CN105323467A - 图像处理设备及图像处理方法 - Google Patents

图像处理设备及图像处理方法 Download PDF

Info

Publication number
CN105323467A
CN105323467A CN201510381083.8A CN201510381083A CN105323467A CN 105323467 A CN105323467 A CN 105323467A CN 201510381083 A CN201510381083 A CN 201510381083A CN 105323467 A CN105323467 A CN 105323467A
Authority
CN
China
Prior art keywords
image
data
dynamic image
image processing
still image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510381083.8A
Other languages
English (en)
Inventor
参纳雅人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN105323467A publication Critical patent/CN105323467A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/212—Motion video recording combined with still video recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3247—Data linking a set of images to one another, e.g. sequence, burst or continuous capture mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3252—Image capture parameters, e.g. resolution, illumination conditions, orientation of the image capture device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3274—Storage or retrieval of prestored additional information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开一种图像处理设备及图像处理方法。图像处理设备包括：获取单元，获取用于动态图像的原始数据及用于静态图像的原始数据；计算单元，从用于静态图像的原始数据计算评价值；编码单元，将用于动态图像的原始数据编码为动态图像数据；记录单元，记录所编码的动态图像数据；控制单元，响应于记录静态图像的指令，执行控制以记录与记录指令前的预定时间段对应的动态图像数据。编码单元通过将计算单元从用于静态图像的原始数据计算出的评价值应用到用于动态图像的原始数据，将用于所述动态图像的原始数据编码为动态图像数据。

Description

图像处理设备及图像处理方法
技术领域
本发明涉及一种图像处理设备及图像处理方法，该图像处理设备及图像处理方法能够在拍摄静态图像时，预先地拍摄在静态图像拍摄之前的动态图像，以同时记录动态图像及静态图像。
背景技术
照惯例，已知一种技术，该技术防止用户在动态图像拍摄期间拍摄静态图像时因动态图像中的颜色变化而产生奇怪感(strangeness)。通过转换为用于静态图像拍摄的白平衡(WB，whitebalance)来防止感觉到这种奇怪。例如，日本特开第10-174113号公报讨论了如下技术：与在预定时间段内不重复静态图像记录从关闭到开启的变化的情况相比，在确定在预定时间段内至少重复一次该变化的情况下缩小WB的控制范围。
在动态图像记录期间，以追随被摄体直到适当的WB位置的方式来执行控制。因此，如果因根据传统方法缩小了WB的控制范围而使得针对该被摄体的适当的WB位置落在了该控制范围以外，则在一些情况下，可能不会针对动态图像的场景获得合适的WB。在此情况下，当动态图像记录后立即拍摄静态图像时，该静态图像与在紧接该静态图像拍摄前所记录的动态图像在色调上有所不同。因此，当所拍摄的动态图像与该静态图像相比较时，会感到奇怪。
发明内容
本发明的其中一个方面在于：即使在拍摄动态图像之后紧接着拍摄静态图像时，也能够拍摄不会在色调上彼此不同且不会使用户感到奇怪的静态图像及动态图像。
根据本发明的一方面，图像处理设备包括：获取单元，其被配置为获取用于动态图像的原始数据以及用于静态图像的原始数据；计算单元，其被配置为从用于所述静态图像的原始数据计算评价值；编码单元，其被配置为将由所述获取单元获取的用于所述动态图像的原始数据编码为动态图像数据；记录单元，其被配置为记录所编码的动态图像数据；以及控制单元，其被配置为响应于记录静态图像的指令，执行控制以在记录指令前的预定时间段内记录所获得的动态图像数据。所述编码单元被配置为通过将所述计算单元从用于所述静态图像的原始数据计算出的所述评价值应用到用于所述动态图像的原始数据，将用于所述动态图像的原始数据编码为所述动态图像数据。
根据本发明的另一个方面，基于上文所述的静态图像的评价值而随后生成动态图像数据。因此，即使在拍摄动态图像之后紧接着拍摄静态图像，也能够拍摄不会在静态图像和动态图像之间在色调上产生奇怪感的动态图像和静态图像。
根据以下参照附图对示例性实施例的详细描述，本发明的其他方面将变得清楚。
附图说明
图1是本发明的示例性实施例的图像处理设备的框图。
图2是例示第一示例性实施例的顺序图。
图3是例示第一示例性实施例的流程图。
图4是例示第二示例性实施例的顺序图。
图5是例示第二示例性实施例的流程图。
具体实施方式
现将在下文参照附图详细描述本发明的示例性实施例、特征及各方面。
此后，将以数字照相机作为示例而描述本发明的各示例性实施例中的图像处理设备。
图1是例示本发明示例性实施例的图像处理设备的配置的框图。
附图标记100表示图像处理设备。附图标记10表示拍摄透镜。机械快门12具有光圈功能。摄像元件14将光学图像转换为电信号。A/D转换器16将从摄像元件14输出的模拟信号转换为数字信号。
定时生成电路18向摄像元件14及A/D转换器16供给时钟信号及控制信号。定时生成电路18通过存储控制电路22及系统控制电路50来控制。除了机械快门12之外，还可以通过在定时生成电路18中控制摄像元件14的复位定时来控制存储时间作为电子快门。能够在动态图像拍摄中使用电子快门。
图像处理电路20对来自A/D转换器16的数据或来自存储控制电路22的数据执行用于图像放大/缩小的像素插值处理、颜色转换处理、噪声降低处理以及边缘增强处理。此外，图像处理电路20也对来自存储控制电路22的图像数据执行下文参照图2描述的小波变换处理(waveletconversionprocessing)。此外，图像处理电路20通过使用为执行通过镜头(TTL，throughthelens)方法的自动白平衡(AWB)处理而拍摄的图像数据来执行预定计算处理。图像处理电路20获得计算结果作为WB评价值。此外，图像处理电路20基于所计算出的WB评价值而执行图像数据的颜色转换。此外，图像处理电路20通过使用拍摄的图像数据执行预定的计算处理，以计算用于执行TTL方法的自动对焦(AF)处理、自动曝光(AE)处理及预闪(EF，pre-flash)处理的AF评价值、AE评价值及EF评价值。系统控制电路50基于获得的AF评价值、AE评价值及EF评价值、根据算法来控制曝光控制单元40及测距控制单元42。
存储控制电路22控制A/D转换器16、定时生成电路18、图像处理电路20、存储器30及压缩/扩展电路32。经由图像处理电路20及存储控制电路22将来自A/D转换器16的数据写入存储器30，或者直接经由存储控制电路22将来自A/D转换器16的数据写入存储器30。
图像显示单元28包括薄膜晶体管(TFT)液晶显示器(LCD)。经由存储控制电路22在图像显示单元28上显示被写入存储器30的显示图像数据。如果通过使用图像显示单元28依次显示所拍摄的图像数据，则可以实现电子取景器功能。此外，图像显示单元28能够根据来自系统控制电路50的指令任意地开启/关闭显示器。当关闭显示器时，能够大幅降低图像处理设备100中的电力消耗。
存储器30被配置为存储所拍摄的静态图像及所拍摄的动态图像。存储器30具有足够存储预定数量的静态图像及预定时间的动态图像的存储容量。因此，在连续拍摄多个静态图像的连续拍摄情况下，可以将大量图像高速地写入存储器30。此外，能够将存储器30用作系统控制电路50的工作区域。
非易失性存储器31包括闪存ROM。要由系统控制电路50执行的程序代码被写入非易失性存储器31。在依次读取程序代码的同时，系统控制电路50执行该程序代码。此外，在非易失性存储器31中设置有被配置为存储系统信息的区域及被配置为存储用户设置信息的区域，以便在下次启动装置时能够读取并复原各种信息及设置。
压缩/扩展电路32通过使用自适应离散余弦变换(ADCT，adaptivediscretecosinetransform)来压缩/扩展图像数据。压缩/扩展电路32读取存储器30中存储的图像，执行压缩处理或扩展处理，并将处理的数据写入存储器30。
曝光控制单元40控制具有光圈功能的快门12。曝光控制单元40与闪光灯48连接，以便也具有闪光控制功能。测距控制单元42控制拍摄透镜10的对焦。变焦控制单元44控制拍摄透镜10的变焦。闪光灯48具有投影AF辅助光的功能，也具有闪光控制功能。使用TTL方法控制曝光控制单元40以及测距控制单元42。系统控制电路50基于由图像处理电路20对所拍摄的图像数据执行的计算的结果来控制曝光控制单元40及测距控制单元42。
系统控制电路50控制整个图像处理设备100。设置操作单元60、62、64、66、70及72来输入针对系统控制电路50的各种操作指令。操作单元60、62、64、66、70及72包括开关、拨盘、触摸面板、使用视线检测的点或语音识别设备或它们中多个的组合。现将具体描述这些操作单元。
能够使用模式拨盘开关60切换和设置诸如电源关闭、自动拍摄模式、拍摄模式、全景拍摄模式、动态图像拍摄模式、再现模式以及个人计算机(PC)连接模式等的各种功能模式。快门开关SW162在快门按钮操作过程中被开启，并指示AF处理、AE处理及AWB处理的操作开始。
在完成快门按钮操作时开启快门开关SW264。在闪光拍摄的情况下，在执行EF处理后在由AE处理所确定的曝光时间内曝光摄像元件14。在闪光拍摄的情况下，在曝光期间内发光。在曝光时期结束时，同时通过曝光控制单元40遮光以完成摄像元件14的曝光。经由A/D转换器16及存储控制电路22将从摄像元件14读取的信号写入存储器30作为图像数据。在图像处理电路20及存储控制电路22中执行使用计算结果的显像处理。从存储器30读取图像数据，并在压缩/扩展电路32中执行压缩。然后，指示开始用于将图像数据写入记录介质200的一系列记录处理。
显示转换开关66能够切换图像显示单元28上的显示。由于此功能，如果使用光学取景器104执行拍摄，则能够通过阻断向包括TFTLCD的图像显示单元28供给电流而变得省电。
操作单元70包括触摸面板和旋转拨盘。此外，操作单元70包括菜单按钮、设置按钮、宏按钮、多画面再现翻页按钮、闪光设置按钮以及单图像拍摄/连续拍摄/自拍转换按钮。此外，操作单元70包括菜单移动加号(+)按钮、菜单移动减号(-)按钮、再现图像移动加号(+)按钮、再现图像移动减号(-)按钮、拍摄图像画质选择按钮、曝光校正按钮以及日期/时间设置按钮。此外，操作单元70用于设置各种拍摄条件。
变焦开关单元72起到变焦操作单元的作用，该变焦操作单元用于使用户指示拍摄图像的倍率变化。此后，变焦开关单元72还被称作变焦开关72。变焦开关72包括用于将摄像视场角变为远摄方向的远摄开关以及用于将摄像视场角变为广角方向的广角开关。变焦开关72用作用于指示变焦控制单元44变更拍摄透镜10的摄像视场角并操作光学变焦的触发器。此外，变焦开关72用作用于通过像素插值处理以及图像处理电路20执行的图像裁切处理而进行的摄像视场角的电子变焦变更的触发器。
电源单元86是碱性电池的一次电池、诸如NiCd电池、NiMH电池或锂离子电池等的二次电池、或AC适配器。为诸如存储卡或硬盘等的记录介质200提供接口90。连接器92被设置为与诸如存储卡或硬盘等的记录介质200相连接。可以仅使用光学取景器104进行拍摄，而无需使用图像显示单元28提供的电子取景器功能。通信单元110具有诸如通用串行总线(USB)、局域网(LAN)及无线通信等的各种无线功能。连接器(无线通信的情况下的天线)112经由通信单元110将图像处理设备100连接到其他设备。
记录介质200是存储卡或硬盘。记录介质200包括具有半导体存储器或磁盘的记录单元202、到图像处理设备100的接口204以及为与图像处理设备100相连接的连接器206。
现将参照图2中例示的顺序图及图3中例示的流程图描述本发明的第一示例性实施例。
第一示例性实施例是在拍摄静态图像之前记录动态图像的示例。例如，将两个文件记录为在指示拍摄静态图像时所拍摄的静态图像的文件以及在指示拍摄静态图像几秒前所拍摄的动态图像的文件。
图2是例示第一示例性实施例中从动态图像拍摄到静态图像拍摄的顺序的图。该顺序的前半段例示了动态图像拍摄处理。在存储器30中临时存储从摄像元件14获取的用于动态图像的原始(RAW)数据。这里，RAW数据的意思是按照从数字照相机的摄像元件14所获得的那样保持且未充分地经过图像处理或者未经过不可逆的压缩处理的原始数据。作为下一帧，在存储器30中临时存储在紧挨着最后一次从摄像元件14中读取的帧的帧中的动态图像RAW数据。同时，图像处理电路20将最后一次读取并临时存储的帧中的动态图像RAW数据转换为显示数据，并且图像显示单元28显示所转换的数据。这样，在与预定时间段对应的每帧中的动态图像RAW数据被存储在存储器30中，直到进行静态图像拍摄为止。
如果指示静态图像拍摄，则变更摄像元件14的驱动且在存储器30中临时存储静态图像RAW数据。然后，图像处理电路20计算用于静态图像RAW数据的WB评价值。然后，通过使用计算出的WB评价值执行静态图像RAW数据的显像处理，并生成静态图像数据。压缩/扩展电路32经由存储器30执行压缩，并在非易失性存储器31中存储所压缩的数据。然后，图像处理电路20及压缩/扩展电路32执行动态图像RAW数据的编码处理。
现将参照图3描述第一示例性实施例中的流程。
首先，在步骤S301中，开始动态图像记录。在步骤S302中，在记录RAW数据的同时显示实时画面(throughscreen)。在本示例性实施例中，如果变得难以在存储器30中所包括的缓冲区中记录动态图像RAW数据，则通过以先前的记录顺序覆写旧的RAW数据来记录动态图像RAW数据。在记录动态图像RAW数据的同时继续实时画面显示，直到在步骤S303中指示静态图像拍摄为止。当指示静态图像拍摄时(在步骤S303中为“是”)，在步骤S304中，在存储器30中所包括的缓冲区中记录用于静态图像的RAW数据。在步骤S305中，图像处理电路20计算关于用于静态图像的RAW数据的WB系数。在步骤S306中，图像处理电路20及压缩/扩展电路32通过使用计算出的WB系数，将用于静态图像的RAW数据转换为诸如联合图像专家组(JPEG)的图像格式。然后，在步骤S307中，在非易失性存储器31中存储静态图像。如果在静态图像拍摄时没有闪光(在步骤S308中为“否”)，则在步骤S309中，将在静态图像时获得的WB系数应用在用于动态图像的WB系数。如果在静态图像拍摄时闪光(在步骤S308中为“是”)，则在步骤S310中，从存储器30中所记录的动态图像RAW数据的最后一帧获得WB系数。在步骤S311中，将步骤S310中获得的WB系数应用于动态图像的WB系数。在步骤S312中，图像处理电路20及压缩/扩展电路32通过使用所应用的WB系数，将在存储器30中记录的动态图像RAW数据编码为动态图像格式，作为动态图像文件。在步骤S313中，(已编码)的动态图像文件被记录在记录介质中。
根据前述实施例，执行静态图像RAW数据的显像处理并生成静态图像数据。压缩/扩展电路32经由存储器30执行压缩。在非易失性存储器31中存储压缩过的数据。然后，图像处理电路20及压缩/扩展电路32执行用于编码动态图像RAW数据的编码处理。然而，只要已计算出关于用于静态图像的RAW数据的WB系数，就可以在任何时间开始动态图像RAW数据的编码处理。可以与静态图像RAW数据的显像处理并行执行动态图像RAW数据的编码处理。
现将参照图4及图5描述根据本发明的第二示例性实施例。该示例性实施例是在动态图像的记录期间，响应于用户指令也记录静态图像文件的情况。
图4是例示从动态图像拍摄直到进行静态图像拍摄后而重新开始动态图像记录的第二示例性实施例的顺序的图。拍摄的动态图像的示例性格式是运动图像专家组(MPEG)。
顺序的前半部分例示了动态图像拍摄处理。在存储器30中临时存储从摄像元件14读取的动态图像RAW数据。在下一帧中，在存储器30中临时存储与最后一次从摄像元件14读取的帧相邻的帧的动态图像RAW数据。同时，图像处理电路20将最后一次读取的并被临时存储的动态图像RAW数据转换为显示数据，并且图像显示单元28显示由此产生的显示数据。同时，图像处理电路20及压缩/扩展电路32执行动态图像编码处理。重复这些操作，直到指示静态图像拍摄为止。
该顺序的中间部分例示了通过静态图像拍摄指令而开始的静态图像拍摄处理。如果给出了静态图像拍摄指令，则变更摄像元件14的驱动并在存储器30中临时存储静态图像RAW数据。然后，图像处理电路20计算用于静态图像RAW数据的WB评价值。然后，通过使用计算出的WB评价值而执行静态图像RAW数据的显像处理，并创建静态图像数据。压缩/扩展电路32经由存储器30执行压缩。在非易失性存储器31中存储压缩过的数据。
该顺序的后半部分例示了在静态图像记录后重新开始动态图像记录的处理。如果重新开始动态图像记录，则记录动态图像RAW数据并从下一帧重新开始动态图像显示。此外，在重新开始动态图像记录的伊始，重新编码在存储器30中临时存储的即将在静态图像拍摄前的特定时间的动态图像RAW数据。然后，依次编码在动态图像记录重新开始后所记录的动态图像RAW数据。
现将参照图5描述第二示例性实施例中的流程。
首先，在步骤S501中，开始动态图像记录。在步骤S502中，在存储器30中记录RAW数据的同时显示实时画面，并执行动态图像编码。此外，同时，针对一个I帧，在存储器30中存储在动态图像编码时所设置的WB系数。在步骤S503中，确定是否指示动态图像拍摄停止。如果指示动态图像拍摄停止(在步骤S503中为“是”)，则处理结束。如果没有指示动态图像拍摄停止(在步骤S503中为“否”)，则在步骤S504中，确定是否指示静态图像拍摄。如果指示静态图像拍摄(在步骤S504中为“是”)，则在步骤S505中，停止动态图像编码。在步骤S506中，在存储器30中存储静态图像RAW数据。然后，在步骤S507中，执行静态图像WB系数计算。然后，在步骤S508中，通过使用计算出的WB评价值来执行静态图像RAW数据的显像处理以生成静态图像数据，经由存储器30在压缩/扩展电路32中执行压缩，并且在非易失性存储器31中存储压缩过的数据。
然后，在步骤S509中，开始在存储器30中存储每一帧中的动态图像RAW数据，以执行动态图像编码重新开始的处理。然后，在步骤S510中，开始动态图像显示处理。然后，在步骤S511中，检索与静态图像拍摄前5秒的时间最接近的动态图像的I帧。然后，在步骤S512中，通过基于存储器30中存储的WB系数中所包括的被检索的I帧的WB系数以及静态图像的WB系数进行插值，获得从检索到的I帧到在即将拍摄静态图像前的动态图像帧的WB系数。作为用于插值系数的方法，例如能够使用样条插值的方法。然后，在步骤S513中，基于步骤S512中获得的WB系数而重新编码从步骤S511中检索的I帧到即将拍摄静态图像前的动态图像帧的各帧。通过重新编码的动态图像数据来代替动态图像数据中已编码的相关部分。另外，当已编码的动态图像被重新编码时，基于WB系数重新编码I-图像帧，而保持其他图像帧(如P-图像帧)不变。
然后，在步骤S514中，从在静态图像拍摄后所重新开始的动态图像帧开始动态图像编码。根据情况所需，在重新编码的动态图像之后依次添加表示拍摄了静态图像的附加数据，并且在其后依次添加在已拍摄静态图像之后所编码的动态图像数据。然后，在步骤S502中，重复在此之前描述的操作。
如上所述，在第一示例性实施例中，当在静态图像拍摄前正在记录动态图像时，WB处于变更为作为WB的目标的色调的过程中。因此，即使通常在静态图像中的色调与动态图像中的色调不同的情况下，即使在例如连续地再现静态图像及静态图像拍摄前的动态图像时将静态图像与动态图像相比较，也能够拍摄不会引起奇怪的动态图像及静态图像。
此外，在第二示例性实施例中，即使在拍摄动态图像的过程中拍摄静态图像，也能够在WB在动态图像记录期间正在变化的同时拍摄在静态图像拍摄之前色调平稳变化的动态图像。
在示例性实施例中，描述了WB变化。然而，各实施例也能够应用于与诸如光圈或伽马表等其他图像参数(与画质相关的评价值)相关的变化。此外，在第二示例性实施例中，针对WB插值的返回时间是静态图像拍摄前5秒的时候。然而，还可以使用其他时间。关于插值的方法，还可以使用来自多个帧的插值来代替来自某一帧的插值。此外，针对MPEG动态图像描述了第二示例性实施例。然而，第二示例性实施例还可以应用于除MPEG动态图像和JPEG图像以外的动态图像。即使动态图像是MPEG动态图像，也可以执行基于除I帧之外的帧的插值。
在这之前，基于适当的示例性实施例详细描述了本发明。然而，本发明并不限于这些特定的示例性实施例。本发明中还包括不背离发明的精神的范围内的各种形式。此外，还可以将上述示例性实施例的各部分进行适当地组合。例如，在实施例中，JPEG图像数据、Motion-JPEG图像数据、或任何图像数据格式的图像数据能够代替RAW图像数据。
此外，本发明还包括以下情况：向摄像设备提供实现上述示例性实施例的功能的软件程序以执行该程序，该摄像设备能够执行直接来自记录介质或通过有线/无线通信的该程序。
因此，向摄像设备提供并在摄像设备中安装的以在摄像设备中实现本发明的功能处理的程序代码本身实现本发明。换句话说，本发明中还包括用于实现本发明的功能处理的程序本身。
虽然参照示例性实施例描述了本发明，但是应当理解，本发明并不限于所公开的示例性实施例。应当对权利要求的范围赋予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。

Claims (11)

1.一种图像处理设备，所述图像处理设备包括：
获取单元，其被配置为获取用于动态图像的原始数据以及用于静态图像的原始数据；
计算单元，其被配置为从用于所述静态图像的原始数据计算评价值；
编码单元，其被配置为将由所述获取单元获取的用于所述动态图像的原始数据编码为动态图像数据；
记录单元，其被配置为记录所编码的动态图像数据；以及
控制单元，其被配置为响应于记录静态图像的指令，执行控制以在记录指令前的预定时间段内记录所获得的动态图像数据，
其中，所述编码单元被配置为通过利用从用于所述静态图像的原始数据计算出的所述评价值，将用于所述动态图像的原始数据编码为所述动态图像数据。
2.根据权利要求1所述的图像处理设备，其中，所述评价值包括白平衡系数。
3.根据权利要求1所述的图像处理设备，其中，当编码用于所述动态图像的原始数据以获得所述动态图像数据时，在预定的拍摄条件下使用从用于所述动态图像的原始数据的最后一帧计算出的值。
4.根据权利要求3所述的图像处理设备，其中，所述预定的拍摄条件是使用闪光灯拍摄。
5.根据权利要求1所述的图像处理设备，其中，当在记录所述静态图像后重新开始记录动态图像时，将由所述编码单元编码的所述动态图像数据重新编码。
6.根据权利要求5所述的图像处理设备，其中，重新编码动态图像数据的I-图像帧，而不重新编码P-图像帧。
7.一种图像处理方法，所述图像处理方法包括：
获取用于动态图像的原始数据；
响应于记录静态图像的指令，获取用于所述静态图像的原始数据；
从用于所述静态图像的原始数据计算评价值，在给出记录所述静态图像的指令前的预定时间段内获取用于所述动态图像的原始数据；
通过利用从用于所述静态图像的原始数据计算出的所述评价值，编码用于所述动态图像的原始数据以获得所述动态图像数据；以及
记录所编码的动态图像数据。
8.一种图像处理方法，所述图像处理方法包括：
响应于记录静态图像的指令，在获取用于所述静态图像的原始数据前的预定时间段内，通过使用图像处理设备获取用于动态图像的原始数据；以及
通过将由所述图像处理设备从用于所述静态图像的原始数据计算出的评价值用于由所述图像处理设备获取的用于所述动态图像的原始数据，编码用于所述动态图像的原始数据以获得动态图像数据。
9.一种图像处理设备，所述图像处理设备包括：
获取单元，其被配置为获取用于第一图像数据以及第二图像数据；
计算单元，其被配置为从所述第二图像数据计算评价值；
编码单元，其被配置为将由所述获取单元获取的所述第一图像数据编码为第三图像数据，以及将由所述获取单元获取的所述第二图像数据编码为第四图像数据；
记录单元，其被配置为记录所编码的第三图像数据；以及
控制单元，其被配置为响应于记录所述第四图像数据的指令，执行控制以在记录指令前的预定时间段内记录所获得的第三图像数据，
其中，所述编码单元被配置为通过利用从所述第二图像数据计算出的所述评价值，将所述第一图像数据编码为所述第三图像数据。
10.根据权利要求9所述的图像处理设备，其中，所述第一图像数据用于动态图像，以及所述第二图像数据用于静态图像。
11.根据权利要求9所述的图像处理设备，其中，所述第一图像数据和所述第二图像数据是原始图像格式。
CN201510381083.8A 2014-07-08 2015-07-02 图像处理设备及图像处理方法 Pending CN105323467A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-140909 2014-07-08
JP2014140909A JP2016019161A (ja) 2014-07-08 2014-07-08 撮像装置

Publications (1)

Publication Number Publication Date
CN105323467A true CN105323467A (zh) 2016-02-10

Family

ID=55067946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510381083.8A Pending CN105323467A (zh) 2014-07-08 2015-07-02 图像处理设备及图像处理方法

Country Status (3)

Country Link
US (1) US20160012562A1 (zh)
JP (1) JP2016019161A (zh)
CN (1) CN105323467A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110036631A (zh) * 2016-09-29 2019-07-19 株式会社尼康 摄像元件和相机
CN112752019A (zh) * 2019-10-31 2021-05-04 佳能株式会社 图像拾取装置、图像处理装置和存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6572107B2 (ja) * 2015-11-19 2019-09-04 キヤノン株式会社 画像処理装置及び画像処理方法
JP6953961B2 (ja) * 2017-09-27 2021-10-27 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1848915A (zh) * 2005-04-04 2006-10-18 佳能株式会社 摄像装置及其控制方法
JP2009033338A (ja) * 2007-07-25 2009-02-12 Olympus Imaging Corp 撮像装置
US20110032382A1 (en) * 2009-08-07 2011-02-10 Canon Kabushiki Kaisha Imaging apparatus and information processing apparatus
CN102469245A (zh) * 2010-11-11 2012-05-23 奥林巴斯映像株式会社 摄像装置和摄像方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004158967A (ja) * 2002-11-05 2004-06-03 Konica Minolta Holdings Inc 撮像装置付き携帯電話機
JP4925271B2 (ja) * 2006-08-21 2012-04-25 株式会社メガチップス 一眼レフデジタルカメラにおける連続撮像方法
JP5178397B2 (ja) * 2008-08-25 2013-04-10 キヤノン株式会社 画像処理装置及び画像処理方法
JP5300627B2 (ja) * 2009-06-30 2013-09-25 キヤノン株式会社 撮像装置、その制御方法及びプログラム
US8629913B2 (en) * 2010-09-30 2014-01-14 Apple Inc. Overflow control techniques for image signal processing
US8964056B2 (en) * 2011-06-30 2015-02-24 Cisco Technology, Inc. Encoder-supervised imaging for video cameras

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1848915A (zh) * 2005-04-04 2006-10-18 佳能株式会社 摄像装置及其控制方法
JP2009033338A (ja) * 2007-07-25 2009-02-12 Olympus Imaging Corp 撮像装置
US20110032382A1 (en) * 2009-08-07 2011-02-10 Canon Kabushiki Kaisha Imaging apparatus and information processing apparatus
CN102469245A (zh) * 2010-11-11 2012-05-23 奥林巴斯映像株式会社 摄像装置和摄像方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110036631A (zh) * 2016-09-29 2019-07-19 株式会社尼康 摄像元件和相机
CN112752019A (zh) * 2019-10-31 2021-05-04 佳能株式会社 图像拾取装置、图像处理装置和存储介质

Also Published As

Publication number Publication date
JP2016019161A (ja) 2016-02-01
US20160012562A1 (en) 2016-01-14

Similar Documents

Publication Publication Date Title
JP4137085B2 (ja) 撮像装置
JP4574459B2 (ja) 撮影装置及びその制御方法及びプログラム及び記憶媒体
JP4560422B2 (ja) 撮像装置及びその制御方法
US8615140B2 (en) Compression of image data in accordance with depth information of pixels
US10032482B2 (en) Moving image generating apparatus, moving image generating method and storage medium
JP2006197243A (ja) 撮像装置及び撮像方法及びプログラム及び記憶媒体
JP5889247B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム、並びに撮像装置
US9609167B2 (en) Imaging device capable of temporarily storing a plurality of image data, and control method for an imaging device
CN105323467A (zh) 图像处理设备及图像处理方法
JP2006339784A (ja) 撮像装置、画像処理方法及びプログラム
JP6278712B2 (ja) 撮像装置およびその制御方法
JP6559014B2 (ja) 撮像装置、その制御方法及びプログラム
CN102215403B (zh) 图像处理设备及其控制方法和摄像设备
JP2010081430A (ja) 撮像装置及びその制御方法及びプログラム
JP2010074239A (ja) 撮像装置、その制御方法、プログラム
JP6274780B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP5414412B2 (ja) 撮像装置およびその制御方法
JP2005109658A (ja) 撮影装置
JP2006094200A (ja) 撮像装置、合焦表示方法及びプログラム
JP2015171115A (ja) 撮像装置
JP5246106B2 (ja) 撮像装置、プログラム
JP5561044B2 (ja) 撮像装置、撮像方法及びプログラム
JP2010288212A (ja) カメラ及び動画編集用プログラム
JP2006203665A (ja) 撮像装置及び方法、並びに記録媒体及びプログラム
JP2006101473A (ja) 動画撮影中の静止画撮影方法、撮像装置、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160210