CN107079131A - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN107079131A
CN107079131A CN201580049264.9A CN201580049264A CN107079131A CN 107079131 A CN107079131 A CN 107079131A CN 201580049264 A CN201580049264 A CN 201580049264A CN 107079131 A CN107079131 A CN 107079131A
Authority
CN
China
Prior art keywords
image
unit
original image
processing
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580049264.9A
Other languages
English (en)
Other versions
CN107079131B (zh
Inventor
野泽慎吾
伊藤贤道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN107079131A publication Critical patent/CN107079131A/zh
Application granted granted Critical
Publication of CN107079131B publication Critical patent/CN107079131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
    • H04N5/9261—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Abstract

用于处理原始图像的图像处理设备有效地进行再现原始图像用的编辑。该设备对原始图像和从所述原始图像缩小得到的缩小原始图像各自进行压缩，并且将其记录在记录介质中。在进行编辑时，所述图像处理设备与外部设备进行通信，并且将记录介质中所存储的缩小原始图像发送至外部设备，并且使外部设备进行所述缩小图像的编辑处理。此外，图像处理设备使用来自外部设备的表示编辑处理的内容的编辑信息，以通过参考该编辑信息来执行与进行了所述编辑处理的缩小原始图像相对应的原始图像的编辑。

Description

图像处理设备和图像处理方法
技术领域
本发明涉及一种图像处理设备和图像处理方法，尤其涉及一种用于处理运动图像或者静止图像的原始图像(RAW image)的技术。
背景技术
在进行拍摄操作时，传统摄像设备使得摄像传感器所拍摄的原始图像信息(原始图像)经过de-Bayering(去拜耳)处理(去马赛克处理)以将原始图像信息转换成由亮度和色差构成的信号。然后使得这些信号经过诸如噪声消除、光学失真校正和图像优化等的显像处理。然后，摄像设备通常对显像后的亮度信号和色差信号进行压缩编码，然后记录在记录介质中。
另一方面，存在能够记录原始图像的摄像设备。尽管记录原始图像所需的数据量庞大，但是许多高级用户依然首选。其原因是存在诸如原始图像的校正和劣化都最小等的优点，并且可以进行拍摄后编辑。
专利文献1公开了一种记录原始图像的摄像设备。专利文献1公开了这样一种结构，在该结构中，与原始图像一起记录显像参数，并且在进行再现时，使用这些显像参数来显像和再现原始图像。
近年来，摄像设备中的摄像传感器已经发展成每一图像的像素数量变得更大。此外，通过连续拍摄每秒可拍摄的图像数量日益增大。这导致用于构成诸如对原始图像的de-Bayering处理、噪声消除和光学失真校正等的显像处理的每一处理的处理量的复合增大。这需要在摄像设备中具有大规模电路和增大的电力消耗，以与拍摄并行进行实时显像处理。即使这样，也可能存在下面的情况：由于显像处理占用了电路以及与电力消耗有关的限制，因而摄像设备不能表现出高水平的拍摄性能。
另一方面，如专利文献1一样，通过在不显像的情况下记录原始图像的结构可能降低了拍摄时与显像有关的处理量，但是由于图像是以显像前状态记录的，因而快速再现和显示图像变得困难。此外，下面的情况可能导致利用一个装置所拍摄的原始图像不能在另一装置上被再现(显像)：原始图像具有数据格式特有的特殊性，并且该格式在各制造商之间可能不同。因此，在这些情况下，传统原始图像记录格式不利于用户的便利性。
如上所述，存在下面的问题：为了使得摄像设备实现高水平拍摄性能、并且还能够进行再现图像的快速图像输出，要么需要安装用于高输出驱动的昂贵电路，要么需要能够以快速且方便的方式记录和再现原始图像。特别地，增加的成本有损于用户，因而重要的是摄像设备能够以易于处理的方式来记录原始图像。
引文列表
专利文献
专利文献1：日本特开2011-244423
发明内容
提供一种使得用于记录并再现原始图像的设备能够有效地进行再现原始图像用的编辑的图像处理设备和图像处理方法。
根据本发明的一种图像处理设备包括：摄像单元，用于使用摄像传感器来从被摄体图像的摄像信号中获取用于表示显像前图像的原始图像；缩小单元，用于缩小所述原始图像以生成缩小原始图像；记录单元，用于将所述原始图像和所述缩小原始图像各自的数据记录在记录介质中；通信单元，用于与外部设备进行通信；以及控制单元，用于将所述记录介质中所记录的所述缩小原始图像的数据经由所述通信单元发送至所述外部设备，并且使所述外部设备进行所述缩小原始图像的编辑处理，其中，所述控制单元经由所述通信单元从所述外部设备接收用于表示所述编辑处理的内容的编辑信息，并且使用该编辑信息以通过参考该编辑信息来执行与进行了所述编辑处理的所述缩小原始图像相对应的原始图像的编辑。
通过以下参考附图对典型实施例的说明，本发明的其它特征将显而易见。
附图说明
图1是示出根据本发明第一实施例的图像处理设备的结构例子的框图。
图2是根据实施例的状态(模式)转换图。
图3是与根据实施例的拍摄处理有关的流程图。
图4A是示出实施例中所记录的文件的结构例子的图。
图4B是示出实施例中所记录的文件的结构例子的图。
图4C是示出实施例中所记录的文件的结构例子的图。
图5是与根据实施例的显像处理有关的流程图。
图6是与根据实施例的再现处理有关的流程图。
图7A是示出根据实施例的显示处理的图。
图7B是示出根据实施例的显示处理的图。
图7C是示出根据实施例的显示处理的图。
图8是示出编辑设备(外部设备)的结构例子的框图。
图9A是与根据实施例的编辑处理有关的流程图。
图9B是与根据实施例的执行处理有关的流程图。
图10是示出根据本发明第二实施例的图像处理设备的结构例子的框图。
图11是原始图像中的像素阵列的说明图。
具体实施方式
第一实施例
将参考附图详细说明本发明的实施例。图1是示出根据本发明第一实施例的图像处理设备的结构例子的框图。在图1中，摄像设备100被示例性示出为根据本实施例的图像处理设备。摄像设备100不仅将通过拍摄被摄体所获得的图像信息记录在记录介质中，而且还具有用于再现来自记录介质的图像信息、进行显像处理和进行显示的功能以及用于与外部设备或者服务器(云)等交换图像信息和进行编辑的功能。因此，根据本实施例的图像处理设备不局限于被表现为摄像设备，并且还可以被称为记录设备、再现设备、记录/再现设备、通信设备、编辑设备、图像处理系统和编辑系统等。
图1中的控制单元161包括中央处理单元(CPU)和用于存储CPU所执行的控制程序的存储器(未示出)，由此控制摄像设备100的整体处理。操作单元162包括诸如按键、按钮和触摸面板等的使得用户向摄像设备100给出指示的输入装置。通过控制单元161检测来自操作单元162的操作信号，并且通过控制单元161控制这些组件从而执行与这些操作相对应的动作。显示单元123包括用于在摄像设备100上显示所拍摄或者再现的图像、菜单画面和各种类型的信息等的液晶显示器(LCD)等。
在本实施例中，术语“拍摄”和“进行拍摄”意为用于拍摄被摄体并且将通过摄像所获得的图像显示在显示单元123上、并且进一步将该图像作为文件记录在预定记录介质中的动作。
在开始进行操作单元162所指示的拍摄动作时，经由包括透镜单元的光学单元101来输入要拍摄的被摄体的光学图像，并且使得光学图像在摄像传感器单元102上成像。在进行拍摄时，基于评价值计算单元105所获取的诸如光圈、焦点和抖动等的评价值计算结果以及识别单元131所提取的诸如面部识别结果等的被摄体信息，通过照相机控制单元104来控制光学单元101和摄像传感器单元102的动作。
摄像传感器单元102将穿过位于每一像素处的红色、绿色和蓝色(RGB)的马赛克颜色滤波器的光(被摄体图像)转换成电信号。摄像传感器的分辨率等于例如4K(800万像素以上)或者8K(3300万像素以上)。图11是示出位于摄像传感器单元102处的颜色滤波器的例子的图，其示出摄像设备100所要处理的图像的像素阵列。在每一像素处，以马赛克方式排列红色(R)、绿色(G)和蓝色(B)，其中，如图11所示，在一组像素中，对于每四个像素(2像素×2像素)，规则地排列一个红色像素、一个蓝色像素和两个绿色像素。摄像传感器单元102所转换得到的电信号具有红色(R)、绿色(G)和蓝色(B)成分。注意，可以将绿色(G)作为不同位置处的两种类型的绿色(G0、G1)成分进行处理。通常将这种像素阵列称为拜耳阵列。摄像传感器可以是电荷耦合器件(CCD)图像传感器或者金属互补氧化物半导体(CMOS)图像传感器等。尽管示出了RGB颜色拜耳阵列，但是对于用于颜色滤波器的颜色和阵列，还可以选择使用其它阵列。
将摄像传感器单元102所转换得到的电信号作为各个像素的摄像信号进处理。传感器信号处理单元103使得摄像信号所包括的像素经过恢复处理。恢复处理涉及如下处理：通过针对摄像传感器单元102的丢失像素或不可靠像素使用附近像素值对这些要恢复的像素进行插值、并且减去预定偏移值，来处理这些像素的值。可以对此进行改变，以使得在此不进行部分或者全部恢复处理，而是随后在显像时进行。在本实施例中，不管是否进行了恢复处理，将没有经过充分显像的所有图像都作为表示显像前图像的原始图像进行处理。
也就是说，将从传感器信号处理单元103所输出的图像信息称为原始图像信息(以下称为“原始图像”)，意为本实施例中的原始(显像前)图像。将原始图像提供给RAW压缩单元113，并且对其进行压缩以进行高效记录。为了高效显示和再现，还通过RAW缩小单元109缩小原始图像的大小。RAW缩小单元109将输入原始图像的大小调整成例如高清晰度(HD)大小(约为200万像素)。下面，将RAW缩小单元109缩小后的原始图像称为缩小原始图像。
将缩小原始图像提供给显像单元110内的实时取景显像单元111，并且使其经过显像处理以用于拍摄时的显示(实时取景)。还将缩小原始图像提供给RAW压缩单元113以用于简单再现或者作为编辑时的代表。为了高效记录，以与原始图像相同的方式，在通过RAW压缩单元113进行压缩之后，记录缩小原始图像。此外，还将缩小原始图像提供给评价值计算单元105。
现详细说明显像单元110。显像单元110具有进行用于拍摄时的实时取景的显像的实时取景显像单元111(第一显像单元)、在不进行拍摄时进行高质量显像的高图像质量显像单元112(第二显像单元)和选择显像单元110的输出的开关单元121。实时取景显像单元111具有用于与拍摄并行进行缩小原始图像的实时取景显像的能力，而高图像质量显像单元112具有用于以非实时方式高清晰度地显像缩小前的原始图像的能力，其中，缩小前的原始图像是比缩小原始图像更大的图像。在本实施例中，还可以将实时取景显像称为简单显像或者显示用显像，并且还可以将高质量显像称为在所请求的定时所进行的主显像或者再现用显像。
高图像质量显像单元112对输入原始图像或者缩小原始图像进行de-Bayering处理(去马赛克处理)，其中，进行颜色插值处理以转换成亮度和色差(或者原色)信号，消除信号中包括的噪声，校正光学失真，并且优化图像，即，进行所谓的显像处理。此外，实时取景显像单元111对缩小原始图像进行de-Bayering处理(去马赛克处理)(即，颜色插值处理)以转换成亮度或者色差(或者原色)信号，消除信号中包括的噪声，校正光学失真，并且优化图像，即，进行所谓的显像处理。
高图像质量显像单元112以比实时取景显像单元111更高的精度进行每一处理。由于高精度，与实时取景显像单元111相比，获得更高质量的显像图像，但是处理负荷较大。因此，根据本实施例的高图像质量显像单元112具有如下结构：可以在再现时或者在拍摄之后的空闲时，进行显像处理。通过在拍摄之后或者在再现时而不是在拍摄期间来进行高图像质量显像，可以抑制电路规模和最大(峰值)电力消耗。另一方面，实时取景显像单元111被配置成显像时涉及的处理量小于高图像质量显像时涉及的处理量，从而使得尽管图像质量低于高图像质量显像单元112的图像质量，但是可以在拍摄期间高速进行显像处理。实时取景显像单元111的处理负荷小，因此在进行运动图像或者静止图像的实时取景拍摄时，可以与拍摄动作并行进行每一帧的实时显像。
按照根据用户通过操作单元162所指示的操作或者当前正执行的操作模式的控制，通过控制单元161来切换开关单元121。可以进行下面的配置：仅将要输出信号的实时取景显像单元111和高图像质量显像单元112中的一个与开关单元121的切换联动地进行显像操作，而停止其它操作。尽管根据本实施例在显像单元110中实时取景显像单元111和高图像质量显像单元112被示出为独立存在的结构，但是单个显像单元可以通过切换操作模式来选择性地进行实时取景显像和高图像质量显像。
使得经过了显像单元110的显像处理的图像信息进一步通过显示处理单元122进行预定显示处理，之后显示在显示单元123上。还可以将经过了显像处理的图像信息输出视频输出端子124所连接的外部显示装置。视频输出端子124包括诸如高清多媒体接口(HDMI，注册商标)和串行数字接口(SDI)等的通用接口。
在进行拍摄时，将经过了通过显像单元110的实时取景显像的图像信息提供给评价值计算单元105。评价值计算单元105根据缩小原始图像或者显像处理后图像信息，计算诸如焦点状态和曝光状态等的评价值。将所计算出的评价值输出给照相机控制单元104。将表示评价结果的显示信息输出给显示处理单元122。此外，还将经过了实时取景显像的图像信息提供给识别单元131。识别单元131具有用于检测和识别图像信息中的诸如面部和人物等的被摄体信息的功能。例如，识别单元131检测在图像信息的画面中是否存在面部，并且如果存在面部，则向照相机控制单元104输出表示这些面部的位置的信息，并且还基于诸如面部等的特征信息来识别特定人物。将表示检测和识别结果的显示信息输出给显示处理单元122。
将经过了显像单元110的高图像质量显像的图像信息提供给静止图像压缩单元141或者运动图像压缩单元142。在压缩作为静止图像的图像信息的情况下，使用静止图像压缩单元141。在压缩作为运动图像的图像信息的情况下，使用运动图像压缩单元142。静止图像压缩单元141和运动图像压缩单元142对各个图像信息进行高效编码(压缩编码)，从而生成信息量被压缩的图像信息，并且转换成高图像质量显像文件(静止图像文件或者运动图像文件)。可以使用的标准编码技术的例子包括用于静止图像压缩的JPEG等和用于运动图像压缩的MPEG-2、H.264和H.265等。
RAW压缩单元113使用诸如小波变换、量化和熵编码(差分编码)等的技术，对来自传感器信号处理单元103的原始图像数据和来自RAW缩小单元109的缩小原始图像数据进行高效编码。RAW压缩单元113生成已通过高效编码被压缩的原始图像的文件(RAW文件)和缩小原始图像的文件(缩小RAW文件)。首先将RAW文件和缩小RAW文件存储在缓冲器115(存储介质)中。RAW文件和缩小RAW文件可被保持在缓冲器115中并被再次调用，或者如稍后所述，可被存储在缓冲器115中、然后发送给分开的记录介质并进行记录(从缓冲器115删除)。
通过记录/再现单元151，将RAW文件和缩小RAW文件以及高图像质量显像文件(静止图像文件和运动图像文件)记录在记录介质152中。记录介质152的例子包括内置大容量半导体存储器或硬盘、或者可拆卸存储卡等。记录/再现单元151还可以根据用户操作，从记录介质152读出各种类型的文件。
记录/再现单元151可以与经由通信单元153在网络上连接的外部存储服务器或者与移动信息终端或个人计算机(PC)等交换各种类型的文件和相关信息。通信单元153被配置成能够使用通信端子154，经由利用无线通信或有线通信的因特网或者通过装置之间的直接通信来访问外部设备。因此，记录/再现单元151可以将RAW文件或缩小RAW文件以及高图像质量显像文件(静止图像文件和运动图像文件)记录在外部设备中，并且给出用于基于记录信息来生成编辑信息的指示。
在进行摄像设备100的再现操作时，记录/再现单元151从记录介质152或者经由通信单元153从外部设备获得想要的文件，并且再现该文件。如果所要再现的文件是RAW文件或者缩小RAW文件，则记录/再现单元151将所获得的RAW文件存储在缓冲器115中。如果所要再现的文件是静止图像文件，则记录/再现单元151将所获得的文件提供给静止图像解压缩单元143。如果所要再现的文件是运动图像文件，则记录/再现单元151将所获得的文件提供给运动图像解压缩单元144。
RAW解压缩单元114读出存储在缓冲器115中的RAW文件或者缩小RAW文件，进行与压缩期间所进行的转换相反的转换，从而解压缩该压缩后的文件。将RAW解压缩单元114解压缩后的原始图像或者缩小原始图像提供给高图像质量显像单元112，并且如上所述使其经过高图像质量显像处理。
静止图像解压缩单元143对所输入的静止图像文件进行解码和解压缩，并且将其提供给显示处理单元122作为静止图像的再现图像。运动图像解压缩单元144对所输入的运动图像文件进行解码和解压缩，并且将其提供给显示处理单元122作为运动图像的再现图像。
接着参考附图，说明根据本实施例的摄像设备100的操作模式。图2是根据本实施例的状态(模式)转换图。根据来自操作单元162的用户操作指示、或者通过控制单元161的判断，执行这种模式转换。因此，可以通过操作来手动进行转换，或者可以自动进行转换。通过图2可知，通过适当从空闲状态(200)向静止图像拍摄模式(201)、静止图像再现模式(202)、运动图像拍摄模式(203)、运动图像再现模式(204)和编辑模式(205)这5个模式的切换，摄像设备100开始工作。
接着说明与摄像设备100的静止图像拍摄模式和运动图像拍摄模式有关的操作。图3示出与根据本实施例的拍摄处理有关的流程图。图3的流程图示出通过控制单元161控制各处理块所执行的处理过程。通过将存储在控制单元161的存储器(只读存储器(ROM))中的程序装载至随机存取存储器(RAM)、并且通过CPU执行该程序来实现这些处理过程。
在图3中开始静止图像或者运动图像的拍摄处理时，在S301，控制单元161判断是否停止拍摄。如果判断为停止拍摄处理，则进行向空闲状态的转换，否则，流程进入S302。可以进行下面的配置：即使在拍摄模式下，如果没有接受操作输入持续预定时间量、或者如果到下一拍摄之前还有时间，则状态也转换成空闲状态。
在S302，照相机控制单元104控制光学单元101和摄像传感器单元102的操作，从而使得在适当条件下进行拍摄。例如，根据用户给出的变焦或者调焦指示，移动光学单元101中所包括的透镜，以及按照拍摄像素的数量的指示来设置摄像传感器单元102的读出区域。另外，基于从稍后说明的评价值计算单元105和识别单元131所提供的评价值信息和被摄体信息，进行诸如焦点调整和特定被摄体跟踪等的控制。此外，在S302，使得通过摄像传感器单元102的转换所获得的电信号经过传感器信号处理单元103的用于像素恢复的信号处理。也就是说，传感器信号处理单元103使得丢失像素或不可靠像素经过对于这些要恢复的像素使用附近像素值来进行插值或者减去预定偏移值等。在本实施例中，将在结束S302的处理之后从传感器信号处理单元103所输出的图像信息称为原始图像，意为原始(显像前)图像。
在S303，RAW缩小单元109根据上述原始图像，生成缩小原始图像。在S304，实时取景显像单元111进行缩小原始图像的显像处理(实时取景显像)。控制单元161切换显像单元110内的开关单元121，以选择输出经过了实时取景显像单元111的显像处理的图像信息。
实时取景显像单元111使得缩小原始图像经过de-Bayering处理(去马赛克处理)，即，颜色插值处理，以转换成由亮度和色差(或者原色)所构成的信号。然后，使得该信号经过诸如噪声消除、光学失真校正和图像优化等的显像处理。实时取景显像单元111通过消除或者限制噪声消除范围和光学失真校正，实现高速显像和简单处理。下面将说明实时取景显像单元111所进行的显像处理(简单显像)。由于实时取景显像单元111处理缩小原始图像、并且限制一部分显像处理功能，因而摄像设备100可以使用小规模电路和低电力消耗来实现具有例如200万像素的每秒60帧等的性能的拍摄。
将经过了实时取景显像单元111的显像处理的图像信息提供给评价值计算单元105。在S305，评价值计算单元105根据图像信息中所包括的亮度值和对比度值等，计算诸如焦点状态和曝光状态等的评价值。注意，评价值计算单元105可以获得实时取景显像之前的缩小原始图像，并且还可以根据缩小原始图像来计算某种评价值。
还将经过了实时取景显像单元111的显像处理的图像信息提供给识别单元131。在S306，识别单元131根据图像信息进行被摄体(诸如面部等)的检测，并且识别被摄体信息。例如，识别单元131检测在图像信息的画面中是否存在面部，并且如果存在面部，则识别这些面部的位置和特定人物，并且将这些结果作为信息进行输出。
还将经过了实时取景显像单元111的显像处理的图像信息提供给显示处理单元122。在S307，显示处理单元122根据所获取的图像信息来形成显示图像，并且将其输出给显示单元123或者外部显示装置以进行显示。使用显示单元123上的显示图像作为用于辅助用户对被摄体适当取景的实时取景显示，即，用于拍摄的实时取景图像。注意，可以经由视频输出端子124，将来自显示处理单元122的显示图像显示在诸如电视机等的其它外部显示装置上。此外，显示处理单元122可以使用从评价值计算单元105和识别单元131输出的评价值信息和被摄体信息在显示图像上标记聚焦区域，从而例如在识别出面部的位置处显示框等。
在S308，控制单元161判断是否存在来自用户的拍摄指示(在运动图像的情况下为记录指示)，并且如果存在这类指示，则流程进入S310。如果在S308中没有这类指示，则流程返回至S301，并且重复拍摄(记录)准备操作和实时取景显示。
在S310，RAW压缩单元113响应于上述拍摄指示对与所要拍摄的图像(在运动图像的情况下，多个连续帧)相对应的缩小原始图像进行高效编码(缩小RAW压缩)，并且生成缩小RAW文件。此外，在S311，响应于上述拍摄指示，RAW压缩单元113对与所要拍摄的图像(在运动图像的情况下，多个连续帧)相对应的原始图像进行高效编码(RAW压缩)，并且生成RAW文件。RAW压缩单元113在这里所进行的高效编码是根据诸如小波变换和熵编码等的已知技术，但是也可以是有损编码或者无损编码。在本实施例中，也生成可以被恢复成即使进行RAW压缩、原本的原始图像的质量也不会显著受损的高图像质量文件的RAW文件。
在S312，将缩小RAW文件记录在缓冲器115中。此外，在S313，将RAW文件记录在缓冲器115中。在任一文件的情况下，一旦将文件记录在了缓冲器115中，则用于通过记录/再现单元151在下游的记录介质中进行记录的定时可以是该时点或者以后的时点。一旦将缩小RAW文件和RAW文件至少记录至缓冲器115，则流程返回至S301。
因此，根据本实施例的摄像设备100在拍摄时，响应于静止图像或者运动图像的拍摄指示(记录指示)来生成RAW文件。否则，在拍摄时，处于显示通过实时取景显像所获得的图像的拍摄待机状态。RAW文件是高图像质量文件，从而使得从传感器信号处理单元103所提供的图像信息不会显著受损，但是不需要显像处理来生成该文件。因此，可以使用小规模电路以低电力消耗，在利用更大数量的图像像素和更快的连续拍摄速度的拍摄时来记录RAW文件。
接着说明根据本实施例的各种类型的文件的结构。图4A～4C示出本实施例中所记录的文件的结构例子，其中，图4A示出缩小RAW文件，图4B示出RAW文件，并且图4C示出高图像质量显像文件。
例如，通过记录/再现单元151，将图4A所示的缩小RAW文件400记录在记录介质152的预定记录区域中。缩小RAW文件400包括头部分401、元数据部分402和压缩数据部分403。头部分401包含表示该文件具有缩小RAW文件格式的标识码等。压缩数据部分403包含经过了高效编码的缩小原始图像的压缩数据。在运动图像的缩小RAW文件的情况下，还包括压缩音频数据。
元数据部分402包括诸如相应RAW文件的文件名等的与该缩小RAW文件同时所生成的标识信息等。在存在通过使得相应RAW文件经过高图像质量显像所获得的高图像质量显像文件的情况下，存储标识信息407。另外，如果该缩小原始图像已被显像，则包括显像状态的信息405。此外，包括拍摄元数据406，其中，拍摄元数据406包括拍摄时通过评价值计算单元105和识别单元131所计算出和检测到的评价值和被摄体信息、以及拍摄时来自光学单元101和摄像传感器单元102的信息(例如，透镜类型标识信息、传感器类型标识信息等)。尽管图例中省略，但是还可以包括记录同时所生成的RAW文件的记录介质的标识码、记录用文件夹的路径信息和图像的缩略图等。
例如，通过记录/再现单元151，将图4B所示的RAW文件410记录在记录介质152的预定记录区域中。RAW文件410包括头部分411、元数据部分412和压缩数据部分413。头部分411包含用于表示该文件具有RAW文件格式的标识码等。压缩数据部分413包含经过了高效编码的原始图像的压缩数据。在运动图像的RAW文件的情况下，还包括压缩音频数据。
元数据部分412包括诸如相应缩小RAW文件的文件名等的与该RAW文件同时所生成的标识信息414。在存在通过使得该原始图像经过高图像质量显像所获得的高图像质量显像文件的情况下，存储该标识信息417。另外，包括高图像质量显像时的显像状态的信息415。此外，包括拍摄元数据416，其中，该拍摄元数据416包括拍摄时通过评价值计算单元105和识别单元131所计算出和检测到的评价值和被摄体信息、以及拍摄时来自光学单元101和摄像传感器单元102的信息(例如，透镜类型标识信息、传感器类型标识信息等)。尽管图例中省略，但是还可以包括记录同时所生成的缩小RAW文件的记录介质的标识码、记录用文件夹的路径信息和图像的缩略图等。可选地，可以使得与该RAW文件本身同时所生成的缩小RAW文件的实际数据成为元数据，并且将其整理在元数据部分412中。此外，可以使得与该RAW文件本身相对应的高图像质量显像文件的实际数据成为元数据，并存储在元数据部分412中。
例如，通过记录/再现单元151，将图4C所示的高图像质量显像文件420记录在记录介质152的预定记录区域中。高图像质量显像文件420包括头部分421、元数据部分422和压缩数据部分423。头部分421包含表示该文件具有高图像质量显像文件格式的标识码等。压缩数据部分423包含高图像质量显像文件的静止图像部分和运动图像部分的压缩数据。在运动图像的情况下，还包括压缩音频数据。
元数据部分422包括诸如与该高图像质量显像文件相对应的缩小RAW文件的文件名等的标识信息等。另外，包括与该高图像质量显像文件相对应的RAW文件的文件名的标识信息427。另外，包括高图像质量显像时该高图像质量显像文件的显像状态的信息425。此外，包括拍摄元数据426，其中，该拍摄元数据426包括拍摄时通过评价值计算单元105和识别单元131所计算出和检测到的评价值和被摄体信息、以及拍摄时来自光学单元101和摄像传感器单元102的信息(例如，透镜类型标识信息、传感器类型标识信息等)。尽管图例中省略，但是还可以包括记录相应的RAW文件和缩小RAW文件的记录介质的标识码、记录用文件夹的路径信息和图像的缩略图等。
上述根据本实施例的文件结构仅是示例性的，并且可以具有与诸如照相机文件系统设计规则(DCF)、可交换图像文件格式(EXIF)、高级视频编解码器高清(AVCHD)或者素材交换格式(MXF)等的标准相通的结构。
将说明摄像设备100的高图像质量显像处理的例子。图5是与根据本实施例的显像处理有关的流程图。图5的流程图示出控制单元161通过控制处理块所进行的、并且通过将存储在控制单元161的存储器(ROM)中的程序装载至存储器(RAM)、并且通过CPU执行该程序所实现的处理过程。
在图5中，在处于空闲状态时，控制单元161根据用户设置来判断是否进行“追踪显像”(catch-up developing)(S501)，并且如果判断为不进行追踪显像，则结束该流程(返回)。如果判断为进行追踪显像，则流程进入S520。
根据本实施例的“追踪显像”意为：在拍摄操作结束之后，读出记录在缓冲器115或者记录介质152中的RAW文件，并且使得原始图像经过高图像质量显像，从而生成高图像质量显像文件。该追踪显像是在装置处于空闲状态或者在其它处理的背景下所进行的显像处理。该名称来自于显像处理看似追寻较早所记录的RAW文件，就好像正试图追踪上一样。尽管根据本实施例，静止图像和运动图像两者都可以被包括在作为追踪显像的对象的RAW文件中，但是下面说明静止图像的例子。
如上所述，所记录的RAW文件是从传感器信号处理单元103所提供的图像信息不会显著受损的高图像质量文件，但是由于RAW文件是显像前数据，因而不能立即进行再现显示或者打印，并且用于再现显示或者打印的请求需要用于RAW显像的时间。另外，RAW文件不是如JPEG等一样的广泛使用的格式，因而可以处理RAW文件的再现环境受限。因此，根据本实施例的追踪显像是一个有用的功能。在本实施例中正在进行追踪显像时，读出已经记录的RAW文件，使其经过高图像质量显像单元112的高图像质量显像处理，并且将所生成的高图像质量显像静止图像文件记录在记录介质152等中。在下面的状态下(在空闲时)进行这类追踪显像：在诸如拍摄之间、在再现模式的待机时或者在睡眠状态时等的等待用户操作时，设备的处理负荷相对低。可以手动启动追踪显像，但是优选设计成控制单元161在特定状态的背景下来自动执行。由于该结构，即使在存在用于在随后时间再现高图像质量图像的请求的情况下，诸如进行显示以确认图像的细节或者进行打印等的情况下，显像处理(再现输出)每一次也不会存在延迟，并且可以使用与传统静止图像文件相同的一般操作环境。
在图5的S520，控制单元161判断是否已经处理了用于关注的RAW文件的追踪显像。可想到的判断方法的例子包括根据RAW文件410中的标识信息来判断是否创建了高图像质量显像文件等。可选地，可以以相同方式，参考RAW文件410中的显像状态信息415来进行该判断。另外，可选地，可以单独准备用于表示一系列RAW文件的显像处理的执行状态的表文件，并且在判断时使用。
如果控制单元161判断为完成了对于所有关注的RAW文件的追踪显像，则在此结束该流程(返回)，并且摄像设备100转换成空闲状态。如果还存在未处理追踪显像的任何RAW文件，则流程进入S521。如果在S521将未处理追踪显像的RAW文件缓存在缓冲器115中，则流程进入S523。如果没有，则在S522，从记录介质152等读出RAW文件，并且临时保持在缓冲器115中。
更新缓冲器115的数据，从而使得将按照拍摄顺序为最新者的图像保持具有较高优先级。也就是说，按照顺序从缓冲器删除过去所拍摄的图像。因此，始终将最新拍摄的图像保持在缓冲器中，因此可以跳过S522、并且高速进行处理。此外，从以紧接之前拍摄的图像开始直到最后返回的方式进行追踪显像这一配置使得保持在缓冲器中的图像能够完成优先级更高的处理，从而使得处理更加高效。
在S523，RAW解压缩单元114解压缩从缓冲器115或者记录介质152所读出的被缓存的RAW文件，从而恢复原始图像。在S524，高图像质量显像单元112对恢复的原始图像执行高图像质量显像处理，并且经由开关单元121将高图像质量显像图像输出给显示处理单元122和静止图像压缩单元141。此时，如果摄像设备100处于可以显示稍后显像的图像的状态，则可以将显示图像显示在显示单元123上。
高图像质量显像单元112对原始图像进行de-Bayering处理(去马赛克处理)，即，进行颜色插值处理以转换成由亮度和色差(或者原色)信号所构成的信号，消除这些信号中所包括的噪声，校正光学失真，并且优化该图像，即，进行所谓的显像处理。高图像质量显像单元112所生成的显像图像的大小(像素数量)是从摄像传感器单元102所读出的全尺寸或者用户所设置的大小，因而图像质量比处理约200万像素的实时取景显像图像高得多。高图像质量显像单元112以比实时取景显像单元111更高的精度进行各处理，从而使得与实时取景显像单元111相比，获得更高质量的显像图像，但是处理负荷更大。根据本实施例的高图像质量显像单元112通过避免与拍摄并行进行实时取景显像处理、并且使得能够有时间来进行显像，具有抑制电路规模和电力消耗的增大的结构。
将经过了高图像质量显像单元112的显像处理的图像信息提供给静止图像压缩单元141或者运动图像压缩单元142。在静止图像的情况下，静止图像压缩单元141处理压缩。在S525，静止图像压缩单元141对所获取的高图像质量显像图像进行高效编码处理(静止图像压缩)，从而生成图像质量显像文件(静止图像文件)。注意，静止图像压缩单元141通过诸如JPEG等的已知技术进行压缩处理。在S526，记录/再现单元151将高图像质量显像文件记录在记录介质152等中。
如果在S527中控制单元161判断为在该流程的中途摄像设备100不再处于空闲状态，则转换至中断处理。否则，流程返回至S520。在S520及其后的处理中，如果存在没有处理追踪显像的原始图像，则可以对于每一图像重复执行相同处理。另一方面，在S528中追踪处理中断的情况下，将控制单元161进行中断的时点的信息(所要中断的RAW文件、与是否完成了显像有关的标识信息等)作为恢复信息存储在存储器或者记录介质152中(中断处理)。在进行追踪显像时，控制单元161参考该恢复信息以从被中断的RAW文件重新开始。在中断处理结束之后，摄像设备100返回至空闲状态。
S526中所记录的高图像质量显像文件具有诸如图4C所示的文件结构等的文件结构。将诸如用于该高图像质量显像文件的原始RAW文件的文件名等的信息写至元数据部分422。信息425还描述了该高图像质量显像文件已经经过了高图像质量显像单元112的高图像质量显像这一事实以及表示该显像的内容的显像状态。还复制了从原始RAW文件的元数据所提取的拍摄元数据426，其中，拍摄元数据426包括通过评价值计算单元105和识别单元131所计算出和检测到的评价值和被摄体信息以及拍摄时来自光学单元101和摄像传感器单元102的信息。此外，记录/再现单元151将用于追踪显像的原本的RAW文件及其缩小RAW文件的各元数据部分的信息更新成与所生成的高图像质量显像文件有关的最新信息。
记录/再现单元151使用与原本的RAW文件相同或者相关联的文件名来记录高图像质量显像之后在S526所记录的新的高图像质量显像文件这样的配置使得易于识别。例如，下面的文件名是可取的：仅改变文件名的一部分(例如，后缀或者末尾字符)，而文件名的其余部分相同。
因此，根据本实施例的摄像设备100在下面的状态下(在空闲时)执行追踪显像：在诸如拍摄之间、在再现模式的待机时或者在睡眠状态时等的等待用户操作时，设备的处理负荷相对低。根据RAW文件顺次创建高图像质量显像文件。因此，即使在接收到用于再现高图像质量图像的请求(诸如用于图像细节部分的确认显示或者用于打印等的请求)的情况下，每一次也不会因为显像处理(再现输出)而发生延迟，并且可以以与传统静止图像文件相同的方式，在普通操作环境下使用这些文件。
接着说明与摄像设备100的静止图像再现模式和运动图像再现模式有关的操作。图6是与本实施例的再现处理有关的流程图。图6的流程图示出控制单元161通过控制处理块所进行的、并且通过将存储在控制单元161的存储器(ROM)中的程序装载至存储器(RAM)、并且通过CPU执行该程序所实现的处理过程。
在图6的S601，控制单元161判断是否停止再现处理。在停止再现处理的情况下，摄像设备100返回空闲状态。否则，流程进入S602。
在S602，控制单元161读出作为再现处理的对象的缩小原始图像文件，并且判断是否再现该缩小原始图像。RAW文件是高分辨率的，因此如上所述需要时间来进行显像。此外，存在仍未生成高图像质量显像文件的可能性，因而，在进行再现时，控制单元161再现比其它具有更高优先级的原始图像。缩小原始图像具有约200万像素，因而可以以相同方式在实时取景显像中进行高速处理，可以立即处理用于再现的突然请求，并且可以以快速响应快速输出再现图像。然而，应该注意，缩小原始图像具有有限图像质量。尽管这对于图像的一般确认是有效的，但是对于诸如确认图像细节或者打印等的用途则可能不足。因此，如下面所述，摄像设备100还根据用途执行其它图像的再现处理。
在再现缩小原始图像的情况下，在S620，控制单元161从缓冲器115或者记录介质152等，再现所要再现的缩小RAW文件。在S621，RAW解压缩单元114解压缩从再现的缩小RAW文件所获得的压缩缩小原始图像。此外，在S622，高图像质量显像单元112显像解压缩后的缩小原始图像，以生成被提供给显示处理单元122的再现图像。尽管将缩小原始图像的显像描述为在S622通过高图像质量显像单元112所进行的，但是可以通过实时取景显像单元111代替来进行该显像。
在不再现缩小原始图像的情况下，在S603，控制单元161判断是否再现高图像质量显像图像。用于再现高图像质量显像图像的条件是：已经进行了上述追踪显像，或者响应于用户请求通过RAW文件的再现已经完成了高图像质量显像。在再现高图像质量显像图像的情况下，在S630，控制单元161从记录介质152等再现所要再现的高图像质量显像文件。在S631，静止图像解压缩单元143或者运动图像解压缩单元144解压缩从所再现的高图像质量显像文件所获得的压缩高图像质量显像图像，以生成被提供给显示处理单元122的再现图像(静止图像或者运动图像)。
在不再现缩小RAW文件和不再现高图像质量显像图像的情况下，再现RAW文件。参考图7A、7B和7C，说明本实施例中的RAW文件的再现的使用环境的例子。图7A、7B和7C是示出本实施例的显示处理的例子的图。图7A、7B和7C是不同定时的图像显示的例子。
图7A的显示例子700是通过附图标记701所表示的6个图像以缩小方式在显示单元123上的缩小显示的例子。该显示状态是列表显示。图7B中的显示例子710是一个图像711在整个显示单元123上的显示例子。该显示状态是正常显示。图7C中的显示例子720是一个图像721的放大部分在整个显示单元123上的显示例子。该显示状态是放大显示。放大显示例如假定下面的用途：在诸如显示例子720等中，以放大方式显示被摄体图像的一部分，以确认所拍摄的图像的细节、进行部分提取(裁剪)、或者检查是否处于聚焦状态。
在显示例子700或者710的状态下，分辨率足以用于显示从缩小原始图像所获得的再现图像。然而，在诸如显示例子720等的放大显示的情况下，缩小原始图像的分辨率是不足的(导致差的分辨率)，因此优选再现并显示具有高分辨率的RAW文件。在进行再现图像的放大显示的情况下，流程变换成S604及其后的RAW文件再现。
在再现原始图像的情况下，在S604，控制单元161判断所要再现的RAW文件是否被缓存在缓冲器115中。在已缓存了RAW文件的情况下，流程进入S606，并且如果没有被缓存，则进入S605。在S605，控制单元161从记录介质152等读出所要再现的RAW文件，并且将其缓存在缓冲器115中。
更新缓冲器115的数据，从而使得以更高优先级来保持按照拍摄模式下的拍摄顺序为最新者的图像。也就是说，依次从缓冲器删除过去所拍摄的图像。因此，始终将最新拍摄的图像保持在缓冲器中，因而可以省略S605、并且高速进行处理。
在S606，RAW解压缩单元114获得所缓存的RAW文件，并且解压缩从该RAW文件所获得的压缩原始图像。此外，在S607，高图像质量显像单元112对解压缩后的原始图像进行高图像质量显像，以生成被提供给显示处理单元122的再现图像。注意，摄像设备100还可以通过S607中的高图像质量显像，新创建与所要再现的RAW文件相对应的高图像质量显像文件。
在S608，显示处理单元122将与再现对象相对应的其中一个再现图像输出给显示单元123以进行显示。显示形式如图7A～7C所示。显示处理单元122还可以将来自视频输出端子124的显示图像输出给外部设备。在结束S608的显示时，流程返回至S601。
可以进行如下假定：可以在没有进行追踪显像的定时，发生从图6的S604及其后的RAW文件再现。这反之意为：即使在需要高图像质量的放大显示的情况下，也可以在无需新显像RAW文件的情况下，提供高图像质量显像图像，只要已经创建了高图像质量显像文件即可。在本实施例中，在下面的状态下(在空闲时)进行追踪显像：在诸如拍摄之间、在再现模式的待机时或者在睡眠状态时等的等待用户操作时，设备的处理负荷相对低。另外，当在用户指示下再现RAW文件时，可以创建高图像质量显像图像。这样根据RAW文件来顺次创建高图像质量显像文件。预先进行越高的高图像质量显像，则在请求放大显示时发生高图像质量显像的频率越低，因而可以越快速地输出用于放大显示的高图像质量图像，并且预期可操作性越好。
以上说明了下面的情况：将RAW文件缓存在缓冲器115中，可以跳过S605，因而可以更高速地显示图像。因此，在进行图7A和7B中的显示例子700和710的显示时，优选预先从记录介质读出与图像701和711相对应的RAW文件，并且预先将其装载至缓冲器115，从而使得尽可能地将RAW文件保持在缓冲器115中。记录/再现单元151在用于放大的指示之前从记录介质152等读出相应的RAW文件、并且对其进行缓存这样的配置使得在做出用于诸如显示例子720等的放大显示的指示时，能够以更快的响应速度进行显示。
接着说明与摄像设备100的编辑模式有关的操作。图8是示出进行编辑处理的编辑设备(外部设备)的结构例子的框图。图9A和9B是与本实施例的编辑处理和编辑执行有关的流程图。图9A和9B的流程图示出控制单元161通过控制处理块所进行的、并且通过将存储在控制单元161的存储器(ROM)中的程序装载至存储器(RAM)、并且通过CPU执行该程序所实现的处理过程。
图8中的编辑设备800是摄像设备100的外部设备，更具体地，是外部存储器或者服务器、或者移动信息终端(平板电脑、智能手机等)或个人计算机(PC)等。编辑设备800可以与摄像设备100交换各种类型的文件和相关信息。通信单元802具有如下结构：使得能够使用通信端子801，利用无线通信或有线通信，经由因特网或者通过装置之间的直接通信来访问摄像设备100。
在进行编辑处理时或者之前，编辑设备800经由通信单元802从网络上所连接的外部摄像设备100获取缩小RAW文件。经由内部总线811，将所接收到的缩小RAW文件保存在记录介质803中。内部总线811与编辑设备800内的各部件连接，并且用作为数据总线和系统总线。
对缩小RAW文件进行解压缩显像，并且在编辑处理时使用这样所获得的图像信息。RAW解压缩单元804读出保存在记录介质803中的想要的缩小RAW文件，并且对压缩缩小原始图像进行解压缩。RAW显像单元805对解压缩后的缩小原始图像进行显像处理。将通过缩小原始图像的显像处理所获得的图像显示在显示单元809上。
控制单元808包括CPU以及用于存储CPU所执行的应用程序和控制程序的未示出的存储器。控制单元808在控制单元808所执行的编辑应用程序的控制下，控制在接受来自正在监视显示在显示单元809上的图像的用户的编辑指示时所执行的编辑处理。用户通过用户接口单元807输入编辑指示。用户接口单元807使用例如触摸面板所实现的操作单元、鼠标、键盘或者专用或通用控制台等、以及提供显示信息的编辑应用程序。
根据来自用户接口单元807的编辑指示，使得所显示的缩小原始图像经过裁剪和合成等。如果文件是运动图像，则所应用的指示还可以包括通过指定切入/切离和施加效果等的可选场景选择。编辑信息生成单元806根据编辑的内容，生成编辑信息。编辑信息是从缩小原始图像所获得的图像所经过的编辑的内容(数据信息的形式)。这里，编辑信息描述是否对于静止图像或者运动图像的每一帧进行编辑、以及编辑的内容。编辑信息还可以包括已经经过了编辑处理的缩小原始图像的实际数据。将该编辑信息记录在记录介质803中，并且还响应于来自摄像设备100的请求，发送给摄像设备100。
接着参考图9A和9B，说明通过摄像设备100的编辑处理和编辑执行的流程。图9A是编辑处理流程，并且图9B是编辑执行流程。在开始编辑处理时，在图9A的S901，控制单元161判断是否停止编辑处理。在停止编辑处理的情况下，摄像设备100返回至空闲状态。在继续编辑处理的情况下，流程进入S902。
在S902，控制单元161与所要编辑的RAW文件相对应的缩小RAW文件作为编辑数据发送给用作外部设备的编辑设备800。在S903，控制单元161向编辑设备800发出编辑命令。编辑命令被发送给控制单元808，并且用作编辑设备800的编辑信息生成指示。在S903之后，流程返回至S901。
在接收到上述编辑命令时，编辑设备800进行上述编辑处理，从而生成编辑信息。在编辑设备800结束了编辑信息的生成的情况下，控制单元161可以在用户指示下开始图9B的编辑执行流程。
在开始编辑执行时，在图9B的S911，控制单元161判断是否停止编辑处理。在停止编辑处理的情况下，摄像设备100返回至空闲状态。在继续编辑执行的情况下，流程进入S912。
在S912，控制单元161使用通信单元153，从编辑设备800接收与所要编辑的RAW文件相对应的编辑信息。在S913，控制单元161参考该编辑信息，从而对摄像设备100内的RAW文件或者缩小RAW文件施加与所接收到的编辑信息中所述的内容相对应的编辑或再现。也就是说，在摄像设备100内，在原本的原始图像或者缩小原始图像上再现编辑设备800所进行的针对缩小原始图像的编辑的内容。在S913之后，流程返回至S911。可以将这样经过了编辑执行的原始图像保存为原本的文件已被更新的文件，或者可以各自单独保存原本的图像和编辑信息，并且在每一次再现该图像时，都在再现(即，编辑)该图像时反映该编辑信息。
这样，使用缩小原始图像作为编辑数据或者原始图像的代表，从而通过用于使用外部设备来进行编辑的这一结构，使得编辑处理合理化并且提高性能。此外，可以降低系统上与编辑处理有关的整体负荷。
第二实施例
图10是示出根据本发明第二实施例的图像处理设备的结构例子的框图。图10示出作为根据本实施例的图像处理设备的摄像设备1000。摄像设备1000不仅将通过对被摄体进行摄像所获得的图像信息记录在记录介质中，而且还具有用于从记录介质再现图像信息、进行显像处理和进行显示的功能、以及用于与外部设备或者服务器(云)等交换图像信息并进行编辑的功能。因此，根据本实施例的图像处理设备不局限于被表现为摄像设备，并且还可以是记录设备、再现设备、记录/再现设备、通信设备、编辑设备、图像处理系统和编辑系统等。
以相同的附图标记来表示与上述第一实施例的摄像设备100相同的根据本实施例的摄像设备1000的结构，并且省略对其的说明。
在图10中，摄像设备1000具有用作摄像单元的摄像模块170和用作图像处理单元的图像处理模块180，其中摄像模块170和图像处理模块180通过总线107连接。将通过摄像模块170内的摄像所获得的RAW数据等经由总线107提供给图像处理模块180。摄像模块170包括摄像传感器单元102、传感器信号处理单元103、照相机控制单元104和编码单元106。图像处理模块180包括解码单元108、RAW缩小单元109、显像单元110、实时取景显像单元111、高图像质量显像单元112、开关单元121、RAW压缩单元113、RAW解压缩单元114和缓冲器115。图像处理模块180还包括评价值计算单元105、识别单元131、显示处理单元122、静止图像压缩单元141、运动图像压缩单元142、静止图像解压缩单元143、运动图像解压缩单元144、记录/再现单元151和控制单元161。摄像设备1000还具有光学单元101、显示单元123、视频输出端子124、通信单元153、通信端子154和内置或可拆卸的记录介质152。
详细说明不同于根据上述第一实施例的摄像设备100的根据本实施例的摄像设备1000的结构。摄像模块170内部具有编码单元106。编辑单元106的存在是为了压缩RAW数据，以减轻大量RAW数据经由总线107进行传输时对通信带的压迫。编码单元106可以采用的编码处理(压缩处理)的例子包括利用差分脉冲编码调制(DPCM)和Golomb编码的压缩。该方法通过对像素数据之间的差值进行Golomb编码，降低了经过DPCM处理的像素数据中的像素的信息量。可选地，可以进行使用一维离散余弦变换(DCT)删除像素数据的不必要的高频成分的压缩。压缩率在进行这两种方法中的任一方法时都可以是固定的，或者可以被设计成根据用户指示或者拍摄模式来进行调整。
通过传感器信号处理单元103，使得在拍摄时由摄像传感器单元102转换被摄体图像所获得的像素数据经过像素恢复处理。该恢复处理涉及如下处理：通过针对摄像传感器单元102的丢失或不可靠像素，使用附近像素值对这些要恢复的像素进行插值、并且减去预定偏移值，来处理这些像素。可以对此进行改变，从而使得在此不进行部分或者全部恢复处理，而是随后在显像时进行。
编码单元106根据上述方法，对从传感器信号处理单元103所提供的像素数据进行编码处理。将处于在编码处理中已被压缩的状态的像素数据经由总线107发送给图像处理模块180。通过位于图像处理模块180的输入部的解码单元108来对压缩像素数据进行解码。解码单元108进行与上游的编码单元106相反的变换以对压缩像素数据进行解码。
将通过编码单元106的压缩并进一步通过解码单元108的解码的像素数据称为原始图像，意为本实施例中的原始(显像前)图像。可以以与第一实施例相同的方式，将经过了压缩的原始图像依然作为高质量原始图像进行处理。
此后，将原始图像提供给RAW压缩单元113、并且再次进行压缩以进行高效记录。通过RAW缩小单元109缩小原始图像的大小以有效进行显示和再现。例如，RAW缩小单元109将输入原始图像的大小调整成HD大小(约等于200万像素)，从而生成缩小原始图像。此后的原始图像和缩小原始图像的处理与第一实施例的相同。
注意，可以通过下面的电路来实现对压缩原始图像进行解压缩/解码的图像处理模块180中的解码单元108和RAW解压缩单元114两者，其中，在该电路中，共享或者集成两者的部分或者全部处理电路。
根据本实施例的摄像设备1000所进行的拍摄处理、显像处理、再现处理、编辑处理和编辑执行处理以及所创建的文件的结构与第一实施例的相同。
因此，根据本实施例，在提高摄像设备1000内的RAW数据的传输效率的同时，可以实现与第一实施例相同的功能。
尽管以上说明了第一实施例和第二实施例，但是本发明不局限于这些实施例，并且在不脱离本发明的技术思想的情况下，可以通过电路配置适当进行各种修改。
其它实施例
还可以通过读出并执行记录在存储介质(还可被更全面地称为“非瞬态计算机可读存储介质”)上的计算机可执行指令(例如，一个以上的程序)以进行一个以上的上述实施例的功能并且/或者包括用于进行一个以上的上述实施例的功能的电路(例如，专用集成电路(ASIC))的系统或设备的计算机、以及通过下面的方法来实现本发明的各实施例，其中，系统或设备的计算机通过例如从存储介质读出并执行计算机可执行指令以进行一个以上的上述实施例的功能、以及/或者通过控制一个以上的电路以进行一个以上的上述实施例的功能来进行该方法。计算机可以包含一个以上的处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括分离的计算机或者分离的处理器的网络以读出和执行计算机可执行指令。可以通过例如网络或者存储介质将计算机可执行指令提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如紧凑型光盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)TM等)、闪存存储器装置和存储卡等中的一个或多个。
尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽解释，以包含所有这类修改、等同结构和功能。
本申请要求2014年9月12日提交的日本专利申请2014-186870的优先权，其内容通过引用包含于此。

Claims (12)

1.一种图像处理设备，包括：
摄像单元，用于使用摄像传感器来从被摄体图像的摄像信号中获取用于表示显像前图像的原始图像；
缩小单元，用于缩小所述原始图像以生成缩小原始图像；
记录单元，用于将所述原始图像和所述缩小原始图像各自的数据记录在记录介质中；
通信单元，用于与外部设备进行通信；以及
控制单元，用于将所述记录介质中所记录的所述缩小原始图像的数据经由所述通信单元发送至所述外部设备，并且使所述外部设备进行所述缩小原始图像的编辑处理，
其中，所述控制单元经由所述通信单元从所述外部设备接收用于表示所述编辑处理的内容的编辑信息，并且使用该编辑信息以通过参考该编辑信息来执行与进行了所述编辑处理的所述缩小原始图像相对应的原始图像的编辑。
2.根据权利要求1所述的图像处理设备，其中，还包括：
第一压缩单元，用于在所述记录单元记录所述原始图像和所述缩小原始图像各自的数据之前，对各图像进行压缩处理。
3.根据权利要求2所述的图像处理设备，其中，还包括：
第二压缩单元，用于对所述第一压缩单元进行了压缩处理的图像进行解压缩和显像，之后利用与所述第一压缩单元的格式不同的格式来对该图像进行压缩处理。
4.根据权利要求2所述的图像处理设备，其中，还包括：
编码单元，用于进行编码以压缩与所述摄像信号中的像素的数据有关的信息量；
发送单元，用于经由总线发送编码后的像素数据；以及
解码单元，用于接收并解码所发送的像素数据，
其中，所述第一压缩单元从解码后的像素数据来获取所述原始图像，并且进行压缩处理。
5.根据权利要求1所述的图像处理设备，其中，还包括：
第一显像单元，用于对所述缩小原始图像进行显像；以及
第二显像单元，用于对所述原始图像进行显像，并且能够进行与所述第一显像单元相比具有更高质量的显像。
6.根据权利要求1所述的图像处理设备，其中，所述编辑信息包括进行了所述编辑处理的所述缩小原始图像的实际数据。
7.根据权利要求1所述的图像处理设备，其中，所述编辑信息表示图像的裁剪或合成的结果。
8.根据权利要求1所述的图像处理设备，其中，所述编辑信息表示运动图像的切入/切离指定。
9.根据权利要求1所述的图像处理设备，其中，所述外部设备是外部服务器。
10.根据权利要求1所述的图像处理设备，其中，所述外部设备是用于执行所述编辑处理的应用程序的移动信息终端。
11.一种图像处理方法，包括以下步骤：
使用摄像传感器进行摄像，以从被摄体图像的摄像信号中获取用于表示显像前图像的原始图像；
缩小所述原始图像以生成缩小原始图像；
将所述原始图像和所述缩小原始图像各自的数据记录在记录介质中；
与连接至网络的外部设备进行通信；
将所述记录介质中所记录的所述缩小原始图像的数据经由所述网络发送至所述外部设备，并且使所述外部设备进行所述缩小原始图像的编辑处理；以及
经由所述网络从所述外部设备接收用于表示所述编辑处理的内容的编辑信息，并且使用该编辑信息以通过参考该编辑信息来执行与进行了所述编辑处理的所述缩小原始图像相对应的原始图像的编辑。
12.一种非瞬态计算机可读存储介质，用于存储用于使得计算机发挥根据权利要求1所述的图像处理设备的各单元的功能的程序。
CN201580049264.9A 2014-09-12 2015-08-20 图像处理设备和图像处理方法 Active CN107079131B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014186870A JP6406949B2 (ja) 2014-09-12 2014-09-12 画像処理装置及び画像処理方法
JP2014-186870 2014-09-12
PCT/JP2015/004171 WO2016038807A1 (en) 2014-09-12 2015-08-20 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
CN107079131A true CN107079131A (zh) 2017-08-18
CN107079131B CN107079131B (zh) 2020-03-31

Family

ID=55458582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580049264.9A Active CN107079131B (zh) 2014-09-12 2015-08-20 图像处理设备和图像处理方法

Country Status (5)

Country Link
US (1) US10003767B2 (zh)
EP (1) EP3192251B1 (zh)
JP (1) JP6406949B2 (zh)
CN (1) CN107079131B (zh)
WO (1) WO2016038807A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111095350A (zh) * 2017-09-01 2020-05-01 三星电子株式会社 图像处理设备、用于处理图像的方法和计算机可读记录介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10567727B2 (en) * 2016-09-29 2020-02-18 Panasonic Intellectual Property Management Co., Ltd. Reproduction method, creation method, reproduction device, creation device, and recording medium
KR102434417B1 (ko) * 2017-07-20 2022-08-22 삼성전자주식회사 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터의 크기에 기반하여, 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터를 전송하는 방법 및 이를 지원하는 전자 장치
JP7077120B2 (ja) * 2018-04-26 2022-05-30 キヤノン株式会社 情報処理装置およびその制御方法およびプログラム
JP7384158B2 (ja) * 2018-06-25 2023-11-21 ソニーグループ株式会社 画像処理装置、移動装置、および方法、並びにプログラム
KR102609734B1 (ko) 2018-07-20 2023-12-05 삼성전자 주식회사 전자 장치 및 이미지의 전송 상태에 기반하여 이미지를 보정하는 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295815A (ja) * 2005-04-14 2006-10-26 Noritsu Koki Co Ltd 写真処理装置
US20100277508A1 (en) * 2009-04-30 2010-11-04 Canon Kabushiki Kaisha Image processing system
CN102883167A (zh) * 2012-09-19 2013-01-16 旗瀚科技有限公司 一种视频图像数据处理方法及系统
CN102959956A (zh) * 2010-06-25 2013-03-06 株式会社尼康 图像处理装置和图像处理程序
US8768142B1 (en) * 2012-01-26 2014-07-01 Ambarella, Inc. Video editing with connected high-resolution video camera and video cloud server

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4497945B2 (ja) * 2003-02-04 2010-07-07 キヤノン株式会社 撮像装置
JP4908343B2 (ja) * 2007-08-06 2012-04-04 オリンパス株式会社 撮像システム
JP4831017B2 (ja) * 2007-08-27 2011-12-07 ソニー株式会社 画像処理装置、現像装置、画像処理方法、現像方法、画像処理プログラム、および現像プログラム
JP4987129B2 (ja) * 2010-04-23 2012-07-25 キヤノン株式会社 画像処理装置及びその制御方法
US9041954B2 (en) * 2011-06-07 2015-05-26 Hewlett-Packard Development Company, L.P. Implementing consistent behavior across different resolutions of images
JP6108755B2 (ja) * 2012-10-18 2017-04-05 オリンパス株式会社 撮影機器、撮影画像送信方法及び撮影画像送信プログラム
JP6012411B2 (ja) * 2012-11-06 2016-10-25 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP6021594B2 (ja) * 2012-11-08 2016-11-09 オリンパス株式会社 撮像装置及びプログラム
JP6184080B2 (ja) 2012-11-20 2017-08-23 ソニー株式会社 撮像素子

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295815A (ja) * 2005-04-14 2006-10-26 Noritsu Koki Co Ltd 写真処理装置
US20100277508A1 (en) * 2009-04-30 2010-11-04 Canon Kabushiki Kaisha Image processing system
CN102959956A (zh) * 2010-06-25 2013-03-06 株式会社尼康 图像处理装置和图像处理程序
US8768142B1 (en) * 2012-01-26 2014-07-01 Ambarella, Inc. Video editing with connected high-resolution video camera and video cloud server
CN102883167A (zh) * 2012-09-19 2013-01-16 旗瀚科技有限公司 一种视频图像数据处理方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111095350A (zh) * 2017-09-01 2020-05-01 三星电子株式会社 图像处理设备、用于处理图像的方法和计算机可读记录介质
CN111095350B (zh) * 2017-09-01 2023-12-19 三星电子株式会社 图像处理设备、用于处理图像的方法和计算机可读记录介质

Also Published As

Publication number Publication date
US20170264858A1 (en) 2017-09-14
JP6406949B2 (ja) 2018-10-17
EP3192251A1 (en) 2017-07-19
EP3192251A4 (en) 2018-05-02
JP2016063251A (ja) 2016-04-25
EP3192251B1 (en) 2021-10-06
WO2016038807A1 (en) 2016-03-17
CN107079131B (zh) 2020-03-31
US10003767B2 (en) 2018-06-19

Similar Documents

Publication Publication Date Title
JP6472253B2 (ja) 画像処理装置及びその制御方法
CN107079131A (zh) 图像处理设备和图像处理方法
JP2015179909A (ja) 撮像装置及びその制御方法
CN105144700B (zh) 图像处理设备和图像处理方法
EP2974265B1 (en) Imaging apparatus and imaging apparatus control method
JP5883052B2 (ja) 画像処理装置及びその制御方法
CN107079130A (zh) 图像处理设备和图像处理方法
JP6245819B2 (ja) 画像処理装置及び画像処理方法
JP6366268B2 (ja) 撮像装置及びその制御方法
JP6452362B2 (ja) 撮像装置及び撮像方法
JP2016005103A (ja) 撮像装置およびその制御方法
JP6245818B2 (ja) 撮像装置及び撮像装置の制御方法
JP6333008B2 (ja) 撮像装置及び撮像装置の制御方法
JP6192319B2 (ja) 画像処理装置及び画像処理方法
JP2016063252A (ja) 画像処理装置及び画像処理方法
JP2008092503A (ja) 撮像装置
JP2016063254A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant