CN102959956A - 图像处理装置和图像处理程序 - Google Patents

图像处理装置和图像处理程序 Download PDF

Info

Publication number
CN102959956A
CN102959956A CN2011800315947A CN201180031594A CN102959956A CN 102959956 A CN102959956 A CN 102959956A CN 2011800315947 A CN2011800315947 A CN 2011800315947A CN 201180031594 A CN201180031594 A CN 201180031594A CN 102959956 A CN102959956 A CN 102959956A
Authority
CN
China
Prior art keywords
gtg
image
image processing
view data
mentioned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800315947A
Other languages
English (en)
Other versions
CN102959956B (zh
Inventor
土井田茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN102959956A publication Critical patent/CN102959956A/zh
Application granted granted Critical
Publication of CN102959956B publication Critical patent/CN102959956B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/82—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
    • H04N23/83—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction specially adapted for colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

图像处理装置包括生成拍摄到的图像的RAW图像数据的拍摄部、以及灰阶转换部。拍摄部包括把被拍摄体的像转换成电信号的拍摄元件。并且，灰阶转换部针对连续拍摄到的图像的RAW图像数据，按照每种基于拍摄元件的像素排列的颜色信号，实施与拍摄条件相应的灰阶转换。由此，能高效地压缩连续拍摄到的图像的RAW图像数据。

Description

图像处理装置和图像处理程序
技术领域
本发明涉及图像处理装置和图像处理程序。
背景技术
一般情况下，在数码相机等拍摄装置中，对从拍摄元件输出的RAW(未经加工的)图像数据实施颜色插补处理等图像处理，并将图像处理后的数据压缩成一般图像文件的格式。例如，在静止图像的拍摄中，图像处理后的数据被压缩成JPEG(Joint Photographic ExpertsGroup：联合图像专家组)格式。另外，在动态图像的拍摄中，图像处理后的数据被压缩成MPEG(Moving Picture Experts Group：动态图像专家组)等格式。压缩后的数据存储于存储介质等中。
近年来，把拍摄了静止图像时的RAW图像数据存储在存储介质等中的数码相机逐渐普及。RAW图像数据例如利用于在拍摄后高精度地调整图像的色调、对比度等的情况。此外，一般情况下，在RAW图像数据中，与实施了图像处理和压缩处理的数据相比，数据量变多。因此，提出了这样的技术，即，按每种颜色成分压缩拍摄了静止图像时的RAW图像数据，并把各颜色成分的压缩后的数据存储在存储介质等中(例如参照专利文献1)。
专利文献1：日本特开2002-125241号公报
发明内容
在拍摄动态图像时也期望把RAW图像数据存储在存储介质等中。此外，由于在由多个帧构成的动态图像中数据量非常大，需要压缩RAW图像数据。由于RAW图像数据是依存于拍摄元件的颜色排列(例如拜耳(Bayer)排列)的像素结构，各帧的彼此相邻的像素间的相关度较低，帧间的相关度也较低。因此，例如即使把拍摄了动态图像时的RAW图像数据压缩成MEPG格式，也不能得到MPEG本来的压缩效率。然而，未提出高效地压缩动态图像等连续拍摄到的图像的RAW图像数据的方法。
本发明的目的在于提供一种能高效地压缩连续拍摄到的图像的RAW图像数据的图像处理装置和图像处理程序。
图像处理装置包括生成拍摄到的图像的RAW图像数据的拍摄部、以及灰阶转换部。拍摄部包括把被拍摄体的像转换成电信号的拍摄元件。并且，灰阶转换部针对连续拍摄到的图像的RAW图像数据，按照每种基于拍摄元件的像素排列的颜色信号，实施与拍摄条件相应的灰阶转换。
附图说明
图1是表示一个实施方式的图像处理装置的概要的图。
图2是表示在图1中示出的压缩部的操作的一例的图。
图3是表示每种颜色成分的帧数据的一例的图。
图4是表示灰阶转换表的输入输出特性的一例的图。
具体实施方式
以下，使用附图说明本发明的实施方式。
图1示出了本发明的一个实施方式。该实施方式的图像处理装置10例如是可进行动态图像的拍摄的数码相机。以下，把图像处理装置10称为数码相机10。例如，数码相机10包括拍摄透镜20、拍摄元件22、模拟处理部24、A/D转换部26、控制部28、图像处理部30、压缩部32、缓存部34、存储器36、存储介质38、监视器40以及操作部42。例如，A/D转换部26、控制部28、图像处理部30、压缩部32、缓存部34、存储器36、存储介质38以及监视器40连接在总线BUS上。此外，图中的虚线箭头示出了图像数据RAWDATA、RAWCOMP的流动的一例。
拍摄透镜20把被拍摄体的像成像在拍摄元件22的受光面上。拍摄元件22例如是CCD(Charge Coupled Device，电荷耦合装置)图像传感器或CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)图像传感器。拍摄元件22把经由拍摄透镜20入射的被拍摄体的像转换成电信号(以下都称为图像信号)，并把已转换的电信号输出到模拟处理部24中。
模拟处理部24是对从拍摄元件22接受到的图像信号实施模拟信号处理的模拟前端电路。例如，模拟处理部24实施调整图像信号增益的增益控制、用于降低图像信号噪声成分的相关二重取样处理等，并生成模拟图像数据。并且，模拟处理部24把已生成的模拟图像数据输出到A/D转换部26中。
A/D转换部26通过把从模拟处理部24接受到的模拟图像数据转换成数字图像数据，生成RAW图像数据RAWDATA。并且，A/D转换部26把RAW图像数据RAWDATA输出到压缩部32和缓存部34中。这样，拍摄元件22、模拟处理部24和A/D转换部26作为生成已拍摄图像的RAW图像数据的拍摄部发挥功能。
在RAW图像数据RAWDATA中，基于拍摄元件22的像素排列(例如，拜耳(Bayer)排列)，在一个像素中存储一种颜色的亮度信息。以下，在一个像素中存储一种颜色的亮度信息的数据形式称为RAW格式。
控制部28例如是微处理器，基于存储器36中存储的程序控制数码相机10的操作。例如，控制部28实施自动对焦控制、曝光控制、白平衡控制以及图像数据的记录等。
图像处理部30对存储在缓存部34中的RAW图像数据RAWDATA实施至少包含颜色插补处理的图像处理，并生成拍摄图像的原始图像数据。由此，数码相机10根据需要能把原始图像数据存储在存储介质38等中。在这里，颜色插补处理例如是利用周围像素的颜色信息(亮度信息)对各像素中不足颜色的亮度信息进行插补的处理。因此，在作为实施了颜色插补处理等图像处理的图像数据的原始图像数据中，各像素包括全部颜色(例如红、绿、蓝)的亮度信息。此外，除颜色插补处理外，例如图像处理部30也可对RAW图像数据RAWDATA实施白平衡处理、轮廓补偿处理、伽马处理、以及噪声降低处理等图像处理。
压缩部32例如将动态图像的RAW图像数据RAWDATA按RAW格式压缩，并生成压缩图像数据RAWCOMP。例如，压缩部32针对连续拍摄到的图像的RAW图像数据RAWDATA，按每种基于拍摄元件22的像素排列的颜色信号，实施与拍摄条件相应的灰阶转换。并且，压缩部32针对实施了灰阶转换的RAW图像数据RAWDATA，按每种颜色信号实施利用了空间方向和时间方向的相关度的压缩处理。由压缩部32生成的压缩图像数据RAWCOMP例如存储在存储介质38中。
这样，在该实施方式中，压缩部32作为灰阶转换部发挥功能，其针对连续拍摄到的图像的RAW图像数据RAWDATA，按每种基于拍摄元件22的像素排列的颜色信号，实施与拍摄条件相应的灰阶转换。并且，压缩部32作为图像压缩部发挥功能，其针对实施了灰阶转换的RAW图像数据RAWDATA，按每种颜色信号实施利用了空间方向和时间方向的相关度的压缩处理。即，在该实施方式中，压缩部32包括灰阶转换部和图像压缩部。
在这里，拍摄条件例如包含拍摄时的曝光条件、拍摄时的白平衡以及图像的亮度中的至少一个。此外，拍摄条件例如也可包含基于拍摄时的曝光条件、拍摄时的白平衡以及图像的亮度中的至少一个的时序变化的推移信息。
例如，在拍摄条件包含拍摄时的曝光条件、拍摄时的白平衡的情况下，压缩部32从控制部28取得表示拍摄时的曝光条件、白平衡等的拍摄信息SHINF。另外，例如，拍摄条件包含图像的亮度的情况下，压缩部32解析RAW图像数据RAWDATA的亮度信号，并计算出表示图像的亮度的亮度信息。根据RAW图像数据RAWDATA计算出的亮度信息例如是与图像的亮度分布、画面整体的平均亮度等拍摄时的光量相当的信息。
此外，压缩部32也可按照RAW格式压缩静止图像的RAW图像数据RAWDATA。该情况下，压缩部32例如针对实施了灰阶转换的RAW图像数据RAWDATA，按每种颜色信号实施利用了空间方向的相关度的压缩处理。静止图像的RAW图像数据RAWDATA的每种颜色信号的压缩处理能应用JPEG(Joint Photographic Experts Group：联合图像专家组)格式等已有的压缩编码方法。
另外，压缩部32也可具有压缩原始图像数据(图像处理后的图像数据)的功能。该情况下，压缩部32使用MPEG(Moving Picture ExpertsGroup：动态图像专家组)格式、H.264/MPEG-4AVC格式等压缩编码方法来压缩动态图像的原始图像数据。或者，压缩部32使用JPEG格式等压缩编码方法，压缩静止图像的原始图像数据。
缓存部34例如暂时存储从A/D转换部26接受到的RAW图像数据RAWDATA。存储器36例如是由闪速存储器等非易失性存储器形成的内置存储器，存储用于控制数码相机10的操作的程序等。
存储介质38经由存储介质接口(未图示)存储拍摄到的图像的压缩图像数据RAWCOMP等。监视器40例如是液晶显示器，显示实时图像、菜单画面等。操作部42具有快门按钮及其他各种开关，为了使数码相机10工作，由用户操作操作部42。
图2示出了在图1中示出的压缩部32的操作的一例。此外，图2示出了实施动态图像拍摄时压缩部32的操作的一例。例如，步骤S100-S220中，由压缩部32按照存储在存储器36中的图像处理程序实施。首先，根据动态图像拍摄的开始，实施步骤S100。
在步骤S100中，压缩部32在存储介质38中生成用于压缩图像数据RAWCOMP的记录的记录用文件。
在步骤S110中，压缩部32从A/D转换部26依次取得与动态图像的各帧对应的RAW图像数据RAWDATA。此外，如在图1说明的那样，RAW图像数据RAWDATA依次存储在缓存部34中。因此，压缩部32也可从缓存部34依次读出RAW图像数据RAWDATA。该情况下，A/D转换部26也可以不将RAW图像数据RAWDATA输出到压缩部32中。
在步骤S 120中，压缩部32从控制部28依次取得各帧的拍摄信息SHINF，并把已取得的拍摄信息SHINF依次存储在缓存部34等中。拍摄信息SHINF是表示动态图像各帧的拍摄时的曝光条件、白平衡等的信息，例如供决定灰阶转换的处理内容等时(步骤S140)参照。因此，压缩部32把当前帧之前的预定时间(例如1秒钟左右)的拍摄信息SHINF存储在缓存部34等中即可。此外，压缩部32也可以具有存储拍摄信息SHINF的缓存区。
在步骤S130中，压缩部32从RAW图像数据RAWDATA依次提取动态图像各帧的亮度信息，并把提取出的亮度信息依次存储在缓存部34等中。亮度信息是图像的亮度分布、帧(画面整体)的平均亮度等，例如供决定灰阶转换的处理内容等时(步骤S140)参照。因此，压缩部32把当前帧之前的预定时间(例如1秒钟左右)的亮度信息存储在缓存部34等中即可。此外，压缩部32也可以具有存储亮度信息的缓存区。在这里，亮度信息的提取通过解析RAW图像数据RAWDATA的亮度信号实施。例如，压缩部32基于RAW图像数据RAWDATA的绿色颜色成分的亮度信号提取图像的亮度分布。
在步骤S140中，压缩部32基于存储在缓存部34中的拍摄信息SHINF(拍摄时的曝光条件、拍摄时的白平衡等)和亮度信息(图像的亮度分布等)，决定灰阶转换的处理内容和压缩帧数。例如，压缩部32综合地判断拍摄时的曝光条件、拍摄时的白平衡以及图像的亮度，决定灰阶转换的处理内容和压缩帧数。此外，压缩部32也可以基于拍摄时的曝光条件、拍摄时的白平衡以及图像的亮度中的至少一个，决定灰阶转换的处理内容和压缩帧数。或者，压缩部32也可以根据基于拍摄时的曝光条件、拍摄时的白平衡以及图像的亮度中的至少一个的时序变化的推移信息，决定灰阶转换的处理内容和压缩帧数。
在这里，灰阶转换的处理内容的决定例如是指，在预先准备了后述的、如在图4中示出的多个灰阶转换表的情况下，选择使用于灰阶转换的灰阶转换表。例如，在图像的亮度(亮度分布、平均亮度等)偏向低亮度侧时，压缩部32从预先准备的多个灰阶转换表中选择留下低亮度部的灰阶的灰阶转换表。
压缩帧数的决定是指决定作为时间方向的压缩处理的基准的帧(以下都称为基准帧)的周期。即，压缩帧数与基准帧的周期相当。例如，在H.264ZMPEG-4AVC中，压缩帧数与IDR(InstantaneousDecoder Refresh：瞬时解码器更新)图像的周期相当。此外，压缩帧数既可以固定，也可以可变。例如，在拍摄时的曝光条件、拍摄时的白平衡以及亮度信息中的至少一个的时序变化较大的情况下，压缩部32变更压缩帧数。此外，上述的灰阶转换的处理内容的决定例如按每个基准帧实施。例如，压缩部32按每个基准帧从预先准备的多个灰阶转换表中选择使用于灰阶转换的灰阶转换表。由此，按每个基准帧更新灰阶转换的处理内容。
在步骤S 150中，压缩部32按每种颜色信号(颜色成分)分离在步骤S110取得的RAW图像数据RAWDATA，并生成每种颜色成分的帧数据。例如，在拍摄元件22的像素排列为拜耳排列的情况下，如后述的图3所示，压缩部32生成R(红色)成分、Gr(绿色)成分、Gb(绿色)成分以及B(蓝色)成分的4种帧数据FRM12、FRM14、FRM16以及FRM18。帧数据FRM12、FRWI14、FRM16、以及FRM18例如存储在缓存部34等中。
在步骤S160中，压缩部32生成在解码压缩的图像数据(压缩图像数据RAWCOMP)时所需的附加信息。附加信息例如是拍摄信息SHINF、在步骤S150生成的表示各帧数据的颜色成分的信息、在步骤S140决定的表示灰阶转换的处理内容的信息以及压缩处理的信息(压缩帧数、压缩编码方法)等。此外，压缩部32既可按每帧生成附加信息，也可按每个基准帧生成附加信息。例如，在按每帧生成附加信息的情况下，基准帧以外的帧的附加信息的内容(例如拍摄信息SHINF的内容)也可以仅为与基准帧的差量。
在步骤S170中，压缩部32基于在步骤S140决定的灰阶转换的处理内容，对在步骤S150生成的各颜色成分的帧数据进行灰阶转换。即，压缩部32按每种颜色成分，根据拍摄条件实施RAW图像数据RAWDATA的灰阶转换。已灰阶转换的各颜色成分的帧数据例如存储在缓存部34等中。
在步骤S180中，压缩部32针对在步骤S170已灰阶转换的各颜色成分的帧数据，实施利用了空间方向和时间方向的相关度的压缩处理。即，压缩部32针对实施了灰阶转换的RAW图像数据RAWDATA，按每种颜色成分实施利用了空间方向和时间方向的相关度的压缩处理。此外，在步骤S150生成的帧数据在各个单体中，可作为黑白的帧数据处理。另外，在各颜色成分的帧数据中，彼此相邻的像素间的相关度变高，按时序连续的帧数据间的相关度变高。因此，各颜色成分的帧数据的压缩处理能应用MPEG格式、H.264/MPEG-4AVC格式等已有的压缩编码方法。
在步骤S190中，压缩部32把在步骤S160生成的附加信息压缩编码。附加信息的压缩编码能应用霍夫曼(Huffman)编码等已有的压缩编码方法。此外，压缩部32也可加密附加信息来代替压缩编码。例如，附加信息的加密能应用AES(Advanced Encryption Standard：高级加密标准)等已有的加密方法。附加信息的压缩编码(或者加密)用预先决定的方法实施。
在步骤S200中，压缩部32把在步骤S180已进行了压缩处理的各颜色成分的帧数据与在步骤S190已进行了压缩处理的附加信息记录到在步骤S100中在存储介质38生成的记录用文件中。此外，在按每个基准帧生成附加信息的情况下，可以按每个基准帧在记录用文件中记录附加信息，也可以按每帧在记录用文件中记录附加信息(按每个基准帧内容被更新的附加信息)。
在步骤S210中，压缩部32判定拍摄是否结束。压缩部32例如通过从控制部28接收表示拍摄结束的信号等，能判定拍摄是否结束。在拍摄没有结束的情况下(步骤S210的否)，压缩部32的操作转移到步骤S110。另一方面，在拍摄结束的情况下(步骤S210的是)，压缩部32在步骤S220中关闭在存储介质38上生成的记录用文件，结束动态图像的压缩处理。
在这里，利用步骤S100-S220存储在存储介质38中的压缩图像数据RAWCOMP利用与上述压缩处理相反的的步骤，解码成适于画面质量调整的RAW格式的动态图像数据。例如已进行压缩处理的附加信息被解码，基于被解码的附加信息，解码各颜色成分的帧数据。由此，用户能编辑RAW格式的动态图像数据，能高精度地实施动态图像的编辑等。
此外，压缩部32的操作并不限定于该例子。例如，步骤S110、S120等既可以并列地执行，也可以使执行的顺序相反。另外，例如，在步骤S140中不使用亮度信息的情况下，压缩部32也可以省去步骤S130的处理。或者，步骤S100、S220等的控制存储介质38的操作也可以由控制部28实施。
图3示出了每种颜色成分的帧数据FRM的一例。此外，图3示出了拍摄元件22的像素排列为拜耳排列时帧数据FRM的一例。
RAW图像数据RAWDATA的帧数据FRM10具有红色(R)像素和绿色(Gr)像素交替配置的行、以及绿色(Gb)像素和蓝色(B)像素交替配置的行。此外，红色(R)、绿色(Gr、Gb)以及蓝色(B)像素分别具有红色(R)、绿色(Gr、Gb)以及蓝色(B)的亮度信息。如在上述的图2的步骤S150说明的那样，帧数据FRM10被分离成每种颜色成分的帧数据FRM12、FRM14、FRM16以及FRM18。
例如，在帧数据FRM12中，在维持了帧数据FRM10的红色(R)像素间的相关度的状态下，排列红色(R)的像素。在帧数据FRM14中，在维持了帧数据FRM10的绿色(Gr)像素间的相关度的状态下，排列绿色(Gr)的像素。在帧数据FRM16中，在维持了帧数据FRM10的绿色(Gb)像素间的相关度的状态下，排列绿色(Gb)的像素。在帧数据FRM18中，在维持了帧数据FRM10的蓝色(B)像素间的相关度的状态下，排列蓝色(B)的像素。由此，在该实施方式中，在各帧数据FRM12、FRM14、FRM16以及FRM18中，能提高彼此相邻的像素间的相关度。即，在该实施方式中，能提高帧内的彼此相邻的像素间的相关度，并能提高按时序连续的帧之间的相关度。
图4示出了灰阶转换表TB的输入输出特性的一例。此外，图4示出了输入灰阶和输出灰阶分别为12位(0～4095)和10位(0～1023)的灰阶转换表TB的输入输出特性的一例。灰阶转换表TB是用于把灰阶转换后的图像数据的灰阶的位数减少成比灰阶转换前的图像数据的灰阶的位数小的表。因此，为了抑制在灰阶转换前后画面质量的劣化，数码相机10具有输入输出特性不同的多个灰阶转换表TB。
例如，灰阶转换表TB1具有低亮度部的灰阶精度的劣化较小的输入输出特性。灰阶转换表TB2、TB3具有与灰阶转换表TB1相比中亮度部的灰阶精度的劣化较小的输入输出特性。灰阶转换表TB4具有高亮度部的灰阶精度的劣化较小的输入输出特性。
压缩部32例如在上述图2的步骤S140中，基于拍摄条件，从多个灰阶转换表TB1、TB2、TB3、TB4中选择维持想留下原来的图像数据的信息的精度的灰阶转换表TB。例如在图像的亮度(表示图像的亮度信息的亮度分布等)偏向低亮度侧时，选择留下低亮度部的灰阶的灰阶转换表TB1。或者在图像的亮度(表示图像的亮度信息的亮度分布等)偏向高亮度侧时，选择留下高亮度部的灰阶的灰阶转换表TB4。此外，压缩部32也可基于拍摄时的白平衡选择灰阶转换表TB，也可基于拍摄时的曝光条件选择灰阶转换表TB。或者，压缩部32也可基于图像的亮度信息和拍摄时的白平衡等多个信息，选择灰阶转换表TB。
这样，在该实施方式中，由于选择了与拍摄条件相应的灰阶转换表TB，能抑制灰阶转换前后画面质量的劣化。因此，在该实施方式中，能抑制灰阶转换前后画面质量的劣化，并且使灰阶转换后的图像数据(实施了压缩处理的图像数据)的数据量与灰阶转换前的图像数据的数据量相比较小。
在这里，即便拍摄条件包含拍摄时的白平衡的情况下，数码相机10也可以不具有与白平衡相应的灰阶转换表TB。该情况下，例如压缩部32把与白平衡相应的每种颜色信号的增益值乘以各颜色信号。之后，压缩部32利用根据图像的亮度信息等选择的灰阶转换表TB实施灰阶转换。由此，能减少预先准备的灰阶转换表TB的数量。
以上，在该实施方式中，数码相机10包括按RAW格式压缩连续拍摄到的图像的RAW图像数据的压缩部32。压缩部32基于拍摄条件，按每种颜色信号对动态图像等连续拍摄到的图像的RAW图像数据RAWDATA进行灰阶转换，并按每种颜色信号压缩灰阶转换后的RAW图像数据RAWDATA。由此，在该实施方式中，能抑制灰阶转换前后画面质量的劣化，并且高效地压缩连续拍摄到的图像的RAW图像数据RAWDATA。即，在该实施方式中，能提供一种能高效地压缩连续拍摄到的图像的RAW图像数据的图像处理装置和图像处理程序。
另外，利用该实施方式的数码相机10生成的压缩图像数据RAWCOMP利用与在图2中示出的压缩处理相反的步骤，被解码成适于画面质量调整的RAW格式的动态图像数据。例如，在拍摄后编辑动态图像的情况下，压缩图像数据RAWCOMP被解码成灰阶转换前的RAW图像数据RAWDATA。由此，用户能高精度地实施动态图像的编辑等。即，在该实施方式中，能提供可高精度地实施动态图像的编辑等的动态图像数据。
此外，在上述的实施方式中，描述了按RAW格式压缩动态图像的RAW图像数据RAWDATA的例子。本发明并不限于该实施方式。例如，也可以是，按RAW格式压缩利用快速拍摄得到的图像的RAW图像数据RAWDATA。在该情况下，也能获得与上述实施方式同样的效果。
在上述的实施方式中，描述了拜耳排列的帧数据FRM10分离为4个帧数据FRM12、FRM14、FRM16以及FRM18的例子。本发明并不限于该实施方式。例如，也可以是，帧数据FRM10被分离为红色(R)、绿色(G)以及蓝色(B)这3个帧数据。该情况下，例如通过取两个绿色(Gr、Gb)的平均值，两个绿色(Gr、Gb)的帧数据FRM14、FRM16被汇总成一个绿色(G)的帧数据。在附加信息中包含表示已把拜耳排列的两个绿色(Gr、Gb)汇总成一个绿色(G)的信息。在该情况下，也能获得与上述实施方式同样的效果。
在上述的实施方式中，描述了RAW图像数据RAWDATA为拜耳排列的情况的例子。本发明并不限于该实施方式。例如，也可以是，RAW图像数据RAWDATA为拜耳排列以外的颜色排列。另外，也可以是，RAW图像数据RAWDATA为红色(R)、绿色(Gr、Gb)以及蓝色(B)以外的颜色排列。例如，也可以是，RAW图像数据RAWDATA为CMY(青、品红、黄)的颜色排列。在该情况下，也能获得与上述实施方式同样的效果。
在上述的实施方式中，描述了图像处理装置10应用于数码相机的情况的例子。本发明并不限于该实施方式。例如，本发明的图像处理装置也可应用于具有快速拍摄、动态图像拍摄功能的带照相机的移动电话、数码录像机等电子设备中。在该情况下，也能获得与上述实施方式同样的效果。
在上述的实施方式中，描述了图像处理装置10包含拍摄元件22而构成的例子。本发明并不限于该实施方式。例如，图像处理装置10只要有压缩部32即可。另外，由压缩部32执行的处理(图2的步骤S100-S220)也可由计算机等外部处理装置执行。即，图像处理程序也可使由压缩部32执行的处理(图2的步骤S100-S220)在计算机等外部处理装置执行。例如，图像处理程序经由以外部处理装置可读取的CD-ROM等存储介质、互联网等通信网络被安装到外部处理装置中。
以上，详细说明了本发明，但上述的实施方式及其变形例仅为发明的一例，本发明并不限于此。很明显，在不脱离本发明的范围内可进行变形。
产业上的可利用性
能利用于图像处理装置和图像处理程序。

Claims (11)

1.一种图像处理装置，其特征在于，其包括：
拍摄部，其具有将被拍摄体的像转换成电信号的拍摄元件，并生成拍摄到的图像的RAW图像数据，以及
灰阶转换部，其针对连续拍摄到的图像的上述RAW图像数据，按照基于上述拍摄元件的像素排列的每种颜色信号，实施与拍摄条件相应的灰阶转换。
2.根据权利要求1所述的图像处理装置，其特征在于，
包括暂时存储上述RAW图像数据的缓存部。
3.根据权利要求1所述的图像处理装置，其特征在于，
包括图像压缩部，其针对灰阶转换后的上述RAW图像数据，按每种上述颜色信号实施利用了空间方向和时间方向的相关度的压缩处理。
4.根据权利要求1所述的图像处理装置，其特征在于，
上述拍摄条件包含拍摄时的曝光条件、拍摄时的白平衡以及图像的亮度中的至少一个。
5.根据权利要求1所述的图像处理装置，其特征在于，
包括多个灰阶转换表，其用于把灰阶转换后的图像的灰阶位数减少成小于灰阶转换前的图像的灰阶位数，
上述灰阶转换部基于上述拍摄条件从上述多个灰阶转换表中选择使用于灰阶转换的灰阶转换表。
6.根据权利要求1所述的图像处理装置，其特征在于，
上述拍摄条件包含基于拍摄时的曝光条件、拍摄时的白平衡以及图像的亮度中的至少一个的时序变化的推移信息。
7.一种图像处理程序，对RAW图像数据进行压缩，上述RAW图像数据包含基于拍摄元件的像素排列的颜色信号，
该图像处理程序用于使计算机针对连续拍摄到的图像的上述RAW图像数据，按照基于上述拍摄元件的像素排列的每种颜色信号，实施与拍摄条件相应的灰阶转换。
8.根据权利要求7所述的图像处理程序，
图像处理程序用于使计算机进一步针对灰阶转换后的上述RAW图像数据，按每种上述颜色信号实施利用了空间方向和时间方向的相关度的压缩处理。
9.根据权利要求7所述的图像处理程序，其特征在于，
上述拍摄条件包含拍摄时的曝光条件、拍摄时的白平衡以及图像的亮度中的至少一个。
10.根据权利要求7所述的图像处理程序，其特征在于，
基于上述拍摄条件，从多个灰阶转换表中选择使用于灰阶转换的灰阶转换表，该多个灰阶转换表用于把灰阶转换后图像的灰阶位数减少成小于灰阶转换前的图像的灰阶位数。
11.根据权利要求7所述的图像处理程序，其特征在于，
上述拍摄条件包含基于拍摄时的曝光条件、拍摄时的白平衡以及图像的亮度中的至少一个的时序变化的推移信息。
CN201180031594.7A 2010-06-25 2011-06-06 图像处理装置和图像处理方法 Active CN102959956B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010144604 2010-06-25
JP2010-144604 2010-06-25
PCT/JP2011/003181 WO2011161883A1 (ja) 2010-06-25 2011-06-06 画像処理装置および画像処理プログラム

Publications (2)

Publication Number Publication Date
CN102959956A true CN102959956A (zh) 2013-03-06
CN102959956B CN102959956B (zh) 2016-11-30

Family

ID=

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107079131A (zh) * 2014-09-12 2017-08-18 佳能株式会社 图像处理设备和图像处理方法
CN107079130A (zh) * 2014-09-12 2017-08-18 佳能株式会社 图像处理设备和图像处理方法
CN109326253A (zh) * 2018-09-14 2019-02-12 重庆惠科金渝光电科技有限公司 数据处理方法、显示装置和计算机可读存储介质
US10796621B2 (en) 2018-09-14 2020-10-06 Chongqing Hkc Optoelectronics Technology Co., Ltd. Method for processing data, display device and computer readable storage medium
CN112262571A (zh) * 2018-06-12 2021-01-22 麦克赛尔新领域株式会社 图像处理装置和摄像装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002125241A (ja) * 2001-08-02 2002-04-26 Konica Corp スチルビデオカメラ
CN1671184A (zh) * 2004-03-16 2005-09-21 奥林巴斯株式会社 摄像装置、图像处理装置、系统及图像处理方法
CN1685709A (zh) * 2002-07-24 2005-10-19 松下电器产业株式会社 摄像系统
WO2008132791A1 (ja) * 2007-04-13 2008-11-06 Panasonic Corporation 画像処理装置、集積回路及び画像処理方法
US20090021601A1 (en) * 2007-07-17 2009-01-22 Seiji Tanaka Image processing apparatus, image processing method and image pickup apparatus
US20090153683A1 (en) * 2006-09-11 2009-06-18 Eiji Furukawa Image acquisition apparatus, image processing apparatus, image acquisition system, and image processing program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002125241A (ja) * 2001-08-02 2002-04-26 Konica Corp スチルビデオカメラ
CN1685709A (zh) * 2002-07-24 2005-10-19 松下电器产业株式会社 摄像系统
CN1671184A (zh) * 2004-03-16 2005-09-21 奥林巴斯株式会社 摄像装置、图像处理装置、系统及图像处理方法
US20090153683A1 (en) * 2006-09-11 2009-06-18 Eiji Furukawa Image acquisition apparatus, image processing apparatus, image acquisition system, and image processing program
WO2008132791A1 (ja) * 2007-04-13 2008-11-06 Panasonic Corporation 画像処理装置、集積回路及び画像処理方法
US20090021601A1 (en) * 2007-07-17 2009-01-22 Seiji Tanaka Image processing apparatus, image processing method and image pickup apparatus

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107079131A (zh) * 2014-09-12 2017-08-18 佳能株式会社 图像处理设备和图像处理方法
CN107079130A (zh) * 2014-09-12 2017-08-18 佳能株式会社 图像处理设备和图像处理方法
US10360660B2 (en) 2014-09-12 2019-07-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method for handling raw images
CN107079131B (zh) * 2014-09-12 2020-03-31 佳能株式会社 图像处理设备和图像处理方法
CN107079130B (zh) * 2014-09-12 2020-03-31 佳能株式会社 图像处理设备和图像处理方法
CN112262571A (zh) * 2018-06-12 2021-01-22 麦克赛尔新领域株式会社 图像处理装置和摄像装置
CN112262571B (zh) * 2018-06-12 2022-06-24 麦克赛尔新领域株式会社 图像处理装置和摄像装置
CN109326253A (zh) * 2018-09-14 2019-02-12 重庆惠科金渝光电科技有限公司 数据处理方法、显示装置和计算机可读存储介质
WO2020052007A1 (zh) * 2018-09-14 2020-03-19 重庆惠科金渝光电科技有限公司 数据处理方法、显示装置和计算机可读存储介质
US10796621B2 (en) 2018-09-14 2020-10-06 Chongqing Hkc Optoelectronics Technology Co., Ltd. Method for processing data, display device and computer readable storage medium

Also Published As

Publication number Publication date
JP5924262B2 (ja) 2016-05-25
US9554108B2 (en) 2017-01-24
US20130100313A1 (en) 2013-04-25
JPWO2011161883A1 (ja) 2013-08-19
WO2011161883A1 (ja) 2011-12-29

Similar Documents

Publication Publication Date Title
KR101395433B1 (ko) 촬상 장치 및 촬상 방법
JP5845464B2 (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ
KR101380614B1 (ko) 화상 데이터의 기록 방법 및 장치
US8018520B2 (en) Imaging device, imaging method, display control device, display control method, and program
WO2009125673A1 (ja) 動画処理装置及び動画処理方法、動画処理プログラム
KR20160135826A (ko) 화상처리장치, 그 화상처리장치의 제어 방법, 촬상 장치 및 그 촬상장치의 제어 방법, 및, 기록 매체
JP6083162B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
KR20130123229A (ko) 카메라 장치의 이미지 부호화장치 및 방법
JP6032912B2 (ja) 撮像装置、その制御方法及びプログラム
EP2515543B1 (en) Image capturing apparatus and image capturing method
JP5407651B2 (ja) 画像処理装置、画像処理プログラム
JP7110408B2 (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
JP4429148B2 (ja) 画像撮影記録装置及び方法
CN102959956B (zh) 图像处理装置和图像处理方法
JP5924262B2 (ja) 画像処理装置および画像処理プログラム
JP6152642B2 (ja) 動画像圧縮装置、動画像復号装置およびプログラム
JPH07131721A (ja) ディジタルスチルカメラ
KR101046111B1 (ko) 이미지 캡쳐 방법
JP2004104222A (ja) 撮像装置
JP2017200199A (ja) 動画像圧縮装置、動画像復号装置およびプログラム
JP5167385B2 (ja) デジタルカメラ
JP5233611B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20240114251A1 (en) Server device and program
JP2010245686A (ja) 撮像装置、画像処理方法、および、画像処理プログラム
JP5824341B2 (ja) 撮像装置、記録装置、映像信号処理装置、撮像システム及び映像信号処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant