CN103563359A - 图像处理装置及图像处理方法以及数码相机 - Google Patents

图像处理装置及图像处理方法以及数码相机 Download PDF

Info

Publication number
CN103563359A
CN103563359A CN201280026584.9A CN201280026584A CN103563359A CN 103563359 A CN103563359 A CN 103563359A CN 201280026584 A CN201280026584 A CN 201280026584A CN 103563359 A CN103563359 A CN 103563359A
Authority
CN
China
Prior art keywords
data
color
size
generate
dwindle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280026584.9A
Other languages
English (en)
Other versions
CN103563359B (zh
Inventor
秦野敏信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuvoton Technology Corp Japan
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN103563359A publication Critical patent/CN103563359A/zh
Application granted granted Critical
Publication of CN103563359B publication Critical patent/CN103563359B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0242—Compensation of deficiencies in the appearance of colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0428—Gradation resolution change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it

Abstract

在图像处理装置中具有：缩小调整大小处理部(102)，其将从单板彩色摄像元件得到的原图像缩小成对应于显示监视器的显示尺寸的图像；以及颜色再排列数据生成处理部(103)，其根据该缩小的图像，生成能够对应于显示监视器的彩色像素排列的一种以上的颜色排列图像，在图像处理装置中生成由原图像的颜色信息所构成的一种以上的显示用缩小图像。由此，在由从摄像元件输出的大尺寸原图像生成处理出显示用小尺寸图像并进行显示时，能以最小帧延迟来进行高速的显示。

Description

图像处理装置及图像处理方法以及数码相机
技术领域
本发明涉及图像处理装置及图像处理方法以及数码相机，其适于在显示将从单板彩色摄像元件得到的原图像缩小的图像时，实现高速而省电的动作。
背景技术
近几年，在安装有大画幅尺寸的摄像元件的单反数码相机中，不安装光学取景器及动镜的无反光镜可换镜头相机(Mirrorless InterchangeableLens Camera)备受瞩目。无反光镜的可换镜头相机的特征在于，能够一边从液晶监视器确认摄影被摄体一边决定构图来进行静止图像撮影、动态图像撮影。这在普及型数码相机机、手机的相机也已经成为标准的摄影方式。
如上所述，一般的数码相机安装有专用的液晶监视器，在这样的数码相机中，一边从液晶监视器确认摄影被摄体一边决定构图，同时进行脸部识别、动作识别等而自动地调整特定区域的曝光、对焦，从而进行静止图像摄影、动态图像摄影。
在山这样的数码相机所代表的摄像装置中，为了拍摄彩色图像而在摄像元件上设有分色滤色器。例如，在拜尔(Bayer)方式的分色滤色器中，对应于摄像元件的像素，R(红)、G(绿)、B(蓝)原色过滤器被配置成方格图案。即，在拜尔排列中，沿像素排列的传感器读出方向及垂直方向这两个方向，相同颜色成分的滤色器每隔一个像素排列。通过这样的分色滤色器拍摄的、作为摄像元件的输出的图像数据，为了通过图像处理而再现被摄体的颜色，在输入前段处理中，需要被处理成保持拜尔排列。
在由从摄像元件输出的大尺寸原图像生成处理出显示用小尺寸图像并进行显示时，是以原图像为基础一边进行动态范围调整或取白平衡，一边对各像素进行取得R／G／B信息的同步化处理后，经过转换为一般使用的Y／Cr／Cb的数据类型的彩色图像处理，之后实施缩小调整大小处理以符合液晶监视器的显示尺寸，并实施符合监视器特性的显示处理，从而显示于专用监视器。
图10表示一般数码相机的内部信号处理模块的概念图。
在该图中，通过光学透镜11的被摄体光学图像在摄像元件面成像，并且从摄像元件往外输出。单板式摄像元件的原图像(1面)、即拜尔排列的RAW图像数据101在前处理部105实施DC电平调整、增益调整等，并且在通过存储控制部107先写入到存储部108后，在下一个处理中通过存储控制部107被从存储部108读出，并且输入到图像信号处理部109。在图像信号处理部109中，进行将拜尔排列的RAW图像转换成Y／Cr／Cb数据类型的图像信号处理。
在图像信号处理部109中，在转换成Y／Cr／Cb数据类型的图像的同时，为了缩小成显示用图像尺寸，实施缩小调整大小处理，生成希望的显示尺寸图像。生成的显示尺寸的Y／Cr／Cb数据类型图像通过存储控制部107再一次被写入到存储部108。
同时，在图像信号处理部109中，在转换成Y／Cr／Cb数据类型的图像后，为了缩小成脸部检测用图像尺寸，对亮度信号Y实施缩小调整大小处理，生成希望的脸部检测用亮度图像数据。脸部检测处理部106通过存储控制部107将通过存储控制部107被写入到存储部108的、脸部检测用尺寸的亮度信号Y的数据类型图像再次从存储部108适当地读出，并提取出图像内的脸部位置、大小等脸部信息，该提取结果信息通过存储控制部107被写入到存储部108。CPU114通过存储控制部107将写入到存储部108的脸部检测信息读出，从脸部检测信息转换成显示脸部位置的显示信息，并且生成显示数据且写入到存储部108。同时，CPU114以脸部识别信息为基础，自动调整特定区域的曝光、对焦。
被写入到所述存储部108的、呈显示尺寸的Y／Cr／Cb数据类型图像，通过存储控制部107再次被从存储部108读出，并且被输入到显示处理部117。此时，表示所述脸部位置的显示信息也同时被从存储部108读出而被输入到显示处理部117。
被输入到显示处理部117的Y／Cr／Cb数据类型图像和显示脸部位置的显示信息在显示处理部117被转换成适合监视器118的监视器特性的数据规格，并且被输出到监视器118进行显示。
此外，在标准化尺寸下进行动态图像记录时，与上述相同地，在图像信号处理部109将原图像101转换为Y／Cr／Cb数据类型的图像后，在图像信号处理暨缩小调整大小处理部109实施缩小调整大小处理，生成希望的动态图像记录尺寸。
生成的动态图像记录尺寸的Y／Cr／Cb数据类型图像通过存储控制部107再次被写入到存储部108。被写入到存储部108的动态图像记录尺寸的Y／Cr／Cb数据类型图像通过存储控制部107再次被从存储部108读出，并且被输入到压缩解压部110。被输入到压缩解压部110的Y／Cr／Cb数据类型图像使用MJPEG或MPEG、H264等动态图像编解码器方式进行数据压缩，并且通过存储控制部107再次被写入存储部108。压缩的动态图像数据通过存储控制部107再次被从存储部108读出，并且通过记录介质接口111写入到记录介质112。
图11表示详图，该详图表示所描述的一般数码相机的内部信号处理的流程。
在该图中，以任意二维尺寸的拜尔排列RAW图像数据101被输入的时段作为第一帧时段。被输入的RAW图像数据101在该第一帧时段内被实施在前处理部105的处理。在之后的第二帧时段中，被实施图像信号处理部109的处理，在第三帧时段中，被实施在显示处理部117的处理，并且显示于监视器118。然后，在该第三帧时段以后，实施在脸部检测部106的检测处理，并且实施在压缩解压部110的处理，从而压缩数据通过记录介质接口111记录到记录介质112。
在此，着眼于所述第一～第三帧时段中的处理方法的顺序时，被输入的RAW图像101相对的会延迟最少两帧时段而显示于监视器118。
以往，作为在前处理中对来自RGB数据的RAW图像进行缩小调整大小的技术，例如在专利文献1～3公开有这样的方法。即，当对作为原图像的RGB的RAW数据调整大小时，在最初的处理中色分离成独立的R、G、B数据，或者，通过同色像素的混合来间隔提取的方法。在这些专利文献1～3中，当进行数码相机的摄影而一边从液晶监视器确认摄影被摄体一边决定构图时，会进行如下的信号处理。即，将以所述方法缩小后的一种RGB拜尔排列的RAW数据先取入到存储部，之后，实施转换成Y／Cr／Cb数据类型的彩色显像图像处理，并且实施符合液晶监视器的规格及特性的显示处理，在显示于专用监视器的同时，将Y／Cr／Cb数据压缩并进行记录。
专利文献1：日本公开特许公报特开2003-346143号公报
专利文献2：日本公开特许公报特开2001-245141号公报
专利文献3：日本公开特许公报特开2002-84547号公报
发明内容
-发明要解决的技术问题-
但是，所述图9及图10所示的以往的信号处理存在有问题。即，起因于进行将任意一种RAW图像转换成Y／Cr/Cb数据类型的信号处理后，进行多个尺寸的缩小图像处理这一点而有以下的两个问题存在。
(1)在一边确认摄影被摄体一边决定构图的监视器模式及动态图像记录模式中，因为是将大尺寸RAW图像数据在大尺寸状态下直接进行图像信号处理而转换成WCr/Cb数据，之后才实施缩小图像处理，所以伴随着该Y／Cr/Cb数据类型转换的冗长处理会导致监视器模式的显示产生帧延迟，无法即时地显示被摄体的动作，从而有进行静止图像摄影时错过按下快门的时机的情况发生。
(2)缩小调整大小处理是减少记录图像数的处理，尽可能在图像处理的前段实施的话，则能够减少在后段处理中对存储器进行存取的次数，但是如果像以往那样在转换成Y／Cr／Cb数据类型之后实施缩小调整大小的情况下，则此时被间隔提取而舍去的数据，其向Y／Cr／Cb数据类型的转换处理就成为冗长处理。并且，由于该向Y／Cr／Cb数据类型的转换处理是经由存储缓冲器进行处理，所以与对图像尺寸的处理量成比例地伴随着I／O缓冲器的耗电，从省电观点来看效率并不好。
同样的，在摄像元件的高像素化和对应于动态图像记录的高速读出处理技术有所进展的状况下，专利文献1～3所公开的技术中，虽然是在处理的前阶段使RAW图像缩小，但是当数码相机的摄影时，在一边从液晶监视器上确认摄影被摄体一边决定构图，又同时一边进行脸部识别等各种识别动作，一边实施即时的自动对焦(AF)、自动曝光(AE)等的监视器模式状态下，会经由存储缓冲器进行向Y／Cr／Cb数据类型的转换处理，该转换处理成为在监视器显示及图像识别等时产生帧延迟的主要原因。
本发明有鉴于上述问题而完成，其目的在于使得图像处理装置能够在原图像被输入的帧时段内，由从摄像元件输出的大尺寸RAW原图像生成处理出显示用小尺寸RAW图像，并且显示于监视器。
-用以解决技术问题的技术方案-
为达成上述目的，在本发明中，不实施从原图像转换为Y／Cr／Cb数据类型的彩色显像图像处理，而是从RAW原图像生成处理出监视器显示图像用的小尺寸RAW图像，通过这样来提供图像处理装置及图像处理方法，其能够高速地实现不会在监视器产生帧延迟的显示动作。
具体而言，第一方面的发明的图像处理装置，其能够从山颜色排列具有周期性的多种颜色的像素构成的原图像的数字图像信号生成缩小图像并进行显示，该图像处理装置的特征在于具有：缩小调整大小处理部，其将从单板彩色摄像元件得到的原图像缩小成对应于显示监视器的显示尺寸的图像；以及，颜色再排列数据生成处理部，其根据通过所述缩小调整大小处理部缩小的缩小图像，生成山所述原图像的颜色信息所构成的一种以上的显示用缩小图像。
第一方面的发明的图像处理装置，其能够从山颜色排列具有周期性的多种颜色的像素构成的原图像的数字图像信号生成缩小图像并进行显示，该图像处理装置的特征在于具有：缩小调整大小处理部，其将从单板彩色摄像元件得到的原图像缩小成对应于显示监视器的显示尺寸的图像；颜色再排列数据生成处理部，其根据通过所述缩小调整大小处理部缩小的缩小图像，生成由所述原图像的颜色信息所构成的一种以上的显示用缩小图像；以及，颜色再排列显示数据生成处理部，其根据通过所述颜色再排列数据生成处理部生成的显示用缩小图像，生成能够对应于所述显示监视器的彩色像素排列的一种以上的颜色排列显示数据。
第三方面的发明的特征在于，在第一或第二方面的发明所述的图像处理装置中，还具有：将所述显示用缩小图像从所述颜色再排列数据生成处理部直接输入到显示处理部的数据路径，该显示处理部进行对应于所述显示监视器的显示特性的显示处理；以及，将所述显示用缩小图像从所述颜色再排列数据生成处理部通过存储部输入到所述显示处理部的数据路径，根据摄影时的动作模式控制所述存储部的存储控制部，选择性地进行将所述显示用缩小图像从所述颜色再排列数据生成处理部直接输入到所述显示处理部、或是将所述显示用缩小图像从所述颜色再排列数据生成处理部通过所述存储部输入到所述显示处理部的图像输入数据路径控制。
第四方面的发明的特征在于，在第一到第三方面中任一方面的发明所述的图像处理装置中，所述缩小调整大小处理部的缩小调整大小处理、以及所述颜色再排列数据生成处理部的颜色再排列数据生成处理，能够在对原图像进行的水平方向处理中实施，并且能够在对原图像进行的垂直方向处理中实施。
第五方面的发明的特征在于，在第一到第四方面中任一方面的发明所述的图像处理装置中，所述缩小调整大小处理部以及所述颜色再排列数据生成处理部：通过传感器读出方向的行单位的第一缩小调整大小处理对所述原图像仅沿一个方向进行缩小调整大小处理，并且，根据该仅沿一个方向被缩小调整大小处理后的一个多色排列数据，进行沿与所述第一缩小调整大小处理正交的垂直方向的第二缩小调整大小处理和颜色再排列数据生成处理，生成被二维缩小调整大小处理后的两种多色排列数据，并且，对所述两种多色排列数据分别进行作为再次的行单位处理的颜色再排列数据生成处理，生成多种多色排列数据。
第六方面的发明的特征在于，在第五方面的发明所述的图像处理装置中，所述缩小调整大小处理部及所述颜色再排列数据生成处理部：将通过所述第一缩小调整大小处理对所述原图像仅沿水平方向进行缩小调整大小处理后的一种多色排列数据写入到存储装置，并且，当从所述存储装置读出所述一种多色排列数据时，沿着与写入时的行方向正交的方向以行单位读出，并进行再次的缩小调整大小处理和颜色再排列数据生成处理，生成被二维缩小调整大小处理后的两种颜色排列数据，并且，对所述两种多色排列数据分别进行作为再次的行单位处理的颜色再排列数据生成处理，生成多种多色排列数据。
第七方面的发明的特征在于，在第六方面的发明所述的图像处理装置中，所述缩小调整大小处理部及所述颜色再排列数据生成处理部一边将通过所述第一缩小调整大小处理对所述原图像仅沿一个方向进行缩小调整大小处理后的一种多色排列数据按每一行写入到由多行构成的行存储器中，一边同时读出多行数据，并从该读出的多行数据上的传感器读出方向成为同一位置的垂直方向的关注多个数据提取出亮度数据和载色数据，进行再次的缩小调整大小处理和颜色再排列数据生成处理，所述垂直方向的缩小调整大小处理通过进行减少相对于输入行数的输出行的处理，生成被二维缩小调整大小处理后的两种多色排列数据，所述缩小调整大小处理部及所述颜色再排列数据生成处理部对述两种多色排列数据分别进行作为再次的行单位处理的颜色再排列数据生成处理，生成多种颜色排列数据。
第八方面的发明的特征在于，在第一到第四方面中任一方面的发明所述的图像处理装置中，所述缩小调整大小处理部及所述颜色再排列数据生成处理部：通过传感器读出方向的行单位处理对所述原图像仅沿一个方向进行缩小调整大小处理并且进行颜色再排列数据生成处理，并且，根据所述仅沿一个方向被缩小调整大小处理后的两种颜色排列数据，沿与所述传感器读出方向的行单位处理的处理方向正交的方向进行再次的缩小调整大小处理和颜色再排列数据生成处理，生成被二维缩小调整大小处理后的多种颜色排列数据。
第九方面的发明的特征在于，在第八方面的发明所述的图像处理装置中，所述缩小调整大小处理部及所述颜色再排列数据生成处理部：将通过所述传感器读出方向的行单位处理对所述原图像进行了仅沿水平方向的缩小调整大小处理和颜色再排列数据生成处理后的两种多色排列数据写入到存储装置，并且，当从所述存储装置读出所述两种多色排列数据时，沿着与写入时的行方向正交的方向以行单位读出，并进行再次的缩小调整大小处理和颜色再排列数据生成处理，生成被二维缩小调整大小处理后的多种颜色排列数据。
第十方面的发明的特征在于，在第九方面的发明所述的图像处理装置中，所述缩小调整大小处理部及所述颜色再排列数据生成处理部一边将通过传感器读出方向的行单位处理对所述原图像仅进行了沿水平方向的缩小调整大小处理和颜色再排列数据生成处理后的两种颜色排列数据按每一行写入到由多行构成的行存储器中，一边同时读出多行数据，并对该读出的多行数据上的传感器读出方向成为同一位置的垂直方向的关注多个数据进行再次的缩小调整大小处理和颜色再排列数据生成处理，所述垂直方向的缩小调整大小处理通过进行减少相对于输入行数的输出行的处理，生成被二维缩小调整大小处理后的多种颜色排列数据。
第十一方面的发明的特征在于，在第五到第十方面中任一方面的发明所述的图像处理装置中，所述缩小调整大小处理部及所述颜色再排列数据生成处理部含有用于进行水平方向缩小调整大小处理及颜色再排列数据生成处理的下述处理部，即：滤波处理部，其通过传感器读出方向的行单位的行单位处理对所述原图像提取出亮度数据和载色数据；载色反转复调处理部，其将所述载色数据转换成色差数据；缩小调整大小处理部，其对所述亮度数据和色差数据独立地进行缩小调整大小；载色调制处理部，其将通过所述缩小调整大小处理部进行了缩小调整大小后的色差数据按每个像素生成为符号相异的第一载色数据、和符号与该第一载色数据不同的第二载色数据；以及颜色再排列数据生成处理部，其将所述缩小调整大小后的亮度数据和所述第一载色数据重新合成，生成具有原图像的颜色排列数据的图像，并且将所述缩小调整大小后的亮度数据和所述第二载色数据重新合成，生成具有与原图像相异的颜色排列数据的图像。
第十二方面的发明的特征在于，在第五到第十方面中任一方面的发明所述的图像处理装置中，所述缩小调整大小处理部及所述颜色再排列数据生成处理部含有用于进行垂直方向缩小调整大小处理及颜色再排列数据生成处理的下述处理部，即：滤波处理部，其一边将通过传感器读出方向的行单位处理对所述原图像仅沿水平方向进行了缩小调整大小处理和颜色再排列数据生成处理后的颜色排列数据按每一行写入到由多行构成的行存储器中，一边同时读出多行数据，并从该读出的多行数据上的传感器读出方向成为同一位置的垂直方向的关注多个数据沿垂直方向以行单位提取出亮度数据和载色数据；垂直方向载色反转解调处理部，其将所述提取出的垂直方向的载色数据转换成垂直方向的色差数据；垂直方向缩小调整大小处理部，其对所述垂直方向的亮度数据和色差数据独立地进行减少相对于输入行数的输出行的处理，并进行缩小调整大小；垂直方向色差数据反转调制处理部，其从所述垂直方向的缩小调整大小后的、在垂直方向连续的色差数据按每一行生成符号相异的第一载色数据、和符号与该第一载色数据相异的第二载色数据；以及，颜色再排列数据生成处理部，其将所述缩小调整大小后的亮度数据和所述第一载色数据重新合成，生成具有原图像的颜色排列数据的图像，并且将所述缩小调整大小后的亮度数据和所述第二载色数据重新合成，生成具有与原图像相异的颜色排列数据的图像。
第十三方面的发明的特征在于，在第一到第十二方面中任一方面的发明所述的图像处理装置中，所述原图像是利用下述单板彩色摄像元件取得的图像，该单板彩色摄像元件具有颜色通过原色过滤器被周期性地排列的多种颜色的像素。
-发明的效果-
如以上说明那样，根据本发明，在边确认摄影被摄体边决定构图的监视器模式的状态下，山从摄像元件输出的大尺寸原图像直接生成处理出显示用小尺寸图像并显示于监视器时，山于不实施从原图像转换成Y／Cr／Cb数据类型的彩色显像图像处理，而是缩小调整大小处理成显示用小尺寸RAW图像并显示于监视器，所以伴随着对存储器进行存取的后段处理量减少，并且能够使在监视器的帧延迟成为最小帧延迟，从而能够实现用于识别高速被摄体的监视器模式动作。
附图说明
图1是安装有本发明实施方式所涉及的图像处理装置的摄像装置的整体结构图。
图2是表示该实施方式所涉及的图像处理装置的概略结构的图。
图3是表示在该图像处理装置中，不产生帧延迟地从前处理部向显示处理部直接传送数据的结构的图。
图4是表示在该图像处理装置中，从前处理部通过存储部向显示处理部以一帧延迟的方式传送数据的结构的图。
图5是表示在该图像处理装置前处理部的内部结构的图。
图6是表示该图像处理装置前处理部的其它内部结构的图。
图7是表示该前处理部具备的水平方向的缩小调整大小处理部及颜色再排列数据生成处理部的内部结构的图。
图8(a)是表示行存储器的写入读出动作的图；该图(b)是表示该图(a)的下一个行周期定时下的同一行存储器的写入读出动作的图。
图9是表示该前处理部具备的垂直方向的缩小调整大小处理部以及颜色再排列数据生成处理部的内部结构的图。
图10是表示以往的一般数码相机的内部信号处理装置的模块结构的图。
图11是表示该以往数码相机的内部信号处理的流程的图。
具体实施方式
以下，参照图对本发明所涉及的图像处理装置及图像处理方法的优选实施方式进行说明。
图1中示出安装有本发明实施方式所涉及的图像处理装置的摄像装置的结构图。
在该图中，该摄像装置10与上述背景技术中说明的图10的结构相同，是将通过摄像部12所拍摄的被摄体光学图像转换成数字图像数据并记录于记录介质112的单板式数码相机。
图1中基本结构部的动作与在图10中说明的内容相同。图10与图1的结构中，有两个与本发明相关的较大差异点。即，
(1)在前处理部105内部实施的图像处理功能；以及，
(2)从前处理部105向显示处理部117直接传送数据的功能。
首先，进行图1的结构图的各基本结构部的说明。
摄像部12具有以CCD(电荷耦合元件)型或CMOS(互补型金属氧化物半导体)型等为代表的摄像元件(未图示)，在摄像元件的受光面二维排列有多个光电二极管(感光像素)，对通过未图示的光学透镜后的被摄体信息进行光电转换。摄像元件具有在与各像素对应的位置存在红(R)、绿(G)、蓝(B)中的任一种颜色那样的规定的颜色排列的滤色器，对向作为受光元件的光电二极管入射的光进行色选择。在本实施方式中以拜尔排列进行说明。
从所述摄像部12输出的图像数据称为RAW图像，其是通过A／D转换(模数转换)处理被转换成数字信号的数据。受光元件在行方向及列方向上分别以一定间距排列成方矩阵，这些受光元件的数据构成拜尔排列的RAW图像数据101。需要说明的是，在实际的摄像元件的成像面中，拜尔排列的RAW图像数据101所示的像素排列的构造沿传感器读出方向及垂直方向周期性反复。当然，在本发明的实施上，滤色器排列构造不限定于拜尔排列，还能够采G条纹(G-stripe)等各种排列构造。而且，在本实施方式中使用了原色过滤器，但在实施本发明时并不限定于原色过滤器，也可以采用由黄(Y)、洋红(M)、青(C)、绿(G)构成的补色滤色器、或采用由原色与补色的任意组合或白(W)构成的滤色器。
所述A／D转换后的RAW图像数据101按照摄像装置10的动作模式，经过必要的信号处理、或省略信号处理而记录到记录介质112。
在摄影模式中，被摄体图像显示于监视器118。在本实施方式的摄像装置10作为摄影模式能够以JPEG形式记录静止图像，并且能够以MPEG形式等记录压缩动态图像。并且，能够原样地记录A／D转换之后的RAW图像数据101。
对在边确认摄影被摄体边决定构图的监视器模式的状态下，以JPEG形式记录静止图像的情况进行说明。
首先，A／D转换后的拜尔排列RAW图像数据101在前处理部105被缩小调整大小成监视器尺寸，并且被转换成监视器118的彩色像素排列后，作为显示数据RGB(2)直接从数据路径DPth(1)即时地输出到显示处理部117。符合监视器特性的画质调整在前处理部105或显示处理部117进行。在不产生帧延迟的该监视器模式的状态下，各种识别动作同时地进行。
在所述前处理部105，将拜尔排列RAW图像数据101缩小调整大小成显示尺寸时，用于脸部检测用的、只含有亮度成分的数据Y同时被生成，并通过存储控制部107写入到存储部108。
脸部检测处理部106通过存储控制部107适当地从存储部108读出检测用尺寸的Y数据。在对比显示尺寸还要小尺寸的Y数据进行脸部检测处理时，是利用图像信号处理部109实施缩小调整大小处理并再次将检测用尺寸Y数据写入到存储部108之后，适当地读出该Y数据。脸部检测处理部106从该读出的Y数据检测出图像内的脸部的位置、大小等脸部信息，并通过存储控制部107将该检测结果信息写入到存储部108。
CPU114通过存储控制部107将写入到存储部108的脸部检测信息读出，根据该检测结果将显示脸部位置的信息转换成显示尺寸，并作为显示数据写入到存储部108。并且，脸部检测信息与从进行所述AE(自动曝光)控制及自动焦点调节(自动对焦=AF)控制所必要的运算的自动运算部(未图示)所得到的信息一并在CPU114进行处理，CPU114根据对人物被摄体的任意位置的焦点评价值运算结果控制透镜驱动用马达(未图示)，使光学透镜11移动到对焦位置，并且控制光圈、电子快门，进行曝光控制。显示所述脸部位置信息的显示数据通过存储控制部107被从存储部108读出，并且被输入到显示处理部117。被输入到显示处理部117的、显示脸部位置信息的显示数据，在显示处理部117被转换成符合监视器118的显示特性的输入数据规格，并与所述显示数据RGB(2)重叠显示于监视器118。
接着，说明从所述监视器模式的状态转移到以JPEG形式记录静止图像的动作的情况。
当转移到静止图像记录模式时，具有摄像元件的所有像素数的RAW原图像101从摄像部12输出。RAW原图像101在前处理部105被实施前处理，并通过存储控制部107被写入到存储部108。然后，RAW原图像101通过存储控制部107被送到图像信号处理部109。
在图像信号处理部109实施同时化处理(对与滤色器排列相伴的颜色信号的空间错位进行插值，计算各点的颜色的处理)、白平衡(WB)调整、伽玛校正、亮度及色差信号生成、轮廓强调、基于电子变焦功能的变倍(放大／缩小)处理、像素数的转换(调整大小)处理等各种处理，按照来自CPU114的指令来处理图像信号。作为这些各种处理中的一部分的白平衡(WB)调整、伽玛校正等也有在前处理部105实施的情况。前处理部105及图像信号处理部109通过存储控制部107边利用能够暂时存储处理途中的图像的存储部108边进行图像信号的处理。
在所述前处理部105与图像信号处理部109中经过了规定的信号处理后的图像数据被送到压缩解压部110，按照JPEG形式的压缩格式被压缩。
压缩后的图像数据经由记录介质I／F(接口)部111被记录到记录介质112中。记录介质112不限定于以存储卡为代表的半导体存储器，还可以使用磁盘、光盘、光磁盘等各种介质。而且，不限定于可移动介质，也可以是摄像装置10中内置的记录介质(内部存储器)。
所述CPU114是按照规定的程序统一控制本摄像装置10的控制部，根据来自操作面板113的指示信号控制摄像装置10内的各电路的动作。ROM115中保存有CPU114所执行的程序及控制所必要的各种数据等，RAM116被利用作为CPU114的工作用区域。
所述操作面板113是用于由用户对摄像装置10输入各种指示的机构，例如包含有：用于选择摄像装置10的动作模式的模式选择开关、输入菜单项目的选择操作(光标移动操作)或再生图像的帧正向前进／帧反向前进等指示的方向键、指示选择项目的确定(登记)或动作的执行的执行键、用于消去选择项目等所希望的对象或取消指示的取消键、电源开关、变焦开关、释放开关等各种操作机构。另外，各种开关也可以山触摸面板上的区域开关来实现。
所述CPU114根据从操作面板113输入的指示信号，按照各种摄影条件(曝光条件、闪光灯有无发光、摄影模式等)，控制摄像部12，并且进行自动曝光(AE)控制、自动焦点调节(AF)控制、自动白平衡(AWB)控制、透镜驱动控制、图像处理控制、记录介质112的读写控制等。
例如、由不产生帧延迟的监视器模式往静止图像取入转移时，CPU114在检测到释放开关的半按压时，进行自动对焦调节控制(AF)控制，当检测到释放开关的全按压时，开始用于取入记录用图像的曝光及读出控制。而且，CPU114根据需要，向未图示的闪光灯控制电路发送指令，控制氙管等闪光发光管(发光部)的发光。
前处理部105具有在后详细进行说明的、作为本发明特征的图像处理功能，并且含有进行AE控制及AF控制所必要的运算的自动运算部(未图示)，在静止图像摄影的情况下，根据响应于释放开关的半按压而取入的图像信号，进行焦点评价值运算、AE运算等，并将该运算结果传递给CPU114。若检测到释放开关的全按压，则CPU114根据焦点评价值运算的结果，控制未图示的透镜驱动用马达，使光学透镜11移动到对焦位置，并且控制光圈、电子快门，进行曝光控制。如此取入的RAW图像数据101按照记录模式实施规定的图像处理而被记录到记录介质112中。
在动态图像摄影的情况下，所述一连串的图像处理是在进行动态图像的记录之间连续地被处理。需要说明的是，压缩形式可以是利用JPEG方式的MPEG、或者可以采用其它方式。对应于所使用的压缩形式，使用帧连续地动作的压缩处理。
(在前处理部的图像处理的内容)
接着，对在如上述那样构成的图1中的摄像装置10中，在作为本发明特征的前处理部105的内部实施的图像处理功能进行说明。
图2是表示本发明图像处理的概略的图，其生成由原图像即RAW图像数据的颜色信息所构成的一种以上的显示用缩小图像，并且生成颜色再排列RAW数据。
在图2中，从单板彩色摄像元件得到的RAW图像数据101在作为前处理部105的内部处理功能的RAW数据缩小调整大小处理部102被缩小调整大小成监视器显示尺寸的RAW图像数据，并且，在颜色再排列数据生成处理部103中被生成为四个种类的拜尔排列数据104a、104b、104c、104d并被输出，该四个种类的拜尔排列数据104a、104b、104c、104d是包含基准像素位置的两个像素×两个像素范围的颜色排列信息相异的数据。
观察所述四个种类的拜尔排列数据，可以得知在任意像素位置都存在有R、G、B中所有的颜色，利用颜色再排列显示数据生成处理部201、203、205对原图像的R、G、B颜色进行选择处理，能够生成例如以下(1)～(3)的颜色再排列显示数据，从而生成颜色排列符合监视器118的输入规格的显示数据。
(1)由独立的R平面数据(plane data)、G平面数据、B平面数据这三个面所构成的颜色再排列显示数据202
(2)由G平面数据、B与R的方格配置数据这两个面所构成的颜色再排列显示数据204
(3)由G平面数据、B与R的纵条纹配置数据这两个所构成的颜色再排列显示数据206
只要利用所述颜色再排列显示数据生成处理部201、203、205，除了所述(1)～(3)所示的颜色排列显示数据以外，还能够生成任意颜色排列构造的显示数据。需要说明的是，虽然颜色再排列数据生成处理部103生成了四个种类的颜色再排列数据104a～104d，但是当其中一个颜色再排列数据(例如104a)已经是符合监视器118输入规格的颜色排列的显示数据时，可以只生成该种类的颜色再排列显示数据并直接输出到监视器118。
而且，为了具体实现以最小帧延迟将原图像显示于监视器这个本发明特征，采用以下的结构，即：能够将生成的颜色再排列显示数据通过图1所示的数据路径DPth(1)直接地输入到显示处理部117，并且能够通过数据路径DPth(2)暂时存储到存储部108后再次读出，并输入到显示处理部117。
图3表示出不产生帧延迟地从前处理部105向显示处理部117直接传送数据的结构。
在图3所示的结构中，以从摄像元件输出的RAW原图像101被输入到前处理部105的时段作为第一帧时段，通过在该同一第一帧时段内进行的流水线处理，将山G平面数据、蓝(B)与红(R)的纵条纹配置数据这两个面所构成的显示数据206，通过图1所示的数据路径DPth(1)直接输入到显示处理部117并显示于监视器118。在该情况下，能不使帧延迟产生地将被摄体原图像显示在监视器。
图4表示出从前处理部105通过存储部118向显示处理部117以一帧延迟的方式传送数据的结构。
在图4所示的结构中，以从摄像元件输出的RAW原图像101被输入到前处理部105的时段作为第一帧时段，存储控制部107将通过在该同一第一帧时段内进行的流水线处理所生成的、由绿(G)平面数据、蓝(B)与红(R)的纵条纹配置数据这两个面所构成的显示数据206通过数据路径DPth(2)写入到存储部108。接着，在之后的第二帧时段中，将该显示数据206输入到显示处理部117并显示于监视器118。在该情况下，能够以一帧时段的帧延迟将被摄体原图像显示于监视器118。
需要说明的是，关于显示数据，虽然以由G平面数据、蓝(B)与红(R)的纵条纹配置数据这两个面所构成的显示数据206进行了说明，但是如在图2所说明那样，具有任意颜色排列构造与多面构造的显示数据也能够以同样的帧延迟显示在监视器118。
(缩小调整大小处理部及颜色再排列数据生成处理部的第一具体例)
图5是表示作为前处理部105的内部信号处理的RAW数据缩小调整大小部102与颜色再排列数据生成处理部103的具体结构的图。
在图5所示的结构中，当生成缩小成显示用尺寸的、包含有基准像素位置的两个像素×两个像素范围的颜色排列信息相异的四个种类的拜尔排列数据104a～104d时，在本实施方式的图像处理装置具有：第一水平缩小调整大小处理部501，其沿输入行方向将从单板彩色摄像元件得到的RAW图像数据101缩小成任意尺寸的图像；存储部(存储装置)503，其暂时存储沿水平方向调整大小后的图像数据；垂直缩小调整大小处理暨颜色再排列数据生成处理部504，其对从存储部503读出的多个缩小行数据沿与输入行方向正交的垂直方向进行缩小调整大小，从而生成两种拜尔排列数据505、506；以及，颜色再排列数据生成处理部507、508，其分别对沿水平方向及垂直方向进行缩小调整大小处理后的两种拜尔排列数据再次沿输入行方向生成两种拜尔排列数据。
利用图5对生成缩小成显示用尺寸的、两个像素×两个像素范围的颜色排列信息相异的四个种类的拜尔排列数据104a～104d的情况进行说明。
在沿输入行方向缩小成任意尺寸的图像的第一水平缩小调整大小处理部501中实施往显示尺寸的缩小调整大小时，以沿水平方向成为显示尺寸的水平尺寸的缩小比例K1生成仅沿水平方向缩小的图像数据502。
所述水平缩小调整大小后的图像数据502以行数据单位暂时写入到存储部503。同时，从存储部503读出多行量的数据，进行作为下一道步骤的垂直方向缩小调整大小处理。利用垂直缩小调整大小处理部暨颜色再排列数据生成处理部504，以沿垂直方向成为显示尺寸的垂直尺寸的、与水平相同的缩小比例K1缩小，通过沿垂直方向将偶数行与奇数行的颜色相互对调，得到颜色排列相异的两种显示用尺寸拜尔排列数据505、506。
接着，通过在分别对所述两种拜尔排列数据505、508再次沿输入行方向生成两种拜尔排列数据的颜色再排列数据生成处理部507、508中，分别沿水平方向将偶数像素与奇数像素的颜色相互对调，从而更进一步生成两种拜尔排列数据。通过这样，能够生成缩小成显示用尺寸的两个像素×两个像素范围的、颜色排列信息相异的四个种类的拜尔排列数据104。
(缩小调整大小处理部及颜色再排列数据生成处理部的第二具体例)
图6表示作为前处理部105的内部信号处理的RAW数据缩小调整大小部102及颜色再排列数据生成处理部103的结构的第二具体例。
在图6所示的结构中，当生成缩小成显示用尺寸的、包含有基准像素位置的、两个像素×两个像素范围的、颜色排列信息相异的四个种类的拜尔排列数据104时，本实施方式的图像处理装置具有：水平缩小调整大小暨颜色再排列数据生成处理部601，其沿输入行方向将从单板彩色摄像元件得到的RAW图像数据101缩小且生成两种拜尔排列数据602、603；存储部604、605，其暂时存储水平调整大小后的该两种拜尔排列数据；垂直缩小调整大小处理及颜色再排列数据生成处理部606、607，其对从存储部604、605分别读出的多个缩小行数据沿与输入行方向正交的垂直方向进行缩小调整大小，从而更进一步生成两种拜尔排列数据，总计生成四个种类的拜尔排列数据104a、104b、104c、104d。
以下，作为图6的结构的动作，对生成缩小成显示用尺寸的两个像素×两个像素范围的、颜色排列信息相异的四个种类的拜尔排列数据104的情况进行说明。
在沿输入行方向缩小成任意尺寸的图像且生成两种拜尔排列数据602、603的水平缩小调整大小处理暨颜色再排列数据生成处理部601中实施往显示尺寸的缩小调整大小时，首先，以沿水平方向成为显示尺寸的水平尺寸的缩小比例K1生成仅沿水平方向缩小的拜尔排列数据。并且通过沿水平方向将偶数像素与奇数像素的颜色相互对调，生成两种拜尔排列数据602、603。
所述水平缩小调整大小后的两种拜尔排列数据602、603以行数据单位分别独立地暂时写入到存储部604、605。同时，从所述存储部604、605分别读出多行量的数据，进行作为下一道步骤的垂直方向缩小调整大小处理。利用两个垂直缩小调整大小暨颜色再排列数据生成处理部606、607，以沿垂直方向成为显示尺寸的垂直尺寸的、与水平相同的缩小比例K1缩小。并且通过分别沿垂直方向将偶数行与奇数行的颜色相互对调，生成颜色排列相异的两种显示用尺寸拜尔排列数据，总计得到四个种类的显示用尺寸拜尔排列数据104a、104b、104c、104d。
通过以上的处理，生成缩小成显示用尺寸的、两个像素×两个像素范围的颜色排列信息相异的四个种类的拜尔排列数据104。
(缩小调整大小处理及颜色再排列数据生成处理的概略)
图7是表示如下的内部处理结构，即在RAW数据缩小调整大小处理部102与颜色再排列数据生成处理部103中，当生成颜色排列信息相异的四个种类的拜尔排列数据104时，沿输入行方向缩小成任意尺寸的图像，并且还通过沿水平方向将偶数像素与奇数像素的颜色相互对调，生成两种拜尔排列数据710、711这样的内部处理结构的一个例子。在本内部处理结构中，实现图5所示的RAW数据水平方向缩小调整大小处理部501、水平方向颜色再排列数据生成处理部507、508，以及实现图6的RAW数据水平方向缩小调整大小暨水平方向颜色再排列数据生成处理部601。
图8是表示利用以行数据单位暂时保持水平调整大小后的图像数据的存储部503、604、607，将行数据写入到多个行存储器的方法，以及显示从多个行存储器801同时读出多个水平方向行数据的一个例子的图。
图9是如下的内部处理结构，即利用多个水平方向缩小行数据，沿与输入行方向正交的垂直方向进行缩小调整大小，并且还通过沿垂直方向将偶数行和奇数行的颜色相互对调，生成两种拜尔排列数据923、925这样的内部处理结构的一个例子。在本内部处理结构中，实现图5及图6所示的RAW数据垂直方向缩小调整大小暨颜色再排列数据生成处理部504、606、607。
在图7选择性地实施沿传感器读出方向的水平缩小调整大小处理和颜色再排列处理，将该处理的输出写入图8所示的行存储器，同时，从行存储器读出沿传感器读出方向的水平缩小调整大小处理图像中连续的多行量的数据，进行如图9所示那样的处理，即对多行上的、沿传感器读出方向的同一位置的数据以纵向的同时处理进行多个垂直方向缩小调整大小处理与颜色再排列处理。
此时，垂直方向缩小调整大小处理是与所述沿传感器读出方向的水平缩小调整大小处理不同的处理，垂直方向缩小调整大小处理是根据是否以行单位来利用多个行单位的动作输出这样的判断处理，而作为行的间歇输出，得到沿垂直方向比率不同的缩小调整大小图像。
并且，在如图5所示的第一具体例中，对于任意图像，仅再次选择性地实施如图7所示的内部处理中的、沿传感器读出方向的颜色再排列处理，生成缩小成显示用尺寸的两个像素×两个像素范围的、颜色排列信息相异的四个种类的拜尔排列数据104。
本实施方式的图像处理功能的重点在于图像处理的流程与处理程序的组合及顺序。在图5所示的第一具体例中，是以图7的处理→图8的处理→图9的处理→图7的处理的顺序组合，生成缩小成显示用尺寸的、两个像素×两个像素范围的颜色排列信息相异的四个种类的拜尔排列数据104。另一方面、在图6所示的第二具体例中，是以图7的处理→图8的处理→图9的并列处理的顺序组合，生成缩小成显示用尺寸的、两个像素×两个像素范围的颜色排列信息相异的四个种类的拜尔排列数据104。
需要说明的是，图7、图8及图9所示的处理是在对RAW数据进行缩小调整大小处理并且进行多个颜色再排列处理时，用于生成不产生返回噪声、图像质量高而分辨率好的缩小RAW数据的一种方式，本发明并不将作为高图像质量缩小处理的基本的内部算法限定在该方式。但是，在删减冗长处理这样的本发明目的下，本内部处理算法是一种能够实现处理程序少并且图像质量高的缩小处理的方法，在实现本发明图像处理上是合适的缩小处理暨颜色再排列处理算法。
(水平方向的缩小调整大小处理及颜色再排列数据生成处理的具体例)
接着，利用图7，对在图5及图6所示的水平方向缩小调整大小处理及水平方向颜色再排列数据生成处理部501、507、508、601的处理中应用的、沿传感器读出方向的水平缩小调整大小处理及颜色再排列处理的细节进行说明。
沿传感器读出方向的水平缩小调整大小处理部501是一维的流水线处理，如图7所示，是由以下处理部构成，即：载色除去滤波处理部(滤波处理部)702，其通过对行单位的RAW行图像701进行的滤波处理，从RAW图像101提取出亮度数据；载色提取滤波处理部(滤波处理部)704，其提取载色数据；载色反转解调处理部705，其对调制后的载色数据进行颜色反转解调，输出连续的色差数据；亮度信号传感器读出方向缩小调整大小处理部706及色差信号传感器读出方向缩小调整大小处理部707，其对得到的亮度数据和色差数据分别独立地进行缩小调整大小；色差数据反转调制处理部(载色调制处理部)708，其将调整大小后的色差数据再转换成载色数据，进行增益电平调整；第一颜色排列再现处理部(颜色再排列数据生成处理部)709，其将调整大小后电平被调整了的亮度数据与调制后的载色数据重新合成，形成最终的第一颜色排列数据710；符号反转处理部711，其将调制后的载色数据的符号反转；以及，第二颜色排列再现处理部(颜色再排列数据生成处理部)712，其将调整大小后电平被调整了的亮度数据与调制后符号被反转了的载色数据重新合成，生成最终的第二颜色排列数据713。
与颜色再排列相关的处理是：将所述调整大小后的色差数据再转换成载色数据，进行增益电平调整的色差数据反转调制处理部708；第一颜色排列再现处理部709；符号反转处理部711；以及第二颜色排列再现处理部712。这些处理包含在图7中以虚线围住的颜色再排列数据生成处理部20中。
接着，利用图7所示的传感器读出方向的水平缩小调整大小处理功能，对处理拜尔排列的图像的情况进行说明。
作为原图像的RAW图像101是反映了拜尔排列的像素配置的镶嵌状图像，通常从摄像部12以行单位被读出。该原图像的行单位的RAW行图像数据701为红(R)与绿(G)的信息按每个像素反复的RG行、和蓝(B)与绿(G)的信息按每个像素反复的BG行这两种。在图7中，仅示出关于BG行的信号信息。
这两种行数据经过将以两个像素周期变化的奈奎斯特频率附近的载色除去的载色除去滤波处理部702，对于RG行而言，输出成为红(R)与绿(G)的平均值的行亮度数据{α(R+G)}，对于BG行而言，输出成为蓝(B)与绿(G)的平均值的行亮度数据{α(B+G)}。
而且，所述两种行数据经过将以两个像素周期变化的奈奎斯特频率附近的载色提取出的载色提取滤波处理部704，对于RG行而言，输出以奈奎斯特频率被调制后的RG行载色数据，对于BG行而言，输出以奈奎斯特频率被调制后的BG行载色数据。所述以奈奎斯特频率被调制后的RG行载色数据及BG行载色数据，通过按每一个像素使符号反转的载色反转解调处理部705，作为连续的RG行色差数据及BG行色差数据被输出。
当针对提取出的亮度数据和色差数据分别以同一缩小比率实施传感器读出方向的缩小调整大小时，为了抑制缩小后的返回噪声，对亮度数据用及色差数据用分别实施在图7中未图示的、特性相异的亮度用带限滤波处理、和色差用带限滤波处理，但作为有效率的处理，是以通过载色除去滤波处理部702和载色提取滤波处理部704，将频率特性的限制同时应用处理的方法为好，作为安装方法，该方法是有效率的。此时，作为色差用带限，在设想最终记录格式为JPEG或TIFF、MPEG的情况下，设定为亮度用带限的二分之一以下。被带限的亮度数据通过亮度信号传感器读出方向缩小调整大小处理部706，与缩小比率对应地进行线性插值间隔提取处理。另一方面，被带限的色差数据通过色差信号传感器读出方向的水平缩小调整大小处理部507，与缩小比率对应地进行线性插值间隔提取处理。
对于按照每一行沿传感器读出方向被水平缩小调整大小后的两种连续的色差数据{β(R-G)、β(B-G)}，作为用于按照以两个像素周期变化的奈奎斯特频率进行调制的等效处理，实施按每一个像素使符号反转的、在色差数据反转调制处理部708进行的处理。其结果是，成为在各个行数据上符号按照每个像素相异的第一{β(R-G)、-β(R-G)}、{β(B-G)、-β(B-G)}这两种缩小RG行载色数据和缩小BG行载色数据。同时，将所述载色数据的符号反转的符号反转处理部711，使第一{β(R-G)、-β(R-G)}、{β(B-G)、-β(B-G)}这两种缩小RG行载色数据和缩小BG行载色数据成为在各个行数据上符号按照每个像素相异的第二{-β(R-G)、β(R-G)}、{-β(B-G)、β(B-G)}这两种缩小RG行载色数据和缩小BG行载色数据。
被调整大小后的缩小行亮度数据，在与被调整大小后的载色数据的相加处理、即颜色排列再现处理部709中，按照每行，所述第一及第二缩小RG行载色数据和所述第一及第二缩小BG行载色数据被重新合成，作为红(R)与绿(G)的信息按每个像素反复的、被缩小调整大小后的RG行及GR行、以及作为蓝(B)与绿(G)的信息按每个像素反复的、被缩小调整大小后的BG行710及GB行713输出。
利用数学式表示RG行的重新合成。首先，若在亮度数据{α(R+G)}、载色数据{β(R-G)、-β(R-G)}中设α=0.5、β=05，则变为亮度数据{0.5(R+G)}、载色数据{0.5(R-G)、-0.5(R-G)}。若对每个像素加上亮度数据和载色数据，则重复0.5{(R+G)+(R-G)}、0.5{(R+G)-(R-G)}、…。即，将RG行数据再生为R、G、R、G、…。若载色数据的符号反转，则GR行数据再生为G、R、G、R、…。
在BG行中也同样，若在亮度数据{α(B+G)}、载色数据{β(B-G)、-β(B-G)}中设α=0.5、β=0.5，则变为亮度数据{0.5(B+G)}、载色数据{0.5(B-G)、-0.5(B-G)}。若对每个像素加上亮度数据和载色数据，则重复0.5{(B+G)+(B-G)}、0.5{(B+G)-(B-G)}、…。即、BG行数据再生为B、G、B、G、…。若载色数据的符号反转，则GB行数据再生为G、B、G、B、…。
在图7中所示的传感器读出方向的水平缩小调整大小处理功能够在实施图5中所示的处理部501、507、508或图6中所示的处理部601时使用。
在图5的水平方向缩小调整大小处理部501中，是将颜色排列相异的两种缩小行数据中的一个往下一个处理输出。而且，在颜色再排列数据生成处理部507、508中，不实施水平方向的缩小处理，而是将颜色排列相异的两种缩小行数据输出。并且，在图6的水平方向缩小调整大小暨颜色再排列数据生成处理部601中，是将被水平方向的缩小处理后的、颜色排列相异的两种缩小行数据输出。
接着，利用图8，对于将在所述水平缩小调整大小处理部501、水平缩小调整大小处理暨颜色再排列数据生成处理部601进行处理的缩小RAW图像数据暂时地写入到作为存储部503、604、605的一例的多个行存储器，并且同时从这些多个行存储器读出多个水平方向缩小行RAW数据的情况的细节进行说明。
图8(a)表示多个行存储器的写入读出动作。该图(b)表示该图(a)的下一个行周期定时下的同一行存储器的写入读出动作。在图8(a)及图8(b)中，801是由八行构成的行存储器。802表示针对所述行存储器801的数据写入循环，作为对八行的写入控制，一边按每一行依次以环状巡回，一边不断写入。803表示针对行存储器801的数据读出循环，一边汇总选择八行中的七行量的存储器数据，一边与写入控制同样地按顺序以环状巡回并不断读出。
在图8(a)及(b)的例子中，为了使所使用的多个行存储器801的容量为最小限度，使相对环状的巡回写入的、七行同时巡回读出的开头行的位置成为比写入行慢一行的位置。而且，通过划分写入行和读出行，还能够使写入与读出不同步地动作。
这样，通过从图8(a)及(b)所示的行存储器801中汇总读出水平方向的RAW缩小调整大小图像502、602、603中连续的多行量的RAW调整大小数据，对多行上的传感器读出方向的同一位置的数据804，在图5所示的第一具体例中，在垂直方向缩小调整大小暨颜色再排列数据处理部504沿纵向进行处理，得到RAW调整大小图像505、606。在图6所示的第二具体例中，在垂直方向缩小调整大小暨颜色再排列数据处理部606、607沿纵向进行处理，得到颜色排列相异的四个种类的RAW调整大小图像104。
此时，在垂直方向缩小调整大小暨颜色再排列数据处理部504、606、608进行的处理，成为与在传感器读出方向的水平缩小调整大小处理部501进行的处理相异的处理。在垂直方向缩小调整大小暨颜色再排列数据处理部504、606、608进行的处理是根据是否基于下述判断处理进行输出，来通过减少行数，实施垂直方向的缩小调整大小处理，所述判定处理用于判定：对于以多行作为输入的任意图像处理输出数据，是否以行单位作为有效数据来利用。
(垂直方向的缩小调整大小处理及颜色再排列数据处理的具体例)
图9是表示如下的结构，即通过所述垂直方向缩小调整大小暨颜色再排列数据处理504、606、608，生成颜色排列信息相异的两种拜尔排列数据时，通过相对于输入行方向沿垂直方向缩小成任意尺寸的图像，并且还沿垂直方向将偶数行上和奇数行上的颜色相互对调，生成两种拜尔排列数据710、711这样的内部处理结构的一个例子。
图9的垂直方向缩小调整大小暨颜色再排列数据处理504、606、608与图7所示的传感器读出方向的水平缩小调整大小处理同样，作为亮度信号处理和色差信号处理这样的两系统处理而实施。
进行详细说明时，在图9中示例出下述的情况：作为输入数据将相对于七行量的RAW图像在垂直方向成为同一水平位置的七个像素作为一个处理单位来实施处理。
图9所示的垂直方向缩小调整大小暨颜色再排列数据处理是山以下处理部构成，即：载色除去滤波处理部(滤波处理部)903，其从所述七行量的RAW图像沿垂直方向提取出亮度数据；载色提取滤波处理部(滤波处理部)912，其提取垂直方向的载色数据；载色反转解调处理部(垂直方向载色反转解调处理部)916，其对在垂直方向被调制后的载色数据进行色反转解调，输出在垂直方向连续的色差数据；亮度信号垂直方向缩小调整大小处理部(垂直方向缩小调整大小处理部)910及色差信号垂直方向缩小调整大小处理部(垂直方向缩小调整大小处理部)918，其对在得到的垂直方向行亮度数据909和色差数据独立地进行垂直方向缩小调整大小；色差数据反转调制处理部(垂直方向色差数据反转调制处理部)920，其将调整大小后的色差数据再次转换成载色数据，进行增益电平调整；第一颜色排列再现处理部922，将调整大小后电平被调整了的亮度数据和调制后的载色数据重新合成，生成最终的第一颜色排列数据923；符号反转处理部926，其将被调制后的载色数据的符号反转；第二颜色排列再现处理部924，其将调整大小后电平被调整了的亮度数据与调制后符号被反转了的载色数据重新合成，生成最终的第二颜色排列数据925。
与颜色再排列相关的处理是：将所述调整大小后的色差数据再转换成载色数据，进行增益电平调整的色差数据反转调制处理部920；第一颜色排列再现处理部922；符号反转处理部926；以及第二颜色排列再现处理部924，这些处理包含在图9中以虚线围住的颜色再排列数据生成处理部30中。
详细说明利用所述图9所示的垂直方向缩小调整大小暨颜色再排列数据处理功能，对拜尔排列的图像进行缩小调整大小处理暨颜色再排列数据处理的情况。
如图9的垂直方向的处理单位901所示，水平调整大小处理后的RAW图像保持着反映了拜尔排列的像素配置的镶嵌状排列，如图8所示，被以行单位巡回写入到行存储器801中，并汇总多行被巡回读出。在图8所示的本实施方式中，利用由八行构成的行存储器801，将七行量的数据汇总并输出。
对于水平调整大小处理后的七行单位的输入数据，在第一垂直方向的处理单位成为：对于行上的传感器读出方向的同一位置的垂直方向关注数据，蓝(B)与绿(G)的信息沿垂直方向按每个像素反复的BG垂直处理单位901、和绿(G)与红(R)的信息沿垂直方向按每个像素反复的GR垂直处理单位902这两种。
成为这两种垂直方向的处理单位的数据，具有在垂直方向以两个像素周期变化的奈奎斯特频率附近的载色信息，在所述除去载色的载色除去滤波处理部903中，利用七行数据中的五行量的亮度数据Y1～Y3被实施三系统处理，生成沿垂直方向偏离一行量位置的三个种类的连续的亮度数据。本实施方式中，在载色除去滤波处理部903中沿垂直方向分别利用五像素的亮度数据Y1～Y3，输出三个种类的行亮度数据909。各个亮度数据Y1～Y3是作为下述的亮度数据而在水平方向交替地输出，即，关于垂直方向的BG垂直处理单位901是作为成为蓝(B)与绿(G)的平均值的亮度数据，而关于接下来的垂直方向的GR垂直处理单位902是作为成为绿(G)与红(R)的平均值的亮度数据。
而且，所述两种垂直方向的处理单位901、902，利用在垂直方向以两个像素周期变化的奈奎斯特频率附近的载色提取出的载色提取滤波处理部912的七行数据中的五行量的数据被实施三系统处理，生成沿垂直方向偏离一行量位置的三个种类的连续的载色数据C1～C3(913～915)。关于BG垂直处理单位901的BG垂直方向，输出被以奈奎斯特频率调制后的BG载色成分数据，关于GR垂直处理单位902的GR垂直方向，输出被以奈奎斯特频率调制后的GR载色成分数据。
沿垂直方向被以奈奎斯特频率调制后的各为三个的BG载色成分数据及GR载色成分数据，通过沿垂直方向按每一个像素(每一行动作)反转符号的载色反转解调处理部916，作为沿垂直方向连续的R-G数据、B-G数据输出。在此，以垂直方向的像素数据位置与亮度数据Y1～Y3成为相同位置的方式输出色差数据C1～C3。
在对由沿垂直方向提取出的所述三行数据构成的亮度数据Y1～Y3和色差数据C1～C3分别实施同一比率的垂直方向的缩小调整大小时，为了抑制缩小后的返回噪声，优选按亮度数据用及色差数据用分别实施在图9中未图示的、特性相异的亮度用带限滤波处理、和色差用带限滤波处理。虽然也能够对亮度数据Y1～Y3与色差数据C1～C3这三行实施同一带限滤波处理，但是作为有效率的处理来说，通过载色除去滤波处理部903和载色提取滤波处理部912，将频率特性的限制同时应用处理这样的方法，作为安装方法是有效率的。此时，作为色差数据的带限，设想最终记录格式为JPEG或TIFF、MPEG的情况下，优选设定为亮度用数据的带限的二分之一以下。
亮度信号垂直方向缩小调整大小处理部910，利用在所述垂直方向被带限的亮度数据Y1～Y3这三个行亮度数据909进行在垂直方向的线形插值，以行单位并对应缩小比率实施行间隔提取输出。另一方面，色差信号垂直方向缩小调整大小处理部918，利用三个色差分行数据在垂直方向进行与所述亮度数据相同的线形插值，以行单位并对应垂直缩小比率实施行间隔提取输出。
通过所述垂直方向的行间隔提取而被缩小调整大小的色差数据，作为用于按照以两个像素周期变化的奈奎斯特频率进行调制的等效处理，被实施按每个有效行输出使符号反转的、在色差数据反转调制处理部920进行的处理，在垂直方向生成第一垂直载色数据921。将该第一垂直载色数据921在符号反转处理部926进行符号反转，生成第二垂直载色数据927。
通过所述垂直方向的行间隔提取而在垂直方向被缩小调整大小的行亮度数据911、及所述第一垂直载色数据921，在第一颜色排列再现处理部922被实施相加处理，作为垂直方向BG数据923、及未图示的垂直方向GR数据在水平方向交替地输出。该垂直方向BG数据923是蓝(B)与绿(G)的信息在垂直方向按每个像素反复的、水平垂直都被调整大小的数据，该垂直方向GR数据是绿(G)与红(R)的信息在垂直方向按每个像素反复的、水平垂直都被调整大小的数据。
通过所述垂直方向的行间隔提取而被垂直缩小调整大小的行亮度数据911、及所述第二垂直载色数据927，在第二颜色排列再现处理部924被进行相加处理，作为垂直方向GB数据925、及未图示的垂直方向RG数据在水平方向交替地输出。该垂直方向GB数据925是绿(G)与蓝(B)的信息在垂直方向按每个像素反复的、水平垂直都被调整大小的数据，该垂直方向RG数据是红(R)与绿(G)的信息在垂直方向按每个像素反复的、水平垂直都被调整大小的数据。
与在垂直方向的两种颜色再排列相关的处理，是通过所述第一颜色排列再现处理部922、及第二颜色排列再现处理部924实施，作为图5所示的四个种类的拜尔排列数据505、506、图6所示的两种拜尔排列数据104a、104b、104c、104d输出。
如以上所述，在图5所示的第一实施方式中，能够以图7的处理→图8的处理→图9的处理→图7的处理的顺序组合，生成缩小成显示用尺寸的两个像素×两个像素范围的、颜色排列信息相异的四个种类的拜尔排列数据104。
此外，在图6所示的第二实施方式中，能够以图7的处理→图8的处理→图9的并列处理的顺序组合，缩小成显示用尺寸的两个像素×两个像素范围的、颜色排列信息相异的四个种类的拜尔排列数据104。
接着，利用在图2所示的颜色再排列显示数据生成处理部201、203、205对原图像的红(R)、绿(G)、蓝(B)的颜色进行选择处理，能够生成颜色排列符合监视器的输入规格的显示数据。
需要说明的是，实施本发明的机构不限于专用的图像处理装置(图像再生装置或图像加工装置)，也可以是个人电脑。并且，图像处理并不限于其处理的一部分或全部由硬件(信号处理电路)实现，也可以通过软件实现。
另外，使用于图像处理的图像处理程序可以构成为单独的应用程序软件，也可以作为图像加工软件、文件管理用软件等应用程序的一部分而组入。此外，该图像处理程序不限定于在个人电脑等计算机系统中应用的情况，也可以作为组装在数码相机、携带式电话机等信息设备的中央处理装置(CPU)的动作程序来应用。
-工业可用性-
如以上说明那样，本发明涉及的图像处理装置及图像处理方法特别是在将从单板彩色摄像元件得到的原图像缩小处理并显示时，作为合适的图像数据尺寸转换显示处理装置、电子静态图片相机、图像数据尺寸转换显示处理程序等是有用的。
-符号说明-
10  摄像装置
11  光学透镜
12  撮像部
101  拜尔排列的RAW图像数据
104  四个种类的拜尔排列数据
105  前处理部
107  存储控制部
108  存储部
109  图像信号处理部
110  压缩解压处理部
111  记录介质I／F部
112  记录介质
113  操作面板
114  CPU
115  ROM
116  RAM
117  显示处理部
118  监视器
DPth(1)、DPth(2)  数据路径
102  缩小调整大小处理部
103  颜色再排列数据生成处理部
104a～104d  四个种类的拜尔排列数据
201、203、205  颜色再排列显示数据生成处理部
202、204、206  颜色再排列显示数据
501RAW  数据水平方向缩小调整大小处理部
502  仅沿水平方向缩小的图像数据
503、604、605  存储部(存储装置)
504、606、607  RAW数据垂直方向调整大小处理暨颜色再排列处理部
505、506  两种显示用尺寸拜尔排列数据
507、508  水平方向颜色再排列数据生成处理部
601  RAW数据水平方向缩小调整大小暨颜色再排列数据生成处理部
602、603  仅沿水平方向缩小的两种图像数据
701  RAW行图像数据
702  载色除去滤波处理部(滤波处理部)
703  行亮度数据
704  载色提取滤波处理部(滤波处理部)
705  色差数据复调处理部
706  亮度信号传感器读出方向缩小调整大小处理部
707  色差信号传感器读出方向缩小调整大小处理部
708  载色调制处理部(载色调制处理部)
709  第一颜色排列再现处理部(颜色再排列数据生成处理部)
710  第一缩小颜色排列数据
711  符号反转处理部
712  第二颜色排列再现处理部(颜色再排列数据生成处理部)
713  第二缩小颜色排列数据
801  行存储器
802  针对行存储器的数据写入循环
803  针对行存储器的数据读出循环
804  多行上的传感器读出方向的同一位置的数据
901  第一垂直方向的处理单位
902  第二垂直方向的处理单位
903  载色除去滤波处理部(滤波处理部)
904、905、906  行亮度数据
909  三个种类的行亮度数据
910  亮度信号垂直方向缩小调整大小处理部(垂直方向缩小调整大小处理部)
911  垂直方向缩小行亮度数据
912  载色提取滤波处理部(滤波处理部)
913、914、915  载色数据
916  载色反转解调处理部(垂直方向载色反转解调处理部)
918  色差信号垂直方向缩小调整大小处理部(垂直方向缩小调整大小处理部)
919  垂直方向缩小色差数据
920  色差数据反转调制处理部(垂直方向色差数据反转调制处理部)
30  颜色再排列数据生成处理部
921  第一垂直载色数据
922  第一垂直颜色排列再现处理部
923  第一缩小颜色排列数据
924  第二垂直颜色排列再现处理部
925  第二缩小颜色排列数据
926  符号反转处理部
927  第二垂直载色数据
权利要求书(按照条约第19条的修改)
1.一种图像处理装置，其能够从由颜色排列具有周期性的多种颜色的像素构成的原图像的数字图像信号生成缩小图像并进行显示，该图像处理装置的特征在于：
具有：
缩小调整大小处理部，其将从单板彩色摄像元件得到的原图像缩小成对应于显示监视器的显示尺寸的图像；以及
颜色再排列数据生成处理部，其根据通过所述缩小调整大小处理部缩小的缩小图像，生成由所述原图像的颜色信息所构成的两种以上的显示用缩小图像。
2.一种图像处理装置，其能够从山颜色排列具有周期性的多种颜色的像素构成的原图像的数字图像信号生成缩小图像并进行显示，该图像处理装置的特征在于：
具有：
缩小调整大小处理部，其将从单板彩色摄像元件得到的原图像缩小成对应于显示监视器的显示尺寸的图像；
颜色再排列数据生成处理部，其根据通过所述缩小调整大小处理部缩小的缩小图像，生成山所述原图像的颜色信息所构成的两种以上的显示用缩小图像；以及
颜色再排列显示数据生成处理部，其根据通过所述颜色再排列数据生成处理部生成的显示用缩小图像，生成能够对应于所述显示监视器的彩色像素排列的两种以上的颜色排列显示数据。
3.根据权利要求1或2所述的图像处理装置，其特征在于：
还具有：
将所述显示用缩小图像从所述颜色再排列数据生成处理部直接输入到显示处理部的数据路径，该显示处理部进行对应于所述显示监视器的显示特性的显示处理；以及
将所述显示用缩小图像从所述颜色再排列数据生成处理部通过存储部输入到所述显示处理部的数据路径，
根据摄影时的动作模式控制所述存储部的存储控制部，选择性地进行将所述显示用缩小图像从所述颜色再排列数据生成处理部直接输入到所述显示处理部、或是将所述显示用缩小图像从所述颜色再排列数据生成处理部通过所述存储部输入到所述显示处理部的图像输入数据路径控制。
4.根据权利要求1到3项中任一项权利要求所述的图像处理装置，其特征在于：
所述缩小调整大小处理部的缩小调整大小处理、以及所述颜色再排列数据生成处理部的颜色再排列数据生成处理能够在对原图像进行的水平方向处理中实施，并且能够在对原图像进行的垂直方向处理中实施。
5.根据权利要求1到4项中任一项权利要求所述的图像处理装置，其特征在于：
所述缩小调整大小处理部以及所述颜色再排列数据生成处理部：
通过传感器读出方向的行单位的第一缩小调整大小处理对所述原图像仅沿一个方向进行缩小调整大小处理，
并且，根据该仅沿一个方向被缩小调整大小处理后的一个多色排列数据，进行沿与所述第一缩小调整大小处理正交的垂直方向的第二缩小调整大小处理和颜色再排列数据生成处理，生成被二维缩小调整大小处理后的两种多色排列数据，
并且，对所述两种多色排列数据分别进行作为再次的行单位处理的颜色再排列数据生成处理，生成多种多色排列数据。
6.根据权利要求5所述的图像处理装置，其特征在于：
所述缩小调整大小处理部及所述颜色再排列数据生成处理部：
将通过所述第一缩小调整大小处理对所述原图像仅沿水平方向进行缩小调整大小处理后的一种多色排列数据写入到存储装置，
并且，当从所述存储装置读出所述一种多色排列数据时，沿着与写入时的行方向正交的方向以行单位读出，并进行再次的缩小调整大小处理和颜色再排列数据生成处理，生成被二维缩小调整大小处理后的两种颜色排列数据，
并且，对所述两种多色排列数据分别进行作为再次的行单位处理的颜色再排列数据生成处理，生成多种多色排列数据。
7.根据权利要求6所述的图像处理装置，其特征在于：
所述缩小调整大小处理部及所述颜色再排列数据生成处理部一边将通过所述第一缩小调整大小处理对所述原图像仅沿一个方向进行缩小调整大小处理后的一种多色排列数据按每一行写入到由多行构成的行存储器中，一边同时读出多行数据，并从该读出的多行数据上的传感器读出方向成为同一位置的垂直方向的关注多个数据提取出亮度数据和载色数据，进行再次的缩小调整大小处理和颜色再排列数据生成处理，
所述垂直方向的缩小调整大小处理通过进行减少相对于输入行数的输出行的处理，生成被二维缩小调整大小处理后的两种多色排列数据，
所述缩小调整大小处理部及所述颜色再排列数据生成处理部对述两种多色排列数据分别进行作为再次的行单位处理的颜色再排列数据生成处理，生成多种颜色排列数据。
8.根据权利要求1到4项中任一项权利要求所述的图像处理装置，其特征在于：
所述缩小调整大小处理部及所述颜色再排列数据生成处理部：
通过传感器读出方向的行单位处理对所述原图像仅沿一个方向进行缩小调整大小处理并且进行颜色再排列数据生成处理，
并且，根据所述仅沿一个方向被缩小调整大小处理后的两种颜色排列数据，沿与所述传感器读出方向的行单位处理的处理方向正交的方向进行再次的缩小调整大小处理和颜色再排列数据生成处理，生成被二维缩小调整大小处理后的多种颜色排列数据。
9.根据权利要求8所述的图像处理装置，其特征在于：
所述缩小调整大小处理部及所述颜色再排列数据生成处理部：
将通过所述传感器读出方向的行单位处理对所述原图像进行了仅沿水平方向的缩小调整大小处理和颜色再排列数据生成处理后的两种多色排列数据写入到存储装置，
并且，当从所述存储装置读出所述两种多色排列数据时，沿着与写入时的行方向正交的方向以行单位读出，并进行再次的缩小调整大小处理和颜色再排列数据生成处理，生成被二维缩小调整大小处理后的多种颜色排列数据。
10.根据权利要求9所述的图像处理装置，其特征在于：
所述缩小调整大小处理部及所述颜色再排列数据生成处理部一边将通过传感器读出方向的行单位处理对所述原图像仅进行了沿水平方向的缩小调整大小处理和颜色再排列数据生成处理后的两种颜色排列数据按每一行写入到由多行构成的行存储器中，一边同时读出多行数据，并对该读出的多行数据上的传感器读出方向成为同一位置的垂直方向的关注多个数据进行再次的缩小调整大小处理和颜色再排列数据生成处理，
所述垂直方向的缩小调整大小处理通过进行减少相对于输入行数的输出行的处理，生成被二维缩小调整大小处理后的多种颜色排列数据。
11.根据权利要求5到10项中任一项权利要求所述的图像处理装置，其特征在于：
所述缩小调整大小处理部及所述颜色再排列数据生成处理部含有用于进行水平方向缩小调整大小处理及颜色再排列数据生成处理的下述处理部，即：
滤波处理部，其通过传感器读出方向的行单位的行单位处理对所述原图像提取出亮度数据和载色数据；
载色反转复调处理部，其将所述载色数据转换成色差数据；
缩小调整大小处理部，其对所述亮度数据和色差数据独立地进行缩小调整大小；
载色调制处理部，其将通过所述缩小调整大小处理部进行了缩小调整大小后的色差数据按每个像素生成为符号相异的第一载色数据、和符号与该第一载色数据不同的第二载色数据；以及
颜色再排列数据生成处理部，其将所述缩小调整大小后的亮度数据和所述第一载色数据重新合成，生成具有原图像的颜色排列数据的图像，并且将所述缩小调整大小后的亮度数据和所述第二载色数据重新合成，生成具有与原图像相异的颜色排列数据的图像。
12.根据权利要求5到10项中任一项权利要求所述的图像处理装置，其特征在于：
所述缩小调整大小处理部及所述颜色再排列数据生成处理部含有用于进行垂直方向缩小调整大小处理及颜色再排列数据生成处理的下述处理部，即：
滤波处理部，其一边将通过传感器读出方向的行单位处理对所述原图像仅沿水平方向进行了缩小调整大小处理和颜色再排列数据生成处理后的颜色排列数据按每一行写入到由多行构成的行存储器中，一边同时读出多行数据，并从该读出的多行数据上的传感器读出方向成为同一位置的垂直方向的关注多个数据沿垂直方向以行单位提取出亮度数据和载色数据；
垂直方向载色反转解调处理部，其将所述提取出的垂直方向的载色数据转换成垂直方向的色差数据；
垂直方向缩小调整大小处理部，其对所述垂直方向的亮度数据和色差数据独立地进行减少相对于输入行数的输出行的处理，并进行缩小调整大小；
垂直方向色差数据反转调制处理部，其从所述垂直方向的缩小调整大小后的、在垂直方向连续的色差数据按每一行生成符号相异的第一载色数据、和符号与该第载色数据相异的第二载色数据；以及
颜色再排列数据生成处理部，其将所述缩小调整大小后的亮度数据和所述第一载色数据重新合成，生成具有原图像的颜色排列数据的图像，并且将所述缩小调整大小后的亮度数据和所述第一载色数据重新合成，生成具有与原图像相异的颜色排列数据的图像。
13.根据权利要求1到12项中任一项权利要求所述的图像处理装置，其特征在于：
所述原图像是利用下述单板彩色摄像元件取得的图像，该单板彩色摄像元件具有颜色通过原色过滤器被周期性地排列的多种颜色的像素。
14.一种图像处理方法，其能够从由颜色排列具有周期性的多种颜色的像素构成的原图像的数字图像信号生成缩小图像并进行显示，该图像处理方法的特征在于：
具有：
缩小调整大小处理步骤，其将从单板彩色摄像元件得到的原图像缩小成对应于显示监视器的显示尺寸的图像；以及
颜色再排列数据生成处理步骤，其根据通过所述缩小调整大小处理步骤缩小的缩小图像，生成由所述原图像的颜色信息所构成的两种以上的显示用缩小图像。
15.一种图像处理方法，其能够从由颜色排列具有周期性的多种颜色的像素构成的原图像的数字图像信号生成缩小图像并进行显示，该图像处理方法的特征在于：
具有：
缩小调整大小处理步骤，其将从单板彩色摄像元件得到的原图像缩小成对应于显示监视器的显示尺寸的图像；
颜色再排列数据生成处理步骤，其根据通过所述缩小调整大小处理步骤缩小的缩小图像，生成由所述原图像的颜色信息所构成的两种以上的显示用缩小图像；以及
颜色再排列显示数据生成处理步骤，其根据通过所述颜色再排列数据生成处理步骤生成的显示用缩小图像，生成能够对应于所述显示监视器的彩色像素排列的两种以上的颜色排列显示数据。
16.根据权利要求14或15所述的图像处理方法，其特征在于：
根据摄影时的动作模式，对下述进行选择性地切换，即：
将所述显示用缩小图像从所述颜色再排列数据生成处理步骤直接输入到显示处理部，该显示处理部进行对应于所述显示监视器的显示特性的显示处理；或
将所述显示用缩小图像从所述颜色再排列数据生成处理步骤通过存储部输入到所述显示处理部。
17.根据权利要求14到16项中任一项权利要求所述的图像处理方法，其特征在于：
所述缩小调整大小处理步骤的缩小调整大小处理、以及所述颜色再排列数据生成处理步骤的颜色再排列数据生成处理能够在对原图像进行的水平方向处理中实施，并且能够在对原图像进行的垂直方向处理中实施。
18.根据权利要求14到17项中任一项权利要求所述的图像处理方法，其特征在于：
所述缩小调整大小处理步骤以及所述颜色再排列数据生成处理步骤：
通过传感器读出方向的行单位的第一缩小调整大小处理对所述原图像仅沿一个方向进行缩小调整大小处理，
并且，根据该仅沿一个方向被缩小调整大小处理后的一个多色排列数据，进行沿与所述第一缩小调整大小处理正交的垂直方向的第二缩小调整大小处理和颜色再排列数据生成处理，生成被二维缩小调整大小处理后的两种多色排列数据，
并且，对所述两种多色排列数据分别进行作为再次的行单位处理的颜色再排列数据生成处理，生成多种多色排列数据。
19.根据权利要求18所述的图像处理方法，其特征在于：
所述缩小调整大小处理步骤及所述颜色再排列数据生成处理步骤：
将通过所述第一缩小调整大小处理对所述原图像仅沿水平方向进行缩小调整大小处理后的一种多色排列数据写入到存储装置，
并且，当从所述存储装置读出所述一种多色排列数据时，沿着与写入时的行方向正交的方向以行单位读出，并进行再次的缩小调整大小处理和颜色再排列数据生成处理，生成被二维缩小调整大小处理后的两种颜色排列数据，
并且，对所述两种多色排列数据分别进行作为再次的行单位处理的颜色再排列数据生成处理，生成多种多色排列数据。
20.根据权利要求19所述的图像处理方法，其特征在于：
所述缩小调整大小处理步骤及所述颜色再排列数据生成处理步骤一边将通过所述第一缩小调整大小处理对所述原图像仅沿一个方向进行缩小调整大小处理后的一种多色排列数据按每一行写入到由多行构成的行存储器中，一边同时读出多行数据，并从该读出的多行数据上的传感器读出方向成为同一位置的垂直方向的关注多个数据提取出亮度数据和载色数据，进行再次的缩小调整大小处理和颜色再排列数据生成处理，
所述垂直方向的缩小调整大小处理通过进行减少相对于输入行数的输出行的处理，生成被二维缩小调整大小处理后的两种多色排列数据，
所述缩小调整大小处理步骤及所述颜色再排列数据生成处理步骤对述两种多色排列数据分别进行作为再次的行单位处理的颜色再排列数据生成处理，生成多种颜色排列数据。
21.根据权利要求14到17项中任一项权利要求所述的图像处理方法，其特征在于：
所述缩小调整大小处理步骤及所述颜色再排列数据生成处理步骤：
通过传感器读出方向的行单位处理对所述原图像仅沿一个方向进行缩小调整大小处理并且进行颜色再排列数据生成处理，
并且，根据所述仅沿一个方向被缩小调整大小处理后的两种颜色排列数据，沿与所述传感器读出方向的行单位处理的处理方向正交的方向进行再次的缩小调整大小处理和颜色再排列数据生成处理，生成被二维缩小调整大小处理后的多种颜色排列数据。
22.根据权利要求21所述的图像处理方法，其特征在于：
所述缩小调整大小处理步骤及所述颜色再排列数据生成处理步骤：
将通过所述传感器读出方向的行单位处理对所述原图像进行了仅沿水平方向的缩小调整大小处理和颜色再排列数据生成处理后的两种多色排列数据写入到存储装置，
并且，当从所述存储装置读出所述两种多色排列数据时，沿着与写入时的行方向正交的方向以行单位读出，并进行再次的缩小调整大小处理和颜色再排列数据生成处理，生成被二维缩小调整大小处理后的多种颜色排列数据。
23.根据权利要求22所述的图像处理方法，其特征在于：
所述缩小调整大小处理步骤及所述颜色再排列数据生成处理步骤一边将通过传感器读出方向的行单位处理对所述原图像仅进行了沿水平方向的缩小调整大小处理和颜色再排列数据生成处理后的两种颜色排列数据按每一行写入到由多行构成的行存储器中，一边同时读出多行数据，并对该读出的多行数据上的传感器读出方向成为同一位置的垂直方向的关注多个数据进行再次的缩小调整大小处理和颜色再排列数据生成处理，
所述垂直方向的缩小调整大小处理通过进行减少相对于输入行数的输出行的处理，生成被二维缩小调整大小处理后的多种颜色排列数据。
24.根据权利要求18到23项中任一项权利要求所述的图像处理方法，其特征在于：
所述缩小调整大小处理步骤及所述颜色再排列数据生成处理步骤含有用于进行水平方向缩小调整大小处理及颜色再排列数据生成处理的下述处理步骤，即：
滤波处理步骤，其通过传感器读出方向的行单位的行单位处理对所述原图像提取出亮度数据和载色数据；
载色反转复调处理步骤，其将所述载色数据转换成色差数据；
缩小调整大小处理步骤，其对所述亮度数据和色差数据独立地进行缩小调整大小；
载色调制处理步骤，其将通过所述缩小调整大小处理步骤进行了缩小调整大小后的色差数据按每个像素生成为符号相异的第一载色数据、和符号与该第一载色数据不同的第二载色数据；以及
颜色再排列数据生成处理步骤，其将所述缩小调整大小后的亮度数据和所述第一载色数据重新合成，生成具有原图像的颜色排列数据的图像，并且将所述缩小调整大小后的亮度数据和所述第二载色数据重新合成，生成具有与原图像相异的颜色排列数据的图像。
25.根据权利要求18到23项中任一项权利要求所述的图像处理方法，其特征在于：
所述缩小调整大小处理步骤及所述颜色再排列数据生成处理步骤含有用于进行垂直方向缩小调整大小处理及颜色再排列数据生成处理的下述处理步骤，即：
滤波处理步骤，其一边将通过传感器读出方向的行单位处理对所述原图像仅沿水平方向进行了缩小调整大小处理和颜色再排列数据生成处理后的颜色排列数据按每一行写入到由多行构成的行存储器中，一边同时读出多行数据，并从该读出的多行数据上的传感器读出方向成为同一位置的垂直方向的关注多个数据沿垂直方向以行单位提取出亮度数据和载色数据；
垂直方向载色反转解调处理步骤，其将所述提取出的垂直方向的载色数据转换成垂直方向的色差数据；
垂直方向缩小调整大小处理步骤，其对所述垂直方向的亮度数据和色差数据独立地进行减少相对于输入行数的输出行的处理，并进行缩小调整大小；
垂直方向色差数据反转调制处理步骤，其从所述垂直方向的缩小调整大小后的、在垂直方向连续的色差数据按每一行生成符号相异的第一载色数据、和符号与该第一载色数据相异的第二载色数据；以及
颜色再排列数据生成处理步骤，其将所述缩小调整大小后的亮度数据和所述第一载色数据重新合成，生成具有原图像的颜色排列数据的图像，并且将所述缩小调整大小后的亮度数据和所述第二载色数据重新合成，生成具有与原图像相异的颜色排列数据的图像。
26.根据权利要求14到25项中任一项权利要求所述的图像处理方法，其特征在于：
所述原图像是利用下述单板彩色摄像元件取得的图像，该单板彩色摄像元件具有颜色通过原色过滤器被周期性地排列的多种颜色的像素。
27.一种数码相机，其特征在于安装有如权利要求1到13中任一项权利要求所述的图像处理装置。

Claims (27)

1.一种图像处理装置，其能够从由颜色排列具有周期性的多种颜色的像素构成的原图像的数字图像信号生成缩小图像并进行显示，该图像处理装置的特征在于：
具有：
缩小调整大小处理部，其将从单板彩色摄像元件得到的原图像缩小成对应于显示监视器的显示尺寸的图像；以及
颜色再排列数据生成处理部，其根据通过所述缩小调整大小处理部缩小的缩小图像，生成由所述原图像的颜色信息所构成的一种以上的显示用缩小图像。
2.一种图像处理装置，其能够从由颜色排列具有周期性的多种颜色的像素构成的原图像的数字图像信号生成缩小图像并进行显示，该图像处理装置的特征在于：
具有：
缩小调整大小处理部，其将从单板彩色摄像元件得到的原图像缩小成对应于显示监视器的显示尺寸的图像；
颜色再排列数据生成处理部，其根据通过所述缩小调整大小处理部缩小的缩小图像，生成由所述原图像的颜色信息所构成的一种以上的显示用缩小图像；以及
颜色再排列显示数据生成处理部，其根据通过所述颜色再排列数据生成处理部生成的显示用缩小图像，生成能够对应于所述显示监视器的彩色像素排列的一种以上的颜色排列显示数据。
3.根据权利要求1或2所述的图像处理装置，其特征在于：
还具有：
将所述显示用缩小图像从所述颜色再排列数据生成处理部直接输入到显示处理部的数据路径，该显示处理部进行对应于所述显示监视器的显示特性的显示处理；以及
将所述显示用缩小图像从所述颜色再排列数据生成处理部通过存储部输入到所述显示处理部的数据路径，
根据摄影时的动作模式控制所述存储部的存储控制部，选择性地进行将所述显示用缩小图像从所述颜色再排列数据生成处理部直接输入到所述显示处理部、或是将所述显示用缩小图像从所述颜色再排列数据生成处理部通过所述存储部输入到所述显示处理部的图像输入数据路径控制。
4.根据权利要求1到3项中任一项权利要求所述的图像处理装置，其特征在于：
所述缩小调整大小处理部的缩小调整大小处理、以及所述颜色再排列数据生成处理部的颜色再排列数据生成处理，能够在对原图像进行的水平方向处理中实施，并且能够在对原图像进行的垂直方向处理中实施。
5.根据权利要求1到4项中任一项权利要求所述的图像处理装置，其特征在于：
所述缩小调整大小处理部以及所述颜色再排列数据生成处理部：
通过传感器读出方向的行单位的第一缩小调整大小处理对所述原图像仅沿一个方向进行缩小调整大小处理，
并且，根据该仅沿一个方向被缩小调整大小处理后的一个多色排列数据，进行沿与所述第一缩小调整大小处理正交的垂直方向的第二缩小调整大小处理和颜色再排列数据生成处理，生成被二维缩小调整大小处理后的两种多色排列数据，
并且，对所述两种多色排列数据分别进行作为再次的行单位处理的颜色再排列数据生成处理，生成多种多色排列数据。
6.根据权利要求5所述的图像处理装置，其特征在于：
所述缩小调整大小处理部及所述颜色再排列数据生成处理部：
将通过所述第一缩小调整大小处理对所述原图像仅沿水平方向进行缩小调整大小处理后的一种多色排列数据写入到存储装置，
并且，当从所述存储装置读出所述一种多色排列数据时，沿着与写入时的行方向正交的方向以行单位读出，并进行再次的缩小调整大小处理和颜色再排列数据生成处理，生成被二维缩小调整大小处理后的两种颜色排列数据，
并且，对所述两种多色排列数据分别进行作为再次的行单位处理的颜色再排列数据生成处理，生成多种多色排列数据。
7.根据权利要求6所述的图像处理装置，其特征在于：
所述缩小调整大小处理部及所述颜色再排列数据生成处理部一边将通过所述第一缩小调整大小处理对所述原图像仅沿一个方向进行缩小调整大小处理后的一种多色排列数据按每一行写入到由多行构成的行存储器中，一边同时读出多行数据，并从该读出的多行数据上的传感器读出方向成为同一位置的垂直方向的关注多个数据提取出亮度数据和载色数据，进行再次的缩小调整大小处理和颜色再排列数据生成处理，
所述垂直方向的缩小调整大小处理通过进行减少相对于输入行数的输出行的处理，生成被二维缩小调整大小处理后的两种多色排列数据，
所述缩小调整大小处理部及所述颜色再排列数据生成处理部对述两种多色排列数据分别进行作为再次的行单位处理的颜色再排列数据生成处理，生成多种颜色排列数据。
8.根据权利要求1到4项中任一项权利要求所述的图像处理装置，其特征在于：
所述缩小调整大小处理部及所述颜色再排列数据生成处理部：
通过传感器读出方向的行单位处理对所述原图像仅沿一个方向进行缩小调整大小处理并且进行颜色再排列数据生成处理，
并且，根据所述仅沿一个方向被缩小调整大小处理后的两种颜色排列数据，沿与所述传感器读出方向的行单位处理的处理方向正交的方向进行再次的缩小调整大小处理和颜色再排列数据生成处理，生成被二维缩小调整大小处理后的多种颜色排列数据。
9.根据权利要求8所述的图像处理装置，其特征在于：
所述缩小调整大小处理部及所述颜色再排列数据生成处理部：
将通过所述传感器读出方向的行单位处理对所述原图像进行了仅沿水平方向的缩小调整大小处理和颜色再排列数据生成处理后的两种多色排列数据写入到存储装置，
并且，当从所述存储装置读出所述两种多色排列数据时，沿着与写入时的行方向正交的方向以行单位读出，并进行再次的缩小调整大小处理和颜色再排列数据生成处理，生成被二维缩小调整大小处理后的多种颜色排列数据。
10.根据权利要求9所述的图像处理装置，其特征在于：
所述缩小调整大小处理部及所述颜色再排列数据生成处理部一边将通过传感器读出方向的行单位处理对所述原图像仅进行了沿水平方向的缩小调整大小处理和颜色再排列数据生成处理后的两种颜色排列数据按每一行写入到由多行构成的行存储器中，一边同时读出多行数据，并对该读出的多行数据上的传感器读出方向成为同一位置的垂直方向的关注多个数据进行再次的缩小调整大小处理和颜色再排列数据生成处理，
所述垂直方向的缩小调整大小处理通过进行减少相对于输入行数的输出行的处理，生成被二维缩小调整大小处理后的多种颜色排列数据。
11.根据权利要求5到10项中任一项权利要求所述的图像处理装置，其特征在于：
所述缩小调整大小处理部及所述颜色再排列数据生成处理部含有用于进行水平方向缩小调整大小处理及颜色再排列数据生成处理的下述处理部，即：
滤波处理部，其通过传感器读出方向的行单位的行单位处理对所述原图像提取出亮度数据和载色数据；
载色反转复调处理部，其将所述载色数据转换成色差数据；
缩小调整大小处理部，其对所述亮度数据和色差数据独立地进行缩小调整大小；
载色调制处理部，其将通过所述缩小调整大小处理部进行了缩小调整大小后的色差数据按每个像素生成为符号相异的第一载色数据、和符号与该第一载色数据不同的第二载色数据；以及
颜色再排列数据生成处理部，其将所述缩小调整大小后的亮度数据和所述第一载色数据重新合成，生成具有原图像的颜色排列数据的图像，并且将所述缩小调整大小后的亮度数据和所述第二载色数据重新合成，生成具有与原图像相异的颜色排列数据的图像。
12.根据权利要求5到10项中任一项权利要求所述的图像处理装置，其特征在于：
所述缩小调整大小处理部及所述颜色再排列数据生成处理部含有用于进行垂直方向缩小调整大小处理及颜色再排列数据生成处理的下述处理部，即：
滤波处理部，其一边将通过传感器读出方向的行单位处理对所述原图像仅沿水平方向进行了缩小调整大小处理和颜色再排列数据生成处理后的颜色排列数据按每一行写入到由多行构成的行存储器中，一边同时读出多行数据，并从该读出的多行数据上的传感器读出方向成为同一位置的垂直方向的关注多个数据沿垂直方向以行单位提取出亮度数据和载色数据；
垂直方向载色反转解调处理部，其将所述提取出的垂直方向的载色数据转换成垂直方向的色差数据；
垂直方向缩小调整大小处理部，其对所述垂直方向的亮度数据和色差数据独立地进行减少相对于输入行数的输出行的处理，并进行缩小调整大小；
垂直方向色差数据反转调制处理部，其从所述垂直方向的缩小调整大小后的、在垂直方向连续的色差数据按每一行生成符号相异的第一载色数据、和符号与该第一载色数据相异的第二载色数据；以及
颜色再排列数据生成处理部，其将所述缩小调整大小后的亮度数据和所述第一载色数据重新合成，生成具有原图像的颜色排列数据的图像，并且将所述缩小调整大小后的亮度数据和所述第二载色数据重新合成，生成具有与原图像相异的颜色排列数据的图像。
13.根据权利要求1到12项中任一项权利要求所述的图像处理装置，其特征在于：
所述原图像是利用下述单板彩色摄像元件取得的图像，该单板彩色摄像元件具有颜色通过原色过滤器被周期性地排列的多种颜色的像素。
14.一种图像处理方法，其能够从由颜色排列具有周期性的多种颜色的像素构成的原图像的数字图像信号生成缩小图像并进行显示，该图像处理方法的特征在于：
具有：
缩小调整大小处理步骤，其将从单板彩色摄像元件得到的原图像缩小成对应于显示监视器的显示尺寸的图像；以及
颜色再排列数据生成处理步骤，其根据通过所述缩小调整大小处理步骤缩小的缩小图像，生成由所述原图像的颜色信息所构成的一种以上的显示用缩小图像。
15.一种图像处理方法，其能够从由颜色排列具有周期性的多种颜色的像素构成的原图像的数字图像信号生成缩小图像并进行显示，该图像处理方法的特征在于：
具有：
缩小调整大小处理步骤，其将从单板彩色摄像元件得到的原图像缩小成对应于显示监视器的显示尺寸的图像；
颜色再排列数据生成处理步骤，其根据通过所述缩小调整大小处理步骤缩小的缩小图像，生成由所述原图像的颜色信息所构成的一种以上的显示用缩小图像；以及
颜色再排列显示数据生成处理步骤，其根据通过所述颜色再排列数据生成处理步骤生成的显示用缩小图像，生成能够对应于所述显示监视器的彩色像素排列的一种以上的颜色排列显示数据。
16.根据权利要求14或15所述的图像处理方法，其特征在于：
根据摄影时的动作模式，对下述进行选择性地切换，即：
将所述显示用缩小图像从所述颜色再排列数据生成处理步骤直接输入到显示处理部，该显示处理部进行对应于所述显示监视器的显示特性的显示处理；或
将所述显示用缩小图像从所述颜色再排列数据生成处理步骤通过存储部输入到所述显示处理部。
17.根据权利要求14到16项中任一项权利要求所述的图像处理方法，其特征在于：
所述缩小调整大小处理步骤的缩小调整大小处理、以及所述颜色再排列数据生成处理步骤的颜色再排列数据生成处理，能够在对原图像进行的水平方向处理中实施，并且能够在对原图像进行的垂直方向处理中实施。
18.根据权利要求14到17项中任一项权利要求所述的图像处理方法，其特征在于：
所述缩小调整大小处理步骤以及所述颜色再排列数据生成处理步骤：
通过传感器读出方向的行单位的第一缩小调整大小处理对所述原图像仅沿一个方向进行缩小调整大小处理，
并且，根据该仅沿一个方向被缩小调整大小处理后的一个多色排列数据，进行沿与所述第一缩小调整大小处理正交的垂直方向的第二缩小调整大小处理和颜色再排列数据生成处理，生成被二维缩小调整大小处理后的两种多色排列数据，
并且，对所述两种多色排列数据分别进行作为再次的行单位处理的颜色再排列数据生成处理，生成多种多色排列数据。
19.根据权利要求18所述的图像处理方法，其特征在于：
所述缩小调整大小处理步骤及所述颜色再排列数据生成处理步骤：
将通过所述第一缩小调整大小处理对所述原图像仅沿水平方向进行缩小调整大小处理后的一种多色排列数据写入到存储装置，
并且，当从所述存储装置读出所述一种多色排列数据时，沿着与写入时的行方向正交的方向以行单位读出，并进行再次的缩小调整大小处理和颜色再排列数据生成处理，生成被二维缩小调整大小处理后的两种颜色排列数据，
并且，对所述两种多色排列数据分别进行作为再次的行单位处理的颜色再排列数据生成处理，生成多种多色排列数据。
20.根据权利要求19所述的图像处理方法，其特征在于：
所述缩小调整大小处理步骤及所述颜色再排列数据生成处理步骤一边将通过所述第一缩小调整大小处理对所述原图像仅沿一个方向进行缩小调整大小处理后的一种多色排列数据按每一行写入到由多行构成的行存储器中，一边同时读出多行数据，并从该读出的多行数据上的传感器读出方向成为同一位置的垂直方向的关注多个数据提取出亮度数据和载色数据，进行再次的缩小调整大小处理和颜色再排列数据生成处理，
所述垂直方向的缩小调整大小处理通过进行减少相对于输入行数的输出行的处理，生成被二维缩小调整大小处理后的两种多色排列数据，
所述缩小调整大小处理步骤及所述颜色再排列数据生成处理步骤对述两种多色排列数据分别进行作为再次的行单位处理的颜色再排列数据生成处理，生成多种颜色排列数据。
21.根据权利要求14到17项中任一项权利要求所述的图像处理方法，其特征在于：
所述缩小调整大小处理步骤及所述颜色再排列数据生成处理步骤：
通过传感器读出方向的行单位处理对所述原图像仅沿一个方向进行缩小调整大小处理并且进行颜色再排列数据生成处理，
并且，根据所述仅沿一个方向被缩小调整大小处理后的两种颜色排列数据，沿与所述传感器读出方向的行单位处理的处理方向正交的方向进行再次的缩小调整大小处理和颜色再排列数据生成处理，生成被二维缩小调整大小处理后的多种颜色排列数据。
22.根据权利要求21所述的图像处理方法，其特征在于：
所述缩小调整大小处理步骤及所述颜色再排列数据生成处理步骤：
将通过所述传感器读出方向的行单位处理对所述原图像进行了仅沿水平方向的缩小调整大小处理和颜色再排列数据生成处理后的两种多色排列数据写入到存储装置，
并且，当从所述存储装置读出所述两种多色排列数据时，沿着与写入时的行方向正交的方向以行单位读出，并进行再次的缩小调整大小处理和颜色再排列数据生成处理，生成被二维缩小调整大小处理后的多种颜色排列数据。
23.根据权利要求22所述的图像处理方法，其特征在于：
所述缩小调整大小处理步骤及所述颜色再排列数据生成处理步骤一边将通过传感器读出方向的行单位处理对所述原图像仅进行了沿水平方向的缩小调整大小处理和颜色再排列数据生成处理后的两种颜色排列数据按每一行写入到由多行构成的行存储器中，一边同时读出多行数据，并对该读出的多行数据上的传感器读出方向成为同一位置的垂直方向的关注多个数据进行再次的缩小调整大小处理和颜色再排列数据生成处理，
所述垂直方向的缩小调整大小处理通过进行减少相对于输入行数的输出行的处理，生成被二维缩小调整大小处理后的多种颜色排列数据。
24.根据权利要求18到23项中任一项权利要求所述的图像处理方法，其特征在于：
所述缩小调整大小处理步骤及所述颜色再排列数据生成处理步骤含有用于进行水平方向缩小调整大小处理及颜色再排列数据生成处理的下述处理步骤，即：
滤波处理步骤，其通过传感器读出方向的行单位的行单位处理对所述原图像提取出亮度数据和载色数据；
载色反转复调处理步骤，其将所述载色数据转换成色差数据；
缩小调整大小处理步骤，其对所述亮度数据和色差数据独立地进行缩小调整大小；
载色调制处理步骤，其将通过所述缩小调整大小处理步骤进行了缩小调整大小后的色差数据按每个像素生成为符号相异的第一载色数据、和符号与该第一载色数据不同的第二载色数据；以及
颜色再排列数据生成处理步骤，其将所述缩小调整大小后的亮度数据和所述第一载色数据重新合成，生成具有原图像的颜色排列数据的图像，并且将所述缩小调整大小后的亮度数据和所述第二载色数据重新合成，生成具有与原图像相异的颜色排列数据的图像。
25.根据权利要求18到23项中任一项权利要求所述的图像处理方法，其特征在于：
所述缩小调整大小处理步骤及所述颜色再排列数据生成处理步骤含有用于进行垂直方向缩小调整大小处理及颜色再排列数据生成处理的下述处理步骤，即：
滤波处理步骤，其一边将通过传感器读出方向的行单位处理对所述原图像仅沿水平方向进行了缩小调整大小处理和颜色再排列数据生成处理后的颜色排列数据按每一行写入到由多行构成的行存储器中，一边同时读出多行数据，并从该读出的多行数据上的传感器读出方向成为同一位置的垂直方向的关注多个数据沿垂直方向以行单位提取出亮度数据和载色数据；
垂直方向载色反转解调处理步骤，其将所述提取出的垂直方向的载色数据转换成垂直方向的色差数据；
垂直方向缩小调整大小处理步骤，其对所述垂直方向的亮度数据和色差数据独立地进行减少相对于输入行数的输出行的处理，并进行缩小调整大小；
垂直方向色差数据反转调制处理步骤，其从所述垂直方向的缩小调整大小后的、在垂直方向连续的色差数据按每一行生成符号相异的第一载色数据、和符号与该第一载色数据相异的第二载色数据；以及
颜色再排列数据生成处理步骤，其将所述缩小调整大小后的亮度数据和所述第一载色数据重新合成，生成具有原图像的颜色排列数据的图像，并且将所述缩小调整大小后的亮度数据和所述第二载色数据重新合成，生成具有与原图像相异的颜色排列数据的图像。
26.根据权利要求14到25项中任一项权利要求所述的图像处理方法，其特征在于：
所述原图像是利用下述单板彩色摄像元件取得的图像，该单板彩色摄像元件具有颜色通过原色过滤器被周期性地排列的多种颜色的像素。
27.一种数码相机，其特征在于安装有如权利要求1到13中任一项权利要求所述的图像处理装置。
CN201280026584.9A 2011-06-08 2012-05-28 图像处理装置及图像处理方法以及数码相机 Active CN103563359B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-128122 2011-06-08
JP2011128122 2011-06-08
PCT/JP2012/003473 WO2012169140A1 (ja) 2011-06-08 2012-05-28 画像処理装置及び画像処理方法並びにデジタルカメラ

Publications (2)

Publication Number Publication Date
CN103563359A true CN103563359A (zh) 2014-02-05
CN103563359B CN103563359B (zh) 2016-11-09

Family

ID=47295732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280026584.9A Active CN103563359B (zh) 2011-06-08 2012-05-28 图像处理装置及图像处理方法以及数码相机

Country Status (4)

Country Link
US (1) US9386287B2 (zh)
JP (1) JP5853166B2 (zh)
CN (1) CN103563359B (zh)
WO (1) WO2012169140A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014160958A (ja) * 2013-02-20 2014-09-04 Canon Inc 信号処理装置、その制御方法、および制御プログラム
CN110266908A (zh) * 2015-05-29 2019-09-20 佳能株式会社 图像传感器和摄像装置
CN112262571A (zh) * 2018-06-12 2021-01-22 麦克赛尔新领域株式会社 图像处理装置和摄像装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5845464B2 (ja) * 2011-05-31 2016-01-20 パナソニックＩｐマネジメント株式会社 画像処理装置及び画像処理方法並びにデジタルカメラ
CN108650516A (zh) * 2012-07-09 2018-10-12 株式会社尼康 压缩装置、图像压缩装置及拍摄装置
US9432582B2 (en) * 2013-01-04 2016-08-30 Canon Kabushiki Kaisha Image signal processing apparatus and a control method thereof, and an image pickup apparatus and a control method thereof
WO2015040892A1 (ja) * 2013-09-20 2015-03-26 シャープ株式会社 表示装置
JP2016046777A (ja) * 2014-08-26 2016-04-04 キヤノン株式会社 画像処理装置及び該装置の制御方法、並びにプログラム
KR20160032587A (ko) * 2014-09-16 2016-03-24 삼성전자주식회사 영상 촬영 장치 및 이의 촬영 방법
CN104243827A (zh) * 2014-09-23 2014-12-24 深圳市中兴移动通信有限公司 拍摄方法和装置
DE102015216115B4 (de) * 2015-08-24 2023-08-10 Siemens Healthcare Gmbh Verfahren und System zum Bestimmen eines Triggersignals
JP6702792B2 (ja) * 2016-05-02 2020-06-03 キヤノン株式会社 画像処理装置およびその制御方法
US10366674B1 (en) 2016-12-27 2019-07-30 Facebook Technologies, Llc Display calibration in electronic displays

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000224604A (ja) * 1999-01-29 2000-08-11 Fuji Photo Film Co Ltd 画像処理装置
JP2000224490A (ja) * 1999-02-03 2000-08-11 Fuji Photo Film Co Ltd 撮像制御装置および撮像制御方法
US20030231247A1 (en) * 2002-06-18 2003-12-18 Olympus Optical Co., Ltd. Imaging apparatus
CN1663285A (zh) * 2002-06-18 2005-08-31 诺基亚公司 图像处理装置及方法、图象输出装置以及利用了它们的数字照相机装置及便携信息终端
JP2006060449A (ja) * 2004-08-19 2006-03-02 Sony Corp 撮像装置および撮像方法、プログラム、並びに記録媒体
JP2006180108A (ja) * 2004-12-21 2006-07-06 Fuji Film Microdevices Co Ltd デジタルカメラ
CN101184143A (zh) * 2006-11-09 2008-05-21 松下电器产业株式会社 图像处理器和图像处理方法
CN101540841A (zh) * 2008-03-19 2009-09-23 卡西欧计算机株式会社 摄像装置、图像处理装置及图像处理方法
CN101547370A (zh) * 2008-03-28 2009-09-30 精工爱普生株式会社 图像处理装置、图像处理方法和用于实现图像处理的程序
WO2010016166A1 (ja) * 2008-08-04 2010-02-11 パナソニック株式会社 撮像装置、画像処理方法、画像処理プログラム及び半導体集積回路

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4136255B2 (ja) 2000-02-29 2008-08-20 キヤノン株式会社 画像処理装置及びその方法
JP5108172B2 (ja) 2000-09-06 2012-12-26 株式会社ニコン 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体
JP4096626B2 (ja) 2002-05-29 2008-06-04 富士フイルム株式会社 画像処理方法及び画像処理プログラム
JP2004241813A (ja) 2003-02-03 2004-08-26 Fuji Photo Film Co Ltd 撮像装置およびデジタル画像処理方法
JP2004356974A (ja) 2003-05-29 2004-12-16 Matsushita Electric Ind Co Ltd 撮像信号処理装置
JP2005115598A (ja) 2003-10-07 2005-04-28 Konica Minolta Holdings Inc 画像処理方法及び画像処理装置
US7920200B2 (en) 2005-06-07 2011-04-05 Olympus Corporation Image pickup device with two cylindrical lenses
JP4596986B2 (ja) 2005-06-07 2010-12-15 オリンパス株式会社 画像撮像装置
JP2007096677A (ja) 2005-09-28 2007-04-12 Nikon Corp 画像処理装置、撮像装置および画像処理プログラム
JP4840967B2 (ja) 2005-12-01 2011-12-21 キヤノン株式会社 撮像装置及び画像処理方法及びプログラム及び記憶媒体
JP2008028956A (ja) 2006-07-25 2008-02-07 Fujifilm Corp 撮像装置、および、撮像装置における対象物検出用画像信号の生成方法
JP4925271B2 (ja) 2006-08-21 2012-04-25 株式会社メガチップス 一眼レフデジタルカメラにおける連続撮像方法
JP5084430B2 (ja) * 2006-11-02 2012-11-28 ペンタックスリコーイメージング株式会社 撮像ユニット
JP4881802B2 (ja) 2007-07-03 2012-02-22 キヤノン株式会社 画像再生装置及びその制御方法
JP5095434B2 (ja) 2008-02-08 2012-12-12 株式会社リコー 撮像装置および画像処理装置
JP5525703B2 (ja) 2008-07-10 2014-06-18 オリンパス株式会社 画像再生表示装置
JP2010068331A (ja) 2008-09-11 2010-03-25 Ricoh Co Ltd 撮像装置および撮像方法
JP5108802B2 (ja) 2009-02-03 2012-12-26 富士フイルム株式会社 撮像装置及びそのスルー画像表示方法
JP5845464B2 (ja) * 2011-05-31 2016-01-20 パナソニックＩｐマネジメント株式会社 画像処理装置及び画像処理方法並びにデジタルカメラ

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000224604A (ja) * 1999-01-29 2000-08-11 Fuji Photo Film Co Ltd 画像処理装置
US6867803B1 (en) * 1999-01-29 2005-03-15 Fuji Photo Film Co., Ltd. Image processing unit
US6819359B1 (en) * 1999-02-03 2004-11-16 Fuji Photo Film Co., Ltd. Method and apparatus for controlling the processing of signals containing defective pixels in accordance with imaging operation mode
JP2000224490A (ja) * 1999-02-03 2000-08-11 Fuji Photo Film Co Ltd 撮像制御装置および撮像制御方法
CN1663285A (zh) * 2002-06-18 2005-08-31 诺基亚公司 图像处理装置及方法、图象输出装置以及利用了它们的数字照相机装置及便携信息终端
JP2004023518A (ja) * 2002-06-18 2004-01-22 Olympus Corp 撮像装置
US20030231247A1 (en) * 2002-06-18 2003-12-18 Olympus Optical Co., Ltd. Imaging apparatus
JP2006060449A (ja) * 2004-08-19 2006-03-02 Sony Corp 撮像装置および撮像方法、プログラム、並びに記録媒体
JP2006180108A (ja) * 2004-12-21 2006-07-06 Fuji Film Microdevices Co Ltd デジタルカメラ
CN101184143A (zh) * 2006-11-09 2008-05-21 松下电器产业株式会社 图像处理器和图像处理方法
CN101540841A (zh) * 2008-03-19 2009-09-23 卡西欧计算机株式会社 摄像装置、图像处理装置及图像处理方法
CN101547370A (zh) * 2008-03-28 2009-09-30 精工爱普生株式会社 图像处理装置、图像处理方法和用于实现图像处理的程序
WO2010016166A1 (ja) * 2008-08-04 2010-02-11 パナソニック株式会社 撮像装置、画像処理方法、画像処理プログラム及び半導体集積回路

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014160958A (ja) * 2013-02-20 2014-09-04 Canon Inc 信号処理装置、その制御方法、および制御プログラム
CN110266908A (zh) * 2015-05-29 2019-09-20 佳能株式会社 图像传感器和摄像装置
CN112262571A (zh) * 2018-06-12 2021-01-22 麦克赛尔新领域株式会社 图像处理装置和摄像装置
CN112262571B (zh) * 2018-06-12 2022-06-24 麦克赛尔新领域株式会社 图像处理装置和摄像装置

Also Published As

Publication number Publication date
CN103563359B (zh) 2016-11-09
US20140078338A1 (en) 2014-03-20
WO2012169140A1 (ja) 2012-12-13
JPWO2012169140A1 (ja) 2015-02-23
JP5853166B2 (ja) 2016-02-09
US9386287B2 (en) 2016-07-05

Similar Documents

Publication Publication Date Title
CN103563350B (zh) 图像处理装置、图像处理方法以及数码相机
CN103563359A (zh) 图像处理装置及图像处理方法以及数码相机
CN102090067B (zh) 摄像装置、图像处理方法、图像处理程序及半导体集成电路
KR101691551B1 (ko) 촬상장치 및 방법
US8878951B2 (en) Image processing apparatus and method of controlling the same
CN101494797B (zh) 摄像装置及摄像方法
US9961272B2 (en) Image capturing apparatus and method of controlling the same
CN102542546B (zh) 图像合成处理装置及图像合成处理方法
JP5601407B2 (ja) 画像分類プログラム、画像分類装置および電子カメラ
CN102244731A (zh) 电子机器
JP2007281546A (ja) 撮像装置，及び撮像方法
CN102447912A (zh) 图像处理装置、白平衡校正方法以及摄像装置
CN104025583B (zh) 图像处理装置、方法及摄像装置
JP4817529B2 (ja) 撮像装置及び画像処理方法
JPH11298784A (ja) 電子カメラおよびその動作制御方法ならびにアニメーションｇｉｆ生成装置および方法
JP2003189171A (ja) 画像処理装置及び方法及び制御プログラム及び記録媒体
JP2014049882A (ja) 撮像装置
CN105794193A (zh) 图像处理设备、图像处理方法和程序
JP2014103644A (ja) 撮像装置、画像処理装置及び色補正方法
JP5030721B2 (ja) データ処理回路
JP2017028466A (ja) 撮像装置及びその制御方法、プログラム
JP2023073618A (ja) 同期コードを有した固体撮像装置
JP2007037051A (ja) 撮像装置及びその制御方法
JP2005167862A (ja) 撮像装置および点順次画像データ再生装置ならびにそれらの制御方法
JP2001069516A (ja) カラー撮像装置およびそれを用いたデジタルスチルカメラ

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150922

Address after: Japan Osaka

Applicant after: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200601

Address after: Kyoto Japan

Patentee after: Panasonic semiconductor solutions Co.,Ltd.

Address before: Osaka Prefecture, Japan

Patentee before: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.