CN103563350B - 图像处理装置、图像处理方法以及数码相机 - Google Patents

图像处理装置、图像处理方法以及数码相机 Download PDF

Info

Publication number
CN103563350B
CN103563350B CN201280026606.1A CN201280026606A CN103563350B CN 103563350 B CN103563350 B CN 103563350B CN 201280026606 A CN201280026606 A CN 201280026606A CN 103563350 B CN103563350 B CN 103563350B
Authority
CN
China
Prior art keywords
image
downscaled images
data
line
reduced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280026606.1A
Other languages
English (en)
Other versions
CN103563350A (zh
Inventor
秦野敏信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuvoton Technology Corp Japan
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN103563350A publication Critical patent/CN103563350A/zh
Application granted granted Critical
Publication of CN103563350B publication Critical patent/CN103563350B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/70—Circuits for processing colour signals for colour killing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours

Abstract

本发明的数码相机中具有：水平尺寸缩小调整部(301)，其对来自单板彩色摄像元件的RAW图像，在输入行方向上缩小到与动态图像记录用尺寸对应的图像；存储器部(303)，其容纳被水平尺寸调整后的图像数据；多个垂直尺寸缩小调整部(304、306、308)，其由从所述存储器部(303)读出的多个缩小行数据起在与输入行方向正交的垂直方向上进行尺寸缩小调整；以及水平尺寸缩小调整部(310、312)，其对在水平方向以及垂直方向上经尺寸缩小调整后的多个图像再次在输入行方向上缩小为与显示用尺寸、脸检测用尺寸对应的图像。

Description

图像处理装置、图像处理方法以及数码相机
技术领域
本发明涉及图像处理装置、图像处理方法以及数码相机，适于在由从单板彩色摄像元件得到的原始图像生成多个缩小图像并进行图像处理时实现高速、节电的图像识别以及反馈动作。
背景技术
近年来，在搭载了大规格尺寸的摄像元件的单镜头数码相机中，未搭载光学取景器和可动反射镜的单镜头数码相机受到关注。无反射镜的单镜头数码相机的特征在于，一边在液晶监视器确认摄影被摄体一边实施构图决定，能使用摄像元件的输出数据来实施自动焦点控制和自动曝光控制从而进行静态图像摄影或动态图像摄影，这在普及型的数码相机或便携式相机中也成为一种标准的摄影方法。
如前述那样，一般的数码相机搭载了专用的液晶监视器，一边在液晶监视器确认摄影被摄体一边实施构图决定，同时实施脸识别和运动识别等来自动调整特定区域的曝光和对焦，从而进行静态图像摄影或动态图像摄影。
在以这样的数码相机为代表的摄像装置中，为了拍摄彩色图像而在摄像元件上设置分色过滤器。例如，在拜耳(Bayer)方式的分色过滤器中，与摄像元件的像素对应地将R(红)、G(绿)、B(蓝)的原色过滤器配置成方格模样。即，在拜耳排列中，在像素排列中的传感器读出方向以及垂直方向的两个方向，每隔1个像素排列相同颜色分量的过滤器。通过这样的分色过滤器而拍摄的成为摄像元件输出的图像数据为了通过图像处理来再现被摄体的颜色，因而在输入前级处理中，需要保持拜耳排列来进行处置。
在由从摄像元件输出的大尺寸原始图像生成并处理显示用的小尺寸图像未进行显示时，一边以原始图像为基础来进行动态范围调整并取白平衡，一边对各像素进行得到R／G／B的信息这样的同步处理，之后，经过变换为一般所处理的Y／Cr／Cb的数据型的彩色图像处理，实施尺寸缩小调整(compression-resize)处理使之符合液晶监视器的显示尺寸，实施符合监视器特性的显示处理来显示在专用监视器上。
图9表示一般数码相机的内部信号处理块的概念图。
在图9中，穿过光学透镜11的被摄体的光学像在摄像元件面成像，并从摄像元件输出。单板式摄像元件的原始图像(1面)即拜耳排列的RAW图像数据101用前处理部102实施DC大小调整、增益调整等，在经由存储器控制部107而临时写入存储器部108后，在下一处理中经由存储器控制部107从存储器部108读出并输入到图像信号处理部109。在图像信号处理部109中，进行从拜耳排列的RAW图像变换为Y／Cr／Cb的数据型的图像信号处理。在图像信号处理部109中，为了变换为Y／Cr／Cb的数据型的图像并缩小为显示用图像尺寸，因而实施尺寸缩小调整处理来生成期望的显示尺寸图像。被生成的显示尺寸的Y／Cr／Cb的数据型图像经由存储器控制部107而再次被写入到存储器部108。
另外，与此同时，在图像信号处理部109中，为了在变换为Y／Cr／Cb的数据型的图像后缩小为脸检测用图像尺寸，对亮度信号Y实施尺寸缩小调整处理来生成期望的脸检测用的亮度图像数据。经由存储器控制部107写入到存储器部108的脸检测用尺寸的亮度信号Y的数据型图像由脸检测处理部106再次经由存储器控制部107而从存储器部108适当读出，提取图像内的脸的位置、大小等脸信息，将该提取结果信息经由存储器控制部107写入到存储器部108。CPU114经由存储器控制部107读出写入到存储器部108的脸检测信息，由脸检测信息变换为表示脸位置的显示信息，生成显示数据并写入到存储器部108。同时，CPU114以脸识别信息为基础来自动调整特定区域的曝光、对焦。
写入到所述存储器部108的显示尺寸的Y／Cr／Cb的数据型图像，再次经由存储器控制部107而从存储器部108读出，并被输入到显示处理部117。此时，表示所述脸位置的显示信息也同时被从存储器部108读出并被输入到显示处理部117。
被输入到显示处理部117的Y／Cr／Cb的数据型图像和表示脸位置的显示信息在显示处理部117被变换为符合监视器118的监视器的特性的数据规格，并被输出到监视器118，进行显示。
另外，在进行标准化的尺寸下的动态图像记录的情况下，与所述相同，在将原始图像101用图像信号处理部109变换为Y／Cr／Cb的数据型的图像后，用图像信号处理&尺寸缩小调整处理部109实施尺寸缩小调整处理来生成期望的动态图像记录尺寸图像。生成的动态图像记录尺寸的Y／Cr／Cb的数据型图像经由存储器控制部107而再次被写入到存储器部108。写入到存储器部108的动态图像记录尺寸的Y／Cr／Cb的数据型图像再次经由存储器控制部107从存储器部108读出，并被输入到压缩解压部110。输入到压缩解压部110的Y／Cr／Cb的数据型图像使用MJPEG或MPEG、H264等动态图像编码格式进行数据压缩，并再次经由存储器控制部107写入到存储器部108。压缩的动态图像数据再次经由存储器控制部107而从存储器部108被读出，并经由记录媒介接口111写入到记录媒介112。
关于所述的数码相机的内部信号处理，在图10示出进行以RAW图像数据的输入为起点的一系列的流水线处理的样子。
在图10中，在输入拜耳排列的RAW图像数据101的第1帧期间，用前处理部102实施DC大小调整、增益调整等，将其处理结果经由存储器控制部107临时写入到存储器部108后，在第2帧期间的处理中经由存储器控制部107将其读出，并输入到图像信号处理部109，进行从RAW图像变换为Y／Cr／Cb的数据型的图像信号处理。
在所述第2帧期间，由图像信号处理&尺寸缩小调整处理部109实施尺寸缩小调整处理来生成期望的显示尺寸图像和脸检测用亮度图像数据。该生成的显示尺寸的Y／Cr／Cb的数据型图像和脸检测用亮度图像数据经由存储器控制部107再次被写入到存储器部108。
接下来，在第3帧期间，经由存储器控制部107由脸检测处理部106再次经由存储器控制部107从存储器部108适宜读出脸检测用的亮度图像数据，提取图像内的脸的位置、大小等脸信息，将其提取结果信息经由存储器控制部107写入到存储器部108。
之后，在第4帧期间，CPU114经由存储器控制部107读出写入到存储器部108的脸提取结果信息，将表示其脸位置的脸提取结果信息变换为显示信息数据并写入到存储器部108。同时，CPU114开始用于以脸识别信息为基础自动调整特定区域的曝光、对焦、画质调整的反馈控制。
如以上那样，在图9以及图10所示的图像处理中，进行如下信号处理：在摄影时一边在液晶监视器确认摄影被摄体一边实施构图决定时，在将缩小的1个种类的RGB拜耳排列的RAW数据临时取入到存储器后，在经过变换为Y／Cr／Cb的数据型的彩色显影图像处理而再次取入到存储器的工序中，分别实施尺寸缩小调整处理而调整为动态图像记录用、脸检测用以及显示用监视器的各尺寸，并写入到存储器部，再次从存储器部读出来实施动态图像压缩处理、脸检测处理以及显示处理。
一般，在甚至还要确认画面内的细节部分的再现性的情况下，需要处置大尺寸的图像，但在进行摄影时使用了液晶监视器的被摄体的摄影构图的确认、明亮度、颜色程度、或飞白等确认的情况下，或通过脸检测识别脸位置和大小的情况下，即使不使用那么大的图像，也能用小的图像进行充分确认以及检测识别。另外，最近，摄像元件的高像素化和高速读出处理技术在不断进展，由于有时进行被称作小RAW的小于原始图像的图像记录模式时的摄影、以HD电影为代表的尺寸被标准化的动态图像摄影，因此，如已经叙述的那样，若在通过处理的前阶段缩小RAW图像的基础上进行显示处理、脸识别处理和记录处理，则能省略在后处理的冗余处理，能大幅缩短处理时间并能达成系统的节电动作。
另外，关于现有的通过在前处理对RGB的RAW图像进行尺寸缩小调整的技术，例如在专利文献1～3中公开了如下方法：在对作为原始图像的RGB的RAW数据进行调整大小时，在最初的处理中颜色分离为独立R、G、B数据，或通过同色像素的混合来进行间取。
在先技术文献
专利文献
专利文献1：JP特开2003—346143号公报
专利文献2：JP特开2001—245141号公报
专利文献3：JP特开2002—84547号公报
发明的概要
发明要解决的课题
但是，在所述图9以及图10所示的现有的信号处理中存在课题。即，在进行了将任意1个种类的RAW图像变换为Y／Cr／Cb的数据型的信号处理后，因进行多个尺寸的缩小图像处理这一点而引起下面2个课题存在。
(1)由于在对大尺寸的RAW图像数据在保持其大尺寸不变的情况下进行图像信号处理而变换的Y／Cr／Cb被临时写入到存储器后，读出来实施缩小图像处理，因此伴随存储器访问，从而在监视器模式显示中发生帧延迟，并且有可能会因帧单位的流水线处理引起的帧延迟，而对被摄体的运动错过实时的显示或静态图像摄影时的快门时机。进而，脸检测处理也发生帧延迟，在图10中，将输入拜耳排列的RAW图像数据101的帧期间设为第1帧期间并在第3帧期间进行脸检测处理，因此使得脸检测的反馈处理延迟。特别在一边确认摄影被摄体一边实施构图决定的监视器模式的状态以及动态图像记录模式下，在被摄体的人物移动的情况下，脸检测结果的反馈处理的特定区域位置设定中会产生偏离。
(2)尺寸缩小调整(compression-resize)处理是减少记录图像数的处理，若极力在图像处理的前级实施，则虽然能削减在后级处理中的存储器访问量，但如现有技术那样在变换为Y／Cr／Cb的数据型后实施尺寸缩小调整的情况下，此时间取而被舍弃的数据向Y／Cr／Cb的数据型的变换处理就成为了冗余处理。另外，该向Y／Cr／Cb的数据型的变换处理由于经由存储缓冲器而被处理，因此还与图像尺寸对应的处理量成正比地伴随I／O缓冲器的电力消耗，在节电观点上效率也差。
另外，在专利文献1～3中，公开了摄像元件的高像素化和应对动态图像记录的高速读出处理技术不断进展，在处理的前阶段进行缩小RAW图像的处理，但关于在前处理中同时生成在后处理需要的多个缩小图像方法，则没有任何的公开。
如以上那样，在数码相机的摄影中，在一边在液晶监视器上确认摄影被摄体一边实施构图决定，并同时一边进行脸识别等各种识别动作一边实施实时的自动对焦(AF)和自动曝光(AE)等动态图像记录模式的状态下，经由存储缓冲器的向Y／Cr／Cb的数据型的变换处理、和成为在后处理的多个图像缩小处理成为了冗余处理，且这成为监视器显示以及图像识别等的帧延迟的主要原因。进而，由于是摄像装置内部的几乎全部处理功能动作的监视器模式和动态图像模式下的处理，因此在后处理中发生的冗余处理在节电观点上效率非常差。
发明内容
本发明鉴于上述状况而提出，其目的在于，在图像处理装置中，在输入原始图像的帧时间内，在前处理进行由从摄像元件输出的大尺寸RAW原始图像直接向多个小尺寸的RAW图像的缩小处理，一边抑制在后处理中的冗余处理的产生，例如一边以最小的帧延迟显示数码相机中的基于脸检测的各种图像识别结果，一边进行AF、AE的反馈控制，能实现高速、节电的数码相机的视觉辨识动作、画质调整动作以及记录动作。
用于解决课题的手段
为了达成所述目的，技术方案1记载的发明的图像处理装置是一种在摄像装置中使用的图像处理装置，该摄像装置由被从摄像元件输出且由具有颜色排列的周期性的多色像素构成的原始图像，生成静态图像以及运动图像的至少一方并记录，所述图像处理装置具有：前处理部，其对来自所述摄像元件的原始图像进行多个缩小图像的生成处理；存储器部，其经由存储器控制部暂时保持由所述前处理部进行生成处理的多个缩小图像；脸信息检测部，其对从所述存储器部读出的任意1个缩小图像，经由所述存储器控制部来检测脸信息；和中央运算处理部，其基于由所述脸信息检测部检测出的脸信息来进行特定区域的对焦控制以及曝光控制的至少一方，所述前处理部具有：第1水平尺寸缩小调整处理部，其将来自所述摄像元件的原始图像在输入行方向上缩小为任意尺寸的图像，并暂时容纳在所述存储器部中；多个垂直尺寸缩小调整处理部，其从所述存储器部读出被所述第1水平尺寸缩小调整处理部在输入行方向上缩小后的缩小图像，并将该所读出的缩小图像在与输入行方向正交的垂直方向上缩小为任意尺寸；和多个第2水平尺寸缩小调整处理部，其将由所述垂直尺寸缩小调整处理部得到的在水平方向以及垂直方向上被尺寸缩小调整处理后的多个缩小图像，再次在输入行方向上缩小为任意的尺寸。
技术方案2记载的发明在技术方案1记载的图像处理装置的基础上，特征在于，在所述前处理部生成n(其中n为4以上的整数。)个种类的缩小图像时，所述第1水平尺寸缩小调整处理部，以比率K1缩小为所生成的多个缩小图像中水平图像尺寸最大的缩小图像的水平缩小尺寸，所述多个垂直尺寸缩小调整处理部中的1个，以所述比率K1在垂直方向上对以所述比率K1在输入行方向上被缩小了的缩小图像进行缩小，另外1个垂直尺寸缩小调整处理部，以比率K2在垂直方向上对以所述比率K1在输入行方向上被缩小了的缩小图像进行缩小，再另外1个垂直尺寸缩小调整处理部，以比率K3在垂直方向上对以所述比率K1在输入行方向上被缩小了的缩小图像进行缩小，再剩余的n3个垂直尺寸缩小调整处理部，以比率Kn在垂直方向上对以所述比率K1在输入行方向上被缩小了的缩小图像进行缩小，所述多个第2水平尺寸缩小调整处理部具备n-1个，所述n1个第2水平尺寸缩小调整处理部中的1个，以成为K1＊M2=K2的系数M2在输入行方向上对以比率K2在所述垂直方向上被缩小了的缩小图像进行缩小，另外1个第2水平尺寸缩小调整处理部，以成为K1＊M3＝K3的系数M3在输入行方向上对以比率K3在所述垂直方向上被缩小了的缩小图像进行缩小，再剩余的n-3个第2水平尺寸缩小调整处理部，以成为K1＊Mn＝Kn的系数Mn在输入行方向上对以比率Kn在所述垂直方向上被缩小了的缩小图像进行缩小。
技术方案3记载的发明在技术方案1或2记载的图像处理装置的基础上，特征在于，所述前处理部，在从所述原始图像生成脸检测用的缩小图像时，实施输入行方向的彩色载波去除处理、和与所述输入行方向正交的垂直方向的彩色载波去除处理，来生成不具有彩色载波分量的亮度信号分量的缩小图像。
技术方案4记载的发明在技术方案1～3的任一项记载的图像处理装置的基础上，特征在于，所述前处理部所生成的多个缩小图像中、水平图像尺寸最大的图像，是高清规格的动态图像记录用的图像，其它的缩小图像，是显示用图像、脸识别等图像识别用图像。
技术方案5记载的发明在技术方案1～4的任一项记载的图像处理装置的基础上，特征在于，所述原始图像，是使用单板彩色摄像元件取得的图像，该单板彩色摄像元件具有通过原色过滤器而被周期性地进行颜色排列的多色像素。
技术方案6记载的发明在技术方案1～5的任一项记载的图像处理装置的基础上，特征在于，所述前处理部，在将所述原始图像输入到本图像处理装置的第1帧期间进行多个缩小图像的生成处理，所述脸信息检测部，在紧接所述第1帧期间的第2帧期间检测脸信息。
技术方案7记载的发明的图像处理方法是一种在摄影装置中使用的图像处理方法，所述摄像装置由被从摄像元件输出且由具有颜色排列的周期性的多色像素构成的原始图像，生成静态图像以及运动图像的至少一方并记录，所述图像处理方法执行如下工序：前处理工序，对来自所述摄像元件的原始图像进行多个缩小图像的生成处理；脸信息检测工序，对所述多个缩小图像中的任意1个缩小图像检测脸信息；和摄像控制工序，基于在所述脸信息检测工序中检测出的脸信息，来进行特定区域的对焦控制以及曝光控制的至少一方，在所述前处理工序中，执行如下工序：第1水平尺寸缩小调整处理工序，将来自所述摄像元件的原始图像在输入行方向上缩小为任意尺寸的图像，多个垂直尺寸缩小调整处理工序，将在所述第1水平尺寸缩小调整处理工序中在输入行方向上被缩小后的缩小图像，在与输入行方向正交的垂直方向上缩小为任意的尺寸；和多个第2水平尺寸缩小调整处理工序，将在所述垂直尺寸缩小调整处理工序中得到的在水平方向以及垂直方向上被尺寸缩小调整处理后的多个缩小图像，再次在输入行方向上缩小为任意的尺寸。
技术方案8记载的发明在技术方案7记载的图像处理方法的基础上，特征在于，在所述前处理工序中生成n(其中n为4以上的整数)个种类的缩小图像时，在所述第1水平尺寸缩小调整处理工序中，以比率K1缩小为在所生成的多个缩小图像中、水平图像尺寸最大的缩小图像的水平缩小尺寸，所述多个垂直尺寸缩小调整处理工序中的1个，以所述比率K1在垂直方向上对以所述比率K1在输入行方向上被缩小了的缩小图像进行缩小，另外1个垂直尺寸缩小调整处理工序，以比率K2在垂直方向上对以所述比率K1在输入行方向上被缩小了的缩小图像进行缩小，再另外1个垂直尺寸缩小调整处理工序，以比率K3在垂直方向上对以所述比率K1在输入行方向上被缩小了的缩小图像进行缩小，再剩余的n-3个垂直尺寸缩小调整处理工序，以比率Kn在垂直方向上对以所述比率K1在输入行方向上被缩小了的缩小图像进行缩小，所述多个第2水平尺寸缩小调整处理工序具备n-1个，所述n-1个第2水平尺寸缩小调整处理工序中的1，以成为K1＊M2＝K2的系数M2在输入行方向上对以比率K2在所述垂直方向上被缩小了的缩小图像进行缩小，另外的1个第2水平尺寸缩小调整处理工序，以成为K1＊M3=K3的系数M3在输入行方向上对以比率K3在所述垂直方向上被缩小了的缩小图像进行缩小，在剩余的n-3个第2水平尺寸缩小调整处理工序，以成为K1＊Mn=Kn的系数Mn在输入行方向上对以比率Kn在所述垂直方向上被缩小了的缩小图像进行缩小。
技术方案9记载的发明在技术方案7或8记载的图像处理方法的基础上，特征在于，在所述前处理工序中，在从所述原始图像生成脸检测用的缩小图像时，在输入行方向的尺寸缩小调整处理工序中，同时进行彩色载波去除处理，在与所述输入行方向正交的垂直方向的尺寸缩小调整处理工序中，同时进行彩色载波去除处理，从而生成不具有彩色载波分量的亮度信号分量的缩小图像。
技术方案10记载的发明在技术方案7～9的任一项记载的图像处理方法的基础上，特征在于，在所述前处理工序中生成的多个缩小图像中、水平图像尺寸最大的图像，是高清规格的动态图像记录用的图像，其它的缩小图像，是显示用图像、脸识别等图像识别用图像。
技术方案11记载的发明在技术方案7～10的任一项记载的图像处理方法的基础上，特征在于，所述原始图像是使用单板彩色摄像元件取得的图像，该单板彩色摄像元件具有通过原色过滤器而被周期性地进行颜色排列的多色像素。
技术方案12记载的发明在技术方案7～11的任一项记载的图像处理方法的基础上，特征在于，在所述前处理工序中，在让所述原始图像输入到本前处理工序的第1帧期间，进行多个缩小图像的生成处理，在所述脸信息检测工序中，在紧接所述第1帧期间的第2帧期间检测脸信息。
技术方案13记载的发明的数码相机具备技术方案1～6的任一项记载的图像处理装置。
根据以上，在本发明中，在数码相机的摄影中，一边确认摄影被摄体一边实施构图决定，并同时进行脸识别等各种识别动作，在实施实时的自动对焦(AF)或自动曝光(AE)等的动态图像记录模式的状态下，在输入原始图像的帧时间内，在处理的前阶段由被从摄像元件输出的大尺寸RAW原始图像直接同时对多个缩小RAW图像、例如显示用的小尺寸RAW图像、动态图像记录用尺寸的RAW图像、脸检测等图像识别用的小尺寸亮度图像进行生成处理。因此，能在前阶段实现多个尺寸的RAW图像数据的同时生成，能减少伴随存储器访问的后级处理量从而抑制在后处理中的冗余处理的产生，另外，由于能一边以最小的帧延迟显示基于脸检测的各种图像识别结果，一边进行AF／AE的反馈控制，因此，能实现高速、节电的数码相机的显示、视觉辨识动作、画质调整动作、记录动作。
发明效果
如以上所说明那样，根据本发明的图像处理装置以及图像处理方法，例如在数码相机的摄影中，能在输入原始图像的帧时间内实现脸检测用的亮度数据等与符合目的的多个尺寸的RAW图像数据的同时生成，因此，能以最小的帧延迟显示基于脸检测的各种图像识别结果。
附图说明
图1是本发明的实施方式所涉及的摄像装置的整体构成图。
图2是表示本发明的实施方式所涉及的摄像装置中的图像处理的流程的图。
图3是表示本发明的实施方式所涉及的摄像装置中的图像处理的概略图。
图4是表示在本发明的实施方式所涉及的摄像装置中生成动态图像规格尺寸的RAW图像数据、监视器显示尺寸的RAW图像数据、以及脸检测用数据尺寸的亮度(Y)图像数据的内部处理的概要的图。
图5是表示图3中说明的图像处理的方法的流程图。
图6是表示在前处理＆RAW数据尺寸缩小调整处理部中生成多个图像时在输入行方向缩小为任意尺寸的图像的第1以及第2水平尺寸缩小调整处理部的内部处理的一例的图。
图7(a)是表示行存储器的写入读出动作，图7(b)表示图7(a)的下一行周期定时下相同行存储器的写入读出动作的图。
图8是表示使用多个水平方向缩小行数据来在与输入行方向正交的垂直方向上进行尺寸缩小调整的垂直尺寸缩小调整处理部的内部处理的一例的图。
图9是表示现有的一般数码相机的内部信号处理块的概念图。
图10是表示现有的一般摄像图像处理的流程的图。
具体实施方式
下面，按照附图来详细说明本发明所涉及的图像处理装置、图像处理方法以及图像处理程序的优选实施方式。
图1表示搭载本发明的实施方式所涉及的图像处理装置的摄像装置的构成。
在图1，该摄像装置10是将经由摄像部12拍摄的被摄体的光学像变换成数字图像数据并记录于记录媒介112的单板式的数码相机。
所述摄像部12具有以CCD型或CMOS型等为代表的众多的摄像元件(未图示)，在这些摄像元件的光接收面二维地排列各个光电二极管(感光像素)，对穿过光学透镜11的被摄体信息进行光电变换。
所述各摄像元件具有在与各像素对应的位置存在R、G、B的任一颜色的规定的颜色排列的滤色器(未图示)，进行入射到作为光接收元件的光电二极管的光的颜色选择。在本实施方式中，以拜耳排列来进行说明。
从摄像部12输出的图像数据被称作RAW图像，是通过A／D变换处理被变换为数字信号的图像数据。拜耳排列的RAW图像数据(原始图像数据)101通过在行方向以及列方向分别以固定间距将光接收元件排列成正方矩阵的构造来获得。另外，在实际的摄像元件的成像面，在传感器读出方向以及垂直方向周期性地反复拜耳排列的RAW图像数据101所示的像素排列的构造。当然，在本发明中，滤色器排列构造并不限定于拜耳排列，还能是G条纹等各种排列构造。另外，在本实施方式中使用原色过滤器，但在实施本发明时并不限定于原色过滤器，还能使用由黄(Y)、洋红(M)、青(C)、绿(G)构成的补色过滤器、或使用原色与补色的任意组合、白(W)。
所述A／D变换后的RAW图像数据101按照摄像装置10的动作模式，经过需要的信号处理或省略信号处理地被记录于记录媒介112。在摄影模式下，经由显示处理部117以及监视器I／F(接口)部118在监视器119显示被摄体图像。本实施方式的摄像装置10作为摄影模式能进行JPEG格式的静态图像记录，并能进行MPEG格式等的动态图像压缩记录。另外，还能记录刚A／D变换后的RAW图像数据101自身。
在以JPEG格式进行记录的情况下，A／D变换后的图像数据101经过前处理&RAW数据尺寸缩小调整处理部102被送往图像信号处理部109。所述前处理&RAW数据尺寸缩小调整处理部102以及图像信号处理部109是实施同步处理(对伴随滤色器排列的颜色信号的空间偏离进行插补来计算各点的颜色的处理)、白平衡(WB)调整、γ校正、亮度／色差信号生成、轮廓强调、基于电子变焦功能的倍率变化(放大／缩小)处理、像素数的变换(调整大小)处理等各种处理的处理电路，按照来自CPU(中央运算处理部)114的命令对图像信号进行处理。这些前处理&RAW数据尺寸缩小调整处理部102以及图像信号处理部109一边利用能经由存储器控制部107暂时存储处理中途的图像的存储器部108一边进行图像信号的处理。
在所述前处理&RAW数据尺寸缩小调整处理部102和图像信号处理部109中，经过了给定的信号处理的图像数据被送往压缩解压部110，按照JPEG格式的压缩格式而被压缩。另外，压缩格式并不限定于JPEG，也可以使用MPEG等其它方式，使用与所用的压缩格式对应的压缩处理。
被压缩的图像数据经由记录媒介I／F部111而被记录在记录媒介112。记录媒介112并不限定于以存储卡为代表的半导体存储器，还能使用磁盘、光盘、光磁盘等各种介质。另外，并不限于可移动媒介，也可以是内置于摄像装置10的记录介质(内部存储器)。
另一方面，在记录RAW图像的模式的情况下，RAW图像数据101不经过同步等其它信号处理而经由存储器控制部107、记录媒介I／F部111被记录在记录媒介112。即，RAW图像数据101是未进行过γ校正、白平衡调整、同步等信号处理的图像，是仅保持1个与滤色器的排列图案对应地按每个像素不同的颜色信息的镶嵌状的图像。当然，由于也未进行压缩处理，因此具有较大的文件尺寸。另外，在将RAW图像数据101记录在记录媒介112时，既可以进行可逆的压缩来记录，也可以记录非压缩的数据。
CPU114是遵循给定的程序来总括控制本摄像装置10的控制部，基于来自操作面板113的指示信号来控制摄像装置10内的各电路的动作。在ROM115中容纳CPU114执行的程序以及控制所需要的各种数据等，RAM116作为CPU114的工作区而利用。
所述操作面板113是用于用户对摄像装置10输入各种指示的单元，包含各种操作单元，例如，用于选择摄像装置10的动作模式的模式选择开关、输入菜单项目的选择操作(光标移动操作)或再现图像的逐帧播放／逐帧倒退等指示的十字键、指示选择项目的确定(登录)或动作的执行的执行键、用于进行选择项目等所期望的对象的删除或指示的取消的取消键、电源开关、变焦开关、释放开关等。另外，各种开关也可以用触控面板上的区域开关实现。
CPU114，根据从操作面板113输入的指示信号，按照各种不同的摄影条件(曝光条件、有无闪光灯发光、摄影模式等)来控制摄像元件等的摄像部12，并进行自动曝光(AE)控制、自动焦点调节(AF)控制、自动白平衡(AWB)控制、透镜驱动控制、图像处理控制、记录媒介112的读写控制等。
CPU114例如在探测到释放开关的半按下时进行自动焦点调节(AF)控制，在探测到释放开关的全按下时开始用于取入记录用的图像的曝光以及读出控制。另外，CPU114根据需要向未图示的闪光灯控制电路送出命令，控制氙管等闪光发光管(发光部)的发光。
所述前处理部102包含进行AE控制以及AF控制所需要的运算的自动运算部(未图示)，在静态图像摄影的情况下，基于随动于释放开关的半按下而被取入的图像信号来进行焦点评价值运算和AE运算等，将其运算结果传递给CPU114。在探测到释放开关的全按下时，CPU114基于所述焦点评价值运算的结果来控制未图示的透镜驱动用电动机从而使光学透镜101移动到对焦位置，并控制光圈和电子快门来进行曝光控制。如此被取入的图像数据按照记录模式而被记录到记录媒介112。在动态图像摄影的情况下，所述处理在动态图像记录期间连续进行。
在脸检测处理部(脸信息检测部)106中，使用大小被调整到脸检测用的图像尺寸的图像来进行脸信息的检测。在本实施方式中，使用由前处理部102将RAW原始图像数据101尺寸缩小调整处理为多个尺寸的数据中的1个、即脸检测用尺寸的亮度数据型图像(Y)来进行脸检测。
所述脸检测处理部106经由存储器控制部107从存储器部108适宜读出脸检测用尺寸的亮度数据型图像(Y)，提取其图像内的脸的位置、大小等脸信息，经由存储器控制部107将该提取结果信息写入到存储器部108。CPU114经由存储器控制部107读出写入到存储器部108的脸检测信息，将该提取结果变换为表示脸位置的显示信息，生成显示数据，并将其写入到存储器部108。进而，脸检测信息与从进行所述AE控制以及AF控制所需要的运算的自动运算部得到的信息一起由CPU114进行处理，基于对人的位置进行的焦点评价值运算的结果来控制未图示的透镜驱动用电动机，来使光学透镜11移动到对焦位置，并控制光圈和电子快门来进行曝光控制。
经由存储器控制部107对显示处理部117输入在图像信号处理部109进行的图像处理后写入到存储器部108的显示尺寸的Y／Cr／Cb的数据型图像。此时，也同时从存储器部108读出表示所述脸位置信息的显示数据，并将其输入到显示处理部117。
输入到显示处理部117的Y／Cr／Cb的数据型图像、和表示脸位置信息显示数据由显示处理部117变换为与监视器的特性相符合的输入数据规格，经由监视器I／F部118被输入到监视器119，来进行显示。
(本摄像装置进行的信号处理的流程)
在图2示出关于已经叙述的本实施方式的数码相机的内部信号处理进行以RAW图像数据的输入为时间起点的一系列的流水线处理的样子。
在图2中，在输入拜耳排列的RAW图像数据101的第1帧期间由前处理&RAW数据尺寸缩小调整处理部102实施处理时，将作为本实施方式的特征的RAW原始图像数据101尺寸缩小调整处理为多个尺寸。作为被尺寸缩小调整处理为多个尺寸的多个数据中的1个的、脸检测用尺寸的亮度数据型图像(Y)，与其它的拜耳排列的缩小尺寸RAW数据一起，经由存储器控制部107被临时写入到存储器部108。
在第2帧期间中，经由存储器控制部107从存储器部108读出拜耳排列的显示用缩小尺寸RAW数据并将其输入到图像信号处理部109，进行从RAW图像101变换为Y／Cr／Cb的数据型的图像信号处理。所生成的显示尺寸的Y／Cr／Cb的数据型图像，经由存储器控制部107再次被写入到存储器部108。
另外，同时，在所述第2帧期间，经由存储器控制部107由脸检测处理部106再次经由存储器控制部107从存储器部108适宜读出脸检测用的亮度图像数据(Y)，提取、检测图像内的脸的位置、大小等脸信息，该检测结果信息经由存储器控制部107被写入到存储器部108。
在第3帧期间，CPU114经由存储器控制部107读出写入到存储器部108的脸检测结果信息，根据该检测结果信息将表示脸位置的检测结果信息变换为显示信息数据并写入到存储器部108。同时，CPU114开始用于以脸识别信息为基础来自动调整特定区域的曝光、对焦、画质的反馈控制。
(多个尺寸的尺寸缩小调整处理的具体例)
接下来，说明在所述图1以及图2所示的摄像装置10中，成为本实施方式的特征的由前处理&RAW数据尺寸缩小调整处理部102对RAW原始图像数据实施的多个尺寸的尺寸缩小调整处理方法。
图3表示从RAW图像数据101同时生成多个缩小图像的本实施方式的图像处理的概略。
在图3中，从单板彩色摄像元件得到的RAW图像数据101由前处理&RAW数据尺寸缩小调整处理部102变换为高清动态图像规格尺寸的RAW图像数据103、监视器显示尺寸的RAW图像数据104、脸检测用数据尺寸的亮度(Y)图像数据105。本实施方式的特征在于，能在监视器模式或动态图像摄影模式时通过摄像元件的读出帧时间内的流水线处理针对从摄像部12的摄像元件按每帧读出的RAW图像数据101生成多个缩小图像。下面，说明该构成以及动作的详细。
(前处理&RAW数据尺寸调整处理部102的内部构成)
图4表示在前处理&RAW数据尺寸调整处理部102中，作为多个尺寸的图像生成的一例而生成动态图像规格尺寸的RAW图像数据103、监视器显示尺寸的RAW图像数据104、脸检测用数据尺寸的亮度(Y)图像数据105的内部构成的概要。
如图4所示，本实施方式的图像处理具有：第1水平尺寸缩小调整处理部301，其针对从单板彩色摄像元件得到的RAW图像数据101在输入行方向上缩小为任意尺寸的图像；暂时容纳该经过水平尺寸调整后的图像数据的存储器部303；从由该存储器部303读出的缩小行数据起在与输入行方向正交的垂直方向上进行尺寸缩小调整的3个种类的垂直尺寸缩小调整处理部304、306、308；和对在水平方向以及垂直方向上进行了尺寸缩小调整处理后的3个种类中的2个种类的图像再次在输入行方向缩小为任意尺寸的图像的2个种类的第2水平尺寸缩小调整处理部310、312。
在生成所述3个种类的缩小图像(即，动态图像规格尺寸的RAW图像数据103、监视器显示尺寸的RAW图像数据104、脸检测用数据尺寸的亮度(Y)图像数据105)时，在输入行方向上缩小为任意尺寸的图像的第1水平尺寸缩小调整处理部301中实施任意的尺寸缩小调整时，按比率K1缩小为第1缩小尺寸，该第1缩小尺寸在所生成的3个种类的缩小图像中成为水平图像尺寸最大的动态图像规格尺寸的水平尺寸，从而生成仅在水平方向缩小的图像数据302。进行了水平尺寸缩小调整后的图像数据302以行数据为单位暂时被写入到存储器部303。同时，从存储器部303中读出多行份的数据来进行成为下一工序的垂直方向的尺寸缩小调整处理。
关于要同时生成的动态图像记录用的第1缩小数据的生成，通过使用垂直尺寸缩小调整处理部304，以与前述相同的比率K1在垂直方向上缩小为成为动态图像规格尺寸的垂直尺寸，从而得到期望的动态图像记录用尺寸数据103。
接下来，关于要同时生成的显示监视器用的第2缩小数据的生成，使用垂直尺寸缩小调整处理部306，以比率K2缩小为在垂直方向上成为显示监视器的垂直尺寸的第2缩小尺寸，输出在垂直方向上缩小到监视器显示尺寸的图像307。接着，通过使用专用的第2水平尺寸缩小调整处理部310，以成为K1＊M2=K2的系数M2再次在输入行方向上进行缩小，由此得到期望的显示用尺寸数据104。
进而，关于应同时生成的脸检测用的第3缩小数据的生成，进一步使用垂直尺寸缩小调整处理部308，在垂直方向上按比率K3缩小为成为脸检测用数据的第3缩小尺寸，从而输出在垂直方向上缩小到脸检测用尺寸的图像309。接着，通过使用专用的第2水平尺寸缩小调整处理部312，以成为K1＊M3=K3的系数M3再次在输入行方向进行缩小，得到期望的脸检测用尺寸的亮度(Y)图像数据105。
图5示出表示所述图4中说明的图像处理的方法的流程图。在图5中，步骤S1是RGB拜耳排列的原始图像数据的取入工序，步骤S2是第1水平尺寸缩小调整处理工序，步骤S3是动态图像记录图像尺寸的垂直尺寸缩小调整处理工序，步骤S4是动态图像记录图像尺寸数据输出工序，步骤S5是显示图像尺寸的垂直尺寸缩小调整处理工序，步骤S6是显示图像用的第2水平尺寸缩小调整处理工序，步骤S7是显示图像尺寸数据输出工序，步骤S8是脸检测图像尺寸的垂直尺寸缩小调整处理工序，步骤S9是脸检测用的第2水平尺寸缩小调整处理工序，步骤S10是脸检测图像尺寸亮度(Y)图像数据输出工序。
所述流程图所示的图像处理是能由CPU114执行的程序所执行的进程处理，一般，在进行每个处理时，实施来自存储器的读出和写入。另外，也可以由硬件处理构成一部分的工序。各工序的动作与使用图4的说明内容相同。
(水平尺寸缩小调整处理部以及垂直尺寸缩小调整处理部)
图6示出在所述前处理&RAW数据尺寸缩小调整处理部102中生成多个尺寸的图像时，在输入行方向缩小为任意尺寸的图像的第1、第2水平尺寸缩小调整处理部301、310、312的内部处理的一例。
图7示出将在所述第1水平尺寸缩小调整处理部301经过水平尺寸调整的图像数据302暂时写入作为存储器部303的一例的多个行存储器中的方法、和从该多个行存储器中同时读出多个水平方向缩小行数据的一例。
图8表示使用多个水平方向缩小行数据在与输入行方向正交的垂直方向上进行尺寸缩小调整的垂直尺寸缩小调整处理部304、306、308的内部处理的一例。
以下说明所述图6～图8的构成的动作的关系。首先，在图6中，一边实施传感器读出方向的水平尺寸缩小调整处理，一边将其输出写入到图7所示的行存储器，同时从行存储器中读出传感器读出方向的水平尺寸缩小调整处理图像中的汇总的多行份的数据，对图8所示的多行上的传感器读出方向的同一位置的数据，在纵向上以同时处理来进行多个垂直方向尺寸缩小调整处理。此时，垂直方向尺寸缩小调整处理，是与所述的传感器读出方向的水平尺寸缩小调整处理不同的处理，基于是否以行单位来利用多个行单位的动作输出的判定处理来得到在垂直方向上比率不同的尺寸缩小调整图像，作为行间歇性的输出。进而，对任意的图像再次实施图6所示的传感器读出方向的水平尺寸缩小调整处理，得到纵、横缩小比率一致的多个尺寸缩小调整图像。
本实施方式中的着重点在于，对于图像处理的流程和处理进程的组合，依次按照图6的处理→图7的处理→图8的处理→图6的处理的顺序组合来生成多个尺寸缩小调整图像为特征。
另外，图6、图7以及图8所示的处理，是在对RAW数据进行尺寸缩小调整处理时以不产生返回噪声的高画质生成有清晰感的缩小RAW数据和缩小亮度图像数据的一个手法。本实施方式并非唯一规定成为高画质的缩小处理的基本的内部算法。但是，本内部算法以削减冗余处理为本发明的目的，是能实现处理进程较少且高画质的缩小处理的方法，是在实现本发明的图像处理的基础上的合适的缩小处理算法。
(水平尺寸缩小调整处理部中的内部处理)
接下来，使用所述图6来说明传感器读出方向的水平尺寸缩小调整处理部301的详细。
传感器读出方向的水平尺寸缩小调整处理部301是一维的流水线处理，如图6所示，由如下要素构成：彩色载波去除过滤处理502，其通过针对行单位的RAW行图像501的过滤处理从RAW图像101中提取亮度数据；彩色载波提取过滤处理504，其提取彩色载波数据；彩色载波反转解调处理505，其对被调制的彩色载波数据进行颜色反转解调来输出连续的颜色差分数据；对亮度数据和色差数据独立进行尺寸缩小调整的亮度信号传感器读出方向的尺寸缩小调整处理506以及颜色差分信号传感器读出方向的尺寸缩小调整处理507；颜色差分数据反转调制处理508，其将调整大小后的颜色差分数据重新变换为彩色载波数据；增益调整处理511，其进行彩色载波数据的增益等级调整；和颜色排列再现处理509，其对调整大小后的经过等级调整的亮度数据和经过增益调整的调制后的彩色载波数据进行重新合成，生成最终的多颜色排列数据。
使用图6示出详细的传感器读出方向的水平尺寸缩小调整处理功能来说明处理拜耳排列的图像的情况。
作为原始图像的RAW图像101是反映了拜耳排列的像素配置的镶嵌状的图像，通常以行单位从摄像部12读出。该原始图像的行单位的RAW行图像数据501成为按每个像素反复红(R)和绿(G)的信息的RG行、和按每个像素反复蓝(B)和绿(G)的信息的BG行这2个种类。这2个种类的行数据，经过去除按2个像素周期进行变化的奈奎斯特频率附近的彩色载波的彩色载波去除过滤处理502，从而关于RG行输出成为红(R)和绿(G)的平均值的行亮度数据{α(R+G)}，关于BG行输出成为蓝(B)和绿(G)的平均值的行亮度数据{α(B+G)}。
另外，所述2个种类的行数据，经过提取按2个像素周期进行变化的奈奎斯特频率附近的彩色载波的彩色载波提取过滤处理504，从而关于RG行而输出以奈奎斯特频率调制的RG行彩色载波数据，关于BG行而输出以奈奎斯特频率调制的BG行彩色载波数据。以所述奈奎斯特频率(Nyquist frequency)调制的RG行彩色载波数据以及BG行彩色载波数据，通过每1个像素进行代码反转的彩色载波反转解调处理505，从而作为连续的RG行颜色差分数据、BG行颜色差分数据被输出。
在分别以同一缩小比率对被提取的所述亮度数据和颜色差分数据实施传感器读出方向的尺寸缩小调整时，为了抑制缩小后的返回噪声，因而实施图7中未图示的、在亮度数据用以及色差数据用中特性分别不同的亮度数据用频带限制过滤处理、和颜色差分数据用频带限制过滤处理。此时，作为色差用频带限制，假设最终记录格式为JPEG、TIFF、MPEG，从而期望设定为亮度用频带限制的二分之一以下。被频带限制的亮度数据，通过亮度信号传感器读出方向的尺寸缩小调整处理506，根据缩小比率来进行线性插补间取处理。另一方面，被频带限制的颜色差分数据，通过颜色差分信号传感器读出方向的水平尺寸缩小调整处理50，根据缩小比率来进行线性插补间取处理。
对按每行在传感器读出方向上进行水平尺寸缩小调整后的2个种类的连续的颜色差分数据{β(R—G)、β(B—G)}，实施按每1个像素反转代码的颜色差分数据反转调制处理508，作为用于以按2个像素周期进行变化的奈奎斯特频率进行调制的等效处理。其结果，成为在各个行数据上代码按每个像素而不同的{β(R-G)、-β(R-G)}、{β(B—G)、-β(B-G)}这2个种类的缩小RG行彩色载波数据和缩小BG行彩色载波数据。
被调整大小后的缩小行亮度数据，在与被调整大小后的彩色载波数据的加法运算处理即颜色排列再现处理509中，按每行重新合成缩小RG行彩色载波数据和缩小BG行彩色载波数据，作为按每个像素反复红(R)和绿(G)的信息的经过尺寸缩小调整的RG行、以及按每个像素反复蓝(B)和绿(G)的信息的经过调整大小后的BG行510而输出。
用数式表示所述RG行的重新合成。首先，针对亮度数据{α(R+G)}、彩色载波数据{β(R—G)、-β(R—G)}，若设为α＝0.5、β＝0.5，则成为亮度数据{0.5(R+G)}、彩色载波数据{0.5(R-G)、-0.5(R-G)}。在按每个像素进行亮度数据的加法运算时，反复0.5{(R+G)+(R—G)}、0.5{(R+G)-(R-G)}…。即，将RG行数据再现为R、G、R、G…。
在BG行也相同，针对亮度数据{α(B+G)}、彩色载波数据{β(B-G)、-β(B-G)}，若设α＝0.5、β＝0.5，则成为亮度数据{0.5(B+G)}、彩色载波数据{0.5(B—G)、-0.5(B-G)}。在按每个像素进行亮度数据的加法运算时，反复0.5{(B+G)+(B-G)}、0.5{(B+G)-(B—G)}。即，将BG行数据再现为B、G、B、G…。
另外，在将针对亮度数据和颜色差分数据的系数设为α、β来进行加法运算处理前进行增益调整，并进行处理以使得合成数据的增益与输入成为同等，但由于目的在于从亮度信号和色差信号这2个种类的信号分量产生RGB的独立的1个颜色分量，因此并不一定必须在运算前就进行增益调整，也可以在成为RGB独立的颜色分量后再进行增益调整。
图6所示的传感器读出方向的水平尺寸缩小调整处理功能，能够在实施图4中示出的尺寸缩小调整处理301、310时使用。
在生成脸检测用的亮度(Y)数据的尺寸缩小调整处理312中使用时，通过在增益处理部511中将对被调整大小后的缩小行亮度数据和被调整大小后的彩色载波数据之间的加法运算处理部分509输入的彩色载波数据的增益设为0来进行加法运算，从而仅输出亮度数据。
接下来，使用图7，说明如下情况：将由第1水平尺寸缩小调整处理部301进行了水平尺寸调整后的RAW图像数据暂时写入作为存储器部303的一例的多个行存储器，与此同时，从这些多个行存储器中读出多个水平方向缩小行RAW数据。
图7(a)表示这种情况下的行存储器的写入读出动作。图7(b)表示图7(a)的下一行周期定时下的相同行存储器的写入、读出动作。在图7(a)以及(b)中，601是由8行构成的行存储器。602表示对所述行存储器601的数据写入循环，作为对8行的写入控制，一边1行1行地依次环状巡回一边不断进行写入。603表示对行存储器601的数据读出循环，一边汇总选择8行中的7行存储器数据，一边与写入控制同样地，依次环状巡回来不断进行读出。
在图7(a)以及(b)所示的示例中，为了使所使用的行存储器601的容量为最小限度，使针对环状的巡回写入的7行同时巡回读出的开头行的位置位于比写入行滞后1行的位置。另外，通过使写入行和读出行分开，从而能使写入和读出非同步地动作。
如此，通过从图7(a)以及(b)所示的行存储器601中汇总读出从水平方向的RAW尺寸缩小调整图像302中汇总的多行份的RAW调整大小数据，从而能对多行上的传感器读出方向的同一位置的数据604在纵向上同时进行3个种类的垂直方向尺寸缩小调整处理304、306、308，得到RAW调整大小图像305、307、309。
此时，垂直方向尺寸缩小调整处理304、306、308成为与传感器读出方向的水平尺寸缩小调整处理301不同的处理，通过对以多个行为输入的任意的图像处理输出数据判定是否以行单位作为有效数据来利用，在该判定处理的基础上，根据是否输出来减少输出行数，由此来实施垂直方向的尺寸缩小调整处理。
(在垂直方向尺寸缩小调整处理部的内部处理)
图8表示利用图7的行存储器601的情况下在图4中的3个种类的垂直方向尺寸缩小调整处理部304、306、308实施处理的详细次序。
图8的垂直方向尺寸缩小调整处理，与图6的传感器读出方向的水平尺寸缩小调整处理同样地，作为亮度信号处理和颜色差分信号处理这2个系统处理来实施。
在详细说明时，在图8中，以在垂直方向上成为同一水平位置的7个像素为1个处理单位来对作为输入数据的7行份的RAW图像实施处理。
图8所示的垂直方向尺寸缩小调整处理包含：彩色载波去除过滤处理703，其从所述7行份的RAW图像在垂直方向上提取亮度数据；彩色载波提取过滤处理712，其提取垂直方向的彩色载波数据；彩色载波反转解调处理716，其对在垂直方向上被调制的彩色载波数据进行颜色反转解调，从而输出在垂直方向上连续的颜色差分数据；对亮度数据和颜色差分数据独立进行垂直方向尺寸缩小调整的亮度信号垂直方向尺寸缩小调整处理710以及颜色差分信号垂直方向尺寸缩小调整处理718；颜色差分数据反转调制处理720，其将调整大小后的颜色差分数据重新变换为彩色载波数据并进行增益等级调整；和颜色排列再现处理722，其重新合成调整大小后的经过等级调整的亮度数据和调制后的彩色载波数据，并生成最终的多颜色排列数据。
使用图8中详细示出的垂直方向尺寸调整处理功能，来说明对拜耳排列的图像进行尺寸缩小调整处理的情况。
如图8的垂直方向的处理单位701所示那样，水平尺寸调整处理后的RAW图像，保持反映了拜耳排列的像素配置的镶嵌状的排列，如图7所示那样以行单位巡回地写入到行存储器601，并汇总多行巡回地读出。在本实施方式中利用由8行构成的行存储器601，汇总7行的输出来进行输出。
与水平尺寸调整处理后的7行单位的输入数据对应的第1垂直方向的处理单位701、第2垂直方向的处理单位702，成为相对于行上的传感器读出方向的同一位置的垂直方向关注数据在垂直方向上按每个像素反复蓝(B)和绿(G)的信息的BG垂直处理单位701、和在垂直方向上按每个像素反复绿(G)和红(R)的信息的GR垂直处理单位702这2个种类。
这2个种类的成为垂直方向的处理单位的数据，具有在垂直方向上按2个像素周期进行变化的奈奎斯特频率附近的彩色载波信息，在去除所述彩色载波的彩色载波去除过滤处理703中，使用7行数据中的5行份的各数据Y1～Y3来进行3个系统的处理，生成3个种类的在垂直方向偏移1行位置的连续的亮度数据。在本实施方式中，由彩色载波去除过滤器703分别使用垂直方向上的5个像素的数据Y1～Y3，输出3个种类的行亮度数据709。关于垂直方向的BG垂直处理单位901，各数据Y1～Y3是成为蓝(B)和绿(G)的平均值的亮度数据，关于下一垂直方向的GR垂直处理单位702，各数据Y1～Y是成为绿(G)和红(R)的平均值的亮度数据，且在水平方向上交替被输出。
另外，所述2个种类的垂直方向的处理单位701、702，在彩色载波提取过滤处理712中使用7行数据中的5行份的各数据C1～C3来进行3个系统的处理，生成3个种类的在垂直方向上偏离1行位置的连续的彩色载波数据，其中该彩色载波提取过滤处理712在垂直方向上提取按2个像素周期内进行变化的奈奎斯特频率附近的彩色载波。关于BG垂直处理单位701的BG垂直方向，输出以奈奎斯特频率被调制的BG彩色载波分量数据，关于GR垂直处理单位702的GR垂直方向，输出按奈奎斯特频率调制的GR彩色载波分量数据。
在垂直方向上以奈奎斯特频率调制的3个各BG彩色载波分量数据以及GR彩色载波分量数据，通过在垂直方向上按每1个像素(每1个行动作)进行代码反转的彩色载波逆转解调处理716，从而作为在垂直方向上连续的R-G数据、B-G数据输出。在此，使垂直方向的像素数据位置与亮度Y1～Y3数据一致，作为成为同一位置的数据C1～C3的输出。
在对在垂直方向上被提取的所述2个种类的亮度数据和颜色差分数据分别实施同一比率的垂直方向的尺寸缩小调整时，为了抑制缩小后的返回噪声，期望实施在亮度数据用以及色差数据用中特性分别不同的亮度用频带限制过滤处理、和色差用频带限制过滤处理。虽然也能对亮度数据Y1～Y3和彩色载波数据C1～C3的3行进行处理，但作为有效率的处理，在彩色载波去除过滤处理703和彩色载波提取过滤处理712中同时应用处理频率特性的制限的方法作为安装方法是有效率的。此时，作为颜色差分数据的频带限制，想定最终记录格式成为JPEG或TIFF、MPEG，从而期望设定为亮度用数据的频带限制的二分之一以下。
在垂直方向被频带限制的亮度数据，通过亮度信号垂直方向尺寸缩小调整处理710，使用关于亮度数据Y1～Y3的3个行亮度数据709来进行垂直方向上的线性插补，以行单位按缩小比率进行行间取，并输出。另一方面，通过颜色差分信号垂直方向尺寸缩小调整处理718，使用3个颜色差分行数据，在垂直方向上进行与所述亮度数据相同的线性插补，以行单位根据垂直缩小比率进行行间取，并输出。
对以垂直方向的行间取来进行尺寸缩小调整后的颜色差分数据719实施按每个有效行输出来反转代码的颜色差分数据反转调制处理720，作为用于在垂直方向上以按2个像素周期进行变化的奈奎斯特频率进行调制的等效处理。由颜色排列再现处理722实施以垂直方向的行间取来进行垂直尺寸缩小调整后的行亮度数据和彩色载波数据之间的加法运算处理，在水平方向上交替输出在垂直方向上按每个像素反复蓝(B)和绿(G)的信息的水平垂直以及被调整大小后的垂直方向BG数据723、和在垂直方向上按每个像素反复绿(G)和红(R)的信息的水平垂直以及被调整大小后的垂直方向GR数据。
使用图8所示的垂直方向尺寸缩小调整处理功能，来实施在图4所示的3个处理部304、306、308中的垂直方向尺寸缩小调整处理。在实施2个处理部306、308中的垂直方向尺寸缩小调整处理时，设定为与处理部304的缩小比率不同的比率来分别实施处理。
进而，在处理部308中的垂直方向尺寸缩小调整处理中使用图8的处理功能时，为了生成脸检测用的亮度数据，通过增益处理部724将对被调整大小后的缩小行亮度数据711和被调整大小后的行彩色载波数据之间的加法运算处理部722输入的行彩色载波数据的增益设为0来进行加法运算，从而仅输出行亮度数据。
对图8的处理中得到的动态图像记录用尺寸数据103、监视器显示用尺寸数据307、脸检测用尺寸数据309中的显示用尺寸数据307，再次实施图6中说明的传感器读出方向尺寸调整处理310来获得期望的图像。另外，对脸检测用尺寸数据309再次实施图6中说明的传感器读出方向尺寸调整处理部312。此时，如前述那样，在图6所示的内部处理中，通过增益处理部511将对在传感器读出方向上被调整大小后的缩小行亮度数据和被调整大小后的彩色载波数据之间的加法运算处理部509输入的彩色载波数据的增益设为0来进行加法运算，从而仅输出亮度数据，来得到所期望的脸检测用的亮度图像。
如以上说明那样，如图2所示那样，在前处理&RAW数据尺寸缩小调整处理部102中，通过实施以图6的处理→图7的处理→图8的处理→图6的处理的顺序组合的图像处理的流程和处理进程，从而能在第1帧期间生成包含脸检测用的亮度图像的多个尺寸缩小调整图像。
之后，在第2帧期间对图1以及图2所示的图像信号处理部109输入所得到的多个RAW调整大小缩小图像103、104、105，进行主要的信号处理(监视器模式下的显示图像生成、动态图像记录图像生成)，并输入到脸检测处理部106，进行帧延迟少的脸检测。
因此，与图10所示的现有例那样在第3帧期间进行脸检测信息显示控制和AF／AE的反馈控制的情况相比，在本实施方式中，能在1帧期间迅速开始脸检测信息显示控制和AF／AE的反馈控制。进而，能利用第3帧期间来实施以在第2帧期间检测取得的脸位置为基点的细节部分检测&识别等。
另外，实施本发明的单元并不限于专用的图像处理装置(图像再生装置、图像加工装置)，也可以是个人计算机。另外，图像处理中的一部分或全部并不限于硬件(信号处理电路)，也可以用软件实现。
进而，本实施方式的图像处理程序，既可以构成为单独的应用软件，也可以作为图像加工软件、文件管理用软件等应用的一部分而嵌入。另外，本实施方式的图像处理程序并不限于应用于个人计算机等计算机系统中的情况，还能作为嵌入到数码相机、便携式电话机等信息设备中的中央处理装置(CPU)的动作程序来应用。
工业上的可利用性
如以上所说明，本发明所涉及的图像处理装置、图像处理方法以及图像处理程序，特别作为适于从单板彩色摄像元件得到的原始图像的缩小处理的图像数据尺寸变换处理装置、电子静态照相机、图像数据尺寸变换处理程序等是有用的。
符号说明
10 摄像装置
12 摄像部
101 拜耳排列的RAW图像数据
102 前处理&RAW数据尺寸缩小调整部(前处理部)
106 脸检测处理部(脸信息检测部)
107 存储器控制部
108 存储器部
109 图像信号处理部
110 压缩解压处理部
111 记录媒介I／F(接口)部
112 记录媒介
113 操作面板
114 CPU(中央运算处理部)
115 ROM
116 RAM
117 显示处理部
118 监视器I／F部
119 监视器
103 动态图像规格尺寸的RAW图像数据
104 监视器显示尺寸的RAW图像数据
105 脸检测用数据尺寸的亮度(Y)图像数据
301 第1水平尺寸缩小调整处理部
302 仅在水平方向缩小的图像数据
303 暂时容纳图像数据的存储器部
304、306、308 RAW数据垂直方向尺寸调整处理部
(垂直尺寸缩小调整处理部)
307 在垂直方向上缩小到监视器显示尺寸的图像
309 在垂直方向上缩小到脸检测用尺寸的图像
310、312 第2水平尺寸缩小调整处理部
501 RAW行图像
502 彩色载波去除过滤处理
503 行亮度数据
504 彩色载波提取过滤处理
505 颜色差分数据解调处理
506 亮度信号传感器读出方向尺寸缩小调整处理
507 颜色差分信号传感器读出方向尺寸缩小调整处理
508 彩色载波调制处理
509 颜色排列再现处理
510 多颜色排列数据
511 增益调整处理
601 由8行构成的行存储器
602 针对行存储器的数据写入循环
603 针对行存储器的数据读出循环
604 多行上的传感器读出方向的同一位置的数据
701 第1垂直方向的处理单位
702 第2垂直方向的处理单位
703 彩色载波去除过滤处理
704、705、706 行亮度数据
709 3个种类的行亮度数据
710 亮度信号垂直方向尺寸缩小调整处理
711 垂直方向缩小行亮度数据
712 彩色载波提取过滤处理
713、714、715 彩色载波数据
716 彩色载波逆转解调处理
718 颜色差分信号垂直方向尺寸缩小调整处理
719 垂直方向缩小行颜色差分数据
720 颜色差分数据反转调制处理
721 垂直方向缩小行彩色载波数据
722 颜色排列再现处理
723 RAW缩小数据
724 增益调整处理

Claims (13)

1.一种图像处理装置，在摄像装置中使用，该摄像装置由被从摄像元件输出且由多色像素构成的原始图像生成静态图像以及运动图像的至少一方并记录，其中所述多色像素具有颜色排列的周期性，
所述图像处理装置具有：
前处理部，其对来自所述摄像元件的原始图像进行多个缩小图像的生成处理；
存储器部，其经由存储器控制部暂时保持由所述前处理部进行生成处理的多个缩小图像；
脸信息检测部，其对从所述存储器部读出的任意1个缩小图像，经由所述存储器控制部来检测脸信息；和
中央运算处理部，其基于由所述脸信息检测部检测出的脸信息来进行特定区域的对焦控制以及曝光控制的至少一方，
所述前处理部具有：
第1水平尺寸缩小调整处理部，其将来自所述摄像元件的原始图像在输入行方向上缩小为任意尺寸的图像，并暂时容纳在所述存储器部中；
多个垂直尺寸缩小调整处理部，其从所述存储器部读出被所述第1水平尺寸缩小调整处理部在输入行方向上缩小后的缩小图像，并将该所读出的缩小图像在与输入行方向正交的垂直方向上缩小为任意尺寸；和
多个第2水平尺寸缩小调整处理部，其将由所述垂直尺寸缩小调整处理部得到的在水平方向以及垂直方向上被尺寸缩小调整处理后的多个缩小图像，再次在输入行方向上缩小为任意的尺寸。
2.根据权利要求1所述的图像处理装置，其中，
在所述前处理部生成n个种类的缩小图像时，
所述第1水平尺寸缩小调整处理部，以比率K1缩小为所生成的多个缩小图像中水平图像尺寸最大的缩小图像的水平缩小尺寸，
所述多个垂直尺寸缩小调整处理部中的1个，以所述比率K1在垂直方向上对以所述比率K1在输入行方向上被缩小了的缩小图像进行缩小，
另外1个垂直尺寸缩小调整处理部，以比率K2在垂直方向上对以所述比率K1在输入行方向上被缩小了的缩小图像进行缩小，
再另外1个垂直尺寸缩小调整处理部，以比率K3在垂直方向上对以所述比率K1在输入行方向上被缩小了的缩小图像进行缩小，
再剩余的n-3个垂直尺寸缩小调整处理部，以比率Kn在垂直方向上对以所述比率K1在输入行方向上被缩小了的缩小图像进行缩小，
所述多个第2水平尺寸缩小调整处理部具备n-1个，
所述n-1个第2水平尺寸缩小调整处理部中的1个，以成为K1＊M2＝K2的系数M2在输入行方向上对以比率K2在所述垂直方向上被缩小了的缩小图像进行缩小，
另外1个第2水平尺寸缩小调整处理部，以成为K1＊M3＝K3的系数M3在输入行方向上对以比率K3在所述垂直方向上被缩小了的缩小图像进行缩小，
再剩余的n-3个第2水平尺寸缩小调整处理部，以成为K1＊Mn＝Kn的系数Mn在输入行方向上对以比率Kn在所述垂直方向上被缩小了的缩小图像进行缩小，
其中所述n为4以上的整数。
3.根据权利要求1或2所述的图像处理装置，其中，
所述前处理部，在从所述原始图像生成脸检测用的缩小图像时，实施输入行方向的彩色载波去除处理、和与所述输入行方向正交的垂直方向的彩色载波去除处理，来生成不具有彩色载波分量的亮度信号分量的缩小图像。
4.根据权利要求1或2所述的图像处理装置，其中，
所述前处理部所生成的多个缩小图像中、水平图像尺寸最大的图像，是高清规格的动态图像记录用的图像，
其它的缩小图像，是显示用图像、脸识别图像识别用图像。
5.根据权利要求1或2所述的图像处理装置，其中，
所述原始图像，是使用单板彩色摄像元件取得的图像，该单板彩色摄像元件具有通过原色过滤器而被周期性地进行颜色排列的多色像素。
6.根据权利要求1或2所述的图像处理装置，其中，
所述前处理部，在将所述原始图像输入到本图像处理装置的第1帧期间进行多个缩小图像的生成处理，
所述脸信息检测部，在紧接所述第1帧期间的第2帧期间检测脸信息。
7.一种图像处理方法，在摄像装置中使用，所述摄像装置由被从摄像元件输出且由多色像素构成的原始图像生成静态图像以及运动图像的至少一方并记录，其中所述多色像素具有颜色排列的周期性，
所述图像处理方法执行如下工序：
前处理工序，对来自所述摄像元件的原始图像进行多个缩小图像的生成处理；
脸信息检测工序，对所述多个缩小图像中的任意1个缩小图像检测脸信息；和
摄像控制工序，基于在所述脸信息检测工序中检测出的脸信息，来进行特定区域的对焦控制以及曝光控制的至少一方，
在所述前处理工序中，执行如下工序：
第1水平尺寸缩小调整处理工序，将来自所述摄像元件的原始图像在输入行方向上缩小为任意尺寸的图像，
多个垂直尺寸缩小调整处理工序，将在所述第1水平尺寸缩小调整处理工序中在输入行方向上被缩小了的缩小图像，在与输入行方向正交的垂直方向上缩小为任意的尺寸；和
多个第2水平尺寸缩小调整处理工序，将在所述垂直尺寸缩小调整处理工序中得到的在水平方向以及垂直方向上被尺寸缩小调整处理后的多个缩小图像，再次在输入行方向上缩小为任意的尺寸。
8.根据权利要求7所述的图像处理方法，其中，
在所述前处理工序中生成n个种类的缩小图像时，
在所述第1水平尺寸缩小调整处理工序中，以比率K1缩小为在所生成的多个缩小图像中、水平图像尺寸最大的缩小图像的水平缩小尺寸，
所述多个垂直尺寸缩小调整处理工序中的1个，以所述比率K1在垂直方向上对以所述比率K1在输入行方向上被缩小了的缩小图像进行缩小，
另外1个垂直尺寸缩小调整处理工序，以比率K2在垂直方向上对以所述比率K1在输入行方向上被缩小了的缩小图像进行缩小，
再另外1个垂直尺寸缩小调整处理工序，以比率K3在垂直方向上对以所述比率K1在输入行方向上被缩小了的缩小图像进行缩小，
再剩余的n-3个垂直尺寸缩小调整处理工序，以比率Kn在垂直方向上对以所述比率K1在输入行方向上被缩小了的缩小图像进行缩小，
所述多个第2水平尺寸缩小调整处理工序具备n-1个，
所述n-1个第2水平尺寸缩小调整处理工序中的1，以成为K1＊M2＝K2的系数M2在输入行方向上对以比率K2在所述垂直方向上被缩小了的缩小图像进行缩小，
另外1个第2水平尺寸缩小调整处理工序，以成为K1＊M3＝K3的系数M3在输入行方向上对以比率K3在所述垂直方向上被缩小了的缩小图像进行缩小，
再剩余的n-3个第2水平尺寸缩小调整处理工序，以成为K1＊Mn＝Kn的系数Mn在输入行方向上对以比率Kn在所述垂直方向上被缩小了的缩小图像进行缩小，
其中n为4以上的整数。
9.根据权利要求7或8所述的图像处理方法，其中，
在所述前处理工序中，
在从所述原始图像生成脸检测用的缩小图像时，
在输入行方向的尺寸缩小调整处理工序中，同时进行彩色载波去除处理，
在与所述输入行方向正交的垂直方向的尺寸缩小调整处理工序中，同时进行彩色载波去除处理，
从而生成不具有彩色载波分量的亮度信号分量的缩小图像。
10.根据权利要求7或8所述的图像处理方法，其中，
在所述前处理工序中生成的多个缩小图像中、水平图像尺寸最大的图像，是高清规格的动态图像记录用的图像，
其它的缩小图像，是显示用图像、脸识别图像识别用图像。
11.根据权利要求7或8所述的图像处理方法，其中，
所述原始图像是使用单板彩色摄像元件取得的图像，该单板彩色摄像元件具有通过原色过滤器而被周期性地进行颜色排列的多色像素。
12.根据权利要求7或8所述图像处理方法，其中，
在所述前处理工序中，在让所述原始图像输入到本前处理工序的第1帧期间，进行多个缩小图像的生成处理，
在所述脸信息检测工序中，在紧接所述第1帧期间的第2帧期间检测脸信息。
13.一种数码相机，具备权利要求1或2所述的图像处理装置。
CN201280026606.1A 2011-05-31 2012-05-25 图像处理装置、图像处理方法以及数码相机 Active CN103563350B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-122427 2011-05-31
JP2011122427 2011-05-31
PCT/JP2012/003438 WO2012164896A1 (ja) 2011-05-31 2012-05-25 画像処理装置及び画像処理方法並びにデジタルカメラ

Publications (2)

Publication Number Publication Date
CN103563350A CN103563350A (zh) 2014-02-05
CN103563350B true CN103563350B (zh) 2016-09-28

Family

ID=47258772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280026606.1A Active CN103563350B (zh) 2011-05-31 2012-05-25 图像处理装置、图像处理方法以及数码相机

Country Status (4)

Country Link
US (1) US8995792B2 (zh)
JP (1) JP5845464B2 (zh)
CN (1) CN103563350B (zh)
WO (1) WO2012164896A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012169140A1 (ja) * 2011-06-08 2012-12-13 パナソニック株式会社 画像処理装置及び画像処理方法並びにデジタルカメラ
CN108650515A (zh) * 2012-07-09 2018-10-12 株式会社尼康 解码装置及图像压缩装置
US9432582B2 (en) 2013-01-04 2016-08-30 Canon Kabushiki Kaisha Image signal processing apparatus and a control method thereof, and an image pickup apparatus and a control method thereof
JP6087631B2 (ja) * 2013-01-04 2017-03-01 キヤノン株式会社 画像信号処理装置及びその制御方法、並びに撮像装置
JP6049481B2 (ja) * 2013-02-05 2016-12-21 キヤノン株式会社 撮像装置
KR20140125984A (ko) * 2013-04-19 2014-10-30 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치와 시스템
JP5937767B2 (ja) * 2013-09-27 2016-06-22 富士フイルム株式会社 撮像装置及び撮像方法
JP6261372B2 (ja) * 2014-02-20 2018-01-17 オリンパス株式会社 固体撮像装置および撮像システム
KR102117075B1 (ko) * 2014-03-11 2020-05-29 삼성전자주식회사 재구성 가능한 이미지 스케일링 회로
JP6547739B2 (ja) 2014-05-02 2019-07-24 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP6702792B2 (ja) * 2016-05-02 2020-06-03 キヤノン株式会社 画像処理装置およびその制御方法
CN106331382B (zh) * 2016-11-17 2019-06-25 捷开通讯(深圳)有限公司 一种基于移动终端的闪光灯组件及其控制系统、控制方法
CN108804987B (zh) * 2017-05-04 2023-03-10 株式会社日立制作所 门开闭状态检测方法和装置、以及人流检测系统
JP6810892B2 (ja) * 2017-06-05 2021-01-13 京セラドキュメントソリューションズ株式会社 画像処理装置
KR102442449B1 (ko) * 2017-09-01 2022-09-14 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
CN111684516B (zh) * 2018-02-08 2023-11-17 株式会社索思未来 图像处理装置、图像处理方法以及图像显示系统
US20230007146A1 (en) * 2019-12-19 2023-01-05 Sony Semiconductor Solutions Corporation Image processing device, image processing method, and program
TW202236837A (zh) * 2021-02-08 2022-09-16 日商索尼半導體解決方案公司 攝像裝置及攝像方法
CN116964617A (zh) * 2021-03-10 2023-10-27 美国莱迪思半导体公司 用于可编程逻辑器件的图像标记引擎系统和方法
WO2023133065A1 (en) * 2022-01-05 2023-07-13 Stats Llc Automated image processing system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003346143A (ja) * 2002-05-29 2003-12-05 Fuji Photo Film Co Ltd 画像処理方法及び画像処理プログラム
CN1925544A (zh) * 2005-08-31 2007-03-07 松下电器产业株式会社 图像数据处理装置
JP4136255B2 (ja) * 2000-02-29 2008-08-20 キヤノン株式会社 画像処理装置及びその方法
WO2010016166A1 (ja) * 2008-08-04 2010-02-11 パナソニック株式会社 撮像装置、画像処理方法、画像処理プログラム及び半導体集積回路
CN101682788A (zh) * 2007-06-07 2010-03-24 索尼株式会社 信号处理方法和信号处理系统
CN101820504A (zh) * 2009-02-26 2010-09-01 日立民用电子株式会社 摄像装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0441380B1 (en) * 1990-02-08 1996-09-11 Canon Kabushiki Kaisha Image pick-up device
US6262769B1 (en) * 1997-07-31 2001-07-17 Flashpoint Technology, Inc. Method and system for auto rotating a graphical user interface for managing portrait and landscape images in an image capture unit
JP5108172B2 (ja) * 2000-09-06 2012-12-26 株式会社ニコン 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体
EP1229738B1 (en) * 2000-11-10 2011-03-09 Ricoh Company, Ltd. Image decompression from transform coefficients
EP1499106A1 (en) * 2002-03-22 2005-01-19 Sipec Corporation Image data compression device, image data compression method, recording medium, and program
KR100465289B1 (ko) * 2002-04-22 2005-01-13 삼성전자주식회사 휴대용 단말기의 소화면 표시장치 및 방법
US20050140990A1 (en) * 2003-10-15 2005-06-30 Akira Ueno Image processing apparatus and method and image data display method for digital camera
KR100621137B1 (ko) * 2004-02-27 2006-09-13 세이코 엡슨 가부시키가이샤 동화상 부호화 장치 및 동화상 처리장치
JP4130641B2 (ja) * 2004-03-31 2008-08-06 富士フイルム株式会社 ディジタル・スチル・カメラおよびその制御方法
KR101159847B1 (ko) * 2005-01-20 2012-06-25 삼성전자주식회사 졸음운전 감지용 얼굴 검출 정규화 장치 및 방법
JP2006319460A (ja) * 2005-05-10 2006-11-24 Matsushita Electric Ind Co Ltd 輝度信号処理装置
WO2007063680A1 (ja) * 2005-12-01 2007-06-07 Matsushita Electric Industrial Co., Ltd. 撮像装置、表示制御装置、表示装置および画像表示システム
JP4840967B2 (ja) 2005-12-01 2011-12-21 キヤノン株式会社 撮像装置及び画像処理方法及びプログラム及び記憶媒体
JP2007336515A (ja) * 2006-05-15 2007-12-27 Olympus Imaging Corp カメラ、画像出力装置、画像出力方法、画像記録方法、プログラム及び記録媒体
JP4717766B2 (ja) * 2006-09-14 2011-07-06 キヤノン株式会社 画像表示装置、撮像装置、画像表示方法、記憶媒体、及び、プログラム
JP4479756B2 (ja) * 2007-07-05 2010-06-09 ソニー株式会社 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
US8111331B2 (en) * 2007-07-09 2012-02-07 Cisco Technology, Inc. Image resizer and resizing method
JP4974812B2 (ja) * 2007-08-27 2012-07-11 三洋電機株式会社 電子カメラ
JP4930302B2 (ja) * 2007-09-14 2012-05-16 ソニー株式会社 撮像装置、その制御方法およびプログラム
JP2009110486A (ja) * 2007-11-01 2009-05-21 Sony Corp 画像処理装置、画像処理方法および画像処理プログラム、並びに、撮像装置および撮像装置の制御方法
JP5045421B2 (ja) 2007-12-21 2012-10-10 ソニー株式会社 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
JP2009157733A (ja) 2007-12-27 2009-07-16 Konica Minolta Holdings Inc 画像歪み補正方法、画像歪み補正装置及び画像形成装置
US8315474B2 (en) * 2008-01-18 2012-11-20 Sanyo Electric Co., Ltd. Image processing device and method, and image sensing apparatus
JP5227629B2 (ja) * 2008-03-25 2013-07-03 富士フイルム株式会社 オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
JP2010021943A (ja) * 2008-07-14 2010-01-28 Sanyo Electric Co Ltd 撮像装置
JP2010028722A (ja) * 2008-07-24 2010-02-04 Sanyo Electric Co Ltd 撮像装置及び画像処理装置
JP4702418B2 (ja) * 2008-09-09 2011-06-15 カシオ計算機株式会社 撮影装置、画像領域の存否判定方法及びプログラム
KR20110004083A (ko) * 2009-07-07 2011-01-13 삼성전자주식회사 디지털 영상 처리 장치 및 방법
JP5708097B2 (ja) * 2011-03-18 2015-04-30 株式会社リコー 撮像装置、撮像方法、及び撮像プログラム
WO2012169140A1 (ja) * 2011-06-08 2012-12-13 パナソニック株式会社 画像処理装置及び画像処理方法並びにデジタルカメラ
JP5743742B2 (ja) * 2011-06-23 2015-07-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9001255B2 (en) * 2011-09-30 2015-04-07 Olympus Imaging Corp. Imaging apparatus, imaging method, and computer-readable storage medium for trimming and enlarging a portion of a subject image based on touch panel inputs
KR20130122411A (ko) * 2012-04-30 2013-11-07 삼성전자주식회사 이미지 획득 장치 및 이미지 획득 장치의 동작 방법
JP2013239961A (ja) * 2012-05-16 2013-11-28 Sony Corp 動画撮像装置、動画像電子ズーム方法
JP6025427B2 (ja) * 2012-07-09 2016-11-16 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4136255B2 (ja) * 2000-02-29 2008-08-20 キヤノン株式会社 画像処理装置及びその方法
JP2003346143A (ja) * 2002-05-29 2003-12-05 Fuji Photo Film Co Ltd 画像処理方法及び画像処理プログラム
CN1925544A (zh) * 2005-08-31 2007-03-07 松下电器产业株式会社 图像数据处理装置
CN101682788A (zh) * 2007-06-07 2010-03-24 索尼株式会社 信号处理方法和信号处理系统
WO2010016166A1 (ja) * 2008-08-04 2010-02-11 パナソニック株式会社 撮像装置、画像処理方法、画像処理プログラム及び半導体集積回路
CN101820504A (zh) * 2009-02-26 2010-09-01 日立民用电子株式会社 摄像装置

Also Published As

Publication number Publication date
US20140085498A1 (en) 2014-03-27
JPWO2012164896A1 (ja) 2015-02-23
CN103563350A (zh) 2014-02-05
JP5845464B2 (ja) 2016-01-20
WO2012164896A1 (ja) 2012-12-06
US8995792B2 (en) 2015-03-31

Similar Documents

Publication Publication Date Title
CN103563350B (zh) 图像处理装置、图像处理方法以及数码相机
CN103563359B (zh) 图像处理装置及图像处理方法以及数码相机
CN102122388B (zh) 用于获得高动态范围图像的设备和方法
CN101605208B (zh) 图像处理设备、成像设备及图像处理方法
KR100957261B1 (ko) 화상 촬영 장치 및 색수차 보정 방법
CN102090067B (zh) 摄像装置、图像处理方法、图像处理程序及半导体集成电路
CN103563361B (zh) 图像处理设备和方法以及成像设备
CN103688536B (zh) 图像处理装置、图像处理方法
CN101094319B (zh) 摄像装置以及信号处理装置
CN101662586A (zh) 可显示实时预览图像的摄像装置
KR20110073159A (ko) 촬상장치 및 방법
CN103491310B (zh) 图像捕获装置及其控制方法
CN102542546B (zh) 图像合成处理装置及图像合成处理方法
JP4253634B2 (ja) デジタルカメラ
CN110381263A (zh) 图像处理方法、装置、存储介质及电子设备
KR101889932B1 (ko) 촬영 장치 및 이에 적용되는 촬영 방법
CN102447912A (zh) 图像处理装置、白平衡校正方法以及摄像装置
US20140049668A1 (en) Imaging device and imaging method
CN105993164A (zh) 固态图像传感器、电子设备和自动聚焦方法
CN104243804A (zh) 摄像设备、图像处理设备及其控制方法
CN104041021B (zh) 图像处理装置及方法以及摄像装置
JP5033711B2 (ja) 撮像装置及び撮像装置の駆動方法
JP2011013857A (ja) 画像処理装置
CN102648632B (zh) 数据处理装置
CN102387294A (zh) 摄像模块以及图像信号处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150929

Address after: Japan Osaka

Applicant after: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200529

Address after: Kyoto Japan

Patentee after: Panasonic semiconductor solutions Co.,Ltd.

Address before: Osaka Prefecture, Japan

Patentee before: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.