CN104469186A - 摄像装置、摄像系统及摄像装置的控制方法 - Google Patents

摄像装置、摄像系统及摄像装置的控制方法 Download PDF

Info

Publication number
CN104469186A
CN104469186A CN201410471892.3A CN201410471892A CN104469186A CN 104469186 A CN104469186 A CN 104469186A CN 201410471892 A CN201410471892 A CN 201410471892A CN 104469186 A CN104469186 A CN 104469186A
Authority
CN
China
Prior art keywords
pixel region
data
unit
camera head
pixel area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410471892.3A
Other languages
English (en)
Other versions
CN104469186B (zh
Inventor
小布施武范
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN104469186A publication Critical patent/CN104469186A/zh
Application granted granted Critical
Publication of CN104469186B publication Critical patent/CN104469186B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007—Time or data compression or expansion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/22—Signal processing not specific to the method of recording or reproducing; Circuits therefor for reducing distortions
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/24—Signal processing not specific to the method of recording or reproducing; Circuits therefor for reducing noise
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/911—Television signal processing therefor for the suppression of noise
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007—Time or data compression or expansion
    • G11B2020/00072—Time or data compression or expansion the compressed signal including a video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明提供一种摄像装置、摄像系统及摄像装置的控制方法。所述摄像装置包括摄像单元，所述摄像单元包括图像传感器，所述图像传感器具有有效像素区域、以及输出用于校正所述有效像素区域的输出信号的基准信号的基准像素区域。在满足预定条件的情况下，削减单元削减由所述摄像单元获得的图像数据中的、与所述基准像素区域相对应的基准像素区域数据的数据量。记录单元在由所述削减单元进行的处理之后记录所述图像数据。

Description

摄像装置、摄像系统及摄像装置的控制方法
技术领域
本发明涉及一种摄像装置、摄像系统及摄像装置的控制方法。
背景技术
近年来，在诸如数字摄像机等的摄像装置中能够记录的像素数增加。这与用于显示由摄像装置记录的视频的监视器的标准密切相关。具体而言，从所谓的SD(标准清晰度)标准转变到了所谓的HD(高清晰度)标准，并且，今后计划向具有甚至更高分辨率的监视器转变。
HD分辨率主要是水平方向1920像素乘以垂直方向1080像素(下文中称为1920×1080像素)，并且被认为是下一代的所谓的4K2K监视器的分辨率是3840×2160像素，这是HD标准中的像素数的4倍。此外，正在针对数字影院开发的标准是4096×2160像素，这高于4K2K标准中的像素数。另外，所谓的8K4K标准被认为是4K2K标准之后的下一代标准，并且该标准具有7680×4320像素。采用该标准，数字影院的像素数将被认为是在水平方向上超过8K。
与这种改变相伴随地，要求摄像装置也能够记录更高的像素数。例如，为了与前述超高视觉(super high-vision)中的记录像素数兼容，透镜、图像传感器、用于对视频信号进行数字处理的图像处理LSI以及用于向外部输出视频信号的视频输出LSI等需要与更高像素数兼容。另外，图像传感器的像素计数需要与超高视觉中的像素数兼容。
近年来，出现了如下情况：用作摄像装置中的图像传感器的CMOS图像传感器由于自身的结构而生成了各种噪声。这种噪声的具体示例包括垂直方向上的FPN(固定模式噪声)、由感光度不均匀性导致的垂直线噪声(PRNU)以及由暗电流不均匀性导致的噪声(DSNU)。通常，在摄像装置中的图像处理LSI等中，实时进行FPN校正。使用从图像传感器的光学黑体(OB，Optical Black)像素区域中获取的数据，来进行FPN校正。
然而，由于在具有高像素计数的视频信号中，每帧的信息量大，实时进行校正涉及高的处理负荷。这导致图像处理LSI的规模增大以及电力消耗增大的问题。
日本特开2007-300282号公报公开了如下系统：来自图像传感器的图像数据被记录为未经历图像处理的RAW(原始)数据，然后在稍后的时间进行图像处理。使用日本特开2007-300282号公报中的技术，图像数据能够被直接记录为RAW数据，而不必实时地经历诸如FPN校正的校正处理，从而使得能够减少摄像期间的处理负荷。能够在稍后的时间对RAW数据进行显影处理，而不会给图像处理LSI带来大的负担。
然而，当使用日本特开2007-300282号公报中的技术时，在稍后的时间进行诸如FPN校正的、使用OB像素区域数据的校正处理，因此，来自图像传感器的输出图像被记录为也包括OB像素区域的RAW数据。由此，RAW数据具有大的尺寸，并且记录介质中的容量的消耗量增大。
发明内容
本发明是鉴于以上情形而实现的，并且提供如下技术：在图像数据记录之后进行使用OB像素区域数据的校正处理的情况下，在抑制校正处理的质量降低的同时，削减记录的OB像素区域数据量。
根据本发明的一方面，提供了一种摄像装置，所述摄像装置包括：摄像单元，其包括图像传感器，所述图像传感器具有有效像素区域、以及输出用于校正所述有效像素区域的输出信号的基准信号的基准像素区域；削减单元，其被配置为在满足预定条件的情况下，削减由所述摄像单元获得的图像数据中的、与所述基准像素区域相对应的基准像素区域数据的数据量；以及记录单元，其被配置为在由所述削减单元进行的处理之后记录所述图像数据。
根据本发明的另一方面，提供了一种摄像系统，所述摄像系统包括：摄像单元，其包括图像传感器，所述图像传感器具有有效像素区域、以及输出用于校正所述有效像素区域的输出信号的基准信号的基准像素区域；削减单元，其被配置为在满足预定条件的情况下，削减由所述摄像单元获得的图像数据中的、与所述基准像素区域相对应的基准像素区域数据的数据量；记录单元，其被配置为在由所述削减单元进行的处理之后记录所述图像数据；以及控制单元，其被配置为控制所述摄像单元、所述削减单元以及所述记录单元。
根据本发明的又一方面，提供了一种摄像装置的控制方法，所述摄像装置包括摄像单元，所述摄像单元包括图像传感器，所述图像传感器具有有效像素区域、以及输出用于校正所述有效像素区域的输出信号的基准信号的基准像素区域，所述控制方法包括：削减步骤，在满足预定条件的情况下，削减由所述摄像单元获得的图像数据中的、与所述基准像素区域相对应的基准像素区域数据的数据量；以及记录步骤，在所述削减步骤中进行的处理之后记录所述图像数据。
通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1是示出根据第一实施例的摄像装置100的功能块的图。
图2A是示出图像传感器102的一般像素结构的图。
图2B是示出通过使图2A中所示的视频信号经历图3A中所示的垂直OB像素区域平均化处理而获得的视频信号的图。
图2C是示出通过使图2B中所示的视频信号进一步经历水平OB像素区域平均化处理而获得的视频信号的图。
图3A是对垂直OB像素区域中的一列进行的平均化处理的概念图。
图3B是用于削减OB像素区域像素的位计数的处理的概念图。
图4是示出根据第一实施例的OB像素区域压缩处理的流程的流程图。
图5是示出根据第二实施例的OB像素区域压缩处理的流程的流程图。
具体实施方式
现在，将参照附图来描述本发明的实施例。应当注意，本发明的技术范围是由权利要求限定，并且不受以下描述的实施例中的任何实施例限制。此外，在实施例中描述的特征的所有组合并非都是实现本发明所必需的。
第一实施例
图1是示出根据第一实施例的摄像装置100的功能块的图。在图1中，光学透镜101拾取被摄体光。光学透镜101通常具有用于聚焦的聚焦机构、用于调节光量及景深的光圈机构、以及用于改变焦距的变焦机构。请注意，如果透镜是单焦点透镜，则不提供变焦机构。此外，如果透镜是全焦点透镜，则焦点仅在无限远处的一个点上，并且不提供聚焦机构。为了减小透镜的成本，存在如下情况：光圈位置被设置为一个位置，用于调节光量的ND滤光器被用作替代方案。在本实施例中，任何光学透镜可以用作光学透镜101，只要该光学透镜透射光以在图像传感器102上形成图像即可。
图像传感器102从光学透镜101接收入射光，将该入射光转换为电信号，并且输出该电信号。图像传感器的典型示例包括CCD(电荷耦合器件)图像传感器以及CMOS图像传感器。直接输出模拟视频信号的图像传感器可以用作图像传感器102。可选地，可以使用如下图像传感器：在内部进行AD(模拟数字)转换处理，并且以诸如LVDS(低电压差分信号)等的数字数据格式来输出视频信号。
温度传感器103测量图像传感器102的温度，并且将测量的温度发送到微控制器113。视频分配器104将来自图像传感器102的视频信号分配为多个信号。
位移位和垂直加法电路105通过特别地针对光学黑体(OB)像素区域，根据需要进行诸如位移位、平均化或稀疏化等的处理，来削减来自视频分配器104的分配的视频信号中的像素数。通过使用临时存储原始数据的线存储器106对像素进行垂直相加，来进行平均化。
元数据添加单元107将表示由位移位和垂直加法电路105进行的信号压缩处理(用于削减像素数的处理)的信息作为元数据附加至各帧。当在稍后的时间进行使用OB像素区域数据的校正处理(例如，固定模式噪声(FPN)校正)时，参照该元数据。
记录介质108记录包括OB像素区域数据的视频信号作为RAW数据。位移位和垂直加法电路105根据需要对记录的OB像素区域数据进行了压缩。
视频压缩单元109通过进行用于对整个视频信号进行相加的处理、用于对视频信号的一部分进行稀疏的处理等，来减少来自视频分配器104的分配的视频信号的帧中的像素数。这里，进行视频信号压缩处理(用于减少像素数的处理)以将像素数减少到图像校正单元110(稍后描述)能够实时进行诸如FPN校正等的校正处理的程度。
图像校正单元110对来自视频压缩单元109的压缩视频信号(缩小的图像数据)实时进行诸如FPN校正等的校正处理。图像校正单元110基于校正的视频信号来计算与曝光、聚焦或图像抖动校正等相关的信号评价值，并且将该评价值发送到微控制器113。
显影处理单元111具有摄像装置100中的典型图像处理功能，并且进行各种显影处理，例如噪声降低、伽玛校正、拐点校正、数字增益处理以及缺陷校正。显影处理单元111包括用于存储在各种校正以及图像处理中所需的设置值的存储电路。
显示单元112显示由显影处理单元111进行的显影处理产生的视频。显示单元112通常是附装至摄像装置100的液晶监视器或取景器等。摄像装置100的用户能够使用显示单元112来检查视角以及曝光等。
微控制器113基于来自图像校正单元110的信号评价值以及来自温度传感器103的温度信息等，来确定光学透镜101以及图像传感器102等的操作，并且基于所确定的操作来控制图像传感器控制单元114以及透镜控制单元115。图像传感器控制单元114以及透镜控制单元115基于来自微控制器113的指令，分别控制图像传感器102以及光学透镜101。
接下来，将参照图2A至图2C以及图3A和图3B，来详细描述由位移位和垂直加法电路105进行的操作。图2A是示出图像传感器102的一般像素结构的图。图像传感器102的像素包括接收来自透镜的光并将该光转换为视频信号的有效图像感测像素区域，以及阻挡来自透镜的光并输出黑电平的光学黑体(OB)像素区域。特別地，布置在有效图像感测像素区域上方或下方的OB像素区域被称为垂直OB像素区域，布置在有效图像感测像素区域左侧或右侧的OB像素区域被称为水平OB像素区域。这些OB像素区域主要用在用于调节视频信号的黑电平的水平OB箝位中以及图像传感器FPN校正等中。
在本实施例中，图像数据被记录至记录介质108，而不经历水平OB箝位、图像传感器FPN校正等。为此，为了对记录的视频在稍后的时间适当地进行处理和再现，还需要连同作为来自有效图像感测像素区域的未经处理的视频信号(有效图像感测像素区域数据)的RAW视频一起，将来自OB像素区域的数据(OB像素区域数据)记录在记录介质108中。然而，由于未经处理的RAW视频未经过压缩处理，每帧的数据量非常高。由此，位移位和垂直加法电路105在对水平OB箝位以及图像传感器FPN校正没有大的影响的范围内，压缩OB像素区域。
图3A是对垂直OB像素区域中的一列进行的平均化处理的概念图。位移位和垂直加法电路105能够逐列地对OB像素区域进行平均化，并且将各列压缩为一个像素。虽然未示出，但是也可以对水平OB像素区域进行类似的压缩。
图2B是示出通过使图2A中所示的视频信号经历图3A中所示的垂直OB像素区域平均化处理而获得的视频信号的图。在图2B中，垂直OB像素区域被压缩为一行，并且与图2A相比，数据量被削减。
此外，图2C是示出通过使图2B中所示的视频信号进一步经历水平OB像素区域平均化处理而获得的视频信号的图。在图2C中，水平OB像素区域被压缩为一列，并且与图2B相比，数据量被削减。
图3B是用于削减OB像素区域像素的位计数的处理的概念图。如图3B所示，位移位和垂直加法电路105通过进行位移位，从最初包括12位像素的数字数据中截除4个最低有效位。这样获得各像素被压缩为8位的数据。通过对图2A至图2C中所示的视频信号应用该位计数削减处理，能够进一步削减OB像素区域的数据量。
在本实施例中，摄像装置100在使用OB像素区域的校正处理的质量未降低很多的范围内，对OB像素区域进行压缩处理(数据量削减)。使用OB像素区域的校正处理的示例包括用于基于OB像素区域数据来校正偏差分量(例如，黑电平的变化)的OB箝位，以及用于基于OB像素区域数据来校正噪声分量(例如，FPN)的FPN校正。虽然为了简化描述，下面将仅描述FPN校正，但是OB箝位的基本思路与FPN校正中的类似。
为了确定使用OB像素区域的校正处理中的质量降低的程度，摄像装置100可以使用影响校正目标分量(黑电平变化或FPN)的预定摄像条件(诸如快门速度、增益以及图像传感器102的温度等的参数)。摄像装置100在当前帧(在本次摄像中获得的图像数据)与前一帧(在上次摄像中获得的图像数据)之间比较参数，并且根据参数的改变的程度，来确定OB像素区域将被压缩的程度。
图4是示出根据第一实施例的OB像素区域压缩处理的流程的流程图。压缩处理的基本思路是校正目标分量(黑电平变化或FPN等)相对于前一帧的改变量越低，则在越大的程度上压缩OB像素区域。作为本实施例中的一个示例，摄像装置100根据从前一帧被拍摄的时间起，3个参数(即快门速度、增益以及图像传感器102的温度)中有几个已改变，来确定OB像素区域压缩的程度。然而，确定标准并不限于此，并且摄像装置100可以使用任何参数和任何标准，只要这些参数和标准遵循上述的基本思路即可。
当摄像装置100开始视频拍摄时，该流程图的处理开始。在步骤S401中，微控制器113将用于对已改变的参数的数量进行计数的变量N初始化为0。
在步骤S402中，微控制器113确定当前帧的快门速度与前一帧相比是否改变。如果快门速度改变，则在步骤S403中，微控制器113将N加1。如果快门速度未改变，则过程跳过步骤S403，并进行到步骤S404。
快门速度是图像传感器102的曝光时间，并且在例如曝光时间是1/2000秒的情况与曝光时间是1/2秒的情况之间，图像传感器102的暗电流等与图像传感器102的FPN都是不同的。由此，如果快门速度改变，则需要详细的OB像素区域数据，以抑制FPN校正中的质量降低。根据图4中的流程图，如果快门速度改变，则将N加1，因此，OB像素区域的压缩的程度降低，并且能够抑制FPN校正中的质量降低。
在步骤S404中，微控制器113确定当前帧中的图像传感器102以及摄像装置100中的总增益与前一帧相比是否改变。如果图像传感器102中的放大器等的增益改变，则图像传感器102的FPN改变，因此需要详细的OB像素区域数据，以抑制FPN校正中的质量降低。鉴于此，如果确定增益改变，则在步骤S405中，微控制器113将N加1。如果增益未改变，则过程跳过步骤S405，并进行到步骤S406。
在步骤S406中，微控制器113进行如下确定：在当前帧的拍摄期间的图像传感器102的温度与在前一帧的拍摄期间的温度相比是否改变。如果温度改变，则图像传感器102的暗电流等改变，并且图像传感器102的FPN改变，因此需要详细的OB像素区域数据，以抑制FPN校正中的质量降低。鉴于此，如果确定温度改变，则在步骤S407中，微控制器113将N加1。如果温度未改变，则过程跳过步骤S407，并进行到步骤S408。
请注意，可以在步骤S402、S404以及S406中的一部分或全部中，使用阈值以确定参数是否改变。例如，在步骤S404中，微控制器113可以在增益的改变大于或等于阈值Δy(dB：分贝)的情况下，确定增益改变，而在增益的改变小于Δy(dB)的情况下，确定增益未改变。阈值Δy(dB)的值是摄像装置100唯一的值，并且基于包括的图像传感器102的FPN的大小来确定。可选地，如果图像传感器102中的放大器等的增益已改变，则微控制器113可以不考虑Δy(dB)的值而确定增益改变。在另一示例中，在步骤S406中，微控制器113可以在温度的改变大于或等于阈值Δz的情况下，确定温度改变，而在温度的改变小于Δz的情况下，确定温度未改变。阈值Δz的值是摄像装置100唯一的值，并且基于包括的图像传感器102的暗电流的大小来确定。
在步骤S408中，微控制器113根据变量N的值，进行到处理的多个分支中的一个。具体而言，如果N＝3，则在步骤S409中，微控制器113指示位移位和垂直加法电路105不压缩OB像素区域数据。如果N＝2，则在步骤S410中，微控制器113指示位移位和垂直加法电路105对垂直OB像素区域进行平均化，如图2B所示。如果N＝1，则在步骤S411中，微控制器113指示位移位和垂直加法电路105对垂直OB像素区域和水平OB像素区域进行平均化，如图2C所示。如果N＝0，则在步骤S412中，微控制器113指示位移位和垂直加法电路105对垂直OB像素区域和水平OB像素区域进行平均化，如图2C所示，然后削减位计数，如图3B所示。
请注意，压缩OB像素区域数据的方法并不限于图2B、图2C以及图3B中所示的方法。例如，可以通过以两个像素为单位对OB像素区域中的像素进行平均化，来压缩OB像素区域数据。
在步骤S413中，元数据添加单元107将表示由位移位和垂直加法电路105进行的压缩处理的信息(表示OB像素区域数据如何被压缩的信息)作为元数据添加至视频信号。这是因为当在稍后的时间进行FPN校正时，每帧的像素数以及数据量将已改变，因此将无法正确地进行FPN校正，除非OB像素区域数据的压缩状态已被记录。
在步骤S414中，摄像装置100将当前帧数据连同元数据一起记录至记录介质108。然后，过程进行到步骤S401，并且对下一帧重复类似的处理。
如上所述，根据第一实施例，根据要基于OB像素区域数据被校正的校正目标分量(偏差分量或噪声分量)相对于前一帧已改变的程度，摄像装置100压缩OB像素区域。具体而言，摄像装置100在改变的程度小于或等于阈值的情况下(在图4中的示例中，N＝2、1或0的情况)，压缩OB像素区域，而在相反的情况下，不压缩OB像素区域(在图4中的示例中，N＝3的情况)。此外，在压缩OB像素区域的情况下，如果校正目标分量相对于前一帧的改变量越小，则摄像装置100在越大的程度上压缩OB像素区域数据。
因此，在图像数据记录之后进行使用OB像素区域数据的校正处理的情况下，能够在抑制校正处理的质量降低的同时，减少记录的OB像素区域数据量。
变型例
在图4的流程图中，基于有助于校正目标分量的生成的摄像条件(诸如快门速度等的参数)相对于前一帧的改变，摄像装置100确定校正目标分量相对于前一帧的改变的程度。与此相反，在下面描述的变型例中，基于由视频压缩单元109生成的缩小的图像数据中包括的校正目标分量，来确定全尺寸图像数据中包括的校正目标分量相对于前一帧的改变的程度。
具体而言，伴随着对缩小的图像数据进行的校正处理，图像校正单元110检测缩小的图像数据中包括的校正目标分量，并且将检测到的校正目标分量通知给微控制器113。微控制器113通过将通知的校正目标分量与前一帧的缩小的图像数据中包括的校正目标分量进行比较，来确定缩小的图像数据中包括的校正目标分量的改变的程度。全尺寸图像数据中包括的校正目标分量的改变被认为大致对应于缩小的图像数据中包括的校正目标分量的改变。鉴于此，基于缩小的图像数据中包括的校正目标分量的改变的程度，微控制器113在改变的程度越低的情况下，指示位移位和垂直加法电路105在越大的程度上削减OB像素区域的数据量。
第二实施例
在第二实施例中，将描述删除OB像素区域数据以大幅地削减OB像素区域的数据量的结构。另外，在下面描述的结构中，在通过连续多次进行摄像而获得的多个帧中压缩了OB像素区域的情况下，在下一次摄像中获得的帧中不压缩OB像素区域，而不考虑校正目标分量的改变的程度。在本实施例中，摄像装置100的基本结构与第一实施例中的类似(参见图1)。
图5是示出根据第二实施例的OB像素区域压缩处理的流程的流程图。对用于进行与图4中的步骤相同或类似的处理的该流程图中的步骤，给予了与图4中相同的附图标记，并且将不再描述这些步骤。
在步骤S501中，微控制器113将变量M初始化为0，该变量M用于对OB像素区域已被压缩的连续帧的数量进行计数。
在步骤S502中，微控制器113确定M是否大于或等于阈值Th。如果M大于或等于阈值，则过程进行到步骤S409，在步骤S409中，微控制器113指示位移位和垂直加法电路105不压缩OB像素区域数据。这样，如果OB像素区域压缩已持续的帧数大于或等于阈值，则不进行步骤S408的确定，并且不压缩OB像素区域数据，而不考虑摄像条件是否已改变。请注意，例如，如果以60fps驱动图像传感器102，则将阈值Th设置为60。在这种情况下，始终每秒一次地创建记录有整个OB像素区域的帧。
如果在步骤S408中N＝0，则过程进行到步骤S503，在步骤S503中，微控制器113指示位移位和垂直加法电路105删除OB像素区域。这样，在本实施例中，如果摄像条件的改变非常小(即，如果校正目标分量的改变非常小)，则OB像素区域被删除，而不是被压缩。
在不压缩OB像素区域数据的情况下，过程进行到步骤S504，在步骤S504中，微控制器113将变量M初始化为0。另一方面，在不压缩或删除OB像素区域数据的情况下，过程进行到步骤S505、S506或S507，在步骤S505、S506或S507中，微控制器113将变量M加1。
如上所述，根据第二实施例，如果在步骤S408中N＝0(即，如果摄像条件的改变非常小)，则摄像装置100在记录图像数据之前先删除OB像素区域数据。此外，如果在通过连续多次进行摄像而获得的多个帧中，压缩了OB像素区域，则摄像装置100在下一次摄像中获得的帧中不压缩OB像素区域，而不考虑校正目标分量的改变的程度。这使得能够大幅地削减OB像素区域的数据量，并且抑制校正处理的质量降低。
其他实施例
也可以通过读出并执行记录在存储介质(例如，非暂时性计算机可读存储介质)上的计算机可执行指令以执行本发明的上述实施例中的一个或更多个实施例的功能的系统或装置的计算机，以及可以利用由通过例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个实施例的功能的系统或装置的计算机执行的方法，来实现本发明的各实施例。计算机可以包括中央处理单元(CPU)、微处理单元(MPU)或其他电路中的一个或更多个，并且可以包括独立的计算机或独立的计算机处理器的网络。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存设备、存储卡等中的一个或更多个。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限定于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使所述范围涵盖所有的此类变形以及等同结构和功能。

Claims (14)

1.一种摄像装置，该摄像装置包括：
摄像单元，其包括图像传感器，所述图像传感器具有有效像素区域、以及输出用于校正所述有效像素区域的输出信号的基准信号的基准像素区域；
削减单元，其被配置为在满足预定条件的情况下，削减由所述摄像单元获得的图像数据中的、与所述基准像素区域相对应的基准像素区域数据的数据量；以及
记录单元，其被配置为在由所述削减单元进行的处理之后记录所述图像数据。
2.根据权利要求1所述的摄像装置，其中，在通过由所述摄像单元进行的本次摄像获得的图像数据中的、与所述有效像素区域相对应的有效像素区域数据中包括的校正目标分量、相对于由所述摄像单元进行的上次摄像的改变的程度小于或等于阈值的情况下，所述削减单元削减所述图像数据中的、与所述基准像素区域相对应的所述基准像素区域数据的数据量。
3.根据权利要求2所述的摄像装置，其中，所述削减单元基于在所述本次摄像中的有助于所述校正目标分量的生成的摄像条件、相对于所述上次摄像的改变，来确定所述校正目标分量的所述改变的程度。
4.根据权利要求2或3所述的摄像装置，其中，所述校正目标分量包括基于所述基准像素区域数据校正的偏差分量以及噪声分量中的至少一者。
5.根据权利要求2所述的摄像装置，所述摄像装置还包括：
生成单元，其被配置为通过削减所述图像数据中的像素数来生成缩小的图像数据；以及
检测单元，其被配置为检测所述缩小的图像数据中的、与所述校正目标分量相对应的分量，
其中，所述削减单元基于由所述检测单元检测到的分量相对于所述上次摄像的改变，来确定所述校正目标分量的所述改变的程度。
6.根据权利要求2所述的摄像装置，其中，所述校正目标分量的所述改变的程度越小，则所述削减单元在越大的程度上削减所述基准像素区域数据的数据量。
7.根据权利要求1所述的摄像装置，其中，所述削减单元通过使所述基准像素区域数据经历用于削减像素数和每像素的位计数中的至少一者的处理，来削减所述基准像素区域数据的数据量。
8.根据权利要求7所述的摄像装置，其中，所述基准像素区域包括光学黑体像素区域，所述削减单元通过进行两个处理中的至少一个，来削减所述光学黑体像素区域数据中的像素数，所述两个处理中的一个处理用于对所述光学黑体像素区域数据中的、与垂直光学黑体像素区域相对应的像素逐列地进行平均化，所述两个处理中的另一处理用于对所述光学黑体像素区域数据中的、与水平光学黑体像素区域相对应的像素逐行地进行平均化。
9.根据权利要求1所述的摄像装置，其中，所述削减单元通过从所述图像数据中删除所述基准像素区域数据，来削减所述基准像素区域数据的数据量。
10.根据权利要求1所述的摄像装置，其中，所述记录单元将表示所述削减单元如何削减所述基准像素区域数据的数据量的信息与所述图像数据一起记录。
11.根据权利要求2所述的摄像装置，其中，在所述削减单元对通过连续多次进行摄像而获得的多个图像数据进行了所述削减的情况下，所述削减单元不对在下次摄像中获得的图像数据进行所述削减，而不考虑所述校正目标分量的所述改变的程度。
12.根据权利要求4所述的摄像装置，其中，所述偏差分量是所述图像传感器的黑电平的变化，所述噪声分量是所述图像传感器的固定模式噪声。
13.一种摄像系统，该摄像系统包括：
摄像单元，其包括图像传感器，所述图像传感器具有有效像素区域、以及输出用于校正所述有效像素区域的输出信号的基准信号的基准像素区域；
削减单元，其被配置为在满足预定条件的情况下，削减由所述摄像单元获得的图像数据中的、与所述基准像素区域相对应的基准像素区域数据的数据量；
记录单元，其被配置为在由所述削减单元进行的处理之后记录所述图像数据；以及
控制单元，其被配置为控制所述摄像单元、所述削减单元以及所述记录单元。
14.一种摄像装置的控制方法，所述摄像装置包括摄像单元，所述摄像单元包括图像传感器，所述图像传感器具有有效像素区域、以及输出用于校正所述有效像素区域的输出信号的基准信号的基准像素区域，所述控制方法包括：
削减步骤，在满足预定条件的情况下，削减由所述摄像单元获得的图像数据中的、与所述基准像素区域相对应的基准像素区域数据的数据量；以及
记录步骤，在所述削减步骤中进行的处理之后记录所述图像数据。
CN201410471892.3A 2013-09-18 2014-09-16 摄像装置、摄像系统及摄像装置的控制方法 Expired - Fee Related CN104469186B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-193490 2013-09-18
JP2013193490A JP6271926B2 (ja) 2013-09-18 2013-09-18 撮像装置、その制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN104469186A true CN104469186A (zh) 2015-03-25
CN104469186B CN104469186B (zh) 2017-10-24

Family

ID=52580041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410471892.3A Expired - Fee Related CN104469186B (zh) 2013-09-18 2014-09-16 摄像装置、摄像系统及摄像装置的控制方法

Country Status (5)

Country Link
US (1) US9721609B2 (zh)
JP (1) JP6271926B2 (zh)
CN (1) CN104469186B (zh)
DE (1) DE102014013446A1 (zh)
RU (1) RU2619721C2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110365922A (zh) * 2019-07-03 2019-10-22 成都微光集电科技有限公司 一种图像传感器的黑电平校正方法
CN110873940A (zh) * 2018-09-04 2020-03-10 佳能株式会社 透镜装置和包括透镜装置的成像系统
US11586095B2 (en) 2018-09-04 2023-02-21 Canon Kabushiki Kaisha Lens apparatus and camera system having the same

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102443218B1 (ko) * 2016-01-06 2022-09-15 삼성전자주식회사 전자 장치 및 그의 동작 방법
JP2017143340A (ja) * 2016-02-08 2017-08-17 株式会社デンソー 情報処理装置及びプログラム
JP2018006785A (ja) * 2016-06-27 2018-01-11 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、撮像装置、及び信号処理方法
US10721426B2 (en) * 2017-08-31 2020-07-21 Canon Kabushiki Kaisha Solid-state image sensor, image capture apparatus and image capture method
DE102018203969A1 (de) * 2018-03-15 2019-09-19 Conti Temic Microelectronic Gmbh Automobile Kamera mit Rohbildsignalschnittstelle
JP7146424B2 (ja) 2018-03-19 2022-10-04 キヤノン株式会社 光電変換装置及び撮像システム
US20190356877A1 (en) * 2018-05-17 2019-11-21 Sony Semiconductor Solutions Corporation Image sensor with s/h-to-adc voltage range matching
CN110365925B (zh) * 2019-07-11 2021-08-31 北京安酷智芯科技有限公司 一种读出电路、偏置电路噪声确定方法及装置
US20230096541A1 (en) * 2021-10-26 2023-03-30 Canon Kabushiki Kaisha Image processing apparatus and image processing method

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6614473B1 (en) * 1997-10-03 2003-09-02 Olympus Optical Co., Ltd. Image sensor having a margin area, located between effective pixel and optical black areas, which does not contribute to final image
JP2005175930A (ja) * 2003-12-11 2005-06-30 Canon Inc 撮像装置及びその信号処理方法と撮像システム
US20060044424A1 (en) * 2004-08-31 2006-03-02 Canon Kabushiki Kaisha Image signal processing apparatus, image signal processing method and camera using the image signal processing apparatus
CN1761309A (zh) * 2004-10-13 2006-04-19 松下电器产业株式会社 图像数据的信号处理装置及方法
CN1783957A (zh) * 2004-11-26 2006-06-07 株式会社东芝 固体摄像器件
CN101268682A (zh) * 2005-07-21 2008-09-17 美光科技公司 使用并行输入算术平均模块减少成像器噪声的方法和设备
JP2009017459A (ja) * 2007-07-09 2009-01-22 Fujifilm Corp Ｃｃｄ型固体撮像素子及びその駆動方法並びに撮像装置
CN101841666A (zh) * 2009-03-16 2010-09-22 佳能株式会社 图像传感器和摄像设备
CN102547087A (zh) * 2010-11-24 2012-07-04 卡西欧计算机株式会社 成像设备、图像处理方法和计算机可读存储介质
CN102843526A (zh) * 2011-06-24 2012-12-26 佳能株式会社 摄像设备及其控制方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007300282A (ja) 2006-04-28 2007-11-15 Sony Corp 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
JP4385060B2 (ja) * 2007-05-16 2009-12-16 シャープ株式会社 固体撮像装置および電子情報機器
EP2154481A4 (en) * 2007-05-31 2014-09-10 Panasonic Ip Corp America PICTURE RECORDING DEVICE, SERVER FOR PROVIDING ADDITIONAL INFORMATION AND SYSTEM FOR FILING SUPPLEMENTARY INFORMATION
JP5231284B2 (ja) * 2008-03-31 2013-07-10 富士フイルム株式会社 撮像装置、撮像方法、およびプログラム
JP2010200109A (ja) * 2009-02-26 2010-09-09 Canon Inc 撮像装置、制御方法、及びプログラム
JP5251926B2 (ja) * 2010-06-16 2013-07-31 セイコーエプソン株式会社 撮影装置およびタイミング制御回路
JP5814692B2 (ja) * 2011-08-15 2015-11-17 キヤノン株式会社 撮像装置及びその制御方法、プログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6614473B1 (en) * 1997-10-03 2003-09-02 Olympus Optical Co., Ltd. Image sensor having a margin area, located between effective pixel and optical black areas, which does not contribute to final image
JP2005175930A (ja) * 2003-12-11 2005-06-30 Canon Inc 撮像装置及びその信号処理方法と撮像システム
US20060044424A1 (en) * 2004-08-31 2006-03-02 Canon Kabushiki Kaisha Image signal processing apparatus, image signal processing method and camera using the image signal processing apparatus
CN1761309A (zh) * 2004-10-13 2006-04-19 松下电器产业株式会社 图像数据的信号处理装置及方法
CN1783957A (zh) * 2004-11-26 2006-06-07 株式会社东芝 固体摄像器件
CN101268682A (zh) * 2005-07-21 2008-09-17 美光科技公司 使用并行输入算术平均模块减少成像器噪声的方法和设备
JP2009017459A (ja) * 2007-07-09 2009-01-22 Fujifilm Corp Ｃｃｄ型固体撮像素子及びその駆動方法並びに撮像装置
CN101841666A (zh) * 2009-03-16 2010-09-22 佳能株式会社 图像传感器和摄像设备
CN102547087A (zh) * 2010-11-24 2012-07-04 卡西欧计算机株式会社 成像设备、图像处理方法和计算机可读存储介质
CN102843526A (zh) * 2011-06-24 2012-12-26 佳能株式会社 摄像设备及其控制方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110873940A (zh) * 2018-09-04 2020-03-10 佳能株式会社 透镜装置和包括透镜装置的成像系统
US11256071B2 (en) 2018-09-04 2022-02-22 Canon Kabushiki Kaisha Lens apparatus and imaging system including the same
CN110873940B (zh) * 2018-09-04 2022-06-24 佳能株式会社 透镜装置和包括透镜装置的成像系统
US11586095B2 (en) 2018-09-04 2023-02-21 Canon Kabushiki Kaisha Lens apparatus and camera system having the same
CN110365922A (zh) * 2019-07-03 2019-10-22 成都微光集电科技有限公司 一种图像传感器的黑电平校正方法
CN110365922B (zh) * 2019-07-03 2021-09-14 成都微光集电科技有限公司 一种图像传感器的黑电平校正方法

Also Published As

Publication number Publication date
US20150078725A1 (en) 2015-03-19
DE102014013446A1 (de) 2015-03-19
RU2619721C2 (ru) 2017-05-17
US9721609B2 (en) 2017-08-01
JP6271926B2 (ja) 2018-01-31
RU2014137122A (ru) 2016-04-10
JP2015061199A (ja) 2015-03-30
CN104469186B (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
CN104469186A (zh) 摄像装置、摄像系统及摄像装置的控制方法
CN104427251B (zh) 焦点检测设备、其控制方法、以及摄像设备
CN105245772B (zh) 摄像元件、摄像元件的控制方法和摄像设备
CN102572273B (zh) 摄像装置
JP6300529B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
US10200593B2 (en) Image capturing apparatus and control method thereof
CN103139476A (zh) 图像摄取装置及图像摄取装置的控制方法
KR100986203B1 (ko) 촬상 장치 및 이에 이용하는 결함 화소 보정 방법
JP4985220B2 (ja) 画像処理装置、カメラ、画像処理プログラムおよび画像処理方法
JP5084366B2 (ja) 撮像装置及び撮像装置の制御方法
US20230186501A1 (en) Depth information generating apparatus, image capturing apparatus, depth information generating method, image processing apparatus, and image processing method
CN103581578A (zh) 图像拾取装置和图像拾取方法
JP2013219665A (ja) 撮像装置、その制御方法およびプログラム
JP2011120111A (ja) 固体撮像装置および電子情報機器
CN102572274A (zh) 图像信号处理装置以及图像信号处理方法
JP2010041682A (ja) 画像処理装置及び画像処理方法
JP5245642B2 (ja) 撮像装置及び欠陥補正装置
JP5172283B2 (ja) ステレオ画像処理装置、ステレオ画像処理方法およびプログラム
JP2015216601A (ja) 撮像装置およびその制御方法ならびにプログラム
US8189094B2 (en) Image processing apparatus and image processing method
CN105100587A (zh) 摄像装置及其控制方法
JP5968145B2 (ja) 画像処理装置及びその制御方法
JP4952548B2 (ja) ノイズ検出装置、撮像装置、およびノイズ検出方法
JP4819859B2 (ja) 撮像装置及び画像処理方法
JP2015061137A (ja) 撮像装置、その制御方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171024

Termination date: 20210916

CF01 Termination of patent right due to non-payment of annual fee