CN105100587A - 摄像装置及其控制方法 - Google Patents
摄像装置及其控制方法 Download PDFInfo
- Publication number
- CN105100587A CN105100587A CN201510225120.6A CN201510225120A CN105100587A CN 105100587 A CN105100587 A CN 105100587A CN 201510225120 A CN201510225120 A CN 201510225120A CN 105100587 A CN105100587 A CN 105100587A
- Authority
- CN
- China
- Prior art keywords
- region
- data
- pixel area
- effective pixel
- adjustment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 160
- 230000008569 process Effects 0.000 claims abstract description 145
- 238000012937 correction Methods 0.000 claims abstract description 38
- 230000008859 change Effects 0.000 claims description 14
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 241001269238 Data Species 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 61
- 230000003287 optical effect Effects 0.000 description 17
- 238000011161 development Methods 0.000 description 14
- 230000018109 developmental process Effects 0.000 description 14
- 210000003128 head Anatomy 0.000 description 13
- 230000011218 segmentation Effects 0.000 description 13
- 241000219739 Lens Species 0.000 description 8
- 210000000695 crystalline len Anatomy 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000006641 stabilisation Effects 0.000 description 6
- 238000011105 stabilization Methods 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000003252 repetitive effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 240000001439 Opuntia Species 0.000 description 1
- 101100178269 Schizosaccharomyces pombe (strain 972 / ATCC 24843) hob1 gene Proteins 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/393—Enlarging or reducing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
- H04N1/4076—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on references outside the picture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
- H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本发明提供一种摄像装置及其控制方法。该摄像装置包括：图像传感器，二维地排列有包括校正像素区域和有效像素区域的像素；以及生成单元，其被构造为根据从所述有效像素区域和所述校正像素区域获取的信号来生成未压缩的图像数据或无损压缩的图像数据，其中，在要对所述图像数据中包括的所述有效像素区域执行调整处理的情况下，所述生成单元不对所述校正像素区域执行所述调整处理。
Description
技术领域
本发明涉及一种摄像装置及其控制方法。
背景技术
诸如摄像机等许多摄像装置采用如下方法：图像传感器生成的视频信号被转换为数字数据，该数字数据经历各种信号处理然后使用有损压缩技术被编码，编码后的数据被记录在记录介质中。然而，诸如用于摄制电影的一些专业照相机采用如下方法：图像传感器生成的视频信号在经历无损压缩之后被记录，或者以作为未压缩格式的RAW格式被记录为图像数据(在下文中，被称为“RAW图像数据”)。该方法使得在记录之后能够执行用户可以指定各种参数的显影处理，从而用户能够生成符合自己的意愿的视频。
当记录RAW图像数据时，通常使用如下技术：显影参数也被记录为附加的信息(元数据)，然后能够用于显影处理。例如，已知如下技术：当进行通过数字变焦实现的放大处理时，放大倍率被保存为元数据并且RAW图像数据被按原样记录(日本特开第2009-147743号公报)。同时，处理诸如4K和超高清画质格式等高分辨率视频数据的需求日益增加，这趋向于急剧增加记录的RAW图像数据的大小。针对此，已知通过将图像调整至对大多数用户而言足够的大小来降低数据量的技术(日本特开第2007-166551号公报)。
顺便提及，当记录RAW图像数据时，执行最低要求的图像校正(例如使用从图像传感器输出的光学黑体区域(opticalblackregion，在下文中为“OB区域”)中像素的噪声去除、夹紧处理(设置黑色水平)、或针对缺失像素的校正)。然而，随着诸如4K和超高清画质等高分辨率视频信号所需的处理量的增加，期望通过采用在记录后的显影处理中执行最低要求的图像校正的结构，来抑制对视频信号进行的处理量并且缩小摄像装置中电路的规模等。
为了实现在记录后的显影处理中执行最低要求的图像校正的结构，必须记录包括OB区域的RAW图像数据。然而，当执行诸如数字变焦、切换纵横比、数字图像稳定引起的动态提取位置改变等的调整处理时，如何处理OB区域数据成为问题。具体而言，如果响应于由于数字变焦导致的视角的动态切换、由于数字图像稳定导致的提取位置的动态改变等，而动态改变OB区域，则能够预想到根据图像传感器的质量在帧之间会发生图像校正的大改变。尽管上述日本特开第2009-147743号公报和日本特开第2007-166551号公报公开了用于对RAW图像数据执行放大处理的技术，但是未公开用于将放大处理应用于包括OB区域的RAW图像数据的技术。
发明内容
考虑到上述问题而作出本发明，本发明实现了一种能够在降低生成RAW图像数据中涉及的处理量的同时抑制涉及调整处理的显影时的校正质量的下降的摄像装置及其控制方法。
为了解决上述问题，本发明提供一种摄像装置，该摄像装置包括：图像传感器，二维地排列有包括校正像素区域和有效像素区域的像素；以及生成单元，其被构造为根据从所述有效像素区域和所述校正像素区域获取的信号来生成未压缩的图像数据的或无损压缩的图像数据，其中，在要对所述图像数据中包括的所述有效像素区域执行调整处理的情况下，所述生成单元不对所述校正像素区域执行所述调整处理。
为了解决上述问题，本发明提供一种摄像装置的控制方法，所述摄像装置具有二维地排列有包括校正像素区域和有效像素区域的像素的图像传感器，所述控制方法包括：生成步骤，根据从所述有效像素区域和所述校正像素区域获取的信号来生成未压缩的图像数据或无损压缩的图像数据，其中，在要对所述图像数据中包括的所述有效像素区域执行调整处理的情况下，在所述生成步骤中不对所述校正像素区域执行所述调整处理。
根据本发明，能够在降低生成RAW图像数据中涉及的处理量的同时抑制在涉及调整处理的显影时的校正质量的下降。
根据以下(参照附图)对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1A至图1C是用作体现本发明的摄像装置的示例的摄像机的外观图。
图2A和图2B是例示根据实施例的摄像机的功能结构的示例(图2A)和信号分割单元的内部结构(图2B)的框图。
图3A和图3B是示意性例示具有OB区域的RAW图像数据的图(图3A)和例示其数据阵列的示例的图(图3B)。
图4A和图4B是示意性例示通过根据第一实施例的调整处理生成的RAW图像数据的图。
图5A和图5B是例示通过根据第一实施例的调整处理生成的RAW图像数据的数据阵列的示例的图。
图6是例示根据第一实施例的调整处理中的一系列操作的流程图。
图7A和图7B是示意性例示通过根据第二实施例的调整处理生成的RAW图像数据的图。
图8是例示根据第二实施例的调整处理中的一系列操作的流程图。
图9是例示根据第三实施例的调整处理中的一系列操作的流程图。
具体实施方式
下面，将详细说明本发明的实施例。以下实施例仅是用于实现本发明的示例。应当根据各种条件和应用本发明的装置的结构，来适当修改和改变实施例。本发明应当不限于以下实施例。此外，可以适当组合稍后描述的实施例的部分。
第一实施例
在下文中，将给出如下示例用作摄像装置的示例的说明：本发明应用于能够以未压缩的或无损压缩的RAW格式图像数据(在下文中为“RAW图像数据”)记录视频信号的各帧的给定摄像机。然而，本发明不限于摄像机，可以应用于能够记录RAW图像数据的任意电子设备。例如，这种电子设备可以包括移动电话、游戏设备、平板电脑终端、个人计算机等。
在本实施例中，假设光学黑体区域(下文中为“OB区域”)中的像素为用于校正当图像传感器处于遮光状态时从图像传感器输出的信号的像素。同时，“调整处理”是指，为了切换纵横比率，通过数字变焦改变变焦倍率、改变用于数字图像稳定的提取位置等，从临时保持的图像数据中的所有像素中选择一些像素并且由选择的像素生成图像数据的处理。
摄像机100的结构
图1A、图1B、图1C和图2A分别例示了用作根据本实施例的摄像装置的示例的摄像机100的外观图和功能结构。注意，图2A中所示的功能块的一个或多个可以被实现作为诸如ASIC或可编程逻辑阵列(PLA)等硬件，或者可以被实现作为通过诸如CPU或MPU等可编程处理器执行的软件。功能块也可以被实现作为软件和硬件的组合。因此，在以下说明中，即使当不同的功能块被指示为执行操作的主要部件时，这些功能块也可以由相同的硬件实体实现。
在图2A中所示的、显示图像以及各种类型信息等的显示单元107中包括图1B和图1C中所示的监视器28和取景器29。
触发按钮61是用于做出拍摄指示的操作按钮，而电源/模式开关72是用于打开和关闭电源、在拍摄模式和回放模式之间进行切换等的操作按钮，并且如同触发按钮61被包括在操作单元115中。操作面板70是由接受来自用户的各种操作的、诸如各种开关和按钮等的操作部件构成，并且同样地被包括在操作单元115中。
连接器12是将视频信号从摄像机100输出到外部监视器、外部记录装置等的连接器，并且构成外部输出I/F120。电池盖11是保持安装的电池的盖。
存取指示灯13是指示用于记录的卡槽的状态的灯，并且被包括在显示单元107中。
接下来，将参照图2A描述各个功能块。
光学系统101是由一组多个镜头构成的拍摄镜头，并且包括除了聚焦镜头、变焦镜头和移位镜头之外的光圈、中性密度(ND，neutraldensity)滤波器等。
图像传感器102具有如下结构：二维地排列各自具有光电转换元件的多个像素。图像传感器102以像素为单位光电转换由光学系统101形成的被摄体的光学图像，还使用A/D转换电路执行模数转换，并以像素为单位输出图像信号(RAW图像数据)。可以采用CCD(Charge-CoupledDevice，电荷耦合器件)图像传感器、CMOS(ComplementaryMetalOxideSemiconductor，互补金属氧化物半导体)图像传感器等作为图像传感器102。如稍后所述，输出信号的图像传感器102中的像素包括：表示被摄体的光学图像的信号强度的有效图像区域像素以及用于校正(噪声去除、夹紧(clamping)等)从图像传感器中的像素中输出的信号的OB区域像素。
信号分割单元103将与来自图像传感器102的RAW图像数据相对应的数字信号分割为两个。由信号分割单元103进行分割产生的一个信号对应于包括所有像素的RAW图像数据，该信号经由调整处理单元121被输出到记录介质I/F单元104。另一个信号是具有小数据大小的RAW图像数据，并且被输出到显示图像处理单元106。
记录介质I/F单元104是记录介质105与摄像机100之间的接口，对从信号分割单元103输入的RAW图像数据记录到记录介质105以及从记录介质105读出记录的RAW图像数据等进行控制。
记录介质105是由用于记录拍摄到的视频或图像数据的半导体存储器等构成的记录介质，并且在记录介质I/F单元104的控制下记录RAW图像数据、读出记录的RAW图像数据等。
显示图像处理单元106校正图像传感器产生的水平差。例如，显示图像处理单元106使用OB区域像素校正有效区域中像素的水平，使用外围像素对缺失像素执行校正等。显示图像处理单元106也进行诸如用于降低外围光量的校正、色彩校正、边缘增强、噪声去除、伽马校正、去拜耳(deBayering)、压缩等各种处理。对从信号分割单元103输入的RAW图像数据进行所述处理之后，显示图像处理单元106将校正后的图像数据输出到显示单元107、增益控制单元108、其他控制单元等。
显示单元107是显示从显示图像处理单元106输出的图像数据用于确认视角的监视器、取景器等。除了显示摄像机的各种信息之外，显示单元107也指示使用存取指示灯13的状态。
以下将描述的增益控制单元108、快门控制单元109、光圈控制单元110以及滤波器控制单元111各自参照显示图像处理单元106输出的图像数据并且计算其亮度水平。
增益控制单元108通过基于计算出的亮度水平计算图像传感器102中内部应用的增益值来控制图像传感器102的增益。快门控制单元109通过基于计算出的亮度水平计算要在图像传感器102中设置的快门速度值来控制图像传感器102的快门速度。光圈控制单元110通过基于计算出的亮度水平计算要在光学系统101中设置的光圈值来控制光学系统101的光圈。例如，滤波器控制单元111通过基于计算出的亮度水平计算要在光学系统101中设置的中性密度(ND)滤波器值来控制经由ND滤波器入射在光学系统101上的光量。
聚焦控制单元112通过参照从显示图像处理单元106输出的图像数据来计算聚焦信息，并且基于计算出的聚焦信息控制光学系统101中的聚焦镜头。
变焦控制单元113基于操作单元115输入的焦距信息控制光学系统101中的变焦镜头。稳定控制单元114通过参照从显示图像处理单元106输出的图像数据来计算被摄体的移动矢量，并且基于计算出的移动矢量执行为了抵消照相机抖动而控制光学系统101中的移位镜头的光学图像稳定处理。另选地，稳定控制单元114执行提取在抵消由于照相机抖动引起的不稳定的方向上动画的各帧中的图像的电子图像稳定处理。
操作单元115由上述触发按钮61、操作面板70等构成，用户通过操作单元115做出操作指示来执行诸如拍摄指示、纵横比切换、数字变焦等各种操作，以及焦距调节等。在接收到用于切换纵横比、调节数字变焦等操作指示时，例如，操作单元115向控制单元122通知指示。
存储器I/F单元116将从信号分割单元103输出的所有像素的RAW图像数据写入存储器117，读出存储器117中保持的RAW图像数据，并将该数据输出到控制图像处理单元118。存储器117是保持来自几个帧的所有像素的RAW图像数据的易失性存储介质。
控制图像处理单元118执行对从存储器I/F单元116发送的所有像素的RAW图像数据的控制所需的图像处理。控制图像处理单元118校正后的数据被输出到聚焦控制单元112、稳定控制单元114等。
外部输出图像处理单元119针对从记录介质I/F单元104输出的RAW图像数据执行用于外部输出的图像处理。从记录介质I/F单元104输出的RAW图像数据包括经由记录介质I/F单元104读出并且被记录在记录介质105中的RAW图像数据。外部输出图像处理单元119通过执行例如使用OB区域的数据校正有效区域中像素的水平的处理、使用外围像素校正缺失像素的处理等，来生成校正后的图像数据。外部输出图像处理单元119也进行诸如外围光量降低校正、色彩校正、边缘增强、噪声去除、伽玛校正、去拜耳、压缩等各种处理。
外部输出I/F120是将视频数据从外部输出图像处理单元119输出到外部的接口。例如，外部输出I/F120将校正后的图像数据输出到外部显示监视器、外部记录介质等。
调整处理单元121临时保持针对从信号分割单元103依次输出的像素数据的、所有像素的RAW图像数据，对保持的像素数据执行预定调整处理，输出作为结果生成的RAW图像数据。
控制单元122包括CPU、ROM、RAM等，通过CPU将ROM中存储的程序加载到RAM的工作区域并且执行这些程序来控制摄像机100的整体操作。控制单元122通过执行ROM中存储的程序来实施稍后提到的根据本实施例的各个处理。RAM加载用于控制单元122的操作的常量和变量，以及从ROM读出的程序等。此外，在从操作单元115接收到用于切换纵横比、调节数字变焦等操作指示时，控制单元122控制调整处理单元122进行的调整处理。
图2B例示了根据本实施例的摄像机100中的信号分割单元103的内部结构。像素信号保持单元201临时保持从图像传感器102输出的RAW图像数据中的、依次输出的一些像素数据。保持的数据被输入到水平像素相加单元202以及调整处理单元121，并且从调整处理单元121输出的数据被输入到记录介质I/F单元104、存储器I/F单元116等。
水平像素相加单元202通过对从像素信号保持单元201依次发送的像素数据的四个像素的数据进行相加，来生成一个像素的数据。这将RAW图像数据中的水平像素数降低到1/4。垂直像素相加单元203将从水平像素相加单元202输入的RAW图像数据的四行数据保持在内部存储器中，对同一列中四个连续的像素进行相加，并且将结果输出到显示图像处理单元106。这将RAW图像数据中的垂直像素数降低到1/4。
RAW图像数据的结构和调整处理的概要
接下来，将参照图3A和图3B描述具有OB(光学黑体)区域的RAW图像数据的结构。图3A是示意性例示RAW图像数据的图。RAW图像数据由用于校正的像素组(即，垂直光学黑体(VOB)区域301和水平光学黑体(HOB)区域302)以及包括有效像素区域303和区域304(不用于显影时的图像校正的OB区域)的像素组构成。各区域的左上地址信息(x，y)、垂直大小(高度)以及水平大小(宽度)被记录在附加至各RAW图像数据的元数据。当加载并显影RAW图像数据时能够使用该元数据将RAW图像数据分割为这些各区域，因此，在显影时能够使用OB区域中的像素执行噪声去除、夹紧等。
图3B示意性例示了RAW图像数据中的数据阵列。以像素为单位依次布置一个水平行的数据，并进一步布置这些行的几个垂直行。数据量等于(HOB区域水平大小(hob宽度)+有效像素区域水平大小(宽度))×(VOB区域垂直大小(vob高度)+有效像素区域垂直大小(高度))×1像素。
将参照图4A至图5B描述对这种RAW图像数据执行的调整处理的示例。本实施例描述了如下示例：通过仅对有效像素区域303执行调整处理而不对OB区域(即，VOB区域301和HOB区域302)执行调整处理，来减少RAW图像数据的数据量而不降低显影时的图像校正质量。
将参照图4A和图4B描述应用根据本实施例的调整处理的RAW图像数据。
图4A示意性例示了当对图3A所示的图像执行数字变焦时通过调整处理单元121进行的调整处理生成的RAW图像数据。在该示例中，调整处理单元121通过不对VOB区域301和HOB区域302执行调整处理而仅对有效像素区域303执行基于数字变焦倍率的调整处理，来生成有效像素区域401。同时，图4B示意性例示了当在图3A所示的图像中切换纵横比时通过调整处理生成的RAW图像数据。如图4A所示，调整处理单元121通过不对VOB区域301和HOB区域302执行调整处理而仅对有效像素区域303执行基于纵横比的调整处理，来生成有效像素区域402。
因为通过仅对有效像素区域303执行调整处理来降低数据量，所以针对调整后的数据阵列必须采取与图3B中所示的RAW图像数据的数据阵列不同的格式。因此，将参照图5A和图5B描述根据本实施例的两个数据阵列示例。然而，数据阵列不限于这些示例，只要数据阵列包括尚未经历调整处理的VOB区域301和HOB区域302的数据以及经历了调整处理的有效像素区域的数据即可。
图5A是应用了尽可能接近图3A中所示的格式的格式的数据阵列的示例。具体而言，从图3A中所示的数据阵列中删除通过调整处理不必绘制的有效像素区域303的一部分以及在显影时的图像校正中未使用的OB区域304的数据。调整处理单元121布置在数据的开始的垂直地址0(第一行)的VOB区域的左端的地址(vobX,vobY)的像素数据，并且之后依次布置一个水平行的数据。接下来布置垂直地址1(第二行)上的VOB区域的数据。在VOB区域布置完成之后，按行布置HOB区域和有效像素区域数据。在通过调整处理将有效像素区域的垂直大小(高度)降低到m行的情况下，调整处理单元121首先布置不与有效像素区域的各行对应的HOB区域(HOB1至HOBn-1)。然后，布置数据使得填满相应的HOB区域和有效像素区域(例如，HOBn和有效像素区域0)的组合，当完成布置有效像素区域m的组合时，布置剩余的HOB区域。注意，为了调节针对VOB区域的宽度(vob宽度)的HOB区域和有效像素区域的布置，可以适当插入虚拟像素。以这种数据阵列布置数据具有如下优点：通常使用OB区域执行校正处理的电路、软件模块等也可以用作对生成的RAW图像数据执行显影处理的电路、软件模块等。
与图3B所示的RAW图像数据的数据阵列不同，图5B例示了通过分裂成区域形成数据阵列的示例。调整处理单元121首先布置VOB区域中的所有数据。这点与图5A中所示的数据阵列相同。接下来，调整处理单元121针对HOB区域以及有效像素区域按区域布置数据。布置一个区域(例如HOB区域)的数据直到最后一行，然后布置另一个区域(例如有效像素区域)的数据。仅被连续布置直到最后一行的HOB区域与图3B、图5A等所示的RAW图像数据的数据阵列不同。通过以这种数据阵列布置数据，简化了数据阵列，更容易从各区域获得数据，并且加速了处理。
调整处理中的一系列操作
接下来，将参照图6描述调整处理中包括的一系列操作。
在开始了拍摄并且从图像传感器102输出的RAW图像数据的像素经由信号分割单元103被输入到调整处理单元121的状态下、控制单元122做出了执行调整处理的指示的情况下，开始该处理。作为由控制单元122将ROM中存储的程序加载到RAM的工作区域并且执行该程序的结果，该处理控制调整处理单元121。
在S601中，调整处理单元121针对经由信号分割单元103输入的RAW图像数据确定是否加载了构成图像的RAW图像数据的像素。在确定加载了所有像素并且成功获取了RAW图像数据的情况下，处理进行到S602，而在确定尚未加载所有像素的情况下，处理返回到S601并且等待直到完成加载为止。
在S602中，调整处理单元121针对各个区域(即有效像素区域、HOB区域等)指定在调整处理之后要作为有效区域的区域。即，在接收到来自操作单元115的操作、数字图像稳定的调整请求等(请求改变视角、提取位置等)的输入时，控制单元122根据调整请求的内容来计算调整处理后的各区域的左上坐标、垂直大小以及水平大小。因此，调整处理单元121获取计算出的各区域的左上坐标、垂直大小以及水平大小，并且针对各区域指定在调整处理之后为有效区域的区域。在本实施例中，有效像素区域303中有效的区域由于调整处理而改变，但是VOB区域301和HOB区域302中有效的区域不改变。
在S603中，调整处理单元121针对RAW图像数据的各像素执行循环处理。以与RAW图像数据的像素数相同的次数来重复循环处理。循环处理从RAW图像数据的左上像素开始，依次进行到其右像素，当处理了单行的像素时再一次从下一行开始。在S603，在处理从S606返回时，调整处理单元121确定是否以与RAW图像数据的像素数相同的次数完成处理；在确定完成该处理的情况下，处理进行到S607，而在确定尚未完成该处理的情况下，处理进行到S604。
在S604，调整处理单元121确定要处理的像素是否在调整处理后的区域，并且选择要在RAW图像数据的生成中使用的像素。调整处理单元121首先基于要处理的像素的坐标位置，指定要处理的像素属于有效像素区域303、VOB区域301等中的哪个，并且基于在S602中指定的信息确定要处理的像素是否在调整处理后的区域内。例如，在要处理的像素是有效像素区域303中的像素的情况下，调整处理单元121确定像素在调整处理后的有效像素区域401中。当要处理的像素是VOB区域301或HOB区域302中的像素时，调整处理单元121确定像素在相应的调整处理后的区域。在本实施例中，当要处理的像素是VOB区域301或HOB区域302中的像素时，像素在调整处理后的区域。在调整处理单元121确定要处理的像素在调整处理后的区域中的情况下，处理进行到S605，而在要处理的像素不在调整处理后的区域中的情况下，处理进行到S606。
在S605中，在调整处理单元121将被确定在调整处理后的区域中、选择的要处理的像素，布置在调整后的RAW图像数据中。
在S606中，调整处理单元121将处理返回到S603，并且再次执行循环处理。
在S607中，调整处理单元121输出通过所述处理布置了像素的调整处理后的RAW图像数据，并且完成一系列处理。
通过以这种方式对RAW图像数据执行调整处理，能够在图5A所示的RAW图像数据阵列中布置像素。注意，能够通过针对各区域执行S603至S606的处理来生成图5B中所示的RAW图像数据阵列，或者能够通过重新布置RAW图像数据输出来布置各个像素作为上述一系列处理的结果。
根据以上说明的本实施例，当对RAW图像数据进行调整处理时，对有效像素区域执行调整处理，将OB区域中的所有像素保留在生成的RAW图像数据中。通过这样做，也能够在回放RAW图像数据的装置中执行使用从图像传感器输出的OB区域的像素的、诸如夹紧等图像校正，从而使得能够减小摄像装置中的电路规模、降低消耗的电量、抑制装置主体的温度的升高等。此外，通过将整个OB区域包括在RAW图像数据中，能够稳定回放RAW图像数据的装置中的校正处理，而无需通过调整处理消除针对上述校正所必需的OB区域像素。换句话说，上述结构使得能够在降低生成RAW图像数据中涉及的处理量的同时抑制调整处理涉及的显影时的校正质量的下降。
第二实施例
接下来，将描述第二实施例。在根据第一实施例的调整处理中，调整处理单元121保留RAW图像数据的OB区域中的所有像素；然而，在根据第二实施例的调整处理中，在对有效像素区域进行的调整处理中消除OB区域。除了控制针对调整处理的设置的处理以外，处理是相同的，根据本实施例的摄像机100的功能结构与第一实施例中相同；同样地，将省略重复的说明，并且将关注放在不同点上。
将参照图7A和图7B描述根据本实施例的RAW图像数据。图7A示意性例示了通过对图3A所示的图像数字变焦来执行调整处理而生成的RAW图像数据。在该示例中，对有效像素区域中的水平行和垂直行都执行调整处理，而仅在VOB区域的水平方向和仅在HOB区域的垂直方向执行调整处理。结果，调整处理前的VOB区域301和HOB区域302分别成为VOB区域701和HOB区域702。在执行调整处理之后保留与有效像素区域相对应的VOB区域和HOB区域的同时，降低了生成的RAW图像数据中的数据量。
图7B示意性地例示了通过切换图3A中所示的图像的纵横比来执行调整处理而生成的RAW图像数据。在该示例中，在有效像素区域的垂直方向上执行调整处理，不改变有效像素区域的水平大小(宽度)。相应地，仅在HOB区域的垂直方向上执行调整，不减小VOB区域的大小。通过这种处理降低生成的RAW图像数据的数据量。
在本实施例中，通过为了与有效像素区域对应而对OB区域执行调整处理来生成RAW图像数据，因此能够以与图3B中所示的RAW图像数据的数据阵列相同的格式给出数据阵列。然而，为了进一步降低数据量可以消除在根据第一实施例中描述的以及根据图5A和5B中所示的格式的显影时的图像校正中不需要的区域304。注意，为了避免显影时的噪声去除、夹紧等中使用的OB区域的信息量的降低，仅在VOB区域的水平方向和仅在HOB区域的垂直方向上执行调整处理。
将参照图8中的流程图描述根据本实施例的调整处理中的一系列操作。在开始了拍摄并且从图像传感器102输出的RAW图像数据的像素经由信号分割单元103被输入到调整处理单元121的状态下、用户对操作单元115做出了操作指示的情况下，开始该处理。通过控制单元122将ROM中存储的程序加载到RAM的工作区域并且执行该程序，来实现该处理。
在S801中，控制单元122输入从操作单元115通知的操作指示，并且确定输入的操作指示是否为调整请求。在确定操作指示是调整请求的情况下，控制单元122将处理进行到S802，而在确定操作指示不是调整请求的情况下，将处理返回到S801并且等待调整请求指示。
在S802中，控制单元122确定来自用户操作的调整请求是否包括垂直方向上的调整(垂直调整)。在控制单元122确定从所述操作内容通知的调整请求包括垂直调整的情况下，处理进行到S803，而在确定调整请求不包括垂直调整的情况下，处理进行到S804。
在S803中，控制单元122为了对HOB区域执行调整处理而设置针对垂直调整处理的区域信息。具体而言，针对调整处理后的HOB区域计算左上坐标(x，y)，垂直大小(hob高度)以及水平大小(hob宽度)，并且将这些坐标存储在RAM中。RAM中记录的信息稍后被读出被输入到调整处理单元121并用于调整处理的S602中。
在S804中，控制单元122确定来自用户操作的调整请求是否包括水平方向上的调整(水平调整)。在控制单元122确定从上述操作内容通知的调整请求包括水平调整的情况下，处理进行到S805，而在确定调整请求不包括水平调整的情况下，处理进行到S806。
在S805中，为了对VOB区域执行水平调整处理，控制单元122设置针对水平调整处理的区域信息。具体而言，针对调整处理后的VOB区域计算左上坐标(x，y)、垂直大小(vob高度)以及水平大小(vob宽度)，并且将这些坐标存储在RAM中。
在S806中，为了对有效像素区域执行调整处理，控制单元122设置针对有效像素区域的区域信息。具体而言，针对调整处理后的有效像素区域计算左上坐标(x，y)、垂直大小(高度)以及水平大小(宽度)，并且将这些坐标存储在RAM中。
在S807中，调整处理单元121基于响应于来自控制单元122的指示在各步骤中设定的信息，来执行图6中所示的调整处理。控制单元122读出RAM中存储的区域信息并且将该信息输入到调整处理单元121。当调整处理单元121完成调整处理时，控制单元122结束根据本实施例的一系列处理。
尽管本实施例描述了从操作单元115通知的调整请求，但是不论用户的操作，可以通过用于稳定处理的稳定控制单元114或从控制单元122自身通知调整请求。
如上所述，在本实施例中，在对有效像素区域执行调整处理的情况下，在OB区域中在针对VOB区域的水平方向上以及针对HOB区域的垂直方向上执行调整处理。通过这样做，能够在降低在RAW图像数据的生成中涉及的处理量的同时、抑制调整处理涉及的显影时的校正质量的下降，此外也降低生成的RAW图像数据的数据量。
第三实施例
接下来，将描述第三实施例。在第三实施例中，例如，在调整请求的内容是纵横比切换的情况下，根据调整请求的详情来控制对OB区域执行的调整处理。除了控制针对调整处理的设置的处理以外，处理是相同的，根据本实施例的摄像机100的功能结构与第一实施例中相同；同样地，将省略重复的说明，并且将关注放在不同点上。
图9例示了根据本实施例的调整处理，与图8中所示的处理的不同之处是控制单元122在S901中进行的处理。
在S901中，控制单元122确定调整请求的操作内容是否为纵横比切换。在操作内容是纵横比切换的情况下，控制单元122为了对OB区域执行调整处理，进行到S802及后续的处理，当确定操作内容不是纵横比切换的情况下，在S806中仅对有效像素区域执行调整处理。然而，不必仅在操作内容是纵横比切换的情况下对OB区域执行调整处理，调整可以是当操作内容是数字变焦时的调整，只要根据调整请求的操作内容控制针对OB区域的调整处理即可。对OB区域执行调整处理的操作内容可以被预先确定，或者可以由用户设置或改变。S901之后的处理与图8中所示的处理相同。
根据以上说明的本实施例，在将对有效像素区域执行调整处理的情况下，根据调整请求的详情对OB区域执行调整处理。这样做使得能够在降低生成RAW图像数据中涉及的处理量的同时抑制调整处理涉及的显影时的校正质量的下降，降低生成的RAW图像数据的数据量，进一步根据操作内容控制调整处理。
其他实施例
本发明的实施例描述了如下示例：VOB区域处于有效像素区域的上侧区域，HOB区域处于有效像素区域的左侧区域。然而，在有效像素区域的顶部和底部两者都存在VOB区域以及在有效像素区域的左侧和右侧都存在HOB区域的情况下，能够使用相同的结构应用本发明。此外，尽管本发明的实施例描述了动画的示例，但是通过将本发明应用于静止图像，也能够实现相同的效果。
本发明的实施例还可以通过读出并执行记录在存储介质(还可以全称为“非暂时性计算机可读存储介质”)上的用于执行一个或多个上述实施例的功能的计算机可执行指令(例如，一个或多个程序)并且/或者包括用于执行一个或多个上述实施例的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机来实现，以及通过由系统或装置的计算机通过例如从存储介质读出并执行用于执行一个或多个上述实施例的功能的计算机可执行指令并且/或者控制一个或多个电路来执行一个或多个上述实施例的功能来执行的方法来实现。计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括读出并执行计算机可执行指令的独立的计算机或独立的计算机处理器的网络。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存设备、存储卡等中的一个或多个。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然已经参照示例性实施例描述了本发明，但是应当理解，本发明并不局限于公开的示例性实施例。所附权利要求的范围应当适合最广泛的解释，以使其涵盖所有这些变型以及等同结构和功能。
Claims (7)
1.一种摄像装置，该摄像装置包括：
图像传感器，二维地排列有包括校正像素区域和有效像素区域的像素；以及
生成单元，其被构造为根据从所述有效像素区域和所述校正像素区域获取的信号来生成未压缩的图像数据或无损压缩的图像数据，
其中，在要对所述图像数据中包括的所述有效像素区域执行调整处理的情况下，所述生成单元不对所述校正像素区域执行所述调整处理。
2.根据权利要求1所述的摄像装置，所述摄像装置还包括：
校正单元，其被构造为使用所述图像数据中包括的所述校正像素区域的像素数据来校正所述有效像素区域的像素数据。
3.根据权利要求1所述的摄像装置，其中，所述调整处理包括改变所述有效像素区域在水平方向上的大小或者改变所述有效像素区域在垂直方向上的大小。
4.根据权利要求1所述的摄像装置，其中，所述调整处理包括切换所述图像数据的纵横比、改变变焦倍率、或者改变图像提取位置。
5.根据权利要求1所述的摄像装置，其中，针对所述有效像素区域的像素数据和用于校正所述有效像素区域的像素数据的所述校正像素区域的像素数据的组合，所述生成单元通过以在所述图像数据的单行能够布置多个所述组合的方式布置所述组合，来生成所述图像数据。
6.根据权利要求1所述的摄像装置，其中，所述生成单元通过布置所述有效像素区域的像素数据和用于校正所述有效像素区域的像素数据的所述校正像素区域的像素数据二者中的一者的全部、然后布置另一者的全部，来生成所述图像数据。
7.一种摄像装置的控制方法，所述摄像装置具有二维地排列有包括校正像素区域和有效像素区域的像素的图像传感器，所述控制方法包括：
生成步骤，根据从所述有效像素区域和所述校正像素区域获取的信号来生成未压缩的图像数据或无损压缩的图像数据，
其中，在要对所述图像数据中包括的所述有效像素区域执行调整处理的情况下，在所述生成步骤中不对所述校正像素区域执行所述调整处理。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014096221A JP6557451B2 (ja) | 2014-05-07 | 2014-05-07 | 撮像装置およびその制御方法ならびにプログラム |
| JP2014-096221 | 2014-05-07 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105100587A true CN105100587A (zh) | 2015-11-25 |
| CN105100587B CN105100587B (zh) | 2018-08-28 |
Family
ID=54336678
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510225120.6A Active CN105100587B (zh) | 2014-05-07 | 2015-05-05 | 摄像装置及其控制方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10015362B2 (zh) |
| JP (1) | JP6557451B2 (zh) |
| CN (1) | CN105100587B (zh) |
| DE (1) | DE102015005292A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7385667B2 (ja) * | 2019-09-20 | 2023-11-22 | 富士フイルム株式会社 | 撮影装置、及び撮影方法 |
| US11315299B1 (en) * | 2020-11-13 | 2022-04-26 | Unity Technologies Sf | Method for computation of local densities for virtual fibers |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007166551A (ja) * | 2005-12-16 | 2007-06-28 | Canon Inc | 撮像装置、撮像装置の制御方法、及びコンピュータプログラム |
| CN101472075A (zh) * | 2007-12-28 | 2009-07-01 | 佳能株式会社 | 摄像设备及其控制方法 |
| CN102403326A (zh) * | 2010-09-08 | 2012-04-04 | 索尼公司 | 成像器件和成像设备 |
| CN102625037A (zh) * | 2011-01-31 | 2012-08-01 | 三洋电机株式会社 | 摄像装置、图像再现装置以及图像处理装置 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3824440B2 (ja) * | 1999-03-09 | 2006-09-20 | 三菱電機株式会社 | 撮像装置 |
| JP5108172B2 (ja) * | 2000-09-06 | 2012-12-26 | 株式会社ニコン | 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体 |
| JP4250437B2 (ja) * | 2003-03-04 | 2009-04-08 | キヤノン株式会社 | 信号処理装置、信号処理方法およびプログラム |
| JP3938774B2 (ja) * | 2004-08-05 | 2007-06-27 | オリンパス株式会社 | 内視鏡用信号処理装置、内視鏡用信号用モニタおよび内視鏡システム |
| US20060170786A1 (en) * | 2005-01-31 | 2006-08-03 | Nara Won | Digital camera and method |
| JP4504873B2 (ja) * | 2005-05-31 | 2010-07-14 | 富士フイルム株式会社 | カメラシステム、本体アダプタおよびヘッドアダプタ |
| JP5164531B2 (ja) * | 2007-11-13 | 2013-03-21 | キヤノン株式会社 | 固体撮像装置 |
| JP2009147743A (ja) | 2007-12-14 | 2009-07-02 | Samsung Techwin Co Ltd | 記録装置、再生装置、記録方法、再生方法及びプログラム |
| JP5272630B2 (ja) * | 2008-10-03 | 2013-08-28 | ソニー株式会社 | 固体撮像素子およびその駆動方法、並びにカメラシステム |
| JP5115467B2 (ja) * | 2008-12-18 | 2013-01-09 | 株式会社Ｊｖｃケンウッド | 固体撮像素子及びその駆動方法 |
| JP5550333B2 (ja) * | 2009-12-28 | 2014-07-16 | キヤノン株式会社 | 撮像装置、現像方法及びプログラム |
| JP5595505B2 (ja) * | 2010-09-10 | 2014-09-24 | 富士フイルム株式会社 | 立体撮像装置および立体撮像方法 |
| JP5746521B2 (ja) | 2011-03-02 | 2015-07-08 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム並びに記憶媒体 |
| JP5748513B2 (ja) * | 2011-03-07 | 2015-07-15 | 株式会社ザクティ | 撮像装置 |
| JP5959834B2 (ja) | 2011-12-02 | 2016-08-02 | キヤノン株式会社 | 撮像装置 |
| JP5921239B2 (ja) | 2012-02-10 | 2016-05-24 | キヤノン株式会社 | 撮像装置ならびに制御方法およびプログラム |
| JP6021573B2 (ja) * | 2012-10-12 | 2016-11-09 | オリンパス株式会社 | 撮像装置 |
| JP6120665B2 (ja) * | 2013-04-26 | 2017-04-26 | オリンパス株式会社 | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム |
-
2014
- 2014-05-07 JP JP2014096221A patent/JP6557451B2/ja active Active
-
2015
- 2015-04-24 DE DE102015005292.6A patent/DE102015005292A1/de not_active Withdrawn
- 2015-05-05 US US14/704,412 patent/US10015362B2/en active Active
- 2015-05-05 CN CN201510225120.6A patent/CN105100587B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007166551A (ja) * | 2005-12-16 | 2007-06-28 | Canon Inc | 撮像装置、撮像装置の制御方法、及びコンピュータプログラム |
| CN101472075A (zh) * | 2007-12-28 | 2009-07-01 | 佳能株式会社 | 摄像设备及其控制方法 |
| CN102403326A (zh) * | 2010-09-08 | 2012-04-04 | 索尼公司 | 成像器件和成像设备 |
| CN102625037A (zh) * | 2011-01-31 | 2012-08-01 | 三洋电机株式会社 | 摄像装置、图像再现装置以及图像处理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20150326794A1 (en) | 2015-11-12 |
| DE102015005292A1 (de) | 2015-11-12 |
| CN105100587B (zh) | 2018-08-28 |
| JP6557451B2 (ja) | 2019-08-07 |
| JP2015216423A (ja) | 2015-12-03 |
| US10015362B2 (en) | 2018-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020034924A1 (en) | Imaging control method and apparatus, electronic device, and computer readable storage medium | |
| KR102424984B1 (ko) | 복수 개의 카메라를 포함하는 전자 장치 및 그 동작 방법 | |
| US9961272B2 (en) | Image capturing apparatus and method of controlling the same | |
| US9721609B2 (en) | Image capturing apparatus, image capturing system, and control method for the image capturing apparatus | |
| KR101889932B1 (ko) | 촬영 장치 및 이에 적용되는 촬영 방법 | |
| JP6678504B2 (ja) | 撮像装置及びその制御方法、プログラム並びに記憶媒体 | |
| KR20150000072A (ko) | 이미지 생성 장치 및 이미지 생성 방법 | |
| US8976276B2 (en) | Image processing apparatus, image capturing apparatus, and image processing method | |
| US9883096B2 (en) | Focus detection apparatus and control method thereof | |
| US20170026558A1 (en) | Digital photographing apparatus and digital photographing method | |
| CN105100587A (zh) | 摄像装置及其控制方法 | |
| US9282245B2 (en) | Image capturing apparatus and method of controlling the same | |
| JP2014123846A (ja) | 撮像装置および撮像方法 | |
| US10205870B2 (en) | Image capturing apparatus and control method thereof | |
| EP3783880A1 (en) | Display control apparatus and method for controlling the same | |
| JP2005277618A (ja) | 撮像装置、シェーディング補正装置、及びシェーディング補正方法 | |
| JP2015216601A (ja) | 撮像装置およびその制御方法ならびにプログラム | |
| US10382740B2 (en) | Image processing apparatus, method for controlling the same, and image capture apparatus | |
| US11310442B2 (en) | Display control apparatus for displaying image with/without a frame and control method thereof | |
| US20240163567A1 (en) | Image processing apparatus, image processing method, and image capture apparatus | |
| US20210152722A1 (en) | Apparatus, method, and storage medium each relating to image composition | |
| US10893192B2 (en) | Moving image pickup apparatus, moving image pickup method, and moving image pickup program using a three-dimensional lookup table | |
| JP2009159404A (ja) | 画像処理方法、画像処理装置及び画像形成装置 | |
| JP2008066910A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2020047223A (ja) | 画像処理装置、画像処理方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |