CN107431750A - 图像处理装置、图像处理方法和图像拍摄装置 - Google Patents

图像处理装置、图像处理方法和图像拍摄装置 Download PDF

Info

Publication number
CN107431750A
CN107431750A CN201580077647.7A CN201580077647A CN107431750A CN 107431750 A CN107431750 A CN 107431750A CN 201580077647 A CN201580077647 A CN 201580077647A CN 107431750 A CN107431750 A CN 107431750A
Authority
CN
China
Prior art keywords
pixel
signal
signal generation
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580077647.7A
Other languages
English (en)
Other versions
CN107431750B (zh
Inventor
千田圭祐
神尾和宪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107431750A publication Critical patent/CN107431750A/zh
Application granted granted Critical
Publication of CN107431750B publication Critical patent/CN107431750B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/709—Circuitry for control of the power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

内插处理单元31执行图像信号中的抽取像素的内插处理。信号生成像素确定单元32从通过内插处理单元31执行内插处理的图像信号计算感兴趣的像素的特征值，并且基于所计算的特征值确定感兴趣的像素是抽取像素还是非抽取像素，并且生成指示确定结果的信号生成像素确定信息。信号生成控制单元34在图像信号的后续生成时执行控制，以停止通过由信号生成像素确定单元32生成的信号生成像素确定信息确定为抽取像素的像素的信号生成操作。通过基于特征值在平坦图像区域中执行抽取，防止了图像质量的降低且减少了电力消耗。

Description

图像处理装置、图像处理方法和图像拍摄装置
技术领域
本技术涉及一种图像处理装置、一种图像处理方法、以及一种图像拍摄装置，并且防止图像质量的下降且减少电力消耗。
背景技术
图像拍摄装置使用互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器，并且逐渐增加图像传感器的像素数量以获取高清晰度的拍摄图像。因此，在图像传感器的驱动电路和信号处理电路中，电力消耗随像素数量的增加而增加。
因此，例如，在专利文献1中，通过在拍摄移动图像时在图像传感器处对多个像素求和以生成一个像素来执行抽取，以便减少电力消耗。另外，在专利文献2中，准备了模拟/数字(A/D)转换处理的多个操作模式，并且基于提前给出的像素信息选择电力消耗最少的操作模式。
引用列表
专利文献
专利文献1：JP 2007-150439A
专利文献2：JP 4952498B
发明内容
技术问题
顺便说一下，当执行抽取以减少电力消耗时，图像的像素数量变得更小，因此需要执行上转换，以获取具有抽取前的像素数量的图像。然而，在对多个像素求和以生成一个像素的抽取中，通过对多个像素求平均生成新像素，由此在一些情况下损失了高频成分。另外，当以预定间隔抽取像素时，抽取像素的信息丢失。因此，认为上转换之后的图像变成了图像质量降低的图像。
另外，当基于提前给出的像素信息选择A/D转换处理的操作模式时，对所有像素执行A/D转换处理，并且电力消耗以与处理中间级别的像素信号时相同的值被大致校平，并且减少电力消耗的效果受到限制。
因此，本技术的目的是提供一种图像处理装置、一种图像处理方法、以及一种图像拍摄装置，其可防止图像质量的降低并减少电力消耗。
问题的解决方案
本技术的第一方面是一种图像处理装置，其包括：内插处理单元，其执行图像信号中的抽取像素的内插处理；信号生成像素确定单元，其从通过内插处理单元执行内插处理的图像信号计算感兴趣的像素的特征值，并且基于所计算的特征值确定感兴趣的像素是抽取像素还是非抽取像素，并且生成指示确定结果的信号生成像素确定信息；以及信号生成控制单元，其在图像信号的后续生成时执行控制，以停止通过由信号生成像素确定单元生成的信号生成像素确定信息确定为抽取像素的像素的信号生成操作。
在本技术中，内插处理单元执行图像信号中的抽取像素的内插处理。信号生成像素确定单元从通过内插处理单元执行内插处理的图像信号计算感兴趣的像素的区域的平坦度，例如相对于感兴趣的像素而言预定区域内信号的动态范围、感兴趣的像素与相邻像素之间的绝对差之和等，作为感兴趣的像素的特征值。另外，信号生成像素确定单元将感兴趣的像素的所计算的特征值与由确定标准设置单元设置的阈值相比较，并且基于比较结果生成指示感兴趣的像素是抽取像素还是非抽取像素的信号生成像素确定信息。信号生成控制单元在图像信号的后续生成时控制并停止通过由信号生成像素确定单元生成的信号生成像素确定信息确定为抽取像素的像素的信号生成操作。例如，执行来自用于基于成像物体光学图像生成图像信号的图像传感器的图像信号的模拟/数字转换处理的A/D转换单元受到控制，以停止对被确定为抽取像素的像素的模拟/数字转换处理。另外，用于驱动图像传感器的图像传感器驱动单元受到控制，以停止被确定为抽取像素的像素的信号生成。此外，当信号生成像素确定信息的生成中所用的图像信号与后续生成的图像信号之间存在图像尺寸差异时，定标器单元将信号生成像素确定信息设置为与后续生成的图像信号的图像尺寸相对应的信号生成像素确定信息。另外，确定标准设置单元根据感兴趣的像素的像素位置设置阈值。
本技术的第二方面是一种图像处理方法，包括：通过内插处理单元执行图像信号中的抽取像素的内插处理；通过信号生成像素确定单元从内插处理之后的图像信号计算感兴趣的像素的特征值，并且基于所计算的特征值确定感兴趣的像素是抽取像素还是非抽取像素，并且生成指示确定结果的信号生成像素确定信息；以及在图像信号的后续生成时通过信号生成控制单元执行控制，以停止通过由信号生成像素确定单元生成的信号生成像素确定信息确定为抽取像素的像素的信号生成操作。
本技术的第三方面是一种图像拍摄装置，包括：图像传感器，其基于成像物体光学图像生成图像信号；内插处理单元，其执行由图像传感器生成的图像信号的内插处理；信号生成像素确定单元，其从通过内插处理单元执行内插处理的图像信号计算感兴趣的像素的特征值，并且基于所计算的特征值确定感兴趣的像素是抽取像素还是非抽取像素，并且生成指示确定结果的信号生成像素确定信息；以及信号生成控制单元，其在图像信号的后续生成时执行控制，以停止通过由信号生成像素确定单元生成的信号生成像素确定信息确定为抽取像素的像素的信号生成操作。
在本技术中，内插处理单元执行通过图像传感器基于成像物体光学图像所生成的图像信号的内插处理，并且信号生成像素确定单元从通过内插处理单元执行内插处理的图像信号计算感兴趣的像素的特征值，并且通过基于所计算的特征值与由确定标准设置单元根据例如图像拍摄操作状态所设置的阈值之间的比较结果确定感兴趣的像素是抽取像素还是非抽取像素来生成信号生成像素确定信息。信号生成控制单元在图像信号的后续生成时停止通过由信号生成像素确定单元生成的信号生成像素确定信息确定为抽取像素的像素的信号生成操作。例如，操作控制单元在拍摄静止图像之前显示预览图像，并且确定标准设置单元根据静止图像拍摄或预览图像显示改变阈值。此外，操作控制单元执行相机抖动校正操作，并且确定标准设置单元根据执行或不执行相机抖动校正操作改变阈值。此外，操作控制单元执行成像物体检测操作，并且确定标准设置单元根据操作控制单元中的成像物体检测结果设置阈值。另外，确定标准设置单元在基于成像物体检测结果设确定成像物体不是预定成像物体的情况中或者在确定成像物体的运动比预定速度快的情况下置阈值以减少被执行信号生成的像素。此外，确定标准设置单元根据成像模式或成像物体的亮度设置阈值。此外，确定标准设置单元根据通过内插处理单元执行内插处理的图像信号的输出模式设置阈值。另外，包括了获取时间信息的时钟单元，并且确定标准设置单元根据图像拍摄时间设置阈值。另外，还包括了通过使用由信号生成像素确定单元生成的信号生成像素确定信息估算电力消耗的电力消耗估算单元，并且确定标准设置单元根据指定电力消耗与由电力消耗估算单元估算的估算电力消耗之间的比较结果设置阈值。另外，还包括了检测用于操作图像拍摄装置的电池的剩余电量的剩余电量检测单元，并且确定标准设置单元根据剩余电量的检测结果设置阈值。此外，还包括了通过使用由信号生成像素确定单元生成的信号生成像素确定信息估算电力消耗的电力消耗估算单元，并且确定标准设置单元基于成像结束之前的时间、剩余电量检测单元的剩余电量检测结果、以及电力消耗估算单元的估算结果设置阈值以实现成像结束之前的成像操作。
本发明的有益效果如下：
根据本技术，执行图像信号中的抽取像素的内插处理，并且由被执行内插处理的图像信号计算感兴趣的像素的特征值，并且基于所计算的特征值确定感兴趣的像素是抽取像素还是非抽取像素，以便生成指示确定结果的信号生成像素确定信息。在图像信号的后续生成时执行控制，以便不生成通过信号生成像素确定信息被确定为抽取像素的像素的信号。因此，防止了图像质量的降低并且减少了电力消耗。应注意，本说明书中所述的效果仅为实例且不是限制性的，并且可存在另外的效果。
附图说明
图1为示出第一实施例的配置的图形。
图2为用于描述在单板单色传感器的情况中的内插处理操作的图形。
图3为示出滤色器的部分区域的图形。
图4为用于描述当颜色阵列为拜尔阵列时的内插处理操作的图形。
图5为用于描述动态范围的计算操作的图形。
图6为示出第一实施例的操作的流程图。
图7为示出第二实施例的配置的图形。
图8为示出第二实施例的操作的流程图。
图9为示出另一个实施例的配置的图形。
图10为示出定标处理的图形。
具体实施方式
在下文中，将描述本发明技术的具体实施方式。应注意，将按照以下顺序进行描述。
1.第一实施例
2.第二实施例
3.另一个实施例
<1.第一实施例>
图1示出本技术的图像处理装置和图像拍摄装置的第一实施例的配置。本技术的图像拍摄装置10包括成像单元20、图像处理单元30、相机信号处理单元40、用户界面(I/F)单元41、以及操作控制单元50，并且本技术的图像处理装置与图像处理单元30相对应。
成像单元20包括图像传感器21、图像传感器驱动单元22、以及A/D转换单元23，并且图像处理单元30包括内插处理单元31、信号生成像素确定单元32、信号生成控制单元34、以及确定标准设置单元35。
通过使用例如互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器配置图像传感器21。图像传感器21基于成像物体光学图像通过光电转换生成图像信号，并且将图像信号输出至A/D转换单元23。
图像传感器驱动单元22基于来自操作控制单元50的控制信号生成驱动信号。图像传感器驱动单元22将所生成的驱动信号提供至图像传感器21并且使图像传感器21生成图像信号。
A/D转换单元23执行A/D转换处理以将图像传感器21提供的模拟图像信号转换成数字图像信号，并且将数字图像信号输出至图像处理单元30。另外，A/D转换单元23基于图像处理单元30提供的像素控制信号执行非抽取像素的A/D转换处理。因此，从A/D转换单元23输出至图像处理单元30的图像信号变成根据像素控制信号被执行像素抽取的信号。此处，非抽取像素是生成图像信号的像素，并且抽取像素是不生成图像信号的像素。
图像处理单元30的内插处理单元31关于抽取像素执行内插处理并生成像素信号。内插处理单元31通过使用诸如线性内插(双线性过滤器)的方法，关于被确定为不生成像素信号的抽取像素，基于由随后描述的信号生成像素确定单元32提供的信号生成像素确定信息生成像素信号。
图2为用于描述当图像传感器21为单板单色传感器时的内插处理操作的图形。例如，图2(a)示出其中一个像素被抽取的情况。应注意，在图形中，抽取像素以虚线圆形标记示出。
内插处理单元31通过使用非抽取像素的像素信号p0、p2基于等式(1)生成抽取像素的像素信号p1。
p1＝(p0+p2)/2…(1)
另外，当两个抽取像素连续时，如图2(b)所示，由非抽取像素的像素信号p0、p3生成抽取像素的像素信号p1、p2。另外，在抽取像素的像素信号的生成中，通过根据从非抽取像素到抽取像素的距离执行加权来生成像素信号。例如，通过使用非抽取像素的像素信号p0、p3基于等式(2)生成抽取像素的像素信号p1。另外，通过使用非抽取像素的像素信号p0、p3基于等式(3)生成抽取像素的像素信号p2。
p1＝(2p0+p3)/3…(2)
p2＝(p0+2p3)/3…(3)
另外，当三个或更多个抽取像素连续时，可以与两个像素连续时类似的方式，通过根据从非抽取像素到抽取像素的距离执行加权来生成像素信号。另外，信号生成像素确定单元32确定侧端部分的像素为非抽取像素，以便即使在执行抽取时也执行内插处理。
接下来将描述当图像传感器21为单板颜色传感器时的内插处理操作。图3示出图像传感器21中所用的滤色器的部分区域。滤色器使用红色像素R、绿色像素G和蓝色像素B，以将颜色阵列制作成拜尔阵列。
当使用单板颜色传感器时，内插处理单元31针对每种颜色成分执行内插处理。图4为用于描述当颜色阵列为拜尔阵列时的内插处理操作的图形。应注意，图4示出其中红色像素R1、R3和绿色像素G2为抽取像素的情况。
当执行红色像素R1的内插处理时，内插处理单元31通过使用非抽取像素的像素信号r0、r2执行与等式(1)类似的计算并生成像素信号r1。另外，当执行绿色像素G2的内插处理时，内插处理单元31通过使用非抽取像素G1、G2的像素信号g1、g3执行与等式(1)类似的计算并生成像素信号g2。另外，信号生成像素确定单元32确定每种颜色的侧端部分的像素为非抽取像素，以便即使在执行抽取时也执行内插处理。另外，当颜色阵列为拜尔阵列时，假定颜色信号的比例局部恒定，例如可利用绿色像素G信息内插红色像素R。在此情况中，与对于每种颜色使用相同颜色的像素的线性内插相比，可更精确地执行内插处理。此外，滤色器不限于原色滤色器，而是可为互补色滤色器，并且颜色阵列不限于拜尔阵列，而是可为其它颜色布置。
另外，内插处理单元31不限于使用双线性过滤器的内插处理，而是可通过使用另一过滤器执行内插处理，所述过滤器例如是一维过滤器，诸如双立方过滤器、Lanczos过滤器和Wiener过滤器。另外，内插处理单元31不限于如上所述使用左像素和右像素的情况，而是可利用使用处于竖直方向的像素和处于倾斜方向的像素的二维过滤器执行内插处理。
此外，内插处理单元31可执行使用机器学习的适应性过滤器内插处理。在此情况中，内插处理单元31还可通过使用通过例如另一个处理计算的图像的特征执行学习和适应处理。
信号生成像素确定单元32由内插处理之后的图像信号计算特征值并且基于特征值确定感兴趣的像素是抽取像素还是非抽取像素。当内插处理单元31执行内插处理时，图像在平坦区域的像素之间的信号差异很小，并且通过在抽取像素的内插中使用周围像素的像素信号生成的像素信号与真实像素信号的差异很小。也就是说，可以设想，图像的平坦部分通过内插处理对图像质量的影响很小。因此，信号生成像素确定单元32使用指示感兴趣的像素的区域的平坦度的信息作为特征值，并且基于此特征值确定感兴趣的像素是抽取像素还是非抽取像素。本技术中的平坦度是指示感兴趣的像素的区域的信号变化和当该区域中的信号连续增加或降低时的变化量的信息，并且信号生成像素确定单元32计算例如相对于感兴趣的像素的位置而言预定区域中的动态范围作为特征值。
图5为用于描述动态范围的计算操作的图形。信号生成像素确定单元32将中心处于感兴趣的像素的预定区域中的像素的最大值与最小值之间的差设置为动态范围。在使用单板颜色传感器时，信号生成像素确定单元32将与感兴趣的像素颜色相同的3×3像素区域中的像素(在粗线框中示出的像素)的最大值与最小值之间的差设置为相对于感兴趣的像素(例如红色像素R，在双线框中示出的像素)而言的动态范围，如图5所示。应注意，在使用单板单色传感器时，将感兴趣的像素和相邻的3×3像素区域中的最大值与最小值之间的差设置为相对于感兴趣的像素而言的动态范围。另外，中心处于感兴趣的像素的预定区域不限于3×3像素，而可以是更宽的区域，并且区域的形状不限于矩形，而可以是另一种形状，诸如例如十字形。
另外，如果特征值是指示感兴趣的像素的区域的平坦度的信息，那么特征值不限于以上动态范围。信号生成像素确定单元32可使用第一差分特征值，例如感兴趣的像素与每个相邻像素之间的差的绝对值之和(绝对差之和)，其为根据像素之间的信号变化的特征值，基于例如频率成分的特征值。信号生成像素确定单元32不限于使用一个特征值的情况，而是存在组合利用多个特征值的方法，并且由这些特征值推测在内插处理中与真实值的差的大小。
接着，信号生成像素确定单元32基于特征值确定感兴趣的像素是抽取像素还是非抽取像素。信号生成像素确定单元32将由内插处理之后的图像信号计算得到的特征值与阈值相比较，并且在感兴趣的像素的区域平坦且特征值为阈值或更小时确定感兴趣的像素为抽取像素。另外，如果感兴趣的像素的区域不平坦且特征值大于阈值，那么信号生成像素确定单元32确定感兴趣的像素为非抽取像素。信号生成像素确定单元32将指示抽取像素和非抽取像素中的一个的确定结果存储为信号生成像素确定信息。当完成关于一屏图像的所有像素的确定时，信号生成像素确定单元32将指示一屏图像的所有像素的确定结果的信号生成像素确定信息输出至信号生成控制单元34。
另外，信号生成像素确定单元32将所存储的信号生成像素确定信息输出至内插处理单元31和信号生成控制单元34，以便使得所存储的信号生成像素确定信息能够用于下一个图像信号的生成中。例如，在移动图像拍摄的情况中，信号生成像素确定单元32将信号生成像素确定信息输出至内插处理单元31和信号生成控制单元34，以便在采样速率时间过去之后(例如在帧周期过去之后)通过使用信号生成像素确定信息在下一个图像信号的生成中执行该处理和控制操作。另外，在静止图像拍摄的情况中，近些年的数字相机、智能手机等在图像拍摄之前显示预览图像，或在一些情况下，通过驱动成像单元20自动聚焦生成图像信号。在这种情况中，由静止图像拍摄前不久的图像信号生成信号生成像素确定信息，并且将此信号生成像素确定信息输出至内插处理单元31和信号生成控制单元34，以便用于生成静止图像的图像信号。
信号生成控制单元34通过基于信号生成像素确定单元32提供的信号生成像素确定信息生成像素控制信号并且将像素控制信号输出至A/D转换单元23来停止对抽取像素的A/D转换处理。因此，从A/D转换单元23输出至图像处理单元30的图像信号是基于信号生成像素确定信息被执行像素抽取的信号。另外，如上文所述，信号生成像素确定信息输出至内插处理单元31，并且内插处理单元31对A/D转换处理被停止的抽取像素执行内插处理。
确定标准设置单元35设置在通过信号生成像素确定单元32生成信号生成像素确定信息时使用的阈值，并且将该阈值输出至信号生成像素确定单元32。阈值可以是预定值并且可以是可变化的。此外，可针对例如每个屏幕图像设置阈值，并且可针对每个像素或针对由多个相邻像素构成的每个像素区域设置阈值，如在随后描述的另一个实施例中那样。
相机信号处理单元40对从内插处理单元31输出的图像信号执行相机信号处理，诸如去马赛克处理，一种用于优化例如亮度、对比度和颜色再现的处理。用户界面单元41根据用户操作生成操作信号并且将操作信号输出至操作控制单元50。
操作控制单元50基于来自用户界面单元41的操作信号控制每个单元，并且以使得图像拍摄装置根据用户操作进行操作的方式控制每个单元。
图6为示出第一实施例的操作的流程图。在步骤ST1中，图像传感器21生成像素信号并前进至步骤ST3。
在步骤ST2中，信号生成控制单元34获取信号生成像素确定信息。信号生成控制单元34获取由信号生成像素确定单元32提供的信号生成像素确定信息，并且基于信号生成像素确定信息生成像素控制信号，并前进至步骤ST3。
在步骤ST3中，A/D转换单元23执行A/D转换处理。基于由信号生成控制单元34提供的像素控制信号，如果在步骤ST1中被生成像素信号的像素是抽取像素，那么A/D转换单元23停止A/D转换处理，并且如果在步骤ST1中被生成像素信号的像素是非抽取像素，那么A/D转换单元23执行A/D转换处理，并前进至步骤ST4。
在步骤ST4中，内插处理单元31执行内插处理。内插处理单元31获取由信号生成像素确定单元32提供的信号生成像素确定信息。另外，内插处理单元31基于所获取的信号生成像素确定信息对A/D转换处理之后的图像信号执行抽取像素的内插处理，并且前进至步骤ST5。
在步骤ST5中，信号生成像素确定单元32计算特征值。信号生成像素确定单元32通过使用由内插处理单元31处理的图像信号计算每个像素的特征值，并且前进至步骤ST6。
在步骤ST6中，信号生成像素确定单元32执行像素确定。信号生成像素确定单元32将在步骤ST5中计算得到的特征值与由确定标准设置单元35设置的阈值相比较，并且针对每个像素确定是抽取像素还是非抽取像素。另外，信号生成像素确定单元32生成指示确定结果的信号生成像素确定信息，并且前进至步骤ST7。
在步骤ST7中，信号生成像素确定单元32存储信号生成像素确定信息。信号生成像素确定单元32存储信号生成像素确定信息，以使得信号生成像素确定信息能够用于下一个图像信号的生成，并且前进至步骤ST8。
在步骤ST8中，操作控制单元50确定所有像素的处理是否结束。操作控制单元50确定一屏图像的所有像素从步骤ST1至步骤ST7的处理是否均已完成。如果对于所有像素，处理尚未完成，那么操作控制单元50返回步骤ST1，并且对下一个像素执行从步骤ST1至步骤ST7的处理。另外，如果所有像素的处理均已完成，那么操作控制单元50前进至步骤ST9。应注意，所有像素的处理的结束确定不限于操作控制单元50执行结束确定的情况，而是从步骤ST1至步骤ST7的处理可由每个单元自动执行，直到完成一屏图像的所有像素的处理。
在步骤ST9中，信号生成像素确定单元32输出信号生成像素确定信息。关于一屏图像的所有像素确定是抽取像素还是非抽取像素之后，信号生成像素确定单元32将指示一屏图像的确定结果的信号生成像素确定信息输出至内插处理单元31和信号生成控制单元34，并且前进至步骤ST10。因此，内插处理单元31和信号生成控制单元34在例如下一帧中通过使用新的信号生成像素确定信息执行该处理。
在步骤ST10中，操作控制单元50确定图像拍摄是否结束。如果操作控制单元50不确定移动图像或静止图像的图像拍摄已经结束，那么操作控制单元50返回步骤ST1，并且如果执行了用于结束图像拍摄，例如结束移动图像或静止图像的图像拍摄的用户操作，那么操作控制单元50结束操作。
应注意，相机信号处理单元40在步骤ST11中输出图像信号。相机信号处理单元40对由内插处理单元31提供的图像信号执行各种信号处理并且输出图像信号。
根据此第一实施例，在平坦图像区域中提供抽取像素，并且在抽取像素处停止A/D转换处理，从而可实现具有良好图像质量的拍摄图像的生成和图像拍摄装置的电力消耗的减少。另外，信号生成像素确定信息顺序更新，因此根据成像物体的变化生成信号生成像素确定信息，并且防止了图像质量的降低且减少了图像拍摄装置的电力消耗。
<2.第二实施例>
接下来将描述第二实施例。在以上第一实施例中，已经描述了通过指定阈值来防止图像质量降低并减少图像拍摄装置的电力消耗的配置，但是在第二实施例中，将描述其中图像拍摄装置被控制以消耗指定电力的情况。
图7示出使用本技术的图像处理装置的图像拍摄装置的第二实施例的配置。应注意，在图7中，相同的参考标记用于与第一实施例相对应的方框。
图像拍摄装置10a包括成像单元20、图像处理单元30、相机信号处理单元40、用户界面(I/F)单元41、时钟单元42、电力消耗估算单元43、指定电力消耗计算单元44、以及操作控制单元50。
成像单元20包括图像传感器21、图像传感器驱动单元22、以及A/D转换单元23，并且图像处理单元30包括内插处理单元31、信号生成像素确定单元32、信号生成控制单元34、以及确定标准设置单元35。
图像传感器21基于成像物体光学图像通过光电转换生成图像信号，并且将图像信号输出至A/D转换单元23。
图像传感器驱动单元22基于来自操作控制单元50的控制信号生成驱动信号。图像传感器驱动单元22将所生成的驱动信号提供至图像传感器21并且使图像传感器21生成图像信号。
A/D转换单元23执行A/D转换处理，以将图像传感器21提供的模拟图像信号转换成数字图像信号，并且将数字图像信号输出至图像处理单元30。另外，A/D转换单元23基于图像处理单元30提供的像素控制信号执行非抽取像素的A/D转换处理，并且将根据像素控制信号被执行像素抽取的图像信号输出至图像处理单元30。
图像处理单元30的内插处理单元31关于抽取像素执行内插处理，并且生成像素信号。内插处理单元31通过使用诸如线性内插的方法，关于被确定不生成像素信号的抽取像素，基于由随后描述的信号生成像素确定单元32提供的信号生成像素确定信息生成像素信号。
信号生成像素确定单元32由内插处理之后的图像信号计算特征值，并且基于特征值确定感兴趣的像素是抽取像素还是非抽取像素。信号生成像素确定单元32将指示感兴趣的像素的区域的平坦度的信息设置为特征值。信号生成像素确定单元32将由内插处理之后的图像信号计算得到的特征值与阈值相比较，并且将比较结果存储为指示抽取像素和非抽取像素中的一个的信号生成像素确定信息。当关于一屏图像的所有像素完成确定时，信号生成像素确定单元32将指示一屏图像的所有像素的确定结果的信号生成像素确定信息输出至内插处理单元31和信号生成控制单元34，以便使得信号生成像素确定信息能够用于下一个图像信号的生成。
信号生成控制单元34基于信号生成像素确定单元32提供的信号生成像素确定信息生成像素控制信号，并且将像素控制信号输出至A/D转换单元23，并且停止对抽取像素的A/D转换处理。因此，从A/D转换单元23输出至图像处理单元30的图像信号是基于信号生成像素确定信息被执行像素抽取的信号。另外，如上文所述，信号生成像素确定信息输出至内插处理单元31，并且内插处理单元31对A/D转换处理被停止的抽取像素执行内插处理。
确定标准设置单元35设置利用信号生成像素确定单元32生成信号生成像素确定信息时使用的阈值，并且将阈值输出至信号生成像素确定单元32。确定标准设置单元35设置阈值，其方式使得由随后描述的电力消耗估算单元43估算得到的估算电力消耗等于或小于由随后描述的指定电力消耗计算单元44计算得到的指定电力消耗。
相机信号处理单元40对由内插处理单元31输出的图像信号执行相机信号处理。另外，用户界面单元41根据用户操作生成操作信号，并且将操作信号输出至操作控制单元50。时钟单元42生成时间信息，并且将时间信息输出至操作控制单元50。
电力消耗估算单元43基于由信号生成像素确定单元32生成的信号生成像素确定信息估算图像拍摄装置的电力消耗。电力消耗估算单元43提前存储指示抽取像素的数量与电力消耗之间关系的信息，并且将通过信号生成像素确定信息指示的与抽取像素的数量相对应的电力消耗作为估算电力消耗输出至确定标准设置单元35。另外，电力消耗估算单元43可提前存储指示抽取像素的数量与可减少的电力消耗之间关系的信息，并且估算通过提供抽取像素减少的电力消耗，并将其设置为估算电力消耗。
指定电力消耗计算单元44计算图像拍摄时的电力消耗是多大的电力值，并且将计算的电力消耗作为指定电力消耗输出至确定标准设置单元35。例如，当图像拍摄装置10a利用来自电池的电力进行操作时，指定电力消耗计算单元44基于成像时间和电池的剩余电量计算电力消耗，以便拍摄期望时间的图像，并且将计算的电力消耗设置为指定电力消耗。另外，当电力消耗估算单元43将减少的电力消耗估算为估算电力消耗时，指定电力消耗计算单元44可计算电力消耗的必要减少量，并且将计算的电力减少量作为指定电力消耗输出至确定标准设置单元35。
操作控制单元50基于来自用户界面单元41的操作信号控制每个单元，并且以图像拍摄装置根据用户操作进行操作的方式控制每个单元。另外，操作控制单元50通过利用时钟单元42提供的时间信息在期望时间开始或结束成像，并且在预定的时间段中执行成像。
图8为示出第二实施例的操作的流程图。在步骤ST21中，图像传感器21生成像素信号并且前进至步骤ST23。
在步骤ST22中，信号生成控制单元34获取信号生成像素确定信息。信号生成控制单元34获取由信号生成像素确定单元32提供的信号生成像素确定信息，并且基于信号生成像素确定信息生成像素控制信号，并且前进至步骤ST23。
在步骤ST23中，A/D转换单元23执行A/D转换处理。基于信号生成控制单元34提供的像素控制信号，A/D转换单元23在于步骤ST21中被生成像素信号的像素为抽取像素时停止A/D转换处理，并且在于步骤ST21中被生成像素信号的像素为非抽取像素时执行A/D转换处理，并且前进至步骤ST24。
在步骤ST24中，内插处理单元31执行内插处理。内插处理单元31获取存储于信号生成像素确定单元32中的信号生成像素确定信息。另外，内插处理单元31基于所获取的信号生成像素确定信息对A/D转换处理之后的图像信号执行抽取像素的内插处理，并且前进至步骤ST25。
在步骤ST25中，信号生成像素确定单元32计算特征值。信号生成像素确定单元32通过使用由内插处理单元31处理的图像信号计算每个像素的特征值，并且前进至步骤ST26。
在步骤ST26中，信号生成像素确定单元32执行像素确定。信号生成像素确定单元32将通过步骤ST25计算得到的特征值与由确定标准设置单元35设置的阈值相比较，并且针对每个像素确定是抽取像素还是非抽取像素。另外，信号生成像素确定单元32生成指示确定结果的信号生成像素确定信息，并且前进至步骤ST27。
在步骤ST27中，信号生成像素确定单元32存储信号生成像素确定信息。信号生成像素确定单元32存储信号生成像素确定信息以使得信号生成像素确定信息能够用于下一个图像信号的生成，并且前进至步骤ST28。
在步骤ST28中，操作控制单元50确定所有像素的处理是否结束。操作控制单元50确定一屏图像的所有像素从步骤ST21至步骤ST27的处理是否均已完成。操作控制单元50在所有像素的处理尚未完成时返回步骤ST21，并且对下一个像素执行从步骤ST21至步骤ST27的处理。另外，如果所有像素的处理均已完成，那么操作控制单元50前进至步骤ST29。应注意，所有像素的处理的结束确定不限于操作控制单元50执行结束确定的情况，而是从步骤ST21至步骤ST27的处理可由每个单元自动执行，直到完成一屏图像的所有像素的处理。
在步骤ST29中，信号生成像素确定单元32输出信号生成像素确定信息。信号生成像素确定单元32将指示一屏图像的确定结果的信号生成像素确定信息输出至内插处理单元31、信号生成控制单元34和电力消耗估算单元43，并且前进至步骤ST30。因此，内插处理单元31和信号生成控制单元34在例如下一帧中通过使用新的信号生成像素确定信息执行该处理。
在步骤ST30中，电力消耗估算单元43估算电力消耗。电力消耗估算单元43基于信号生成像素确定单元32提供的信号生成像素确定信息估算电力消耗，并且前进至步骤ST31。
在步骤ST31中，指定电力消耗计算单元44计算指定电力消耗。指定电力消耗计算单元44计算图像拍摄时的电力消耗是什么值，并且将计算结果设置为指定电力消耗，并且前进至步骤ST32。
在步骤ST32中，确定标准设置单元35控制阈值。确定标准设置单元35控制阈值，其方式使得在步骤ST30中估算的电力消耗等于或小于在步骤ST31中计算的指定电力消耗。也就是说，当估算电力消耗大于指定电力消耗时，确定标准设置单元35使得阈值更高，其方式使得抽取像素的数量增加并且电力消耗变得更小。另外，当估算电力消耗等于或小于指定电力消耗时，确定标准设置单元35可维持阈值的值，并且可以使得抽取像素的数量减小的方式使得阈值更低。确定标准设置单元35如上所述控制阈值，并且前进至步骤ST33。
在步骤ST33中，操作控制单元50确定图像拍摄是否结束。如果操作控制单元50不确定移动图像或静止图像的图像拍摄已经结束，那么操作控制单元50返回步骤ST21，并且如果执行了用于结束图像拍摄，例如结束移动图像或静止图像的图像拍摄的用户操作，那么操作控制单元50结束操作。
应注意，相机信号处理单元40在步骤ST34中输出图像信号。相机信号处理单元40对由内插处理单元31提供的图像信号执行各种信号处理并且输出图像信号。
根据此第二实施例，在成像物体的平坦图像区域中提供抽取像素，并且在抽取像素处停止A/D转换处理，因此可实现具有良好图像质量的拍摄图像的生成和图像拍摄装置的电力消耗的控制。另外，信号生成像素确定信息顺序更新，因此根据成像物体的变化生成信号生成像素确定信息，并且防止了图像质量的降低且以期望的电力消耗操作图像拍摄装置。
<3.另一个实施例>
接下来将描述另一个实施例。在另一个实施例中，将描述根据图像拍摄装置的操作控制阈值和指定电力消耗的情况。
图9示出图像拍摄装置的另一个实施例的配置。应注意，在图9中，相同的参考标记用于与第一实施例和第二实施例相对应的方框。
图像拍摄装置10b包括成像单元20、图像处理单元30、相机信号处理单元40、用户界面单元(用户I/F单元)41、时钟单元42、电力消耗估算单元43、指定电力消耗计算单元44、传感器单元45、以及操作控制单元50。
成像单元20包括图像传感器21、图像传感器驱动单元22、以及A/D转换单元23，并且图像处理单元30包括内插处理单元31、信号生成像素确定单元32、信号生成控制单元34、以及确定标准设置单元36。
图像传感器21基于成像物体光学图像通过光电转换生成图像信号，并且将图像信号输出至A/D转换单元23。
图像传感器驱动单元22基于来自操作控制单元50的控制信号生成驱动信号。图像传感器驱动单元22将所生成的驱动信号提供至图像传感器21并且使图像传感器21生成图像信号。
A/D转换单元23执行A/D转换处理，以将图像传感器21提供的模拟图像信号转换成数字图像信号，并且将数字图像信号输出至图像处理单元30。另外，A/D转换单元23执行通过由图像处理单元30提供的像素控制信号指定的非抽取像素的A/D转换处理，并且将根据像素控制信号被执行像素抽取的图像信号输出至图像处理单元30。
图像处理单元30的内插处理单元31关于抽取像素执行内插处理。内插处理单元31基于随后描述的定标器单元33提供的信号生成像素确定信息，关于抽取像素执行内插处理，诸如线性内插。
信号生成像素确定单元32由内插处理之后的图像信号计算特征值，并且基于特征值确定感兴趣的像素是抽取像素还是非抽取像素。信号生成像素确定单元32将指示感兴趣的像素的区域的平坦度的信息设置为特征值。信号生成像素确定单元32将由内插处理之后的图像信号计算得到的特征值与阈值相比较，并且将比较结果存储为指示抽取像素和非抽取像素中的一个的信号生成像素确定信息。当关于一屏图像的所有像素完成确定时，信号生成像素确定单元32将指示一屏图像的所有像素的确定结果的信号生成像素确定信息输出至定标器单元33。
当信号生成像素确定信息的生成中所用的图像信号与后续生成的图像信号之间存在图像尺寸差异时，定标器单元33对信号生成像素确定信息执行定标处理。定标器单元33通过定标处理将信号生成像素确定单元32提供的信号生成像素确定信息转换成与后续生成的图像信号的图像尺寸相对应的信号生成像素确定信息，并且将信号生成像素确定信息输出至内插处理单元31和信号生成控制单元34。
图10示出定标处理。图10(a)示出定标之前的信号生成像素确定信息，其中不生成像素信号的抽取像素的确定值设为“1”，并且生成像素信号的像素的确定值设为“0”。此处，当两个像素的信号生成像素确定信息在像素之间新生成时，通过使用双线性过滤器的内插处理计算被新生成信号生成像素确定信息的两个像素的内插值，如例如图10(b)中所示。此外，将“0.33”和“0.66”的内插值与预定阈值(例如“0.5”)相比较，并且如图10(c)中所示，将关于在其处内插值等于或小于阈值的像素的确定值设为“0”，并且将关于在其处内插值大于阈值的像素的确定值设为“1”。以此方式，定标器单元33执行定标处理。另外，当成像单元生成的图像是具有诸如拜尔阵列的颜色阵列的图像时，对于每种颜色执行定标处理。应注意，可在定标处理中利用逻辑OR法、最近毗邻法、九分法、投影法、距离反比例法等。
信号生成控制单元34基于定标器单元33提供的信号生成像素确定信息生成像素控制信号，并且将像素控制信号输出至A/D转换单元23，并且停止对抽取像素的A/D转换处理。因此，从A/D转换单元23输出至图像处理单元30的图像信号是基于信号生成像素确定信息被执行像素抽取的信号。另外，如上文所述，信号生成像素确定信息输出至内插处理单元31，并且内插处理单元31对A/D转换处理被停止的像素执行内插处理。
确定标准设置单元36设置在信号生成像素确定信息的生成时使用的阈值，并且将阈值输出至信号生成像素确定单元32。另外，确定标准设置单元36根据图像拍摄装置10b的操作设置阈值。例如，确定标准设置单元36基于操作控制单元50根据图像拍摄装置10b的图像拍摄操作状态生成的操作信息设置阈值。此外，确定标准设置单元36可基于电力消耗估算单元43估算的估算电力消耗和指定电力消耗计算单元44指定的电力消耗设置阈值。
相机信号处理单元40对内插处理单元31输出的图像信号执行相机信号处理。另外，用户界面单元41根据用户操作生成操作信号，并且将操作信号输出至操作控制单元50。时钟单元42生成时间信息，并且将时间信息输出至操作控制单元50。
电力消耗估算单元43基于信号生成像素确定单元32生成的信号生成像素确定信息估算图像拍摄装置的电力消耗，并且将估算电力消耗输出至确定标准设置单元36。
指定电力消耗计算单元44计算图像拍摄时的电力消耗是什么值，并且将计算的电力消耗作为指定电力消耗值输出至确定标准设置单元36。
传感器单元45使用例如加速传感器、斜度传感器等构造而成，并且检测图像拍摄装置的移动、取向变化等。另外，传感器单元45具有曝光传感器或类似物以检测成像物体的亮度。传感器单元45将指示检测结果的传感器信号输出至操作控制单元50。应注意，可由成像单元20输出的图像信号确定图像拍摄装置的移动和取向变化以及成像物体的亮度。例如，可通过利用通过使用图像的多个帧计算得到的运动向量确定图像拍摄装置的移动和取向变化。另外，可通过利用图像信号的信号水平或图像区域的一部分的信号水平的平均值、图像信号的增益调整中使用的增益值或类似物确定成像物体的亮度。
操作控制单元50基于来自用户界面单元41的操作信号和来自传感器单元45的传感器信号控制每个单元，并且根据用户操作和基于传感器信号的各种类型的控制操作执行对操作模式的切换。另外，操作控制单元50通过利用从时钟单元42获取的时间信息执行操作模式的切换。另外，操作控制单元50根据图像拍摄装置10b的图像拍摄操作状态，例如操作模式和控制操作状态生成操作信息，并且将操作信息输出至确定标准设置单元36。
接下来将描述确定标准设置单元36中的阈值设置操作。确定标准设置单元36基于操作控制单元50提供的操作信息设置阈值，如上文所述。
当从相机信号处理单元40输出的图像信号的输出模式通过操作信息指示时，确定标准设置单元36根据输出模式设置阈值。例如，当从相机信号处理单元40输出的图像信号通过不可逆高压缩处理以低图像质量状态记录在记录介质中时，使阈值更高以设置大量抽取像素。因此，在以低图像质量记录拍摄图像时可减少电力消耗。
另外，当操作信息指示预览图像显示时，不同于静止图像记录，确定标准设置单元36不必优先考虑图像质量，因此使得阈值更高。因此，可在预览图像显示时减少电力消耗。应注意，为了有利于预览图像的显示，当预览图像具有比静止图像更小的图像尺寸时，在信号生成像素确定信息的生成时所用的图像信号与通过利用信号生成像素确定信息生成的图像信号之间存在图像尺寸差异。因此，定标器单元33将与预览图像的图像尺寸相对应的信号生成像素确定信息转换成与静止图像的图像尺寸相对应的信号生成像素确定信息。
另外，当操作信息指示用于检测成像物体、场景或类似物的操作模式时，假定拍摄到了诸如人的重要成像物体，因此，确定标准设置单元36使阈值更低并且使拍摄图像的图像质量优先级高于电力消耗的减少。
另外，当操作信息指示用于拍摄高速移动的物体的图像的操作模式时，难以拍摄高速移动的物体的高质量图像，因此确定标准设置单元36使阈值更高并且使电力消耗减少的优先级高于拍摄图像的图像质量。
当操作信息指示正在进行的相机抖动校正操作时，难以在相机抖动时获得高质量拍摄图像，因此确定标准设置单元36使阈值更高并且使电力消耗减少的优先级高于拍摄图像的图像质量。
另外，当操作信息指示图像拍摄时间周期时，在例如拍摄图像不重要的时间周期内的图像拍摄中，确定标准设置单元36使阈值更高并且使电力消耗减少的优先级高于拍摄图像的图像质量。
另外，确定标准设置单元36可根据通过操作信息指示的电池剩余电量设置阈值，并且减少电力消耗。应注意，通过例如操作控制单元50检测电池剩余电量。
此外，设置成像操作时间，并且操作信息指示电池剩余电量和至成像操作结束的操作时间。在这种情况中，确定标准设置单元36可基于电池剩余电量和成像操作结束之前的操作时间以及估算电力消耗，使阈值更高并且减少电力消耗，以实现成像结束之前的成像操作。
另外，确定标准设置单元36基于操作信息设置阈值的情况不是限制性的，并且可通过利用指定电力消耗计算单元44基于操作信息控制指定电力消耗来改变阈值。
此外，确定标准设置单元36不限于设置每个屏幕图像的阈值，而是可针对每个像素或针对由多个相邻像素构成的每个像素区域设置阈值。另外，每个像素或每个像素区域的阈值设置以及在整个图像上的阈值设置可组合。当每个像素或每个像素区域的阈值设置以及在整个图像上的阈值设置组合时，例如将整个屏幕图像上的统一阈值计算为绝对值，并且在每个像素或像素区域的阈值的计算中计算与整个屏幕图像上的统一阈值的差值，并且将求和结果应用于每个像素。另外，每个像素的差值不是限制性的，实现方法不限于此，例如通过指定一个比例。
当针对每个像素或针对像素区域设置阈值时，确定标准设置单元36根据感兴趣的像素在屏幕图像中的位置来设置阈值。确定标准设置单元36以使图像质量在例如屏幕图像中心部分处不降低的方式使阈值更低，并且使在屏幕图像周边部分处的阈值更高以减少电力消耗。如果如上所述控制阈值，那么可减少电力消耗，同时使屏幕图像中心部分保持处于高图像质量状态。
另外，在许多情况下，当拍摄到期望成像物体时，期望成像物体被拍摄成与背景一样亮或者比背景更亮。因此，确定标准设置单元36使亮图像区域中的阈值较低，并且使暗图像区域中的阈值较高。以此方式，可减少电力消耗，同时使期望成像物体保持处于高图像质量状态。
此外，当图像拍摄装置拍摄风景时，例如天空处于图像的上部位置。因此，当图像拍摄装置的操作模式为风景模式时，确定标准设置单元36可通过使图像上部位置处的阈值较高来减少电力消耗以生成几乎不受图像质量降低的影响的拍摄图像。另外，当通过例如成像物体识别识别到人脸时，可通过使人脸区域中的阈值较低来减少电力消耗，同时使所识别的成像物体保持处于高图像质量状态。
另外，尽管在以上第一和第二实施例中，基于信号生成像素确定信息控制A/D转换操作，但是信号生成控制单元34可控制图像传感器驱动单元22的操作并且控制使得图像传感器21不生成抽取像素的像素信号。另外，当基于信号生成像素确定信息控制图像传感器驱动单元22和A/D转换单元23的操作时，可进一步减少电力消耗。
此外，可通过硬件、软件或其组合配置执行本说明书中所述的一系列处理。在使用软件执行处理的情况中，将记录处理顺序的程序安装在包括于专用硬件中的计算机中的存储器中并且在其中执行。另选地，可以在能够执行各种种类的处理的通用计算机中安装和执行程序。
例如，可在先前将程序记录在作为记录介质的硬盘驱动器、SSD(固态驱动器)或ROM(只读存储器)中。或者程序可暂时或永久性地存储(记录)在可移除介质中，所述可移除介质诸如软磁盘、CD-ROM(压缩光盘只读存储器)、MO(磁光)盘、DVD(数字通用盘)、BD(蓝光盘(注册商标))、磁盘、半导体存储卡。这种可移除记录介质可提供为所谓的封装软件。
此外，该程序不仅安装在形成可移除记录介质的计算机中，而且还可经由网络诸如LAN(局域网)和因特网从下载站点通过无线或有线传送安装到计算机中。计算机可进行像那样传送的所接收程序的安装，将其安装到记录介质(诸如所安装的硬盘驱动器)中。
应注意，本说明书中所述的效果仅为实例且不是限制性的；可展现出未描述的额外效果。本领域的技术人员应当理解，可根据设计需要和其它因素进行各种修改、组合、子组合和更改，只要它们在随附权利要求书或其等效物的范围内即可。
另外，本技术的图像处理装置也可配置如下。
(1)一种图像处理装置，包括：
内插处理单元，其执行图像信号中的抽取像素的内插处理；
信号生成像素确定单元，其从通过所述内插处理单元执行所述内插处理的所述图像信号计算感兴趣的像素的特征值，并且基于所计算的特征值确定所述感兴趣的像素是抽取像素还是非抽取像素，并且生成指示确定结果的信号生成像素确定信息；以及
信号生成控制单元，其在图像信号的后续生成时执行控制，以停止通过由所述信号生成像素确定单元生成的所述信号生成像素确定信息确定为所述抽取像素的所述像素的信号生成操作。
(2)根据(1)所述的图像处理装置，其中
所述特征值为指示所述感兴趣的像素的区域的平坦度的信息。
(3)根据(2)所述的图像处理装置，其中
使用相对于所述感兴趣的像素而言预定区域中信号的动态范围或所述感兴趣的像素与相邻像素之间的绝对差之和作为所述特征值。
(4)根据(1)至(3)中任一项所述的图像处理装置，还包括：
确定标准设置单元，其根据所述感兴趣的像素的像素位置设置阈值，
其中所述信号生成像素确定单元将所述感兴趣的像素的所述特征值与所述阈值相比较，并且基于比较结果生成所述信号生成像素确定信息。
(5)根据(1)至(4)中任一项所述的图像处理装置，还包括：
定标器单元，其在所述信号生成像素确定信息的所述生成中所用的所述图像信号与后续生成的图像信号之间的图像尺寸存在差异的情况中将所述信号生成像素确定信息设置为与后续生成的所述图像信号的所述图像尺寸相对应的信号生成像素确定信息。
(6)根据(1)至(5)中任一项所述的图像处理装置，还包括：
A/D转换单元，其执行来自图像传感器的图像信号的模拟/数字转换处理，所述图像传感器基于成像物体光学图像生成所述图像信号，
其中所述内插处理单元通过使用经过所述A/D转换单元执行所述模拟/数字转换处理的所述图像信号执行所述内插处理，并且
所述信号生成控制单元基于所述信号生成像素确定信息控制所述A/D转换单元，以停止对被确定为所述抽取像素的所述像素的所述模拟/数字转换处理。
(7)根据(1)至(6)中任一项所述的图像处理装置，还包括：
图像传感器驱动单元，其驱动基于成像物体光学图像生成图像信号的图像传感器，
其中所述信号生成控制单元基于所述信号生成像素确定信息控制所述图像传感器驱动单元，以停止被确定为所述抽取像素的所述像素的信号的生成。
另外，本技术的图像拍摄装置也可配置如下。
(1)一种图像拍摄装置，包括：
基于成像物体光学图像生成图像信号的图像传感器；
执行由所述图像传感器生成的所述图像信号的内插处理的内插处理单元；
信号生成像素确定单元，其从通过所述内插处理单元执行所述内插处理的所述图像信号计算感兴趣的像素的特征值，并且基于所计算的特征值确定所述感兴趣的像素是抽取像素还是非抽取像素，并且生成指示确定结果的信号生成像素确定信息；以及
信号生成控制单元，其在图像信号的后续生成时执行控制，以停止通过由所述信号生成像素确定单元生成的所述信号生成像素确定信息确定为所述抽取像素的所述像素的信号生成操作。
(2)根据(1)所述的图像拍摄装置，还包括：
执行成像操作的控制的操作控制单元；以及
根据图像拍摄操作状态设置阈值的确定标准设置单元，
其中所述信号生成像素确定单元基于所述特征值与所述阈值之间的比较结果确定所述感兴趣的像素是否为所述抽取像素，并且根据所述图像拍摄操作状态设置所述阈值。
(3)根据(2)所述的图像拍摄装置，其中
所述操作控制单元在拍摄静止图像之前显示预览图像，并且
所述确定标准设置单元根据静止图像拍摄或预览图像显示改变所述阈值。
(4)根据(2)或(3)所述的图像拍摄装置，其中
所述操作控制单元执行相机抖动校正操作，并且
所述确定标准设置单元根据执行或不执行所述相机抖动校正操作来改变所述阈值。
(5)根据(2)至(4)中任一项所述的图像拍摄装置，其中
所述操作控制单元执行成像物体检测操作，并且
所述确定标准设置单元根据所述操作控制单元中的成像物体检测结果设置所述阈值。
(6)根据(5)所述的图像拍摄装置，其中
在基于所述成像物体检测结果确定成像物体不是预定成像物体的情况中或者在确定所述成像物体的运动比预定速度快的情况中，所述确定标准设置单元设置所述阈值以减少被执行信号的生成的像素。
(7)根据(2)至(6)中任一项所述的图像拍摄装置，其中
所述确定标准设置单元根据成像模式或成像物体的亮度设置所述阈值。
(8)根据(2)至(6)中任一项所述的图像拍摄装置，其中
所述确定标准设置单元根据通过所述内插处理单元执行所述内插处理的所述图像信号的输出模式设置所述阈值。
(9)根据(1)至(8)中任一项所述的图像拍摄装置，还包括：
获取时间信息的时钟单元，
其中所述确定标准设置单元根据图像拍摄时间设置所述阈值。
(10)根据(1)至(9)中任一项所述的图像拍摄装置，还包括：
电力消耗估算单元，其通过使用由所述信号生成像素确定单元生成的所述信号生成像素确定信息估算电力消耗，
其中所述确定标准设置单元根据指定电力消耗与由所述电力消耗估算单元估算的所述估算电力消耗之间的比较结果设置所述阈值。
(11)根据(1)至(10)中任一项所述的图像拍摄装置，还包括：
剩余电量检测单元，其检测用于操作所述图像拍摄装置的电池的剩余电量，
其中所述确定标准设置单元根据所述剩余电量检测单元的检测结果设置所述阈值。
(12)根据(11)所述的图像拍摄装置，还包括：
电力消耗估算单元，其通过使用由所述信号生成像素确定单元生成的所述信号生成像素确定信息估算电力消耗，
其中所述确定标准设置单元基于成像结束之前的时间、所述剩余电量检测单元的所述检测结果、以及所述电力消耗估算单元的估算结果设置所述阈值以实现成像结束之前的成像操作。
工业实用性
在本技术的图像处理装置、图像处理方法和图像拍摄装置中，执行图像信号中的抽取像素的内插处理，并且由被执行内插处理的图像信号计算感兴趣的像素的特征值。另外，基于所计算的特征值确定感兴趣的像素是抽取像素还是非抽取像素，并且生成指示确定结果的信号生成像素确定信息。在图像信号的后续生成时执行控制，以便不生成通过信号生成像素确定信息确定为抽取像素的像素的信号。因此，防止了图像质量的降低且减少了电力消耗，并且其适用于例如具有成像功能的便携式电子装置或类似物。
参考标记列表
10、10a、10b 图像拍摄装置
20 成像单元
21 图像传感器
22 图像传感器驱动单元
23 A/D转换单元
30 图像处理单元
31 内插处理单元
32 信号生成像素确定单元
33 定标器单元
34 信号生成控制单元
35、36 确定标准设置单元
40 相机信号处理单元
41 用户界面(I/F)单元
42 时钟单元
43 电力消耗估算单元
44 指定电力消耗计算单元
45 传感器单元
50 操作控制单元。

Claims (20)

1.一种图像处理装置，包括：
内插处理单元，其执行图像信号中的抽取像素的内插处理；
信号生成像素确定单元，其从通过所述内插处理单元执行所述内插处理的所述图像信号计算感兴趣的像素的特征值，并且基于所计算的特征值确定所述感兴趣的像素是抽取像素还是非抽取像素，并且生成指示确定结果的信号生成像素确定信息；以及
信号生成控制单元，其在图像信号的后续生成时执行控制，以停止通过由所述信号生成像素确定单元生成的所述信号生成像素确定信息确定为所述抽取像素的所述像素的信号生成操作。
2.根据权利要求1所述的图像处理装置，其中
所述特征值为指示所述感兴趣的像素的区域的平坦度的信息。
3.根据权利要求2所述的图像处理装置，其中
使用相对于所述感兴趣的像素而言预定区域中信号的动态范围或所述感兴趣的像素与相邻像素之间的绝对差之和作为所述特征值。
4.根据权利要求1所述的图像处理装置，还包括：
确定标准设置单元，其根据所述感兴趣的像素的像素位置设置阈值，
其中所述信号生成像素确定单元将所述感兴趣的像素的所述特征值与所述阈值相比较，并且基于比较结果生成所述信号生成像素确定信息。
5.根据权利要求1所述的图像处理装置，还包括：
定标器单元，其在所述信号生成像素确定信息的所述生成中所用的所述图像信号与后续生成的图像信号之间的图像尺寸存在差异的情况中，将所述信号生成像素确定信息设置为与后续生成的图像信号的图像尺寸相对应的信号生成像素确定信息。
6.根据权利要求1所述的图像处理装置，还包括：
A/D转换单元，其执行来自图像传感器的图像信号的模拟/数字转换处理，所述图像传感器基于成像物体光学图像生成所述图像信号，
其中所述内插处理单元通过使用经过所述A/D转换单元执行所述模拟/数字转换处理的所述图像信号执行所述内插处理，并且
所述信号生成控制单元基于所述信号生成像素确定信息控制所述A/D转换单元，以停止对被确定为所述抽取像素的所述像素的所述模拟/数字转换处理。
7.根据权利要求1所述的图像处理装置，还包括：
图像传感器驱动单元，其驱动基于成像物体光学图像生成图像信号的图像传感器，
其中所述信号生成控制单元基于所述信号生成像素确定信息控制所述图像传感器驱动单元，以停止被确定为所述抽取像素的所述像素的信号的生成。
8.一种图像处理方法，包括：
通过内插处理单元执行图像信号中的抽取像素的内插处理；
通过信号生成像素确定单元从所述内插处理之后的所述图像信号计算感兴趣的像素的特征值，并且基于所计算的特征值确定所述感兴趣的像素是抽取像素还是非抽取像素，并且生成指示确定结果的信号生成像素确定信息；以及
在图像信号的后续生成时通过信号生成控制单元执行控制，以停止通过由所述信号生成像素确定单元生成的所述信号生成像素确定信息确定为所述抽取像素的所述像素的信号生成操作。
9.一种图像拍摄装置，包括：
基于成像物体光学图像生成图像信号的图像传感器；
执行由所述图像传感器生成的所述图像信号的内插处理的内插处理单元；
信号生成像素确定单元，其从通过所述内插处理单元执行所述内插处理的所述图像信号计算感兴趣的像素的特征值，并且基于所计算的特征值确定所述感兴趣的像素是抽取像素还是非抽取像素，并且生成指示确定结果的信号生成像素确定信息；以及
信号生成控制单元，其在图像信号的后续生成时执行控制，以停止通过由所述信号生成像素确定单元生成的所述信号生成像素确定信息确定为所述抽取像素的所述像素的信号生成操作。
10.根据权利要求9所述的图像拍摄装置，还包括：
执行成像操作的控制的操作控制单元；以及
根据图像拍摄操作状态设置阈值的确定标准设置单元，
其中所述信号生成像素确定单元基于所述特征值与所述阈值之间的比较结果确定所述感兴趣的像素是否为所述抽取像素，并且根据所述图像拍摄操作状态设置所述阈值。
11.根据权利要求10所述的图像拍摄装置，其中
所述操作控制单元在拍摄静止图像之前显示预览图像，并且
所述确定标准设置单元根据静止图像拍摄或预览图像显示改变所述阈值。
12.根据权利要求10所述的图像拍摄装置，其中
所述操作控制单元执行相机抖动校正操作，并且
所述确定标准设置单元根据执行或不执行所述相机抖动校正操作来改变所述阈值。
13.根据权利要求10所述的图像拍摄装置，其中
所述操作控制单元执行成像物体检测操作，并且
所述确定标准设置单元根据所述操作控制单元中的成像物体检测结果设置所述阈值。
14.根据权利要求13所述的图像拍摄装置，其中
在基于所述成像物体检测结果确定成像物体不是预定成像物体的情况中或者在确定所述成像物体的运动比预定速度快的情况中，所述确定标准设置单元设置所述阈值以减少执行信号的生成的像素。
15.根据权利要求10所述的图像拍摄装置，其中
所述确定标准设置单元根据成像模式或成像物体的亮度设置所述阈值。
16.根据权利要求10所述的图像拍摄装置，其中
所述确定标准设置单元根据通过所述内插处理单元执行所述内插处理的所述图像信号的输出模式设置所述阈值。
17.根据权利要求9所述的图像拍摄装置，还包括：
获取时间信息的时钟单元，
其中所述确定标准设置单元根据图像拍摄时间设置所述阈值。
18.根据权利要求9所述的图像拍摄装置，还包括：
电力消耗估算单元，其通过使用由所述信号生成像素确定单元生成的所述信号生成像素确定信息估算电力消耗，
其中所述确定标准设置单元根据指定电力消耗与由所述电力消耗估算单元估算的所述估算电力消耗之间的比较结果设置所述阈值。
19.根据权利要求9所述的图像拍摄装置，还包括：
剩余电量检测单元，其检测用于操作所述图像拍摄装置的电池的剩余电量，
其中所述确定标准设置单元根据所述剩余电量检测单元的检测结果设置所述阈值。
20.根据权利要求19所述的图像拍摄装置，还包括：
电力消耗估算单元，其通过使用由所述信号生成像素确定单元生成的所述信号生成像素确定信息估算电力消耗，
其中所述确定标准设置单元基于成像结束之前的时间、所述剩余电量检测单元的所述检测结果、以及所述电力消耗估算单元的估算结果设置所述阈值以实现成像结束之前的成像操作。
CN201580077647.7A 2015-03-18 2015-12-16 图像处理装置、图像处理方法和图像拍摄装置 Expired - Fee Related CN107431750B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-054723 2015-03-18
JP2015054723 2015-03-18
PCT/JP2015/085202 WO2016147508A1 (ja) 2015-03-18 2015-12-16 画像処理装置と画像処理方法および撮像装置

Publications (2)

Publication Number Publication Date
CN107431750A true CN107431750A (zh) 2017-12-01
CN107431750B CN107431750B (zh) 2020-06-30

Family

ID=56919952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580077647.7A Expired - Fee Related CN107431750B (zh) 2015-03-18 2015-12-16 图像处理装置、图像处理方法和图像拍摄装置

Country Status (4)

Country Link
US (1) US10075661B2 (zh)
JP (1) JP6673333B2 (zh)
CN (1) CN107431750B (zh)
WO (1) WO2016147508A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110049230A (zh) * 2018-01-16 2019-07-23 韩华泰科株式会社 校正图像的图像处理装置和方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019213020A (ja) * 2018-06-04 2019-12-12 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像制御方法
US11659288B2 (en) * 2020-10-22 2023-05-23 Sunasic Technologies, Inc. Image sensing device with adjustable parameters for image sampling

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1337122A (zh) * 1999-04-20 2002-02-20 新泻精密株式会社 图像处理电路
US20070181687A1 (en) * 2006-02-07 2007-08-09 Victor Company Of Japan, Ltd. Method and apparatus for taking pictures
JP2010091985A (ja) * 2008-10-10 2010-04-22 Olympus Imaging Corp 画像表示装置及び画像表示方法
CN104170376A (zh) * 2012-03-27 2014-11-26 索尼公司 图像处理设备、成像装置、图像处理方法及程序

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6356276B1 (en) * 1998-03-18 2002-03-12 Intel Corporation Median computation-based integrated color interpolation and color space conversion methodology from 8-bit bayer pattern RGB color space to 12-bit YCrCb color space
US6580837B1 (en) * 1999-12-07 2003-06-17 Intel Corporation Up-sampling decimated color plane data
JP3947969B2 (ja) * 2002-05-15 2007-07-25 ソニー株式会社 画像処理装置、および画像処理方法、記録媒体、並びにプログラム
JP2005080198A (ja) 2003-09-03 2005-03-24 Matsushita Electric Ind Co Ltd 撮像装置
US7373011B2 (en) * 2004-10-07 2008-05-13 Polaroid Corporation Density-dependent sharpening
JP2007150439A (ja) 2005-11-24 2007-06-14 Sony Corp 撮像装置、撮像方法、およびプログラム
CN100527792C (zh) 2006-02-07 2009-08-12 日本胜利株式会社 摄像方法以及摄像装置
JP2008067230A (ja) * 2006-09-08 2008-03-21 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP4952498B2 (ja) 2006-10-13 2012-06-13 ソニー株式会社 データ処理装置、固体撮像装置、撮像装置、電子機器
US8306350B2 (en) * 2008-12-19 2012-11-06 Texas Instruments Incorporated Aspect ratio distortion minimization
JP5506320B2 (ja) 2009-10-06 2014-05-28 株式会社ブリヂストン タイヤ表面の検査方法
JP5595119B2 (ja) * 2010-05-19 2014-09-24 キヤノン株式会社 画像印字装置、画像印字方法及びプログラム
JP6136170B2 (ja) * 2012-10-02 2017-05-31 株式会社ソシオネクスト 画像処理装置、画像処理方法、及び撮像装置
JP2017196241A (ja) * 2016-04-28 2017-11-02 キヤノン株式会社 装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1337122A (zh) * 1999-04-20 2002-02-20 新泻精密株式会社 图像处理电路
US20070181687A1 (en) * 2006-02-07 2007-08-09 Victor Company Of Japan, Ltd. Method and apparatus for taking pictures
JP2010091985A (ja) * 2008-10-10 2010-04-22 Olympus Imaging Corp 画像表示装置及び画像表示方法
CN104170376A (zh) * 2012-03-27 2014-11-26 索尼公司 图像处理设备、成像装置、图像处理方法及程序

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110049230A (zh) * 2018-01-16 2019-07-23 韩华泰科株式会社 校正图像的图像处理装置和方法

Also Published As

Publication number Publication date
WO2016147508A1 (ja) 2016-09-22
CN107431750B (zh) 2020-06-30
JPWO2016147508A1 (ja) 2017-12-28
JP6673333B2 (ja) 2020-03-25
US20180084210A1 (en) 2018-03-22
US10075661B2 (en) 2018-09-11

Similar Documents

Publication Publication Date Title
EP1924966B1 (en) Adaptive exposure control
CN110602467B (zh) 图像降噪方法、装置、存储介质及电子设备
JP4898761B2 (ja) オブジェクト追跡を用いたデジタル画像の手ぶれ補正装置および方法
US9305375B2 (en) High-quality post-rendering depth blur
KR20210139450A (ko) 이미지 디스플레이 방법 및 디바이스
CN103843033B (zh) 图像处理设备和方法以及程序
EP3716146A1 (en) Image processing method, image processing apparatus, program, image processing system, and learnt model manufacturing method
CN110557584B (zh) 图像处理方法及装置、计算机可读存储介质
JP7297470B2 (ja) 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法
WO2014158241A1 (en) Viewfinder display based on metering images
CN110930301B (zh) 图像处理方法、装置、存储介质及电子设备
CN110381263A (zh) 图像处理方法、装置、存储介质及电子设备
JP7285791B2 (ja) 画像処理装置、および出力情報制御方法、並びにプログラム
US20220044349A1 (en) Multi-scale warping circuit for image fusion architecture
CN110555805B (zh) 图像处理的方法、装置、设备及存储介质
CN105407281A (zh) 一种基于场景的拍照装置、方法
CN107431750A (zh) 图像处理装置、图像处理方法和图像拍摄装置
CN115314617A (zh) 图像处理系统及方法、计算机可读介质和电子设备
US11841926B2 (en) Image fusion processor circuit for dual-mode image fusion architecture
CN111031256A (zh) 图像处理方法、装置、存储介质及电子设备
US11816858B2 (en) Noise reduction circuit for dual-mode image fusion architecture
JP4900265B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6099973B2 (ja) 被写体領域追跡装置、その制御方法及びプログラム
JP5919086B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
US11836889B2 (en) Dual-mode image fusion architecture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200630

CF01 Termination of patent right due to non-payment of annual fee