CN1867047A - 图像处理设备和方法及程序 - Google Patents

图像处理设备和方法及程序 Download PDF

Info

Publication number
CN1867047A
CN1867047A CNA2006100803829A CN200610080382A CN1867047A CN 1867047 A CN1867047 A CN 1867047A CN A2006100803829 A CNA2006100803829 A CN A2006100803829A CN 200610080382 A CN200610080382 A CN 200610080382A CN 1867047 A CN1867047 A CN 1867047A
Authority
CN
China
Prior art keywords
image
correct amount
magnification ratio
vibration
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006100803829A
Other languages
English (en)
Other versions
CN100442826C (zh
Inventor
熊木甚洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1867047A publication Critical patent/CN1867047A/zh
Application granted granted Critical
Publication of CN100442826C publication Critical patent/CN100442826C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

一种图像处理设备,包括:用图像拾取装置拾取图像的图像拾取单元;探测所施加的振动并输出指示该振动的大小的振动量的振动量输出单元;根据振动量输出单元所输出的振动量来计算用于减少振动对图像的影响的第一纠正量的计算单元;确定在图像拾取单元拾取图像的时候变焦放大率是否等于或高于预定的阈值的确定单元;当确定单元确定变焦放大率等于或高于阈值时,基于第一纠正量而产生第二纠正量的生成单元;以及基于第一纠正量或第二纠正量来纠正图像拾取单元所拾取的图像的纠正单元。

Description

图像处理设备和方法及程序
相关申请的交叉参考
本发明包含与2005年5月16日提交给日本专利局的日本专利申请JP2005-143083相关的主题,其全部内容结合于此以作参考。
技术领域
本发明涉及一种图像处理设备、方法、和程序,且更具体地,涉及当由便携式图像拾取设备拾取图像时,能够减少振动对图像的影响的一种图像处理设备、方法和程序。
背景技术
便携式视频摄像机和数字照相机已被广泛使用。在下列描述中,作为例子将描述视频摄像机。作为用于视频摄像机的目标图像拾取装置的例子,存在像CCD(电荷藕合装置)传感器那样的电荷转移型目标图像拾取装置和像CMOS(互补金属氧化物半导体)传感器那样的X-Y地址型目标图像拾取装置。
与CCD传感器及驱动器相比较,CMOS传感器功耗低且以单一低电压驱动。另外,因为能够容易地将CMOS传感器与外围电路集成,所以CMOS传感器用于像视频摄像机那样的图像处理设备。
然而,通过使用CMOS传感器作为像视频摄像机那样的图像处理设备的图像拾取装置来记录高质量的移动或静止图像是很困难的。其中的一个原因是是会出现由手抖而引起的所拾取的图像的变形。在已被用作为图像处理设备的图像拾取装置的CCD传感器的情形,用于执行用于减少手抖的影响的过程所需要的纠正量是一个单一的值,其基于在一场或一帧中所得到的手抖信息而计算。在这种情形,所有像素的曝光时间间隔都彼此相等,且不会出现图像变形,因此能够通过使用单一的值来纠正手抖。
在CMOS传感器的情形,通过使用下列机制拾取目标的图像,会出现由于手抖而引起的图像变形。变形被认为如下所述而出现。
在像CCD传感器那样的电荷转移型固态图像拾取装置中,能够同时曝光所有的像素,以允许读出像素数据。然而,在像CMOS传感器那样的X-Y地址型固态图像拾取装置中,以一个像素或一行为单位顺序地读出像素数据。在以一行为单位顺序地读出像素数据的情形,如果一个图像以1至N行而构成,并且如果读出一行花费t秒的时间,则读出一个图像的数据花费N×t秒的时间。
换句话说,从读出第一行的时间起,在大约N×t秒的时间流逝之后,读出第N行。由于这样的一个时间延迟,如果在拾取图像的时候(当逐行读出图像数据时)施加像手抖那样的振动,则在第一行和第n行中的图像位置就会偏离,因此可能出现所拾取的图像的变形。
为了减少图像变形,已经提出了用于在施加像手抖那样的振动的时候执行振动消除纠正的技术(参看专利文献1)。
专利文献1:日本未经审查的专利申请公开号No.2004-266322。
除手抖纠正之外,在像视频摄像机那样的图像处理设备中也执行其它过程。最近,由于像素数量的增加和视频摄像机的高精确性,数据量及其处理量大大地增加。由于该原因,所需要的存储容量增加,因此意味着提高处理性能。
具体来说,与静止图像不同,实时处理移动图像是很重要的。因此,在移动图片的情形,需要较大的存储容量,并且需要高度精确的处理性能。如果信号过程的大小大大增加,则成本和功耗大大地增加。然而,就驱动时间的增加而言,低成本和功耗是更可取的。因此,减少成本和功耗并且有效地对待受其减少影响的过程是很必要的。
本发明有效地执行一个过程且减少成本或功耗。
发明内容
根据本发明的第一个方面,提供一种图像处理设备,包括:用图像拾取装置拾取图像的图像拾取单元;探测所施加的振动并输出指示该振动的大小的振动量的振动量输出单元;根据振动量输出单元所输出的振动量来计算用于减少振动对图像的影响的第一纠正量的计算单元;确定在图像拾取单元拾取图像的时候变焦放大率是否高于预定的阈值的确定单元;当确定单元确定变焦放大率高于阈值时,基于第一纠正量而产生第二纠正量的生成单元;以及基于第一纠正量或第二纠正量来纠正图像拾取单元所拾取的图像的纠正单元。
在本发明的上述方面,生成单元可以设置相应于变焦放大率的系数并通过用该系数乘以第一纠正量而产生第二纠正量。
另外,计算单元可以从图像而计算多个第一纠正量,并且生成单元可以设置关于第一纠正量的系数,以在多个第一纠正量之中排除至少一个第一纠正量。
另外,系数可以具有从0到1的值。
另外,当变焦放大率高于比预定的阈值大的第二阈值时,确定单元可以将系数设置为0。
根据本发明的第一个方面,提供一种图像处理方法,包括:通过控制图像拾取装置而拾取图像的图像拾取步骤;探测所施加的振动并输出指示该振动的大小的振动量的振动量输出步骤;从振动量输出步骤中所输出的振动量而计算用于减少振动对图像的影响的第一纠正量的计算步骤;确定在图像拾取步骤中拾取图像的时候变焦放大率是否高于预定的阈值的确定步骤;当在确定步骤中确定变焦放大率高于阈值时,基于第一纠正量而产生第二纠正量的生成步骤;以及基于第一纠正量或第二纠正量来纠正在图像拾取步骤中所拾取的图像的纠正步骤。
根据本发明的第一个方面,提供了一种计算机可读程序,包括:通过控制图像拾取装置而拾取图像的图像拾取步骤;探测所施加的振动并输出指示该振动的大小的振动量的振动量输出步骤;从振动量输出步骤中所输出的振动量而计算用于减少振动对图像的影响的第一纠正量的计算步骤;确定在图像拾取步骤中拾取图像的时候变焦放大率是否高于预定的阈值的确定步骤;当在确定步骤中确定变焦放大率高于阈值时,基于第一纠正量而产生第二纠正量的生成步骤;以及基于第一纠正量或第二纠正量来纠正在图像拾取步骤中所拾取的图像的纠正步骤。
根据本发明的第一个方面,在图像处理设备和方法及计算机可读程序中,能够计算用于减少所施加的振动的影响的纠正量。在计算纠正量的时候,如果变焦放大率高于预定的阈值,则改变纠正量为具有小于先前所计算出的纠正量的值的一个值的纠正,并且通过使用具有较小的值的纠正量来执行用于减少所施加的振动的影响的过程。
根据本发明的第二个方面,提供一种图像处理设备,包括:用图像拾取装置拾取图像的图像拾取单元;探测所施加的振动并输出指示该振动的大小的振动量的振动量输出单元;根据变焦放大率在一个屏幕中设置用于减少振动对图像的影响的纠正量的点数的设置单元;计算相应于设置单元所设置的点数的纠正量的计算单元;以及基于计算单元所计算出的纠正量来纠正图像拾取单元所拾取的图像的纠正单元。
在本发明的上述方面,当在图像拾取单元拾取图像的时候,变焦放大率高于预定的阈值时,设置单元可以设置点数。
根据本发明的第二个方面,提供一种图像处理方法,包括:用图像拾取装置拾取图像的图像拾取步骤;探测所施加的振动并输出指示该振动的大小的振动量的振动量输出步骤;根据变焦放大率在一个屏幕中设置用于减少振动对图像的影响的纠正量的点数的设置步骤;计算相应于在设置步骤中所设置的点数的纠正量的计算步骤;以及基于在计算步骤中所计算出的纠正量来纠正在图像拾取步骤中所拾取的图像的纠正步骤。
根据本发明的第二个方面,提供一种计算机可读程序,包括:用图像拾取装置拾取图像的图像拾取步骤;探测所施加的振动并输出指示该振动的大小的振动量的振动量输出步骤;根据变焦放大率在一个屏幕中设置用于减少振动对图像的影响的纠正量的点数的设置步骤;计算相应于在设置步骤中所设置的点数的纠正量的计算步骤;以及基于在计算步骤中所计算出的纠正量来纠正在图像拾取步骤中所拾取的图像的纠正步骤。
根据本发明的第二个方面,在图像处理设备和方法及计算机可读程序中,能够计算用于减少所施加的振动的影响的纠正量。在计算纠正量的时候,如果变焦放大率高于预定的阈值,则计算相应于小于变焦放大率低于预定的阈值的情形的那个的点数的纠正量,并且通过使用具有较小的值的纠正量来执行用于减少所施加的振动的影响的过程。
根据本发明的第三个方面,提供一种图像处理设备,包括:用图像拾取装置拾取图像的图像拾取单元;根据变焦放大率在图像拾取单元所拾取的图像中设置将要被处理的区域的设置单元;以及仅处理设置单元所设置的区域的内部部分的处理单元。
在本发明的上述方面,当在图像拾取单元拾取图像的时候,变焦放大率高于预定的阈值时,设置单元可以设置将要被处理的区域。
另外,图像处理设备可能进一步包括:探测所施加的振动并输出指示该振动的大小的振动量的振动量输出单元;以及根据振动量输出单元所输出的振动量来计算用于减少振动对图像的影响的纠正量的计算单元,其中处理单元可以基于纠正量来纠正图像拾取单元所拾取的图像。
根据本发明的第三个方面,提供一种图像处理方法,包括:用图像拾取装置拾取图像的图像拾取步骤;根据变焦放大率在图像拾取步骤中所拾取的图像中设置将要被处理的区域的设置步骤;以及仅处理在设置步骤中所设置的区域的内部部分的处理步骤。
根据本发明的第三个方面,提供一种计算机可读程序,包括:用图像拾取装置拾取图像的图像拾取步骤;根据变焦放大率在图像拾取步骤中所拾取的图像中设置将要被处理的区域的设置步骤;以及仅处理在设置步骤中所设置的区域的内部部分的处理步骤。
根据本发明的第三个方面,在图像处理设备和方法及计算机可读程序中,根据变焦放大率设置所拾取的图像中将要被处理的区域,并且仅在所设置的区域的内部部分执行过程。
根据本发明,执行适合于场合的手抖纠正(用于减少振动的影响的纠正)是可能的。
根据本发明,执行适合于变焦放大率的手抖纠正是可能的。另外,根据本发明,在变焦的时刻,减少与手抖纠正相关联的过程的数量是可能。
附图说明
参考附图,将描述本发明,其中相同的数字标注相同的元件:
图1是显示根据本发明的一个实施例的图像处理设备的构造的视图;
图2是用于解释振动量的视图;
图3是用于解释图像处理设备的操作的流程图;
图4是用于解释关于低放大率的过程的流程图;
图5是用于解释关于高放大率的过程的流程图;
图6是用于解释阈值的视图;
图7是用于解释纠正量和系数的视图;
图8A和8B是用于解释纠正量和系数的视图;
图9是用于解释图像处理设备的其它操作的流程图;
图10是用于解释低放大率的其它过程的流程图;
图11是用于解释高放大率的其它过程的流程图;
图12是用于解释纠正点数的视图;
图13是用于解释阈值的视图;
图14A、14B和14C是用于解释处理截面的视图;
图15是用于解释阈值的视图;
图16是用于解释关于高放大率的其它过程的流程图;以及
图17是用于解释记录介质的视图。
具体实施方式
现在,将描述本发明的优选实施例。如下所述,实施例相应于本发明的上述各方面。尽管在说明书中所描述的实施例不一定在下列相应于本发明的各方面的实施例中举例证明,但该实施例包括于本发明之中。另外,尽管实施例被描述为相应于本发明的一个方面,但该实施例也包括于本发明的其它方面之中。
另外,下列实施例不意味着为说明书中所描述的所有发明。换句话说,下列实施例不限制或排除在说明书中已描述但在权利要求中未声明的本发明的存在,即,通过申请分割或纠正的本发明的出现或附加。
根据本发明的第一实施例,提供一种图像处理设备,包括:用图像拾取装置拾取图像的图像拾取单元(例如,图1的图像拾取装置11);探测所施加的振动并输出指示该振动的大小的振动量的振动量输出单元(例如,图1的振动探测单元18);根据振动量输出单元所输出的振动量来计算用于减少振动对图像的影响的第一纠正量的计算单元(例如,图1的纠正量计算单元19);确定在图像拾取单元拾取图像的时候变焦放大率是否高于预定的阈值的确定单元(例如,图1的纠正量计算单元19);当确定单元确定变焦放大率高于阈值时,基于第一纠正量而产生第二纠正量的生成单元(例如,图1的纠正量计算单元19);以及基于第一纠正量或第二纠正量纠正图像拾取单元所拾取的图像的纠正单元(例如,图1的图像内插单元14)。
根据本发明的第二实施例,提供一种图像处理设备,包括:用图像拾取装置拾取图像的图像拾取单元(例如,图1的图像拾取装置11);探测所施加的振动并输出指示该振动的大小的振动量的振动量输出单元(例如,图1的振动探测单元18);根据变焦放大率在一个屏幕中设置用于减少振动对图像的影响的纠正量的点数的设置单元(例如,图1的纠正量计算单元19);计算相应于设置单元所设置的点数的纠正量的计算单元(例如,图1的纠正量计算单元19);以及基于计算单元所计算出的纠正量来纠正通过图像拾取单元所拾取的图像的纠正单元(例如,图1的图像内插单元14)。
根据本发明的第三实施例,提供一种图像处理设备,包括:用图像拾取装置拾取图像的图像拾取单元(例如,图1的图像拾取装置11);根据变焦放大率在图像拾取单元所拾取的图像中设置将要被处理的区域的设置单元(例如,图1的纠正量计算单元19);以及仅处理设置单元所设置的区域的内部部分的处理单元(例如,图1的图像内插单元14)。
在本发明的上述实施例中,图像处理设备可能进一步包括:探测所施加的振动并输出指示该振动的大小的振动量的振动量输出单元(例如,图1的振动探测单元18);以及根据振动量输出单元所输出的振动量来计算用于减少振动对图像的影响的纠正量的计算单元(例如,图1的纠正量计算单元19),其中处理单元可以基于纠正量来纠正图像拾取单元所拾取的图像。
以下,将参考附图详细描述本发明的实施例。
[图像处理设备的构造]
图1是根据本发明的一个实施例,显示图像处理设备的构造的视图。图像处理单元10的图像拾取装置11由,例如像CMOS传感器那样的X-Y地址型固态图像拾取装置而构成。将图像拾取装置11所拾取的目标的图像数据提供给模拟前端(AFE)12。
AFE 12将所供给的图像数据转换成关于该图像数据的数字信号,并将该图像数据提供给信号处理单元13。信号处理单元13基于所供给的图像数据而计算亮度信号和色差信号,并将所计算出的信号提供给图像信号内插单元14。
尽管提供给图像内插单元14的图像数据为图像拾取装置11所拾取的目标的图像数据,但并不是图像拾取装置11所拾取的图像的所有的图像数据都提供给图像内插单元14。仅只根据来自定时产生器(TG)15的定时而读出的数据提供给图像内插单元14。
在存储控制器16的控制下,提供给图像内插单元14的数据被提供给存储器17。根据存储控制器16的命令,读出存储在存储器17中的数据并提供给图像内插单元14。图像内插单元14在所供给的数据上执行内插过程(稍后将详细描述),以减少振动的影响,并在记录介质(未示出)中输出和记录该过程的结果,或者在显示单元(未示出)上输出和显示该过程的结果。作为施加到图像处理设备10上的振动的例子,可以是用户的手抖。
根据振动探测单元18所探测到的振动量,图像内插单元14、TG 15、和存储控制器16基于纠正量计算单元19所计算出的纠正量而执行控制。
通过例如使用像角速度传感器那样的传感器的方法或像图像处理方法那样的无传感器振动探测方法,振动探测单元18在其拾取过程期间探测施加到图像处理设备10上的振动。在振动探测单元18由角速度传感器构成的情形,角速度传感器提供俯仰方向、偏摆方向(yawing direction)、和施加到该方向中的角速度的数据给纠正量计算单元19。
基于所探测到的振动量,纠正量计算单元19计算纠正量数据,用于纠正振动引起的移动。当计算纠正量时,纠正量计算单元19通过参考有关变焦放大率拾取单元20所获得的变焦放大率的信息而执行计算。
“变焦(zoom)”表示放大并拾取目标的操作,以及放大率表示指示放大和拾取图像的程度的值。作为图像处理设备10的一个例子,在所拾取的目标的图像数据作为数字数据而处理的数字摄像机中,变焦一般被分类为光学变焦和电子变焦。
在光学变焦中,驱动包括在图像拾取装置11中的镜头,以放大所拾取的目标的图像。在电子变焦中,电子处理所拾取的目标图像,以放大该图像。以下,如果不是明确地描述,变焦放大率表示电子变焦的放大率。
参考图1,在图像处理设备10的构造中,通过使用所供给的数据,纠正量计算单元19逐行计算纠正量,其中纠正量相应于将要移动多少像素以便减少所施加的振动的影响。这里,术语“逐行地”表示在像CMOS那样的固态图像拾取装置中以一行为单位顺序地读图像数据。因此,基本上逐行地计算纠正量。这里,术语“基本上计算”意味着包括根据如稍后所描述的变焦放大率而并不必需逐行地计算纠正量的一些情形。
现在,将参考图2描述电子变焦中的变焦放大率和纠正量。图2是显示用于在其图像拾取过程期间消除施加在X-Y地址型固态装置上的振动的纠正量和根据变焦放大率而处理的区域之间的关系的视图。
在图2中,“×0”表示从0到1的电子变焦放大率。图2显示电子变焦放大率为1的状态。类似地,“×2”表示为2的电子变焦放大率,“×4”表示为4的电子变焦放大率,“×8”表示为8的电子变焦放大率,以及“×16”表示为16的电子变焦放大率。
另外,在图2中,为0的放大率的附图充分地显示了为1的放大率的附图。从0到1的电子变焦放大率相应于缩减的图像拾取操作。为1的电子变焦放大率相应于等同的图像拾取操作。下列所描述的实施例涉及放大的图像拾取操作中的过程,且因而,在其描述中,×0(为0的放大率)意味着表示从0到1的放大率。
关于变焦,当放大率为0时,不执行相应于电子变焦的过程,而仅执行相应于光学变焦的过程。在仅执行相应于光学变焦的过程的状态(在电子变焦放大率为0的状态),构成一个屏幕的行的数量是N。当电子变焦放大率为0时,构成一个屏幕的数量或行是N,因此数量不根据光学变焦放大率而改变。
与相应于光学变焦的过程不同,在相应于电子变焦的过程中,构成一个屏幕的行的数量根据放大率而改变。在电子变焦中,减少光学变焦中构成一个屏幕的行的数量,并且使用根据放大率的预定数量的行来构成一个屏幕。即,根据放大率,构成一个屏幕的行的数量等于或小于N。
在图2中,阴影线所指示的部分显示根据放大率的每一个的一个屏幕。因为在X-Y地址型固态装置中,逐行(或在像素的基础上)执行读出,所以起动各行的读出的定时是不同的。因此,如图2中所示,如果关于时间逐行阐明读出一个屏幕,则读出关于该屏幕的数据的部分变为一个不等边四边形(trapezoid)。
如果将在电子变焦放大率“×0”的一个屏幕中的行的数量(N)看作参考数,则在电子变焦放大率“×2”的一个屏幕由行的参考数的一半(N/2)构成。另外,在电子变焦放大率“×4”的一个屏幕由行的参考数的1/4(N/4)构成。
另外,在电子变焦放大率“×8”的一个屏幕由行的参考数的1/8(N/8)构成。另外,在电子变焦放大率“×16”的一个屏幕由行的参考数的1/16(N/16)构成。
如此,当执行相应于电子变焦的过程时,根据电子变焦放大率,构成一个屏幕的行的数量是不同的。
在图像处理设备10上可以施加各种各样类型的振动。最严重的振动是由手的振动,即,紧握图像处理设备10的用户的手抖引起的。为了执行用于减少主要由手抖而引起的振动对图像的不良影响的过程,获得有关该振动的信息(振动量)。以下,将另外描述振动量。
振动探测单元18(图1)探测图2的下部附图中所显示的有关振动量的信息,并提供给纠正量计算单元19。在图2中所示的例子中,振动探测单元18在一个屏幕中获得三个振动量。参考图2的下部附图,从一个屏幕中最初的、中间的、和最后的行的三行中获得振动量。图2的下部附图中所显示的曲线指示所施加的振动量的改变。
当放大率为“×0”时,所获得的振动量为振动量P0-1、P0-2、和P0-3。在表示“振动量P0-1”中,在连字符(-)之前的数表示变焦中的放大率(在这种情形,为0),以及在连字符之后的数表示用于描述的一个标识符(在这种情形,为1)。其它表示具有相同的含义。
当放大率为“×2”时,所获得的振动量为振动量P2-1、P2-2、和P2-3。当放大率为“×4”时,所获得的振动量为振动量P4-1、P4-2、和P4-3。当放大率为“×8”时,所获得的振动量为振动量P8-1、P8-2、和P8-3。当放大率为“×16”时,所获得的振动量为振动量P16-1、P16-2、和P16-3。
尽管为了描述的方便,从一个图像中的三个点获得振动量,但实际上从不止三个点获得振动量。
[图像处理设备的操作]
现在,将参考流程图图3和5描述具有图1中所示的构造的图像处理设备10的操作。如上文所描述的,图像处理设备10执行用于减少所施加的振动的影响的过程,以及更具体地,执行用于在执行关于电子变焦的过程的时候而减少所施加的振动的影响的过程。
在下列描述中,将描述高放大过程的三个实施例。首先,将描述第一实施例。
[根据放大率,系数的相乘]
在步骤S11,纠正量拾取单元19获得振动探测单元18所探测到的振动量的数据。例如,振动探测单元18探测到图2的下部附图中所示的信息并提供给纠正量拾取单元19。
当从预定的行中获得了振动量时,在步骤S12,纠正量拾取单元19执行纠正量的计算。纠正量以像素为单元表示具有指示在该振动量上执行多少纠正以得到振动不存在的状态(振动的影响减少的状态)。
例如,如图2的下部附图中所示,当第一行的振动量P0-1为(P0-1)像素时,为了改变振动量为(P0-1)像素的状态成为振动不存在的状态,其绝对值的反号(在这种情形,为一(P0-1)像素)被计算为纠正量。类似地,根据其它行的振动量来计算关于其它行的纠正量。
另外,逐行计算纠正量。尽管从最初的、中间的、和最后的行的三行中获得振动量,但关于除这三行之外、不从其获得振动量的行的纠正量,能够从这三行所获得的振动量来计算。
可以使用任何计算方法。尽管这里获得三个振动量,但可以获得构成一个屏幕的所有行的振动量。另外,可以根据所获得的振动量来计算关于所有的行的纠正量。
当计算纠正量时,在步骤S13(图3)获得变焦放大率。变焦放大拾取单元20获得有关变焦放大率的信息,并提供给纠正量拾取单元19。在步骤S14,纠正量拾取单元19确定所供给的变焦放大率是否高于第一阈值((变焦放大率)>(第一阈值)的条件是否满足)。
在实施例中,变焦放大率被划分为低和高放大率。关于低和高放大率执行不同的用于减少振动的影响的过程(纠正过程)。在步骤S14,执行用于确定在这个时刻(执行步骤S14的过程的时刻)变焦放大率是低放大率还是高放大率的过程。
在步骤S14所使用的第一阈值是用于将变焦放大率划分为低和高放大率的一个值。当在步骤S14确定变焦放大率低于第一阈值时,即,当确定变焦放大率为低放大率时,过程前进到步骤S15,并且执行关于低放大率的过程。当在步骤S14确定变焦放大率高于第一阈值时,即,当确定变焦放大率为高放大率时,过程前进到步骤S16,并且执行关于高放大率的过程。
现在,将描述步骤S15中所执行的关于低放大率的过程和步骤S16中所执行的关于高放大率的过程。首先,将参考图4的流程图描述步骤S15中所执行的关于低放大率的过程。
在步骤S31,确定读出开始位置。基于在步骤S12中所计算出的纠正量确定读出开始位置。因为逐行计算纠正量,所以基于关于每行的纠正量,即,基于有关多少像素偏离将要被读出的位置的数据,而确定每行的读出开始位置。
当确定了读出开始位置时,在步骤S32,从所确定的读出开始位置读出数据。如此,逐行计算纠正量,并且基于所计算出的纠正量而确定将要从其开始数据的读出的行的位置,因此能够逐行纠正振动的影响。相应地,能够给用户提供减少了振动引起的不良影响的图像。
另外,与纠正相关联的过程采用日本未经审查的专利申请公开号No.2004-266322中所公开的发明,其先前由发明者提交。
接下来,将参考图5的流程图描述在步骤S16(图3)中所执行的关于高放大率的过程。在步骤S51,选择一个代表性的量。参考图2的下部附图,获得预定的行的振动量,并且逐行计算纠正量。在这个时刻,选择关于一行的纠正量作为代表性的量。
如稍后所描述的,处于高放大率,从各行所计算出的纠正量并不直接用于该行,但关于至少一行的纠正量被用作为代表性的量。即,例如,在一个屏幕由10行构成的情形,尽管计算出10个纠正量,但该10个纠正量的至少一个被用于稍后所描述的纠正过程。
例如,在一个屏幕的行之中,选择关于首先根据其计算纠正量的行的纠正量作为代表性的量。例如,在图2中,当放大率为×2时,选择根据振动量P2-1所计算出的纠正量(以下,由纠正量P2-1表示,且也类似地表示其它纠正量)作为代表性的量。在这种情形,使用关于一行的纠正量。
可替换地,计算在一个屏幕的行之中的、关于首先从其计算纠正量的行的纠正量(图2中的纠正量P2-1)和在一个屏幕的行之中的、关于最后从其计算纠正量的行的纠正量(图2中的纠正量P2-3)的平均值,并且可以选择该平均值作为代表性的量。在这种情形,使用关于两行的纠正量。
可替换地,可以选择从位于图像的中心的行所获得的纠正量(例如,在图2中,根据为×2的放大率中的振动量P2-2所计算出的纠正量P2-2)作为代表性的量。
作为选择代表性的量的方法,可以考虑上述方法,且可以考虑任何其它方法。可以使用除上述方法之外的方法。
这里,举例说明并描述选择首先计算出的纠正量作为代表性的量的情形。通过选择首先计算出的纠正量作为代表性的量,能够得到下列益处。如果选择最后计算出的纠正量作为代表性的量(如果使用最后的纠正量),则为了确定该代表性的量,必须获得最后一行的振动量的数据。因此,为了确定该代表性的量,需要具有能够存储从第一行的振动量数据到最后一行的振动量数据的所有数据的容量的存储器,即需要具有能够存储关于一个屏幕的数据的容量的存储器。
然而,通过使用首先计算出的纠正量作为代表性的量,在至少用于确定代表性的量的过程中,不需要具有能够存储关于一个屏幕的数据的容量的存储器,而具有能够存储关于该屏幕中的一行的数据的容量的存储器就足够了。换句话说,能够减少存储器的容量。
返回到图5的流程图的描述,当在步骤S51确定了代表性的量时,在步骤S52,计算系数。现在,将另外描述系数。关于除代表性的量之外的纠正量,定义用预定的系数乘以根据各行所计算出的纠正量为新的纠正量,并且使用新的纠正量作为关于各行的纠正量。
更明确地,在关于低放大率的过程中,利用根据预定的行或逐行所获得的振动量来逐行计算纠正量,并且通过使用该纠正量来执行纠正。在关于高放大率的过程中,逐行计算纠正量,用系数乘以除代表性的量之外的纠正量,并且通过使用与系数相乘后的纠正量来执行纠正。
依赖于变焦放大率而确定系数。参考图6作其描述。图6是显示变焦放大率和系数之间的关系的视图。如上文所描述的,第一阈值为用于在步骤S14(图3)识别低和高放大率的阈值。当变焦放大率等于或高于第一阈值时,执行关于高放大率的过程,并设置将要乘以纠正量的系数,例如,可以设置第一阈值为×2。
当变焦放大率低于第一阈值时,即,当变焦放大率为低放大率时,设置系数为1。因为系数为1,所计算出的纠正量的值不改变。因此,处于低放大率,如参考图4所描述的,不执行计算系数和用系数乘以纠正量的过程。
当变焦放大率为在第一和第二阈值之间的放大率时,在图6中所示的例子中,确定(计算)与变焦放大率成线性比例的系数。
当变焦放大率等于或高于第二阈值时,设置系数为0。因为系数为0,纠正量最终变为0,并且执行相关联的过程。不执行表示与除代表性的量之外的纠正量相关联的纠正的过程。
图6中所示的变焦放大率和系数之间的关系为一个例子,但本发明不局限于这样的系数确定。作为可替换的系数计算方法,当变焦放大率高于第一阈值时,可以设置系数为0。在这种情形,因为参考第一阈值,阈值为1或0,则执行或不执行纠正。可替换地,当变焦放大率高于第一阈值时,可以设置关于偶数行的系数为1(或者小于1),且可以设置关于奇数行的系数为0。如此,可以为不同的行而设置不同的系数。
另外,在上述例子中,当变焦放大率高于第二阈值时,设置系数为0。然而,可替换地,可以设置系数为除0之外的值,例如,0.5。换句话说,当变焦放大率等于或高于第二阈值时,不完全地执行纠正,但执行比正常情形(低放大率)的那个弱的纠正。
尽管可以使用任何系数计算方法,但通过不使用纠正量本身,而使用纠正量和系数相乘来执行关于高放大率的纠正。现在,如图6中所示,描述关于依赖于变焦放大率而确定(计算)系数的情形的过程。稍后将描述与其它纠正量相关联的过程。
当在步骤S52计算出系数时,在步骤S53,计算纠正量。关于纠正量,尽管先前在步骤S12(图3)已计算了纠正量,但在步骤S52,通过将先前所计算出的纠正量乘以所确定的系数而计算新的纠正量。
例如,处于预定的放大率中的一个图像由10行构成的情形,计算10个纠正量。在纠正量之中,选择首先计算出的纠正量,例如,在图2中根据处于放大率×2的振动量P2-1而计算出的纠正量P2-1,作为代表性的量,并且用在步骤S52所计算出的系数乘以关于其它行的纠正量。设置与系数相乘后的纠正量为新的纠正量。
在实施例中,将被选择作为代表性的量的纠正量用于纠正。用系数乘以除代表性的量之外的纠正量,且随后用于纠正。
可以将系数乘到先前所计算出的纠正量,并且可替换地,可以将系数乘到隶属于其它过程的纠正量。例如,可以计算关于各行的纠正量和代表性的量之间的差,并且可以用系数乘以该差。在这种情形,代表性的量不改变,但是设置在关于其它行的纠正量为代表性的量和与系数相乘后的纠正量之间的差。
另外,类似于其它纠正量,可以用系数乘以代表性的量。
在步骤S54,基于所设置的纠正量而确定读出开始位置。接下来,在步骤S55,从所确定的读出开始位置读出数据。
如上文所描述的,为系数分配在0到1之间变化的值。因此,与系数相乘后的纠正量(在步骤S53的过程中所计算出的纠正量)小于在系数相乘之前的纠正量(在步骤S12所计算出的纠正量)。
即,对于低放大率中的纠正,使用在步骤S12所计算出的纠正量。然而,对于高放大率中的纠正,用系数乘以纠正量,以改变成为较小的纠正量,且随后用于纠正。因此,尽管施加相同大小的振动,但关于高放大率的纠正量小于关于低放大率的纠正量。
然而,一般而言,与低放大率相比较,处于高放大率,施加手抖(振动)的时间间隔很短,因此振动量不容易积累。返回到图2,从获得振动量P16-1的时刻到获得振动量P16-3的时刻的时间间隔比从获得振动量P0-1的时刻到获得振动量P0-3的时刻的时间间隔短。因此,与低放大率相比较,处于高放大率,振动量不容易积累。
振动量的不易积累表示振动的影响不能很容易地施加。尽管处于放大率×0和×16的情形施加相同大小的振动,但处于放大率×16中获得振动量的时间间隔比处于放大率×0中获得振动量的时间间隔短,手抖的影响出现的时间间隔短。因为手抖的影响出现的时间间隔短,所以能够认为手抖的影响小。
因此,如上文所描述的,尽管关于高放大率执行比关于低放大率的纠正弱的纠正,但能够执行关于手抖的适当纠正,而不存在关于高放大率的纠正性能的退化。
将参考附图而描述处于高放大率的系数相乘,从而允许纠正量比处于低放大率的那些短。图7显示根据图2中所示的振动量所计算出的纠正量。
因为在消除振动量的影响的方向上添加纠正量,所以在相应于图2的图7中,振动量的方向和纠正量的方向彼此相反,因此在相反的方向阐明图7的纠正量。另外,关于各行的纠正量的方向依赖于振动量的方向,因此关于各行的纠正量的方向可能逐行彼此不同。然而,为了描述的方便,方向都阐明为相同的方向。在其它附图中,以相同的方式阐明方向。
如上文所描述的,在电子变焦中,构成一个屏幕的行的数量根据放大率而改变。然而,尽管存在不同的放大率(尽管存在三种放大率,包括等于或低于第一阈值的放大率、在第一和第二阈值之间的放大率、等于或高于第二阈值的放大率),但为了稍后的描述的方便,设置构成该屏幕的行为9行,行0至行8。另外,设置第一行(例如,在图2中获得振动量P0-1的行)为行8。
在图7中,关于行8的纠正量为纠正量C8。选择纠正量C8作为代表性的量。在其中计算图7中所示的纠正量的变焦放大率为低于第一阈值的放大率。即,显示处于低放大率所计算出的纠正量。在这种情形,用系数1乘以除代表性的量之外的纠正量C7到C0(或者,可以忽略系数的相乘,并且可以使用所计算出的纠正量)。
图8A和8B显示关于高于第一阈值的变焦放大率(即,高放大率)的纠正量,其与图7中所计算出的那些相同。图8A显示关于在第一和第二阈值之间的变焦放大率的纠正量,以及图8B显示关于等于或高于第二阈值的变焦放大率的纠正量。
如上文所描述的,处于高放大率用系数乘以先前所计算出的纠正量(以下,被称为第一纠正量),以便计算实际上将用于纠正的纠正量(以下,被称为第二纠正量)。在图8A和8B中,白圈(未填充颜色的圈)表示第一纠正量,以及黑圈(填充颜色的圈)表示第二纠正量。
图8A中所示的第二纠正量相应于与为0.5的系数相乘后的纠正量,以及图8B中所示的第二纠正量表示相应于与为0的系数相乘后的纠正量。在该附图中,通过将表示第一纠正量的白圈与表示第二纠正量的黑圈相比较,能够理解关于高放大率的纠正量小于关于低放大率的纠正量。即,能够从图8A和8B理解用于高放大率中的纠正的第二纠正量(黑圈)小于用于低放大率中的纠正的第一纠正量(白圈)。
另外,如图8B中所示,在乘以为0的系数的情形,通过将第一纠正量与为0的系数相乘而计算第二纠正量。通过与0相乘,所计算的值变为0。因此,当将变焦放大率确定为乘以为0的系数的放大率的时候,可以忽略用于计算第一或第二纠正量的过程。
例如,图3中的步骤S12、步骤S13、和步骤S14的过程的顺序可以改变。首先,可以获得有关变焦放大率的信息。接下来,当确定该变焦放大率为乘以为0的系数的放大率时(即,当确定变焦放大率等于或高于第二阈值时),可以忽略其后的过程(用于计算第一和第二纠正量的过程)。然而,在这种情形,因为也需要代表性的量,所以会计算该代表性的量。
因为能够将这些过程用于乘以为0的系数的情形,所以通过适当地改变在图3中所示的流程图中的过程的顺序,能够有效地执行纠正,并且该更改在本发明的范围之内。
尽管未示出,可以适当地更改用于计算第二纠正量的过程,例如用于计算代表性的量和第一纠正量之间的差,并通过用系数乘以该差而计算第二纠正量的过程。
另外,在电子变焦中,如图2的上部附图中所示,构成一个屏幕的行的数量根据放大率而减少。当放大率在关于高放大率的方向中改变时,构成实际上显示给用户的屏幕的行的数量根据放大率而减少。因此,处于高放大率,可以对于与仅显示给用户的行的数量一样多的行执行该过程。结果,处于高放大率,能够减少用于存储关于一个屏幕的图像数据的存储器的容量。
另外,未存储于存储器中的数据为可能不被处理的数据。这样的数据可能不存储于存储器中,并且可能不对该数据执行该过程。例如,参考其中放大率为×16的图2的下部附图,未用阴影线指示的部分相应于不必要的数据,并且可能不会对该部分执行该过程。结果,能够减少关于高放大率的过程。
[根据放大率,纠正量的点数的改变]
现在,将描述电子变焦中,根据放大率而改变纠正量的点数的实施例。将参考图9至11的流程图描述在改变纠正量的点数的情形中的纠正过程。在图9至11的流程图中,忽略与图3至6的流程图中的那些相同的过程的描述。
在步骤S71,获得有关电子变焦的放大率的信息。在步骤S72,确定所获得的信息所指示的电子变焦的放大率是否等于或高于第一阈值。如果在步骤S72未确定放大率等于或高于第一阈值,则过程前进到步骤S73,并且执行关于电子变焦的低放大率的过程。另一方面,如果在步骤S72确定放大率等于或高于第一阈值,则过程前进到步骤S74,并且执行关于电子变焦的高放大率的过程。
在步骤S71至S74中的过程基本上与图3中在步骤S13至S16中的那些相同。
将参考图10的流程图描述在步骤S73所执行的关于电子变焦的低放大率的过程2。在步骤S81,获得振动量,并且在步骤S82,根据该振动量来计算纠正量。在步骤S83,基于所计算出的纠正量来确定读出位置,并且在步骤S84,在所确定的读出位置执行读出。
在步骤S81至S82中的过程与在图3的步骤S11和S12中的那些相同。在步骤S83和S84中的过程与在图4的步骤S31和S32中的那些相同。即,处于低放大率,根据所获得的振动量来计算关于构成一个屏幕的行的纠正量,并且基于该纠正量而读出数据。该过程可能与光学变焦中的那些相同。
接下来,将参考图11的流程图描述在步骤S74(图9)所执行的在电子变焦的高放大率中的过程2。在步骤S91,纠正量计算单元19设置纠正点数。例如,处于低放大率,如上文所描述,当屏幕由10行构成时,逐行计算纠正量,因此计算10个纠正量。另一方面,处于高放大率,则不计算关于构成一个屏幕的所有的行的纠正量,而是通过使用较小数量的纠正量来执行一个屏幕中的纠正。这将参考图12而描述。
当放大率为×0时,如图12的上部和下部附图中所示,从8个点(在这种情形,定义为纠正点数a)来计算纠正量。当放大率为×2时,如图12的上部和下部附图中所示,根据6个点来计算纠正量。当放大率为×4时,如图12的上部和下部附图中所示,根据3个点来计算纠正量。当放大率为×8时,如图12的上部和下部附图中所示,根据3个点来计算纠正量。当放大率为×16时,如图12的上部和下部附图中所示,根据1个点(在这种情形,定义为纠正点数b)来计算纠正量。
这里,对满足(纠正点数a)>(纠正点数b)的关系的情形进行说明。另外,定义小于纠正点数a而大于纠正点数b的纠正点数为纠正点数t,因此满足(纠正点数a)>(纠正点数t)>(纠正点数b)的关系。
例如,如果由3表示纠正点数,则根据一个屏幕中计算三个纠正量。在这种情形,通过使用从构成该屏幕的多个行之中的预定的三行所获得的振动量而计算出的纠正量,来执行纠正。可替换地,获得关于构成该屏幕的多个行的多个振动量,并且根据多个振动量来计算三个纠正量。
另外,从该屏幕中计算相应于被设置为纠正点数的数量的纠正量,并且尽可能地将所计算的纠正量之间的间隔设计为彼此相等。例如,在纠正点数为3的情形,设置计算第一个纠正量的行和计算第二个纠正量的行之间的行的数量与计算第二个纠正量的行和计算第三个纠正量的行之间的行的数量相同。即,设置纠正点数,以致允许以相等的间隔计算纠正量。
如此,根据电子变焦的放大率来设置所计算的纠正量的点数。在步骤S91(图11),执行用于设置纠正点数的过程。将参考图13描述纠正点数的设置。根据电子变焦的放大率来确定纠正点数。图13显示放大率和纠正点数之间的关系。如上文所描述的,第一阈值为用于在步骤S14(图3)识别低和高放大率的阈值。当变焦放大率等于或高于第一阈值时,执行关于高放大率的过程,并设置纠正点数。例如,可以设置第一阈值为×2。
当变焦放大率等于或低于第一阈值时,即,当变焦放大率为低放大率时,设置纠正点数为纠正点数a。可以设置纠正点数a为与电子变焦的放大率为×0的情形中的纠正点数相同的数。即,可以设置纠正点数为与仅处理光学变焦时的纠正点数相同以及与构成一个屏幕的行的数量相同的数。
另外,如果电子变焦放大率等于或低于第一阈值,因为执行关于低放大率的过程(基于图10的流程图的过程),所以执行与光学变焦中的那些相同的过程。因此,可以设置纠正点数a为与用于光学变焦的纠正量的点数相同的数。
当电子变焦的放大率为在第一和第二阈值之间的放大率时,在图13中所示的例子中,确定(计算)纠正点数t为与变焦放大率成线性比例。
当变焦放大率等于或高于第二阈值时,设置纠正点数为纠正点数b。如果纠正点数b被设置为0,则不存在计算纠正量的点,因此不执行纠正。在这种情形,可以忽略与纠正相关联的过程。即,在确定放大率高于第二阈值的时刻,可以忽略与纠正相关联的其后的过程。
图13中所示的变焦放大率和纠正点数之间的关系为一个例子,且本发明不局限于此。作为计算纠正点数的一个可替换的方法,在变焦放大率高于第一阈值的时候,可以设置纠正点数为纠正点数b。在这种情形,参考第一阈值,纠正点数为纠正点数a或纠正点数b。
可替换地,可以预备与纠正点数和放大率相关联的一个表格,并且可以通过参考该表格而确定纠正点数。当放大率为在第一和第二阈值之间的一个值时,尽管在参考图13的描述中确定(计算)纠正点数t为与变焦放大率成线性比例,但维持与纠正点数和放大率相关联的表格,因此可以忽略用于设置纠正点数的过程。
返回到图11的流程图的描述,当在步骤S91设置了纠正点数时,在步骤S92获得振动量。可以获得具有相应于纠正点数的数量(用于计算所设置的数量的纠正量所需要数量)的振动量。可以在根据纠正点数而改变指示获得振动量的定时的取样频率的情形中采用这样的设置。
可替换地,可以不考虑纠正点数而获得振动量,且仅可以从所获得的振动量中选择所需要的振动量。可以在设置指示获得振动量的定时的取样频率为常数的情形(不根据放大率而改变取样频率的情形)中采用这样的设置。
在所获得的纠正量的数量与纠正点数相关联的情形,在设置纠正点数的过程(步骤S91)结束之后,在步骤S92,执行用于获得振动量的过程。然而,在所获得的纠正量的数量不与纠正点数相关联的情形,在步骤S91之后,不一定必需执行在步骤S92中的用于获得振动量的过程,并且可以适当地改变过程的顺序。除步骤S92之外,可以以并行的方式执行几个步骤中的过程,或者可以适当地改变该过程的顺序。
当在步骤S92获得了振动量时,在步骤S93,计算纠正量。在步骤S93,计算相应于在步骤S91所设置的纠正点数的纠正量。接下来,在步骤S94及其后的步骤中,通过使用所计算出的纠正量而读出数据。步骤S94和S95中的过程基本上与图5中步骤S54和S55中的那些相同。
如上文参考图2和12所描述的,与低放大率相比较,处于高放大率,获得构成一个屏幕的数据的时间间隔很短,因此振动量不易积累。因此,高放大率的情形不容易被振动影响。尽管关于高放大率的纠正量的点数被设置为很小,但能够适当地执行纠正。
另外,因为纠正点数被设置为很小,能够减少与纠正相关联的处理负载。另外,因为能够减少与纠正相关联的数据,能够减少纠正所需要的存储器的容量。
另外,因为构成关于高放大率的屏幕的行的数量小于关于低放大率的那个,所以如果可以将行本身的数量提供给显示给用户的图像,则与关于低放大率的图像相比,图像的大小就减少了(参看图2)。处于高放大率,为了显示具有与关于低放大率的图像的那个相同的大小的图像给用户,可以执行关于高放大率的图像的放大过程。这里,忽略放大过程的详细描述。通过将一行的数据处理成为几行的数据,具有很小数量的行的图像可以被放大为具有与关于低放大率的图像的那个相同的大小,因此能够显示放大的图像给用户。
因为关于高放大率而执行并不关于低放大率而执行的过程,所以与关于低放大率的过程相比较,关于高放大率的过程的处理负载增加。然而,如上文所描述的,处于高放大率,因为通过减少纠正点数能够减少与纠正相关联的过程,关于高放大率所执行的过程的处理负载能够被减少到低放大率的处理负载或更少。
[根据放大率,处理截面的改变]
如上文所描述的,电子变焦的高放大率中构成一个屏幕的行的数量很小。因此,处于高放大率,可以根据放大率而改变处理截面。将参考图14描述处理截面。
如图14A中所示,图像拾取装置11(图1)以其有效区域31拾取(拍摄)目标的图像。将在有效区域31中的输出区域32内的图像显示给用户。输出区域32是执行上述纠正的纠正后区域,也是减少振动量对图像的影响的区域。
将在有效区域31中的图像之中的输出区域32中的图像显示给用户。在图14A中,阴影线所指示的纠正前区域33显示纠正前图像存在的区域。为了在输出区域32中产生图像,要处理比纠正前区域33宽的一个区域。在图14A中,准备弯曲纠正边缘区域34作为用来在向上和向下的方向纠正弯曲(一种振动的影响)的边缘区域。
如同在向上和向下的方向,在向左和向右的方向也准备弯曲纠正边缘区域。因此,用于纠正弯曲或诸如此类(振动或诸如此类的不良影响)的边缘区域(关于输出区域32的边缘区域)变为如图14A中所示的纠正边缘区域35。
这将关于电子变焦的低和高放大率而描述。在关于低放大率的输出区域32(图14A中的纠正前区域33)和关于高放大率的输出区域32(图14C中的纠正前区域33)的比较中,关于高放大率的输出区域32小于关于低放大率的输出区域32。如上文所描述的,这是因为对于电子变焦,构成关于高放大率的屏幕的行的数量少。
这里,处理截面表示包括输出区域32(纠正前区域33)和纠正边缘区域35的区域。定义图14A中垂直方向(附图的垂直方向)上的处理截面的大小(长度)为截面宽度A。尽管未示出(未定义),也可以设置相应于截面宽度A的一个截面宽度,即,水平宽度。
在这个实施例中,根据电子变焦的放大率而改变截面宽度(处理截面)。更明确地,如图15中所示,当放大率等于或低于第一阈值(图14A中所示的状态)时,设置处理截面为截面宽度A,并且将处理该截面的内部部分。当放大率等于或高于第一阈值并等于或低于第二阈值(图14B中所示的状态)时,设置处理截面为截面宽度T,并且将处理该截面的内部部分。
当放大率等于或高于第二阈值(图14C中所示的状态)时,设置处理截面为截面宽度B,并且将处理该截面的内部部分。截面宽度A、T、和B满足(截面宽度A)>(截面宽度T)>(截面宽度B)的关系。另外,以行为单位(以像素为单位)设置各个截面宽度。
在根据放大率而改变处理截面的情形,与纠正相关联的整个过程基本上与图9中所示的流程图的过程相同。另外,关于低放大率的过程基本上与图10中所示的流程图的那些相同。因此,忽略其描述,并且参考图16的流程图描述高放大率的不同过程。这里,该过程被描述为电子变焦的高放大率中的过程3。
在步骤S101,设置截面宽度。以参考图14和15所描述的这样的方式执行截面宽度的设置。当设置了截面宽度时,在截面宽度的内部部分内执行该过程。即,在步骤S102,获得振动量。关于振动量的拾取,与图11的步骤S92类似,在依赖于所设置的截面宽度而获得振动量的情形(在仅从所设置的截面宽度内的区域而获得振动量的情形),在步骤S101的过程之后执行其过程。然而,在不考虑所设置的截面宽度而获得振动量的情形,在步骤S101的过程之后,不一定必需执行其过程。
在步骤S103,计算纠正量。在步骤S103,在所设置的截面宽度内仅计算必需的纠正量。在步骤S104,通过使用所计算出的纠正量而确定数据读出位置,并且在步骤S105,从所确定的数据读出位置读出数据。
尽管仅举例说明与像纠正量的计算那样的纠正相关联的过程,但可以仅在所设置的处理截面的内部部分内(在区域内)执行除与纠正相关联的过程之外的过程。因此,通过根据放大率而设置处理截面,能够减少处理负载。
如此,通过根据放大率而设置将要被处理的区域(处理截面),能够期望下列益处。通过限制处理截面,该过程所不需要的数据可以不存储于像存储器那样的存储单元中,因此减少存储器的容量是可能的。另外,通过限制处理截面,因为仅在处理截面的内部部分内执行该过程,所以减少像用于计算纠正量的过程那样的过程所需要的资源(例如,该过程所需要的电力或用于存储数据的存储单元(图1中的存储器17)的容量)是可能的。
另外,通过限制处理截面,因为减少了将要被处理的数据量,减少与该过程和处理资源相关联的驱动频率是可能的。
在上述实施例中,举例说明根据电子变焦的放大率的过程。然而,例如,在除电子变焦之外的光学变焦中,也可以采用上述实施例。
另外,在上述实施例中,分别描述根据变焦放大率而设置系数、纠正点数、或处理截面的例子。例如,可能存在根据变焦放大率而设置纠正点数、计算相应于所设置的纠正点数的纠正量、并根据变焦放大率将所计算出的纠正量与系数相乘的实施例。
[记录介质]
可以以具备功能的硬件的方式或以软件的方式执行像与纠正相关联的过程那样的一系列上述过程。在以软件的方式执行一系列过程的情形,可以在装配有专用硬件的计算机或安装有各种各样的程序的以执行各种各样的功能一般目的的个人计算机上从记录介质安装包括软件的程序。
图17显示一般目的的个人计算机的构造的例子。个人计算机的CPU(中央处理单元)101根据存储在ROM(只读存储器)102中的程序而执行各种各样的过程。CPU 101中用于执行各种各样的过程所需要的数据或程序存储在RAM(随机存取存储器)103中。输入/输出接口105连接到包括键盘或鼠标的输入单元106,并且输入到输入单元106的信号输出到CPU 101。另外,包括显示器或扬声器的输出单元107连接到输入/输出接口105。
另外,包括硬盘的存储单元108和用于通过像因特网那样的网络与其它设备接收和传输数据的通信单元109连接到输入/输出接口105。驱动器110用于从像磁盘121、光盘122、光磁盘123、和半导体存储器124那样的记录介质读出数据,或在其中记录数据。
如图17中所示,记录介质包括信息包介质存储器,其包括磁盘121(包括软盘)、光盘122(包括CD-ROM(紧凑型光盘-只读存储器)和DVD(数字多功能光盘))、光磁盘123(包括MD(迷你磁光盘(注册商标)))、和在其中记录与个人计算机分离的提供程序给用户的所分配的程序的半导体存储器124;或硬盘,其包括ROM 102或在其中存储以预先聚集到计算机的方式提供给用户的程序的存储单元108。
另外,在说明书中,描述记录介质所提供的程序的步骤包括根据所描述的进程以时间序列的方式而执行的过程或不以时间序列的方式,但以并行或单独的方式而执行的过程。
另外,在说明书中,一个系统表示由多个设备而构成的整个设备。
本领域技术人员应该理解到,依赖于设计需求和在这个范围的其它因素,可以出现各种各样的更改、结合、子结合和替换,因为它们在附属权利要求的范围之内或为其等同物。

Claims (16)

1.一种图像处理设备,包括:
用图像拾取装置拾取图像的图像拾取单元;
探测所施加的振动并输出指示所述振动的大小的振动量的振动量输出单元;
根据所述振动量输出单元所输出的所述振动量来计算用于减少所述振动对所述图像的影响的第一纠正量的计算单元;
确定在所述图像拾取单元拾取所述图像的时候变焦放大率是否等于或高于预定的阈值的确定单元;
当所述确定单元确定所述变焦放大率等于或高于所述阈值时,基于所述第一纠正量而产生第二纠正量的生成单元;以及
基于所述第一纠正量或所述第二纠正量来纠正所述图像拾取单元所拾取的所述图像的纠正单元。
2.如权利要求1所述的图像处理设备,其中所述生成单元设置相应于所述变焦放大率的系数,并通过用所述系数乘以所述第一纠正量而产生所述第二纠正量。
3.如权利要求1所述的图像处理设备,
其中所述计算单元根据所述图像来计算多个所述第一纠正量,以及
其中所述生成单元设置关于多个所述第一纠正量的所述系数,其中在该多个所述第一纠正量中排除至少一个第一纠正量。
4.如权利要求1所述的图像处理设备,其中所述系数具有从0到1的值。
5.如权利要求1所述的图像处理设备,其中当所述变焦放大率等于或高于所述预定的阈值的第二阈值时,所述确定单元设置所述系数为0。
6.一种图像处理方法,包括:
通过控制图像拾取装置而拾取图像的图像拾取步骤;
探测所施加的振动并输出指示所述振动的大小的振动量的振动量输出步骤;
根据所述振动量输出步骤中所输出的所述振动量来计算用于减少所述振动对所述图像的影响的第一纠正量的计算步骤;
确定在所述图像拾取步骤中拾取所述图像的时候变焦放大率是否等于或高于预定的阈值的确定步骤;
当在所述确定步骤中确定所述变焦放大率等于或高于所述阈值时,基于所述第一纠正量而产生第二纠正量的生成步骤;以及
基于所述第一纠正量或所述第二纠正量来纠正在所述图像拾取步骤中所拾取的所述图像的纠正步骤。
7.一种计算机可读程序,包括:
通过控制图像拾取装置而拾取图像的图像拾取步骤;
探测所施加的振动并输出指示所述振动的大小的振动量的振动量输出步骤;
根据所述振动量输出步骤中所输出的所述振动量来计算用于减少所述振动对所述图像的影响的第一纠正量的计算步骤;
确定在所述图像拾取步骤中拾取所述图像的时候变焦放大率是否等于或高于预定的阈值的确定步骤;
当在所述确定步骤中确定所述变焦放大率等于或高于所述阈值时,基于所述第一纠正量而产生第二纠正量的生成步骤;以及
基于所述第一纠正量或所述第二纠正量来纠正在所述图像拾取步骤中所拾取的所述图像的纠正步骤。
8.一种图像处理设备,包括:
用图像拾取装置拾取图像的图像拾取单元;
探测所施加的振动并输出指示所述振动的大小的振动量的振动量输出单元;
根据变焦放大率在一个屏幕中设置用于减少所述振动对所述图像的影响的纠正量的点数的设置单元;
计算相应于所述设置单元所设置的所述点数的纠正量的计算单元;以及
基于所述计算单元所计算出的所述纠正量来纠正所述图像拾取单元所拾取的所述图像的纠正单元。
9.如权利要求8所述的图像处理设备,其中当在所述图像拾取单元拾取所述图像的时候所述变焦放大率等于或高于预定的阈值时,所述设置单元设置所述点数。
10.一种图像处理方法,包括:
图像拾取装置拾取图像的图像拾取步骤;
探测所施加的振动并输出指示所述振动的大小的振动量的振动量输出步骤;
根据变焦放大率在一个屏幕中设置用于减少所述振动对所述图像的影响的纠正量的点数的设置步骤;
计算相应于在所述设置步骤中所设置的所述点数的纠正量的计算步骤;以及
基于在所述计算步骤中所计算出的所述纠正量来纠正在所述图像拾取步骤中所拾取的所述图像的纠正步骤。
11.一种计算机可读程序,包括:
用图像拾取装置拾取图像的图像拾取步骤;
探测所施加的振动并输出指示所述振动的大小的振动量的振动量输出步骤;
根据变焦放大率在一个屏幕中设置用于减少所述振动对所述图像的影响的纠正量的点数的设置步骤;
计算相应于在所述设置步骤中所设置的所述点数的纠正量的计算步骤;以及
基于在所述计算步骤中所计算出的所述纠正量来纠正在所述图像拾取步骤中所拾取的所述图像的纠正步骤。
12.一种图像处理设备,包括:
用图像拾取装置拾取图像的图像拾取单元;
根据变焦放大率,在所述图像拾取单元所拾取的所述图像中设置将要被处理的区域的设置单元;以及
仅处理所述设置单元所设置的所述区域的内部部分的处理单元。
13.如权利要求12所述的图像处理设备,其中当在所述图像拾取单元拾取所述图像的时候所述变焦放大率等于或高于预定的阈值时,所述设置单元设置所述将要被处理的区域。
14.如权利要求12所述的图像处理设备,进一步包括:
探测所施加的振动并输出指示所述振动的大小的振动量的振动量输出单元;以及
根据所述振动量输出单元所输出的所述振动量来计算用于减少所述振动对所述图像的影响的纠正量的计算单元,
其中所述处理单元基于所述纠正量来纠正所述图像拾取单元所拾取的所述图像。
15.一种图像处理方法,包括:
用图像拾取装置拾取图像的图像拾取步骤;
根据变焦放大率,在所述图像拾取步骤中所拾取的所述图像中设置将要被处理的区域的设置步骤;以及
仅处理在所述设置步骤中所设置的所述区域的内部部分的处理步骤。
16.一种计算机可读程序,包括:
用图像拾取装置拾取图像的图像拾取步骤;
根据变焦放大率,在所述图像拾取步骤中所拾取的所述图像中设置将要被处理的区域的设置步骤;以及
仅处理在所述设置步骤中所设置的所述区域的内部部分的处理步骤。
CNB2006100803829A 2005-05-16 2006-05-16 图像处理设备和方法 Expired - Fee Related CN100442826C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP143083/05 2005-05-16
JP2005143083A JP4873523B2 (ja) 2005-05-16 2005-05-16 画像処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN1867047A true CN1867047A (zh) 2006-11-22
CN100442826C CN100442826C (zh) 2008-12-10

Family

ID=36737126

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006100803829A Expired - Fee Related CN100442826C (zh) 2005-05-16 2006-05-16 图像处理设备和方法

Country Status (5)

Country Link
US (1) US7627237B2 (zh)
EP (1) EP1725022A1 (zh)
JP (1) JP4873523B2 (zh)
KR (1) KR101231494B1 (zh)
CN (1) CN100442826C (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004229002A (ja) * 2003-01-23 2004-08-12 Sony Corp 撮像装置
JP4804398B2 (ja) * 2007-03-30 2011-11-02 三洋電機株式会社 撮像装置及び撮影方法
JP4924896B2 (ja) * 2007-07-05 2012-04-25 アイシン精機株式会社 車両の周辺監視装置
KR101506479B1 (ko) * 2007-09-12 2015-03-30 삼성전자주식회사 굴절면으로 구성된 굴곡 프리즘의 구동을 통한 광경로 보정시스템 및 방법
JP5598033B2 (ja) * 2010-03-15 2014-10-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP5183715B2 (ja) * 2010-11-04 2013-04-17 キヤノン株式会社 画像処理装置及び画像処理方法
US9025040B2 (en) * 2012-06-30 2015-05-05 Trackingpoint, Inc. Electronic user interface and method for controlling precision guided firing of a rifle
JP6332996B2 (ja) * 2013-04-17 2018-05-30 キヤノン株式会社 動画像処理装置および撮像装置、動画像処理方法
US20140333808A1 (en) * 2013-05-10 2014-11-13 BAE Systems Imaging Solutions, Inc. Customizable Image Acquisition Sensor and Processing System
US9984583B2 (en) * 2013-09-20 2018-05-29 Bose Corporation Audio demonstration kit
JP6738906B2 (ja) * 2016-10-31 2020-08-12 Eizo株式会社 画像処理装置、画像表示装置及びプログラム
JP7354300B2 (ja) * 2020-01-31 2023-10-02 富士フイルム株式会社 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
KR20210118622A (ko) 2020-03-23 2021-10-01 삼성전자주식회사 고배율에서 흔들림을 보정하는 방법 및 그 전자 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69426314T2 (de) * 1993-02-12 2001-04-12 Sony Corp Elektronische Zoomkontrolle und Bildstabilisierung
US6236431B1 (en) * 1993-05-27 2001-05-22 Canon Kabushiki Kaisha Video camera apparatus with distance measurement area adjusted based on electronic magnification
JPH07123317A (ja) * 1993-10-21 1995-05-12 Canon Inc 防振機能付き撮影装置
US5825415A (en) * 1993-12-17 1998-10-20 Canon Kabushiki Kaisha Electronic image-movement correcting device with a variable correction step feature
US6263162B1 (en) * 1998-08-25 2001-07-17 Canon Kabushiki Kaisha Image-shake preventing apparatus
JP2002049068A (ja) 2000-08-04 2002-02-15 Canon Inc 防振ズームレンズ装置及びカメラシステム
JP3925415B2 (ja) 2003-01-22 2007-06-06 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4478422B2 (ja) * 2003-09-18 2010-06-09 キヤノン株式会社 像振れ補正装置、交換レンズおよび撮影装置

Also Published As

Publication number Publication date
JP4873523B2 (ja) 2012-02-08
US7627237B2 (en) 2009-12-01
EP1725022A1 (en) 2006-11-22
CN100442826C (zh) 2008-12-10
KR101231494B1 (ko) 2013-02-07
JP2006319912A (ja) 2006-11-24
US20060262193A1 (en) 2006-11-23
KR20060118350A (ko) 2006-11-23

Similar Documents

Publication Publication Date Title
CN1867047A (zh) 图像处理设备和方法及程序
CN1742483A (zh) 图像处理装置和方法、记录介质和程序
CN1770829A (zh) 固态图像拾取元件的信号处理设备和方法及图像拾取设备
CN1262123C (zh) 产生快速查看图象的电子照相机
CN1770830A (zh) 用于固态摄像元件的信号处理设备和信号处理方法
CN1929561A (zh) 图像捕获设备和图像捕获方法
CN1941918A (zh) 摄像装置以及摄像方法
CN1878246A (zh) 图像处理装置和图像拍摄装置
CN1684503A (zh) 用于防止由于强光的进入导致图像变暗的摄像装置
CN101076085A (zh) 图像捕获方法和装置以及使用该装置的电子装置
CN1835565A (zh) 图像捕获装置、图像传感器和图像捕获处理方法
CN1297138C (zh) 固体摄像装置
CN1941851A (zh) 图像取得装置以及程序
CN1822661A (zh) 图像处理系统、投影机及图像处理方法
CN101047799A (zh) 成像装置照相机系统及其驱动方法
CN1595958A (zh) 图象质量补正装置和图象质量补正方法
CN1838737A (zh) 帧速率变换装置、摇摄·倾斜判断装置及视频装置
CN1671203A (zh) 像素内插装置、像素内插方法、程序和记录介质
CN101047796A (zh) 成像设备和用于该成像设备的方法
CN1897638A (zh) 图像处理装置和图像捕获装置
CN1794788A (zh) 用于处理图像的设备和方法,计算机程序及记录介质
CN1670612A (zh) 投影机和图案图像显示方法
CN1933552A (zh) 摄像装置、固体摄像元件及图像生成方法
CN1678027A (zh) 噪声减低装置和噪声减低方法以及摄像装置
CN1711752A (zh) 平面图像传感器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20081210

Termination date: 20150516

EXPY Termination of patent right or utility model