CN101841653B - 拍摄装置以及视场角调节方法 - Google Patents

拍摄装置以及视场角调节方法 Download PDF

Info

Publication number
CN101841653B
CN101841653B CN2010101200312A CN201010120031A CN101841653B CN 101841653 B CN101841653 B CN 101841653B CN 2010101200312 A CN2010101200312 A CN 2010101200312A CN 201010120031 A CN201010120031 A CN 201010120031A CN 101841653 B CN101841653 B CN 101841653B
Authority
CN
China
Prior art keywords
image
angle
unit
visual field
discrete
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2010101200312A
Other languages
English (en)
Other versions
CN101841653A (zh
Inventor
手岛义裕
中込浩一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN101841653A publication Critical patent/CN101841653A/zh
Application granted granted Critical
Publication of CN101841653B publication Critical patent/CN101841653B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10148Varying focus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种拍摄装置以及视场角调节方法,其追踪单元,存储图像中的被拍摄体区的特征量,并且在该被拍摄体区设定多个检索点。接着采用随机数更新所设定的多个检索点坐标。然后,对更新后的检索点特征量与所存储的特征量进行比较而在各检索点设定与类似度相应的加权。然后,根据加权对检索点进行筛选,并计算所筛选的检索点的离散。视场角调节单元根据计算出的离散决定视场角的调节量。

Description

拍摄装置以及视场角调节方法
技术领域
本发明涉及拍摄装置以及视场角调节方法。
背景技术
目前配合被拍摄体尺寸变化自动控制变焦倍率的技术是公知的。例如,在专利文献1(日本国特开2007-208453号公报)中所述的相机通过模板匹配(template matching)方法,连续检测追踪伴随移动的被拍摄体,并通过采用配合该被拍摄体尺寸变化来自动控制变焦倍率的技术,能够在拍摄者不进行变焦操作的情况下,以最佳尺寸拍摄移动的被拍摄体。
但是,上述的专利文献1中所述的模板匹配方法,在所追踪的被拍摄体大小、形状变化大时存在不能追踪被拍摄体的问题。即,在模板匹配方法中,通过从现存帧图像中进行检索,以类似度最高的图像区为被拍摄体而追踪与由前帧图像(含有要追踪的被拍摄体的图像)所切取的模板类似的小图像区。但是,在这种方法中,当被拍摄体的大小、形状变化大时,与由前帧图像所切取的模板之间的类似度变低,从而不能追踪被拍摄体。
因此,例如,在运动员从远处靠近,横穿过相机的跟前之后向远处离去的情况下,需要迅速地反复更新用于匹配的模板,所以存在所谓处理量增加的问题。
发明内容
本发明的目的在于,提供一种即使在被拍摄体的尺寸变化大的情况下,对用于追踪的处理量不产生负担就能够追踪被拍摄体,以最佳尺寸来进行拍摄的拍摄装置以及视场角调节方法。
为了达到上述目的,本发明的一个类型为拍摄装置,其特征在于,具备:拍摄单元;指定单元,指定包含在由该拍摄单元拍摄的图像中的要追踪的图像区;拍摄控制单元,对于所述拍摄单元以依次拍摄的方式进行控制;判断单元,判断由所述指定单元所指定的图像区的、由所述拍摄控制单元依次拍摄的图像之间的变化趋势;视场角调节单元,根据通过该判断单元所判断的变化趋势,调节包含所述图像区的拍摄视场角。
为了达到上述目的,本发明的另一个类型为视场角调节方法,其特征在于,含有:指定步骤,指定包含在拍摄部拍摄的图像中的要追踪的图像区;拍摄控制步骤,对于所述拍摄部以依次进行拍摄的方式进行控制;判断步骤,判断在所述指定步骤中所指定的图像区的、在所述拍摄控制步骤中依次拍摄的图像之间的变化趋势;视场角调节步骤,根据在该判断步骤中所判断的变化趋势,调节包含所述图像区的拍摄视场角。
根据本发明,即使被拍摄体的尺寸变化大时,对用于追踪的处理量不产生负担就能够追踪被拍摄体,以最佳尺寸来进行拍摄。
附图说明
图1是数码相机1的外观图。
图2表示数码相机1概略结构的方框图。
图3表示本实施方式的拍摄场景一例的示意图。
图4是未进行自动变焦时和进行自动变焦时的实时取景(live view)图像的对比图。
图5表示用于执行记录模式处理的控制程序流程图。
图6表示用于由中央控制部18执行可否追踪判断处理(参照图5的步骤S5)的控制程序流程图。
图7中的图7A是检索对象区T[num]的示意图,图7B是初始坐标设定的示意图。
图8表示粒子P的分布图。
图9粒子P的对应表的示意图。
图10新P[num]的分布图。
图11表示用于由中央控制部18执行追踪处理(参照图5的步骤S9)的控制程序流程图。
图12本实施方式的追踪处理的示意图。
图中:10-变焦驱动控制部,12-拍摄部,18-中央控制部,22-追踪处理部,24-被拍摄体。
具体实施方式
以下,以数码相机为例,参照附图对本发明的实施方式进行说明。
图1是数码相机1的外观图,其中,(1A)是正视图,(1B)是后视图。在该图中,数码相机1构成为:在适合于手拿形状的机身2的前面配置内装有电动变焦功能的透镜镜筒3,并且在该机身2的背面配置由液晶显示屏构成的显示部4、变焦键5、功能键6以及光标键(cursor key)7,而且在该机身2的上面配置有电源开关8和具有半按下快门功能的快门键9。另外,该结构为通用数码相机的结构,但是,并不局限于此,例如,也可以是像单反式数码相机那样的结构,或者,也可以为装载于便携式电话机及其它电子设备上的结构或装载于数字摄像机(digital video camera)的结构。
图2表示数码相机1概略结构的方框图。在该图中,数码相机1含有透镜镜筒3、变焦驱动控制部10、聚焦驱动控制部11、拍摄部12、CDS/ADC13、图像处理部14、编码/解码处理部15、预览引擎(previewengine)16、键输入部17、显示部4、中央控制部18、RAM19、程序存储器20、图像记录部21、追踪处理部22以及连接这些各个部分的总线23。
对各个部分的详细情况进行说明,首先,透镜镜筒3是收容光轴对齐的多片拍摄透镜的透镜组件,图示的拍摄透镜表示其中的变焦透镜3a和聚焦透镜3b。变焦透镜3a伴随通过变焦驱动控制部10的控制而动作的未图示变焦电机的动作,相对其它拍摄透镜能够在光轴上前后移动,并通过该移动,调整拍摄透镜对被拍摄体24的拍摄视场角(变焦倍率)。另外,聚焦透镜3b伴随通过变焦驱动控制部11的控制而动作的未图示变焦电机的动作,相对其它拍摄透镜能够在光轴上前后移动,并通过该移动来调整被拍摄体24的焦点位置。
拍摄部12由CCD、CMOS等二维图像传感器构成,配置在含有上述变焦透镜3a和聚焦透镜3b的拍摄透镜的光轴上,并输出与经由该拍摄透镜成像的被拍摄体的光学像相应的模拟拍摄信号。
CDS/ADC13是将与由拍摄部12输出的被拍摄体光学像相应的模拟拍摄信号转换为数字信号的电路,该CDS/ADC13由保持所输入的拍摄信号的CDS、伴随AE(自动曝光调整)处理等而放大拍摄信号的增益调整放大器(AGC)、将放大后的拍摄信号转换为数字拍摄信号的A/D转换器(ADC)等构成。
图像处理部14是对由CDS/ADC13输出的数字拍摄信号施行各种图像处理(伽马处理等)的电路。
编码/解码处理部15是以JPEG形式等规定的编码方式来压缩记录图像(在图像记录部21中写入的图像文件),另外以相同方式来扩展再生图像(从图像记录部21读出的图像文件)的电路。
预览引擎16是缩小加工由CDS/ADC13输出的数字拍摄信号,以屏幕(构成图)确认用的实时取景图像(或称为预览图像)的形式输出给显示部4,或者,在图像记录模式下缩小加工在图像记录部21中记录的稍前图像而输出给显示部4,或者进一步在图像再生模式下缩小加工由图像记录部21读出的图像而输出到显示部4的电路。
键输入部17是生成配置在机身2各部分的各种按钮类(变焦键5、功能键6、光标键7、快门键9等)的操作信号的电路。
显示部4由规定纵横比(aspect ratio)(例如,16∶9)的液晶显示屏与驱动器构成,当输入显示信号、驱动驱动器的驱动控制信号时根据该显示信号将图像设成实时取景图像而在下位层中进行显示,而且在上位层显示由中央控制部18输出的消息、图标(icon)等。
中央控制部18是统一控制数码相机1各部分的单片微型计算机,该中央控制部18预先读出存储于程序存储器15中的控制程序,通过执行该控制程序,控制数码相机1的各部分,且基于包含在拍摄信号中的亮度信息进行的AE控制处理、基于对比度(contrast)检测方式进行的自动聚焦(AF)控制处理、变焦控制以及后面所述的记录模式处理等。
RAM19是暂时存储由CDS/ADC13输出的图像信号的缓冲存储器(buffer memory),该缓冲存储器具有能够存储多张连续拍摄的图像的容量。
程序存储器20是预先存储保持由中央控制部18执行的控制程序的装置,图像处理部21是记录保存拍摄完成后的图像文件的装置。该图像记录部21,例如也可以是如存储卡那样能够拆装的部件。
追踪处理部22是执行在后面所述的追踪处理的电路。总线23是进行数码相机1各部分的信号传输的共用线。
接着,对数码相机1的工作进行说明。
“拍摄场景的例子”
图3是表示本实施方式的拍摄场景一例的示意图。图3A是被拍摄体24与数码相机1位置关系的例子,是从上俯视的图。在该例子中表示被拍摄体24从远处(面对附图方向的右边)朝向数码相机1接近,穿过数码相机1前面再远离时的时间序列的位置关系。图3B表示此时的数码相机1的取景器图像(在显示部4中显现出的实时取景图像),其中,图像25为被拍摄体24正在从远处朝向数码相机1时的图像,图像26为被拍摄体24穿过数码相机1前面的瞬间的图像,图像27为被拍摄体24相对于数码相机1背身远离时的图像。
在这种的拍摄场景中,如图像25、26、27中所示,被拍摄体24在拍摄图像中所占的比例从小的状态变大,然后再变小,因此,拍摄者操作变焦键5,将被拍摄体24设定为所希望大小,并等待任意快门机会全按下快门键9,但是,持续的变焦操作难免麻烦。因此,在本实施方式中,最初只进行一次的变焦操作设定视场角,将被拍摄体24的大小设成期望大小之后,设定以后能够自动调节视场角,从而避免上述的不便(麻烦)。
具体而言,若手动移近图像25的被拍摄体24使图像25的被拍摄体24占满屏幕(全屏),则其以后的图像26、图像27的被拍摄体24大小与手动移近时的大小一致自动加减调节,由此避免上述的不便(麻烦)。
图3C表示如此设定的图像25’~27’。图像25’的被拍摄体24是用手动移近的图像,其后的图像26’、27’的被拍摄体24是自动调节大小的图像。
如图3C中所示,在本实施方式中,对一边大小变化一边移动的被拍摄体24能够自动调节视场角(变焦倍率),使该被拍摄体24的大小维持大致固定,因此不仅得到所谓不导致操作麻烦就能够始终用所希望的视场角打开快门的效果,而且由于不使用开头专利文献1那种的模板匹配法,所以还得到所谓不具备该专利文献1缺点(处理时间的增加)的独特效果(在后面也进行详细说明)。
图4A~F是在不进行自动变焦的情况和进行自动变焦的情况下的实时取景图像的对比图。图4A~C是分别表示在不进行自动变焦时的图像25、26、27。
另外,图4D~F分别表示进行自动变焦时的图像25’、26’、27’。图4A(图像25)显现了远处的被拍摄体24,图4B(图像26)中显现了穿过数码相机1前面的瞬间的被拍摄体24,图4C(图像27)中显现了背身远离的被拍摄体24。在这些图4A~C中,不进行自动变焦时的被拍摄体24的大小经过从“小”变“大”,再变“小”的过程。其中,为了说明方便,将在图4A(图像25)中显现的被拍摄体24的大小、图4B(图像26)中显现的被拍摄体24的大小和图4C(图像27)中显现的被拍摄体24的大小分别设为a、b和c,并且设定a<b>c。
在本实施方式的意图在于,使如图4A~C那样大小变化(a→b→c)的被拍摄体24维持在图4D~f(图像25’~27’)中所示的固定大小(A=B=C)。
在本实施方式中,首先手动进行变焦操作。即,拍摄者在图像25的阶段操作变焦键5而使摄入该图像25中的被拍摄体24大小a符合所希望目标大小(图4B的图像25’的被拍摄体24大小A)。
然后,在本实施方式中,按照摄入图像26的被拍摄体24的大小b变成目标大小(摄入图像26’的被拍摄体24的大小B)的方式进行自动变焦,而且,按照摄入在图像27的被拍摄体24的大小c变成目标大小(摄入图像27’的被拍摄体24的大小C)的方式进行自动变焦,从而结果能使摄入在该期间的实时取景图像(图像25’~图像27’)的被拍摄体24大小与目标大小相符而维持于固定大小(A=B=C)。
接着,对实施方式的控制程序进行说明。
[记录模式处理]
图5是表示用于执行记录模式处理的控制程序流程图。所谓记录模式处理是指如下一系列处理,即在显示部4中显示用于屏幕确认的实时取景图像,并在检测拍摄者半按下快门操作(半按下快门键9的操作)时进行AE(自动曝光调整)、AWB(自动白平衡调整)以及AF(自动聚焦),而且,在检测由操作者的全按下快门操作(全按下快门键9的操作)时将该时刻的拍摄图像转换为JPEG文件而记录保存在图像记录部21。
该控制程序是预先存储在程序存储器20的程序,是在图像记录模式下由中央控制部18执行的程序。
当开始进行记录模式处理时,中央控制部18判断是否为自动变焦模式(步骤S1)。自动变焦模式是指对一边大小变化一边移动的被拍摄体24,自动调节视场角(变焦倍率),使该被拍摄体24的大小维持大致固定时所使用的模式。当步骤S1的判断结果为“否”时,判断为其它的拍摄模式(不使用自动变焦的通常记录模式),并分到用于执行该拍摄模式的处理(未图示),但是,当步骤S1的判断结果为“是”时执行以下的处理。
中央控制部18在显示部4显示实时取景图像(步骤S2),用户操作变焦键5调整视场角使被拍摄体在显示区中成为所希望的大小(步骤S3)。
当结束视场角调整时,接着中央控制部18等待对半按下快门(半按下快门键9的操作)的检测(步骤S4),当检测出半按下快门操作时进行AE(自动曝光调整)、AWB(自动白平衡调整)以及AF(自动聚焦)。另外,同时中央控制部18执行在后面详细说明的“可否追踪判断处理”(步骤S5)而判断该判断结果是否为“可追踪”(步骤S6)。简单而言,所谓“可否追踪判断处理”是将通过半按下快门进行AF后的图像区指定为要追踪的图像区(后面所述的评价对象图像),判断能否追踪包含在该图像区的被拍摄体移动的处理。
在步骤S6中,当中央控制部18判断成不可追踪时,中央控制部18在显示部4显示不可追踪消息(步骤S7)再返回到视场角调整(步骤S3)。另一方面,当中央控制部18判断成可追踪时,中央控制部18在显示部4显示可追踪消息(步骤S8)。然后,中央控制部18一边执行在后面详细说明的“追踪处理”(步骤S9)一边等待对快门5的全按下操作(步骤S10)。简单而言,所谓“追踪处理”是指一边追踪进行AF的被拍摄体的移动,一边按照该被拍摄体变成固定大小(所述的目标大小)的形式连续进行自动变焦的一系列处理。
从步骤S4的半按下快门检测到步骤S9的追踪处理完成期间持续由操作者进行半按下快门操作。另外,在此期间,若拍摄者中断半按下快门操作,则在该时刻从流程退出,中途结束控制程序。
中央控制部18在进行“追踪处理”期间检测到快门键9的全按下操作时,将在该时刻由拍摄部12输出的高精度图像信号转换为JPEG形式的图像文件,在图像记录部21中进行记录保存(步骤S11)而结束程序。
[可否追踪处理]
图6是表示用于由中央控制部18执行可否追踪判断处理(参照图5的步骤S5)的控制程序流程图。在该流程中,由实时取景图像获取进行上述AF后的n张图像区(其中n=5)(步骤S110)作为评价对象图像,对该5张评价对象图像按顺序进行以下的学习处理。
首先,中央控制部18在评价对象图像中生成规定数量的检索点(以下,称为粒子)P(步骤S111)。例如,若设定粒子P的个数为256个,则以P[num](Px[num]、Py[num])(0<=num<=255)来表示各个粒子P的坐标。
另外,在本实施方式中将粒子P的个数设定为256个,但是,并不局限于此,只要根据在数码相机1中装载的CPU的处理能力而适当决定合适的个数即可。
接着,中央控制部18将以各粒子P[num]为中心的规定范围设定为检索对象区T[num](步骤S112)。
图7A是检索对象区T[num]的示意图。如该图中所示,设定size=2,并将检索对象区T设定为从各粒子起纵横两像素范围,即以各粒子为中心的纵向5个像素、横向5个像素的范围。用下式(1)来表示该检索对象区T[num]。
T[num]={Q(PX[num]+p,PY[num]+k)|
-size≤p≤size,-size≤k≤size}  ……(1)
另外,在本实施方式中,设定size=2,但是,并不局限于此,也可以根据学习精度和处理负担而决定适当的size值。
接着,中央控制部18设定所有粒子P[num]的初始坐标(步骤S113)。
图7B是初始坐标设定的示意图。如该图中所示,在自动聚焦区E的内侧设定追踪对象区C,并且设该追踪对象区C的中心点为粒子P的初始坐标(Fx,Fy),在第一张评价对象图像的YUV的各色空间(Y色空间:Sr1,U色空间:Sr2,V色空间:Sr3)中存储各个追踪对象区C的基准像素值B1、B2、B3(步骤S114)。
如此,若设聚焦区E的中心坐标为(Fx,Fy),则用下式(2)表示粒子P[num]的初始坐标。
P[num](PX[num],PY[num])=(FX,FY)
                                ……(2)
另外,在本实施方式中,采用YUV色空间当作评价对象图像的色空间,但是,并不局限于此,当然也可以采用RGB色空间、HSV色空间、HLS色空间、OHHTA色空间等其它色空间。只要根据数码相机1的实时取景图像的色空间而适当进行选择即可。
当设定评价对象图像的Y色空间、U色空间、V色空间分别为Sr1、Sr2、Sr3时,用下式(3)~(5)来表示各个基准像素值B1、B2、B3。
B1(p,k)=Sr1(FX+p,FY+k)    ……(3)
B2(p,k)=Sr2(FX+p,FY+k)    ……(4)
B3(p,k)=Sr2(FX+p,FY+k)    ……(5)
-size≤p≤size,size≤k≤size
接着,执行用虚线包围的五个处理(步骤S115~步骤S119),不过,在后面所述的“追踪处理”(参照图12)中还含有与该五个处理相同的处理。
对该五个处理进行说明,首先采用遵照正态分布的随机数更新所有粒子P[num]的坐标(步骤S115)。
图8是表示粒子P的分布图。另外,在该图中,为了方便,在256个粒子P之中只显示20个。在图中,正方形的区域分别为检索对象区T,在一部分检索对象区中标示有T[0]、T[1]、T[2]、T[3]、T[4]……T[6]的符号。另外,检索对象区内的点分别为粒子P,同样,对这些粒子P标有P[0]、P[1]、P[2]、P[3]、P[4]……P[6]的符号。
其中,当设定遵照平均μ、离散σ2的正态分布的随机数为N(μ,σ2)时,以下式(6)来更新粒子P[num]的坐标。
P[num](PX[num],PY[num])
=(PX[num]+N[μ,σ2],PY[num]+N(μ,σ2))
                                        ……(6)
如此,当更新所有粒子P[num]的坐标时,接着计算各粒子的加权(步骤S 116)。具体而言,在评价对象图像的YUV的各色空间中计算构成各个检索对象区T[num]的像素Q的像素值。然后,计算所计算出的像素值与所存储的基准像素值B1~B3之差量处于规定范围内的像素的像素数,设定其个数为该粒子的加权。
该“加权”表示评价对象图像的检索对象区T[num]和第一张评价对象图像的追踪对象区C的类似程度。即,所谓加权大是指评价对象图像的检索对象区T[num]和第一张评价对象图像的追踪对象区C类似。
具体而言,设定上下阈值为TH1、TH2而计数出满足下式(7)~(9)的像素Q的个数,设为加权Pw[num]。顺便提一下,由于在本实施方式中设定size为2、构成各检索对象区T[num]的像素Q为25个,因此加权Pw[num]的最小值为0、最大值为25。
TH1≤B1(i,j)-Sr1(PX[num]+i,PY[num]+j)
≤TH2                            ……(7)
TH1≤B2(i,j)-Sr2(PX[num]+i,PY[num]+j)
≤TH2                            ……(8)
TH1≤B3(i,j)-Sr3(PX[num]+i,PY[num]+j)
≤TH2                            ……(9)
-size≤i≤size,-size≤j≤size
接着,进行粒子P的再采样(步骤S117)。具体而言,设定阈值为TH3而去除加权Pw处于TH3以下的粒子,之后进行粒子P的采样(步骤S118)。即,按照通过再采样留下的粒子P的加权Pw之和为规定值N的方式进行采样。之后,生成N个标识符,根据加权Pw使这些N个标识符分别与粒子P建立对应。即,粒子P的加权Pw越大,与该粒子P所对应的标识符的个数越多。
接着,按照与粒子P的个数相等的次数反复随机选择N个标识符之一的处理。然后,将与在该处理中所选的标识符对应的粒子P设成新的256个粒子P[num]而进行存储。其中,有时多次选择指定的粒子P,不过,此时多次存储指定的粒子P。
图9是粒子P的所对应表的示意图。在该图中,设定在步骤S117中所采用的TH3为4、作为加权Pw总和的N为1024,作为标识符生成0~1023的整数。然后,根据加权Pw使这些1024个整数分别与粒子P建立对应。
例如,粒子P[23]由于加权Pw为22,因此对应0-21的整数。粒子P[248]因为加权Pw为22,所以对应22-43的整数。
接下来,在从0到1023的范围内256次产生随机数,从1024个整数中抽出与所产生的随机数相等的数值,并设定对应该抽出数值的粒子P为新粒子P[num]而进行存储。
即,通过以上的步骤S117(粒子的再采样)以及步骤S118(粒子的采样)的处理,从P[num]中选择指定的粒子。然后,对所选的P[num]附上0~255的编号,并作为新P“num”而进行记录。
图10是新P[num]的分布图。粒子P的分布,由在前面的图8中所示的状态变成该图中所示的状态。例如,P[5]、P[6]由于加权Pw不足TH3或者未被随机数选择,因此被消除。另一方面,P[0]在随机选择N个标识符中之一时多次被选,因此作为新P[92]、P[119]而进行存储。另外,P[1]作为新P[208]而进行存储,P[2]作为新P[103]而进行存储。另外,P[3]作为新P[139]而进行存储,P[4]作为新P[54]而进行存储。
如此,当获得新P[num]的分布时,接着计算新P[num]的坐标离散V(步骤S119)。以上所述的是用虚线包围的五个处理(步骤S115~步骤S119)的工作。
顺便提一下,所谓“离散V”是表示粒子的空间分布(不局限于正态分布)的离散值,由下式(10),给出该“离散V”的值。其中,式(10)中的x1、y1为粒子的坐标,标有上划线的x、y表示x或y的平均值。另外,该“离散V”与上式(4)的“离散σ2”不同。上式(4)的“离散σ2”在步骤S115中更新粒子坐标时以遵照正态分布的随机数来移动坐标,不过,表示此时的正态分布的离散。与此相对,“离散V”是表示追踪拍摄对象的多个粒子的空间分布的离散。
V = 1 n Σ i = 1 n ( ( x i - x ‾ ) 2 + ( y i - y ‾ ) 2 ) · · · · · · ( 10 )
接下来,判断离散V是否不足规定阈值(步骤S120),当该判断结果为“否”时由于不能追踪拍摄对象,因此移到步骤S126,使不可追踪标记为ON而返回图5的步骤S6,另一方面,当该判断结果为“是”时判断离散V相对上次的变化量是否大(步骤S121)。
然后,当该判断结果为“否”时使不可追踪标记为ON而返回图5的步骤S6,另一方面,当该判断结果为“是”时将所有粒子P[num]坐标的附上加权的平均作为拍摄对象的当前坐标而进行计算(步骤S122),判断该坐标是否位于评价对象图像的追踪范围内(步骤S123)。
然后,当该判断结果为“否”时使不可追踪标记为ON而返回图5的步骤S6,另一方面,当该判断结果为“是”时判断当前的评价对象图像是否为最后张(第五张)(步骤S124),当该判断结果为“否”时将评价对象图像更新为下一个图像(步骤S125),返回到步骤S115而进行循环(loop)处理,当该结果为“否”时直接进入图5的步骤S6。
[追踪处理]
图11是表示为了执行追踪处理(参照图5的步骤S9)而中央控制部18对追踪处理部22进行控制时的控制程序流程图。
在本实施例中,所谓“追踪处理”是指一边追踪进行了AF的被拍摄体移动,一边判断追踪对象被拍摄体的变化趋势,而且按照该被拍摄体成为固定大小(所述的目标大小)的形式连续进行自动变焦的一系列的处理。
然后,在本实施方式中,在该“追踪处理”中执行与所述图6的步骤S115~步骤S119相同的处理。之后,着眼于通过该处理所获取的离散V的变化趋势与追踪对象被拍摄体的变化趋势之间成立固定的关联关系,从而一边追踪被拍摄体一边对拍摄视场角进行调节。
即,在该追踪处理中,首先执行与所述图6的步骤115~步骤119相同的处理(步骤S201)而对本次的离散(N)与上次的离散V(N-1)进行比较(步骤S202)。步骤S202的比较结果为“V(N)<V(N-1)”、“V(N)=V(N-1)”或“V(N)>V(N-1)”。
离散V(N)与上次相比较大的情况(V(N)>V(N-1)),例如是人物接近等拍摄对象变大的情况。在这种情况下,为了使被拍摄体的大小保持固定,进行移离处理(缩小处理)。相反,离散V(N)与上次相比较小的情况(V(N)<V(N-1)),例如是人物的远离等拍摄对象变小的情况。在这种情况下,为了使被拍摄体的大小保持固定,进行移近处理(放大处理)。
具体而言,在步骤S202的比较结果为“小”的情况[与上次相比离散V(N)较小的情况:V(N)<V(N-1)]下将变焦透镜3a向T(望远)侧进行驱动控制(移近控制)而使视场角变窄,在该比较结果为“大”的情况[与上次相比离散V(N)]较大的情况:V(N)>V(N-1)]下将变焦透镜3a向W(广角)侧进行驱动控制(移离控制)而使视场角变广。另外,在该比较结果为“相同”情况下什么也不做(对变焦透镜3a不进行驱动控制)。
图12是本实施方的追踪处理的示意图。通过追踪处理的五个处理(步骤S115~步骤S119)所得的离散V表示在追踪对象被拍摄体在拍摄图像中所占的比例大小变化。例如,在图12的左侧纵向排列的三个被拍摄体39、40、41之中的中间的被拍摄体40以在拍摄图像整体中所占的大小为目标大小(在图5的步骤S3中成为视场角调整目标的大小)。此时,若以被拍摄体40的离散为上次的离散V(N-1),则在被拍摄体的大小从被拍摄体40向被拍摄体39变化时,被拍摄体39的离散V(N)比被拍摄体40的离散V(N-1)大。另外,被拍摄体的大小从被拍摄体40向被拍摄体41变化的情况是被拍摄体从数码相机1远离的情况。此时,被拍摄体41的离散V比被拍摄体40的离散V(N-1)小。
因此,通过调查离散V的变化,能够判断追踪对象被拍摄体的变化趋势,根据该检测结果,能够进行移近和移离控制。
如此,在本实施方式中,在追踪处理中计算粒子P[num]的坐标离散V,根据该分散V的变化,掌握追踪对象被拍摄体的大小变化,因此不需要通过模板匹配方法等来检测被拍摄体,即使在被拍摄体的尺寸变大的情况下,不增加处理量就能够产生所谓能够使追踪对象被拍摄体的大小保持固定的显著效果。

Claims (6)

1.一种拍摄装置,其特征在于,具备:
拍摄单元(12);
指定单元,指定包含在由该拍摄单元拍摄的图像中的要追踪的图像区;
拍摄控制单元(18),控制所述拍摄单元依次进行拍摄;
存储单元(22),存储由所述指定单元指定的图像区的特征量;
检索点设定单元(22),在存储于该存储单元中的图像区设定多个检索点;
更新单元(22),采用随机数更新由所述检索点设定单元所设定的检索点坐标;
加权设定单元(22),对存储在所述存储单元中的特征量与由所述更新单元所更新的检索点特征量进行比较,在各检索点设定与类似度相应的加权;
筛选单元(22),对由所述加权设定单元设定了加权的检索点根据所述加权进行筛选;
离散获取单元,获取由所述筛选单元所筛选的检索点离散;
判断单元(18),根据由所述离散获取单元所获取的离散变化,判断由所述拍摄控制单元控制依次拍摄的图像之间的变化趋势;和
视场角调节单元(18),根据该判断单元所判断的变化趋势,调节包含所述图像区的拍摄视场角,
所述视场角调节单元按照在由所述判断单元判断离散变小时使拍摄视场角变窄,在由所述判断单元判断离散变大时使拍摄视场角变广的方式对拍摄视场角进行调节。
2.根据权利要求1所述的拍摄装置,其特征在于,
所述拍摄装置还具备调节量获取单元,该调节量获取单元根据由所述离散获取单元所获取的离散,通过所述视场角调节单元获取所述视场角调节单元要调节的调节量。
3.根据权利要求1所述的拍摄装置,其特征在于,
所述视场角调节单元按照在由所述拍摄控制单元控制依次拍摄的图像之间所述图像区成为大致固定大小的方式对视场角进行调节。
4.根据权利要求1所述的拍摄装置,其特征在于,
所述拍摄装置还具备变焦透镜(3a),所述视场角调节单元通过驱动该变焦透镜,而对所述拍摄视场角进行调节。
5.根据权利要求1所述的拍摄装置,其特征在于,
所述拍摄装置还具备对焦单元,该对焦单元通过驱动聚焦透镜(3b)而对焦在被拍摄体上,
所述指定单元指定的实时取景图像区是指所述图像中的由所述对焦单元对焦的区域。
6.一种视场角调节方法,其特征在于,含有:
指定步骤,指定包含在由拍摄部所拍摄的图像中的要追踪的图像区;
拍摄控制步骤,控制所述拍摄部依次进行拍摄;
存储步骤,存储由所述指定步骤指定的图像区的特征量;
检索点设定步骤,在所述存储步骤中存储的图像区设定多个检索点;
更新步骤,采用随机数更新由所述检索点设定步骤所设定的检索点坐标;
加权设定步骤,对所述存储步骤中存储的特征量与由所述更新步骤所更新的检索点特征量进行比较,在各检索点设定与类似度相应的加权;
筛选步骤,对由所述加权设定步骤设定了加权的检索点根据所述加权进行筛选;
离散获取步骤,获取由所述筛选步骤所筛选的检索点离散;
判断步骤,根据由所述离散获取步骤所获取的离散变化,判断所述拍摄控制步骤中依次拍摄的图像之间的变化趋势;和
视场角调节步骤,
按照在由所述判断步骤判断离散变小时使拍摄视场角变窄,在由所述判断步骤判断离散变大时使拍摄视场角变广的方式对拍摄视场角进行调节。
CN2010101200312A 2009-02-23 2010-02-23 拍摄装置以及视场角调节方法 Expired - Fee Related CN101841653B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009039270A JP4780205B2 (ja) 2009-02-23 2009-02-23 撮像装置、画角調節方法、及び、プログラム
JP2009-039270 2009-02-23

Publications (2)

Publication Number Publication Date
CN101841653A CN101841653A (zh) 2010-09-22
CN101841653B true CN101841653B (zh) 2012-09-05

Family

ID=42630647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010101200312A Expired - Fee Related CN101841653B (zh) 2009-02-23 2010-02-23 拍摄装置以及视场角调节方法

Country Status (3)

Country Link
US (1) US8189056B2 (zh)
JP (1) JP4780205B2 (zh)
CN (1) CN101841653B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011217284A (ja) * 2010-04-01 2011-10-27 Olympus Imaging Corp 撮像装置
EP2648401B1 (en) * 2010-12-01 2015-08-26 NEC Corporation Mobile terminal, image processing method and program
CN103563352A (zh) 2011-06-10 2014-02-05 国际商业机器公司 自适应数字装置和用于数字装置的适配器
JP5536010B2 (ja) * 2011-11-02 2014-07-02 カシオ計算機株式会社 電子カメラ、撮像制御プログラム及び撮像制御方法
US20130176463A1 (en) * 2012-01-09 2013-07-11 Nokia Corporation Method and Apparatus for Image Scaling in Photography
JP5799928B2 (ja) * 2012-09-28 2015-10-28 カシオ計算機株式会社 閾値設定装置、被写体検出装置、閾値設定方法及びプログラム
JP6340769B2 (ja) * 2013-10-11 2018-06-13 カシオ計算機株式会社 物体位置推定装置、物体位置推定方法及びプログラム
CN107341991A (zh) * 2017-05-17 2017-11-10 广州视源电子科技股份有限公司 位置指示方法、用于位置指示的操作装置与显示系统
US10999522B2 (en) * 2018-05-14 2021-05-04 Canon Kabushiki Kaisha Control apparatus, control method, and computer-readable storage medium
US11126863B2 (en) * 2018-06-08 2021-09-21 Southwest Airlines Co. Detection system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1632689A (zh) * 2003-12-24 2005-06-29 金宝电子工业股份有限公司 数位摄影机追踪式对焦方法
CN101019057A (zh) * 2004-09-10 2007-08-15 夏普株式会社 透镜系统调整装置和使用该装置的透镜系统调整方法以及摄像装置的制造装置和摄像装置的制造方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3342041B2 (ja) * 1992-06-22 2002-11-05 キヤノン株式会社 撮像装置
CN1178467C (zh) * 1998-04-16 2004-12-01 三星电子株式会社 自动跟踪运动目标的方法和装置
JP4848097B2 (ja) * 2001-06-13 2011-12-28 三菱重工業株式会社 移動体の監視方法および装置
JP4241742B2 (ja) 2006-01-31 2009-03-18 パナソニック株式会社 自動追尾装置及び自動追尾方法
JP2008262331A (ja) * 2007-04-11 2008-10-30 Toshiba Corp オブジェクト追跡装置およびオブジェクト追跡方法
JP5018321B2 (ja) * 2007-08-06 2012-09-05 国立大学法人 千葉大学 自動追尾装置
JP4458173B2 (ja) * 2008-03-19 2010-04-28 カシオ計算機株式会社 画像記録方法、画像記録装置、およびプログラム
JP4730431B2 (ja) * 2008-12-16 2011-07-20 日本ビクター株式会社 目標追尾装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1632689A (zh) * 2003-12-24 2005-06-29 金宝电子工业股份有限公司 数位摄影机追踪式对焦方法
CN101019057A (zh) * 2004-09-10 2007-08-15 夏普株式会社 透镜系统调整装置和使用该装置的透镜系统调整方法以及摄像装置的制造装置和摄像装置的制造方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP平11-308517A 1999.11.05

Also Published As

Publication number Publication date
JP2010199694A (ja) 2010-09-09
JP4780205B2 (ja) 2011-09-28
CN101841653A (zh) 2010-09-22
US8189056B2 (en) 2012-05-29
US20100214444A1 (en) 2010-08-26

Similar Documents

Publication Publication Date Title
CN101841653B (zh) 拍摄装置以及视场角调节方法
EP3053332B1 (en) Using a second camera to adjust settings of first camera
CN101246541B (zh) 图像处理设备和方法、图像拾取设备
CN100462999C (zh) 图像处理设备和图像处理方法
US8184196B2 (en) System and method to generate depth data using edge detection
CN101877765B (zh) 图像变换设备及控制图像变换设备操作的方法
US20100321470A1 (en) Imaging apparatus and control method therefor
US20040227839A1 (en) Systems and methods for determining focus from light collected by the periphery of a lens
CN101221341A (zh) 景深构图设定方法
CN102447832A (zh) 追踪设备和追踪方法
JP2019086775A (ja) 画像処理装置、その制御方法、プログラム及び記憶媒体
CN104902182B (zh) 一种实现连续自动对焦的方法和装置
CN102057665A (zh) 电子照相机、图象处理装置及图象处理方法
CN108600638B (zh) 摄像机自动调焦系统及方法
CN104519328A (zh) 图像处理设备、图像捕捉装置和图像处理方法
CN103384998A (zh) 摄像装置、摄像方法、程序及程序存储介质
CN104702824A (zh) 摄像装置及摄像装置的控制方法
CN103888667B (zh) 摄像设备及其控制方法
US20100020198A1 (en) Digital Still Camera and Method of Controlling Same
CN103685910A (zh) 成像设备
CN105409198B (zh) 摄像装置及图像处理方法
CN101359150B (zh) 摄像设备及其控制方法
CN103905725A (zh) 图像处理设备和图像处理方法
US7826737B2 (en) Image pickup apparatus and focusing method thereof
CN102023460B (zh) 数字相机的快速对焦方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120905

Termination date: 20210223