CN101605209B - 摄像装置及图像再生装置 - Google Patents

摄像装置及图像再生装置 Download PDF

Info

Publication number
CN101605209B
CN101605209B CN200910202859XA CN200910202859A CN101605209B CN 101605209 B CN101605209 B CN 101605209B CN 200910202859X A CN200910202859X A CN 200910202859XA CN 200910202859 A CN200910202859 A CN 200910202859A CN 101605209 B CN101605209 B CN 101605209B
Authority
CN
China
Prior art keywords
image
tracking
tracking target
evaluation
zone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200910202859XA
Other languages
English (en)
Other versions
CN101605209A (zh
Inventor
横畠正大
藤田日出人
克拉丽莎·梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of CN101605209A publication Critical patent/CN101605209A/zh
Application granted granted Critical
Publication of CN101605209B publication Critical patent/CN101605209B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Abstract

本发明提供一种摄像装置及图像再生装置。其中，该摄像装置具有：通过依次拍摄来输出表示拍摄图像列的信号的摄像元件；通过基于所述摄像元件的输出信号依次检测所述拍摄图像列上的跟踪目标的位置，从而在所述拍摄图像列上跟踪所述跟踪目标的跟踪处理部；按每个拍摄图像基于检测出的所述位置在所述拍摄图像内设定切取区域，并提取所述切取区域内的图像作为切取图像或输出表示所述切取区域的位置和大小的切取信息的切取处理部；和基于所述摄像元件的输出信号评价基于所述跟踪处理部的跟踪的可靠性或容易性的程度的跟踪评价部。所述切取处理部根据评价出的所述程度改变所述切取区域的大小。

Description

摄像装置及图像再生装置
技术领域
本发明涉及一种能够拍摄运动图像的摄像装置。另外，本发明还涉及一种对运动图像进行再生的图像再生装置。
背景技术
在利用监控摄像机的系统中实现了运动物体的捕捉和跟踪功能。在这种系统中，从基于监控摄像机得到的图像中的指定区域内检测到运动物体
(可疑者)时就会报警。另外，具有显示跟踪结果的功能从而使监控人员容易确认的系统也逐渐被实用化。
利用图像的跟踪技术采用以下方法来实现：设定跟踪模式后，在图像内搜索模式位置的模式匹配法；基于光学流向检测运动物体位置的方法；跟踪颜色等拍照对象特征的方法等。
以往，以在监控摄像机中的利用或机器人视觉实现为目的研究了采用图像处理的运动物体的捕捉和跟踪技术，但是近几年，也在面向普通消费者的数码相机中开始使用该技术了。例如，公开了跟踪指定的拍照对象并通过切取处理从拍摄图像中切取适合于所关注的拍照对象的构图的图像的方法。
若进行将主要拍照对象作为跟踪目标的跟踪处理并且从拍摄图像中切取包括跟踪目标的像的图像区域，则能够向用户提供对跟踪目标具有良好的构图的运动图像。但是，基于图像处理的跟踪不会始终成功，由于各种因素改变跟踪的容易度导致相机丢失跟踪目标也很常见。例如，基于跟踪目标的颜色信息进行跟踪时，若背景颜色与跟踪目标的颜色相似，会存在跟踪的容易度降低从而相机丢失跟踪目标的情况。若跟踪的容易度降低，则显然也会降低跟踪的可靠度。
如图30(a)所示，在跟踪的可靠度或容易度高的状态下，在拍摄图像901内设定关注跟踪目标900的切取区域902，并将切取区域902内的图像作为切取图像来生成和记录即可。但是，在跟踪的可靠度或容易度低的状态下，若进行与可靠度或容易度高时相同的切取处理，则有可能如图30(b)所示，在拍摄图像911内设定的切取区域912中不存在跟踪目标910。图30(b)是在基于颜色信息进行跟踪处理时，假设背景当中存在具有类似于跟踪目标的颜色的物体从而将该物体误认为是跟踪目标时的情况的图。
尽管相机的拍摄区域内包含了作为跟踪目标的主要拍照对象，但是相机中记录的切取图像内未包含该主要拍照对象的像的情况是最不希望发生的情况，因此应该极力避免这种情况的发生。
以上记载了利用关注于跟踪目标的切取处理时(即，利用电子变焦时)的问题，但是关注于跟踪目标而进行光学变焦时也会产生同样的情况。另外，若要将拍摄时应当进行的处理在图像再生时进行，则也会发生同样的情况。再者，想要实现关注于跟踪目标的自动聚焦控制等时也会发生同样的情况。
另外，提出了各种各样的利用电子变焦和/或光学变焦来获取关注于跟踪目标的图像的技术，但是在以往的技术中，事实上对跟踪的可靠度或容易度并没有予以考虑。另外，还提出了与跟踪目标在图像中的移动相应地移动自动聚焦控制中利用的区域的技术，但是该技术中也没有予以考虑对跟踪的可靠度或容易度。
发明内容
本发明的第1摄像装置的特征在于，具有：摄像元件，其通过依次拍摄来输出表示拍摄图像列的信号；跟踪处理部，其基于所述摄像元件的输出信号依次检测所述拍摄图像列上的跟踪目标的位置，从而在所述拍摄图像列上跟踪所述跟踪目标；切取处理部，其按每个拍摄图像基于检测出的所述位置在所述拍摄图像内设定切取区域，并提取所述切取区域内的图像作为切取图像或输出表示所述切取区域的位置和大小的切取信息；和跟踪评价部，其根据所述摄像元件的输出信号，评价基于所述跟踪处理部的跟踪的可靠性或容易性的程度；所述切取处理部根据评价出的所述程度改变所述切取区域的大小。
即，具体而言，例如，所述切取处理部使所述程度被评价为比较高时的所述切取区域的大小比所述程度被评价为比较低时的所述切取区域的大小更小。
另外，具体而言，例如，所述切取处理部基于评价的所述程度与拍摄图像上的所述跟踪目标的大小来设定所述切取区域的大小。
另外，具体而言，例如，所述跟踪评价部接受形成所述拍摄图像列的拍摄图像作为被运算图像，将所述被运算图像的整体区域划分为出现所述跟踪目标的跟踪目标区域和所述跟踪目标区域以外的背景区域，并且根据所述跟踪目标区域的图像特征与所述背景区域的图像特征的对比来评价所述程度。
本发明的第2摄像装置的特征在于，具有：摄像元件，其通过依次拍摄来输出表示拍摄图像列的信号；跟踪处理部，其基于所述摄像元件的输出信号依次检测所述拍摄图像列上的跟踪目标的位置，从而在所述拍摄图像列上跟踪所述跟踪目标；视角调整部，其调整拍摄中的视角；和跟踪评价部，其根据所述摄像元件的输出信号，评价基于所述跟踪处理部的跟踪的可靠性或容易性的程度；所述视角调整部根据评价出的所述程度改变所述视角。
即，具体而言，例如，所述视角调整部按照在所述程度被评价为较高时使拍摄图像上的所述跟踪目标的大小较大，并且在所述程度被评价为较低时使拍摄图像上的所述跟踪目标的大小较小的方式，根据所述程度调整所述视角。
另外，具体而言，例如，所述视角调整部基于评价的所述程度与拍摄图像上的所述跟踪目标的大小来设定所述视角。
另外，具体而言，例如，所述跟踪评价部接受形成所述拍摄图像列的拍摄图像作为被运算图像，将所述被运算图像的整体区域划分为出现所述跟踪目标的跟踪目标区域和所述跟踪目标区域以外的背景区域，并且根据所述跟踪目标区域的图像特征与所述背景区域的图像特征的对比来评价所述程度。
本发明的第1图像再生装置是一种将切取图像列的图像信号向显示部或向外部输出的装置，其特征在于，具有：图像获取部，其从记录部读取通过对拍摄目标进行依次拍摄而得到的图像信号，从而获得基于所述图像信号的输入图像列；跟踪处理部，其基于所述输入图像列的图像信号依次检测所述输入图像列上的跟踪目标的位置，从而在所述输入图像列上跟踪所述跟踪目标；切取处理部，其按每个输入图像基于检测出的所述位置在所述输入图像内设定切取区域，并提取所述切取区域内的图像作为切取图像；和跟踪评价部，其根据所述输入图像列的图像信息，评价基于所述跟踪处理部的跟踪的可靠性或容易性的程度；所述切取处理部根据评价出的所述程度改变所述切取区域的大小。
本发明的第3摄像装置的特征在于，具有：摄像元件，其通过依次拍摄来输出表示拍摄图像列的信号；跟踪处理部，其基于所述摄像元件的输出信号依次检测所述拍摄图像列上的跟踪目标的位置，从而在所述拍摄图像列上跟踪所述跟踪目标；区域设定部，其基于检测出的所述位置在各拍摄图像内设定评价值收集区域；获取条件控制部，其基于各拍摄图像的所述评价值收集区域内的图像信号，控制所述拍摄图像列的获取条件；和跟踪评价部，其根据所述摄像元件的输出信号，评价基于所述跟踪处理部的跟踪的可靠性或容易性的程度；所述区域设定部根据评价出的所述程度改变所述评价值收集区域的大小。
本发明的第2图像再生装置的其特征在于，具有：图像获取部，其从记录部读取通过对拍摄目标进行依次拍摄而得到的图像信号，从而获得基于所述图像信号的输入图像列；跟踪处理部，其基于所述输入图像列的图像信号依次检测所述输入图像列上的跟踪目标的位置，从而在所述输入图像列上跟踪所述跟踪目标；区域设定部，其基于检测出的所述位置在各输入图像内设定评价值收集区域；输出图像生成部，其生成基于各输入图像的所述评价值收集区域内的图像信号对所述输入图像列进行加工后的输出图像列；和跟踪评价部，其根据所述输入图像列的图像信息，评价基于所述跟踪处理部的跟踪的可靠性或容易性的程度；该图像再生装置将所述输出图像列的图像信号向显示部或向外部输出的装置，所述区域设定部根据评价出的所述程度改变所述评价值收集区域的大小。
另外，例如，在上述摄像装置或图像再生装置中，所述跟踪评价部也可基于所述拍摄图像或所述输入图像上的跟踪目标的大小来评价所述程度。
另外，例如，在上述摄像装置或图像再生装置中，所述跟踪评价部也可基于所述拍摄图像或所述输入图像上的跟踪目标的位置来评价所述程度。
另外，例如，在上述摄像装置或图像再生装置中，所述跟踪评价部还可基于所述拍摄图像列或所述输入图像列上的跟踪目标的运动来评价所述程度。
另外，例如，在上述摄像装置或图像再生装置中，所述跟踪评价部也可基于所述拍摄图像列或所述输入图像列上的跟踪目标的图像特征的变化量来评价所述程度。
另外，例如，在上述摄像装置或图像再生装置中，所述跟踪评价部可从所述拍摄图像或所述输入图像上的所述跟踪目标的图像特征与所述跟踪目标周边的图像特征之间的对比中评价所述程度。
另外，例如，在上述摄像装置或图像再生装置中，所述跟踪评价部也可基于所述拍摄图像或所述输入图像上的所述跟踪目标的周边的亮度来评价所述程度。
另外，例如，在上述摄像装置或图像再生装置中，所述跟踪评价部还可基于针对所述跟踪目标的光源色温的推定结果来评价所述程度。
另外，例如，在上述摄像装置或图像再生装置中，所述跟踪评价部也可基于所述拍摄图像或所述输入图像中包含的噪声的大小来评价所述程度。
本发明的意义或效果将通过以下的实施方式的说明变得更加明确。但是，以下的实施方式始终只是本发明的一个实施方式，本发明或各结构要素的用语意义并不仅限于以下的实施方式公开的内容。
附图说明
图1是本发明的第1实施方式的摄像装置的整体模块图。
图2是图1的摄像部的内部结构图。
图3是图1的摄像装置的外观立体图。
图4是本发明的第1实施方式中设置在摄像装置内的特别是有关拍照对象跟踪功能的部件的模块图。
图5是表示本发明的第1实施方式的拍摄模式中摄像装置的动作的流程的流程图。
图6是表示本发明的第1实施方式中在跟踪处理中参照的初始设定用帧图像的一例的图。
图7是表示本发明的第1实施方式中作为帧图像的被运算图像被划分为多个小块的情况的图。
图8是用于说明由图4的跟踪可靠度评价部执行的跟踪可靠度的评价方法的图，在作为帧图像的被运算图像上叠加了跟踪目标的中心等的图。
图9(a)～(c)是表示本发明的第1实施方式中根据跟踪可靠度可变设定切取区域的尺寸的情况的图。
图10是表示本发明的第1实施方式中切取区域的设定方法步骤的流程图。
图11是本发明的第1实施方式中在XY坐标平面上表示图像的图。
图12(a)是表示本发明的第1实施方式的帧图像中的跟踪目标区域的图。
图12(b)是表示本发明的第1实施方式的帧图像中的切取区域的图。
图13是表示本发明的第1实施方式中暂时设定的切取区域从帧图像突出的情况的图。
图14是表示本发明的第1实施方式中按时间序列排列的帧图像列及从这些图像列提取的切取图像列的图。
图15是本发明的第2实施方式中设置在摄像装置内的特别是有关拍照对象跟踪功能的部件的模块图。
图16是表示本发明的第2实施方式的拍摄模式中摄像装置的动作的流程的流程图。
图17是表示本发明的第2实施方式中变焦透镜位置、视角、光学变焦倍率之间的关系的图。
图18(a)～(c)是表示本发明的第2实施方式中根据跟踪可靠度可变设定视角(拍摄视角)的情况的图。
图19是本发明的第3实施方式的摄像装置的部分模块图。
图20是本发明的第3实施方式的设置在摄像装置上的AF评价值计算部的内部模块图。
图21是本发明的第3实施方式的帧图像中设置的AF评价区域内包括多个小块的情况的图。
图22是表示本发明的第3实施方式的有关拍摄模式的摄像装置的动作的流程的流程图。
图23是本发明的第4实施方式的摄像装置的部分模块图。
图24是表示本发明的第4实施方式中在图像再生动作时执行的处理的步骤的流程图。
图25是表示本发明的第5实施方式中两张帧图像与两图像间的光学流向的图。
图26是表示本发明的第6实施方式中被运算图像上的图像中心与跟踪目标的中心的图。
图27是表示本发明的第6实施方式中按时间序列排列的帧图像列和帧图像间的运动矢量的图。
图28是表示本发明的第6实施方式的跟踪目标的周边亮度级与可靠度评价值之间的关系的图。
图29是表示本发明的第6实施方式中按每一个跟踪目标帧图像推定的色温分布的图。
图30(a)和(b)是表示在现有技术中分别在跟踪的可靠度或容易度比较高和比较低时假设的切取区域的设定例的图。
具体实施方式
下面，参照图来具体说明本发明的实施方式。被参照的各图中，在相同的部分上附加了相同的符号，且原则上省略关于相同的部分的重复说明。
(第1实施方式)
首先，对本发明的第1实施方式进行说明。图1是第1实施方式的摄像装置的整体模块图。摄像装置1是能够拍摄和记录静态图像及运动图像的数码摄像机。
摄像装置1具有：摄像部11、AFE(Analog Front End)12、主控制部13、内部存储器14、显示部15、记录介质16、操作部17。
图2表示摄像部11的内部结构图。摄像部11具有光学系统35、光圈32、由CCD(Charge Coupled Devices)或CMOS(Complementary MetalOxide Semiconductor)图像传感器构成的摄像元件(固体摄像元件)33、用于驱动控制光学系统35或光圈32的驱动器34。光学系统35由包括变焦透镜30和聚焦透镜31的多个透镜形成。变焦透镜30和聚焦透镜31能在光轴方向上移动。驱动器34通过基于来自主控制部13的控制信号，对变焦透镜30和聚焦透镜31的各位置以及光圈32的开度进行驱动控制，从而控制摄像部11的焦距(视角)和焦点位置以及入射到摄像元件33的入射光量。
摄像元件33对通过光学系统35及光圈32入射的表示拍照对象的光学像进行光电变换，且向AFE12输出通过该光电变换获得的电信号。更具体而言，摄像元件33具有矩阵状二维排列的多个受光像素，在各拍摄中各受光像素蓄积与曝光时间相应的电荷量的信号电荷。具有与所蓄积的信号电荷的电荷量成比例的大小的来自各受光像素的模拟信号随着在摄像装置1内生成的驱动脉冲而依次向AFE12输出。曝光时间的长度由主控制部13控制。
AFE12放大从摄像部11(摄像元件33)输出的模拟信号，并将被放大的模拟信号变换为数字信号。AFE12将该数字信号依次向主控制部13输出。AFE12的信号放大的放大率由主控制部13控制。
主控制部13具有CPU(Central Processing Unit)、ROM(Read OnlyMemory)及RAM(Random Access Memory)等，起到影像信号处理部的作用。主控制部13基于AFE12的输出信号生成表示由摄像部11拍摄的图像的影像信号。另外主控制部13还具有作为控制显示部15的显示内容的显示控制部的功能，并对显示部15进行显示上必要的控制。
内部存储器1 4由SDRAM(Synchronous Dynamic Random AccessMemory)等形成，暂时存储摄像装置1内生成的各种数据。显示部15是由液晶显示面板等构成的显示装置，在主控制部13的控制下，显示拍摄的图像或存储在记录介质16上的图像等。记录介质16是SD(SecureDigital)存储卡等非易失性存储器，在基于主控制部13的控制下，存储拍摄的图像等。
操作部17接受来自外部的操作。对操作部17的操作内容传达到主控制部13。操作部17中具有用于指示静态图像的拍摄及记录的快门按钮(未图示)、用于指示运动图像的拍摄及记录的录像按钮(未图示)等。
摄像装置1的动作模式包括：能够拍摄静态图像或运动图像的拍摄模式、能够在显示部15上再生存储于记录介质16中的静态图像或运动图像的再生模式。在拍摄模式下，以规定的帧周期依次进行拍摄并从摄像元件33获取拍摄图像列。构成该拍摄图像列的各图像称为“帧图像”。图像列(例如拍摄图像列)意味着按时间序列排列的多个图像。能够将帧图像列作为运动图像显示在显示部15的显示画面上。
图3表示从拍摄者一侧看到的摄像装置1的外观立体图。图3中还图示了作为拍照对象的人。拍摄者通过确认显示在显示部15的显示画面上的拍照对象的模样，能够确认摄像装置1的拍摄范围。
摄像装置1具有利用图像处理的拍照对象跟踪功能，在实现该拍照对象跟踪功能时进行特征动作。通过对操作部17实施规定操作使得拍照对象跟踪功能变为有效。以下所示的动作只要未做特别限定，就是拍照对象跟踪功能变为有效时的摄像装置1的动作(对后述的其它实施方式也相同)。此外，将表示图像的数据称为图像数据。某帧图像的图像数据表示该帧图像的光学像，且由AFE12的输出信号生成。也能将图像数据换称为图像信号。另外，也有称作表示图像数据的信号与影像信号的时候，图像数据与影像信号是等效的。
图4是摄像装置1内的特别是与拍照对象跟踪功能有关的部件的模块图。图4中，由符号51～54表示的各部件设置在图1的主控制部13内。形成帧图像列的各帧图像的图像数据依次分配给跟踪处理部51、跟踪可靠度评价部52及切取处理部53。
跟踪处理部51通过基于帧图像列的图像数据依次检测各帧图像内的特定拍照对象的位置，由此跟踪帧图像列中的特定拍照对象的位置。下面将应跟踪的特定拍照对象称为“跟踪目标”。考虑跟踪目标为人的情况。
跟踪处理部51还具有作为脸部检测部(未图示)的功能，基于帧图像的图像数据从帧图像中检测人的脸部，并提取包括检测出的脸部的脸部区域。实现该功能的处理称为脸部检测处理。作为检测包括在图像中的脸部的方法公知有各种各样的方法，跟踪处理部51能够采用任何一种方法。例如，如特开2000-105819号公报公开的方法，可以通过从帧图像提取肤色区域来检测脸部(脸部区域)，也可以利用特开2006-211139号公报或特开2006-72770号公报公开的方法来检测脸部(脸部区域)。
跟踪可靠度评价部52基于帧图像列的图像数据评价基于跟踪处理部51的跟踪的可靠度(跟踪的可靠性的程度)或跟踪的容易度(跟踪的容易性的程度)。跟踪的可靠度与跟踪的容易度具有相同的意义或类似的意义。严密地说，跟踪的可靠度解释为一种表示过去执行的跟踪有多可靠的指标，跟踪的容易度解释为一种表示从现在开始要执行的跟踪有多容易的指标。跟踪的容易度越高跟踪的可靠度也变得越高，跟踪的容易度越低跟踪的可靠度也变得越低。在以下的说明中，为了简化叙述，认为“跟踪处理部51评价的是跟踪的可靠度”，也能将跟踪的可靠度换称为跟踪的容易度。另外，跟踪的可靠度与跟踪的容易度指同样的指标。
切取处理部53基于由跟踪处理部51进行的跟踪处理的结果和由跟踪可靠度评价部52进行的跟踪可靠度的评价结果，在帧图像内设定切取区域，该切取区域包括具有与跟踪目标对应的图像数据的跟踪目标区域，从帧图像切取该切取区域内的图像。将切取出的切取区域内的图像称为“切取图像”。切取区域比帧图像的整体区域要小，并且切取图像相当于帧图像的部分图像。因此，切取图像的图像尺寸(水平方向及垂直方向的像素数)比帧图像的图像尺寸要小。由切取处理部53生成的切取图像的图像数据依次分配给分辨率变换部54。
分辨率变换部54执行用于提高切取图像的分辨率的图像处理(以下，称为分辨率提高处理)。例如，通过线性插值等插值处理或者通过超清晰处理来提高切取图像的分辨率。特别将分辨率提高后的切取图像称为输出图像。分辨率变换部54生成和输出上述输出图像的图像数据。
(拍摄时的动作)
参照图5对实现拍照对象跟踪功能时的摄像装置1的操作进行更详细的说明。图5是表示在拍摄模式中摄像装置1的动作的流程的流程图。在摄像模式下，拍照对象跟踪功能变为有效时，图4的跟踪处理部51对依次输入的帧图像进行脸部检测处理。依次输入的帧图像在显示部15上更新显示。主控制部13一方面确认是否从当前的帧图像中检测到了脸部(步骤S11)，另一方面确认是否对操作部17进行了规定的跟踪开始指示操作(步骤S12)，当检测到了脸部且对操作部17进行了规定的跟踪开始指示操作时，过渡到步骤S13执行步骤S13的处理。
在步骤S13中，跟踪处理部51将在步骤S13之前获得的检测出了脸部的帧图像作为初始设定用帧图像来获取，基于初始设定用帧图像的图像数据设定跟踪目标和跟踪颜色。
参照图6来说明跟踪目标和跟踪颜色的设定方法。图6的图像201表示初始设定用帧图像的一例。在图6中，虚线矩形区域211是通过脸部检测处理从初始设定用帧图像201提取的脸部区域。跟踪处理部51将具有脸部区域211中包含的脸部的人作为跟踪目标来设定。提取脸部区域211后，跟踪处理部51检测作为包括与该脸部区域211对应的人的身体部位的区域的身体区域212。身体区域212是在脸部区域211的下方侧(从眉间朝向嘴部的方向侧)的矩形区域。在初始设定用帧图像中依赖于脸部区域211的位置及大小来决定身体区域212的位置及大小。
其次，跟踪处理部51基于身体区域212内图像的图像数据特定身体区域212内的颜色，将特定的颜色作为跟踪颜色来设定。例如，基于形成身体区域212内图像的各像素的颜色信号(例如，RGB信号)生成身体区域212内图像的颜色直方图。然后，基于该颜色直方图求出身体区域212内图像的支配颜色或最频繁颜色，将该求出的颜色作为跟踪颜色来设定。某一图像的支配颜色是指占据该图像的图像区域的大部分的颜色，某一图像的最频繁颜色是指该图像的颜色直方图中具有最高度数的颜色(支配颜色与最频繁颜色是相同的存在)。或者，也可以通过平均化形成身体区域212内图像的各像素的颜色信号来求出身体区域212内图像的平均颜色，并将该平均颜色作为跟踪颜色来设定。
此外，在步骤S13中，也可以将跟踪目标和跟踪颜色通过对操作部17的手动操作来设定。例如，用户通过对操作部17的操作来指定应成为跟踪目标的人在帧图像上的位置，由此设定跟踪目标，并通过对操作部17的操作来指定跟踪颜色，由此设定跟踪颜色。
在步骤S13中设定跟踪目标和跟踪颜色之后，反复执行由步骤S21～S25构成的循环处理，在该循环处理中，跟踪处理部51对设定跟踪目标和跟踪颜色之后获得的帧图像列执行跟踪处理。特别将形成应实施该跟踪处理的图像列的各帧图像称为跟踪目标帧图像。跟踪处理部51基于跟踪目标帧图像列的图像数据，检测各跟踪目标帧图像中的跟踪目标的位置及大小。
跟踪处理部51基于跟踪目标具有的颜色信息进行跟踪处理。基于颜色信息的跟踪处理的方法能够使用特开平5-284411号公报、特开2000-48211号公报、特开2001-169169号公报等公开的方法。在上述的例子中，根据如上述设定的跟踪颜色表现跟踪目标具有的颜色信息。因此，跟踪处理部51基于跟踪目标帧图像的颜色信号从跟踪目标帧图像提取具有与跟踪颜色的类似性高的颜色的区域。这里，提取的区域可看作在跟踪目标帧图像内的跟踪目标的身体区域。
更具体而言，例如，在关注的跟踪目标帧图像内，设定具有与跟踪目标的身体区域大小同等大小的跟踪框，在搜索范围内依次改变跟踪框的位置，同时执行跟踪框内的图像颜色与跟踪颜色之间的类似性评价，在获得最大的类似性的跟踪框的位置上判断存在跟踪目标的身体区域。当前的对跟踪目标帧图像的搜索范围以前一次的跟踪目标帧图像中的跟踪目标的位置为基准而设定。通常，该搜索范围是以前一次的跟踪目标帧图像中的跟踪目标的位置为中心的矩形区域，搜索范围的尺寸(图像尺寸)比帧图像的整体区域的尺寸小。
跟踪处理部51通过对不断输入的跟踪目标帧图像执行基于上述的颜色信息的跟踪处理，从而检测出各跟踪目标帧图像的跟踪目标的位置。例如，跟踪目标的位置由该跟踪目标的身体区域的中心坐标值表现。
另外，跟踪目标帧图像上的跟踪目标的大小因跟踪目标与摄像装置1之间的实际空间上的距离变化等而变化。因此，需要根据跟踪目标帧图像上的跟踪目标的大小来适当改变上述的跟踪框的大小，该改变通过在公知的跟踪算法中使用的拍照对象尺寸检测方法来实现。例如，在跟踪目标帧图像中，若假设离预测存在跟踪目标的身体的点充分远的点上出现背景，则跟踪处理部51根据两点的图像特征来分类出两点间的各位置的像素属于背景还是跟踪目标。图像特征包括亮度信息和颜色信息。由该分类推定跟踪目标的轮廓。然后，从该轮廓推定跟踪目标的大小，并根据该推定的大小设定跟踪框的大小。
设定跟踪框的大小与检测出跟踪目标帧图像中的跟踪目标的身体区域的大小是相同的。另外，由于跟踪目标的大小与身体区域的大小成比例，因此检测出身体区域的大小的同时跟踪目标的大小也被确定。因此，跟踪处理部51变成检测各跟踪目标帧图像中的跟踪目标的位置和大小。包括表示检测出的位置和大小的信息(换言之，表示跟踪目标区域的位置和大小的信息)的跟踪结果信息传达到跟踪可靠度评价部52和切取处理部53(参照图4)。
跟踪处理部51基于跟踪目标的位置和大小的检测结果能够设定出现了跟踪目标的整体影像的图像区域。在帧图像的整体区域内，跟踪目标的整体影像表示的图像区域(存在表示跟踪目标的图像数据的区域)称为跟踪目标区域，跟踪目标未出现的图像区域(不存在表示跟踪目标的图像数据的区域)称为背景区域。跟踪目标区域包括跟踪目标的整体影像，且尽可能将其设定得小。
另外，作为推定跟踪目标帧图像中的跟踪目标的大小(主要拍照对象的大小)的方法，也能采用与上述的方法不同的其它的任意方法(例如，特开2004-94680号公报公开的方法或特开平9-189934号公报公开的方法)。
下面对图5所示的步骤S21～S25中执行的各处理进行说明。在步骤S13中设定了跟踪目标和跟踪颜色之后，首先执行步骤S21的处理。
在步骤S21中，从当前时间的1张帧图像的AFE12的输出信号获取当前的帧图像。这里获取的帧图像是如上所述的跟踪目标帧图像。在之后的步骤S22中，跟踪处理部51通过上述的跟踪处理来检测在步骤S21中得到的当前的帧图像中的跟踪目标的位置和大小，并且生成包括表示检测出的位置和大小的信息的跟踪结果信息，并向跟踪可靠度评价部52和切取处理部53输出跟踪结果信息。
在步骤S22之后的步骤S23中，跟踪可靠度评价部52评价当前时间的跟踪可靠度，换言之，对步骤S21的帧图像评价检测出的跟踪目标的位置(和大小)的可靠度。
下面例示该评价方法。表示已评价的可靠度的评价值称为可靠度评价值，并将其用EVR表示。能按每一个跟踪目标帧图像算出可靠度评价值。EVR取0以上100以下的值，且跟踪可靠度被评价得越高可靠度评价值EVR越大。
跟踪可靠度评价部52将在步骤S21中获取的跟踪目标帧图像作为被运算图像来处理。然后，如图7所示，通过在水平方向和垂直方向上将被运算图像的整体区域分割成多块，从而在被运算图像内设定多个小块。现在，将水平方向和垂直方向的分割数分别设为M和N(M和N是2以上的整数)。各小块由二维排列的多个像素形成。另外，作为表示被运算图像内的小块的水平位置和垂直位置的记号，引用m和n(m是满足1≤m≤M的整数值，且n是满足1≤n≤N的整数值)。m和n设定为：m变得越大其水平位置就越朝向右方，n变得越大其垂直位置就越朝向下方。水平位置为m、垂直位置为n的小块表示为小块[m，n]。
跟踪可靠度评价部52基于跟踪结果信息辨别被运算图像中的跟踪目标的身体区域的中心，特定其中心的位置属于哪一个小块。图8的点250表示该中心。现在假设该中心250属于小块[mO，nO](mO是满足1≤m≤M的整数值，且nO是满足1≤n≤N的整数值)。另外，通过利用上述的拍照对象尺寸检测方法，将各小块分类为表示跟踪目标的图像数据的小块或表示背景的图像数据的小块。前者小块称为拍照对象块，后者小块称为背景块。图8形象化地表示了将出现在中心250周边的跟踪目标的颜色与背景颜色相异的情况。
可将所有拍照对象块合成后的区域作为跟踪目标区域，将所有背景块合成后的区域作为背景区域。
跟踪可靠度评价部52按每一个背景块算出表示设定的跟踪颜色与背景块内的图像的颜色之间的差的色差评价值。假设有Q个背景块，且分别用CDIS[1]～CDIS[Q]来表示对第1～第Q背景块算出的色差评价值(Q是满足不等式“2≤Q≤(M×N)-1”的整数)。例如，计算色差评价值CDIS[1]时，通过平均化属于第1背景块的各像素的颜色信号(例如，RGB信号)求出第1背景块内的像素的平均颜色，并检测该平均颜色在RGB色空间上的位置。另一方面，还检测对跟踪目标设定的跟踪颜色在RGB色空间上的位置，将RGB色空间上的两位置间的距离作为色差评价值CDIS[1]来计算。由此，对比的颜色的差异增大时色差评价值CDIS[1]会增大。另外，归一化RGB色空间，使色差评价值CDIS[1]的取值范围在0以上1以下。其它的色差评价值CDIS[2]～CDIS[Q]也由同样的方法计算。另外，用于求出色差评价值的色空间也可以是RGB色空间以外(例如，HSV色空间)的空间。对于某一个关注的图像区域，该图像区域内的颜色在色空间上的位置也可以说成是一种表示该图像区域内的图像的特征的量(图像特征量)。
而且，跟踪可靠度评价部52按每一个背景块算出表示中心250与背景块之间在被运算图像上的空间位置之差的位置差评价值。分别用PDIS[1]～PDIS[Q]表示对第1～第Q背景块算出的位置差评价值。对某背景块的位置差评价值是中心250与该背景块的4个顶点内相对于中心250最近的顶点之间的距离。小块[1，1]为第1背景块，并且1＜mO且1＜nO，如图8所示，小块[1，1]的4个顶点内顶点25 1离中心250最近时，位置差评价值PDIS[1]是中心250与顶点251之间在被运算图像上的空间距离。归一化被运算图像的空间区域，使位置差评价值PDIS[1]的取值范围在0以上1以下。其它的位置差评价值PDIS[2]～PDIS[Q]也由同样的方法计算。
跟踪可靠度评价部52，基于如上所述地求出的色差评价值及位置差评价值，由下式(1)算出对关注的被运算图像的合并距离CPDIS。然后，利用该合并距离CPDIS，由下式(2)算出对关注的被运算图像的可靠度评价值EVR。即，“CPDIS＞100”时使“EVR＝0”，“CPDIS≤100”时使“EVR＝100-CPDIS”。由该计算方法了解到跟踪目标附近存在与跟踪颜色同色或类似色的背景，则可靠度评价值EVR就会降低。
CP DIS = Σ i = 1 Q ( 1 - C DIS ( i ) ) × ( 1 - P DIS ( i ) ) . . . ( 1 )
Figure G200910202859XD00152
在图5的步骤S23中评价了跟踪可靠度之后，执行步骤S24的处理。在步骤S24中，切取处理部53基于从跟踪处理部51输出的最新的跟踪结果信息和由跟踪可靠度评价部52评价的最新的跟踪可靠度，在步骤S21中得到的帧图像的整体区域内设定切取区域，将该切取区域内的图像作为切取图像从该帧图像切出。
此时，若帧图像上的跟踪目标的大小是一定的，则如图9(a)～(c)所示设定切取区域，使切取区域的尺寸随着跟踪可靠度变高而减小。图9(a)、(b)和(c)表示跟踪可靠度分别为第1、第2、第3可靠度时的切取区域的设定的情况。假设在第1～第3可靠度内，第1可靠度是最高的可靠度，第3可靠度是最低的可靠度。在图9(a)～(c)中，实线四角框内的图像271～273表示应设定切取区域的帧图像，虚线四角框内的图像281～283表示切取区域。各切取区域内的人是跟踪目标。由于跟踪目标具有的跟踪颜色的类似颜色位于跟踪目标的周围，因此对帧图像272和273的跟踪可靠度比帧图像271的跟踪可靠度低。
对帧图像271设定的切取区域281的尺寸小于对帧图像272设定的切取区域282的尺寸，且切取区域282的尺寸小于对帧图像273设定的切取区域283的尺寸。切取区域的尺寸是表示切取区域的大小的切取区域的图像尺寸，由属于切取区域内的像素数来表示。
参照图10来更详细地说明步骤S24的切取区域的设定方法的例子。图10是表示切取区域的设定方法步骤的流程图，由切取处理部53依次执行图10所示的步骤S31～S35的各处理。
说明图10所示的处理之前，先参照图11说明图像上的坐标值的意义等。图11是在XY坐标平面上表示了帧图像等的任意图像300的图。XY坐标平面是将相互垂直的X轴和Y轴作为坐标轴的二维坐标平面，X轴延伸的方向与图像300的水平方向平行，Y轴延伸的方向与图像300的垂直方向平行。另外，讨论图像上的物体或区域时，将该物体或区域在X轴方向上的大小(尺寸)作为物体或区域的宽度来获得，将该物体或区域在Y轴方向上的大小(尺寸)作为物体或区域的高度来获得。用(x，y)表示图像300上的关注的某点的坐标值。x和y分别表示关注的点的水平方向和垂直方向的坐标值。X轴和Y轴在原点O交叉，从原点O看，X轴的正方向是向右方向，X轴的负方向是向左方向，Y轴的正方向是向上方向，Y轴的负方向是向下方向。
对图10所示的步骤S31～S35的各处理进行说明。首先，在步骤S31中，切取处理部53利用由跟踪结果信息表示的跟踪目标的高度HA，且由式“HB＝k1×HA”算出切取高度HB。k1是预先设定的比1大的常数。在图12(a)中表示应设定切取区域的帧图像310，并且在帧图像310中由矩形区域311表示存在跟踪目标的图像数据的跟踪目标区域。在图12(b)中表示与图12(a)所示的相同的帧图像310，并且对帧图像310由矩形区域312表示应设定的切取区域。另外，在图12(a)中，由矩形区域表示了跟踪目标区域，但是跟踪目标区域的外形不仅限于矩形。
作为矩形区域311的跟踪目标区域的高度方向的大小(尺寸)为跟踪目标的高度HA，作为矩形区域312的切取区域的高度方向的大小(尺寸)为切取高度HB。另外，分别由HO和WO表示帧图像3 10的整体区域的高度方向和宽度方向的大小(尺寸)。
在步骤S31中算出的切取高度，在步骤S32中根据表示跟踪可靠度的可靠度评价值EVR来修正。修正后的切取高度由HB′表示(但是，也有不进行实质性的修正而变成HB′＝HB的情况)。具体而言，通过比较最新的可靠度评价值EVR与规定的阈值TH1、TH2来判断以下的第1～第3不等式中的哪一个不等式成立。预先设定阈值TH1和TH2，使不等式“100＞TH1＞TH2＞0”成立，例如为TH1＝95且＝TH2＝75。
并且，第1不等式“EVR≥TH1”成立时，在HB′的位置上代入HB。即，第1不等式成立时，对在步骤S31中算出的切取高度不进行修正。
第2不等式“TH1＞E VR≥TH2”成立时，由式“HB′＝HB×(1+(1-EVR/100)/2))”算出修正后的切取高度HB′。即，第2不等式成立时，增大修正切取高度。
第3不等式“TH2＞EVR”成立时，在HB′的位置上代入HBO。HBO是基于帧图像310的高度HO的常数，例如，与高度HO一致的常数或比高度HO略小的常数。第3不等式成立时，也增大修正切取高度。
在步骤S32之后的步骤S33中，利用修正后的切取高度HB′，由式“WB＝k2×HB′”算出切取宽度WB。切取宽度WB是作为矩形区域312的切取区域的宽度方向的大小(尺寸)。另外，k2是预先设定的常数(例如，k2＝16/9)。若跟踪目标区域的宽度方向的大小比起高度方向的大小并未异常地大时，将变成切取区域包含跟踪目标区域。在本例中，假设了跟踪目标为人且人的个子方向与图像的垂直方向一致的情况，不设定宽度方向的大小比起高度方向的大小异常地大的跟踪区域。
之后，在步骤S34中，切取处理部53从跟踪结果信息获取跟踪目标的中心CNA的坐标值(xA，yA)，且设定切取区域的中心CNB的坐标值(xB，yB)，使(xB，yB)＝(xA，yA)。
在该阶段设定的切取区域有可能包括从帧图像310的整体区域突出的区域。例如，有可能如图13所示，切取区域312a的部分区域位于帧图像310整体区域外且帧图像310的上方一侧。位于帧图像310整体区域外的、切取区域的部分区域称为突出区域。突出区域的突出方向的大小称为突出量。
在步骤S35中，判断是否存在突出区域。不存在突出区域时，由通过步骤S31～S34的处理设定的切取高度HB′、切取宽度WB、坐标值(xB，yB)决定的切取区域，变成在图5所示的步骤S24中应设定的最终的切取区域。
当存在突出区域时，对由通过步骤S31～S34的处理设定的切取高度HB′、切取宽度WB、坐标值(xB，yB)决定的切取区域进行切取位置调整，将切取位置调整后的切取区域作为在图5所示的步骤S24中应设定的最终的切取区域。
在切取位置调整中，修正切取区域的中心CNB的坐标值，使突出量恰好为零。例如，如图13所示，帧图像310的上方一侧上突出有切取区域312a时，将切取区域的中心CNB向下方移动与突出量相应的量。即，设突出量为Δy时，由“yB′＝yB-Δy”算出修正后的y轴坐标值yB′，将在图5所示的步骤S24中应设定的最终的切取区域的中心CNB的坐标值设为(xB，yB′)。
同样地，帧图像的下方一侧上突出有切取区域时，将切取区域的中心CNB向上方移动与突出量相应的量，帧图像的右侧上突出有切取区域时，将切取区域的中心CNB向左方向移动与突出量相应的量，帧图像的左侧上突出有切取区域时，将切取区域的中心CNB向右方向移动与突出量相应的量，将移动后的切取区域设定为最终的切取区域。
另外，通过向切取区域的下方移动，在切取区域的下方一侧再次出现切取区域的突出时，对切取区域的大小(切取高度和切取宽度)进行减少修正，使得消除该突出。在切取高度HB′比较大时易发生需要减少修正的情况。
再次参照图5。如上所述，设定切取区域，并从步骤S21中得到的帧图像生成切取图像之后，执行步骤S25的处理。在步骤S25中，分辨率变换部54通过执行用于提高切取图像分辨率的分辨率提高处理来生成输出图像(即，提高分辨率后的切取图像)。
分辨率提高处理，例如，通过利用一张帧图像的图像数据的插值处理来实现。此时，例如，应切取切取图像的帧图像的图像尺寸为1920×1080，且提高分辨率前的切取图像的图像尺寸为960×540时，通过分别在水平方向和垂直方向上将提高分辨率前的切取图像的图像尺寸扩大至2倍来生成具有1920×1080的图像尺寸的切取图像(即，提高分辨率后的切取图像)。通过利用插值处理的分辨率变换来实现图像尺寸的扩大。作为插值处理的方法能利用邻近点(nearest neighbor)法、双线性法、双三次法等各种方法。
另外，也可以向经过上述的插值处理得到的提高分辨率后的切取图像(以下，称为清晰化前图像)进一步施加清晰化处理，将清晰化处理后的图像(以下，称为清晰化后图像)作为分辨率变换部54的输出图像。例如，也能够通过向清晰化前图像实施利用了边缘突出滤波器(微分滤波器等)或反锐化掩模滤波器(unsharp mask filter)的滤波来生成清晰化后图像。利用反锐化掩模滤波器的滤波称为反锐化掩蔽(unsharp masking)。在反锐化掩蔽中，平滑化清晰化前图像来生成平滑化图像之后，生成该平滑化图像与清晰化前图像之间的差分图像。然后，通过合成差分图像与清晰化前图像使该差分图像的各像素值与清晰化前图像的各像素值互相补充来生成清晰化后图像。
或者，也可以通过利用了多张帧图像的超清晰处理来实现分辨率提高处理。在超清晰处理中，参照存在位置偏移的多个低分辨率图像，基于多个低分辨率图像间的位置偏移量与多个低分辨率图像的图像数据，通过进行低分辨率图像的高清晰化生成一张高分辨率图像。分辨率变换部54能够利用公知的任意的超清晰处理。例如，能利用特开2005-197910号公报、特开2007-205号公报、特开2007-193508号公报等公开的超清晰处理方法。
例如，利用3张帧图像来进行超清晰处理时，进行如下处理。当前，每经过1帧周期的时间时，按顺序访问时刻tn-2、tn-1、tn、tn+1、tn+2、……，如图14所示，在时刻tn+i获取的帧图像称为时刻tn+i的帧图像(i为整数)。然后，用CIn+i表示从时刻tn+i的帧图像切取的切取图像。此时，利用3张切取图像CIn+i、CIn+i+1、CIn+i+2生成一张高分辨率图像。
考虑I为(-2)的情况列举具体例子。在得到切取图像CIn的时刻，参照3张切取图像CIn-2、CIn-1、CIn，将切取图像CIn-2、CIn-1、CIn分别作为第1、第2、第3观测低分辨率图像来处理并进行超清晰处理。将第1观测低分辨率图像作为基准，检测出第1与第2观测低分辨率图像之间的位置偏移量和第1与第3观测低分辨率图像之间的位置偏移量。位置偏移量是包括水平分量和垂直分量的二维量，也称为运动量或运动矢量。位置偏移量利用代表点匹配法、块匹配法、梯度法等来检测，使其具有子像素的分辨率。即，将比观测低分辨率图像内的相邻的像素的间隔短的距离作为最小检测单位来检测位置偏移量。
另一方面，作为初始的高分辨率图像，生成利用线性插值或双三次插值增大了第1观测低分辨率图像的水平和垂直方向的像素数后的图像。然后，利用检测出的上述各位置偏移量，推定构筑当前时刻的高分辨率图像的3张低分辨率图像，并更新高分辨率图像使推定的各低分辨率图像与各观测低分辨率图像之间的误差最小。最终得到的高分辨率图像相当于分辨率提高后的切取图像CIn-2。其它的切取图像也用同样的方法提高分辨率。例如，对切取图像CIn-1的分辨率的提高利用切取图像CIn-1、CIn、CIn+1来实现。
图5的步骤S25的处理结束后，回到步骤S21，反复执行由上述的步骤S21～S25构成的循环处理。
作为运动图像，在显示部15上显示通过上述循环处理的反复执行得到的、按时间序列排列的分辨率变换部54的输出图像列，并且，在将该输出图像列的图像数据记录到记录介质16中。但是，作为运动图像也能在显示部15上显示输入到切取处理部53的帧图像或从切取处理部53输出的切取图像列，而且也能在记录介质16中记录帧图像列和切取图像列的图像数据。
若将记录介质16内的图像数据读出到任意的图像再生装置，则在该图像再生装置上能够再生显示相对于跟踪目标具有良好的构图的切取图像的运动图像。特别是，若能读出分辨率提高后的切取图像的图像数据，则能够再生显示高精细的切取图线的运动图像。
进行所关注的拍照对象的运动图像拍摄时，以往为了不丢失其拍照对象，需要在摄像装置的显示画面上确认拍照对象的同时根据拍照对象的运动来操作摄像装置的拍摄方向和变焦倍率。因此，拍摄者必须集中于拍摄，很难一边与关注的拍照对象进行沟通一边进行拍摄，或一边把注意力放在其它地方一边进行拍摄。另一方面，根据本实施方式，只要以较宽的视角进行拍摄使得在拍摄区域内容纳关注的拍照对象(即，跟踪目标)，就能通过利用了跟踪处理的切取处理来依次生成包括关注的拍照对象的切取图像。因此，拍摄者只要将摄像装置朝向关注的拍照对象的方向，即便不予以关注也能得到自己期望的拍照对象的影像。而且，再生时，能够欣赏以适当的构图切取的关注的拍照对象的影像。
进行该切取处理时，如上所述，跟踪可靠度较高时将切取区域的尺寸变得较小，跟踪可靠度较低时将切取区域的尺寸变得较大。因此，对关注的拍照对象能够获得具有良好的构图的运动图像，并且跟踪可靠度较低时，能够避免关注的拍照对象没有包括在切取区域内的情况(参照图30(b))的发生。
另外，在上述的说明中，设定了摄像装置1的拍摄区域内只包括1人的情况，但是在拍摄区域内包括多个人时，作为跟踪目标选择该多人当中的1人即可。例如，从初始检测用帧图像中提取各人物的脸部区域，在显示部15的显示画面上显示明确了脸部区域的初始检测用帧图像的基础上，由用户选择应选作跟踪目标的一个人。该选择由对操作部17的操作进行。或者，也可以使显示部15作为所谓的触摸面板而起作用，通过对该触摸面板的操作进行选择。或者，进一步也可以在摄像装置1上预先登记应选作跟踪目标的人物的脸的图像。此时，摄像装置1自动搜索该登记的脸是否包括在初始检测用帧图像中，判断为登记的脸包括在初始检测用帧图像中时，作为跟踪目标选择具有该登记的脸的人。
另外，在拍摄区域内包括多个人时，也可以分别将多个人作为跟踪目标，并设定多个包括跟踪目标的跟踪目标区域。例如，在拍摄区域内包括2个人时，将每个人作为跟踪目标，个别设定显示一方的人物像的跟踪目标区域和显示另一方的人物像的跟踪目标区域。然后，对各跟踪目标区域设定切取区域，从1张帧图像提取2张切取图像，也可在记录介质16上个别存储分辨率提高前或后的各切取图像的图像数据。在图像再生时，例如，由用户选择上述的两个人当中的一人，对选择的人再生显示切取图像的运动图像即可。
(图像再生时的动作)
以上说明了关于在拍摄时执行跟踪处理、切取处理和分辨率提高处理时的操作，但是这些处理也可以在图像再生时执行。说明此时的图像再生时的摄像装置1的动作。在该图像再生动作之前，拍摄运动图像时得到的按时间序列排列的帧图像列的所有图像数据记录于记录介质16中。
在图像再生时，从记录介质16以时间序列顺序依次读出帧图像到配置到图4的跟踪处理部51、跟踪可靠度评价部52和切取处理部53的前级的图像获取部(未图示)中，将该图像数据以时间序列顺序分配给跟踪处理部51、跟踪可靠度评价部52和切取处理部53，执行上述的图5所示的步骤S11～S13和S21～25的处理。
然后，在显示部15上作为运动图像显示通过反复执行由步骤S21～S25构成的循环处理而得到的按时间序列排列的分辨率变换部54的输出图像列即可。也能在显示部15上显示从切取处理部53输出的切取图像作为运动图像。实现图像再生动作时，摄像装置1起到图像再生装置的作用。
若进行如上所述的图像再生动作，则能够再生对于所关注的拍照对象而言具有良好的构图的运动图像，并且在跟踪可靠度较低时能够避免关注的拍照对象没有包括在再生图像内的情况的发生。
另外，上述的例子中，在设置于摄像装置1的显示部15上再生显示图像，但是也可以通过向摄像装置1的外部的显示装置(未图示)提供想要显示的图像的图像数据，在该外部的显示装置上显示分辨率提高前或后的切取图像。另外，也可以根据需要通过因特网等向利用该图像数据的外部设备(运营网站的服务器等)提供分辨率提高前或后的切取图像的图像数据。
另外，以上记载了拍摄时执行跟踪处理、切取处理和分辨率提高处理的方法以及图像再生时执行跟踪处理、切取处理和分辨率提高处理的方法，但是也可以将这些处理分为2个部分处理，并在拍摄时执行一个部分处理且在图像再生时执行另一个部分处理。
具体而言，如下所述的处理的分配方法是有效的。首先，在拍摄时，通过执行图5所示的步骤S11～S13和S21～S25的各处理，并且使图4所示的切取处理部53执行步骤S24的处理，使得在步骤S21中得到的帧图像的整个区域内设定切取区域。但是，此时不进行实际的切取处理，且向切取处理部53输出指示设定的切取区域的尺寸(大小)和位置的切取信息，将该切取信息与帧图像列的图像数据建立关联后记录到记录介质16中。进行这样的记录时，能省略图4所示的分辨率变换部54。另外，切取区域的位置应在图5所示的步骤S24中设定，并由切取区域中心CNB的坐标值规定(也参照图10)。
切取信息与图像数据的建立关联方法是任意的。例如，可以将帧图像的图像数据保存在记录于记录介质16的图像文件的主体区域中，并且将对应于该图像数据的切取信息保存在该图像文件的标题区域。基于Exif(Exchangeable image file format)的文件格式时，标题区域也称作Exif标签或Exif区域。图像文件的文件格式也能够基于任意的规格。
图像再生时，图像再生装置(例如摄像装置1)从记录介质16以时间序列的顺序依次一同读取帧图像与切取信息，并根据切取信息从帧图像列生成切取图像列，且作为运动图像再生显示生成的切取图像列。该图像再生装置上设有图4所示的分辨率变换部54时，也能够通过对根据切取信息而生成的切取图像列执行上述的分辨率提高处理，从而由分辨率变换部54生成输出图像列(分辨率提高后的切取图像列)，作为运动图像再生显示该输出图像列。
拍摄中特别要求处理的高速化和电力低消耗化，如上所述，若在图像再生时进行实际切取图像的处理和分辨率提高处理，则会减轻拍摄时的处理的负荷并实现拍摄时处理的高速化和电力低消耗化。
(第2实施方式)
下面，说明本发明的第2实施方式。第2实施方式的摄像装置的整体模块与图1所示的摄像装置相同，但是为了区别第1实施方式的摄像装置和第2实施方式的摄像装置，用符号1a来表示第2实施方式的摄像装置。摄像装置1a的摄像部11的内部结构与图2所示的结构相同，摄像装置1a的外观立体图与图3所示的立体图相同。而且，只要不产生矛盾，摄像装置1a能够实现第1实施方式的摄像装置1所实现的所用功能，并且只要不产生矛盾，第1实施方式中所记载的事项也适用于第2实施方式。
与摄像装置1同样地，摄像装置1a也具有利用图像处理的拍照对象跟踪功能。但是，为了生成具有与跟踪可靠度相应的良好的构图的图像，在摄像装置1中可变设定了切取区域的尺寸(换言之，将电子变焦中的变焦倍率设定为可变的方式)，但是在摄像装置1a中，以可变设定摄像部11的视角(换言之，光学变焦的变焦倍率)来代替上述方式。
在图15中，表示了摄像装置1a内的特别是与拍照对象跟踪功能有关的部件的模块图。在图15中，由符号51、52、63表示的各部件设置在图1的主控制部13内。形成帧图像列的各帧图像的图像数据依次分配到跟踪处理部51和跟踪可靠度评价部52。设置在摄像装置1a的跟踪处理部51和跟踪可靠度评价部52与在第1实施方式中所述的那些部件相同。
参照图16说明实现拍照对象跟踪功能时摄像装置1a的动作。图16是表示拍摄模式下的摄像装置1a的动作的流程的流程图。在拍摄模式下，拍照对象跟踪功能变为有效时，跟踪处理部51对依次输入的帧图像进行脸部检测处理。主控制部13一方面确认是否从当前的帧图像中检测到了脸部(步骤S11)，另一方面确认对操作部17是否进行了规定的跟踪开始指示操作(步骤S12)，检测出脸部且对操作部17进行了规定的跟踪开始指示操作时，过渡到步骤S13执行步骤S13的处理。
在步骤S13中，跟踪处理部51基于初始设定用帧图像的图像数据设定跟踪目标和跟踪颜色。该设定方法与在第1实施方式中所述的设定方法相同。设定跟踪目标和跟踪颜色之后，反复执行由步骤S21～S23和S34构成的循环处理，但是在该循环处理中，跟踪处理部51对设定了跟踪目标和跟踪颜色之后得到的跟踪目标帧图像列执行跟踪处理。跟踪处理的方法与在第1实施方式中所述的处理方法相同。
步骤S21～S23的各处理与在第1实施方式中所述的那些处理相同。即，在步骤S21中获取当前的帧图像(跟踪目标帧图像)，在之后的步骤S22中通过跟踪处理检测该当前的帧图像中的跟踪目标的位置和大小，并且生成包括表示检测出的位置和大小的信息的跟踪结果信息。跟踪结果信息输出到跟踪可靠度评价部52和视角调整部63。在步骤S22之后的步骤S23中，跟踪可靠度评价部52通过可靠度评价值EVR的计算评价当前时刻的跟踪可靠度。
第2实施方式中，在步骤S23中评价跟踪可靠度之后，执行步骤S34的处理。在步骤S34中，视角调整部63基于从跟踪处理部51输出的最新的跟踪结果信息和由跟踪可靠度评价部52评价的最新的跟踪可靠度调整摄像部11的视角。
视角的调整通过调整图2所示的变焦透镜30的位置来实现。变焦透镜30能够在图2所示的光学系统35内向光轴方向移动。光学系统35内的变焦透镜30的位置称作变焦透镜位置。如图17所示，随着变焦透镜位置从宽的一端朝向窄的一端，摄像部11的视角(拍摄视角)减小并且光学变焦倍率增大。宽的一端和窄的一端表示变焦透镜30的全部移动范围的两端。
假设跟踪可靠度以外的其它条件(拍照对象距离等)都一定时，在步骤S34中调整变焦透镜位置，使跟踪可靠度变得越高视角变得越小。其结果，跟踪可靠度变得越高，帧图像上的跟踪目标的大小(和跟踪目标区域的大小)就会变大。
图18(a)、(b)、(c)分别表示跟踪可靠度维持在第1、第2、第3可靠度时得到的帧图像401、402、403。假设拍摄帧图像401、402、403时，跟踪目标的拍照对象距离相同。跟踪目标的拍照对象距离指实际空间中的摄像装置1a与作为跟踪目标的人物之间的距离。
图18(a)、(b)、(c)中虚线矩形区域411、412、413分别是在帧图像401、402、403内设定的跟踪目标区域。假设在第1～第3可靠度内，第1可靠度的可靠度最高，第3可靠度的可靠度最低。由于跟踪目标具有的跟踪颜色的类似颜色位于跟踪目标周围，因此对帧图像402和403的跟踪可靠度比帧图像401的跟踪可靠度低。
拍摄帧图像401时的摄像部11的视角比拍摄帧图像402时的摄像部11的视角小，且拍摄帧图像402时的摄像部11的视角比拍摄帧图像403时的摄像部11的视角小。因此，在跟踪目标区域411～413的尺寸(图像尺寸)内，跟踪目标区域411的尺寸最大，跟踪目标区域413的尺寸最小。
如上所述，按照跟踪可靠度变得越高帧图像上的跟踪目标的大小(和跟踪目标区域的大小)增大的方式调整摄像部11的视角。图18(a)～(c)所示的例子的情况下，基于跟踪结果信息和跟踪可靠度调整视角，使跟踪可靠度为第1跟踪可靠度时，帧图像上的跟踪目标的大小(或跟踪目标区域411的大小)变成第1大小，并且跟踪可靠度为第2跟踪可靠度时，帧图像上的跟踪目标的大小(或跟踪目标区域412的大小)变成第2大小，并且跟踪可靠度为第3跟踪可靠度时，帧图像上的跟踪目标的大小(或跟踪目标区域413的大小)变成第3大小。这里，在第1～第3大小内，第1大小最大，第3大小最小。
能够由包含在跟踪结果信息的跟踪目标的大小信息决定应如何调整视角。例如，在步骤S23中评价的跟踪可靠度为第1可靠性且在步骤S21中得到的帧图像上的跟踪目标的大小为第2大小时，按照使下次以后得到的帧图像上的跟踪目标的大小变成第1大小方式的方式调整视角，其调整量为相当于第1大小与第2大小之差的那部分。视角调整部63能够参照预先设定的查找表等来决定相当于该第1大小与第2大小之差的视角调整量。
另外，在跟踪目标位于拍摄区域的端部，且缩小视角有可能会引起跟踪目标的一部分或全部在拍摄区域之外时，禁止视角的减小。
在步骤S34的处理之后回到步骤S21，反复执行由上述的步骤S21～S23和S34构成的循环处理。在显示部15上作为运动图像显示通过上述循环处理的反复执行得到的按时间序列排列的帧图像列，并且将该帧图像列的图像数据记录到记录介质16上。只要将记录介质16内的图像数据读取到任意的图像再生装置，就能够在该图像再生装置中再生显示对跟踪目标具有良好的构图的运动图像。
如本实施方式所述，只要根据跟踪可靠度调整视角，就能够获得相对于关注的拍照对象具有良好的构图的运动图像，并且跟踪可靠度较低时，能够避免关注的拍照对象没有包括在拍摄区域内的情况的发生。
(第3实施方式)
下面，说明本发明的第3实施方式。第3实施方式的摄像装置的整体模块图与图1所示的摄像装置相同，但是为了区别第1实施方式的摄像装置和第3实施方式的摄像装置，用符号1b来表示第3实施方式的摄像装置。摄像装置1b的摄像部11的内部结构与图2所示的结构相同，摄像装置1b的外观立体图与图3所示的立体图相同。而且，只要不产生矛盾，摄像装置1b能够实现第1或第2实施方式的摄像装置所实现的所有功能，并且只要不产生矛盾，第1或第2实施方式中所记载的事项也适用于第3实施方式。
图19表示了与第3实施方式的特征动作有关的摄像装置1b的部分模块图。图19所示的跟踪处理部51、跟踪可靠度评价部52和评价区域设定部73设置在图1所示的主控制部13内。形成帧图像列的各帧图像的图像数据依次分配到跟踪处理部51和跟踪可靠度评价部52。设置在摄像装置1b的跟踪处理部51和跟踪可靠度评价部52与在第1实施方式中所述的那些部件相同。由跟踪处理部51生成的跟踪结果信息分配到跟踪可靠度评价部52和评价区域设定部73，由跟踪可靠度评价部52产生的跟踪可靠度的评价结果分配到评价区域设定部73。
包括摄像装置1b的本发明的摄像装置在拍摄模式中能够执行基于图像数据的自动聚焦控制(以下，称作AF控制)。
在AF控制中，基于在帧图像内设定的AF评价区域内的图像数据算出AF评价值，并按照使AF评价值取最大值(严格地说是极大值)的方式利用所谓的登山控制来控制图2所示的聚焦透镜31的位置。因此，能够在对焦于出现在AF评价区域内的拍照对象的状态下进行帧图像列(即，运动图像)的拍摄。
摄像装置1b执行跟踪处理并以帧图像上的跟踪目标的位置为基准设定AF评价区域的位置，并且根据跟踪可靠度可变设定AF评价区域的尺寸(图像尺寸)。关于AF控制，下面更具体说明该方法。
首先，说明用于导出AF评价值的AF评价值计算部80。图20是AF评价值计算部80的内部模块图。AF评价值计算部80设置在图1所示的主控制部13内。AF评价值计算部80将帧图像作为被运算图像来处理，如参照图7的说明，通过在水平方向和垂直方向分割帧图像的整体区域，在帧图像的整体区域上设定(M×N)个小块。
AF评价值计算部80具有提取部81、HPF(高通滤波器)82、累计部83，按每一个帧图像计算一个AF评价值。提取部81中分配有帧图像的影像信号。提取部81从该影像信号中提取亮度信号。HPF82只提取由提取部81提取的亮度信号中的规定的高频分量。例如，由具有规定的滤波器尺寸的拉普拉斯滤波器形成HPF82，进行将该拉普拉斯滤波器作用于帧图像的各像素的空间滤波。从而，从HPF82依次得到与该拉普拉斯滤波器相应的滤波器特性的输出值。累计部83累计由HPF82提取的高频分量的大小(即，HPF82的输出值的绝对值)。该累计按每一个小块个别进行，将某一小块内的高频分量的大小的累计值作为该小块的模块AF值。
另一方面，从图19的评价区域设定部73向AF评价值计算部80提供规定AF评价区域的位置和大小的AF评价区域信息。累计部83根据属于根据AF评价区域信息的AF评价区域的小块的模块AF值算出AF评价值。属于AF评价区域的小块为1个时，将该小块的模块AF值本身作为AF评价值来输出，如图21所示，属于AF评价区域的小块为多个时，将该多个小块的模块AF值的平均值作为AF评价值来输出。
参照图22来说明利用跟踪可靠度评价结果的AF评价区域的设定方法。图22是表示在拍摄模式下的摄像装置1b的动作的流程的流程图。在拍摄模式下，拍照对象跟踪功能变为有效时，跟踪处理部51对依次输入的帧图像进行脸部检测处理。主控制部13一方面确认是否从当前的帧图像检测到了脸部(步骤S11)，另一方面确认对操作部17是否进行了规定的跟踪开始指示操作(步骤S12)，检测出脸部且对操作部17进行了规定的跟踪开始指示操作时，过渡到步骤S13执行步骤S13的处理。
在步骤S13中，跟踪处理部51基于初始设定用帧图像的图像数据设定跟踪目标和跟踪颜色。该设定方法与在第1实施方式中所述的设定方法相同。设定跟踪目标和跟踪颜色之后，反复执行由步骤S21～S23和S44构成的循环处理，但是在该循环处理中，跟踪处理部51对设定了跟踪目标和跟踪颜色之后得到的跟踪目标帧图像列执行跟踪处理。跟踪处理的方法与在第1实施方式中所述的处理方法相同。
步骤S21～S23的各处理与在第1实施方式中所述的那些处理相同。即，在步骤S21中获取当前的帧图像(跟踪目标帧图像)，在之后的步骤S22中通过跟踪处理检测该当前的帧图像中的跟踪目标的位置和大小，并且生成包括表示检测出的位置和大小的信息的跟踪结果信息。跟踪结果信息输出到跟踪可靠度评价部52和评价区域设定部73。在步骤S22之后的步骤S23中，跟踪可靠度评价部52通过可靠度评价值EVR的计算评价当前时刻的跟踪可靠度。
第3实施方式中，在步骤S23中评价了跟踪可靠度之后，执行步骤S44的处理。在步骤S44中，评价区域设定部73基于从跟踪处理部51输出的最新的跟踪结果信息和由跟踪可靠度评价部52评价的最新的跟踪可靠度设定AF评价区域。该AF评价区域对当前得到的最新的帧图像或在之后得到的帧图像进行设定。
AF评价区域的中心位置与在步骤S21中得到的最新的帧图像的跟踪目标区域的中心位置相同。另一方面，基于在跟踪结果信息中规定的跟踪目标的大小使跟踪目标区域包含在AF评价区域之中，并且根据跟踪可靠度可变设定AF评价区域的尺寸。与跟踪可靠度相应的AF评价区域的尺寸的设定方法与在第1实施方式中所述的与跟踪可靠度相应的切取区域的尺寸的设定方法相同，关于该设定方法的第1实施方式的技术也适用于本实施方式。适用该设定方法时，只要将第1实施方式的说明中的切取区域代替为AF评价区域即可。即，例如，在帧图像上的跟踪目标的大小一定时，设定AF评价区域的尺寸，使随着跟踪可靠度变高而AF评价区域的尺寸变小。实际上，按照参照图10说明的方法，只要根据基于跟踪结果信息的跟踪目标的大小和跟踪可靠度(EVR)，设定AF评价区域的位置和大小即可。
包括摄像装置1b的本发明的摄像装置在拍摄模式下，也能够执行基于图像数据的自动光圈控制(以下，称为AE控制)和自动白平衡(whitebalance)控制(以下，称为AWB控制)，对AE控制和AWB控制也能适用对AF控制所述的可变设定评价区域的方法。
在AE控制中，将根据图2所示的光圈32的开度决定的光圈值、AFE12(参照图1)中的信号放大的放大幅度和帧图像拍摄时的曝光时间的长度作为3个AE控制对象来处理。而且，由设定在帧图像内的AE评价区域内的图像数据算出AE评价值，且在帧图像列内，通过控制3个AE控制对象内的1个以上使AE评价值保持在规定的值或该值附近，从而将AE评价区域内的图像的亮度(亮度等级)保持在期望的亮度上。
摄像装置1b内的AE评价值计算部(未图示)按每一个帧图像算出1个AE评价值。AE评价值为属于AE评价区域内的像素的亮度值的平均值。另外，亮度值意味着亮度信号的值，亮度值越大，则具有该亮度值的像素的亮度就越高。
在AWB控制中，根据设定在帧图像内的AWB评价区域内的图像数据算出AWB评价值，并基于AWB评价值调整帧图像整体的白平衡，使AWB评价区域内的白平衡变成期望的白平衡。AWB控制，例如在生成帧图像的图像数据的过程中，通过对摄像元件33的红色受光像素的输出信号值、绿色受光像素的输出信号值或蓝色受光像素的输出信号值或者这些信号值中的2个以上乘以与AWB评价值相应的AWB系数来实现。
摄像装置1b内的AWB评价值计算部(未图示)按每一个帧图像算出1个AWB评价值。图2所示的摄像元件33是单板式摄像元件，摄像元件33的各受光像素前面排列有滤色器。滤色器中具有只透过光的红色分量的红滤色器、只透过光的绿色分量的绿滤色器、只透过光的蓝色分量的蓝滤色器。滤色器的排列，例如是贝叶(ベイヤ一)排列。前面排列有红滤色器、绿滤色器、蓝滤色器的受光像素分别称作红色受光像素、绿色受光像素、蓝色受光像素。红色受光像素、绿色受光像素、蓝色受光像素分别只与光学系统35的入射光的红色分量、绿色分量、蓝色分量反应。
因为帧图像由摄像元件33的各感光图像的输出信号表示，因此假设在摄像元件33的摄像面上也设定AWB评价区域。AWB评价值计算部将属于AWB评价区域的各红色受光像素的输出信号值的平均值作为红色评价值来计算，将属于AWB评价区域的各绿色受光像素的输出信号值的平均值作为绿色评价值来计算，且将属于AWB评价区域的各蓝色受光像素的输出信号值的平均值作为蓝色评价值来计算。AWB评价值由红色评价值、绿色评价值、蓝色评价值构成。
另外，执行AF控制时应调整的相机控制参数中包括聚焦透镜31的位置，且执行AF控制时应调整的相机控制参数中包括AFE12的信号放大的放大幅度和/或拍摄帧图像时的曝光时间的长度，且执行AF控制时应调整的相机控制参数中包括上述AWB系数。为了获得依赖于相机控制参数的运动图像，根据相机控制参数规定运动图像的获取条件。即，在执行AF、AE或AWB控制时，基于AF、AE或AWB评价区域(评价值收集区域)内的图像数据控制运动图像的获取条件，例如，该控制由主控制部13内的获取条件控制部(未图示)来执行。
在AE控制或AWB控制中应用评价区域的可变设定方法时，在图22所示的步骤S44中，评价区域设定部73基于从跟踪处理部52输出的最新的跟踪结果信息和由跟踪可靠度评价部52评价的最新的跟踪可靠度设定AE评价区域或AWE评价区域。该AE评价区域或AWB评价区域对当前得到的最新的帧图像或在之后得到的帧图像进行设定。
AE评价区域或AWB评价区域的中心位置与在步骤S21中得到的最新的帧图像中的跟踪目标区域的中心位置相同。另一方面，基于由跟踪结果信息规定的跟踪目标的大小使跟踪目标区域包含在AE评价区域或AWB评价区域之中，并且根据跟踪可靠度可变设定AE评价区域或AWB评价区域的尺寸。根据跟踪可靠度的AE评价区域或AWB评价区域的尺寸的设定方法与在第1实施方式中所述的根据跟踪可靠度的切取区域的尺寸的设定方法相同，关于该方法的第1实施方式的技术也适用于本实施方式。适用该方法时，只要将第1实施方式的说明中的切取区域代替为AE评价区域或AWB评价区域即可。即，例如，在帧图像上的跟踪目标的大小一定时，设定AE评价区域或AWB评价区域的尺寸，使随着跟踪可靠度变高而AE评价区域或AWB评价区域的尺寸变小。实际上，按照参照图10说明的方法，只要根据基于跟踪结果信息的跟踪目标的大小和跟踪可靠度(EVR)，设定AE评价区域或AWB评价区域的位置和大小即可。
在步骤S44的处理之后回到步骤S21，反复执行由上述的步骤S21～S23和S44构成的循环处理。在显示部15上作为运动图像显示通过该循环处理的反复执行得到的按时间序列排列的帧图像列，并且将该帧图像列的图像数据记录到记录介质16上。
跟踪可靠度较低时，将不同于实际的跟踪目标的物体当作跟踪目标的误检测的可能性比较高。因此，跟踪可靠度较低时，若与跟踪可靠度较高时同样地设定小的AF、AE、AWB评价区域的尺寸，则可能发生对焦在与关注的拍照对象完全无关的背景，并进行了图像亮度调整或白平衡调整的情况。考虑到这些，在本实施方式中，根据跟踪可靠度可变设定AF、AE、AWB评价区域的尺寸。因此，能够避免上述情况的发生。
(第4实施方式)
下面对本发明的第4实施方式进行说明。第4实施方式的摄像装置的整体模块与图1所示的摄像装置相同，但是为了区别第1实施方式的摄像装置和第4实施方式的摄像装置，用符号1c来表示第4实施方式的摄像装置。摄像装置1c的摄像部11的内部结构与图2所示的结构相同，摄像装置1c的外观立体图与图3所示的立体图相同。而且，只要不产生矛盾，摄像装置1c能够实现第1或第2实施方式的摄像装置所实现的所有功能，并且只要不产生矛盾，第1或第2实施方式中所记载的事项也适用于第4实施方式。
摄像装置1c在图像再生时，能够执行与在第3实施方式中记载的AE控制类似的控制(以下，称为再生时AE控制)和与在第3实施方式中记载的AWB控制类似的控制(以下，称为生成时AWB控制)。该图像再生操作之前，假设在拍摄运动图像时得到的按时间序列排列的帧图像列的所有图像数据记录在记录介质16中。本实施方式的以下的动作是再生模式下的摄像装置1c的动作。
图23表示了与第4实施方式的特征动作有关的摄像装置1c的部分模块图。图23所示的符号51、52、101～104表示的各部件设置在图1所示的主控制部13内。图像获取部101从记录介质16依次按时间序列顺序读出帧图像，将各帧图像的图像数据依次按时间序列顺序分配到跟踪处理部51、跟踪可靠度评价部52、评价值计算部103、图像加工部104。设置在摄像装置1c的跟踪处理部51和跟踪可靠度评价部52与在第1实施方式中所述的那些部件相同。由跟踪处理部51生成的跟踪结果信息分配到跟踪可靠度评价部52和评价区域设定部102，由跟踪可靠度评价部52产生的跟踪可靠度的评价结果分配到评价区域设定部102。
跟踪处理部51在对操作部17进行了规定的跟踪开始指示操作的时刻，作为初始设定用帧图像捕捉分配到自身的帧图像，基于该初始设定用帧图像的图像数据设定跟踪目标和跟踪颜色。其中，假设初始设定用帧图像中存在成为跟踪目标的人物。跟踪目标和跟踪颜色的设定方法与在第1实施方式中所述的方法相同。
设定跟踪目标和跟踪颜色之后，执行按照图24所示的流程的动作。图24是表示再生时AE控制的动作顺序的流程图。
设定跟踪目标和跟踪颜色之后，反复执行由步骤S21～S23和S54～S56构成的循环处理，但是在该循环处理中，跟踪处理部51对设定了跟踪目标和跟踪颜色之后得到的跟踪目标帧图像列执行跟踪处理。跟踪处理的方法与在第1实施方式中所述的处理方法相同。
步骤S21～S23的各处理与在第1实施方式中所述的那些处理相同。即，在步骤S21中获取当前的帧图像(跟踪目标帧图像)，在之后的步骤S22中通过跟踪处理检测该当前的帧图像中的跟踪目标的位置和大小，并且生成包括表示检测出的位置和大小的信息的跟踪结果信息。跟踪结果信息输出到跟踪可靠度评价部52和评价区域设定部102。在步骤S22之后的步骤S23中，跟踪可靠度评价部52通过可靠度评价值EVR的计算评价当前时刻的跟踪可靠度。
再生时AE控制中，在步骤S23中评价跟踪可靠度之后，执行步骤S54的处理。在步骤S54中，评价区域设定部102基于从跟踪处理部51输出的最新的跟踪结果信息和由跟踪可靠度评价部52评价的最新的跟踪可靠度设定AE评价区域。该AE评价区域对在步骤S21中得到的最新的帧图像进行设定。
AE评价区域的中心位置与在步骤S21中得到的最新的帧图像的跟踪目标区域的中心位置相同。另一方面，基于由跟踪结果信息规定的跟踪目标的大小使跟踪目标区域包含在AE评价区域之中，并且根据跟踪可靠度可变设定AE评价区域的尺寸。根据跟踪可靠度的AE评价区域的尺寸的设定方法与在第1实施方式中所述的根据跟踪可靠度的切取区域的尺寸的设定方法相同，关于该方法的第1实施方式的技术也适用于本实施方式。适用该方法时，只要将第1实施方式的说明中的切取区域代替为AE评价区域即可。即，例如，在帧图像上的跟踪目标的大小一定时，设定AE评价区域的尺寸，使随着跟踪可靠度变高而AE评价区域的尺寸变小。实际上，按照参照图10说明的方法，只要根据基于跟踪结果信息的跟踪目标的大小和跟踪可靠度(EVR)，设定AE评价区域的位置和大小即可。
在步骤S54之后的步骤S55中，评价值计算部103将在步骤S54中设定的AE评价区域适用于在步骤S21中获得的帧图像上，基于该帧图像的AE评价区域内的图像数据算出针对该帧图像的AE评价值。AE评价值的计算方法与在第3实施方式中所述的那些计算方法相同。
然后，在步骤S56中，图像加工部104基于在步骤S55中算出的AE评价值加工在步骤S21中获得的帧图像来生成加工帧图像。再生时AE控制中，将根据AE评价值的一定值与在步骤S21中获得的帧图像的各像素的亮度值相乘，通过该操作得到的图像作为加工帧图像。因此，将包括跟踪目标区域的AE评价区域内的图像的亮度(亮度等级)保持在期望的亮度上。
在步骤S56的处理之后回到步骤S21，反复执行由上述的步骤S21～S23和S54～S56构成的循环处理。在显示部15上作为运动图像显示通过该循环处理的反复执行得到的按时间序列排列的帧图像列。也可以将该加工帧图像列的图像数据记录到记录介质16中。
以上说明了再生时进行AE控制时的动作，再生时AWB控制也通过执行步骤S21～S23和S54～S56的各处理来实现。但是，再生时进行AWB控制时，将上述的AE评价区域和AE评价值分别替代为AWB评价区域和AWB评价值。基于帧图像的AWB评价区域内的图像数据算出AWB评价值，且在步骤S56中，基于AWB评价值加工帧图像。在再生时AWB控制中，基于AWB评价值调整帧图像整体的色平均，使AWB评价区域内的白平衡变成期望的白平衡。白平衡调整后的帧图像是应由图像加工部104生成的加工帧图像。
跟踪可靠度较低时，将不同于实际的跟踪目标的物体当作跟踪目标的误检测的可能性比较高。因此，跟踪可靠度较低时，若与跟踪可靠度较高时同样地设定小的AE或AWB评价区域的尺寸，则可能发生对与关注的拍照对象完全无关的背景进行图像亮度调整或白平衡调整的情况。考虑到这些，在本实施方式中，根据跟踪可靠度可变设定AE或AWB评价区域的尺寸。因此，能够避免上述情况的发生。
另外，上述的例子中，在设置在摄像装置1c中的显示部15上再生显示了加工帧图像列，但是也可以通过向摄像装置1c的外部的显示装置(未图示)提供想要显示的图像的图像数据，在该外部的显示装置上显示加工帧图像列。另外，也可以根据需要通过因特网等向利用该图像数据的外部设备(运营网站的服务器等)提供加工帧图像列的图像数据。
(第5实施方式)
下面说明本发明的第5实施方式。在上述的各实施方式中，说明了基于颜色信息的跟踪处理方法，图4等所示的跟踪处理部51能够采用其它的任意的跟踪处理方法。将例示其它的跟踪处理方法的实施方式作为第5实施方式。第5实施方式中所述的内容将与上述的第1～第4实施方式组合后实施。
例如，跟踪处理部51能够通过利用图像匹配来执行帧图像列中的跟踪目标的位置的跟踪。利用图像匹配的跟踪处理是众所周知的，简单说明基于时刻tn-1的帧图像与时刻tn的帧图像之间的图像匹配(模板匹配)的跟踪处理。另外，假设已检测出时刻tn-1的帧图像上的跟踪目标的位置。另外，如第1实施方式中所述，拍摄完时刻tn-1的帧图像之后拍摄时刻tn的帧图像(参照图14)。
跟踪处理部5 1关注作为时刻tn-1的帧图像的整体区域中的一部分且表现了跟踪目标的一部分或整体的图像区域，一方面将该关注的图像区域内的图像作为模板图像，另一方面在时刻tn的帧图像内设定跟踪框。然后，在搜索范围内依次改变跟踪框的位置同时执行跟踪框内的图像与模板图像之间的类似性评价，在得到最大的类似性(换言之是最小的相异度)的跟踪框的位置，判定存在时刻tn的帧图像上的跟踪目标。以时刻tn-1的帧图像中的跟踪目标的位置为基准设定对应于时刻tn的帧图像的搜索范围。通常，该搜索范围是以时刻tn-1的帧图像中的跟踪目标的位置为中心的矩形区域，搜索范围的尺寸(图像尺寸)比帧图像的整体区域的尺寸小。
跟踪处理部51利用图像匹配进行跟踪处理时，由跟踪可靠度评价部52计算的可靠度评价值EVR的计算方法也与第1实施方式中所述的方法不同。说明利用了图像匹配的跟踪处理中应用的可靠度评价值EVR的计算方法。
跟踪可靠度评价部52将各帧图像作为被运算图像来操作，利用在第1实施方式中所述的方法，通过在被运算图像内设定多个小块并且将各小块分类为拍照对象块或背景块，将各帧图像的整体区域划分为跟踪目标区域和背景区域(参照图7)。然后，将上述的模板图像所在的小块作为小块[mO，nO]来操作，按每一个背景块算出表示时刻tn的帧图像的小块[mO，nO]内的图像与时刻tn的帧图像的背景块内的图像之间的相异度的相异度评价值。
假设有Q个背景块，分别用CDISA[1]～CDISA[Q]来表示对第1～第Q背景块算出的相异度评价值(Q是满足不等式“2≤Q≤(M×N)-1”的整数)。例如，对应于时刻tn的帧图像的相异度评价值CDISA[1]，作为从属于时刻tn的帧图像的小块[mO，nO]的各像素的像素值(例如亮度值)与属于时刻tn的帧图像的第i背景块的各像素的像素值(例如亮度值)之间的对比中求得的SAD(Sum of Absolute Difference)或SSD(Sum of SquareDifference)(这里i是自然数)。因此，对比图像间的相异度增大时相异度评价值CDISA[i]也会变大。另外，归一化相异度评价值，使相异度评价值CDISA[i]的取值范围在0以上1以下。当然，对于某一关注的图像区域来说，属于该图像区域的像素的像素值(例如亮度值)是一种表示该图像区域内的图像的特征的量(图像特征量)。
另一方面，将小块[mO，nO]的中心作为参照图8所述的中心250来操作，与在第1实施方式中所述的方法相同地求出对应于第1～第Q背景块的位置差评价值PDIS[1]～PDIS[Q]。然后，通过将相异度评价值CDISA[i]代入到CDIS[i]中并利用上述的式(1)，从而算出合并距离CPDIS，利用该合并距离CPDIS，并按照上述的式(2)算出针对所关注的被运算图像(在该例中是时刻tn的帧图像)的可靠度评价值EVR。从该计算方法可以了解到，跟踪目标附近存在具有与跟踪目标模样类似的模样的物体时，可靠度评价值EVR将变低。
跟踪处理部51不利用图像匹配，而是通过利用光学流向信息也能够执行在帧图像列中的跟踪目标的位置的跟踪。虽然利用光学流向信息的跟踪处理是公知的的技术，但是简单说明在时刻tn-1的帧图像与时刻tn的帧图像之间基于光学流向信息的跟踪处理。假设时刻tn-1的帧图像上的跟踪目标的位置是已检测出的位置。图25表示了时刻tn-1和时刻tn的帧图像501和502以及两图像间的光学流向503。光学流向503内的实线箭头表示对应于跟踪目标的运动矢量。
跟踪处理部51通过对比时刻tn-1和时刻tn的帧图像来求出对比图像间的光学流向。光学流向是用矢量表现对比图像间图像上的物体的运动的运动矢量束，利用代表点匹配法、模式匹配法、梯度法等而导出的。跟踪处理部51根据该运动矢量束搜索具有大致相同方向且具有大致相同大小的运动矢量的集合，并判断在存在该运动矢量的集合的位置上存在作为跟踪目标的运动物体(即，判断该位置就是时刻tn的帧图像上的跟踪目标的位置)。该搜索在搜索范围内完成，对于时刻tn的帧图像的搜索范围以时刻tn-1的帧图像的跟踪目标的位置为基准来设定。通常，该搜索范围是以时刻tn-1的帧图像的跟踪目标的位置为中心的矩形区域，搜索范围的尺寸(图像尺寸)比帧图像的整体区域的尺寸小。另外，也能基于搜索到的运动矢量的集合存在的范围设定跟踪目标区域。
跟踪处理部51利用光学流向信息进行跟踪处理时，由跟踪可靠度评价部52进行的可靠度评价值E VR的计算方法也与第1实施方式中记载的方法不同。说明利用了光学流向信息的跟踪处理中应用的可靠度评价值EVR的计算方法。
跟踪可靠度评价部52将各帧图像作为被运算图像来处理，并利用第1实施方式中记载的方法在被运算图像内设定多个小块并且通过将各小块分类为拍照对象块或背景块，来将各帧图像的整体区域切分为跟踪目标区域和背景区域(参照图7)。现在，将时刻tn-1和时刻tn的帧图像间的光学流向假设为对应于时刻tn的帧图像的光学流向。然后，将时刻tn的帧图像中跟踪目标(跟踪目标的中心)所在的小块作为小块[mO，nO]来处理，并按每个背景块算出表示对应于时刻tn的帧图像的小块[mO，nO]内的光学流向、与对应于时刻tn的帧图像的背景块内的光学流向之间的相异度的运动相异度评价值。
假设存在Q个背景块，分别用CDISB[1]～CDISB[Q]来表示对应第1～第Q背景块算出的运动相异度评价值(Q是满足不等式“2≤Q≤(M×N)-1”的整数)。将对应于时刻tn的帧图像的小块[mO，nO]内的光学流向和对应于时刻tn的帧图像的第i背景块内的光学流向，分别称为第1和第2光学流向。则，例如，基于形成第1光学流向的运动矢量的方向及大小与形成第2光学流向的运动矢量的方向及大小的对比结果，按照对比的方向越不同就越增加且对比的大小越不同就越增加的方式算出对应于时刻tn的帧图像的运动相异度评价值CDISB[i](这里，i是自然数)。此时，归一化运动相异度评价值，使运动相异度评价值CDISB[i]的取值范围在0以上1以下。关于某一关注的图像区域，能够将对该图像区域导出的光学流向捕捉为表示该图像区域内的图像的、关于运动的特征的量(图像特征量)。
另一方面，将小块[mO，nO]的中心作为参照图8记载的中心250来处理，与在第1实施方式中记载的方法同样地，求出相对于第1～第Q背景块的位置差评价值PDIS[1]～PDIS[Q]。然后，通过将运动相异度评价值CDISB[i]代入CDIS[i]并利用上述式(1)算出合并距离CPDIS，利用该合并距离CPDIS并由上述式(2)算出对应于关注的被运算图像(在当前的例中，是时刻tn的帧图像)的可靠度评价值E VR。从该计算方法可以了解到，跟踪目标附近存在具有与跟踪目标的运动类似地运动的物体时，可靠度评价值EVR将变低。
(第6实施方式)
下面，说明本发明的第6实施方式。在第6实施方式中，说明跟踪可靠度的导出方法的进一步变形例，即可靠度评价值EVR的计算方法的进一步变形例。第6实施方式中记载的内容要与上述的各实施方式组合而实施。
以下，作为可靠度评价值EVR的计算方法例示第1～第10计算方法。图4等中所示的跟踪可靠度评价部52能够利用第1～第10计算方法的任何一种算出针对被运算图像(即，应算出可靠度评价值EVR的跟踪目标帧图像)的可靠度评价值EVR。
另外，在第1实施方式中使可靠度评价值EVR取了0以上100以下的值，但是在第6实施方式中使可靠度评价值EVR取0以上1以下的值，使跟踪可靠度越被评价为高，则可靠度评价值EVR越接近于上限值1。因此，将第6实施方式的各计算方法适用于上述的各实施方式时，只要将由第6实施方式的各计算方法算出的可靠度评价值EVR放大100倍即可。
[第1计算方法]
说明第1计算方法。在第1实施方式中记载了如下所述的跟踪处理。跟踪颜色设定后，在作为被运算图像的跟踪目标帧图像内设定搜索范围和跟踪框，通过在搜索范围内依次改变跟踪框的位置同时执行跟踪框内的图像的颜色与跟踪颜色之间的类似性评价，从而检测出跟踪目标帧图像上的跟踪目标的位置。对当前的跟踪目标帧图像的搜索范围以前一次跟踪目标帧图像中的跟踪目标的位置为基准来设定。
在这样的跟踪处理中，跟踪目标帧图像上的跟踪目标的大小小时，跟踪的稳定性会降低。例如，具有与跟踪颜色类似的颜色的物体(不同于跟踪目标的物体)进入搜索范围内时，即使该物体比较小，若跟踪目标的大小较小时，也会提高误检测出该物体即为跟踪目标的可能性。相反，跟踪目标的大小较大时，无论是否存在该物体，都会减少产生误检测的可能性。
考虑到这样的情况，在第1计算方法中，基于被运算图像上的跟踪目标的大小来算出可靠度评价值EVR。具体而言，由以下式(6-1)算出对应于被运算图像的可靠度评价值EVR。
EVR＝TgtSize/AreaSize    …(6-1)
这里，TgtSize是在被运算图像中表示判断存在跟踪目标的图像数据的图像区域的大小的数值，AreaSize是表示被运算图像的上述搜索范围的大小的数值。
能够用像素数表示大小TgtSize。具体而言，例如，能够将属于上述搜索范围内的像素内表示跟踪目标的图像数据的像素的总数代入到TgtSize中。如第1实施方式中所述，基于跟踪结果信息能够将被运算图像的图像区域分类为表示跟踪目标的图像数据的跟踪目标区域和表示背景的图像数据的背景区域，属于该跟踪目标区域的图像的总数能够代入到TgtSize中。用像素数表示TgtSize时，AreaSize设定为属于上述搜索范围的像素的总数。
或者，也可以用图像上的面积表示大小TgtSize。即，在跟踪处理中能够将跟踪目标的外形近似为比较简单的形状(例如，椭圆或矩形)，也可以由通过该近似得到的跟踪目标的外形内的面积表示TgtSize。具体而言，例如，能够将被运算图像上的跟踪目标区域的面积代入到TgtSize中。在第1实施方式中跟踪目标区域的外形是矩形，但是该外形也可以是矩形以外的其它形状。用面积表示TgtSize时，AreaSize设定为被运算图像上的搜索范围的面积。
[第2计算方法]
说明第2计算方法。在第2计算方法中，将基于被运算图像上的跟踪目标的位置算出可靠度评价值EVR。具体而言，按照下式(6-2)算出针对被运算图像的可靠度评价值EVR。其中，式(6-2)右边的值变成负值时，设定EVR为零。
EVR＝1-(TDist/StdDist)    …(6-2)
如图26所述，TDist是跟踪目标的中心位置601与被运算图像的中心位置602之间的距离(即，位置601和602间的被运算图像上的空间位置差)，StdDist是预先设定的基准距离。跟踪目标的中心位置601，例如，是基于针对被运算图像的跟踪结果信息的在第1实施方式中所述的中心250的位置(参照图8)。
通常用户按照应成为跟踪目标的关注拍照对象配置在图像的中央附近的方式操作摄像装置。因此，对于在图像端部中检测出跟踪目标的跟踪结果会怀疑可靠性。另外，跟踪目标在图像端部时，跟踪目标很容易跑出摄像装置的拍摄区域外(易引起所谓超屏)。此时，从跟踪维持的角度来看重要的是降低跟踪可靠度从而使拍摄视角定位在增大方向。考虑到这些，在第2计算方法中，判断出跟踪目标的位置越接近于图像的中心越增大可靠度评价值EVR，相反时减少可靠度评价值EVR。
[第3计算方法]
说明第3计算方法。第3计算方法中，将在不同的跟踪目标帧图像间基于跟踪目标的运动矢量的大小算出可靠度评价值EVR。具体而言，按照下式(6-3)算出针对被运算图像的可靠度评价值EVR。其中，式(6-3)右边的值变成负值时，设定EVR为零。
EVR＝1-(|Vt|/|Vstd|)    …(6-3)
Vt表示作为被运算图像的第1跟踪目标帧图像与比第1跟踪目标帧图像更早拍摄的第2跟踪目标帧图像之间的跟踪目标的运动矢量，|Vt|表示该运动矢量Vt的大小。Vstd是预先设定的基准矢量，|Vstd|表示基准矢量Vstd的大小。
运动矢量Vt是表示从第2跟踪目标帧图像上的跟踪目标的位置看到的第1跟踪目标帧图像上的跟踪目标的位置的矢量(即，运动矢量Vt是将第2跟踪目标帧图像作为基准图像的运动矢量)。第1和第2跟踪目标帧图像上的跟踪目标的位置分别指，例如，基于针对第1和第2跟踪目标帧图像的跟踪结果信息的第1和第2跟踪目标帧图像上的中心250的位置(参照图8)。另外，第2跟踪目标帧图像是比第1跟踪目标帧图像提早n帧周期拍摄的帧图像(这里，n是1以上的整数)。另外，也可以将比第1跟踪目标帧图像更早拍摄的多个帧图像的每一个看作第2跟踪目标帧图像，并将该多个帧图像的每一个与第1跟踪目标帧图像之间的跟踪目标的运动矢量的平均作为Vt来使用。
在作为第1和第2跟踪目标帧图像的拍摄间隔的评价期间中得到跟踪目标的位置急剧变化的跟踪结果时，该跟踪结果的可靠性受到怀疑。另外，跟踪目标的运动快时，跟踪目标易超屏，且也会存在跟踪处理中易丢失跟踪目标的情况。考虑到这些，在第3计算方法中，基于跟踪目标的运动矢量的大小算出可靠度评价值EVR。
[第4计算方法]
说明第4计算方法。在第4计算方法中，基于在第3计算方法中记载的跟踪目标的运动矢量Vt与基准矢量Vstd所成的角度θ算出可靠度评价值EVR。但是，第4计算方法中的运动矢量Vt表示，作为被运算图像的第1跟踪目标帧图像与比第1跟踪目标帧图像提前1个帧周期拍摄的跟踪目标帧图像之间的跟踪目标的运动矢量，第4计算方法中的基准矢量Vstd表示这之前得到的跟踪目标的运动矢量。
参照图27补充说明第4计算方法中的运动矢量Vt和基准矢量Vstd的意义。现在，假设每流过1帧周期的时间时依次访问时刻tn-4、tn-3、tn-2、tn-1、tn…，将在时刻tn-i中获得的跟踪目标帧图像称为时刻tn-i的跟踪目标帧图像或只称为时刻tn-i的帧图像。另外，用如图27所示的V[i，i-1]表示将时刻tn-i的帧图像作为基准的、时刻tn-i和tn-(i-1)的帧图像间的跟踪目标的运动矢量。
在这样的前提下，若应算出可靠度评价值EVR的被运算图像为tn的帧图像，则第4计算方法中的运动矢量Vt是矢量V[1，0]，且第4计算方法中的基准矢量Vstd是矢量V[2，1]。或者，基准矢量Vstd也可以是对矢量V[2，1]与比矢量V[2，1]更早算出的跟踪目标的1个或多个运动矢量的平均矢量(例如，V[2，1]与V[3，2]的平均矢量)。
利用如上所述的矢量Vt和Vstd并按照下式(6-4)算出针对被运算图像的可靠度评价值EVR。
EVR＝(1+cosθ)/2    …(6-4)
   ＝(1+(Vt·Vstd)/(|Vt|×|Vstd|))/2
运动矢量Vt的方向表示图像上的跟踪目标的最近的运动的方向，基准矢量Vstd的方向表示图像上的跟踪目标的过去的运动的方向。跟踪目标在运动图像上运动时，很多时候其运动方向大致上一定，对于运动方向变化急剧的跟踪结果会怀疑可靠性。考虑到这些，在第4计算方法中，上述角度θ较大时使可靠度评价值EVR较小，上述角度θ较小时使可靠度评价值EVR较大。
[第5计算方法]
说明第5计算方法。第5计算方法是组合第3和第4计算方法的方法。具体而言，在第5计算方法中，按照下式(6-5)算出针对被运算图像的可靠度评价值EVR。这里，EVR4表示应按照上述式(6-3)算出的EVR，EVR5表示应按照上述式(6-4)算出的EVR。
EVR＝EVR4×EVR5    …(6-5)
[第6计算方法]
说明第6计算方法。在第6计算方法中，基于从分类为跟踪目标的像素得到的特征量的帧间相关(换言之，基于跟踪目标的特征量在帧间的变化量)算出可靠度评价值EVR。具体而言，按照下式(6-6)算出针对被运算图像的可靠度评价值EVR。其中，式(6-6)的右边的值变成负值时，设定EVR为零。
EVR＝1-(|VAL(n)-VAL(n-1)|)/VALbase    …(6-6)
这里，VAL(n)是针对第n个跟踪目标帧图像(即，图27所示的时刻tn的帧图像)的特征量，VAL(n-1)是针对第(n-1)个跟踪目标帧图像(即，图27所示的时刻tn-1的帧图像)的特征量，VALbase是预先设定的基准特征量。
如上所述，基于跟踪结果信息，将各跟踪目标帧图像的整体区域分类为表示跟踪目标的图像数据的跟踪目标区域和表示背景的图像数据的背景区域，设定第i个跟踪目标帧图像的跟踪目标区域的特征量为VAL(i)(这里，i是n或(n-1))。
特征量VAL(i)也可以是与跟踪处理中用于跟踪目标的识别的特征量同一种类的特征量。即，具体而言，例如，如第1实施方式中记载的基于颜色信息进行跟踪目标的身体区域的跟踪时，基于第i个跟踪目标帧图像中的身体区域的图像数据求出第i个跟踪目标帧图像的身体区域的颜色(以下称为第i特征色)。能够将在第1实施方式中记载的基于初始设定用帧图像的图像数据导出跟踪色的方法，利用在基于第i个跟踪目标帧图像的图像数据导出第i特征色的方法中。而且，将色空间(例如，RGB或HSV色空间)上的第i特征色的位置作为VAL(i)。此时，式(6-6)的|VAL(n)-VAL(n-1)|是色空间上的第n特征色的位置与第(n-1)特征色的位置间的距离。
特征量VAL(i)也可以是与在跟踪处理中用于跟踪目标的识别的特征量不同的特征量。即，具体而言，例如，如第1实施方式中记载的基于颜色信息进行跟踪目标的身体区域的跟踪时，基于第i个跟踪目标帧图像的身体区域的图像数据求出第i个跟踪目标帧图像的身体区域的亮度等级(以下称为第i亮度等级)。能够将属于第i个跟踪目标帧图像的身体区域的各像素的平均亮度作为第i亮度等级。而且，将第i亮度等级作为VAL(i)即可。此时，式(6-6)的|VAL(n)-VAL(n-1)|变成表示第n和(n-1)个跟踪目标帧图像间的跟踪目标(身体区域)的亮度差。
另外，也可以将针对在第n个跟踪目标帧图像之前得到的多个跟踪目标帧图像的特征量的平均或加权平均代入到式(6-6)的VAL(n-1)中。即，例如，也可以将针对第(n-1)和(n-2)个跟踪目标帧图像的特征量的平均代入到式(6-6)的VAL(n-1)中。
得到跟踪目标的特征量急剧变化的跟踪结果时，该跟踪结果的可靠性不可靠。考虑到这些，在第6计算方法中，基于表示跟踪目标的图像特征的特征量的变化量来算出可靠度评价值EVR。
[第7计算方法]
说明第7计算方法。在第1实施方式中记载了如下的技术。
设定跟踪颜色之后，在作为被运算图像的跟踪目标帧图像内设定搜索范围和跟踪框，通过在搜索范围内依次改变跟踪框的位置并且执行跟踪框内的图像颜色与跟踪颜色之间的类似性评价，从而能够检测出跟踪目标帧图像上的跟踪目标的位置。
通过将被运算图像的整体区域分解为多个小块(参照图7)并将各小块分类为拍照对象块和背景块中的任一个，能够使被运算图像的整体区域分类为作为拍照对象块群的合成区域的跟踪目标区域和作为背景块群的合成区域的背景区域。
能够将跟踪颜色与第i背景块颜色之间的相异度作为色差评价值CDIS[i]来求出。色差评价值CDIS[i]取0以上1以下的值。
在第7计算方法中，利用该色差评价值CDIS[i]，由以下式(6-7)算出针对被运算图像的可靠度评价值EVR。
EV R = ( Σ i = 1 R C DIS ( i ) ) × ( 1 - ColArea ) . . . ( 6 - 7 )
式(6-7)右边的∑意味着被运算图像中属于跟踪目标的周边区域的各背景块的色差评价值的累积。被运算图像中的跟踪目标的周边区域指，例如，从对该被运算图像设定的上述搜索范围中将跟踪目标区域除外而剩下的图像区域，或者从稍大于或稍小于该搜索范围的图像区域中将跟踪目标区域除外而剩下的图像区域，或者从被运算图像的整体区域将跟踪目标区域除外而剩下的图像区域。现在，假设第1～第R背景块属于跟踪目标的周边区域(R是2以上的整数)。则，由式(6-7)算出的EVR是相对于第1～第R背景块算出的色差评价值CDIS[1]～CDIS[R]的总和与(1-ColArea)的乘积。
ColArea表示与跟踪颜色具有相同或类似颜色的背景块在周边区域中所占的比例。例如，色差评价值CDIS[i]在规定的阈值以下时，判断第i背景块具有的颜色是与跟踪颜色相同或类似的颜色，反之，判断第i背景块具有的颜色非类似于跟踪颜色。假设R＝100，且在第1～第100背景块内，判断出只有第1～第40背景块具有与跟踪颜色相同或类似的颜色时，ColArea是40％。
若跟踪目标的周边区域的颜色与跟踪颜色相差很大，则基于颜色信息的跟踪是稳定的，若该颜色与跟踪颜色相似，则基于颜色信息的跟踪是不稳定的。另外，跟踪目标的周边存在越多的跟踪颜色的相似颜色，则会变得越不稳定。第7计算方法提供对应于这些的可靠性评价。
[第8计算方法]
说明第8计算方法。在第8计算方法中，将基于跟踪目标的周边的亮度算出可靠度评价值EVR。例如，如图28所示，在跟踪目标的周边区域中亮度极端低或极端高时，降低可靠度评价值EVR。
在图28所示的具体例中，比较跟踪目标的周边亮度等级Lsrd与规定的基准电平LTH1～LTH4，不等式“Lsrd＜LTH1”或“LTH4≤Lsrd”成立时设定EVR为0，不等式“LTH1≤Lsrd＜LTH2”成立时随着Lsrd从LTH1至LTH2的增大使EVR从0增大到1，不等式“LTH2≤Lsrd＜LTH3”成立时设定EVR为1，不等式“LTH3≤Lsrd＜LTH4”成立时随着Lsrd从LTH3至LTH4的增大使EVR从1减少到0。这里，基准电平LTH1～LTH4满足不等式“0＜LTH1＜LTH2＜LTH3＜LTH4”。
周边亮度等级Lsrd表示被运算图像中的跟踪目标的周边区域的平均亮度(即，属于该周边区域的像素的亮度值的平均值)。跟踪目标的周边区域的意义与在第7计算方法的说明中记载的相同。也可以将跟踪目标的周边区域看作在第3实施方式中记载的AE评价区域的全部或一部分，基于表示AE评价区域的亮度等级的AE评价值(参照第3实施方式)算出周边亮度等级。
在基于颜色信息的跟踪处理中，周边区域中亮度极端低或极端高时(例如，有所谓的黑块或白斑时)，由于光源的微妙变化会使色泽起很大变化，因此很难执行稳定的跟踪。第8计算方法提供对应这些情况的可靠性评价。
[第9计算方法]
说明第9计算方法。利用第9计算方法时，在图4等中所示的跟踪可靠度评价部52按每一个跟踪目标帧图像基于跟踪目标帧图像的图像数据推定跟踪目标帧图像的光源的色温(也能在跟踪可靠度评价部52以外的部件中进行该推定)。
作为色温的推定方法能利用公知的任意的推定方法。例如，与在被运算图像内设置小块[m，n]同样地(参照图7)，在关注的跟踪目标帧图像内设定多个小块，并按每个小块基于小块的图像数据将该小块的颜色分类为色饱和度较高的物体色或色饱和度较低的光源色。将具有被分类为光源色的颜色的小块称为光源色模块。按每个光源色模块基于光源色模块的R、G、B信号推定光源的色温，并能够将相对于各光源色模块推定的色温的平均作为对关注的跟踪目标帧图像的色温来推定。在图29中例示了按每个跟踪目标帧图像推定的色温的分布。
在第9计算方法中，利用该推定色温，由以下式(6-9)算出针对被运算图像的可靠度评价值EVR。其中，式(6-9)右边的值变成负值时，设定EVR为零。
EVR＝1-(CTi-CTstd)    …(6-9)
这里，CTi是针对在被运算图像更早得到的多个跟踪目标帧图像的推定色温的方差，CTstd是预先设定的基准方差。
方差CTi大则表示拍摄跟踪目标帧图像时的光源的色温经常变化。在基于颜色信息的跟踪处理中，光源的色温变化大则很难执行稳定的跟踪。第9计算方法提供对应这些情况的可靠性评价。
[第10计算方法]
说明第10计算方法。在第10计算方法中，基于包括在跟踪目标帧图像中的噪声的大小算出可靠度评价值EVR。具体而言，由以下式(6-10A)～(6-10C)算出相对于被运算图像的可靠度评价值EVR。其中，式(6-10B)的右边的值变成负值时，设定NRtgt为零，式(6-10C)的右边的值变成负值时，设定NRsrd为零。
EVR＝NRtgt×NRsrd          …(6-10A)
NRtgt＝1-(σtgt/σbase)    …(6-10B)
NRsrd＝1-(σsrd/σbase)    …(6-10C)
包括在被运算图像的跟踪目标区域内的平坦部称作第1平坦部，包括在被运算图像的跟踪目标的周边区域内的平坦部称作第2平坦部。跟踪目标的周边区域的意义与在第7计算方法的说明中记载的意义相同。σtgt是第1平坦部内的各像素的亮度值的标准偏差，σsrd是第2平坦部内的各像素的亮度值的标准偏差，σbase是预先设定的基准标准偏差。
σtgt自身或σtgt的正平方根表示包括在第1平坦部内的图像中的噪声的大小或第1平坦部内的图像的信噪比(σsrd也同样)。因此，包括在跟踪目标区域和/或周边区域的噪声的大小较大时，通过σtgt和/或σsrd的减少会减少可靠度评价值EVR。
能够将第1平坦部设定为以下方式。在被运算图像的跟踪目标区域内设定具有规定图像尺寸的评价块，使评价块的位置在跟踪目标区域内向水平或垂直方向每次移动1个像素，并且在每次移动时求出评价块内的各像素的亮度值的标准偏差。从而求出多个标准偏差。特定与该多个标准偏差内的最小的标准偏差对应的评价块的位置，并在该位置上作为第1平坦部设定被配置的评价块内的图像区域。第2平坦部的设定方法也相同。设定第2平坦部时，在跟踪目标的周边区域内配置评价块。
包括在跟踪目标区域和/或周边区域中的噪声的大小大时会破坏跟踪的稳定性。第10计算方法提供对应这些情况的可靠性评价。
作为可靠度评价值EVR的计算方法个别说明了第1～第10计算方法，也能由组合了第1～第10计算方法内的2个以上计算方法的方法算出可靠度评价值EVR。另外，在上述的第1～第10计算方法中说明了每算出相对于1张被运算图像的可靠度评价值EVR时利用nA张跟踪目标帧图像的方法(nA是1以上的整数)，但是在第1～第10计算方法中，只要不产生矛盾，计算时也可利用nB张跟踪目标帧图像(nB是1以上的整数，nA≠nB)。
例如，在上述的第1计算方法的说明中，每次计算针对作为被运算图像的时刻tn的帧图像的可靠度评价值EVR时，仅利用了时刻tn的帧图像的图像数据，但是在该计算中也可以利用时刻tn和时刻tn-1的帧图像的图像数据。即，更具体而言，例如，也可以通过将时刻tn的帧图像的跟踪目标的大小TgtSize与时刻tn-1的帧图像的跟踪目标的大小TgtSize的平均代入到上述式(6-1)的TgtSize中，从而算出针对时刻tn的帧图像的可靠度评价值EVR。
(变形等)
第1～第6实施方式中记载的内容只要不产生矛盾则能够相互组合而实施。另外，上述的说明中所示的具体的数值仅仅是例示，显然能够将这些数值改变为各种各样的数值。作为上述实施方式的变形例或注释事项，以下记载注释1～注释5。各注释中记载的内容只要不产生矛盾则能够任意组合。
[注释1]
在上述的各实施方式中，例示了跟踪目标为人物时的情况，但是跟踪目标也可以不是人物。例如，也可以将汽车等车辆或移动的机器人作为跟踪目标。
[注释2]
在上述的各实施方式中，将帧作为单位来考虑并对帧图像列进行了包括脸部检测处理或跟踪处理的各种处理，但是也可以将场作为单位来考虑并对区域图像列进行那些处理。
[注释3]
也可以将表示由跟踪可靠度评价部52评价的跟踪可靠度的指标显示在显示部15上。该指标与应显示在显示部15上的运动图像一起显示在显示部15上。
[注释4]
各实施方式的摄像装置能够通过硬件或硬件与软件的组合来实现。特别是图4、图15、图19、图23中所示的各部件能够通过硬件、软件或者硬件与软件的组合来实现。利用软件构成摄像装置时，关于由软件实现的各部件的模块图变成表示该部件的功能模块图。另外，也可以通过作为程序记述需要执行的计算处理的全部或一部分，并在程序执行装置(例如计算机)上执行该程序，从而实现该计算处理的全部或一部分。
[注释5]
在运动图像再生时，包括图4的符号51～54所示的部件的装置和包括图23的符号51、52和101～104所示的装置分别作为图像再生装置而起作用。也可以当作该图像再生装置中包括形成摄像装置的其它部件(显示部15等)。也可以通过能够读入记录介质16的记录数据的摄像装置的外部设备(未图示)实现该图像再生装置。

Claims (11)

1.一种摄像装置，其特征在于，具有：
摄像元件，其通过依次拍摄来输出表示拍摄图像列的信号；
跟踪处理部，其基于所述摄像元件的输出信号依次检测所述拍摄图像列上的跟踪目标的位置，从而在所述拍摄图像列上跟踪所述跟踪目标；
切取处理部，其按每个拍摄图像基于检测出的所述位置在所述拍摄图像内设定切取区域，并提取所述切取区域内的图像作为切取图像或输出表示所述切取区域的位置和大小的切取信息；和
跟踪评价部，其根据所述摄像元件的输出信号，评价基于所述跟踪处理部的跟踪的可靠性或容易性的程度；
所述切取处理部根据评价出的所述程度，按照使所述切取区域的尺寸随着所述程度变高而减小的方式改变所述切取区域的大小。
2.根据权利要求1所述的摄像装置，其特征在于：
所述切取处理部使所述程度被评价为比较高时的所述切取区域的大小比所述程度被评价为比较低时的所述切取区域的大小更小。
3.根据权利要求1所述的摄像装置，其特征在于：
所述切取处理部基于评价出的所述程度与拍摄图像上的所述跟踪目标的大小来设定所述切取区域的大小。
4.根据权利要求1所述的摄像装置，其特征在于：
所述跟踪评价部接受形成所述拍摄图像列的拍摄图像作为被运算图像，将所述被运算图像的整体区域划分为出现所述跟踪目标的跟踪目标区域和所述跟踪目标区域以外的背景区域，并且根据所述跟踪目标区域的图像特征与所述背景区域的图像特征的对比来评价所述程度。
5.一种摄像装置，其特征在于，具有：
摄像元件，其通过依次拍摄来输出表示拍摄图像列的信号；
跟踪处理部，其基于所述摄像元件的输出信号依次检测所述拍摄图像列上的跟踪目标的位置，从而在所述拍摄图像列上跟踪所述跟踪目标；
视角调整部，其调整拍摄中的视角；和
跟踪评价部，其根据所述摄像元件的输出信号，评价基于所述跟踪处理部的跟踪的可靠性或容易性的程度；
所述视角调整部根据评价出的所述程度，按照所述程度变得越高所述视角变得越小的方式改变所述视角。
6.根据权利要求5所述的摄像装置，其特征在于：
所述视角调整部按照在所述程度被评价为较高时使拍摄图像上的所述跟踪目标的大小较大、且在所述程度被评价为较低时使拍摄图像上的所述跟踪目标的大小较小的方式，根据所述程度调整所述视角。
7.根据权利要求6所述的摄像装置，其特征在于：
所述视角调整部基于评价出的所述程度与拍摄图像上的所述跟踪目标的大小来设定所述视角。
8.根据权利要求5所述的摄像装置，其特征在于：
所述跟踪评价部接受形成所述拍摄图像列的拍摄图像作为被运算图像，将所述被运算图像的整体区域划分为出现所述跟踪目标的跟踪目标区域和所述跟踪目标区域以外的背景区域，并且根据所述跟踪目标区域的图像特征与所述背景区域的图像特征的对比来评价所述程度。
9.一种图像再生装置，其特征在于，具有：
图像获取部，其从记录部读取通过对拍摄目标进行依次拍摄而得到的图像信号，从而获得基于所述图像信号的输入图像列；
跟踪处理部，其基于所述输入图像列的图像信号依次检测所述输入图像列上的跟踪目标的位置，从而在所述输入图像列上跟踪所述跟踪目标；
切取处理部，其按每个输入图像基于检测出的所述位置在所述输入图像内设定切取区域，并提取所述切取区域内的图像作为切取图像；和
跟踪评价部，其根据所述输入图像列的图像信息，评价基于所述跟踪处理部的跟踪的可靠性或容易性的程度；
该图像再生装置将切取图像列的图像信号向显示部或外部输出，
所述切取处理部根据评价出的所述程度，按照使所述切取区域的尺寸随着所述程度变高而减小的方式改变所述切取区域的大小。
10.一种摄像装置，其特征在于，具有：
摄像元件，其通过依次拍摄来输出表示拍摄图像列的信号；
跟踪处理部，其基于所述摄像元件的输出信号依次检测所述拍摄图像列上的跟踪目标的位置，从而在所述拍摄图像列上跟踪所述跟踪目标；
区域设定部，其基于检测出的所述位置在各拍摄图像内设定评价值收集区域；
获取条件控制部，其基于各拍摄图像的所述评价值收集区域内的图像信号，控制所述拍摄图像列的获取条件；和
跟踪评价部，其根据所述摄像元件的输出信号，评价基于所述跟踪处理部的跟踪的可靠性或容易性的程度；
所述区域设定部根据评价出的所述程度，按照使所述评价值收集区域的尺寸随着所述程度变高而减小的方式改变所述评价值收集区域的大小。
11.一种图像再生装置，其特征在于，具有：
图像获取部，其从记录部读取通过对拍摄目标进行依次拍摄而得到的图像信号，从而获得基于所述图像信号的输入图像列；
跟踪处理部，其基于所述输入图像列的图像信号依次检测所述输入图像列上的跟踪目标的位置，从而在所述输入图像列上跟踪所述跟踪目标；
区域设定部，其基于检测出的所述位置在各输入图像内设定评价值收集区域；
输出图像生成部，其生成基于各输入图像的所述评价值收集区域内的图像信号对所述输入图像列进行加工后的输出图像列；和
跟踪评价部，其根据所述输入图像列的图像信息，评价基于所述跟踪处理部的跟踪的可靠性或容易性的程度；
该图像再生装置将所述输出图像列的图像信号向显示部或外部输出，
所述区域设定部根据评价出的所述程度，按照使所述评价值收集区域的尺寸随着所述程度变高而减小的方式改变所述评价值收集区域的大小。
CN200910202859XA 2008-05-26 2009-05-26 摄像装置及图像再生装置 Expired - Fee Related CN101605209B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2008-136986 2008-05-26
JP2008136986 2008-05-26
JP2008136986 2008-05-26
JP2009-093571 2009-04-08
JP2009093571A JP2010011441A (ja) 2008-05-26 2009-04-08 撮像装置及び画像再生装置
JP2009093571 2009-04-08

Publications (2)

Publication Number Publication Date
CN101605209A CN101605209A (zh) 2009-12-16
CN101605209B true CN101605209B (zh) 2013-05-01

Family

ID=41470742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910202859XA Expired - Fee Related CN101605209B (zh) 2008-05-26 2009-05-26 摄像装置及图像再生装置

Country Status (3)

Country Link
US (1) US20100033579A1 (zh)
JP (1) JP2010011441A (zh)
CN (1) CN101605209B (zh)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5305520B2 (ja) * 2009-05-19 2013-10-02 パナソニック株式会社 監視カメラシステム
JP5657235B2 (ja) * 2009-11-10 2015-01-21 オリンパスイメージング株式会社 画像撮像装置及び画像撮像方法
JP5427577B2 (ja) * 2009-12-04 2014-02-26 パナソニック株式会社 表示制御装置及び表示画像形成方法
JP2011146799A (ja) * 2010-01-12 2011-07-28 Brother Industries Ltd 画像処理装置及び画像処理プログラム
JP5398562B2 (ja) * 2010-01-29 2014-01-29 富士フイルム株式会社 追尾枠の初期位置設定装置およびその動作制御方法
JP2011160379A (ja) * 2010-02-04 2011-08-18 Sony Corp 画像処理装置および方法、並びにプログラム
WO2011105391A1 (ja) * 2010-02-26 2011-09-01 日本電気株式会社 画像処理方法、画像処理装置及びプログラム
JP5792157B2 (ja) * 2010-03-19 2015-10-07 ラピスセミコンダクタ株式会社 画像処理装置、方法、プログラム及び記録媒体
JP2012015889A (ja) * 2010-07-02 2012-01-19 Sony Corp 画像処理装置および画像処理方法
JP5697429B2 (ja) * 2010-12-17 2015-04-08 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
JP5691617B2 (ja) * 2011-02-21 2015-04-01 株式会社ニコン 被写体特定装置、および被写体追尾装置
JP5825851B2 (ja) * 2011-05-27 2015-12-02 キヤノン株式会社 撮像装置及びその制御方法
JP6083987B2 (ja) * 2011-10-12 2017-02-22 キヤノン株式会社 撮像装置、その制御方法及びプログラム
JP5851206B2 (ja) * 2011-11-04 2016-02-03 オリンパス株式会社 追尾装置及び追尾方法
US9781336B2 (en) 2012-01-30 2017-10-03 Panasonic Intellectual Property Management Co., Ltd. Optimum camera setting device and optimum camera setting method
JP5873378B2 (ja) * 2012-04-10 2016-03-01 キヤノン株式会社 撮像装置およびその制御方法
JP5629722B2 (ja) * 2012-04-11 2014-11-26 京セラドキュメントソリューションズ株式会社 表示入力装置及びこれを備えた画像形成装置
EP2731087B1 (en) * 2012-11-12 2015-01-14 Axis AB Monitoring method and camera
JP6184271B2 (ja) 2013-09-19 2017-08-23 キヤノン株式会社 撮像管理装置、撮像管理システムの制御方法およびプログラム
US9836852B2 (en) * 2013-12-21 2017-12-05 Qualcomm Incorporated System and method to stabilize display of an object tracking box
US20150185308A1 (en) * 2014-01-02 2015-07-02 Katsuhiro Wada Image processing apparatus and image processing method, image pickup apparatus and control method thereof, and program
CN103841333B (zh) * 2014-03-27 2017-04-05 成都动力视讯科技股份有限公司 一种预置位方法及控制系统
JP6395423B2 (ja) * 2014-04-04 2018-09-26 キヤノン株式会社 画像処理装置、制御方法及びプログラム
JP6428144B2 (ja) * 2014-10-17 2018-11-28 オムロン株式会社 エリア情報推定装置、エリア情報推定方法、および空気調和装置
JP6669376B2 (ja) * 2014-10-31 2020-03-18 キヤノン株式会社 画像処理装置及びその制御方法、並びにプログラム
US9704266B2 (en) 2014-12-11 2017-07-11 Rdi, Llc Non-contacting monitor for bridges and civil structures
US10062411B2 (en) * 2014-12-11 2018-08-28 Jeffrey R. Hay Apparatus and method for visualizing periodic motions in mechanical components
TWI552112B (zh) * 2014-12-27 2016-10-01 國立中興大學 色溫估測演算法
CN104486598A (zh) * 2014-12-31 2015-04-01 国家电网公司 一种视频监控方法及装置
JP6387450B2 (ja) * 2015-02-18 2018-09-05 富士フイルム株式会社 追尾撮影制御装置、追尾撮影システム、カメラ、端末装置、追尾撮影方法、追尾撮影プログラム
CN105763795B (zh) * 2016-03-01 2017-11-28 苏州科达科技股份有限公司 一种聚焦方法及装置、摄像机和摄像系统
JP6988146B2 (ja) * 2016-05-25 2022-01-05 ソニーグループ株式会社 演算処理装置及び演算処理方法
TWI571830B (zh) * 2016-05-31 2017-02-21 和碩聯合科技股份有限公司 移動物偵測方法
CN107645632B (zh) * 2016-07-21 2020-06-16 佳能株式会社 焦点调节设备、焦点调节方法、摄像设备和存储介质
CN108335301B (zh) * 2017-12-26 2022-01-14 努比亚技术有限公司 一种拍照方法及移动终端
TWI662438B (zh) * 2017-12-27 2019-06-11 緯創資通股份有限公司 防止危險自拍之方法、裝置、及儲存媒體
EP3852357A4 (en) * 2018-09-12 2021-10-13 Sony Group Corporation IMAGE PROCESSING DEVICE, PROGRAM, AND IMAGE PROCESSING METHOD
US11423551B1 (en) 2018-10-17 2022-08-23 Rdi Technologies, Inc. Enhanced presentation methods for visualizing motion of physical structures and machinery
WO2020199198A1 (zh) * 2019-04-04 2020-10-08 深圳市大疆创新科技有限公司 图像采集控制方法，图像采集控制设备和可移动平台
CN110245611B (zh) * 2019-06-14 2021-06-15 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备和存储介质
US11004212B1 (en) * 2020-01-02 2021-05-11 Hong Kong Applied Science and Technology Research Institute Company Limited Object tracking method and system using iterative template matching
US11373317B1 (en) 2020-01-24 2022-06-28 Rdi Technologies, Inc. Measuring the speed of rotation or reciprocation of a mechanical component using one or more cameras
CN111479062B (zh) * 2020-04-15 2021-09-28 上海摩象网络科技有限公司 目标对象的跟踪框显示方法、设备及手持相机
US11282213B1 (en) 2020-06-24 2022-03-22 Rdi Technologies, Inc. Enhanced analysis techniques using composite frequency spectrum data
US11640701B2 (en) * 2020-07-31 2023-05-02 Analog Devices International Unlimited Company People detection and tracking with multiple features augmented with orientation and size based classifiers
US11322182B1 (en) 2020-09-28 2022-05-03 Rdi Technologies, Inc. Enhanced visualization techniques using reconstructed time waveforms
CN113362369A (zh) * 2021-06-07 2021-09-07 中国科学技术大学 一种移动物体的状态检测方法及检测装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1910617A (zh) * 2004-01-06 2007-02-07 索尼株式会社 图像处理设备和方法、记录介质和程序
CN101035273A (zh) * 2007-04-24 2007-09-12 北京中星微电子有限公司 视频监控中的自动跟踪控制方法和控制装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005184266A (ja) * 2003-12-17 2005-07-07 Olympus Corp 撮像装置
KR101092287B1 (ko) * 2004-02-13 2011-12-13 소니 주식회사 화상 처리 장치 및 화상 처리 방법
JP2005354278A (ja) * 2004-06-09 2005-12-22 Seiko Epson Corp 撮像手段の撮像した画像の画像データを処理する画像データ処理
US20060182433A1 (en) * 2005-02-15 2006-08-17 Nikon Corporation Electronic camera
WO2008072374A1 (ja) * 2006-12-11 2008-06-19 Nikon Corporation 電子カメラ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1910617A (zh) * 2004-01-06 2007-02-07 索尼株式会社 图像处理设备和方法、记录介质和程序
CN101035273A (zh) * 2007-04-24 2007-09-12 北京中星微电子有限公司 视频监控中的自动跟踪控制方法和控制装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JP特开2006-19852A 2006.01.19
JP特开平6-217187A 1994.08.05

Also Published As

Publication number Publication date
CN101605209A (zh) 2009-12-16
JP2010011441A (ja) 2010-01-14
US20100033579A1 (en) 2010-02-11

Similar Documents

Publication Publication Date Title
CN101605209B (zh) 摄像装置及图像再生装置
TWI459324B (zh) 修改色彩及全色通道彩色濾光片陣列影像
CN102726037B (zh) 图像处理装置、摄像装置和图像处理方法
US8509481B2 (en) Image processing apparatus, image processing method, imaging apparatus
CN101605208B (zh) 图像处理设备、成像设备及图像处理方法
CN102388402B (zh) 图像处理装置及图像处理方法
JP4469019B2 (ja) 画像データを生成する装置、方法およびプログラム
WO2021047345A1 (zh) 图像降噪方法、装置、存储介质及电子设备
US20080143841A1 (en) Image stabilization using multi-exposure pattern
US20100231738A1 (en) Capture of video with motion
US20110221933A1 (en) Backlight detection device and backlight detection method
US20190158732A1 (en) Imaging device, imaging method, and program
JP2002305683A (ja) 撮像装置および撮像プログラムを記録した記録媒体
CN110381263A (zh) 图像处理方法、装置、存储介质及电子设备
JP7223079B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
CN109493283A (zh) 一种高动态范围图像鬼影消除的方法
US8896670B2 (en) Image processing device, image processing method, and program
US20130083221A1 (en) Image processing method and apparatus
WO2015126717A1 (en) System and method for multiple-frame based super resolution interpolation for digital cameras
CN103996190A (zh) 区域特定方法、区域特定装置、服务器及系统
CN103053163A (zh) 图像生成装置、图像生成系统、方法及程序
CN102959942A (zh) 立体观看用图像拍摄装置及其控制方法
CN102006485A (zh) 图像处理装置及图像处理方法
EP3363193B1 (en) Device and method for reducing the set of exposure times for high dynamic range video imaging
Huang et al. Demosaicking recognition with applications in digital photo authentication based on a quadratic pixel correlation model

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130501

Termination date: 20140526