CN107277345B - 摄像装置及其控制方法、远程控制装置及其控制方法 - Google Patents

Abstract

本发明提供摄像装置及其控制方法、远程控制装置及其控制方法。摄像装置适于与外部的远程控制装置一起使用，其包括：摄像单元，对拍摄图像进行光电转换以生成表示图像的图像信号；通信单元，将图像信号发送到远程控制装置，当在由远程控制装置的显示单元显示的图像上指定被摄体时，从远程控制装置接收被摄体的位置信息，并且接收向与在指定被摄体时显示的图像相对应的图像信号赋予的赋予信息；计算单元，基于赋予信息计算通信时滞；存储单元，在预定时段期间存储生成的图像信号；选择单元，基于通信时滞选择存储的图像信号；指定单元，基于选择的图像信号及接收的位置信息，从在选择的图像信号之后生成的图像信号中指定被摄体的第一追踪区域。

Description

摄像装置及其控制方法、远程控制装置及其控制方法

本申请是申请日为2014年1月17日、申请号为201410023015.X、发明名称为“摄像装置及其控制方法、远程控制装置及其控制方法”的发明专利申请的分案申请。

技术领域

本发明涉及包括配备有用于追踪任意被摄体的追踪功能的摄像装置以及外部控制该摄像装置的远程控制终端的系统。

背景技术

日本特开2009-273033号公报公开了一种包括照相机以及能够外部控制该照相机的控制器的照相机系统。在该照相机系统中，通过操作者操作控制器，在观察从照相机发送的拍摄的图像数据的同时，能够在期望的被摄体的位置设置(指定)焦点位置。以这种设置，控制器向照相机发送与设置的被摄体的位置相关的信息。由此，照相机能够基于接收的位置信息在期望的被摄体的位置执行AF处理等。

诸如数码相机的一些摄像装置能够通过在摄像画面内选择任意被摄体来自动追踪所选择的被摄体。

在从控制器控制照相机的上述系统中，由于花时间来通过通信发送和接收数据，所以发生通信时滞(time lag)。例如，当要通过控制器显示照相机拍摄的图像时，因为花时间来传送所拍摄的图像数据，所以直到要通过控制器显示拍摄的图像前花费时间。由于这种通信时滞，当操作者通过控制器检查拍摄的图像时，从图像被摄取时起延迟显示该图像。这也适用于当从控制器向照相机给出控制命令时的情况。由于通信时滞，照相机接收到从控制器指定期望的被摄体的位置时起被延迟的位置信息。

因为在上述系统中发生通信时滞，所以通过利用上述系统例如进行针对正在移动的被摄体的追踪控制时可能存在如下所述的问题。例如，如图6中所示，当操作者在控制器中指定并发送期望的被摄体(动物)的位置时，在照相机接收到该位置信息时，被摄体可能不在操作者指定的位置处。

尤其是，如果被摄体移动过快或者如果通信时滞较长，则问题变得更加明显。在操作者希望追踪的被摄体已经不在该位置的情况下，此时碰巧在该指定位置的被摄体将被追踪。因此，存在焦点及曝光的调节可能与操作者所期望的不同的担忧。在这种情况下，为了更加精确地追踪被摄体，控制器需要预见操作者希望追踪的被摄体的移动，同时，需要考虑通信时滞的时长来选择被摄体。

发明内容

本发明提供一种能够与通信时滞无关地精确追踪由操作者外部指定的被摄体的摄像装置、远程控制装置、以及该摄像装置和该远程控制装置的控制方法。

根据本发明的一方面，提供了一种摄像装置，其适于与该摄像装置外部的远程控制装置一起使用，该摄像装置包括：摄像单元，其用于对拍摄的图像进行光电转换以生成表示所述图像的图像信号；通信单元，其将所生成的图像信号发送到所述远程控制装置，当在由所述远程控制装置的显示单元显示的图像上指定被摄体时，所述通信单元从所述远程控制装置接收该被摄体的位置信息，并且所述通信单元接收向与在指定被摄体时显示的图像相对应的图像信号赋予的赋予信息；计算单元，其基于所接收到的赋予信息计算通信时滞；存储单元，其在预定时段期间存储由所述摄像单元生成的图像信号；选择单元，其基于所述通信时滞选择由所述存储单元存储的图像信号；以及指定单元，其基于所选择的图像信号以及从所述远程控制装置接收到的位置信息，从在所选择的图像信号之后生成的图像信号中指定被摄体的第一追踪区域。

根据本发明的另一方面，提供了一种远程控制装置，其适于与该远程控制装置外部的摄像装置一起使用，该远程控制装置包括：显示单元，其显示与从所述摄像装置接收到的图像信号相对应的图像；生成单元，其在由显示单元显示的图像上指定被摄体的情况下，生成与指定所述被摄体的位置相关的位置信息；以及通信单元，其从所述摄像装置接收图像信号以及向图像信号赋予的赋予信息，在由所述显示单元显示的图像上指定被摄体的情况下，所述通信单元将所述位置信息发送给所述摄像装置，并且所述通信单元将向与在指定被摄体时显示的图像相对应的图像信号赋予的赋予信息发送给所述摄像装置，其中，所述摄像装置基于所述位置信息以及根据通信时滞所选择的图像信号，来从在所选择的图像信号之后生成的图像信号中指定被摄体的第一追踪区域，所述通信时滞是基于所述赋予信息而计算的。

根据本发明的另一方面，提供了一种摄像装置的控制方法，所述摄像装置具有用于对拍摄的图像进行光电转换以生成表示所述图像的图像信号的摄像单元，所述摄像装置适于与所述摄像装置外部的远程控制装置一起使用，所述控制方法包括以下步骤：发送所生成的图像信号；当在由所述远程控制装置的显示单元显示的图像上指定被摄体时，从所述远程控制装置接收该被摄体的位置信息；接收向与在指定被摄体时显示的图像相对应的图像信号赋予的赋予信息；基于接收到的赋予信息计算通信时滞；在预定时段期间存储由所述摄像单元生成的图像信号；以及基于接收到位置信息时计算的通信时滞选择存储的图像信号；以及基于所选择的图像信号以及从所述远程控制装置接收到的位置信息，从在所选择的图像信号之后生成的图像信号中指定被摄体的第一追踪区域。

根据本发明的另一方面，提供了一种远程控制装置的控制方法，所述远程控制装置适于与该远程控制装置外部的摄像装置一起使用，所述控制方法包括以下步骤：接收由所述摄像装置生成的图像信号以及向图像信号赋予的赋予信息；在显示单元上显示与从所述摄像装置接收到的图像信号相对应的图像；当在由所述显示单元显示的图像上指定被摄体时，生成与指定该被摄体的位置相关的位置信息；当在由所述显示单元显示的图像上指定被摄体时，向所述摄像装置发送所述位置信息；以及向所述摄像装置发送向与在指定被摄体时显示的图像相对应的图像信号赋予的赋予信息，其中，所述摄像装置基于所述位置信息以及根据通信时滞所选择的图像信号，来从在所选择的图像信号之后生成的图像信号中指定被摄体的第一追踪区域，所述通信时滞是基于所述赋予信息而计算的。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是例示本发明各实施例中的摄像装置及远程控制终端的结构的框图。

图2A是例示本发明各实施例中的摄像装置中进行的处理的流程图。

图2B是例示本发明各实施例中的远程控制终端中进行的处理的流程图。

图3A是例示在进行实施例1中的远程控制期间摄像装置中进行的处理的流程图。

图3B是例示在进行实施例1中的远程控制期间远程控制终端中进行的处理的流程图。

图4是例示在实施例1中的摄像装置中进行的追踪开始处理的流程图。

图5是例示本发明的各实施例中的摄像装置中进行的追踪继续处理的流程图。

图6例示了当通过远程控制终端作出追踪命令时在包括摄像装置和远程控制终端的系统中发生的问题。

图7例示了在包括摄像装置和远程控制终端的系统中在本发明的实施例1中指定追踪被摄体的方法。

图8A是例示在实施例2中进行远程控制的期间在摄像装置中进行的处理的流程图。

图8B是例示在实施例2中进行远程控制的期间在远程控制终端中进行的处理的流程图。

图9是例示在实施例2中在摄像装置中进行的追踪开始处理的流程图。

图10A是例示在实施例3中在进行远程控制期间在摄像装置中进行的处理的流程图。

图10B是例示在实施例3中在进行远程控制期间在远程控制终端中进行的处理的流程图。

图11是例示在实施例3中在摄像装置中进行的追踪开始处理的流程图。

图12A是例示在实施例1的变型例中在进行远程控制期间在摄像装置中进行的处理的流程图。

图12B是例示在实施例1的变型例中在进行远程控制期间在远程控制终端中进行的处理的流程图。

图13是例示在实施例1的变型例中在摄像装置中进行的追踪开始处理的流程图。

图14是例示在实施例1的变型例中的图案匹配处理的流程图。

图15例示了在包括摄像装置和远程控制终端的系统中在实施例1的变型例中指定追踪被摄体的处理。

具体实施方式

<实施例1>

在下文中，将参照附图来描述本发明的实施例1。以下描述的实施例是实现本发明的手段的示例，并且可以根据适用本发明的装置的结构以及各种条件被任意修改或改变。因此，本发明并不限于以下实施例。

图1是例示本发明实施例中配备有图像处理功能的摄像装置以及配备有远程(外部)操作摄像装置的功能的远程控制终端(远程控制装置、或通信装置)的结构的框图。

如图1中所示，根据本实施例的照相机系统包括照相机10和远程控制终端20。通过分别包括摄像侧通信器169(摄像侧通信单元)和远程控制侧通信器241(远程控制侧通信单元)的照相机10和远程控制终端20，可以在它们之间发送和接收信息。

首先，将描述照相机(摄像装置)10的结构。照相机10被构造为使得通过摄像镜头11来获得图像信号。照相机10包括摄像元件(CMOS)121，CDS/AGC 122，定时生成器(TG)123以及图像输入控制器124。照相机10还包括追踪信号处理器125和被摄体区域检测器126。照相机10还包括变倍透镜驱动器131，光阑驱动器132，聚焦驱动器133，操作部134以及系统控制器14。照相机10还包括总线15、记录介质控制器161、记录介质162、显示控制器163、显示器164、AF检测器165、SDRAM 166、ROM 167、闪存ROM 168、摄像侧通信器169、以及偏差(deflection)检测器17。

系统控制器14用作综合控制整个照相机的操作的控制器。系统控制器14基于来自操作部134的输入、根据预定控制程序来控制各个部分。

在经由总线15连接的ROM 167中，存储有由系统控制器14执行的控制程序以及控制需要的各种数据。在经由总线15连接的闪存ROM 169中，存储有与照相机10的操作相关的诸如用户设置信息的各种设置信息。经由总线15连接的SDRAM 166用作针对系统控制器14的运算工作区，并且用作存储图像数据的临时存储区。以这种方式，在本发明中，SDRAM 166用作用于将摄像元件121摄取的图像信号存储预定时间段的存储器。

摄像镜头(摄像光学系统)11包括固定第一透镜单元111、变倍透镜112、光阑113、固定第二透镜单元114、以及聚焦补偿透镜115。

变倍透镜112通过被变倍透镜驱动器131驱动来沿摄像光学系统的光轴前后移动。在该实施例中，前侧意味着向着被摄体侧，后侧意味着向着图像侧。聚焦补偿透镜115通过被聚焦驱动器133驱动来沿摄像光学系统的光轴前后移动。

系统控制器14控制变倍透镜驱动器131以及聚焦驱动器133以控制变倍透镜112的位置以及聚焦补偿透镜115的位置，并进行摄像镜头11的变焦以及聚焦。

光阑113被构造为具有例如虹膜光阑，并且通过光阑驱动器132驱动来操作。系统控制器14控制光阑驱动器132以控制光阑113的孔径量(F数)，并控制至摄像元件121的入射光量。

各摄像元件(摄像设备)121是被构造为具有CMOS传感器或CCD传感器的光电转换元件(光电二极管)。通过摄像镜头11在摄像元件121的光接收面上形成的被摄体图像通过光电二极管被转换成与入射光量对应的信号电荷。根据来自系统控制器14的命令、基于从TG 123施加的驱动脉冲，从摄像元件121顺序读取各光电二极管中累积的信号电荷作为与所述信号电荷对应的电压信号(图像信号)。在本实施例中，CMOS传感器用作摄像元件。然而，也可以使用诸如CCD传感器的其他结构的摄像元件。

CDS/AGC 122是用于去除从摄像元件121输出的图像信号中包括的复位噪声(低频)的相关双采样电路(CDS)以及用于放大图像信号并且用于将图像信号控制为一定大小的电平的AGC电路。CDS/AGC 122对从摄像元件121输出的图像信号进行相关双采样处理并且放大图像信号。

图像输入控制器124输入从CDS/AGC 122输出的图像信号并且将所述图像信号存储在SDRAM 166中。SDRAM 166中存储的图像信号要通过显示控制器163被显示在显示器164中。在图像信号要被存储的模式下，图像信号通过存储介质控制器161被存储在存储介质162中。在通过远程控制终端20的远程控制时，图像信号通过摄像侧通信器169被发送到远程控制终端20中的远程控制侧通信器241(接收器)。在后述的实施例1的变型例中，图像信号在SDRAM 166中被存储与通信延迟时间对应的时长。这将在实施例1的变型例的描述中被详细说明。

系统控制器14中的追踪图像生成器141输入SDRAM 166中存储的图像信号，并且如果通过操作部134给出追踪命令，则生成追踪图像(追踪图像信号)。在本实施例中，触摸屏是操作部134之一，以显示图像上的触摸的坐标为中心的预定区域为追踪图像。替代使用触摸屏，可以采用通过操作操作键来设置要追踪的区域或区域自身的中心坐标的系统。生成的追踪图像信号被存储在SDRAM 166中。在后述的实施例1的变型例中，如果从远程控制终端给出追踪命令，则追踪图像生成器141可以基于由远程控制终端20中的远程控制侧追踪图像生成器211生成的坐标信息、由过去的图像信号生成追踪图像信号。这也将在实施例1的变型例的描述中被详细说明。

追踪信号处理器125根据来自系统控制器14的命令从SDRAM 166输入追踪图像信号，并由追踪图像信号生成包括色彩信息的直方图以及亮度信息的直方图的特征(特征信息)。

关于要被输入到追踪信号处理器125的图像信号，可以输入由稍后将描述的远程控制终端20中的远程控制侧追踪图像生成器211生成的(追踪)图像信号。稍后将对此进行详细描述。

被摄体区域检测器126基于上述特征值对当前正被摄取的图像信号进行搜索处理以搜索追踪被摄体(目标被摄体)，并指定在摄像画面中的预定区域中是否存在与追踪被摄体对应的被摄体。如果追踪被摄体存在，则基于被摄体存在的位置坐标来决定追踪区域并且其结果被发送到系统控制器14以进行AF控制等。被摄体存在的位置坐标被存储在SDRAM166中，通过在下次以及之后检测追踪被摄体区域时利用该信息，要进行搜索处理以搜索追踪被摄体的区域可以被限制。当指定追踪被摄体区域时，每次被摄体存在的位置坐标被更新时，要存储在SDRAM 166中的位置坐标被更新。

这样，在本实施例中，上述追踪信号处理器125和被摄体区域检测器126用作用于指定追踪被摄体的追踪区域的指定部分。

当系统控制器14接收到上述追踪区域时，系统控制器14向AF检测器165发送追踪区域信息。基于追踪区域信息，AF检测器165将摄像画面中包括追踪被摄体的位置设置为要用于焦点检测的区域(焦点检测范围)。接着，AF检测器165计算设置的焦点检测范围的焦点水平并将计算的焦点水平发送到系统控制器14。接收到结果的系统控制器14根据接收的焦点水平来控制聚焦驱动器133，并且聚焦驱动器133控制聚焦补偿透镜115。系统控制器14还基于追踪区域来生成与该区域相关的直方图并控制光阑驱动器132，使得基于直方图来进行在闪光ROM 168中设置的适当的曝光，以进行针对追踪区域的AE控制。

摄像侧通信器(第一通信器)169进行与稍后将描述的远程控制终端20中的远程控制侧通信器241的通信，并且发送和接收各种信息。稍后将对要通信的信息的内容进行描述。

接着，将描述远程控制终端20的结构。远程控制终端20包括远程控制侧系统控制器21以及远程控制侧操作部22。远程控制终端20还包括总线23、远程控制侧通信器241、远程控制侧显示控制器242、远程控制侧显示器243、远程控制侧SDRAM 244、远程控制侧ROM245以及远程控制侧闪存ROM 246。远程控制终端20被构造为使得通过远程控制侧通信器241(接收器与发送器)来进行与照相机10中的摄像侧通信器169之间的摄像信号以及诸如照相机控制信息的信息的发送和接收。

远程控制侧系统控制器21用作综合控制整个远程控制终端的操作的控制器。远程控制侧系统控制器21基于来自远程控制侧操作部22的输入根据预定控制程序来控制各个部分，还生成用于控制照相机10的各种控制信息。

在经由总线23连接的远程控制侧ROM 245中，存储有通过远程控制侧系统控制器21执行的控制程序以及控制所需的各种数据等。在远程控制侧闪存ROM 246中，存储有与远程控制终端20的操作相关的诸如用户设置信息的各种设置信息。

远程控制侧SDRAM 244用作针对远程控制侧系统控制器21的运算工作区并且还用作存储接收的图像信号等的临时存储区。

远程控制侧显示控制器242在远程控制侧显示器243中显示对应于通过远程控制侧通信器241从摄像侧通信器169接收的接收图像信号的图像，所接收的信号被存储在远程控制侧SDRAM 244中。

接着，将详细描述远程控制侧通信器241与摄像侧通信器169之间的通信。每次摄像元件121摄取图像时，摄像侧通信器169在没有从远程控制侧通信器241接收到确认的情况下，继续向远程控制侧通信器241发送图像信号。远程控制侧通信器(第二通信器)241在每次接收到图像信号时将图像信号存储在远程控制侧SDRAM 244中，并且通过远程控制侧显示控制器242将图像信号显示在远程控制侧显示器243中。如果在远程控制侧显示器243中的显示完成前从摄像侧通信器169接收到新图像信号，则新接收的图像信号被忽视并且远程控制侧显示控制器242继续正在执行的当前显示处理。以这种方式，在远程控制终端20中进行流媒体回放。远程控制侧系统控制器21通过远程控制侧通信器241向照相机10发送与照相机10相关的控制信息以及设置改变信息。系统控制器14根据由摄像侧通信器169接收的控制信息来控制照相机10并且通过根据设置改变信息改变闪存ROM 168中的各种设置信息来改变照相机设置。例如，如果通过远程控制侧系统控制器21进行变焦操作，则系统控制器14通过通信接收与变焦相关的控制信息(与变焦方向以及变焦镜头驱动量相关的信息)。然后，系统控制器14基于控制信息来控制变倍透镜驱动器131以进行变焦。另外，例如，如果通过远程控制侧系统控制器21改变了记录图像质量，则系统控制器14通过通信接收与记录图像质量相关的设置改变信息(记录图像质量改变信息)并且通过将该信息重写入闪存ROM 168来改变记录图像质量设置。

以这种方式，在照相机10与远程控制终端20之间通信信息，并且可以在远程控制终端20中执行图像信号的确认以及照相机10的控制。

当照相机10通过摄像侧通信器169发送由摄像元件121以重复方式摄取的摄像信号(图像信号)时，系统控制器14具有的时间信息也通过附加到图像信号来被发送。远程控制终端20在通过远程控制显示控制器242在远程控制侧显示器243中的显示完成时，通过远程控制侧通信器241将附加到显示的图像信号的时间信息(附加信息)与发送到照相机10的上述控制信息相分离地发送回到照相机10。由此，照相机10同时发送摄取的图像信号以及当图像信号被发送时的时间信息，并且每次远程控制侧控制器242进行接收的图像信号的显示时远程控制终端20将该时间信息发送回给照相机10。当照相机10从远程控制侧通信器241接收到上述时间信息时，系统控制器14(计算器)由照相机10中的当前时间信息与接收的时间信息之间的差来计算照相机10与远程控制终端20之间的通信延迟时间。计算出的通信延迟时间被存储在SDRAM 166中。

接着，将描述从在远程控制终端20中进行被摄体追踪命令时到摄像装置进行追踪时的操作流程。如果通过远程控制侧操作部22发出追踪命令，则远程控制侧系统控制器21中的远程控制侧追踪图像生成器(提取器)211输入远程控制侧SDRAM 244中存储的图像信号(第一图像信号)，并生成追踪图像(第二图像信号)。在本实施例中，远程控制侧操作部22是触摸屏，并且中心位于图像信号中被触摸的坐标处的预定区域是追踪图像。远程控制侧操作部22可以不是触摸屏，并且可以采用追踪区域的中心坐标或者区域自身可以通过操作键来设置的系统。所生成的追踪图像由远程控制侧通信器241根据来自远程控制侧系统控制器21的命令发送到摄像侧通信器169。

当从摄像侧通信器169接收到追踪图像时，系统控制器14假设追踪命令从远程控制终端20被给出并且将追踪图像存储在SDRAM 166中，同时，追踪信号处理器125输入追踪图像。如上所述，追踪信号处理器125由追踪图像信号生成包括色彩信息的直方图以及亮度信息的直方图的特征(特征信息)。如上所述，被摄体区域检测器126基于特征对当前正被摄取的图像信号(第三图像信号)进行搜索处理以搜索追踪被摄体，并指定在摄像画面中的预定区域中是否存在对应于追踪被摄体的被摄体。如果在预定区域中存在追踪被摄体，则基于追踪被摄体存在的位置坐标来决定追踪区域并且其结果被发送到系统控制器14以进行AF和AE控制(进行聚焦或调节曝光)。追踪被摄体存在的位置坐标被存储在SDRAM 166中，通过在下次以及之后检测追踪被摄体区域时利用该信息，要进行搜索处理以搜索追踪被摄体的区域能够被限制。当指定追踪被摄体区域时，每次追踪被摄体存在的位置坐标被更新时，要存储在SDRAM 166中的位置坐标被更新。

因此，通过在远程控制终端20中生成追踪图像并将其发送到照相机10以及通过照相机10基于追踪图像指定追踪被摄体存在的区域，发出基于远程控制终端20的追踪命令。在这种实施例中，能够利用来自远程控制终端20的追踪命令来进行精确的追踪而不需要考虑成为问题的通信时滞。

接着，将详细描述被摄体追踪功能。当通过操作部134或远程控制侧操作部22给出追踪被摄体的追踪(开始)命令时，追踪图像生成器141或远程控制侧追踪图像生成器211通过由追踪被命令时的位置信息定义预定范围来生成追踪图像。在本实施例中，通过定义中心在触摸屏中的触摸坐标的预定范围来生成追踪图像。预定范围需要为至少使得能够生成不频繁引起追踪控制中的误追踪的特征(特征信息)的大小。预定范围可以是固定范围或者可以采用预定范围可以根据用户设置等改变的系统。针对生成的追踪图像，通过追踪信号处理器125生成色彩信息的直方图以及亮度信息的直方图，并且这些直方图为追踪图像的特征。在本实施例中，生成色彩及亮度的直方图，然而，可以仅生成任意一者。在被摄体区域检测器126中，由当前正被摄取的图像信号生成具有与追踪图像大小类似大小的图像作为追踪候选图像。与追踪图像类似地，针对追踪候选图像通过追踪信号处理器125生成色彩和亮度的直方图，并且这些直方图为追踪候选图像的特征。

被摄体区域检测器126计算追踪图像的特征与追踪候选图像的特征之间的各色彩信息的差以及亮度信息的差，对计算出的值的总和进行计算并存储结果。同时，追踪候选图像的位置信息也被存储。另外，通过由当前正被摄取的图像信号顺序生成追踪候选图像来进行匹配，计算各追踪候选图像的特征中的要素与追踪图像的特征中的要素之间的差，并计算所述差的总和。特征中的要素之间的差的总和的最小值、以及对应于该最小值的追踪候选图像的位置信息，以通过被利用来重写预先存储的信息的方式来被存储。如果最后获得的特征中的要素之间的差的总和小于预定值，则将对应于该总和的追踪候选图像指定为追踪被摄体，并且根据存储的位置信息来将预定区域设置为追踪区域。这里，与特征之间的差的总和相关的预定值，在基于允许追踪想要的被摄体的比率以及允许不误追踪不想要的被摄体的比率来执行追踪操作的情况下被决定。因此，追踪区域被决定并且追踪开始。

接着，将描述追踪继续方法。关于用于继续追踪的信息，将追踪图像以及追踪区域被设置的位置信息存储在SDRAM 166中。当继续追踪时，在每次进行摄像时，如上所述通过被摄体区域检测器126和追踪信号处理器125基于存储在SDRAM 166中的追踪图像来进行摄像信号与追踪图像之间的匹配。此时，基于存储的追踪区域被设置的位置信息，要进行匹配的摄像信号的范围被限制。通过在追踪区域被设置的位置为中心的预定范围内进行匹配，能够避免由于进行不必要范围的匹配引起的误追踪，并且能够缩短运算时间。通过设计在从追踪继续处理被进行起直到下一追踪继续处理要被进行为止的时间段中想要追踪的被摄体在摄像画面内能够移动的最大距离，要进行匹配的预定范围被设置到如果被摄体移动最大距离则能够覆盖被摄体的运动的范围。如果该范围大，则即使被摄体移动大的距离被摄体也可以被追踪，但是可能频繁发生误追踪。如果该范围小，则如果被摄体移动大的距离则被摄体无法被追踪，但是不频繁发生误追踪。

当再次进行匹配以继续追踪时，如上所述，如果最后获得的特征中的要素之间的差的总和小于预定值，则确定对应于最后获得的总和的追踪候选图像为追踪被摄体，并且由追踪候选图像的位置信息利用预定区域来更新追踪区域。另外，利用此时追踪候选图像的位置信息来重写SDRAM 166中存储的位置信息以进行更新。在下一追踪继续处理时，可以通过利用更新的位置信息来设置适当的匹配区域。以这种方式，执行追踪的继续。不需要针对每次摄像进行追踪继续处理。例如，可以控制为使得每隔预定摄像次数来进行追踪继续处理。由于追踪继续处理之间的摄像间隔较长，因此如果被摄体移动大的距离，则被摄体无法被追踪。然而，处理时间能够被削减。

这里，将描述追踪的终止。如果当追踪正在进行中时从操作部134或远程控制侧操作部22给出追踪终止命令，则系统控制器14终止追踪并返回到非追踪操作。例如，当追踪被终止时，针对追踪区域设置的AF区域返回到通常设置的AF区域。类似地，如果在追踪正在进行中时经过了预定时间段而不能指定想要追踪的被摄体，则追踪终止。如果不能指定追踪被摄体的预定待机时间段长，则再次指定追踪被摄体以及重新开始追踪的可能性高，但是要返回到通常状态的处理要被延迟。如果不能指定追踪被摄体的预定待机时间段短，则将发生上述情况的相反情况。

如上所述，进行开始、继续以及终止被摄体的追踪的处理。

接着，参照图2A及图2B至图5，将详细描述本实施例中的具有上述结构的照相机10和远程控制终端20的操作。

图2A是例示实施例1中的在照相机10中的系统控制器14中进行的照相机的远程控制处理的流程图。图2B是例示实施例1中的在远程控制终端20中的远程控制控制器21中进行的照相机的远程控制处理的流程图。图2A的流程图例示了在照相机的远程控制模式期间照相机10的操作，并且各处理用“SC”表示。图2B的流程图例示了在照相机的远程控制模式期间远程控制终端20的操作，并且各处理用“SR”表示。

首先，将描述在照相机中进行的处理。步骤SC001表示当照相机不被远程控制时照相机的控制(下文中，称为照相机的通常控制)，并且在该控制被执行后处理进行到步骤SC002。当照相机在通常控制下时不进行远程控制，因此将省略通常控制的详情。然而，在通常控制下，照相机的各种控制、所摄取信号以及追踪命令的显示仅在照相机中进行。在步骤SC002中，确定是否要执行照相机的远程控制模式。

如果在步骤SC002中给出执行照相机的远程控制模式的命令，则处理进行到步骤SC003，如果在步骤SC002中未给出该命令，则处理进行到步骤SC001。在步骤SC003中，确定照相机的远程控制模式是否被取消。如果确定照相机的远程控制模式未取消，则处理进行到步骤SC004，如果确定照相机的远程控制模式被取消，则处理进行到步骤SC001。如果在响应于执行照相机的远程控制模式的命令正在建立与远程控制终端20的通信的同时照相机的远程控制模式被取消，则进行步骤SC001中的照相机的通常控制。

在步骤SC004中，建立与远程控制终端20的通信。通信建立命令被发送到远程控制终端20，如果返回来从远程控制终端20接收到通信建立使能信息，则假设通信被建立。然后，通信建立完成信息被发送到远程控制终端20并且处理进行到步骤SC005。如果由于对发送到远程控制终端20的通信建立命令的响应超时而无法建立通信，则处理返回到步骤SC003并且再次确定照相机的远程控制模式是否被取消。

在步骤SC005中，照相机设置信息被发送到远程控制终端20，从而共享在与远程控制终端建立通信时的照相机设置。在执行步骤SC005的处理后，处理进行到步骤SC006。另外，虽然以下将详细描述，但是照相机设置信息在从远程控制终端20向照相机10给出设置改变命令时还被发送到远程控制终端20以共享该设置。在步骤SC006中，确定当前照相机模式是摄像模式还是回放模式。如果确定当前照相机模式是摄像模式，则处理进行到步骤SC007，如果确定当前照相机模式是回放模式，则处理进行到步骤SC008。稍后将参照图3A和图3B描述步骤SC007。

在步骤SC008中，进行回放模式下的处理。记录的视频在照相机中回放，并且回放的视频还被使得在远程控制终端20中显示。另外，通过远程控制终端20针对照相机10执行想要回放的视频的选择以及视频回放期间的各种命令(回放、停止、快进等)。详情将被省略。在执行步骤SC007或步骤SC008的处理之后，处理进行到步骤SC009。在步骤SC009中，确定电源是否关闭。如果确定电源未关闭，则处理进行到步骤SC010，如果确定电源关闭，则处理结束。在步骤SC010中，确定是否通过远程控制终端20给出照相机的远程控制模式的取消命令。如果确定未给出照相机的远程控制模式的取消命令，则处理进行到步骤SC011。如果确定给出照相机的远程控制模式的取消命令，则处理返回到步骤SC001并且进行照相机的通常控制(不被远程控制)。

在步骤SC011中，确定是否通过远程控制终端20给出了在摄像模式与回放模式之间的切换命令。如果确定给出了模式切换命令，则处理进行到步骤SC012，如果确定没有给出模式切换命令，则处理返回到步骤SC005。在步骤SC012中，如果当前模式是摄像模式，则照相机设置被改变至回放模式，如果当前模式是回放模式，则照相机设置被改变至摄像模式，之后，处理返回到步骤SC005。在步骤SC005中，与远程控制终端共享摄像模式与回放模式之间的切换以及在步骤SC007中进行的照相机设置信息的改变并且在所设置的模式下进行操作。

接着，将描述远程控制终端中进行的处理。步骤SR001表示当不进行照相机的远程控制时远程控制终端的控制(下文中，称为远程控制终端的通常控制)。因为在远程控制终端的通常控制中不进行远程控制，所以省略详情。然而，执行远程控制终端中配备的其他功能(互联网、音乐回放、视频回放等)。在步骤SR002中，确定是否执行照相机的远程控制模式。如果在步骤SR002中确定执行照相机的远程控制模式，则处理进行到步骤SR003，如果确定不执行，则远程控制终端继续在步骤SR001中执行的各种处理。在步骤SR003中，确定照相机的远程控制模式是否被取消。如果确定远程控制模式未被取消，则处理进行到步骤SR004，如果确定远程控制模式被取消，则处理返回到步骤SR001。

在步骤SR004中，建立与照相机10的通信。如果从照相机10接收到通信建立命令，则向照相机10发送通信建立使能信息，如果相对的再次从照相机10接收到通信完成信息，则假设通信被建立并且处理进行到步骤SR005。如果未从照相机10接收到通信建立命令以及如果由于超时无法建立通信，则处理返回到步骤SR003并且再次确定照相机的远程控制模式是否被取消。如果确定给出照相机的远程控制模式的取消命令，则处理返回到步骤SR001并且重新开始远程控制终端20的各种控制。在步骤SR005中，为了将通信被建立时照相机10的设置反映在远程控制终端中，从照相机10接收设置信息以在远程控制终端中设置与接收的设置信息类似的设置。

例如，接收照相机的当前聚焦模式是AF还是MF并且设置相同的设置，使得进行诸如在AF模式时将用于手动控制聚焦的图标灰视化的控制。在执行步骤SR005的处理之后，处理进行到步骤SR006。

另外，尽管以下将详细描述，但是当从远程控制终端20向照相机10命令设置改变时，为了共享这种设置，照相机10的设置信息也被再次接收并且设置被反映在远程控制终端20中。在步骤SR006中，确定当前照相机模式是摄像模式还是回放模式。如果确定当前照相机模式是摄像模式，则处理进行到步骤SR007，如果确定当前照相机模式是回放模式，则处理进行到步骤SR008。

将参照图3A和图3B在以下描述步骤SR007。在步骤SR008中，进行回放模式的处理。通过远程控制终端20针对照相机10执行想要回放的视频的选择以及视频回放期间的各种命令(回放、停止、快进等)，同时，显示在照相机10中回放的视频。这里，详情被省略。在执行步骤SR007或步骤SR008的处理后，处理进行到步骤SR009。

在步骤SR009中，确定电源是否关闭。如果确定电源未关闭，则处理进行到步骤SR010，如果确定电源关闭，则处理结束。在步骤SR010中，确定是否在远程控制终端20中执行了照相机的远程控制模式的取消命令。如果确定执行了照相机的远程控制模式的取消命令，则处理进行到步骤SR011，如果确定未执行照相机的远程控制命令，则处理进行到步骤SR012。

在步骤SR011中，照相机的远程控制模式的取消命令被发送到照相机10并且同时处理返回到步骤SR001中以进行远程控制终端的通常控制。在步骤SR012中，确定是否在远程控制终端20中执行了摄像模式与回放模式之间的切换命令。如果确定执行了模式切换命令，则处理进行到步骤SR013，如果确定未执行模式切换命令，则处理返回到步骤SR005并且远程控制终端继续照相机的远程控制模式的处理。在步骤SR013中，照相机模式的切换命令被发送到照相机10并且处理返回到步骤SR005。在步骤SR005中，与远程控制终端共享摄像模式与回放模式之间的切换并且在设置的模式下执行操作。

将参照图3A和图3B所示的流程图来描述图2A中的步骤SC007的远程控制期间的照相机的控制以及步骤SR007的远程控制期间的远程控制终端的控制。

图3A中的流程图例示了远程控制期间的照相机的控制，图3B中的流程图例示了远程控制期间的远程控制终端的控制。

首先，将描述照相机中进行的处理。在步骤SC101中，图像信号被发送到远程控制终端20并且处理进行到步骤SC 102。在照相机侧，图像信号在远程控制终端20不确认图像信号的接收的情况下被发送。在步骤SC102中，确定是否通过远程控制终端20改变了照相机设置。如果确定照相机设置被改变，则处理进行到步骤SC103，如果确定照相机设置没有改变，则处理进行到步骤SC104。在步骤SC103中，通过远程控制终端20改变的照相机设置被反映在照相机10中并且处理进行到步骤SC104。例如，如果记录图像质量在远程控制终端中被改变，则在步骤SC103中改变的记录图像质量的设置被反映在照相机中。

在步骤SC104中，确定是否通过远程控制终端20给出了追踪开始命令。如果确定给出了追踪开始命令，则处理进行到步骤SC105，如果确定未给出，则处理进行到步骤SC108。在本实施例中，如果接收到追踪图像，则假设给出了追踪开始命令。在步骤SC105中，基于接收的追踪图像来进行追踪开始处理并且处理进行到步骤SC106。稍后将参照图4对步骤SC105的处理进行描述。在步骤SC106中，确定在步骤SC105中追踪是否成功。如果确定追踪不成功，则处理进行到步骤SC107，如果确定追踪成功，则处理进行到步骤SC112并切换至追偿处理以外的另一处理。在步骤SC107中，假设追踪不成功，则不可追踪信息被发送到远程控制终端20。基于在步骤SC105中发出的用1比特来表示追踪的成功/不成功的不可追踪信息，来确定追踪是否成功。

接着，在步骤SC108中，该步骤SC108作为如果在步骤SC104中确定没有给出追踪开始命令则处理进行到的步骤，确定是否追踪当前正被进行。如果确定追踪正被进行，则处理进行到步骤SC109。如果否，则处理进行到步骤SC112并且切换至除追踪处理外的另一处理。在步骤SC109中，该步骤SC109作为当追踪当前正被进行时处理进行到的步骤，进行追踪继续处理并且处理进行到步骤SC110。稍后将参照图5来描述追踪继续处理。

在步骤SC110中，确定在步骤SC109中是否存在不可追踪信息或者是否从远程控制终端20命令了追踪停止。如果以上的任意一者应用，则处理进行到步骤SC111。如果否，则处理进行到步骤SC112并且切换到除追踪处理外的另一处理。在步骤SC111中，进行追踪终止处理(追踪停止处理)，然后，处理进行到步骤SC112并且切换到除追踪处理外的另一处理。如果追踪无法被继续，即追踪被摄体无法被指定，或者如果用户停止追踪，则追踪终止并且照相机返回到通常摄像状态。在本实施例中，通常摄像状态是用于调节AF和AE的框被设置在画面中心而不是在追踪区域的状态。通常摄像状态不限于本实施例的结构，可以采用其他结构，只要其为未进行追踪的状态即可。

接着，在步骤SC112中，该步骤SC112为在进行与追踪相关的处理后处理进行至的步骤，确定是否命令了通过远程控制终端20的照相机控制。如果确定命令了通过远程控制终端20的照相机控制，则处理进行到步骤SC113，如果否，则处理进行到步骤SC114。在步骤SC113中，根据来自远程控制终端20的照相机控制命令来控制照相机并且处理进行到步骤SC114。作为在步骤SC112和步骤SC113中进行的处理的示例，如果远程控制终端20命令进行变焦，则根据变焦命令来进行变焦。在步骤SC114中，通过照相机自身进行照相机设置和控制并且处理结束。在步骤SC114中，接受通过操作照相机自身进行的照相机设置中的改变以及照相机控制命令，并且根据其来控制照相机10。此时还进行无需遵照用户命令进行的诸如AF的照相机控制。这里，省略详情。

接着，将描述远程控制终端中进行的处理。在步骤SR101中，开始从照相机10的图像信号的接收并且处理进行到步骤SR102。尽管在后述的步骤SR114中进行接收的图像信号的显示，但是在假设在前一远程控制期间在远程控制终端的控制下在步骤SR114中已经显示图像信号的情况下来描述在下文中描述的从步骤SR102到步骤SR113的处理。在步骤SR102中，确定是否通过远程控制终端20中的用户命令了照相机设置的改变。如果确定命令了设置改变，则处理进行到步骤SR103，如果否，则处理进行到步骤SR104。在步骤SR103中，照相机设置的改变信息被发送到照相机10。

接着，在步骤SR104中，确定是否在远程控制终端20中命令了追踪开始。如果确定命令了追踪开始，则处理进行到步骤SR105，如果否，则处理进行到步骤SR109。在本实施例中，在远程控制终端20中显示图像信号，同时，如果在可以进行触摸操作的触摸屏上触摸了被摄体，则命令追踪开始。在步骤SR105中，由远程控制终端20中当前正被显示的图像信号提取并生成追踪被摄体的追踪图像并且处理进行到步骤SR106。追踪图像的提取范围是中心在被摄体被触摸的触摸坐标的预定范围。在步骤SR106中，追踪图像被发送到照相机10并且处理进行到步骤SR107。本实施例涉及通过发送追踪图像来远程进行追踪开始命令。传统上，在被摄体位置信息作为用于远程命令开始追踪的信息被通信(发送)的情况下，如上所述因为由于通信时滞想要追踪的被摄体不在所通信(发送)的被摄体位置，所以误追踪成了问题。鉴于这种问题，在本实施例中，追踪图像被发送并且通过进行图案匹配追踪被摄体被指定。因此，用户远程指定的被摄体能够被精确追踪。

接着，在步骤SR107中，确定是否接收到不可追踪信息，当由于作为在照相机侧在步骤SC105中进行的追踪开始处理的结果图案匹配失败而引起追踪不成功时从照相机10发送该不可追踪信息。如果确定接收到不可追踪信息，则处理进行到步骤SR108，如果否，则处理进行到步骤SR109。在步骤SR108中，为了向用户通知在照相机侧追踪不成功，显示追踪不成功的指示并且处理进行到步骤SR109。通过显示追踪不成功的指示，用户可以被促使再次进行追踪命令。在步骤SR109中，确定是否通过远程控制终端20命令了追踪终止。如果确定命令了追踪终止，则处理进行到步骤SR110，如果否，则处理进行到步骤SR111。追踪终止命令是当追踪当前正被进行时用户希望终止追踪时进行的操作。通过用户触摸远程控制终端20中显示的追踪停止图标，进行追踪终止命令。在步骤SR110中，追踪终止命令被发送到照相机10并且处理进行到步骤SR111。

在步骤SR111中，确定是否命令了基于远程控制终端20的照相机控制。如果确定命令了基于远程控制终端20的照相机控制，则处理进行到步骤SR112，如果否，则处理进行到步骤SR113。在步骤SR112中，关于在远程控制终端20中进行的照相机控制的信息被发送到照相机并且处理进行到步骤SR113。例如，如果通过远程控制终端20进行了变焦，则使得进行变焦的控制信息被发送到照相机10。在步骤SR113中，确定是否完成了在步骤SR101中开始接收的图像信号的接收。如果确定接收完成，则处理进行到步骤SR114，如果确定接收未完成，则处理进行到步骤SR115。在步骤SR114中，进行完成接收的图像信号的显示处理并且处理结束。在步骤SR115中，从步骤SR102至步骤SR112针对照相机10进行的各种命令信息被初始化(在不存在命令的状态)，并且处理返回到步骤SR102以从步骤SR102再次进行处理。

虽然每次在照相机侧进行摄像时图像信号被发送到远程控制终端20，但是远程控制终端20不是必须显示全部图像信号，图像信号是否被显示取决于远程控制终端20的处理能力以及电路状况。远程控制终端20的处理能力越低，则图像信号以相对照相机中的显示周期更被延迟的周期来被显示。即使在步骤SR101中开始接收的图像信号继续被接收时，可以在远程控制终端20中进行照相机设置的改变、照相机控制的进行、以及针对当前正被显示的图像的追踪开始命令。即，在步骤SR113中完成接收之前，可以经由步骤SR115的处理进行从步骤SR102到步骤SR112的处理。当图像信号的接收完成时，在步骤SR114中在远程控制终端20中显示图像信号，并且在进行下一远程控制的远程控制终端的控制之后在步骤SR101中再次开始图像信号的接收。当图像信号正再次被接收时，针对当前正被显示的图像信号的各种处理的命令被接受。在步骤SR101中对图像信号的接收的开始阶段，诸如刚好在远程控制开始之后并且尚未显示图像信号时，步骤SR102、步骤SR104、步骤SR107、步骤SR109以及步骤SR111的处理全部被确定为否。以这种方式，各个步骤被跳过，而不接受各种控制命令。在步骤SR114中首次显示图像信号后，接受从步骤SR102至步骤SR112的各种控制命令。

接着，将通过利用图4的流程图来描述图3A中的步骤SC105的追踪开始处理。

在步骤SC201中，从远程控制终端20接收的追踪图像的特征(特征信息)被提取并且处理进行到步骤SC202。在步骤SC202中，从当前正在照相机中被摄取的摄像信号的一部分提取(计算)特征。在步骤SC201中以及在步骤SC202中提取的特征是如上所述的色彩信息的直方图以及亮度信息的直方图。在步骤SC202中从摄像信号提取的部分的大小类似于从远程控制终端20接收的追踪图像的大小。每次处理通过后述的步骤SC208返回到步骤SC202时，通过在摄像信号的预定范围内依次改变要在摄像信号中提取的位置来进行匹配。这里，用于进行匹配的范围越大，则找到追踪被摄体的可能越高，但是误追踪的可能也变高。关于提取位置的改变方法，针对各行改变提取位置，并且当一行的提取完成时，针对接下来一列的行进行提取。当然，可以优先列进行提取。关于提取范围，提取图像可以交叠或者可以不交叠，这可以根据追踪精度来确定。如果提取图像要交叠，例如，在每次偏移1像素来生成提取图像的情况下，因为精确地进行匹配，所以追踪精度提高。另一方面，例如，如果与一个提取图像邻接的范围被设置为另一提取图像使得提取图像不交叠，则用于匹配的计算量被削减，但是追踪精度不太精确。

接着，在步骤SC203中，计算在步骤SC201中提取的特征(特征信息)与步骤SC202中提取的特征之间的差并且处理进行到步骤SC204。在步骤SC204中，确定在步骤SC203中计算的特征之间的差是否小于当前存储的特征之间的差值。如果确定计算的差小于当前存储的差值，则处理进行到步骤SC205，如果否，则处理进行到步骤SC207。如上所述，获得追踪图像与摄像信号的特征之间的差，这里，差越小，匹配越好。因此，在步骤SC204中确定特征之间的差是否目前最小，并且最小值要通过进行后述处理被存储。如果在步骤SC204中尚未保持特征之间的差，则处理不可避免地进行到步骤SC205。

在步骤SC205中，计算出的特征间的差的最小值被存储并且处理进行到步骤SC206。在步骤SC206中，在步骤SC202中提取的摄像信号中的中心位置坐标被存储并且处理进行到步骤SC207。如果追踪被摄体被指定，则该中心位置信息要用于设置追踪区域。尽管在本实施例中使用中心位置坐标，但是无须说，例如，可以使用区域的左上的坐标而不是中心坐标。

接着，在步骤SC207中，确定在步骤SC205中存储的特征之间的差的最小值是否大于预定值以及是否超出用于进行图案匹配的时限(即，用于进行图案匹配的时间是否结束)。如果确定存储的特征之间的最小差值小于预定值或如果确定时间尚未结束，则处理进行到步骤SC208。如果确定存储的特征之间的最小差值大于预定值以及时间结束，则处理进行到步骤SC212。在即使花长时间来进行图案匹配也不出现具有特征之间的小值的图案的情况下，想要追踪的被摄体不在用于进行匹配的范围内的可能性高。因此，针对图案匹配设置时限，并且进行如果特征之间的最小差值大于预定值以及如果经过时限则终止匹配的处理。这种时限可以根据存储的特征之间的最小差值改变，并且可以设置为最小值越大，则时限结束越快。

接着，在步骤SC208中，确定是否针对全部的匹配范围进行了在步骤SC202中进行的图像信号的提取。如果确定针对全部的匹配范围进行了提取，则处理进行到步骤SC209。如果确定未针对全部的匹配范围进行提取，则处理返回到步骤SC202并且照相机继续从步骤SC202到步骤SC207的图案匹配处理。

在步骤SC209中，图案匹配结束并且确定最后存储的特征之间的最小差值是否小于预定值。如果确定最小值小于预定值，则处理进行到步骤SC210，如果否，则处理进行到步骤SC212。在步骤SC210中，在假设追踪被摄体被指定的情况下，中心位于步骤SC208中存储的摄像信号的位置坐标的追踪区域被设置并且处理进行到步骤SC211。在步骤SC211中，从远程控制终端20接收的追踪图像以及摄像信号的位置坐标被存储并且处理结束。存储的追踪图像以及摄像信号的位置坐标在进行后述的追踪继续处理时被使用。在当特征之间的最小差值大于预定值以及用于进行匹配的时间结束时处理进行至的步骤SC212中，假设追踪被摄体未指定并且不可追踪信息被发出，之后，处理结束。当不可追踪信息被发出时，追踪被摄体未被指定的指示在图3A的步骤SC107中被发送到远程控制终端20。

如上所述，追踪被摄体被指定并且通过基于从远程控制终端20接收的追踪图像进行图案匹配来设置追踪区域。当通过远程控制终端20进行追踪命令时，图像信号自身替代指定图像的位置信息被通信(发送)以进行图案匹配。因此，由于通信时滞的被摄体的误追踪能够被避免并且追踪被摄体能够被更精确地指定。通过照相机10针对追踪区域进行诸如AF和AE的控制，能够针对用户希望追踪的被摄体容易地设置优选聚焦和曝光。

接着，将通过利用图5的流程图来描述图3A中的步骤SC109的追踪继续处理。

在步骤SC301中，从在图4所示的追踪开始处理中的步骤SC211中存储的追踪图像提取特征(特征信息)，并且处理进行到步骤SC302。在步骤SC302中，由在图4所示的追踪开始处理中的步骤SC211中或在前述的步骤SC312中存储的位置信息定义用于进行匹配的范围，并且处理进行到步骤SC303。通过将预先匹配的位置信息设为中心来设置匹配范围，可以更容易地指定追踪被摄体。

在步骤SC303中，从在步骤SC302中设置的匹配范围内的摄像信号中提取具有与在步骤SC301中使用的追踪被摄体的大小相同大小的图像，并且从中提取特征，之后，处理进行到步骤SC304。在步骤SC304中，计算在步骤SC301与步骤SC303中提取的特征之间的差，并且处理进行到步骤SC305。在步骤SC305中，确定直到此时计算的特征之间的差是否小于当前存储的特征之间的差值。如果确定计算的差小于当前存储的差值，则处理进行到步骤SC306，如果否，则处理进行到步骤SC308。在步骤SC306中，假设计算出的特征值之间的差最小的情况下，该值被存储并且处理进行到步骤SC307。在步骤SC307中，在步骤SC303中被提取的摄像信号的位置信息被存储，并且处理进行到步骤SC308。

在步骤SC305的确定时，如果在步骤SC306中尚未存储特征之间的最小差值，则处理不可避免地进行到步骤SC306。接着，在步骤SC308中，确定在步骤SC306中存储的特征之间的差的最小值是否大于预定值以及是否用于进行图案匹配的时间结束。如果确定存储的特征之间的最小差值小于预定值或如果确定时间尚未结束，则处理进行到步骤SC309。如果确定存储的特征之间的最小差值大于预定值并且时间结束，则处理进行到步骤SC314。步骤SC308的处理的详情被省略，因为其类似于针对图4的步骤SC207描述的处理。

在步骤SC309中，确定是否针对在步骤SC302中设置的全部匹配范围进行了匹配。如果确定针对全部匹配范围进行了匹配，则处理进行到步骤SC310，如果否，则处理返回到步骤SC303并且继续图案匹配处理。在步骤SC310中，确定在步骤SC306中存储的特征之间的最小差值是否小于作为图案匹配的结果的预定值。如果确定最小差值小于预定值，则处理进行到步骤SC311，如果否，则处理进行到步骤SC314。在步骤SC311中，假设追踪被摄体被指定的情况下，追踪区域被设置为中心为步骤SC307中存储的摄像信号的位置信息的范围并且处理进行到步骤SC312。

在步骤SC312中，在步骤SC311中设置的追踪区域的位置信息被存储并且处理进行到步骤SC313。在下次追踪继续处理期间在步骤SC302中使用在步骤SC312中存储的坐标信息。在步骤SC313中，不可追踪计数器被清零并且处理结束。将在后述的步骤SC314至步骤SC317的描述中说明不可追踪计数器。

以这种方式，通过针对顺序摄取的摄像信号重复进行图案匹配，追踪区域被顺序指定并且追踪继续。接着，在如果特征之间的最小差值大于预定值以及如果用于匹配的时间结束则处理进行至的步骤SC314中，不可追踪计数器被增加并且处理进行到步骤SC315。不可追踪计数器是用于对当追踪继续处理被执行时未能连续指定追踪被摄体的次数进行计数的计数器。在步骤SC315中，确定不可追踪计数器是否表示等于或大于预定次数的值。如果确定不可追踪计数器表示等于或大于预定次数的值，则处理进行到步骤SC316，如果否，则处理进行到步骤SC317。

在步骤SC316中，在假设追踪被摄体不被指定的情况下，不可追踪信息被发出并且处理结束。如果不可追踪信息被发出，则通过图3A中的步骤SC111进行追踪终止处理。在步骤SC317中，照相机切换至追踪控制被暂时终止的状态并且处理结束。追踪控制被暂时终止的状态是不针对追踪控制区域进行照相机控制并且诸如AF和AE的控制被暂时终止的状态。

这里，将详细描述步骤SC314至步骤SC317。在追踪继续处理时，存在即使追踪被摄体暂时无法被指定也可以再次被指定的可能。例如，可以联想到过去正被追踪的被摄体在一度位于框外后再次返回到框内的情况或者另一被摄体在过去正被追踪的被摄体前径直穿过的情况。考虑到这类情况，等待时间被设置为使得即使被摄体暂时无法被指定也可以再次被指定。该等待时间对应于不可追踪计数器，并且在步骤SC316中不发出不可追踪信息直到不可追踪计数器等于或大于预定次数为止。

然而，如果不能指定追踪被摄体，则无法针对当前设置的追踪区域进行AF和AE控制。因此，在步骤SC317中暂时终止这类控制。以这种方式，即使暂时无法指定追踪被摄体，当追踪被摄体再次出现时能够继续追踪。

如上所述，当要通过从远程控制终端20给出的追踪命令进行追踪控制时，系统控制器14通过利用由远程控制终端20中的远程控制侧追踪图像生成器211生成的追踪图像来进行追踪控制。追踪图像被存储在远程控制侧SDRAM 244中并且从由远程控制侧显示控制器242显示的图像数据中提取。远程控制终端20通过远程控制侧通信器241将追踪图像发送到照相机10，并且照相机10通过由追踪信号处理器125和被摄体区域检测器1126基于追踪图像指定追踪区域来进行追踪控制。

在本实施例中，中心位于进行追踪命令的坐标的追踪图像被作为当给出追踪命令时要从远程控制终端20发送到照相机10的信息来被发送。追踪图像包括作为色彩信息的直方图以及亮度信息的直方图的至少一者的特征(特征信息)。传统上，被命令追踪的坐标自身从如图6所示的远程控制终端被发送，并且存在由于通信时滞错误追踪用户想要追踪的被摄体以外的被摄体的问题。作为选择，存在鉴于上述问题用户需要在通过将通信时滞考虑在内的位置进行追踪命令。另一方面，在本实施例中，中心在进行了追踪命令的坐标(位置信息)处的追踪图像如图7所示被发送，并且通过进行照相机侧内的图案匹配来执行追踪被摄体区域。由此，不受通信时滞的影响，能够精确地追踪用户想要追踪的被摄体，而且用户能够进行追踪命令而不担忧通信时滞。

<实施例2>

在下文中，将参照附图描述本发明的实施例2。

装置结构的描述被省略，因为该结构与实施例1中参照图1描述的结构类似。然而，本实施例中的远程控制侧通信器241在当通过远程控制侧操作部22进行追踪命令时，除了发送由远程控制侧追踪图像生成器211生成的追踪图像外，还发送针对图像信号进行追踪命令的位置信息(坐标信息)。在除了追踪图像外还发送追踪图像被指定的坐标信息的这种系统中，当通过远程控制终端20进行追踪控制命令时，能够更精确地指定追踪被摄体。以下将描述详情。

关于本实施例中的具有图1所示结构的照相机10和远程控制终端20的操作，通过利用实施例1中的图2A和图2B以及图5描述的处理被类似地应用。因此，其描述被省略。

将参照图8A、图8B和图9来详细描述本实施例中的具有上述结构的照相机10和远程控制终端20的操作。

图8A是在实施例2中在图2A的步骤SC007的远程控制期间照相机的控制的流程图，图8B是在实施例2中在图2B的步骤SC007的远程控制期间远程控制终端的控制的流程图。图8A中的流程图例示了远程控制期间照相机的控制，图8B中的流程图例示了远程控制期间远程控制终端的控制。

首先，将描述照相机中进行的处理。从步骤SC401到步骤SC403的处理的描述被省略，因为它们类似于图3A中的步骤SC101到步骤SC103的处理。在步骤SC404中，确定是否在远程控制终端20中进行追踪开始命令。如果确定进行了追踪开始命令，则处理进行到步骤SC405，如果否，则处理进行到步骤SC408。在图3A的步骤SC104中，如果从远程控制终端20接收到追踪图像，则确定给出了追踪开始命令。然而，在本实施例的步骤SC404中，还进一步接收与追踪图像的中心坐标对应的信息。详情将在以下描述远程控制侧重的处理时被说明。从步骤SC405到步骤SC414的处理的描述被省略，因为它们类似于图3A中的从步骤SC105到步骤SC114的处理。

接着，将描述远程控制终端中进行的处理。从步骤SR401到步骤SR405的处理的描述被省略，因为它们类似于图3B中的从步骤SR101到步骤SR105的处理。将描述在步骤SR404中通过用户进行追踪开始命令并且基于进行追踪开始命令的坐标信息从步骤SR405中正显示的图像信号提取追踪图像之后进行的步骤SR406。在步骤SR406中，除了在步骤SR405中提取的追踪图像外，还进一步发送进行追踪开始命令的图像信号的坐标信息。如上所述，在本实施例中，通过在要发送的信息中不仅包括追踪图像而且包括追踪图像被指定的坐标信息，当进行以下将参照图9描述的追踪开始处理时能够更精确地指定追踪被摄体。从步骤SR407到步骤SR415的处理的描述被省略，因为它们类似于图3B中的从步骤SR107到步骤SR115的处理。

接着，将通过利用图9所示的流程图来描述实施例2中的在图8A的步骤SC405中进行的追踪开始处理。步骤SC501的描述被省略，因为其是与图4的步骤SC201相同的处理。在提取在步骤SC501中接收的追踪图像的特征(特征信息)后，处理进行到步骤SC502，在步骤SC502中，基于追踪图像被指定的坐标信息来确定要进行匹配的摄像信号的范围中的中心位置并且处理进行到步骤SC503。从步骤SC503到步骤SC513的处理的描述被省略，因为它们类似于图4中从步骤SC202到步骤SC212的处理。

在追踪开始处理中，如果在进行图案匹配时可以适当地设置用于进行图案匹配的范围，则通过图案匹配指定被摄体的可能性能够被提高。关于用于进行图案匹配的范围，考虑到想要追踪的被摄体存在于远程控制终端中指定的位置附近，优选将匹配范围设置在中心为追踪位置的位置。然而，在实施例1中，无法在照相机侧识别在远程控制终端20中指定的位置信息。鉴于此，在如本实施例追踪图像被指定的坐标信息被发送的系统中，在照相机侧能够识别用户在远程控制终端中指定了图像信号中的哪个位置。如果能够在照相机侧识别指定了图像信号中的哪个位置，则匹配范围的中心位置可以被设置到该指定位置。

以这种方式，通过远程控制侧通信器241进一步发送在远程控制终端20中的远程控制侧操作部22中进行了追踪命令的位置信息，照相机10可以知道进行追踪命令的位置信息。通过知道该位置信息，照相机10可以大致估计用户想要追踪的被摄体存在于摄像信号中的哪个位置。通过照相机10基于位置信息设置图案匹配范围的中心位置，想要追踪的被摄体存在于匹配范围中的机会增加并且更加可能能够指定追踪被摄体。另外，因为避免在不太可能存在追踪被摄体的范围中进行图案匹配，所以误追踪能够被限制。

<实施例3>

在下文中，将参照附图来描述本发明的实施例3。

装置结构的描述被省略，因为该结构类似于实施例1中参照图1描述的结构。在实施例1中，作为要被通信的信息，照相机10通过摄像侧通信器169重复地发送摄像信号。远程控制终端20通过远程控制侧通信器241发送当通过远程控制侧操作部22进行追踪命令时由远程控制侧追踪图像生成器211生成的追踪图像。然而，本实施例中要被通信的信息不仅是上述信息。在本实施例中，系统控制器14具有的时间信息通过当照相机10通过摄像侧通信器169以重复方式发送摄像信号时被附加到摄像信号的方式也被发送。另外，远程控制终端20在通过远程控制侧显示控制器242在远程控制侧显示器243中的摄像信号的显示完成时通过远程控制侧通信器241将附加到显示的摄像信号的时间信息发送回给照相机10。

以这种方式，在本实施例中的通信系统中，不仅仅当在远程控制侧操作部22中进行追踪命令时，而且在每次通过远程控制侧显示控制器242进行摄像信号的显示时，远程控制终端20发送信息。另外，关于通信的内容，照相机10进一步发送时间信息并且远程控制终端20将时间信息发送回给照相机10。当照相机10从远程控制侧通信器241接收到时间信息时，系统控制器(通信延迟时间测量部)14由照相机10中的当前时间信息和接收的时间信息来计算照相机10与远程控制终端20之间的通信延迟时间。在本实施例中，当在远程控制终端20中进行追踪命令时，通过基于通信延迟时间信息改变照相机10中的图案匹配范围，能够更容易地指定追踪被摄体。

在本实施例中，与实施例2类似，通过远程控制侧通信器241不仅发送当在远程控制侧操作部22中进行追踪命令时由远程控制侧追踪图像生成器211生成的追踪图像，而且发送进行追踪命令的坐标信息。

在本实施例中的如图1所示构造的照相机10和远程控制终端20的操作中，类似地进行实施例1中参照图2A和图2B以及图5描述的处理。因此，其描述被省略。

将参照图10A、图10B和图11来详细描述本实施例中的具有上述结构的照相机10和远程控制终端20的操作。

图10A是实施例3中的在图2A中的步骤SC007的远程控制下照相机的控制的流程图，图10B是实施例3中的在图2B中的步骤SR007的远程控制期间远程控制终端的控制的流程图。图10A中的流程图例示了远程控制期间照相机的控制，图10B中的流程图例示了远程控制期间远程控制终端的控制。

首先，将描述照相机中进行的处理。在步骤SC601中，图像信号以及当照相机10向远程控制终端20发送所述图像信号时的时间(下文中，称为照相机图像发送时间)被发送到远程控制终端20。在本实施例中，除了图像信号外，照相机图像发送时间也被发送。

从步骤SC602到步骤SC603以及从步骤SC605到步骤SC614的处理的描述被省略，因为它们类似于图3A中从步骤SC102到步骤SC103以及从步骤SC105到步骤SC114的处理。另外，步骤SC604的处理的描述被省略，因为其类似于图8A中的步骤SC404的处理。在步骤SC615中，在步骤SC614中进行通过照相机自身的照相机控制等后处理进行到该步骤SC615，确定是否从远程控制终端20接收到照相机图像发送时间。如果确定接收到照相机图像发送时间，则处理进行到步骤SC616，如果确定未接收到照相机图像发送时间，则处理结束。在步骤SC616中，计算通信延迟时间并且处理结束。

接着，将描述远程控制终端中进行的处理。在步骤SR601中，开始从照相机10的图像信号的接收，并且照相机图像发送时间也被接收，处理进行到步骤SR602。从步骤SR602到步骤SR605以及从步骤SR607到步骤SR615的处理的描述被省略，因为它们类似于图3B中的步骤SR102到步骤SR105以及从步骤SR107到步骤SR115的处理。另外，步骤SR606的处理的描述被省略，因为其类似于图8B中的步骤SR406的处理。将描述在步骤SR623中完成在步骤SC601中开始的图像信号的接收之后以及在步骤SR614中进行图像信号的显示处理之后处理进行到的步骤SR616。在步骤SR616中，在步骤SR601中接收的照相机图像发送时间被按照原样发送回给照相机并且处理结束。

在本实施例中，当照相机在步骤SC601中以重复方式发送图像信号时，表示发送时间的照相机图像发送时间通过附加到图像信号也被发送。作为响应，每次图像信号的接收完成并且在步骤SR614中进行图像信号的显示时，远程控制终端20在步骤SR616中将照相机图像发送时间发送回给照相机。在步骤SC616中，在照相机侧由当照相机图像发送时间被接收时的时间与照相机图像发送时间之间的差来计算通信延迟时间。通信延迟时间表示直到照相机10发送图像并且远程控制终端20显示图像信号并完成针对照相机10的通信为止在照相机与远程控制终端之间来回的通信时间。根据通信电路的状况，该通信延迟时间随着时间而改变。在本实施例中，通过进一步包括计算通信延迟时间的系统，能够在追踪开始处理(稍后在图11的描述中说明)中容易地指定追踪被摄体。

接着，将通过利用图11的流程图来描述实施例3中的在图10A的步骤SC605中进行的追踪开始处理。步骤SC701以及从步骤SC705到步骤SC715的处理的描述被省略，因为它们类似于图4中的步骤SC201以及从步骤SC202到步骤SC212的处理。另外，步骤SC702的处理的描述被省略，因为其类似于图9中的步骤SC502的处理。将描述在步骤SC702中利用进行追踪命令的位置信息来进行匹配位置的设置之后处理进行到的步骤SC703。在步骤SC703中，确定在图10的步骤SC616中计算的通信延迟时间是否等于或长于预定阈值。如果确定通信延迟时间等于或长于预定阈值，则处理进行到步骤SC704，如果否，则处理进行到步骤SC705。在步骤SC704中，当前设置的匹配范围被重设以使得更大并且处理进行到步骤SC705。

通信延迟时间越长，则在远程控制终端20中指定被摄体后直到要在照相机中指定追踪被摄体之前的时间越长。即，随着通信延迟时间变得越长，想要追踪的被摄体在摄像画面内存在的位置可能远离该被摄体被指定时的位置的可能性增加。如果追踪被摄体的位置从该被摄体被指定时的位置移动的距离大到该被摄体不在图案匹配范围内的程度，则该被摄体无法被指定并且追踪变得不可能。鉴于此，在如本实施例的系统中可以识别通信延迟时间的系统中，当确定通信延迟时间长时，图案匹配范围被重设为使得更大。以这种方式，即使通信延迟时间长并且追踪被摄体的位置改变巨大，存在追踪被摄体能被指定的巨大可能。在本实施例中，根据通信延迟时间是否大于阈值来放大匹配范围。然而，可以控制为使得随着通信时间变得更长来逐渐放大匹配范围。如果通信延迟时间足够短，则可以控制为使得缩小匹配范围。

如上所述，本实施例除了包括照相机10以重复方式发送图像信号并且远程控制终端20在通过远程控制侧操作部22进行追踪命令时发送由远程控制侧追踪图像生成器211生成的图像的通信系统外，还包括上述通信系统。即，本实施例包括发送时间信息被附加到照相机10以重复方式发送的摄像信号并且远程控制终端20在每次通过远程控制侧显示控制器242进行显示时发送回该时间信息的通信系统。通过包括用于发送和接收时间信息的通信系统，照相机10与远程控制终端20之间的通信延迟时间能够被识别。通过基于通信延迟时间改变图案匹配范围，即使通信延迟时间长，指定追踪被摄体的可能性增加并且从远程控制终端20的追踪控制能够容易进行。

虽然参照示例性实施例描述了本发明，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。上述实施例的部分可以被任意组合。

<实施例1的变型例>

在下文中，将参照附图来描述本发明的实施例1的变型例。

首先，将描述从远程控制终端20进行被摄体追踪命令时到摄像装置进行追踪时的流程。在图1中，如果通过远程控制侧操作部22进行了追踪命令，则远程控制系统控制器21中的远程控制侧追踪图像生成器211(生成器)生成进行命令的坐标信息(位置信息)。在该变型例中，远程控制侧操作部22是触摸屏，利用在远程控制侧显示器243中正显示的图像中触摸的坐标来生成坐标信息。远程控制侧操作部22可以不是触摸屏，可以采用能够通过操作键来设置追踪被摄体区域的坐标的系统。生成的坐标信息根据来自远程控制侧系统控制器21的命令由远程控制侧通信器241发送到摄像侧通信器169。在假设在远程控制终端20中进行追踪命令的情况下系统控制器14将从摄像侧通信器169接收的坐标信息存储在SDRAM166中并且还开始追踪开始处理。

不难理解，SDRAM 166存储表示过去拍摄的图像的图像信号IS_i,IS_i+1,IS_i+2...(“过去图像信号”)，存在共同表示相应过去图像I_i,I_i+1,I_i+2...的这样一组过去图像信号IS_i,IS_i+1,IS_i+2...，例如一组每像素N个图像信号。首先，系统控制器14(选择器)从SDRAM166中存储的过去图像信号中，选择从坐标信息被接收时的时间追溯对应于通信延迟时间的时长的存储的过去图像信号IS_sel。这里选择的追溯对应于通信延迟时间的时长的过去图像信号IS_sel表示与当在远程控制终端侧选择被摄体时显示的图像相同的过去图像I_sel。系统控制器14将选择的过去图像信号输入到追踪图像生成器141并生成具有中心对应于接收的坐标信息的预定区域的追踪图像。

接着，追踪信号处理器125输入生成的追踪图像并且如上所述由生成的追踪图像信号生成包括色彩信息的直方图以及亮度信息的直方图的特征(特征信息)。被摄体区域检测器126基于生成的特征、对表示过去图像I_sel+1(即，在图像序列中由选择的过去图像信号IS_sel表示的图像I_sel的下一个图像)的存储的过去图像信号IS_sel+1进行搜索处理以搜索追踪被摄体，并且确定在过去图像序列的下一个图像IS_sel+1中的预定区域中是否存在对应于追踪被摄体的被摄体。如果在预定区域中存在追踪被摄体，则基于追踪被摄体存在的位置坐标来确定追踪区域。

然而，当要在远程控制终端20中进行追踪命令时，在照相机侧，这通常对应于对其指定追踪被摄体的过去图像IS_sel+1过去是多个图像的状态，因为存在很大的通信时滞。因此，在照相机侧，需要对表示由选择的过去图像信号IS_sel表示的图像I_sel之后的下一个图像I_sel+1(选择的过去图像I_sel与当前图像I_curr之间的第一干涉图像)的图像信号IS_sel+1进行追踪被摄体的第一指定处理，并且需要对直到当前图像I_curr之前的图像I_curr-1的其他干涉图像重复该处理。在系统控制器14中，当针对表示第一干涉图像的图像信号IS_sel+1指定了追踪区域时，通过追踪信号处理器125和被摄体区域检测器126对表示其他干涉图像的图像信号IS_sel+1,IS_sel+1,...IS_sel+1进行用于指定追踪被摄体的至少一个其他指定处理。通过重复如上所述的追踪被摄体的指定，在考虑通信延迟时间存储的过去图像信号的序列中依次指定追踪被摄体，并且最后，针对当前图像信号IS_curr进行追踪被摄体的指定。然而，如果通信延迟时间极短，则可以基于选择的过去图像信号针对当前图像信号来进行追踪被摄体的指定，而无需按照过去图像的序列依次指定追踪被摄体。当追踪被摄体在当前图像信号中被指定时，其结果被发送到系统控制器14以进行AF和AE控制(进行聚焦以及调节曝光)。

另外，在当前图像信号IS_curr中指定的追踪被摄体存在的位置坐标被存储在SDRAM166中，并且通过在下次以及之后检测追踪被摄体区域时利用该信息，用于进行搜索处理以搜索追踪被摄体的区域能够被限制。每次被摄体存在的位置坐标在追踪被摄体区域被指定时更新，SDRAM 166中存储的位置坐标也被更新。

通过上述过程，在远程控制终端20中进行追踪命令并且在照相机中开始追踪(图15)。当进行追踪时，其中进行了追踪命令的图像与从追踪位置提取了特征的图像需要相同。这是因为，除非图像相同，否则存在想要追踪的被摄体不在进行追踪命令的位置的可能性。为了从与其中在远程控制终端20中进行了追踪命令的图像相同的图像中提取特征，照相机10测量照相机10与远程控制终端20之间的通信延迟时间并且预先存储对应于该通信延迟时间的时长的图像信号。

此时，对应通信延迟时间的时长的图像信号要被存储的理由在于，因为当在远程控制终端20中进行追踪命令时，在照相机10由于通信延迟接收到坐标信息的时间，行进了对应通信延迟时间的时长的图像在照相机10中被显示。该通信延迟时间根据通信条件不时改变。因此，过去图像被相应地存储。这里，可以存储略长于通信延迟时间的时长的过去图像。

当在远程控制终端20中进行追踪命令时，照相机10选择从坐标信息被接收的时间起追溯对应通信延迟时间的时长的过去图像，并且从中心位于该图像的接收的坐标信息的区域提取特征(特征信息)。基于该特征，利用过去图像信号按照时间顺序来依次进行图案匹配，最后，在当前正被摄取的图像信号中指定追踪被摄体。即使在某个过去图像中找到追踪被摄体，存在在当前正被摄取的图像信号中被摄体与接收到的位置相距大的距离的可能性。

例如，在特征被提取的状态下当利用当前图像信号进行图案匹配时、想要追踪的被摄体相距大的距离的情况下，存在如果图案匹配区域小则无法找到被摄体的可能性。另外，存在如果图案匹配区域大则错误识别追踪被摄体的可能性。通过按时间顺序来依次指定被摄体，能够更精确地指定追踪被摄体。在这种系统中，即使当在远程控制终端20中进行追踪命令时，能够改善通信时滞的问题并且能够精确地指定想要追踪的被摄体。

在本变型例中，照相机10中存储的过去图像的刷新周期为摄取的图像的各个。然而，为了削减SDRAM 166中的存储量，图像可以被稀疏化以被存储。该刷新周期需要被设置为使得当按照时间顺序指定被摄体时至少追踪被摄体可以被确定。这可以基于要进行被摄体指定的图案匹配范围以及要被追踪的被摄体的最大移动距离来确定。另外，在本变型例中，基于通信延迟时间在存储的过去图像信号中指定在远程控制终端20中触摸的图像。然而，可以被处理为使得选择具有与在远程控制终端20中触摸的图像相同帧信息的图像。在刷新周期大的情况下，可能不存在通信延迟时间或帧信息匹配的过去图像。在这种情况下，要选择最接近的图像。

接着，将详细描述被摄体追踪功能。这里，在照相机10中进行追踪命令的情况将被描述为示例。当通过操作部134给出追踪被摄体的追踪命令时，追踪图像生成器141利用中心位于当例如在触摸屏的触摸坐标处进行追踪命令时的位置信息的预定范围来生成追踪图像。该预定范围需要为至少使得能够生成不频繁引起追踪控制中的误追踪的特征(特征信息)的大小。预定范围可以是固定范围或者可以采用预定范围可以根据用户设置等改变的系统。针对生成的追踪图像，通过追踪信号处理器125生成色彩信息的直方图以及亮度信息的直方图，并且这些直方图为追踪图像的特征。在本变型例中，生成色彩及亮度的直方图，然而，可以仅生成任意一者。

在被摄体区域检测器126中，由当前正被摄取的图像信号生成具有与追踪图像大小类似大小的图像作为追踪候选图像。与追踪图像类似地，针对追踪候选图像通过追踪信号处理器125生成色彩和亮度的直方图，并且这些直方图为追踪候选图像的特征。被摄体区域检测器126计算追踪图像的特征与追踪候选图像的特征之间的各色彩信息的差以及亮度信息的差，对计算出的值的总和进行计算并存储结果。同时，追踪候选图像的位置信息也被存储。

另外，通过由当前正被摄取的图像信号顺序生成追踪候选图像来进行匹配，计算各追踪候选图像的特征中的要素与追踪图像的特征中的要素之间的差，并计算所述差的总和。特征中的要素之间的差的总和的最小值、以及对应于该最小值的追踪候选图像的位置信息，以通过被利用来重写预先存储的信息的方式来被存储。如果最后获得的特征中的要素之间的差的总和小于预定值，则将对应于该总和的追踪候选图像指定为追踪被摄体，并且根据存储的位置信息来将预定区域设置为追踪区域。这里，与特征之间的差的总和相关的预定值，在基于允许追踪想要的被摄体的比率以及允许不误追踪不想要的被摄体的比率来执行追踪操作的情况下被确定。因此，追踪区域被确定并且追踪开始。这里，当在远程控制终端20中进行追踪命令时，通常需要通过I_sel至I_curr的过去图像依次进行图案匹配。

接着，将描述追踪继续方法。关于用于继续追踪的信息，追踪候选图像以及追踪区域被设置的位置信息被存储在SDRAM 166中。当继续追踪时，如上所述通过被摄体区域检测器126和追踪信号处理器125基于每次进行摄像时存储在SDRAM 166中的追踪图像来进行摄像信号与追踪图像之间的匹配。

此时，基于存储的追踪区域被设置的位置信息，要进行匹配的摄像信号的范围被限制。通过在具有追踪区域被设置为中心的位置的预定范围内进行匹配，能够避免由于进行不必要范围的匹配引起的误追踪，并且能够缩短运算时间。通过设计在从追踪继续处理被进行起直到下一追踪继续处理要被进行为止的时间段中想要追踪的被摄体在摄像画面内能够移动的最大距离，要进行匹配的预定范围被设置到如果被摄体移动最大距离则能够覆盖被摄体的运动的范围。如果该范围大，则即使被摄体移动大的距离被摄体也可以被追踪，但是可能频繁发生误追踪。如果该范围小，则如果被摄体移动大的距离则被摄体无法被追踪，但是不频繁发生误追踪。当再次进行匹配以继续追踪时，如上所述，如果最后获得的特征中的要素之间的差的总和小于预定值，则确定对应于最后获得的总和的追踪候选图像为追踪被摄体，并且根据追踪候选图像的位置信息利用预定区域来更新追踪区域。

另外，利用此时更新的追踪候选图像的位置信息来重写SDRAM 166中存储的位置信息。在下一追踪继续处理时，可以通过利用更新的位置信息设置适当的匹配区域。以这种方式，进行追踪的继续。不需要每次摄像时都进行追踪继续处理。例如，可以被控制为使得每预定摄像次数来进行追踪继续处理。随着追踪继续处理之间的摄像间隔变长，如果被摄体移动大的距离则该被摄体无法被追踪。然而，处理时间能被削减。

这里，将描述追踪的终止。如果当追踪正在进行中时从操作部134或远程控制侧操作部22给出追踪终止命令，则系统控制器14终止追踪并且返回到非追踪操作。例如，当追踪终止时，针对追踪区域设置的AF区域返回到通常设置的AF区域。类似地，如果当追踪正在进行时经过预定时间段不能指定想要追踪的被摄体，则追踪终止。如果不能指定追踪被摄体期间的预定待机时间段长，则再次指定追踪被摄体并且重新开始追踪的可能性高，但是返回到通常状态的处理要被延迟。如果不能指定追踪被摄体期间的预定待机时间段短，则将发生上述情况的相反情况。

如上所述，进行了开始、继续以及终止被摄体的追踪的处理。

接着，将参照图12A和图12B至图15来描述根据本变型例的具有图1所示的结构的照相机10和远程控制终端20的操作。

本变型例中的在照相机10中的系统控制器14以及远程控制终端20中的远程控制侧系统控制器21中进行的一般远程控制处理的描述将被省略，因为它们类似于图2A和图2B中的上述流程图。

接着，将通过利用图12A和图12B中的流程图来描述在图2A中的步骤SC007的远程控制期间的照相机控制以及在图2B中的步骤SR007的远程控制期间的远程控制终端控制。

图12A中的流程图例示了远程控制期间的照相机的控制，图12B中的流程图例示了在远程控制期间的远程控制终端的控制。

首先，将描述照相机中进行的处理。在步骤SC801中，图像信号以及照相机10将所述图像信号发送到远程控制终端20时的时间(下文中，称为照相机图像发送时间)被发送到远程控制终端20并且处理进行到步骤SC802。照相机在不确认在远程控制终端20对图像信号的接收的情况下发送图像信号。在步骤SC802，确定是否通过远程控制终端20改变了照相机设置。如果确定照相机设备被改变，则处理进行到步骤SC803，如果确定照相机设备未改变，则处理进行到步骤SC804。在步骤SC803中，通过远程控制终端20改变的照相机设置被反映在照相机10中并且处理进行到步骤SC804。

例如，如果记录图像质量在远程控制终端中被改变，则在步骤SC803中记录图像质量的改变后的设置被反映在照相机中。在步骤SC804中，确定是否通过远程控制终端20给出了追踪开始命令。如果确定给出了追踪开始命令，则处理进行到步骤SC805，如果未给出，则处理进行到步骤SC808。在本变型例中，当从远程控制终端20接收到追踪被摄体位置信息(追踪被摄体坐标信息)时，假设给出了追踪开始命令。

在步骤SC805中，基于接收的追踪被摄体位置信息来进行追踪开始处理并且处理进行到步骤SC806。将在以下在图13的描述中说明步骤SC805的处理的详情。在步骤SC806中，确定在步骤SC805中追踪是否成功。如果确定在步骤SC805中追踪不成功，则处理进行到步骤SC807，如果确定追踪成功，则处理进行到步骤SC812并且切换至除追踪处理外的另一处理。

在步骤SC807中，在假设追踪不成功的情况下，不可追踪信息被发送到远程控制终端20。基于在步骤SC805中发出的用1比特表示追踪的成功/不成功的不可追踪信息，来确定追踪是否成功。接着，在步骤SC808中，该步骤SC808为如果确定在步骤SC804中未给出追踪开始命令则处理进行到的步骤，确定追踪当前是否正在进行。如果确定追踪正在进行，则处理进行到步骤SC809。如果否，则处理进行到步骤SC812并且切换至除追踪处理外的另一处理。当追踪当前正被进行时处理进行到步骤SC809，在步骤SC809中，进行追踪继续处理并且处理进行到步骤SC810。追踪继续处理的详情将被省略，因为它们类似于图5中的流程图。在步骤SC810中，确定在步骤SC809中是否存在不可追踪信息或者是否从远程控制终端20命令了追踪停止。如果以上的任意一者应用，则处理进行到步骤SC811。如果否，则处理进行到步骤SC812并且切换至除追踪处理外的另一处理。

在步骤SC811中，进行追踪终止处理，然后，处理进行到步骤SC812并且切换至除追踪处理外的另一处理。如果无法继续追踪，即无法指定追踪被摄体，或者如果用户停止追踪，则追踪被终止并且照相机返回到通常摄像状态。在本变型例中，通常摄像状态是用于调节AF和AE的框被设置在画面中心并且不在追踪区域的状态。通常摄像状态不限于该变型例的结构并且可以采用其他结构，只要其为不进行追踪的状态即可。

接着，在进行与追踪相关的处理后处理进行到步骤SC812，在步骤SC812中，确定是否命令了通过远程控制终端20的照相机控制。如果确定命令了通过远程控制终端20的照相机控制，则处理进行到步骤SC813，如果否，则处理进行到步骤SC814。在步骤SC813中，根据来自远程控制终端20的照相机控制命令来控制照相机并且处理进行到步骤SC814。作为在步骤SC812和步骤SC813中进行的处理的示例，如果远程控制终端20命令进行变焦，则根据变焦命令进行变焦。在步骤SC814中，通过照相机自身进行照相机设置和控制并且处理进行到步骤SC815。在步骤SC814中，接受通过操作照相机自身进行的照相机设置中的改变以及照相机控制命令，并且根据它们来控制照相机10。

此时还进行无需遵照用户命令进行的诸如AF的照相机控制。这里，详情被省略。在步骤SC815中，确定是否从远程控制终端20接收到了照相机图像发送时间。如果确定接收到了照相机图像发送时间，则处理进行到步骤SC816，如果确定未接收到照相机图像发送时间，则处理结束。在步骤SC816中，计算通信延迟时间并且处理结束。

接着，将描述在远程控制终端中进行的处理。在步骤SR801中，开始从照相机10的图像信号的接收并且还接收照相机图像发送时间，处理进行到步骤SR802。虽然在后述的步骤SR814中进行接收的图像信号的显示，但是在假设图像信号在前一远程控制期间在远程控制终端的控制下在步骤SR814中已经被显示的情况下来描述下文描述的从步骤SR802到步骤SR813的处理。在步骤SR802中，确定是否通过远程控制终端20中的用户命令了照相机设置的改变。如果确定命令了设置改变，则处理进行到步骤SR803，如果否，则处理进行到步骤SR804。

在步骤SR803中，照相机设置的改变信息被发送到照相机10。接着，在步骤SR804中，确定是否在远程控制终端20中命令了追踪开始。如果确定命令了追踪开始，则处理进行到步骤SR805，如果否，则处理进行到步骤SR809。在本变型例中，在远程控制终端20中显示图像信号并且同时，如果在可以进行触摸操作的触摸屏上触摸了被摄体，则命令追踪开始。

在步骤SR805中，利用用户触摸的坐标来生成追踪被摄体位置信息并且处理进行到步骤SR806。在步骤SR806中，追踪被摄体位置信息被发送到照相机10并且处理进行到步骤SR807。

接着，在步骤SR807中，确定是否接收到由于作为在照相机侧在步骤SC805中进行的追踪开始处理的结果图案匹配失败而引起追踪不成功时从照相机10发送的不可追踪信息。如果确定接收到不可追踪信息，则处理进行到步骤SR808，如果否，则处理进行到步骤SR809。

在步骤SR808中，为了向用户通知在照相机侧追踪不成功，显示追踪不成功的指示并且处理进行到步骤SR809。通过显示追踪不成功的指示，用户可以被促使再次进行追踪命令。在步骤SR809中，确定是否通过远程控制终端20命令了追踪终止。如果确定命令了追踪终止，则处理进行到步骤SR810，如果否，则处理进行到步骤SR811。追踪终止命令是当追踪当前正被进行时用户希望终止追踪时进行的操作。通过用户触摸远程控制终端20中显示的追踪停止图标，进行追踪终止命令。

在步骤SR810中，追踪终止命令被发送到照相机10并且处理进行到步骤SR811。在步骤SR811中，确定是否命令了通过远程控制终端20的照相机控制。如果确定命令了通过远程控制终端20的照相机控制，则处理进行到步骤SR812，如果否，则处理进行到步骤SR813。在步骤SR812中，关于在远程控制终端20中进行的照相机控制的信息被发送到照相机并且处理进行到步骤SR813。例如，如果通过远程控制终端20进行变焦，则使得进行变焦的控制信息被发送到照相机10。在步骤SR813中，确定是否完成了在步骤SR801中开始接收的图像信号的接收。如果确定接收完成，则处理进行到步骤SR814，如果确定接收未完成，则处理进行到步骤SR815。

在步骤SR814中，进行完成接收的图像信号的显示处理并且处理进行到步骤SC816。在步骤SR816中，在步骤SR801中接收的照相机图像发送时间被按照原样发送回给照相机并且处理结束。在步骤SR815中，从步骤SR802至步骤SR812针对照相机10进行的各种命令信息被初始化(处于不存在命令的状态)，并且处理返回到步骤SR802以从步骤SR802再次进行处理。虽然每次在照相机侧进行摄像时图像信号被发送到远程控制终端20，但是远程控制终端20可以不是必须显示全部图像信号，图像信号是否被显示取决于远程控制终端20的处理能力以及电路状况。随着远程控制终端20的处理能力变低，图像信号以相对照相机中的显示周期更被延迟的周期来被显示。即使在步骤SR801中开始接收的图像信号继续被接收时，可以在远程控制终端20中进行照相机设置的改变、照相机控制的进行、以及针对当前正被显示的图像的追踪开始命令。

即，在步骤SR813中完成接收之前，可以经由步骤SR815的处理进行从步骤SR802到步骤SR812的处理。当图像信号的接收完成时，在步骤SR814中在远程控制终端20中显示图像信号，并且在进行下一远程控制期间的远程控制终端的控制之后在步骤SR801中再次开始图像信号的接收。当图像信号正再次被接收时，针对当前正被显示的图像信号的各种处理的命令被接受。在步骤SR801中对图像信号的接收的开始阶段，诸如刚好在远程控制开始之后并且尚未显示图像信号时，步骤SR802、步骤SR804、步骤SR807、步骤SR809以及步骤SR811的处理全部被确定为否。以这种方式，各个步骤被跳过，而不接受各种控制命令。在步骤SR814中首次显示图像信号后，接受从步骤SR802至步骤SR812的各种控制命令。

在本变型例中，当照相机在步骤SC801中以重复方式发送图像信号时，表示发送时间的照相机图像发送时间通过附加到图像信号也被发送。作为响应，每次图像信号的接收完成并且在步骤SR814中进行图像信号的显示时，远程控制终端20在步骤SR816中将照相机图像发送时间发送回给照相机。在步骤SC816中，在照相机侧由当照相机图像发送时间被接收时的时间与照相机图像发送时间之间的差来计算通信延迟时间。通信延迟时间表示直到照相机10发送图像并且远程控制终端20显示图像信号并完成针对照相机10的通信为止在照相机与远程控制终端之间来回的通信时间。根据通信电路的状况，该通信延迟时间随着时间而改变。

如在图15的说明中所描述，为了进行被摄体的追踪命令，需要在与其中用户进行了被摄体追踪命令的图像相同的图像中并且在与追踪命令被进行的坐标相同的坐标处指定被摄体。当在远程控制终端20中进行追踪命令时，继远程控制终端20中显示的图像之后而来的图像已经被显示在照相机中。因此，过去图像被存储在照相机中，从而针对与其中在远程控制终端20中进行追踪命令的图像相同的图像进行追踪命令。为了存储其中在远程控制终端20中进行了追踪命令的图像，对应于至少上述通信延迟时间(照相机与远程控制终端之间来回的通信时间)的时长的图像需要被存储。在照相机10中，过去图像总是以这种方式被存储。当在步骤SR804中进行追踪开始命令时，基于在上述步骤SR806中通信的被摄体位置信息以及当追踪开始命令被给出时在步骤SC816中计算的通信延迟时间来在步骤SC805中进行追踪开始处理。

接着，将通过利用图13的流程图来描述图12A中的步骤SC805的追踪开始处理。

在步骤SC901中，在存储的过去图像中，与用户在远程控制终端对其指定目标被摄体的显示图像相同的图像I_sel被选择作为要从中提取特征(特征信息)的图像，并且处理进行到步骤SC902。要提取的特征如上所述包括色彩信息的直方图以及亮度信息的直方图。在本变型例中，基于用户在远程控制终端对其指定目标被摄体的显示图像的时间信息来选择过去图像。然而，作为另选方案，可以选择如下系统：在该系统中，与过去图像一起存储过去图像的帧信息，并且存储的过去图像的帧信息与用户在远程控制终端对其指定目标被摄体的显示图像相匹配。在步骤SC902中，针对在步骤SC901中选择的图像，从中心位于从远程控制终端20接收的被摄体位置信息的预定区域提取特征并且处理进行到步骤SC903。顺便提及，选择的存储的过去图像不需要与显示的图像完全相同，只要这两个图像充分对应，使得能够使用从远程控制终端20接收的被摄体位置信息、基于从选择的存储的过去图像中提取的区域进行图案匹配即可。例如，选择的存储的过去图像与显示的图像可以具有相同的时间信息或帧信息，而具有不同的分辨率和质量。

在步骤SC903中，在存储的过去图像中，使用作为选择图像I_sel的下一个图像的图像I_sel+1，并且处理进行到步骤SC904。在步骤SC904中，基于在步骤SC902中提取的特征以及在步骤SC903中使用的图像I_sel+1来进行图案匹配，并且处理进行到步骤SC905。稍后将下图14的说明中描述步骤SC904的详情。

在步骤SC905中，确定是否在步骤SC904中发出了不可追踪信息。如果确定未发出不可追踪信息，则处理进行到步骤SC906，如果确定发出了不可追踪信息，则确定无法进行追踪并且处理结束。在步骤SC906中，确定是否针对在当前时间正被摄取的当前图像I_curr进行图案匹配。如果确定针对当前图像I_curr进行了图案匹配，则处理进行到步骤SC907，如果确定尚未针对当前图像I_curr进行图案匹配，则处理返回到步骤SC903。如以上在图15的说明中所述，通过重复从步骤SC903到步骤SC906的处理，在存储的过去图像中依次指定追踪被摄体存在的区域(第二追踪区域)。然后，最终，针对在当前时间正被摄取的当前图像I_curr进行图案匹配并且其中存在追踪被摄体的区域(第一追踪区域)被指定。由此，即使追踪被摄体的移动距离大，也可以在当前正被摄取的图像中指定追踪被摄体。

接着，在当在步骤SC906中针对当前正被摄取的当前图像I_curr进行了图案匹配时处理进行到的步骤SC907中，追踪区域被设置到中心位于最后存储的位置信息的区域并且处理进行到步骤SC908。最后存储的位置信息对应于在当前正被摄取的图像中找到想要追踪的被摄体的位置。针对该追踪区域，照相机10进行图12A的步骤SC814中的AF和AE处理。在步骤SC908中，作为用于继续追踪的信息，在步骤SC902中从中提取特征的追踪图像以及在步骤SC907中利用来设置追踪区域的位置信息被存储并且处理结束。基于这些信息，在图12A的步骤SC809中进行追踪继续处理。

如上所述，由于通信延迟时间，在过去图像中指定其中通过远程控制终端20进行追踪命令的图像并且基于从远程控制终端20接收的追踪被摄体的位置信息来提取追踪被摄体的特征。另外，通过基于该特征从指定的过去图像按照时间顺序针对图像进行图案匹配，在当前正被摄取的图像中指定追踪被摄体。通过在照相机中存储对应通信延迟时间的时长的过去图像、指定与在远程控制终端20中进行了追踪命令的图像相同的图像并基于位置信息提取特征，能够避免由于通信时滞而误追踪被摄体并且能够更精确地指定追踪被摄体。通过照相机10针对追踪区域进行诸如AF和AE的控制，能够针对用户希望追踪的被摄体容易地设置优选聚焦和曝光。

接着，将通过利用图14的流程图来描述图13中的步骤SC904的图案匹配处理。在步骤SC1001中，针对在步骤SC903中选择的图像设置图案匹配范围并且处理进行到步骤SC1002。在前一图案匹配处理中设置的、中心位于在前述的步骤SC1006中最后存储的位置信息的范围被设置。该位置信息为想要追踪的被摄体被期望存在的位置。如果这是第一图案匹配处理，则从远程控制终端20接收的当在图13中的步骤SC902中计算特征时使用的位置信息被参照。在步骤SC1002中，从图案匹配区域的部分区域中提取特征并且处理进行到步骤SC1003。

在步骤SC1002中要从中提取特征的区域的大小类似于在图13的步骤SC902中从中提取特征的区域的大小。另外，每次处理通过后述的步骤SC1008返回到步骤SC1002时，通过在图像信号中的预定范围内按顺序改变提取图像信号的位置来进行与图像信号的匹配。这里，用于进行匹配的范围越大，找到追踪被摄体的可能性越高，但是误追踪的可能性也变高。关于提取位置的改变方法，针对各行改变提取位置，并且当一行的提取完成时，然后针对下一列的行进行提取。当然，也可以以列为优先进行提取。关于提取范围，提取图像可以交叠或者可以不交叠，这可以根据追踪精度来确定。如果提取图像要交叠，例如，在每次偏移1像素来生成提取图像的情况下，因为精确地进行匹配，所以追踪精度提高。

另一方面，例如，如果在与追踪图像邻接的范围设置另一追踪图像使得追踪图像不交叠，则匹配的计算量被削减，但是追踪精度也被降低。接着，在步骤SC1003中，计算在步骤图13的步骤SC902中提取的特征与步骤SC1002中提取的特征之间的差并且处理进行到步骤SC1004。在步骤SC1004中，确定在步骤SC1003中计算的特征之间的差是否小于当前存储的差值。如果确定计算的差值小于当前存储的差值，则处理进行到步骤SC1005，如果否，则处理进行到步骤SC1007。以这种方式，获得想要追踪的被摄体的特征与图案匹配目标图像的特征之间的差，这里，差越小，则匹配越好。

因此，在步骤SC1004中确定特征之间的差是否目前最小，并且最小值通过后述处理被存储。如果在步骤SC1004中尚未保持特征之间的差，则处理不可避免地进行到步骤SC1005。在步骤SC1005中，计算出的特征之间的差的最小值被存储并且处理进行到步骤SC1006。

在步骤SC1006中，在步骤SC1002中从中提取特征的区域的中心位置坐标被存储并且处理进行到步骤SC1007。该中心位置信息是针对当前执行图案匹配所利用的图像信号获得最佳匹配的位置信息，最终，追踪被摄体被期望存在的位置信息被存储。该位置信息用于在下一图案匹配处理中在步骤SC1001中设置图案匹配范围。作为选择，如果选择的被利用来进行图案匹配的图像是照相机当前正摄取的图像，则位置信息用于设置追踪区域。尽管在本变型例中使用中心位置坐标，但是无须说，例如，可以使用区域的左上的坐标而不是中心位置。

接着，在步骤SC1007中，确定在步骤SC1005中存储的特征之间的差的最小值是否大于预定值以及用于进行图案匹配的时间是否结束。如果确定存储的特征之间的最小差值小于预定值或如果确定时间尚未结束，则处理进行到步骤SC1008。如果确定存储的特征之间的最小差值大于预定值以及时间结束，则处理进行到步骤SC1010。在甚至花长时间来进行图案匹配也不出现具有特征之间的小值的图案的情况下，想要追踪的被摄体不在用于进行匹配的范围内的可能性高。因此，针对图案匹配设置时限，并且进行如果特征之间的最小差值大于预定值并且如果经过时限则终止匹配的处理。这种时限可以根据存储的特征之间的最小差值改变，并且可以设置为最小值越大，则时限结束越快。

接着，在步骤SC1008中，确定是否针对全部的匹配区域进行了在步骤SC1002中进行的特征的提取。如果确定针对全部的匹配区域进行了特征的提取，则处理进行到步骤SC1009。如果确定未针对全部的匹配区域进行特征的提取，则处理返回到步骤SC1002并且针对当前选择的图像信号继续从步骤SC1002到步骤SC1007的图案匹配处理。在步骤SC1009中，图案匹配结束并且确定最后存储的特征之间的最小差值是否小于预定值。如果确定最小差值小于预定值，则处理结束，如果否，则处理进行到步骤SC1010。如果特征之间的最小差值小于预定值，则在假设追踪被摄体被找到的情况下，继续图13的追踪开始处理。

在当特征之间的最小差值大于预定值以及用于进行匹配的时间结束时处理进行到的步骤SC1010中，假设追踪被摄体未被指定并且不可追踪信息被发出，之后，处理结束。当在图13的步骤SC905中发出用于取消追踪开始处理的不可追踪信息时，在图12A的步骤SC807中向远程控制终端20发送追踪被摄体未被指定的指示。

如上所述，针对选择的过去图像进行图案匹配并且获得追踪被摄体被期望存在的位置信息。通过按照图像序列来依次针对过去图像进行图案匹配，获得追踪被摄体在当前正被摄取的图像中存在的位置信息。

在下文中进行的图12A中的步骤SC809的追踪继续处理的描述被省略，因为其类似于如上所述的图5的流程图。

如上所述，照相机不仅向远程控制终端20发送摄取的图像信号而且发送图像信号的发送时间信息，并且每次图像信号被显示时、远程控制终端20将该发送时间信息按照原样发送回给照相机。照相机10一直由在从远程控制终端20接收到发送时间信息时的时间信息与接收的发送时间信息之间的差来测量通信延迟时间，并且照相机10将摄取的对应于至少通信延迟时间的时长的图像信号存储在SDRAM 166中。当利用来自远程控制终端20的追踪命令进行追踪控制时，系统控制器14接收由远程控制侧系统控制器21生成的、被利用来进行追踪命令的坐标信息。通过考虑通信延迟时间(从发送表示图像的图像信号到接收当该图像显示在远程控制终端处时由用户指定的坐标信息的延迟)、并在至少等于延迟时间的存储时间段内存储过去图像，系统控制器14能够在SDRAM 166中存储的过去图像中选择在远程控制终端20中进行追踪命令时在远程控制侧显示器243中显示的图像。

另外，追踪图像生成器141利用选择的图像中的中心位于接收的坐标信息的预定区域来生成追踪被摄体的图像(追踪图像)。系统控制器14通过基于追踪被摄体的图像在当前正被追踪信号处理器125和被摄体区域检测器126摄取的图像信号中指定追踪被摄体来进行追踪控制。为了在当前正被摄取的图像信号中指定追踪被摄体，从被利用来生成追踪被摄体的图像的过去图像信号开始按照时间顺序来依次在存储的过去图像与追踪被摄体的图像之间进行图案匹配。

在本变型例中，不仅利用追踪被摄体的位置信息而且还通过将通信延迟时间考虑在内指定追踪被摄体，来通过远程控制终端20进行追踪命令。由此，诸如由于通信延迟的影响误追踪用户希望追踪的被摄体以外的被摄体以及用户需要针对通过将通信时滞考虑在内估计的位置进行追踪命令的问题被改善。结果是，与通信延迟无关地，能够更精确地追踪用户想要追踪的被摄体并且无需用户担忧通信延迟而能够进行追踪命令。

因此，根据本发明，由用户远程指定的被摄体能够不顾通信时滞而被更精确地追踪。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

(其他实施例)

本发明的目的还可以按照如下描述来实现。即，其中存储有描述用于实现上述实施例的功能的过程的软件的程序代码的非暂时性计算机可读存储介质(存储介质)要被提供给摄像装置或远程控制终端。然后，摄像装置或远程控制终端的计算机(或CPU、MPU等)读取存储介质中存储的程序代码并执行该程序代码。

在这种情况下，从存储介质读取的程序代码自身实现了本发明的新功能，并且其中存储有该程序代码的存储介质以及程序构成了本发明。

关于用于提供程序代码的存储介质，例如，建议软盘、硬盘、光盘、磁光盘等。另外，还可以使用CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-R、电磁磁带、非易失性存储卡、ROM等。

可以执行实现本发明的程序，该程序可以存储在除了存储器或记录介质以外的载体介质中。例如，载体介质可以是诸如信号的发送介质。在这种情况下，可以通过网络以信号形式的发送(下载或上传)来提供程序。网络可以是互联网。特别地，实现本发明的程序可以是从诸如ITunes(苹果公司的注册商标)或GooglePlay的app(应用程序)商店下载的app。

另外，通过允许计算机读取的程序代码被执行，实现上述实施例的功能。而且，本发明包括通过计算机上运行的OS(操作系统)例如基于通过程序代码给出的命令进行部分或全部实际处理并且通过这种处理来实现上述实施例的功能的情况。

另外，本发明包括以下情况。首先从存储介质读取程序代码，并且将该程序代码写入到插入计算机的扩展板或与计算机连接的扩展单元中提供的存储器。之后，基于该程序代码的命令，通过例如扩展板或扩展单元中提供的CPU来进行部分或全部实际处理。

本发明可以优选应用于利用诸如小型数码相机、单反镜头照相机、视频照相机等的摄像装置以及诸如移动电话、麦克风、便携游戏设备等的远程控制终端构成的系统。

根据本发明的另一方面，提供了一种摄像装置，其适于与该摄像装置外部的远程控制装置一起使用，该摄像装置包括：

摄像单元，其用于对一系列拍摄的图像进行光电转换，以生成各自表示所述一系列图像中的一个图像的一系列图像信号；

图像存储单元，其用于存储所述一系列拍摄图像中的一个或多个图像；

通信单元，其将生成的所述图像信号以及识别分别由发送的图像信号表示的拍摄图像的图像标识信息发送到所述远程控制装置，并且还从所述远程控制装置接收与发送的所述图像信号中的一个相关的该图像标识信息、以及与用户在由所述一个图像信号表示的图像中指定的目标被摄体相关的位置信息；以及

控制单元，其使用接收的所述图像标识信息以及位置信息来在存储在所述图像存储单元中的所述一系列图像中的一个中检测目标被摄体。

在一个实施例中，所述图像标识信息是指示表示相关图像的图像信号被发送到所述远程控制装置的时间的定时信息。

在另一实施例中，所述图像标识信息是图像的帧标识符。

优选地，当基于发送的所述图像信号中的一个在所述远程控制装置(20)的显示器(243)上显示图像时，由所述远程控制装置的用户指定所述目标被摄体，并且接收的所述位置信息表示所显示的图像中的所述用户指定的目标被摄体所在的位置。

优选地，接收的所述图像标识信息识别所显示的图像。

优选地，所述控制单元使所述图像存储至少等于拍摄由图像信号表示的图像与所述通信单元在基于相关图像信号的图像显示在所述远程控制装置处之后接收到所述图像标识信息和位置信息之间的时滞的时间段。

优选地，所述控制单元测量所述摄像装置与所述远程控制装置之间的通信时滞，并根据所测量的时滞设置存储时间段。

当在由第一图像信号表示的图像与当前图像信号表示的当前图像之间摄像单元拍摄至少一个干涉图像时，所述控制单元优选在至少包括第一步骤和第二步骤的步骤中进行所述图案匹配，在所述第一步骤中，在由第二图像信号表示的图像与该干涉图像之间进行图案匹配，以在所述干涉图像中识别所述目标被摄体的追踪区域，在所述第二步骤中，在所述第一步骤的所述干涉图像与随后的干涉图像之间进行图案匹配，以在由所述当前图像信号表示的图像中识别追踪区域。

根据本发明的另一方面，提供了一种远程控制装置(20)，其适于与该远程控制装置外部的实现本发明的之前方面的摄像装置(10)一起使用，该远程控制装置包括：

接收单元(241)，其接收分别表示由所述摄像装置拍摄的一系列图像的图像信号，并且还接收识别分别由接收的所述图像信号表示的拍摄图像的图像标识信息；

显示单元(243)，其显示基于接收的所述图像信号的图像；

目标被摄体指定单元，其在所述显示单元显示基于接收的所述图像信号的所述图像时，使得所述远程控制装置的用户能够在所显示的图像中指定目标被摄体；以及

发送单元(241)，其被构造为向所述摄像装置发送针对当用户指定所述目标被摄体时显示的图像的所接收的图像标识信息。

在一个实施例中，所述图像标识信息是指示表示相关图像的图像信号被发送到所述远程控制装置的时间的定时信息。

在另一实施例中，所述图像标识信息是图像的帧标识符。

优选地，所述发送单元还向所述摄像装置发送与所显示的图像中的所述用户指定的目标被摄体所在的部分相关的位置信息。

本发明的其他方法方面提供了实现本发明的倒数第二装置方面的摄像装置的控制方法、以及实现本发明的最后一个装置方面的远程控制装置的控制方法。

本发明的另一方面提供了当由摄像装置中的处理器或计算机执行时使该处理器或计算机执行本发明的最后一个方法方面的摄像装置的控制方法的程序。

本发明的另一方面提供了当由远程控制装置中的处理器或计算机执行时使该处理器或计算机执行本发明的最后一个方法方面的远程控制装置的控制方法的程序。

Claims (16)

1.一种摄像装置，其适于与该摄像装置外部的远程控制装置一起使用，该摄像装置包括：

摄像单元，其用于对拍摄的图像进行光电转换以生成表示所述图像的图像信号；

通信单元，其将所生成的图像信号发送到所述远程控制装置，当在所述图像上指定被摄体时，所述通信单元从所述远程控制装置接收该被摄体在由所述远程控制装置的显示单元显示的图像上的位置信息，并且所述通信单元接收向与在指定被摄体时显示的图像相对应的图像信号赋予的赋予信息；

存储单元，其在预定时段期间存储由所述摄像单元生成的图像信号；

选择单元，其基于接收的赋予信息选择由所述存储单元存储的图像信号当中的与在指定被摄体时由所述远程控制装置的显示单元显示的图像相对应的图像信号；以及

指定单元，其基于所选择的图像信号以及从所述远程控制装置接收到的位置信息来指定被摄体区域，基于所述被摄体区域生成追踪用图像，并且基于所述追踪用图像从在所选择的图像信号之后生成的图像信号中指定被摄体的第一追踪区域。

2.根据权利要求1所述的摄像装置，其中，当所述通信单元向所述远程控制装置发送图像信号时赋予所述赋予信息，并且所述通信单元将所述赋予信息发送给所述远程控制装置。

3.根据权利要求1所述的摄像装置，其中，所述赋予信息是与向所述远程控制装置发送图像信号的发送时间相关的信息。

4.根据权利要求1所述的摄像装置，其中，所述存储单元至少在基于接收的赋予信息计算的通信时滞期间存储图像信号。

5.根据权利要求1所述的摄像装置，其中，所述选择单元从所述存储单元中存储的图像信号当中，选择最接近经过了在接收到位置信息时计算的通信时滞的过去点的图像信号。

6.根据权利要求1所述的摄像装置，其中，所述指定单元通过在所述存储单元中存储的图像信号当中，按连续时间顺序从选择的图像信号中指定被摄体的第二追踪区域，来从当前图像信号中指定所述第一追踪区域。

7.根据权利要求1所述的摄像装置，其中，在所选择的图像信号之后生成的图像信号是当前图像信号。

8.根据权利要求1所述的摄像装置，其中，所述存储单元基于根据接收的赋予信息计算的通信时滞来设置存储图像信号的时段。

9.一种远程控制装置，其适于与该远程控制装置外部的摄像装置一起使用，该远程控制装置包括：

显示单元，其显示与从所述摄像装置接收到的图像信号相对应的图像；

生成单元，其在由显示单元显示的图像上指定被摄体的情况下，生成该被摄体在显示单元显示的图像上的位置信息；以及

通信单元，其从所述摄像装置接收图像信号以及向图像信号赋予的赋予信息，在由所述显示单元显示的图像上指定被摄体的情况下，所述通信单元将所述位置信息发送给所述摄像装置，并且所述通信单元将向与在指定被摄体时显示的图像相对应的图像信号赋予的赋予信息发送给所述摄像装置，

其中，所述摄像装置基于根据所述赋予信息而计算的通信时滞，选择与在指定被摄体时由所述远程控制装置的显示单元显示的图像相对应的图像信号，基于所选择的图像信号和位置信息来指定被摄体区域，基于所述被摄体区域生成追踪用图像，并且基于所述追踪用图像从在所选择的图像信号之后生成的图像信号中指定被摄体的第一追踪区域。

10.根据权利要求9所述的远程控制装置，其中，所述赋予信息是与从所述摄像装置发送图像信号时的发送时间相关的信息，

所述通信单元从所述摄像装置接收被赋予了与所述发送时间相关的信息的图像信号，并且

当所述显示单元显示与图像信号相对应的图像时，所述远程控制装置通过所述通信单元向所述摄像装置发送向图像信号赋予的与所述发送时间相关的信息。

11.一种摄像系统，所述摄像系统包括摄像装置及远程控制装置，所述远程控制装置适于与所述远程控制装置外部的所述摄像装置一起使用，所述摄像系统包括：

摄像单元，其配设在所述摄像装置中，并用于对拍摄的图像进行光电转换以生成表示所述图像的图像信号；

第一通信单元，其配设在所述摄像装置中，并向所述远程控制装置发送赋予信息；

第二通信单元，其配设在所述远程控制装置中，并接收图像信号和所述赋予信息；

显示单元，其配设在所述远程控制装置中，并显示与从所述摄像装置接收到的图像信号相对应的图像；

生成单元，其配设在所述远程控制装置中，并在由所述显示单元显示的图像上指定被摄体的情况下，生成该被摄体在显示单元显示的图像上的位置信息；

存储单元，其配设在所述摄像装置中，并在预定时段期间存储由所述摄像单元生成的图像信号；

选择单元，其配设在所述摄像装置中，并基于接收的赋予信息，来选择由所述存储单元存储的图像信号当中的与在指定被摄体时由所述远程控制装置的显示单元显示的图像相对应的图像信号；以及

指定单元，其配设在所述摄像装置中，并基于所选择的图像信号以及从所述远程控制装置接收到的位置信息来指定被摄体区域，基于所述被摄体区域生成追踪用图像，并且基于所述追踪用图像，从在所选择的图像信号之后生成的图像信号中指定被摄体的第一追踪区域。

12.根据权利要求11所述的摄像系统，所述摄像系统还包括计算单元，

其中，所述赋予信息是与从所述摄像装置向所述远程控制装置发送图像信号的发送时间相关的信息，

当所述第一通信单元发送图像信号时，所述摄像装置向图像信号赋予与发送时间相关的信息以发送图像信号，

当所述显示单元显示与图像信号相对应的图像时，所述远程控制装置通过所述第二通信单元将向图像信号赋予的与发送时间相关的信息，发送给所述摄像装置，并且

所述计算单元根据所述摄像装置从所述第二通信单元接收到与发送时间相关的信息时的时间与发送时间之间的差，来计算通信时滞。

13.一种摄像装置的控制方法，所述摄像装置具有用于对拍摄的图像进行光电转换以生成表示所述图像的图像信号的摄像单元，所述摄像装置适于与所述摄像装置外部的远程控制装置一起使用，所述控制方法包括以下步骤：

发送所生成的图像信号；

当在所述图像上指定被摄体时，从所述远程控制装置接收该被摄体在由所述远程控制装置的显示单元显示的图像上的位置信息；

接收向与在指定被摄体时显示的图像相对应的图像信号赋予的赋予信息；

在预定时段期间存储由所述摄像单元生成的图像信号；

基于接收的赋予信息选择存储的图像信号当中的与在指定被摄体时由所述远程控制装置的显示单元显示的图像相对应的图像信号；以及

基于所选择的图像信号以及从所述远程控制装置接收到的位置信息来指定被摄体区域，基于所述被摄体区域生成追踪用图像，并且基于所述追踪用图像从在所选择的图像信号之后生成的图像信号中指定被摄体的第一追踪区域。

14.一种计算机可读存储介质，其上存储有摄像装置的控制程序，所述摄像装置具有用于对拍摄的图像进行光电转换以生成表示所述图像的图像信号的摄像单元，所述摄像装置适于与所述摄像装置外部的远程控制装置一起使用，其中，所述控制程序在被执行时实现以下步骤：

发送所生成的图像信号；

当在所述图像上指定被摄体时，从所述远程控制装置接收该被摄体在由所述远程控制装置的显示单元显示的图像上的位置信息；

接收向与在指定被摄体时显示的图像相对应的图像信号赋予的赋予信息；

在预定时段期间存储由所述摄像单元生成的图像信号；以及

基于接收的赋予信息选择存储的图像信号当中的与在指定被摄体时由所述远程控制装置的显示单元显示的图像相对应的图像信号；以及

基于所选择的图像信号以及从所述远程控制装置接收到的位置信息来指定被摄体区域，基于所述被摄体区域生成追踪用图像，并且基于所述追踪用图像从在所选择的图像信号之后生成的图像信号中指定被摄体的第一追踪区域。

15.一种远程控制装置的控制方法，所述远程控制装置适于与该远程控制装置外部的摄像装置一起使用，所述控制方法包括以下步骤：

接收由所述摄像装置生成的图像信号以及向图像信号赋予的赋予信息；

在显示单元上显示与从所述摄像装置接收到的图像信号相对应的图像；

当在由所述显示单元显示的图像上指定被摄体时，生成该被摄体在显示单元显示的图像上的位置信息；

当在由所述显示单元显示的图像上指定被摄体时，向所述摄像装置发送所述位置信息；以及

向所述摄像装置发送向与在指定被摄体时显示的图像相对应的图像信号赋予的赋予信息，

其中，所述摄像装置基于根据所述赋予信息而计算的通信时滞，选择与在指定被摄体时由所述远程控制装置的显示单元显示的图像相对应的图像信号，基于所选择的图像信号和位置信息来指定被摄体区域，基于所述被摄体区域生成追踪用图像，并且基于所述追踪用图像从在所选择的图像信号之后生成的图像信号中指定被摄体的第一追踪区域。

16.一种计算机可读存储介质，其上存储有远程控制装置的控制程序，所述远程控制装置适于与该远程控制装置外部的摄像装置一起使用，其中，所述控制程序在被执行时实现以下步骤：

接收由所述摄像装置生成的图像信号以及向图像信号赋予的赋予信息；

在显示单元上显示与从所述摄像装置接收到的图像信号相对应的图像；

当在由所述显示单元显示的图像上指定被摄体时，生成该被摄体在显示单元显示的图像上的位置信息；

当在由所述显示单元显示的图像上指定被摄体时，向所述摄像装置发送所述位置信息；以及

向所述摄像装置发送向与在指定被摄体时显示的图像相对应的图像信号赋予的赋予信息，

其中，所述摄像装置基于根据所述赋予信息而计算的通信时滞，选择与在指定被摄体时由所述远程控制装置的显示单元显示的图像相对应的图像信号，基于所选择的图像信号和位置信息来指定被摄体区域，基于所述被摄体区域生成追踪用图像，并且基于所述追踪用图像从在所选择的图像信号之后生成的图像信号中指定被摄体的第一追踪区域。

Images