CN104041005A - 追踪框初始位置设定设备及其操作控制方法 - Google Patents

追踪框初始位置设定设备及其操作控制方法 Download PDF

Info

Publication number
CN104041005A
CN104041005A CN201280048266.2A CN201280048266A CN104041005A CN 104041005 A CN104041005 A CN 104041005A CN 201280048266 A CN201280048266 A CN 201280048266A CN 104041005 A CN104041005 A CN 104041005A
Authority
CN
China
Prior art keywords
image
initial position
frame
trail
high fdrequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280048266.2A
Other languages
English (en)
Other versions
CN104041005B (zh
Inventor
国分秀昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104041005A publication Critical patent/CN104041005A/zh
Application granted granted Critical
Publication of CN104041005B publication Critical patent/CN104041005B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Abstract

本发明使得对目标图像的自动追踪相对地容易。具体地说，通过拍摄被摄体而获得的图像显示在显示屏上并且追踪框显示在显示屏中心中的参考位置处（步骤30）。环绕追踪框设定其中设定追踪框的初始位置的区域（步骤31）并且生成示出所述区域内图像的高频分量的高频分量图像（步骤32）。生成表示到拍摄范围内被摄体的距离的距离图像（步骤33）。示出与在参考位置处显示的追踪框所指定的被摄体部分相同距离的被摄体的所述区域被决定为搜索区域。当移动框在高频分量图像的搜索区域内移动时，计算高频分量的数量（步骤34）。所计算的高频分量的数量最大处的移动框的位置被设定为追踪框的初始位置（步骤35）。

Description

追踪框初始位置设定设备及其操作控制方法
技术领域
本发明涉及一种用于在目标图像自动追踪装置中设定追踪框的初始位置的设备，并且涉及控制该设备的操作的方法。
背景技术
数码相机（包括数码静止相机、数码电影相机和配备数码相机的移动电话）包括追踪目标图像的那些数码相机。例如，存在一种数码相机设定显示屏内的多个窗口、测量每个窗口的距离且基于所测量的值执行追踪（专利文献1），一种数码相机通过比较现在捕捉的图像和上次捕捉的图像来检测要追踪的对象（专利文献2），还有一种数码相机通过根据距离和拍摄镜头聚焦距离等改变捕捉要追踪的目标被摄体的图像的区域的尺寸作为参考模式，来执行追踪（专利文献3）。
在其中追踪目标图像的情况下，有必要设定目标图像。通常，目标图像的设定是通过让用户指定目标图像来执行的。但是，当试图指定无特征、难以追踪的图像时，追踪难以执行。由于这个原因，存在决定追踪框的初始位置的系统（专利文献4）。
[现有技术文献]
[专利文献]
[专利文献1]：日本专利申请特开No.5-52562
[专利文献2]：日本专利申请特开No.2005-114588
[专利文献3]：日本专利申请特开No.2006-184742
[专利文献4]：日本专利申请特开No.2011-160062
发明内容
[本发明要解决的问题]
通过专利文献1中描述的安排，当设定追踪窗口时，在短距离处的某物总是被选择。因此，在其中物体处于目标这一侧时，不能追踪物体。通过专利文献2中描述的安排，物体被假定是其中心位置向前突出，结果是除了这样的物体之外的物体都倾向于不被追踪。通过专利文献3中描述的安排，追踪目标的设定被留给用户决定。因此，在其中用户将无特征部分设定为目标的情况下，存在其中不能被追踪的情况。此外，通过专利文献4中描述的安排，追踪框的初始位置被决定在用于设定追踪框的初始位置的目标区域中。但是，如果目标区域太大，则需要花费时间来决定追踪框的初始位置。
本发明的目标在于安排使得当决定追踪框的初始位置以便便利目标图像的追踪时，可以在相对短的时间段内决定初始位置。
本发明提供了一种追踪框初始位置设定设备，用于指定在通过对被摄体连续成像而获得的被摄体图像中包含的要追踪的目标图像，其特征在于包括：显示单元，用于显示通过成像所获得的被摄体图像；距离信息生成装置，用于生成距离信息，该距离信息表示到成像区域中所包含的被摄体的距离或对应于该距离的值的距离值；追踪目标决定装置，用于决定要追踪的目标图像；以及决定装置，用于对于图像部分中每个所规定的区域，计算高频分量的数量，并且决定其中所计算的高频分量的数量等于或大于所规定的阈值或是最大值的区域的位置是所述追踪框的初始位置，所述图像部分在通过成像所获得的被摄体图像内，且表示具有距离值（其可以基本视为与距离相同）与到所述追踪目标决定装置所决定的要追踪的目标图像所表示的被摄体的距离值相同的被摄体。
本发明还提供了一种适合于上述的追踪框初始位置设定设备的操作控制方法。具体地说，本发明提供了一种控制追踪框初始位置设定设备的操作的方法，包括：显示单元显示通过成像所获得的被摄体图像；距离信息生成装置生成距离信息，该距离信息表示到成像区域中所包含的被摄体的距离或对应于该距离的值的距离值；追踪目标决定装置用于决定要追踪的目标图像；以及决定装置对于图像部分中每个所规定的区域计算高频分量的数量，并且决定其中所计算的高频分量的数量等于或大于所规定的阈值或是最大值的区域的位置是所述追踪框的初始位置，所述图像部分在通过成像所获得的被摄体图像内、表示具有距离值与到所述追踪目标决定装置所决定的要追踪的目标图像所表示的被摄体的距离值相同的被摄体。
根据本发明，被摄体被连续成像并且生成表示到成像区域中包含的被摄体的距离的距离图像。在通过成像所获得的被摄体图像中，移动框在具有与所决定要追踪的目标图像相同距离的图像部分中移动，在框移动时计算移动框内图像的高频分量的数量。所计算的高频分量的数量等于或大于预定阈值或者是最大值所处的移动框的位置被决定作为追踪框的初始位置。在高频分量的数量等于或大于所规定的阈值或者是最大值所处的移动框的位置处的图像具有许多边缘分量并且易于追踪。由于该位置是追踪框的初始位置，所以追踪相对较容易。而且，由于移动框在相对较窄的区域，即具有与决定要追踪的目标图像相同距离的图像部分中移动，所以决定追踪框的初始位置所需的时间将被缩短。尽管图像的边界部分具有许多高频分量，但没有计算图像边界部分的高频分量的危险，因为移动框是在相同距离的图像部分中移动的。
例如，距离信息生成装置生成距离图像作为距离信息，距离图像是根据从不同视点表示被摄体的两个被摄体图像之间的对应像素的水平偏差的数量而获得的。
所述设备可进一步包括特定频率分量计算装置，用于对移动框进行移动，其中，当所述框在图像部分中移动时计算所述框内图像的高频分量的数量，并且计算每当移动移动框时所述移动框内图像的高频分量的数量，所述图像部分在通过成像所获得的被摄体图像内，且表示具有距离值与到所述追踪目标决定装置所决定的要追踪的目标图像所表示的被摄体的距离值相同的被摄体。在此情况下，所述决定装置将决定所述特定频率分量数量计算装置所计算的高频分量的数量等于或大于所规定的阈值或是最大值所处的所述移动框的位置是所述追踪框的初始位置。
例如，决定要追踪目标图像是由用户指定的图像、表示由所述距离信息生成装置所生成的所述距离信息中相同距离值的图像部分中最大区域的图像、包括成像区域中心的区域的图像、或者表示位于最前面的被摄体的区域的图像。
通过对被摄体连续成像而获得的被摄体图像是例如彩色图像。在此情况下，所述设备进一步包括色彩分量数量计算装置，用于对于每个所述所规定的区域，计算所规定的色彩分量的分量数量，并且所述决定装置决定由所述色彩分量数量计算装置所计算的分量数量等于或大于所规定的阈值或是最大值所处的区域的位置是所述追踪框的初始位置。
所述设备可以进一步包括第一控制装置，用于控制所述决定装置以便在响应于所述特定频率分量数量计算装置所计算的高频分量的数量没有等于或超过所规定的阈值而放大所规定区域的尺寸后计算高频分量的数量。
所述设备可以进一步包括第一控制装置，用于控制所述色彩分量数量计算装置以便在响应于所述色彩分量数量计算装置所计算的色彩分量的数量没有等于或超过所规定的阈值而放大所规定区域的尺寸后执行用于计算色彩分量的数量的处理。
所述设备可以进一步包括放大命令装置，用于施加所规定区域放大命令。在此情况下，举例来说，所述第一控制装置将控制所述决定装置以便在响应于从所述放大命令装置施加的放大命令、所述特定频率分量数量计算装置所计算的高频分量的数量没有等于或超过所规定的阈值而放大所规定区域的尺寸后计算高频分量的数量。
所述设备可以进一步包括放大命令装置，用于施加所规定区域放大命令。在此情况下，举例来说，所述第一控制装置控制所述色彩频率分量数量计算装置以便在响应于从所述放大命令装置施加的放大命令、所述色彩分量数量计算装置所计算的色彩分量的数量没有等于或超过所规定的阈值而放大所规定区域的尺寸后执行用于计算色彩分量的数量的处理。
所述设备可以进一步包括放大比率设定装置，用于设定所规定区域的放大比率。在此情况下，举例来说，所述第一控制装置控制所述决定装置以便在响应于在所述决定装置中所计算的高频分量的数量没有等于或超过所规定的阈值、根据由所述放大比率设定装置所设定的放大比率来放大所规定区域的尺寸后计算高频分量的数量。
所述设备可以进一步包括放大比率设定装置，用于设定所规定区域的放大比率。在此情况下，举例来说，所述第一控制装置控制所述色彩分量数量计算装置以便在响应于所述色彩分量计算装置所计算的色彩分量的数量没有等于或超过所规定的阈值、根据由所述放大比率设定装置所设定的放大比率来放大所规定区域的尺寸后执行用于计算彩色分量的数量的处理。
所述设备可以进一步包括第二控制装置，用于控制所述决定装置以便在响应于在所述决定装置中所计算的高频分量的数量没有等于或超过所规定的阈值、减小所述被摄体图像的尺寸后计算高频分量的数量。
所述设备可以进一步包括第三控制装置，用于控制所述色彩分量数量计算装置以便在响应于在所述色彩分量数量计算装置中所计算的色彩分量的数量没有等于或超过所规定的阈值而减小所述被摄体图像的尺寸后执行用于计算色彩分量的数量的处理。
所述设备可以进一步包括第一通知装置，用于响应于在所述决定装置中所计算的高频分量的数量没有等于或超过所规定的阈值而通知错误。
所述设备可以进一步包括第二通知装置，用于响应于所述色彩分量数量计算装置所计算的色彩分量的数量没有等于或超过所规定的阈值而通知错误。
例如，所述第一通知装置通过语音输出或者通过移动框的显示形式的改变来通知错误。进一步，举例来说，所述第一通知装置通过移动框的色彩、线类型或形状的改变或者通过移动框的照明或闪光方法的改变来通知错误。
例如，所述第二通知装置通过语音输出或者通过移动框的显示形式的改变来通知错误。进一步，举例来说，所述第二通知装置通过移动框的色彩、线类型或形状的改变或者通过移动框的照明或闪光方法的改变来通知错误。
所述设备可以进一步包括目标区域设定装置，用于设定具有尺寸大于所规定区域且小于所述被摄体图像的目标区域。在此情况下，例如，所述追踪目标决定装置在通过所述目标区域设定装置所设定的目标区域内决定要追踪的目标图像。
例如，所述目标区域设定装置以以下方式在所述被摄体图像上设定目标区域：所述被摄体图像的中心与目标区域的中心相一致，以及，例如，所述特定频率分量数量计算装置将所述移动框从所述目标区域的中心向外移动并且每当移动移动框时计算移动框内图像的高频分量的数量。
例如，所述目标区域设定装置以以下方式在所述被摄体图像上设定目标区域：所述被摄体图像的中心与目标区域的中心相一致，以及，例如，所述色彩分量数量计算装置将所述移动框从所述参考位置向外移动并且每当移动移动框时计算移动框内图像的所规定色彩分量的分量数量。
例如，所述特定频率分量计算装置移动所述移动框并且每当移动移动框时计算移动框内图像的从其中已经消除了高频分量的低频分量的数量或者中频分量的数量，以及，所述决定装置决定所述特定频率分量数量计算装置所计算的低频分量的数量或中频分量的数量等于或大于所规定的阈值处的移动框的位置是所述追踪框的初始位置。
所述设备可以进一步包括降噪处理装置，用于向表示所述被摄体图像的图像数据施加降噪处理。在此情况下，经过所述降噪处理装置的降噪处理的由图像数据所表示的所述被摄体图像将经过所述决定装置的处理。
所述设备可以进一步包括信号处理装置，用于向表示所述被摄体图像的图像数据施加伪彩色或伪信号降低处理。在此情况下，经过所述信号处理装置的伪彩色或伪信号降低处理的图像数据所表示的所述被摄体图像将经过所述决定装置的处理。
所述设备可以进一步包括停止命令装置，用于施加停止用于决定所述追踪框的初始位置的处理的命令。在此情况下，响应于从所述停止命令装置施加停止命令，停止搜索决定装置的处理并且将所述参考位置决定为所述追踪框的初始位置。
例如，所述特定频率分量计算装置以以下方式对移动框进行移动：通过成像所获得的被摄体图像内的、具有距离值与所述追踪目标决定装置所决定的要追踪的目标图像相同的图像部分的包含的比例将等于或大于所述框内所规定的比例，并且每当移动移动框时计算移动框内图像的高频分量的数量。
所述设备可以进一步包括模式设定装置，用于设定最大值优先级设定模式或中心优先级设定模式。在此情况下，响应于由所述模式设定装置设定最大值优先级设定模式，所述决定装置决定由所述特定频率分量数量计算装置所计算的高频分量的数量最大处的移动框的位置是所述追踪框的初始位置，以及，响应于由所述模式设定装置设定中心优先级设定模式，所述频率分量数量计算装置从所述被摄体图像的中心向外移动所述移动框，每当移动移动框时计算所述移动框内图像的高频分量的数量，并且响应于所计算的高频分量的数量等于或超过所规定的阈值而停止移动框的移动。
所述设备可以进一步包括追踪装置，用于将所述追踪框移动到一图像部分，所述图像部分处于通过成像获得的被摄体图像中，在由所述决定装置所决定位置处在与到所述追踪框内图像部分所表示的被摄体的距离相同的距离值处的图像部分中，与所述追踪框内的图像部分相同。
所述设备可以进一步包括第一显示控制装置，用于控制所述显示单元以便在由所述追踪目标决定装置所决定的位置处显示追踪框。
所述设备可以进一步包括偏移量计算装置，用于计算表示在所述决定装置所决定的追踪框的初始位置与所述追踪目标决定装置所决定的位置之间的位置偏差的数量的偏移量；以及第二显示控制装置，用于控制所述显示单元以便将显示框显示在从所述追踪装置的追踪中所使用的追踪框偏移了由所述偏移量计算装置所计算的偏移量的位置处。
附图说明
图1是图示数码静止相机的电配置的框图；
图2是图示用于设定追踪框的初始位置的处理过程的流程图；
图3是被摄体图像的例子；
图4是被摄体图像的例子；
图5是被摄体图像的例子；
图6是距离图像的例子；
图7是被摄体图像的例子；
图8是被摄体图像的例子；
图9图示了被摄体图像的一部分；
图10图示了被摄体图像的一部分；
图11表示左视点图像和右视点图像；
图12是图示用于设定追踪框的初始位置的处理过程的流程图；
图13是色彩分量柱状图的例子；
图14是色彩分量柱状图的例子；
图15是色彩分量柱状图的例子；
图16是图示用于设定追踪框的初始位置的处理过程的流程图；
图17是用于设定追踪框的初始位置的菜单图像的例子；
图18是图示用于设定追踪框的初始位置的处理过程的流程图；
图19是被摄体图像的例子；
图20是被摄体图像的例子；
图21是被摄体图像的例子；
图22是图示用于设定追踪框的初始位置的处理过程的流程图；
图23是设定追踪框的初始位置的方法的菜单图像的例子；
图24是图示用于设定追踪框的初始位置的处理过程的流程图；
图25是用于放大追踪框的菜单图像的例子；
图26是图示用于设定追踪框的初始位置的处理过程的流程图；
图27是图示用于设定追踪框的初始位置的处理过程的流程图；
图28是被摄体图像的例子；
图29是图示用于设定追踪框的初始位置的处理过程的流程图；
图30是图示用于设定追踪框的初始位置的处理过程的流程图；
图31是被摄体图像的例子；
图32是图示用于计算高频分量的数量的处理过程的流程图；
图33图示了其中移动框移动的方式；
图34图示了RGB色空间；
图35图示了其中像素分布的方式；
图36是图示自动追踪处理过程的流程图；
图37是图示自动追踪处理过程的流程图；
图38是被摄体图像的例子；
图39是模板图像和距离信息的例子；
图40是被摄体图像的例子；
图41是图示用于设定追踪框的初始位置的处理过程的流程图；
图42是图示用于设定追踪框的初始位置的处理过程的流程图；
图43是被摄体图像的例子；以及
图44是图示自动追踪处理过程的一部分的流程图。
具体实施方式
图1示出了本发明的实施例，其是图示数码静止相机的电配置的框图。
不用说，本发明的实施例不限于数码静止相机，而且还适用于数码电影视频相机。
根据本实施例的数码静止相机是所谓的复眼数码静止相机并且包括第一成像单元10R和第二成像单元10L，第一成像单元10R用于捕捉右眼所观察到的右视点图像，第二成像单元10L用于捕捉左眼所观察到的左视点图像。在这个实施例中，如下面将详细描述的，生成距离图像，该距离图像表示从右眼视点图像和左眼视点图像到被摄体的距离。利用距离图像来决定用于追踪所需被摄体的追踪框的初始位置。自然地，由于如果生成距离图像就足够，所以不必使用复眼数码静止相机并且其可以安排为使用包括一个成像单元的所谓单眼数码静止相机。
数码静止相机的整体操作由CPU1来控制。
数码静止相机包括操作设备2。操作设备2包括电源按钮、模式设定拨盘、两步拨动型快门-释放按钮等。从操作设备2输出的操作信号被输入到CPU1。通过模式设定拨盘设定的模式包括诸如成像模式和回放模式的模式。
如上所提及的，数码静止相机包括第一成像单元10R和第二成像单元10L。
第一成像单元10R包括第一CCD15R，用于从右眼视点捕捉图像。第一成像镜头11R、第一虹膜12R、第一红外剪切滤光器13R和第一光学低通滤波器14R提供在CCD15R之前。第一成像镜头11R由第一镜头驱动电路5R定位，第一虹膜12R的光圈是由第一虹膜驱动电路4R控制。第一CCD15R是由第一图像传感器驱动电路3R驱动。
当设定成像模式时，表示被摄体的图像的光线被第一成像镜头11R收集且经由第一虹膜12R、第一红外剪切滤光器13R和第一光学低通滤波器14R照射到第一CCD15R的感光器表面上。被摄体的图像形成在第一CCD15R的感光器表面上，从第一CCD15R输出表示被摄体的右眼视点图像的模拟视频信号。这样，被摄体由第一CCD15R在固定时期成像，从第一CCD15R一次一帧地输出表示被摄体在固定时期的图像的视频信号。
第一模拟信号处理单元16R包括相关双采样电路和信号放大电路等。已经从第一CCD15R输出的模拟视频信号输入到第一模拟信号处理单元16R并且经过诸如相关双采样和信号放大的处理。已经从第一模拟信号处理单元16R输出的模拟信号输入到第一模拟/数字转换电路18R且被转换成右眼视点数字图像数据。通过转换获得的数字图像数据在存储器控制电路19的控制下被暂时存储在主存储器20中。
第二成像单元10L包括第二CCD15L，用于从左眼视点捕捉图像。第二成像镜头11L、第二虹膜12L、第二红外剪切滤光器13L和第二光学低通滤波器14L提供在CCD15L之前。第二成像镜头11L由第二镜头驱动电路5L定位，第二虹膜12L的光圈是由第二虹膜驱动电路4L控制。第二CCD15L是由第二图像传感器驱动电路3L驱动。
当设定成像模式时，以与第一成像单元10R相似的方式，被摄体的图像形成在第二CCD15L的感光器表面上，从第二CCD15L输出表示被摄体的左眼视点图像的模拟视频信号。这样，被摄体由第二CCD15L在固定时期成像，从第二CCD15L一次一帧地输出表示被摄体在固定时期的图像的视频信号。
已经从第二CCD15L输出的模拟视频信号输入到第二模拟信号处理单元16L并且经过诸如相关双采样和信号放大的处理。已经从第二模拟信号处理单元16L输出的模拟信号输入到第二模拟/数字转换电路18L且被转换成左眼视点数字图像数据。通过转换获得的数字图像数据在存储器控制电路19的控制下被暂时存储在主存储器20中。
右眼视点图像数据和左眼视点图像数据的项目被从主存储器20中读出并且输入到数字信号处理电路21。数字信号处理电路21执行所规定的数字信号处理，诸如白平衡调整和伽马校正。在数字信号处理电路21中经过数字信号处理的图像数据被应用到显示控制电路26。显示单元27由显示控制电路26控制，由此在显示单元27的显示屏上立体地显示通过成像获得的被摄体的图像。自然地，可以安排为使得右眼视点图像或左眼视点图像而非立体图像显示在显示单元27的显示屏上。
如果快门-释放按钮被按压通过其拨动的第一步，则从第一模拟/数字转换电路18R和第二模拟/数字转换电路18L输出的右眼视点图像数据和左眼视点图像数据的项目的任一图像数据项目（或图像数据项目二者都）以上述方式记录在主存储器20中。从主存储器20中读出的图像数据转换为数字信号处理电路21中的亮度数据。通过转换获得的亮度数据被输入到积分电路23并被积分。表示积分值的数据被应用到CPU1且计算曝光量。以达到所计算的曝光量的方式来控制虹膜12的光圈和CCD15的快门速度。
如果快门-释放按钮被按压通过其拨动的第二步，则从第一模拟/数字转换电路18R和第二模拟/数字转换电路18L输出的右眼视点图像数据和左眼视点图像数据的项目二者都以上述方式记录在主存储器20中。从主存储器20中读出的右眼视点图像数据和左眼视点图像数据的项目在数字信号处理电路21中以与上述相似的方式经过所规定的数字信号处理。从数字信号处理电路21输出的右眼视点图像数据和左眼视点图像数据的项目在压缩/扩展处理电路22中经过数据压缩。压缩过的右眼视点图像数据和左眼视点图像数据的项目通过外部存储器控制电路24所执行的控制被记录在存储器卡25上。
在这个实施例中，被摄体图像中包含的目标图像可以被自动追踪。通过执行自动追踪，帧（追踪框）可以连续地显示在通过成像而连续获得的被摄体图像（运动图像）中所包含的目标图像上。这样，成像可以重复而不会忽略特定人物。进一步，曝光调整可以以目标图像将采用合适亮度的方式来执行，聚焦调整可以被执行使得目标图像合焦。
在其中目标图像被追踪的情况下，有必要设定目标图像（以执行初始目标设定）。这个实施例使得如果目标图像一部分被用户指定，则使用接近指定部分的易于追踪的部分作为目标图像来决定追踪框。追踪由此变得相对容易。
为了决定追踪框的初始位置，数码静止相机包括初始目标设定单元28。初始目标设定单元28设定的追踪框显示在显示单元27的显示屏上。初始目标设定单元28中设定的追踪框内的图像被采纳作为目标图像并且目标图像被自动追踪单元29追踪。数字信号处理电路21包含了降噪滤波器、伪彩色降低滤波器和伪信号降低滤波器。在数字信号处理电路21中经过降噪、伪彩色降低和伪信号降低的图像数据被输入到初始目标设定单元28，其中执行后面描述的处理。
当设定回放模式时，读取已经记录在存储器卡25上的被压缩的图像数据。所读出的被压缩的图像数据在压缩/扩展处理电路22中被扩展。通过向显示控制电路26应用被扩展的图像数据，再现的图像显示在显示单元27的显示屏上。可以这样安排使得上述的自动追踪不仅在记录时执行而且在回放时也执行。
图2是图示用于设定追踪框的初始位置的处理过程的流程图。图3到5以及图7和8是显示单元27的显示屏上显示的图像的例子。图6是距离图像的例子。图3到5和图7和8中所示的图像40是一个被摄体图像40，其由通过在固定时期设定成像模式对被摄体连续成像而获得的多个图像帧构成，如上所述。
当设定成像模式时，在固定时期对被摄体成像，且被摄体的图像在显示单元27的显示屏上被显示为移动图像（所谓的“直通镜头图像”），如上所述。追踪框41被显示在参考位置处，这是显示单元27的显示屏的中心位置（步骤30）。（参考位置不必是中心位置，可能存在多个。）
图3图示了其中在参考位置处显示追踪框41的方式。
通过对被摄体成像而获得的被摄体图像40正显示在显示单元27的显示屏上。被摄体图像40包含人物图像I1、第一树图像I2、第二树图像I3和背景图像I4。人物图像I1所表示的人物最接近数码静止相机，第一树图像I2所表示的树其次接近数码静止相机。第二树图像I3所表示的树比第一树图像I2所表示的树更远离数码静止相机。背景图像I4所表示的背景是最远离数码静止相机的。规定尺寸的矩形追踪框41显示在显示屏的中心部分处的参考位置处。追踪框41的形状不限于矩形形状而是可以为另外的形状。进一步，人物、面部等可以被识别且所识别的人物或面部的形状可以被采纳作为追踪框。
摄像师以以下方式来决定相机角度：想要追踪的目标图像落入追踪框41内。如果目标图像的至少一部分落入追踪框41内，则摄像师按压快门-释放按钮通过其拨动的第一步（应用开始用于决定追踪框的初始位置的处理的命令）。当这完成时，用于设定追踪框的初始位置的目标区域被设定在追踪框41之外（图2中步骤31）。自然地，其可以被安排为：通过按压快门-释放按钮通过其拨动的第一步来执行用于显示追踪框的步骤30的处理。进一步，用于开始用于决定追踪框的初始位置的处理的命令可以从另一专用按钮或开关，而不是通过按压快门-释放按钮通过其拨动的第一步，来应用于数码静止相机。
图4图示了在图像40上怎样设定用于设定追踪框的初始位置的目标区域。
用于设定追踪框的初始位置的目标区域42使其中心作为显示屏的中心，其尺寸大于追踪框41且小于被摄体图像（显示屏）40，并且包含追踪框。在图4中，尽管指出了虚构线以便可以理解用于设定追踪框的初始位置的目标区域42，但是用于设定追踪框的初始位置的目标区域42不必显示在显示屏上。自然地，区域42本身不需要被提供。
当设定用于设定追踪框的初始位置的目标区域42时，通过提取区域42中包含的目标图像的高频分量而生成高频分量图像（图2中步骤32）。
图5图示了其中从目标区域42中包含的图像中提取到的高频分量的方式，该目标区域42用于设定追踪帧的初始位置，由此生成高频分量图像。
通过从区域42内的图像中提取高频分量而生成的高频分量图像43显示在区域42内。为了指示区域42内的图像是由高频分量组成的图像43，图像43被画上斜线。在其中没有区域42的情况下，从整个图像40中提取高频分量图像。
接下来，生成距离图像（图2中步骤33）。
图6是距离图像40A的例子。
距离图像40A表示到被摄体图像40中包含的被摄体的距离。在图6中，从数码静止相机到被摄体的距离以密度的形式表达。密度越低，到数码静止相机的距离越短，而密度越高，到数码静止相机的距离越长。
距离图像40A包含区域a1、a2、a3和a4，其分别对应于包含在上述被摄体图像40中的人物图像I1、第一树图像I2、第二树图像I3和背景图像I4。由于人物图像I1所表示的人物、第一树图像I2所表示的树、第二树图像I3所表示的树和背景图像I4所表示的背景具有以所提到的次序递增变大的到数码静止相机的距离，如上所阐述的，所以区域a1、a2、a3和a4以所提到的次序而在密度上增加。
用于设定追踪框的初始位置的目标区域42也在图6中图示以便可以理解其与被摄体图像40的关系。
采纳作为搜索区域的是落入所生成的高频分量图像43的图像部分，并且其表示在与到在其上设定了追踪框41的图像所表示的被摄体的距离相同的距离处的被摄体，并且在该搜索区域内设定具有与追踪框41相同形状和相同尺寸的移动框。当在搜索区域内移动框在水平和垂直方向上一次移动一个像素时，计算高频分量的数量（图2中步骤34）。在其中存在落入生成的高频分量图像43的多个图像部分的情况下，其表示在与到在其上设定了追踪框41的图像所表示的被摄体的距离相同的距离处的被摄体，这多个图像部分中具有最大面积的图像部分被采纳作为搜索区域。
图7图示了其中显示移动框44的方式。
如上所提及的，在高频分量图像43内设定移动框44，其具有与追踪框41相同的形状（尽管形状不需要相同）和相同的尺寸（尽管尺寸不需要相同）。移动框44可以显示，或可以不显示。
如上所提及的，在人物图像I1上设定追踪框41。因此，在人物图像I1中，高频分量图像43内包括的区域IS（区域IS由粗线环绕）用作搜索区域IS。移动框44在搜索区域IS内水平和垂直方向每次移动一个像素，而且对于移动框44所移动到的每个位置，对移动框中所包含的像素中的那些像素的数目进行计数，由此计算高频分量的数量（计数的值），所述那些像素具有等于或大于等于或大于规定阈值的高频分量的高频分量。
高频分量的数量最大处的移动框44的位置被决定作为追踪框41的初始位置（图2中步骤35）。
图8图示了怎样决定追踪框41的初始位置。
在其中以如上所述方式计算了高频分量的数量，同时在搜索区域IS内移动移动框44的情况下，假定高频分量的数量在移动框44处于图8中所示的移动框44的位置处时最大。当此发生时，此时移动框44的位置被决定作为追踪框41的初始位置。
在上述的实施例中，设定了用于设定追踪框的初始位置的目标区域42，并且被采纳为搜索区域IS的是表示在与到设定了追踪框41的被摄体图像所表示的被摄体的距离相同的距离处的被摄体的图像部分的区域，而且，其在用于设定追踪框的初始位置的目标区域42内。但是，表示在与到在其上已设定了追踪框41的被摄体图像所表示的被摄体的距离相同距离处的被摄体的图像部分可以被采纳作为搜索区域IS而不用设定用于设定追踪框的初始位置的目标区域42。例如，人物图像I1的区域可以用作搜索区域IS。
由于在以上述方式执行诸如用于计算搜索区域IS内高频分量的数量的处理后决定追踪框的初始位置，所以相比于其中在执行诸如用于计算整个被摄体图像40内或用于设定追踪框的初始位置的目标区域42内高频分量的数量的处理后决定追踪框的初始位置的情况，追踪框41的初始位置被更加快速地决定。尽管诸如被摄体边界部分的部分倾向于展现出边缘分量的特征等，但是通过使用距离图像40A使得这样的边界部分被从搜索区域IS中排除。这使得有可能适当地决定追踪框41的初始位置。
当这样决定追踪框41的初始位置时，追踪框41内的图像被采纳作为目标图像，且关于接下来输入的图像的追踪处理从这个初始位置开始。决定作为初始位置的追踪框41内的图像在搜索区域IS内具有最大的高频分量的数量且该图像包含许多边缘。因此，追踪处理相对容易。用于追踪处理的追踪框41内的图像可以是具有所提取的高频分量的图像，或者可以是在提取高频分量之前的图像40。
不用说，高频分量图像的生成可以通过在初始目标设定单元中包括高通滤波器并且使用该高通滤波器来生成高频分量图像而执行。自然地，某些或全部的上述处理可以使用硬件来执行，或者某些或全部的处理可以使用软件来执行。
在上述的实施例中，在显示屏的中心处在参考位置处显示追踪框，并且包含追踪框内图像的人物图像I1被决定为目标图像。但是，在距离图像40A中，由排除背景的区域内的最大区域所表示的被摄体可以被采纳作为目标图像，或者，必然地，最接近数码静止相机的被摄体的图像可被采纳为目标图像。
图9和10图示了用于设定追踪框的初始位置的目标区域42内的图像。
参考图9，当以上述方式设定搜索区域IS时，移动框44在搜索区域IS内部移动，并且，当其移动时，在框移动时计算高频分量的数量。移动框44移动使得不从搜索区域IS突出。
与之对照，在图10中，移动框44的一部分被允许从搜索区域IS突出。移动框44以以下方式移动：移动框44的50%（或80%）或更大的面积将落入到搜索区域IS内。当移动框44移动时计算高频分量的数量，如上所提到的。在其中搜索区域IS较窄的情况下，如果移动框44移动使得不从搜索区域IS突出，则其中可以计算高频分量的数量的位置将变得更少。但是，通过允许移动框44的一部分从搜索区域IS突出，其中可以计算高频分量的数量的位置在数量上增加，可以更加准确地决定追踪框的初始位置。
图11是左视点图像40L和右视点图像40R的例子。以如上所述的方式，左视点图像40L由第二成像单元10L获得，右视点图像40R由第一成像单元10R获得。
上面提到的距离图像40A（参见图6）是从左视点图像40L和右视点图像40R生成的。
为了生成距离图像40A，从形成左视点图像40L的像素中检测出表示被认为具有高频分量的像素的特征点PL（可从右视点图像40R中检测出特征点PR）。从右视点图像40R中检测出对应点PR，其对应于从左视点图像40L检测出的特征点PL。使用从左视点图像40L检测出的特征点PL和从右视点图像40R检测出的对应点PR之间的水平差长度作为距离信息来生成上述的距离图像40A。
图12示出了另一实施例，是图示用于设定追踪框的初始位置的处理过程的流程图。图12对应于图2，图12中所示的处理步骤与图2中所示的相同的，由相似的步骤号码所指示，且忽略对其的描述。
在前面的实施例中，其中用于设定追踪框的初始位置的目标区域42内的高频分量的数量最大的移动框44的位置被采纳作为追踪框41的初始位置。但是，根据图12中所示的处理，其中色彩分量的数量最大的移动框44的位置被采纳作为追踪框41的初始位置。
如上所述，设定用于设定追踪框的初始位置的目标区域42（步骤31）并且生成距离图像（步骤33）。定义搜索区域IS，如上所述，并且移动框44在搜索区域IS内一次上、下、左和右移动一个像素（步骤36）。在移动框44移动到的每个位置处，计算等于或大于阈值的像素的色彩分量的像素的数目（色彩分量的数量），该像素形成在移动框44内呈现的图像（步骤36）。（色彩分量是红、绿和蓝色彩分量。但是，色彩分量可以是其他三个主颜色，诸如青色、洋红和黄色，诸如Cr和Cb的色差，或者其他色彩分量）。其中所计算的色彩分量的数量最大的移动框44的位置被采纳作为追踪框41的初始位置（步骤37）。
图13到15是色彩分量直方图的例子。图13是红色分量的色彩分量直方图，图14是绿色分量的色彩分量直方图，图15是蓝色分量的色彩分量直方图。
参考图13，假定在移动框41所移动到的五个区域1到5的各自区域中已计算了红色分量的数量Q1到Q5。（由于移动框44实际上每次移动一个像素，所以在移动框所移动到的许多位置处获得红色分量的数量。但是，简便起见，这里假定关于五个位置的区域已获得色彩分量的数量。）
类似地，参考图14，在移动框41所移动到的五个区域1到5的各自区域中已计算了绿色分量的数量Q6到Q10，并且参考图15，在移动框41所移动到的五个区域1到5的各自区域中已计算了蓝色分量的数量Q11到Q15。
在红色分量的数量Q1到Q5、绿色分量的数量Q6到Q10、蓝色分量的数量Q11到Q15中，色彩分量的数量最大处的移动框44的位置被采纳作为追踪框41的初始位置。例如，在红色分量的数量Q3最大的情况下，区域3的位置变为追踪框41的初始位置。自然地，红色分量的数量Q1到Q5、绿色分量的数量Q6到Q10、蓝色分量的数量Q11到Q15中，色彩分量的数量最大处的移动框44的位置不需要被采纳为追踪框41的初始位置。而是，可以分析摄影师所指定的目标图像的色彩分量，色彩分量与目标图像中包含的色彩分量中普遍色彩分量相同或接近的分量的数量最大处的移动框的位置可以被采纳作为追踪框41的初始位置。
图16示出了实施例，是图示用于设定追踪框的初始位置的处理过程的流程图。图16中所示的处理步骤与图12中所示相同的，由相似的步骤号码所指示，并且忽略对其的描述。
根据图12中所示的处理，色彩分量的数量最大处的移动框41的位置被采纳作为追踪框41的初始位置。然而，根据图16中所示的处理，使用高频分量的数量和色彩分量的数量这二者来决定追踪框44的初始位置。
从用于设定追踪框的初始位置的目标区域42内的图像中生成高频分量图像（步骤32），随后生成距离图像（步骤33），如上所述。然而，当移动框41在搜索区域IS内移动时，计算移动框所移动到的每个位置处的高频分量的数量和色彩分量的数量（步骤34A）。从所计算的高频分量的数量和所计算的色彩分量的数量中决定追踪框的初始位置（步骤35A）。
举例来说，根据公式(1)来计算在移动框41所移动到的每个位置处的分量的整体数量。分量的整体数量最大处的移动框41的位置就是追踪框的初始位置。这里w表示加权系数，例如0.5。
分量的整体量=w×(高频分量的数量)+(1-w)(色彩分量的数量)...公式(1)
图17是用于设定追踪框的初始位置的菜单图像的例子。
如果使用数码静止相机上的模式设定按钮来设定菜单模式并从菜单模式内选择用于设定追踪框的初始位置的菜单的话，则在显示单元27的显示屏上显示用于设定追踪框的初始位置的菜单图像50，如图17中所示。
字符串“追踪框初始位置设定”大致显示在用于设定追踪框的初始位置的菜单图像50的中心。第一复选框51和第二复选框52显示在该字符串的右边。字符“开”显示在第一复选框51的右边，字符“关”显示在第二复选框52的右边。操作设备2包括上、下、左、右按钮用于上、下、左、右移动光标。从按钮输入“上”命令使得选中第一复选框51，从按钮输入“下”命令使得选中第二复选框52。
如果第一复选框51被选中，则数码静止相机被设定为诸如方式：追踪框的初始位置的设定将以如上所述的方式执行。如果第二复选框52被选中，则以以下方式设定数码静止相机：将不执行追踪框的初始位置的设定。如果不执行追踪框的初始位置的设定，则以参考位置执行自动追踪处理，参考位置是显示屏的中心位置，用作追踪框的初始位置，如较早前所阐述的。
图18到20图示了本发明的另一实施例。图18是图示用于设定追踪框41的初始位置的处理的流程图。图18中所示的处理步骤与图2中所示相同的，由相似的步骤号码所指示，并且忽略对其的描述。
如上所提及的，生成距离图像40A（步骤33），移动框41在搜索区域IS内移动并且在移动框移动到的每个位置处计算高频分量的数量（步骤34）。确定所获得的高频分量的数量的最大值是否等于或大于阈值（步骤61）。如果该最大值等于或大于阈值（在步骤61为“是”），则高频分量的数量最大处的移动框41的位置被决定为追踪框44的初始位置（步骤35）。如果该最大值不等于或大于阈值（在步骤61为“否”），则给出错误通知（步骤62）。
错误通知可以是错误音调的输出或者指示错误的显示。可以通过以不同于决定了初始位置的情况的方式来呈现追踪框44的显示而做出错误通知。例如，追踪框的色彩可以改变。进一步，可以通过追踪框的照明或闪光不同于决定了追踪框44的初始位置的情况而做出错误通知。
图19和20是其中给出错误通知的情况下显示屏上显示的图像的例子。
参考图19，用于错误显示的框63显示在图像40的中心位置。框63是虚线而追踪框44是实线。通过显示虚线框63，摄像师可以确定发生了错误。
参考图20，在图像40的中心位置处显示用于错误显示的X标记64。通过显示X标记64，摄像师可以确定发生了错误。
图21和22图示了另一实施例。
图21图示了移动框41怎样移动。
在前面的实施例中，移动框41的移动是任意的（通常移动框41将以电视扫描的方式逐行地从左上向右和向下移动）。但是，在这个实施例中，移动框41以螺旋方式从处于图像40的中心位置处的参考位置向外移动。
首先，计算移动框41内在参考位置处的高频分量的数量。如果所计算的高频分量的数量不超过阈值，则移动框41向左上移动一个像素（行进距离b=1）（附图标记81处所指示的位置）。计算移动框41内在附图标记81处所指示的位置处的高频分量的数量。如果所计算的高频分量的数量不超过阈值，则移动框41从附图标记81处所指示的位置向右移动一个像素且计算高频分量的数量。在其中移动框41处于图像40的中心位置处的参考位置的情况下，在通过垂直和水平方向上向外加宽移动框41一个像素而所获得的区域82中，移动框41的移动和在该框所移动到的每个位置处的高频分量的数量的计算以类似的方式重复，直到高频分量的数量超过所规定的阈值。
如果在垂直和水平方向上加宽一个像素的区域82中的高频分量的数量没有超过所规定的阈值，则移动框41进一步向左上移动一个像素（行进距离b总数为2）到附图标记83处所指示的位置，计算在该位置处的高频分量的数量。类似地，移动框41垂直和水平方向移动一个像素，直到高频分量的数量超过阈值，且在其中移动框41处于图像40的中心位置处的参考位置的情况下，在通过垂直和水平方向上向外加宽移动框41两个像素而所获得的区域84中，移动框41的移动和在该框所移动到的每个位置处的高频分量的数量的计算以类似的方式重复，直到高频分量的数量超过所规定的阈值。
因此，移动框41从图像40的中心位置向外移动且计算高频分量的数量。
图22是图示用于设定追踪框的初始位置的处理过程的流程图。图22中所示的处理过程与图2中所示相同的，由相似的步骤号码所指示，并且忽略对其的描述。
生成高频分量图像（步骤32）并且随后生成距离图像（步骤33），如上所述。上面提到的行进距离b被设定为0（步骤70）。高频分量的最大值被设定为0且初始化高频分量的最大值的位置（步骤71）。确定所设定的行进距离b是否小于最大行进距离S1（步骤72）。最大行进距离S1是图像40（显示屏）的长边或短边的长度的二分之一。最大行进距离S1可以通过用图像40的对角线长度的二分之一的长度减去移动框41的对角线长度的二分之一的长度而获得。
如果行进距离b等于或大于最大行进距离S1（步骤72处为“否”），则给出错误通知（步骤79）。如果行进距离b小于最大行进距离S1（步骤72处为“是”），则如上所述，计算在移动框41内参考位置处的高频分量的数量（步骤73）。如果所计算的高频分量的数量不超过所规定的阈值（步骤74处为“否”），则确定行进距离b内的计算处理是否结束（步骤77）。如果行进距离b为0，则移动框41不移动。行进距离b因此递增1（步骤77处为“是”；步骤78）。
当行进距离b变为1时，计算区域82内的高频分量的数量，直到高频分量的数量超过阈值，如上所提到的。如果在区域82内计算的高频分量的数量没有超过所规定的阈值，行进距离b进一步递增且计算区域84内的高频分量的数量。如果超过了阈值（步骤74处为“是”），则被设定为0的高频分量被更新为超过阈值的高频分量的数量的最大值且存储此时的位置（步骤75）。所存储的位置被决定为追踪框的初始位置（步骤76）。
由于没有必要执行用于针对用于设定追踪框的初始位置的目标区域42的整个内部来计算高频分量的数量的处理，可以缩短用来决定追踪框的时间。
图23是设定追踪框的初始位置的方法的菜单图像的例子。
如果使用数码静止相机上的模式设定按钮来设定菜单模式且从菜单模式内选择设定追踪框的初始位置的方法的菜单，在显示单元27的显示屏上显示设定追踪框的初始位置的方法的图23中所示的菜单图像90。
字符串“设定追踪框的初始位置的方法”大致显示在设定追踪框的初始位置的方法的菜单图像90的中心处。第一复选框91和第二复选框92显示在该字符串的右边。字符“最大评估值位置”显示在第一复选框91的右边，字符“中心加权位置”显示在第二复选框92的右边。从上、下、左、右按钮输入“上”命令使得选中第一复选框91，从上、下、左、右按钮输入“下”命令使得选中第二复选框92。
如果第一复选框91被选中，则在用于设定追踪框的初始位置的整个目标区域42内执行用于计算高频分量的数量的上述处理，获得高频分量的最大数量的位置被决定为追踪框的初始位置。另一方面，如果第二复选框92被选中，则如上所述，移动框41从参考位置顺序地向外移动，当通过每次移动所获得的高频分量的数量首次超过所规定的阈值时占主流的移动框41的位置被决定为追踪框的初始位置。
图24是图示用于设定追踪框的初始位置的处理过程的流程图。图24中所示的处理步骤与图22中所示相同的，由相似的步骤号码所指示，并且忽略对其的描述。
该处理过程根据中心优先级和最大优先级设定追踪框的初始位置，在中心优先级中，在接近屏幕中心的位置处设定追踪框的初始位置，而在最大优先级中，在其中高频分量的数量最大的位置处设定追踪框的初始位置。当移动框41被移动且在移动框所移动到的位置处计算高频分量的数量时，确定所计算的高频分量的数量是否超过阈值（步骤74），如上所述。如果超过了阈值（步骤74处为“是”），则确定所计算的高频分量的数量超过最大值（步骤74A）。在步骤74A处的该确定处理用于使得在其中设定最大优先级的情况下能够检测高频分量的最大数量的位置。如果所计算的高频分量的数量超过最大值（步骤74A处为“是”），则所计算的高频分量的数量将大于迄今所计算的高频分量的数量的最大值。因此，更新最大值（步骤75）。
如果在设定追踪框的初始位置的方法中已设定了中心加权位置（即，如果设定了中心加权），如上所述（步骤80处为“是”），则最大值的位置被决定为追踪框的初始位置（步骤76）。在其中已设定了中心加权位置的情况下，接近图像40的中心的位置被决定为初始位置。由于考虑到摄影师假定为目标图像的部分是图像的中心并且由于将被决定为追踪框44的初始位置的位置接近中心，所以可以防止摄影师体验到不相称的感觉。如果在设定追踪框的初始位置的方法中没有设定中心加权位置（即，如果没有设定中心加权）（步骤80处为“否”），则在用于设定追踪框的初始位置的目标区域42内所有位置处用于计算高频分量的数量的处理被重复，即使高频分量的数量超过阈值（步骤77）。
如果行进距离b超过最大行进距离S1（步骤72处为“否”），则确定高频分量的数量的最大值是否仍然设定为0（步骤85）。如果高频分量的数量的最大值被设定为0（步骤85处为“是”），则超过阈值的高频分量的数量的最大值不能被检测。因此，不能决定追踪框的初始位置且给出错误通知（步骤79）。如果高频分量的数量的最大值没有设定为0（步骤85处为“否”），则这意味着已找到了超过阈值的高频分量的数量。由此，该位置被决定为追踪框的初始位置（步骤76）。
图25到28图示了另一实施例。
图25是用于放大追踪框的菜单图像的例子。
如果使用数码静止相机的模式设定按钮来选择菜单模式且从菜单模式内选择用于放大追踪框的菜单，则在显示单元27的显示屏上显示用于放大追踪框的图21中所示的菜单图像100。
字符串“放大追踪框”大致显示在用于放大追踪框的菜单图像100的中心处。第一复选框101和第二复选框102显示在该字符串的右边。字符“开”显示在第一复选框101的右边，并且字符“关”显示在第二复选框102的右边。放大比率设定区域103显示在第一复选框101右侧在字符“开”的右边。在放大比率设定区域103中显示数字。该数字表示追踪框41的放大比率。
从上、下、左、右按钮输入“上”命令使得选中第一复选框101，从上、下、左、右按钮输入“下”命令使得选中第二复选框102。如果当已选中第一复选框101时从上、下、左、右按钮输入“右”命令，则有可能设定放大比率设定区域103。当已选中第一复选框101时，响应于上、下、左、右按钮输入“上”命令而提高放大比率，响应于“下”命令输入而降低放大比率。
图26和27是图示用于设定追踪框的初始位置的处理过程的流程图。图26和27中所示的处理步骤与图24中所示相同的，由相似的步骤号码所指示，且忽略对其的描述。图28是被摄体图像的例子。
这个实施例根据如上所述设定的放大比率放大了移动框41的尺寸。移动框41的尺寸被重新设定且追踪框以上述方式被显示在参考位置处（步骤30）。当生成高频分量图像（步骤32）和距离图像（步骤33）时，确定移动框41的尺寸（一边）a是否小于最大框尺寸S2（步骤111）。最大框尺寸S2预先被决定为小于图像40的长边或短边。例如，保持S2=4a。
如果移动框的尺寸a变得大于最大框尺寸S2（步骤11处为“否”），则给出错误的通知（步骤79）。如果移动框的尺寸a等于或小于最大框尺寸S2（步骤111处为“是”），则移动框的位置被重新设定且移动框41被显示在参考位置处（步骤113）。进一步，行进距离b被设定为0（步骤113）且高频分量的数量的最大值也被设定为0（步骤114）。最大值的位置被初始化。参考图21、22等所述，如果行进距离b小于最大框尺寸S2（步骤S72处为“是”），则用于计算高频分量的数量的处理被重复，同时移动框41从中心向外移动，其中行进距离b逐渐增加（步骤72到80）。如果行进距离b变得大于最大行进距离S1（步骤72处为“否”），则确定高频分量的数量的最大值是否被设定为0（步骤85）。如果高频分量没有被设定为0（步骤85处为“否”），则这意味着存在超过阈值的高频分量。因此，已获得该高频分量处的位置被决定为追踪框的初始位置（步骤76）。如果高频分量的数量的最大值已被设定为0（步骤85处为“是”），则这意味着在该区域内没有获得阈值以上的高频分量的数量的最大值。因此，移动框41的尺寸被放大到已被设定的尺寸（放大的移动框120）（步骤81），如图28中所示。当放大的移动框120再次移动时，用于计算高频分量的数量的处理被在框所移动到的每个位置处重复。
在其中高频分量的数量没有超过所规定的阈值的情况下，移动框41被放大，并且因此，高频分量的数量的值增加。高频分量的数量的值超过所规定的阈值并且可以决定追踪框44的初始位置。
图29到31图示了另外的实施例。
图29和30是图示用于设定追踪框的初始位置的处理过程的流程图。图29和30中所示的处理步骤与图26和27中所示相同的，由相似的步骤号码所指示，且忽略对其的描述。图31是被摄体图像40的例子。
在前面的实施例中，移动框41的尺寸被放大。但是，在这个实施例中，被摄体图像40的尺寸被减小。以类似于其中移动框41的尺寸被放大的上面的情况的方式，使得高频分量的数量超过阈值变得更容易。
被摄体图像40的尺寸被初始化为所规定的尺寸（步骤131），如图31顶端图所示。接下来，被摄体图像40被重新设定尺寸（步骤132）。在开始时，重新设定尺寸的处理不是必要的并且因此可以被跳过。在其中以图像被减小到小于其原尺寸的1/8的方式执行重新设定尺寸的情况下，可以安排使得执行伪彩色和伪信号降低处理。
如果图像尺寸不大于最小尺寸（步骤133处为“否”），则给出错误通知（步骤134）。如果图像尺寸大于最小尺寸（步骤133处为“是”），则执行用于计算移动框41内高频分量的数量的处理（步骤30到33、步骤112到114、步骤72到80等）。
如果没有决定追踪框44的初始位置且行进距离b变得大于最大行进距离S1（步骤72处为“否”），则确定高频分量的数量的最大值是否被设定为0（步骤85）。如果高频分量的最大值没有被设定为0（步骤85处为“否”），则这意味着已经存在已获得高于阈值的高频分量的数量的最大值的位置。因此，该位置被决定为追踪框的初始位置（步骤76）。如果高频分量的数量的最大值被设定为0（步骤85处为“是”），则图像尺寸（图像40的长边或短边）c被减半。结果，被摄体图像40在尺寸上减小，如图31的底部图所示，且使用减小尺寸的被摄体图像40B来重复用于计算高频分量的数量的处理。将理解，由于基于移动框41内的图像所计算的高频分量的数量增加，所以高频分量的数量将超过阈值并且可以决定追踪框的初始位置。
在前面的实施例中，在通过从用于设定追踪框的初始位置的目标区域内图像提取高频分量而获得的高频分量图像内移动移动框的同时计算高频分量的数量，并且获得大于阈值的高频分量的数量或高频分量的最大数量处的移动框的位置被决定为追踪框的初始位置。但是，可以安排使得在其中高频分量的数量太大的情况下（在其中如果上述的阈值被假定为第一阈值的话，则高频分量的数量超过大于第一阈值的第二阈值的情况下），在生成高频分量图像之前使用低通滤波器使一个图像平滑之后，然后在生成高频分量图像后执行用于计算高频分量的数量的处理。如果在用于决定初始位置的处理中决定的追踪框内的目标图像包含太多边缘分量，则在其中利用目标图像和模板匹配等追踪在一个图像之后输入的被摄体图像中包含的目标图像的情况下，因为追踪框仅仅轻微的偏移，所以有可能追踪将不再可获得。通过在执行平滑之后生成高频分量图像并且随后执行用于计算高频分量的数量的处理，有可能防止由于追踪框中仅仅轻微的偏移而无法执行追踪。
在前面的实施例中，不生成在用于设定追踪框的初始位置的目标区域内的图像的高频分量图像，允许通过使用低通滤波器或带通滤波器生成用于设定追踪框的初始位置的目标区域内的图像的低频分量图像或中频分量图像，并且以相似于上述的方式决定：获得大数量的低频分量或中频分量处的移动框的位置是追踪框的初始位置。进一步，在其中已知目标图像的频带的情况下，通过使用提取频带分量的数量的这种类型的低通滤波器，通过采纳中频分量的数量增加处的移动框的位置作为追踪框的初始位置，目标图像的追踪将变得更加准确。
而且，在前面的处理中，不从用于设定追踪框的初始位置的目标区域内的图像中生成具有特定频率分量的图像，设定色彩分量（目标图像的色彩分量）的数量增加处的移动框的位置可以被采纳作为追踪框的初始位置。
在前面的实施例中，设定用于设定追踪框的初始位置的目标区域，在该设定的区域内生成高频分量图像，当移动框在所生成的高频分量图像内移动时，在框所移动到的每个位置处计算高频分量的数量。但是，可以安排使得移动框在所设定的区域内移动而不生成高频分量图像，在框所移动到的每个位置处计算移动框内的图像的高频分量的数量。
进一步，追踪框和移动框可以是相同的尺寸和形状或者可以是不同的尺寸和形状。例如，在其中移动框由具有一边等于a的矩形框组成的情况下，追踪框可以是由具有一边等于0.8×a的矩形框组成。
图32示出了修改，是图示当移动移动框时用于计算高频分量的数量的处理过程（例如图2中步骤34的处理过程）的流程图。
在这个处理过程中，如果移动框44内的高频分量的数量小于所规定的阈值的话，则移动框44对其迄今的行进距离增加两个像素，并且如果移动框44内的高频分量的数量等于或大于阈值的话，则移动框对其迄今的行进距离增加一个像素。
首先，将高频分量的最大数量重新设定为0（步骤141）。将移动框的垂直位置j重新设定为0（步骤142）。
图33的左侧的图图示了移动框44和搜索区域IS之间的关系。在落入搜索区域IS内的移动框44中，在其中框位于最左上位置情况下的移动框左上角的坐标被假定为原点(0,0)。在其中移动框44被定位于原点的情况下，垂直位置是j=0，并且水平位置是i=0，如将在后面描述的。移动框44的位置由垂直位置j和水平位置i来决定。
再参考图32，确定垂直位置j是否小于由搜索区域IS的高度所定义的搜索区域IS的垂直高度（长度）（步骤143）。如果垂直位置j小于搜索区域IS的垂直高度（长度）（步骤143处为“是”），则这意味着至少一部分移动框44包含在搜索区域IS中。水平位置i随后被重新设定为0（步骤144）并且确定水平位置i是否小于搜索区域IS的水平宽度（长度）（步骤145）。如果水平位置i小于搜索区域IS的水平长度（步骤145处为“是”），则这意味着至少一部分移动框44包含在搜索区域IS内。随后，在移动框的左上角为垂直位置j和水平位置i所定义的位置处的位置，计算移动框44内图像的高频分量的数量（步骤146）。
如果所计算的高频分量的数量大于高频分量的最大数量，则所计算的高频分量的数量被更新为高频分量的最大数量（步骤148）。
确定所计算的高频分量的数量是否小于所规定的阈值（步骤149）。如果所计算的高频分量的数量等于或大于所规定的阈值（步骤149处为“否”），则移动框44内的图像处于高清晰度且移动框44的行进距离是通过对水平位置i增加一个像素而获得的距离（步骤150），如图33的中部图所示。如果所计算的高频分量的数量小于所规定的阈值（步骤149处为“是”），则移动框44内的图像不能被解释为高清晰度且移动框44的行进距离是通过对水平位置i增加两个像素而获得的距离（步骤151），如图33的右侧图所示。在移动框44移动之后获得的位置处，在该位置所计算的高频分量的数量和高频分量的最大数量进行比较，根据比较的结果来决定移动框44的行进距离（步骤145到151）。
如果水平位置i的值等于或大于区域的水平方向长度的话（步骤145处为“否”），则这意味着移动框44在水平方向上移动出搜索区域IS且其一部分不再包含在搜索区域IS中。框所移动到的位置j递增以便移动框44在垂直方向上移动（步骤152）。如果框所移动到的位置j变得等于或大于搜索区域IS的高度，则处理结束（步骤143处为“否”）。
图34和35图示了修改。在其中利用色彩分量来决定追踪框41的初始位置的情况下，该修改利用了色彩分量在色空间中分布的状态。
图34图示了RGB色空间（其也可以是另一色空间，诸如CrCb色空间）。
考虑划界为0,0,0),(0,255,0),(0,0,255),(0,255,255),(255,0,0),(255,0,255)和(255,255,255)的空间160。空间160被沿每个坐标轴划分为三个相等的部分（但不必须是三个相等的部分），以便形成总共27个小块b1到b27。
移动框44移动到用于设定追踪框的初始位置的目标区域42内，如上面提到的，并且在框所移动到的每个位置处，移动框44内的像素的数目绘制在图34的色空间中。绘制的像素的数目S1到S27是在小块b1到b27的各自中分别计算的，如图35中所示。所计算的像素数目S1到S27中最大的像素数目被检测作为在移动框所移动到的位置处的最大像素计数Smax。
在移动框44移动到的每个位置处执行上述的用于计算最大像素计数Smax的处理，在框所移动到的每个位置处的最大像素计数Smax的值中具有最大值的位置被决定作为追踪框41的初始位置。
图36到40示出了另一实施例，从如上提到所设定的初始位置执行自动追踪处理。
图36和37是图示自动追踪处理过程的流程图。
首先，以上述方式决定的初始位置被采纳作为追踪位置（步骤171）。接下来，对被摄体成像，获得被摄体的图像（步骤172）。当获得被摄体图像时，在追踪位置处显示追踪框。而且，如上所述，生成距离图像（参见图6）（步骤173）。
图38是获得的被摄体图像40的例子。
以与上述相似的方式，被摄体图像40包含人物图像I1、第一树图像I2、第二树图像I3和背景图像I4。在被摄体图像40中包含的人物图像I1内的追踪位置处显示追踪框190。从追踪框190内的图像中生成用于追踪目的的模板图像（图36中的步骤174）。
图39的上部是追踪模板图像191的例子。
如上所提到的，在其中追踪框190位于被决定作为追踪框190的初始位置的位置处的情况下，追踪模板图像191是包含在追踪框190中的图像。由于追踪框190的初始位置是具有许多高频分量的图像部分的位置，如上所述，追踪模板图像191也具有许多高频分量。结果，相对简单地执行使用追踪模板图像191的追踪处理。
当生成追踪模板图像190时，从距离图像获取距离信息，其表示到由获得追踪模板图像190的图像部分所表示的被摄体的距离（图36中的步骤175）。
图39的下部图示了距离信息192。
距离信息192表示到由获得追踪模板图像190的图像部分所表示的被摄体的距离。由于追踪模板图像190是从人物图像I1中获得的，使用追踪模板图像190的距离信息表示从数码静止相机到人物图像I1所表示的人物的距离。
接下来，设定追踪目标区域，其是追踪框追踪目标图像的区域（图36中的步骤176）。
图40是被摄体图像40的例子。
如上所述，追踪框190显示在人物图像I1上且追踪目标区域200被设定为环绕追踪框190。
同样，在追踪处理中，以与上述的用于确定追踪框的初始位置的处理相似的方式，将追踪目标区域200内且表示其距离与追踪模板图像190的距离信息所表示的距离相同的被摄体的图像部分采纳作为搜索区域IS。由于模板图像190是人物图像I1的一部分，如上所提到的，所以追踪目标区域200内的人物图像I1的区域变成搜索区域IS。
接下来，找到类似于追踪模板图像190的图像部分并且在该图像部分上显示追踪框。因此，其解释为，随着追踪模板图像190和图像部分之间的不同程度的减小，该图像部分将更加类似于追踪模板图像190。由于以减小不同程度的方式找到图像部分，所以不同程度的最小值被设定为max且这发生所处的位置被初始化（图36中的步骤177）。
如果使用模板图像190在搜索区域内的搜索没有结束（图37中步骤178处为“否”），则与追踪框190具有相同尺寸的移动框191被设定在搜索区域IS内并且计算移动框191内的图像与模板图像190之间的不同程度（步骤179）。由于是不同程度，所以该不同程度越小，移动框191内的图像与模板图像190就越相似。也就是说，计算在模板图像190和距离与追踪模板图像190的距离信息相同的搜索区域IS中移动框191内的图像之间的不同程度。这个不同程度是由移动框191内的图像与模板图像190之间的绝对差值RSAD来表示的，根据公式1来计算，其中i是构成移动框191内图像（模板图像190）的像素的x坐标，j是构成移动框191内图像（模板图像190）的像素的y坐标，移动框191内图像的亮度值由I(i,j)来表示，模板图像190的亮度值由T(i,j)来表示。进一步，N是沿构成移动框191内图像（模板图像190）的像素Y方向的像素的数目，M是沿构成移动框191内图像的像素的X方向的像素的数目。
R SAD = Σ j = 0 N - 1 Σ i = 0 M - 1 | I ( i , j ) - T ( i , j ) | …公式1
进一步，不同程度可以由RSSD来表示，即移动框191内图像与模板图像190之间的平方差之和。平方差之和RSSD根据公式2来计算。
R SSD = Σ j = 0 N - 1 Σ i = 0 M - 1 ( I ( i , j ) - T ( i , j ) ) 2 …公式2
如果所计算的不同程度大于已经存储的不同程度（步骤180处为“否”），则这意味着在获得已经存储的不同程度时存在的图像部分，比起获得所计算的不同程度的图像部分，更相似于追踪模板图像190。因此，不执行不同更新等。
如果所计算的不同程度小于已经存储的不同程度（步骤180处为“是”），则确定所计算的不同程度是否小于所规定的阈值（步骤181）。如果所计算的不同程度是在其中等于或大于所规定的阈值的情况下更新的，则即使被摄体图像40内不再存在目标图像，也将执行追踪处理且将导致错误追踪。因此，在其中所计算的不同程度小于所规定的阈值的情况下（步骤181处为“是”），执行对不同程度的最小值的更新且存储此时最小值的位置（步骤182）。此后，移动框在搜索区域IS内移动且重复从步骤179到步骤182的处理。
当使用移动框191在搜索区域IS内的搜索结束时（步骤178处为“是”），确定不同程度的最小值是否被设定为max（步骤184）。如果不同程度的最小值被设定为max（步骤184处为“是”），则这意味着还没有取得目标图像的追踪。如果追踪位置没有在固定时段内更新（步骤187），则解释为，目标图像已经离开搜索区域并且因此追踪处理结束。如果不同程度的最小值没有被设定为max（步骤184处为“否”），则更新该最小值。由此，该最小值的位置被采纳作为追踪位置（步骤185）。如果执行快门-释放操作（步骤186处为“是”），则追踪处理结束。如果快门没有被释放（步骤186处为“否”），则处理从步骤172开始重复。
图41到43图示了另一实施例。
在上述的实施例中，追踪框190的初始位置是以上面所阐述的方式来决定的位置，且在该初始位置处首先显示追踪框190。因此，存在以下的情况：其中追踪框的初始位置偏离用户所设定的位置。但是，在这个实施例中，尽管追踪框190的初始位置是以上面所阐述的方式来决定的位置，但在该位置处不显示追踪框；而是，在用户所设定的位置处显示显示框。计算显示框被所显示的位置与追踪框的初始位置之间的偏移量并且在将位置偏移所计算的偏移量后通过追踪处理来显示显示框。
图41和42是图示用于设定追踪框的初始位置的处理过程的流程图。图41和42中所示的处理步骤与图24中所示相同的，由相似的步骤号码所指示，且忽略对其的描述。
当在参考位置处显示追踪框（图41中步骤30）且设定用于设定追踪框的初始位置的目标区域（图41中步骤31）时，如上所述，显示框位置的偏移量被初始化（图41中步骤211），如上所述。此后，以上述方式执行从步骤32向前的处理。
当如上所述决定追踪框的初始位置时，计算显示框位置的偏移量，其表示参考位置和所决定的初始位置之间的位置偏离的方向和尺寸。
图43图示了追踪框41，其显示在参考位置处，还图示了追踪框41A，其显示在已经决定的初始位置处。
在这个实施例中，显示框41在参考位置处显示作为追踪框，即使初始位置以以下方式被计算：追踪框41A如所示出现。
图44是示出追踪处理过程的一部分的流程图。该流程图对应于图37所示，并且，图44中所示处理步骤与图37中所示相同的，由相似的步骤号码所指示，且忽略对其的描述。
如上所述，当移动框在搜索区域IS内移动时计算不同程度（步骤178到183）。如果不同程度的最小值没有被设定为max（步骤184处为“否”），则该最小值的位置被采纳作为追踪位置（步骤185），但是通过从该追踪位置增加偏移而获得的位置被采纳作为显示框的显示位置（步骤189）。在追踪位置处不显示框。由于显示框显示在用户所设定的部分处，所以用户将不会体验不相称的感觉。即使不同程度的最小值的位置被设定在max（步骤184处为“是”），通过从所计算的初始位置增加偏移而获得的位置将是显示框的显示位置（步骤188）。
尽管在上述实施例中使用不同程度来执行追踪处理，但是也有可能使用相似程度来执行追踪处理。相互相关系数RNCC可以用作相似程度。可以从公式3来计算相互相关系数RNCC。在其中利用相似程度执行追踪处理的情况下，相似程度越大，与模板图像191越相同，不像其中以上述方式使用不同程度的情况。由此，不是如上所述地在图36的步骤177处设定不同程度的最小值为max且初始化最小值的位置，而是将相似程度的最大值设定为min且初始化最大值的位置，而且，不是在步骤S180处确定不同程度是否小于已经存储的最小值，而是确定相似程度是否大于已经存储的最大值。进一步，不是在图37中步骤181处确定不同程度是否小于阈值，而是确定相似程度是否等于或大于阈值，而且，不是在图37的步骤182处更新不同程度的最小值且存储该最小值的位置，而是更新相似程度的最大值且存储该最大值的位置。这样获得的最大值的位置变为追踪位置。
R NCC = Σ j = 0 N - 1 Σ i = 0 M - 1 I ( i , j ) - T ( i , j ) Σ j = 0 N - 1 Σ i = 0 M - 1 I ( i , j ) 2 × Σ j = 0 N - 1 Σ i = 0 M - 1 ( T ( i , j ) ) 2 …公式3
进一步，尽管在上述实施例中使用了距离图像40A，但不需要生成距离图像40A；如果到被摄体的距离已知就足够了。
1…CPU
26…显示控制单元
27…显示单元
28…初始目标设定单元
29…自动追踪单元

Claims (32)

1.一种追踪框初始位置设定设备，用于指定在通过对被摄体连续成像而获得的被摄体图像中包含的要追踪的目标图像，包括：
显示单元，所述显示单元用于显示通过成像所获得的被摄体图像；
距离信息生成装置，所述距离信息生成装置用于生成距离信息，所述距离信息表示到成像区域中所包含的被摄体的距离或作为与所述距离相对应的值的距离值；
追踪目标决定装置，所述追踪目标决定装置用于决定要追踪的目标图像；以及
决定装置，所述决定装置用于对于图像部分中每个所规定的区域，计算高频分量的数量，并且决定其中所计算的高频分量的数量等于或大于所规定的阈值或是最大值的区域的位置是所述追踪框的初始位置，所述图像部分在通过成像所获得的被摄体图像内，且表示具有距离值与到所述追踪目标决定装置所决定的要追踪的目标图像所表示的被摄体的距离值相同的被摄体。
2.根据权利要求1所述的追踪框初始位置设定设备，其中，所述距离信息生成装置生成距离图像作为距离信息，所述距离图像是根据从不同视点表示被摄体的两个被摄体图像之间的对应像素的水平偏差的数量而获得的。
3.根据权利要求1或2所述的追踪框初始位置设定设备，进一步包括特定频率分量数量计算装置，用于对移动框进行移动，其中，每当在图像部分中移动所述框时计算所述框内图像的高频分量的数量，并且计算每当移动所述移动框时所述移动框内图像的高频分量的数量，所述图像部分在通过成像所获得的被摄体图像内，且表示具有距离值与到所述追踪目标决定装置所决定的要追踪的目标图像所表示的被摄体的距离值相同的被摄体；
其中，所述决定装置决定所述特定频率分量数量计算装置所计算的高频分量的数量等于或大于所规定的阈值或是最大值所处的所述移动框的位置是所述追踪框的初始位置。
4.根据权利要求2或3所述的追踪框初始位置设定设备，其中，所述追踪目标决定装置决定要追踪的目标图像是用户所指定的图像、表示由所述距离信息生成装置所生成的所述距离信息中相同距离值的图像部分中最大区域的图像、包括所述成像区域中心的区域的图像、或者表示位于最前面的被摄体的区域的图像。
5.根据权利要求1到4中任何一项所述的追踪框初始位置设定设备，其中，通过对被摄体连续成像而获得的所述被摄体图像是彩色图像；
所述设备进一步包括色彩分量数量计算装置，所述色彩分量数量计算装置用于对于每个所述所规定的区域，计算所规定的色彩分量的分量的数量；
所述决定装置决定其中由所述色彩分量数量计算装置所计算的分量数量等于或大于所规定的阈值或是最大值所处的区域的位置是所述追踪框的初始位置。
6.根据权利要求1到4中任何一项所述的追踪框初始位置设定设备，进一步包括第一控制装置，用于控制所述决定装置以便在响应于由所述特定频率分量数量计算装置所计算的高频分量的数量没有等于或超过所规定的阈值而放大所规定区域的尺寸后计算高频分量的数量。
7.根据权利要求5所述的追踪框初始位置设定设备，进一步包括第一控制装置，用于控制所述色彩分量数量计算装置以便在响应于由所述色彩分量数量计算装置所计算的色彩分量的数量没有等于或超过所规定的阈值而放大所规定区域的尺寸后执行用于计算色彩分量的数量的处理。
8.根据权利要求6所述的追踪框初始位置设定设备，进一步包括放大命令装置，用于施加所规定区域放大命令；
其中，所述第一控制装置控制所述决定装置以便在响应于从所述放大命令装置施加的放大命令、由所述特定频率分量数量计算装置所计算的高频分量的数量没有等于或超过所规定的阈值而放大所规定区域的尺寸后计算高频分量的数量。
9.根据权利要求7所述的追踪框初始位置设定设备，进一步包括放大命令装置，用于施加所规定区域放大命令；
其中，所述第一控制装置控制所述色彩频率分量数量计算装置以便在响应于从所述放大命令装置施加的放大命令、由所述色彩分量数量计算装置所计算的色彩分量的数量没有等于或超过所规定的阈值而放大所规定区域的尺寸后执行用于计算色彩分量的数量的处理。
10.根据权利要求6所述的追踪框初始位置设定设备，进一步包括放大比率设定装置，用于设定所规定区域的放大比率；
其中，所述第一控制装置控制所述决定装置以便在响应于在所述决定装置中所计算的高频分量的数量没有等于或超过所规定的阈值、根据由所述放大比率设定装置所设定的放大比率来放大所规定区域的尺寸后计算高频分量的数量。
11.根据权利要求7所述的追踪框初始位置设定设备，进一步包括放大比率设定装置，用于设定所规定区域的放大比率；
其中，所述第一控制装置控制所述色彩分量数量计算装置以便在响应于由所述色彩分量计算装置所计算的色彩分量的数量没有等于或超过所规定的阈值、根据由所述放大比率设定装置所设定的放大比率来放大所规定区域的尺寸后执行用于计算彩色分量的数量的处理。
12.根据权利要求1到11中任何一项所述的追踪框初始位置设定设备，进一步包括第二控制装置，用于控制所述决定装置以便在响应于在所述决定装置中所计算的高频分量的数量没有等于或超过所规定的阈值而减小所述被摄体图像的尺寸后计算高频分量的数量。
13.根据权利要求5到12中任何一项所述的追踪框初始位置设定设备，进一步包括第三控制装置，用于控制所述色彩分量数量计算装置以便在响应于在所述色彩分量数量计算装置中所计算的色彩分量的数量没有等于或超过所规定的阈值而减小所述被摄体图像的尺寸后执行用于计算色彩分量的数量的处理。
14.根据权利要求1到13中任何一项所述的追踪框初始位置设定设备，进一步包括第一通知装置，用于响应于在所述决定装置中所计算的高频分量的数量没有等于或超过所规定的阈值而通知错误。
15.根据权利要求5到13中任何一项所述的追踪框初始位置设定设备，进一步包括第二通知装置，用于响应于由所述色彩分量数量计算装置所计算的色彩分量的数量没有等于或超过所规定的阈值而通知错误。
16.根据权利要求14所述的追踪框初始位置设定设备，其中，所述第一通知装置通过语音输出或者通过所述移动框的显示形式的改变来通知错误。
17.根据权利要求14所述的追踪框初始位置设定设备，其中，所述第一通知装置通过所述移动框的色彩、线类型或形状的改变或者通过所述移动框的照明或闪光方法的改变来通知错误。
18.根据权利要求15所述的追踪框初始位置设定设备，其中，所述第二通知装置通过语音输出或者通过所述移动框的显示形式的改变来通知错误。
19.根据权利要求15所述的追踪框初始位置设定设备，其中，所述第二通知装置通过所述移动框的色彩、线类型或形状的改变或者通过所述移动框的照明或闪光方法的改变来通知错误。
20.根据权利要求1到19中任何一项所述的追踪框初始位置设定设备，进一步包括目标区域设定装置，用于设定具有尺寸大于所规定区域且小于所述被摄体图像的目标区域；
其中，所述追踪目标决定装置在由所述目标区域设定装置所设定的目标区域内决定要追踪的目标图像。
21.根据权利要求20所述的追踪框初始位置设定设备，其中，所述目标区域设定装置以以下这样的方式在所述被摄体图像上设定所述目标区域：所述被摄体图像的中心与所述目标区域的中心相一致；以及
所述特定频率分量数量计算装置将所述移动框从所述目标区域的中心向外移动并且每当移动所述移动框时计算所述移动框内所述图像的高频分量的数量。
22.根据权利要求20所述的追踪框初始位置设定设备，其中，所述目标区域设定装置以以下这样的方式在所述被摄体图像上设定所述目标区域：所述被摄体图像的中心与所述目标区域的中心相一致；以及
所述色彩分量数量计算装置将所述移动框从所述参考位置向外移动并且每当移动所述移动框时计算所述移动框内所述图像的所规定色彩分量的分量的数量。
23.根据权利要求3到21中任何一项所述的追踪框初始位置设定设备，其中，所述特定频率分量数量计算装置移动所述移动框并且每当移动所述移动框时计算所述移动框内所述图像的从其中已经消除了高频分量的低频分量的数量或者中频分量的数量；以及
所述决定装置决定所述特定频率分量数量计算装置所计算的低频分量的数量或中频分量的数量等于或大于所规定的阈值处的所述移动框的位置是所述追踪框的初始位置。
24.根据权利要求1到23中任何一项所述的追踪框初始位置设定设备，进一步包括降噪处理装置，用于向表示所述被摄体图像的图像数据施加降噪处理；
其中，通过经过所述降噪处理装置的降噪处理的所述图像数据所表示的所述被摄体图像经过所述决定装置的处理。
25.根据权利要求1到24中任何一项所述的追踪框初始位置设定设备，进一步包括信号处理装置，用于向表示所述被摄体图像的图像数据施加伪彩色或伪信号降低处理；
其中，通过已经经过所述信号处理装置的伪彩色或伪信号降低处理的所述图像数据所表示的所述被摄体图像经过所述决定装置的处理。
26.根据权利要求1到25中任何一项所述的追踪框初始位置设定设备，进一步包括停止命令装置，用于施加停止用于决定所述追踪框的初始位置的处理的命令；
其中，响应于从所述停止命令装置施加停止命令，停止所述决定装置的处理并且将所述参考位置决定为所述追踪框的初始位置。
27.根据权利要求3到26中任何一项所述的追踪框初始位置设定设备，其中，所述特定频率分量数量计算装置以以下这样的方式移动所述移动框：通过成像所获得的被摄体图像内的、具有距离值与所述追踪目标决定装置所决定的要追踪的目标图像相同的图像部分的包含的比例将等于或大于所述框内所规定的比例，并且每当移动所述移动框时计算所述移动框内所述图像的高频分量的数量。
28.根据权利要求3到27中任何一项所述的追踪框初始位置设定设备，进一步包括模式设定装置，用于设定最大值优先级设定模式或中心优先级设定模式；
其中，响应于由所述模式设定装置设定所述最大值优先级设定模式，所述决定装置决定由所述特定频率分量数量计算装置所计算的高频分量的数量最大处的移动框的位置是所述追踪框的初始位置；以及
响应于由所述模式设定装置设定所述中心优先级设定模式，所述频率分量数量计算装置从所述被摄体图像的中心向外移动所述移动框，每当移动所述框移动时计算所述移动框内所述图像的高频分量的数量，并且响应于所计算的高频分量的数量等于或超过所规定的阈值而停止所述移动框的移动。
29.根据权利要求1到28中任何一项所述的追踪框初始位置设定设备，进一步包括追踪装置，用于将所述追踪框移动到一图像部分，所述图像部分处于通过成像获得的被摄体图像中，在由所述决定装置所决定的位置处在与到所述追踪框内图像部分所表示的被摄体的距离相同的距离值处的图像部分中，与所述追踪框内的图像部分相同。
30.根据权利要求1到29中任何一项所述的追踪框初始位置设定设备，进一步包括第一显示控制装置，用于控制所述显示单元以便在由所述追踪目标决定装置所决定的位置处显示所述追踪框。
31.根据权利要求29所述的追踪框初始位置设定设备，进一步包括：
偏移量计算装置，所述偏移量计算装置用于计算表示在由所述决定装置所决定的追踪框的初始位置与由所述追踪目标决定装置所决定的位置之间的位置偏差的数量的偏移量；以及
第二显示控制装置，所述第二显示控制装置用于控制所述显示单元以便将显示框显示在从所述追踪装置的追踪中所使用的追踪框偏移了由所述偏移量计算装置所计算的偏移量的位置处。
32.一种控制追踪框初始位置设定设备的操作的方法，所述追踪框初始位置设定设备用于指定在通过对被摄体连续成像而获得的被摄体图像中包含的要追踪的目标图像，所述方法包括：
显示单元显示通过成像所获得的被摄体图像；
距离信息生成装置生成距离信息，所述距离信息表示到成像区域中所包含的被摄体的距离或与所述距离相对应的值的距离值；
追踪目标决定装置用于决定要追踪的目标图像；以及
决定装置对于图像部分中每个所规定的区域计算高频分量的数量，并且决定其中所计算的高频分量的数量等于或大于所规定的阈值或是最大值的区域的位置是所述追踪框的初始位置，所述图像部分在通过成像所获得的被摄体图像内、表示具有距离值与到由所述追踪目标决定装置所决定的要追踪的目标图像所表示的被摄体的距离值相同的被摄体。
CN201280048266.2A 2011-09-30 2012-08-29 追踪框初始位置设定设备及其操作控制方法 Expired - Fee Related CN104041005B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011216090 2011-09-30
JP2011-216090 2011-09-30
PCT/JP2012/071843 WO2013047066A1 (ja) 2011-09-30 2012-08-29 追尾枠の初期位置設定装置およびその動作制御方法

Publications (2)

Publication Number Publication Date
CN104041005A true CN104041005A (zh) 2014-09-10
CN104041005B CN104041005B (zh) 2015-12-23

Family

ID=47995114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280048266.2A Expired - Fee Related CN104041005B (zh) 2011-09-30 2012-08-29 追踪框初始位置设定设备及其操作控制方法

Country Status (4)

Country Link
US (1) US8879794B2 (zh)
JP (1) JP5612774B2 (zh)
CN (1) CN104041005B (zh)
WO (1) WO2013047066A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107637089A (zh) * 2015-05-18 2018-01-26 Lg电子株式会社 显示装置及其控制方法
CN109671291A (zh) * 2018-11-21 2019-04-23 梁宋静怡 一种基于智能传感器的全景监控方法
CN113379985A (zh) * 2020-02-25 2021-09-10 北京君正集成电路股份有限公司 一种看护电子围栏报警装置
CN113379984A (zh) * 2020-02-25 2021-09-10 北京君正集成电路股份有限公司 一种电子看护围栏系统
CN113853515A (zh) * 2019-05-30 2021-12-28 松下知识产权经营株式会社 运动物体的应力分析装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4715909B2 (ja) * 2008-12-04 2011-07-06 ソニー株式会社 画像処理装置及び方法、画像処理システム、並びに、画像処理プログラム
JP5935779B2 (ja) * 2013-09-30 2016-06-15 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP6389801B2 (ja) 2015-05-27 2018-09-12 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP6924064B2 (ja) * 2016-06-21 2021-08-25 キヤノン株式会社 画像処理装置およびその制御方法、ならびに撮像装置
TWI659651B (zh) * 2017-09-29 2019-05-11 圓展科技股份有限公司 影像物件的追蹤方法
CN116721134B (zh) * 2023-08-10 2023-10-10 武汉能钠智能装备技术股份有限公司四川省成都市分公司 一种无特征目标的跟踪系统及其方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09243904A (ja) * 1996-03-05 1997-09-19 Eastman Kodak Japan Kk 画像の構図変化検出方法
JP2001111882A (ja) * 1999-10-04 2001-04-20 Canon Inc 被写体検出装置、画像処理装置、画像処理システム、被写体検出方法、画像処理方法、及び記憶媒体
JP2009111716A (ja) * 2007-10-30 2009-05-21 Nikon Corp 撮像装置、プログラムおよびテンプレート生成方法
JP2011160062A (ja) * 2010-01-29 2011-08-18 Fujifilm Corp 追尾枠の初期位置設定装置およびその動作制御方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2635246B2 (ja) 1991-08-28 1997-07-30 三菱電機株式会社 先行車追尾用車間距離検出装置
JP3215002B2 (ja) * 1995-02-14 2001-10-02 株式会社三協精機製作所 炎探知装置
JP2005114588A (ja) 2003-10-08 2005-04-28 Mitsubishi Heavy Ind Ltd 追尾装置
JP4596246B2 (ja) 2004-12-28 2010-12-08 富士フイルム株式会社 オートフォーカスシステム
JP4552997B2 (ja) * 2007-11-16 2010-09-29 カシオ計算機株式会社 撮像装置及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09243904A (ja) * 1996-03-05 1997-09-19 Eastman Kodak Japan Kk 画像の構図変化検出方法
JP2001111882A (ja) * 1999-10-04 2001-04-20 Canon Inc 被写体検出装置、画像処理装置、画像処理システム、被写体検出方法、画像処理方法、及び記憶媒体
JP2009111716A (ja) * 2007-10-30 2009-05-21 Nikon Corp 撮像装置、プログラムおよびテンプレート生成方法
JP2011160062A (ja) * 2010-01-29 2011-08-18 Fujifilm Corp 追尾枠の初期位置設定装置およびその動作制御方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107637089A (zh) * 2015-05-18 2018-01-26 Lg电子株式会社 显示装置及其控制方法
US10986302B2 (en) 2015-05-18 2021-04-20 Lg Electronics Inc. Display device and control method therefor
US11323651B2 (en) 2015-05-18 2022-05-03 Lg Electronics Inc. Display device and control method therefor
US11962934B2 (en) 2015-05-18 2024-04-16 Lg Electronics Inc. Display device and control method therefor
CN109671291A (zh) * 2018-11-21 2019-04-23 梁宋静怡 一种基于智能传感器的全景监控方法
CN113853515A (zh) * 2019-05-30 2021-12-28 松下知识产权经营株式会社 运动物体的应力分析装置
CN113853515B (zh) * 2019-05-30 2024-03-19 松下知识产权经营株式会社 运动物体的应力分析装置
CN113379985A (zh) * 2020-02-25 2021-09-10 北京君正集成电路股份有限公司 一种看护电子围栏报警装置
CN113379984A (zh) * 2020-02-25 2021-09-10 北京君正集成电路股份有限公司 一种电子看护围栏系统
CN113379984B (zh) * 2020-02-25 2022-09-23 北京君正集成电路股份有限公司 一种电子看护围栏系统
CN113379985B (zh) * 2020-02-25 2022-09-27 北京君正集成电路股份有限公司 一种看护电子围栏报警装置

Also Published As

Publication number Publication date
WO2013047066A1 (ja) 2013-04-04
US8879794B2 (en) 2014-11-04
JP5612774B2 (ja) 2014-10-22
CN104041005B (zh) 2015-12-23
US20140211997A1 (en) 2014-07-31
JPWO2013047066A1 (ja) 2015-03-26

Similar Documents

Publication Publication Date Title
CN104041005B (zh) 追踪框初始位置设定设备及其操作控制方法
KR100851477B1 (ko) 투영장치, 투영방법 및 이를 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
US9489747B2 (en) Image processing apparatus for performing object recognition focusing on object motion, and image processing method therefor
CN102334332B (zh) 成像设备、图像显示设备、成像方法、显示图像的方法和校正聚焦区域框的方法
CN100447661C (zh) 投影显示设备
EP3544286B1 (en) Focusing method, device and storage medium
US10984550B2 (en) Image processing device, image processing method, recording medium storing image processing program and image pickup apparatus
US9774782B2 (en) Image pickup apparatus and image pickup method
CN104620075B (zh) 多被摄体的距离测量装置以及方法
KR102529479B1 (ko) 제어장치, 제어방법, 및 기억매체
JP5971954B2 (ja) 画像処理装置、画像処理装置を有する撮像装置、画像処理方法、プログラム、及びプログラムを記憶した記憶媒体
CN105051600A (zh) 图像处理装置、摄像装置、图像处理方法以及图像处理程序
CN102006485A (zh) 图像处理装置及图像处理方法
US9158183B2 (en) Stereoscopic image generating device and stereoscopic image generating method
CN116320335A (zh) 一种投影设备及调整投影画面尺寸的方法
JP5892211B2 (ja) 撮像装置、及びプログラム
KR101272631B1 (ko) 이동물체 감지장치 및 방법
JP2011160062A (ja) 追尾枠の初期位置設定装置およびその動作制御方法
JP2011160062A5 (zh)
JP6223502B2 (ja) 画像処理装置、画像処理方法、プログラム、それを記憶した記憶媒体
US20180069997A1 (en) Image pickup apparatus, control apparatus, and exposure control method
US20230216983A1 (en) Image processing device, image processing method, and storage medium
US20210195099A1 (en) Image processing apparatus, image pickup apparatus, image processing method, and storage medium
KR20190110369A (ko) 지정 피사체의 자동 추적이 가능한 지능형 카메라 시스템 및 이를 이용한 영상촬영 방법
JP5965653B2 (ja) 追尾装置及び追尾方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151223

Termination date: 20180829

CF01 Termination of patent right due to non-payment of annual fee