CN107707871B - 图像处理设备、摄像设备、图像处理方法和存储介质 - Google Patents

图像处理设备、摄像设备、图像处理方法和存储介质 Download PDF

Info

Publication number
CN107707871B
CN107707871B CN201710482073.2A CN201710482073A CN107707871B CN 107707871 B CN107707871 B CN 107707871B CN 201710482073 A CN201710482073 A CN 201710482073A CN 107707871 B CN107707871 B CN 107707871B
Authority
CN
China
Prior art keywords
region
image
image data
distance
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710482073.2A
Other languages
English (en)
Other versions
CN107707871A (zh
Inventor
辻良介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN107707871A publication Critical patent/CN107707871A/zh
Application granted granted Critical
Publication of CN107707871B publication Critical patent/CN107707871B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了能够高精度地对要追踪的图像区域进行追踪的图像处理设备、摄像设备、图像处理方法和存储介质。距离分布生成单元生成表示第一图像数据中的各区域的距离的距离信息。被摄体似然分布生成单元基于表示所述第一图像数据中被指定为被摄体的位置的信息、所述距离信息、以及所述距离信息的可靠性，来生成所述第一图像数据中的所述被摄体的似然分布。特征量提取单元基于所述似然分布来计算要用于从第二图像数据检测所述被摄体的特征量。

Description

图像处理设备、摄像设备、图像处理方法和存储介质
技术领域
本发明涉及用于对要追踪的图像区域进行追踪的图像处理设备、摄像设备以及图像处理方法。
背景技术
一种非常有用的技术是从以时间序列方式提供的图像中提取特定被摄体的图像区域(在下文中称为被摄体区域)、并对各时间序列图像中的提取出的被摄体区域进行追踪的技术，并且该技术用于对例如运动图像中的人脸区域和人体区域进行追踪。这样的技术可以用于各种各样的领域，诸如通信会议、人机接口、安全、用于追踪任意被摄体的监视系统、以及图像压缩等。
此外，日本特开2005-318554和日本特开2001-60269各自讨论了如下技术：在使用触摸面板等指定所拍摄图像中的任意被摄体区域的情况下，提取并追踪被摄体区域，并且使针对被摄体区域的聚焦状态和/或曝光状态最优化。例如，日本特开2005-318554讨论了如下的摄像设备，其中该摄像设备用于从所拍摄图像中检测(提取)并追踪面部的位置，以聚焦在面部上并且还以最佳曝光来拍摄图像。此外，日本特开2001-60269讨论了用于使用模板匹配来自动追踪特定被摄体的被摄体追踪设备。在使用诸如触摸面板等的输入接口来指定所拍摄图像中包含的任意图像区域的情况下，日本特开2001-60269中所讨论的被摄体追踪设备将该图像区域登记为模板图像。然后，被摄体追踪设备在所拍摄图像中估计与该模板图像具有最高相似度或最小差异的图像区域，并将该图像区域作为要追踪的被摄体区域来进行追踪。
在如上述模板匹配的基于区域的追踪方法中，要追踪的图像区域(模板图像)的设置很大程度上影响追踪精度。例如，如果使用比适当大小的区域小的图像区域作为模板图像，则估计要追踪的被摄体区域所需的特征量是不充分的，从而使得不能进行精确的追踪。如果使用比适当大小的区域大的图像区域作为模板图像，则在模板图像中可能包括除被摄体以外的诸如背景等的元素，并且在这种情况下可能会错误地追踪背景区域。
一种可想到的方法例如是除图像信息以外还参考与从照相机到被摄体的距离有关的信息，从而防止模板图像中包含除被摄体以外的诸如背景等的元素。然而，在多个被摄体位于相对于照相机大致相等的距离处的情况下，设备可能会错误地追踪与应当追踪的被摄体区域不同的其它图像区域(其它被摄体区域)。在要追踪的图像区域是具有难以检测到距离信息的这种图案的图像的情况下，难以获取精确的距离信息，从而降低了要追踪的被摄体区域的检测精度。例如，为了降低处理负荷，可能仅针对所拍摄图像中的部分图像区域来计算距离信息，因此不能进行精确的追踪。
发明内容
根据本发明的方面，一种图像处理设备，包括：获取部件，用于获取表示第一图像数据中的各区域的距离的距离信息；生成部件，用于基于表示所述第一图像数据中被指定为被摄体的位置的信息、所述距离信息、以及所述距离信息的可靠性，来生成所述第一图像数据中的所述被摄体的似然分布；以及计算部件，用于基于所述似然分布来计算要用于从第二图像数据检测所述被摄体的特征量。
根据本发明的另一方面，一种图像处理设备，包括：获取部件，用于根据与第一图像数据相对应的具有视差的多个图像数据来计算所述第一图像数据中的各区域的散焦量，并从各区域的散焦量获取距离信息；生成部件，用于基于表示所述第一图像数据中被指定为被摄体的位置的信息以及所述距离信息，来生成所述第一图像数据中的所述被摄体的似然分布；以及计算部件，用于基于所述似然分布来计算要用于从第二图像数据检测所述被摄体的特征量。
根据本发明的又一方面，一种摄像设备，包括：图像传感器，用于生成图像数据；获取部件，用于获取表示第一图像数据中的各区域的距离的距离信息；生成部件，用于基于表示所述第一图像数据中被指定为被摄体的位置的信息、所述距离信息、以及所述距离信息的可靠性，来生成所述第一图像数据中的所述被摄体的似然分布；计算部件，用于基于所述似然分布来计算要用于从第二图像数据检测所述被摄体的特征量；检测部件，用于使用所述计算部件所计算出的特征量来从所述第二图像数据检测所述被摄体；以及控制部件，用于根据与同所述检测部件所检测到的被摄体相对应的图像区域有关的信息，来控制所述图像传感器拍摄图像时的摄像条件。
根据本发明的又一方面，一种摄像设备，包括：图像传感器，用于生成图像数据；获取部件，用于根据与第一图像数据相对应的具有视差的多个图像数据来计算所述第一图像数据中的各区域的散焦量，并从各区域的散焦量获取距离信息；生成部件，用于基于表示所述第一图像数据中被指定为被摄体的位置的信息以及所述距离信息，来生成所述第一图像数据中的所述被摄体的似然分布；计算部件，用于基于所述似然分布来计算要用于从第二图像数据检测所述被摄体的特征量；检测部件，用于使用所述计算部件所计算出的特征量来从所述第二图像数据检测所述被摄体；以及控制部件，用于根据与同所述检测部件所检测到的被摄体相对应的图像区域有关的信息，来控制所述图像传感器拍摄图像时的摄像条件。
根据本发明的另一方面，一种图像处理方法，包括以下步骤：获取表示第一图像数据中的各区域的距离的距离信息；基于表示所述第一图像数据中被指定为被摄体的位置的信息、所述距离信息、以及所述距离信息的可靠性，来生成所述第一图像数据中的所述被摄体的似然分布；以及基于所述似然分布来计算要用于从第二图像数据检测所述被摄体的特征量。
根据本发明的另一方面，一种图像处理方法，包括以下步骤：根据与第一图像数据相对应的具有视差的多个图像数据来计算所述第一图像数据中的各区域的散焦量，并从各区域的散焦量获取距离信息；基于表示所述第一图像数据中被指定为被摄体的位置的信息以及所述距离信息，来生成所述第一图像数据中的所述被摄体的似然分布；以及基于所述似然分布来计算要用于从第二图像数据检测所述被摄体的特征量。
根据本发明的又一方面，一种计算机可读非易失性存储介质，其存储用于控制图像处理设备的程序，所述程序包括用于执行以下步骤的代码：获取表示第一图像数据中的各区域的距离的距离信息；基于表示所述第一图像数据中被指定为被摄体的位置的信息、所述距离信息、以及所述距离信息的可靠性，来生成所述第一图像数据中的所述被摄体的似然分布；以及基于所述似然分布来计算要用于从第二图像数据检测所述被摄体的特征量。
根据本发明的又一方面，一种计算机可读非易失性存储介质，其存储用于控制图像处理设备的程序，所述程序包括用于执行以下步骤的代码：根据与第一图像数据相对应的具有视差的多个图像数据来计算所述第一图像数据中的各区域的散焦量，并从各区域的散焦量获取距离信息；基于表示所述第一图像数据中被指定为被摄体的位置的信息以及所述距离信息，来生成所述第一图像数据中的所述被摄体的似然分布；以及基于所述似然分布来计算要用于从第二图像数据检测所述被摄体的特征量。
根据以下参考附图对典型实施例的描述，本发明的其它特征将变得显而易见。
附图说明
图1示意性地示出根据典型实施例的摄像设备的结构。
图2示意性地示出被摄体追踪单元的结构。
图3是示出被摄体追踪处理的步骤的流程图。
图4A示出用于模板匹配的被摄体模型的示例，以及图4B示出搜索要追踪的被摄体区域的范围。
图5A示出A+B图像的输入图像以及要追踪的被摄体的一个示例，图5B示出距离分布，以及图5C示出被摄体似然分布(likelihood distribution)的一个示例。
图6是示出被摄体似然分布的生成步骤的流程图。
图7A示出使用距离分布的聚类，以及图7B示出被摄体似然分布的类别。
图8是示出摄像处理的步骤的流程图。
具体实施方式
参考附图来描述本发明的典型实施例。
根据本典型实施例的追踪设备可以适用于能够将通过拍摄被摄体所形成的运动图像和静止图像的数据记录到诸如磁带、固态存储器、光盘和磁盘等的各种类型的记录介质中的数字静态照相机和摄像机等。除此之外，根据本典型实施例的追踪设备还可以适用于：诸如配备有照相机功能的智能电话和平板电脑终端等的各种类型的便携式终端；诸如工业用照相机、车载照相机以及医疗用照相机等的各种类型的摄像设备；以及用于显示运动图像等的显示设备。
<摄像设备的示意性结构>
参考图1来描述作为根据本典型实施例的追踪设备的应用的一个示例的摄像设备100的示意性结构。
如以下详细描述的，根据本典型实施例的摄像设备100具有从以时间序列方式顺次提供的图像中提取特定被摄体的图像区域(被摄体区域)、并将该被摄体区域作为追踪对象进行追踪的被摄体追踪功能。在追踪特定被摄体区域时，根据本典型实施例的摄像设备100使用以下描述的视差图像来估计从摄像设备100到被摄体的距离，并基于与所估计出的距离有关的信息来估计特定被摄体区域。
摄像设备100中的各单元经由总线160连接。各单元由中央处理单元(CPU)151控制。摄像设备100的镜头单元101包括固定的第一组透镜102、变焦透镜111、光圈103、固定的第三组透镜121以及调焦透镜131。光圈控制电路105通过根据来自CPU 151的指示、经由光圈马达104(AM)驱动光圈103，来调节光圈103的开口直径，以调节摄像时的光量。变焦控制电路113通过经由变焦马达112(ZM)驱动变焦透镜111来改变焦距。调焦控制电路133通过基于镜头单元101在聚焦方向上的偏移量确定驱动调焦马达132(FM)的驱动量、并根据该驱动量经由调焦马达132驱动调焦透镜131，来执行焦点调节。以这种方式，调焦控制电路133通过基于镜头单元101在聚焦方向上的偏移量、经由调焦马达132控制调焦透镜131的移动，来执行自动调焦(AF)控制。调焦透镜131是用于焦点调节的透镜，并且在图1中被简单地图示为一个透镜，但是一般包括多个透镜。通过以这种方式配置的镜头单元101在图像传感器141的摄像面上形成被摄体和背景等的光学图像。
图像传感器141将摄像面上形成的被摄体和背景等的光学图像光电转换为电信号。图像传感器141的摄像操作由摄像控制电路143来控制。图像传感器141包括能够通过被配置为共用一个微透镜的多个光电转换元件(在本典型实施例中为第一光电转换元件和第二光电转换元件)来生成视差图像的多个像素的阵列。更具体地，在图像传感器141中，第一光电转换元件和第二光电转换元件(光接收区域)配置在m×n个像素的每一个中，其中，m个像素沿水平方向排列，n个像素沿垂直方向排列。将在图像传感器141的摄像面上形成光学图像之后、该光学图像被光电转换成的图像信号发送至摄像信号处理电路142。针对以这种方式配置的图像传感器141的结构和光学原理，可以采用例如在日本特开2008-15754中所讨论的已知技术。
摄像信号处理电路142通过将针对各像素的第一光电转换元件和第二光电转换元件的输出相加来获取与摄像面上形成的光学图像相对应的图像信号(所拍摄图像数据)。摄像信号处理电路142通过分别处理针对各像素的第一光电转换元件和第二光电转换元件的输出来获取具有视差的两个图像(视差图像)的信号。在本典型实施例的描述中，将通过将针对各像素的第一光电转换元件和第二光电转换元件的输出进行相加而获取的所拍摄图像称为“A+B图像”，以及将通过分别处理针对各像素的两个光电转换元件的输出而分别获取到的视差图像称为“A图像”和“B图像”。根据本典型实施例的图像传感器141包括沿横向方向(水平方向)排列成行的第一光电转换元件和第二光电转换元件，因此A图像和B图像是在水平方向上具有视差的图像。从摄像信号处理电路142输出的A+B图像的所拍摄图像数据以及A图像和B图像的视差图像数据经由摄像控制电路143而被发送至随机存取存储器(RAM)154，并临时存储在RAM 154中。如果摄像设备100正拍摄运动图像或者每当经过预定时间间隔时连续拍摄静止图像，则从摄像信号处理电路142顺次输出A+B图像的所拍摄图像数据以及A图像和B图像的视差图像数据，并将其存储到RAM 154中。
向图像处理电路152发送存储在RAM 154中的图像数据中的A+B图像的所拍摄图像数据。图像处理电路152对从RAM 154读出的所拍摄图像数据进行诸如伽马校正和白平衡处理等的各种类型的图像处理。图像处理电路152还进行用于将处理后的图像数据缩小或放大到最佳大小以在监视显示器150上显示该图像数据的处理。向监视显示器150发送通过缩小/放大处理而将大小调整为最佳大小的图像数据，并在监视显示器150上显示该图像数据的图像。摄像设备100的操作者(在下文中称为用户)可以通过观看监视显示器150上显示的图像来实时观察所拍摄图像。如果根据本典型实施例的摄像设备100被设置为仅在紧接着拍摄图像之后的预定时间段内在监视显示器150的画面上显示所拍摄图像，则用户可以在紧接着拍摄图像之后确认该所拍摄图像。还向图像压缩/解压缩电路153发送存储在RAM154中的A+B图像的所拍摄图像数据。图像压缩/解压缩电路153对从RAM 154读出的所拍摄图像数据进行压缩，此后向用作记录介质的图像记录介质157发送压缩后的图像数据。图像记录介质157记录压缩后的图像数据。
向调焦控制电路133发送存储在RAM 154中的图像数据中的A图像和B图像的视差图像数据。调焦控制电路133通过从A图像和B图像的视差图像获取镜头单元101在聚焦方向上的偏移量、并经由调焦马达132驱动调焦透镜131来进行AF控制，以消除聚焦方向上的偏移。
操作开关156是包括触摸面板、各种类型的按钮和开关的输入接口。在摄像设备100的壳体等中设置这些按钮和开关，并且在监视显示器150的显示面上配置触摸面板。根据本典型实施例的摄像设备100可以在监视显示器150的画面上显示各种功能图标，并且这些各种功能图标由用户经由触摸面板来进行选择和操作。经由总线160向CPU 151发送用户经由操作开关156所输入的操作信息。
当用户经由操作开关156输入操作信息时，CPU 151基于该操作信息来控制各单元。当图像传感器141拍摄图像时，CPU 151确定图像传感器141累积电荷的时间段以及当图像数据从图像传感器141输出到摄像信号处理电路142时的增益的设置值等。更具体地，CPU151基于根据用户经由操作开关156所输入的操作信息的指示、或者临时存储在RAM 154中的图像数据的像素值的大小，来确定图像传感器141的累积时间段和输出增益的设置值等。摄像控制电路143从CPU 151接收表示累积时间段以及增益的设置值的指示，并根据这些指示来控制图像传感器141。
电池159由电源管理电路158进行适当的管理，并向整个摄像设备100稳定地供电。在闪速存储器155中存储摄像设备100的操作所需的控制程序。当根据用户操作而启动摄像设备100时(当摄像设备100从电源断开状态转变成电源接通状态时)，将存储在闪速存储器155中的控制程序读取(加载)到RAM154的一部分中。作为结果，CPU 151根据RAM 154中所加载的控制程序来控制摄像设备100的操作。
在根据本典型实施例的摄像设备100中，还向被摄体追踪电路161发送存储在RAM154中的A+B图像的所拍摄图像数据以及A图像和B图像的视差图像数据。被摄体追踪电路161是与根据本典型实施例的追踪设备相对应的单元。在以下描述中，将输入到被摄体追踪电路161的A+B图像的所拍摄图像数据称为输入图像数据。如以下详细描述的，在从RAM 154所读出的且以时间序列方式所顺次输入的A+B图像的输入图像中提取并输出被追踪的特定被摄体区域的情况下，被摄体追踪电路161追踪该特定被摄体区域。如以下详细描述的，被摄体追踪电路161基于A图像和B图像的视差图像来估计从摄像设备100到被摄体等的距离，并在追踪特定被摄体区域时使用距离信息。
经由总线160向诸如调焦控制电路133、光圈控制电路105、图像处理电路152以及CPU 151等的各单元发送表示被摄体追踪电路161所进行的被摄体追踪的结果的信息，即，与被追踪并被提取的特定被摄体区域有关的信息。在将与被追踪的特定被摄体区域相对应的被摄体设置为AF控制的对象的摄像条件下，调焦控制电路133进行AF控制以使被摄体聚焦。光圈控制电路105使用被追踪的特定被摄体区域的亮度值，来在可以以适当的亮度拍摄被摄体区域的摄像条件下进行曝光控制。图像处理电路152进行下面这样的图像处理：对特定被摄体区域进行最佳伽马校正和最佳白平衡处理。CPU 151进行下面这样的显示控制：在监视显示器150的画面上所显示的所拍摄图像上叠加例如围绕被追踪的特定被摄体区域的矩形图像的情况下显示该矩形图像。
<被摄体追踪电路的示意性结构>
描述根据本典型实施例的被摄体追踪电路161的结构和操作。图2示出被摄体追踪电路161的示意性结构。
图2所示的被摄体追踪电路161包括匹配电路201、特征提取电路202、距离分布生成电路203以及被摄体似然分布生成电路204。在以下描述中，为了简化描述，被摄体似然分布生成电路204被称为似然分布生成电路204。特征提取电路202和匹配电路201是根据本典型实施例的估计单元的一个示例。分别向匹配电路201和特征提取电路202以及距离分布生成电路203发送从RAM154顺次读出并提供的A+B图像的输入图像数据以及A图像和B图像的视差图像数据。
特征提取电路202是计算单元的一个示例，并且基于与从以下要描述的似然分布生成电路204提供的被摄体似然分布有关的信息来从A+B图像的输入图像数据提取要追踪的被摄体区域的特征量，并向匹配电路201发送与该特征量有关的信息。在本典型实施例中，要追踪的被摄体区域例如是与用户在监视显示器150的画面上所显示的所拍摄图像上指定的特定被摄体相对应的图像区域。匹配电路201通过使用特征提取电路202所提取出的被摄体区域的特征量对A+B图像的输入图像进行匹配处理，来估计要追踪的被摄体区域。匹配电路201所估计出的该被摄体区域是顺次输入到被摄体追踪电路161的A+B图像的输入图像中所要追踪的特定被摄体区域。以下描述特征提取电路202所进行的特征量提取处理以及匹配电路201所进行的匹配处理的详情。
距离分布生成电路203是根据本典型实施例的获取单元的一个示例，并且基于A图像和B图像的视差图像、针对A+B图像的输入图像中的预定区域来计算从摄像设备100到被摄体等的距离，并根据距离信息生成距离分布。在本典型实施例的情况下，该预定区域例如是与A+B图像的输入图像中的各像素相对应的区域。因此，距离分布生成电路203使用A图像和B图像的视差图像来计算与A+B图像的输入图像中的像素之一相对应的各距离信息，并生成表示与各像素有关的距离信息的分布的距离分布。该预定区域可以是通过将输入图像分割成多个块而获得的小块的区域。以下描述用于生成距离分布的处理的详情。向似然分布生成电路204发送距离分布生成电路203所生成的距离分布信息。
似然分布生成电路204是生成单元的一个示例，并且还向该似然分布生成电路204提供表示匹配电路201所提取出的特定被摄体区域的信息。似然分布生成电路204基于来自距离分布生成电路203的距离分布信息以及来自匹配电路201的与被摄体区域有关的信息，来生成表示要追踪的图像区域是特定被摄体区域的概率的分布的被摄体似然分布。以下描述似然分布生成电路204基于距离分布信息以及与被摄体区域有关的信息来生成被摄体似然分布的处理的详情。向特征提取电路202发送与似然分布生成电路204所生成的被摄体似然分布有关的信息。
特征提取电路202使用与被摄体似然分布有关的信息来从A+B图像的输入图像估计要追踪的被摄体区域，并提取所估计出的被摄体区域的特征量。以下描述用于使用被摄体似然分布来估计被摄体区域、并提取特征量的处理的详情。在本典型实施例的情况下，特征提取电路202可以通过在估计要追踪的被摄体区域时使用与被摄体似然分布有关的信息来高精度地提取被摄体区域的特征量。
描述了被摄体追踪电路161的电路结构，但是代替被摄体追踪电路161，CPU 151可以进行用于实现与被摄体追踪电路161同样的功能的软件处理。
<被摄体追踪处理的流程>
图3是示出根据本典型实施例的摄像设备100所进行的被摄体追踪处理的流程的流程图。当摄像设备100处开始摄像时，图3的流程图所示的处理开始。图3的流程图所示的各处理步骤可以例如通过CPU 151执行根据本典型实施例的程序来实现。
在图3的流程图所示的步骤S301中，CPU 151判断追踪开始定时是否到来。在本典型实施例中，追踪开始定时例如是用户经由操作开关156的触摸面板来进行用于给出开始追踪被摄体的指示的操作的定时。在本典型实施例中，给出开始追踪被摄体的指示的用户操作是例如用户触摸监视显示器150的画面上所显示的图像上的期望被摄体的位置的位置指定操作。如果CPU 151在步骤S301中判断为追踪开始定时已经到来(在步骤S301中为“是”)，则处理进入步骤S302。如果CPU 151在步骤S301中判断为当前时刻不是追踪开始定时并且被摄体追踪处理已经在进行中(在步骤S301中为“否”)，则处理进入步骤S305。图3的流程图所示的步骤S302和S305及其后续步骤是被摄体追踪电路161所进行的处理。
从在CPU 151在步骤S301中判断为追踪开始定时已经到来、并且处理进入步骤S302及其后续步骤中的处理的情况下被摄体追踪电路161所进行的处理，开始本流程图的描述。
在步骤S302中，被摄体追踪电路161的距离分布生成电路203基于A图像和B图像的视差图像、针对A+B图像的输入图像中的各像素来计算从摄像设备100到被摄体等的距离，并根据距离信息生成距离分布。在预定区域例如是通过将输入图像分割成多个块而获得的小块的区域的情况下，距离分布生成电路203根据与这些小块中的各个小块有关的距离信息来生成距离分布。在步骤S302之后，被摄体追踪电路161所进行的处理进入似然分布生成单元204所进行的步骤S303中的处理。
在步骤S303中，似然分布生成单元204基于与从距离分布生成电路203提供的距离分布有关的信息以及与被摄体追踪位置有关的信息，来生成被摄体似然分布。在追踪开始定时的被摄体追踪位置是用户例如在追踪开始定时触摸监视显示器150的画面上所显示的图像中的期望被摄体区域时的位置。在本典型实施例的情况下，从触摸面板向CPU 151发送在用户触摸监视显示器150上的画面时的操作信息，并且CPU 151基于该操作信息来生成与被摄体追踪位置有关的信息并通知被摄体追踪电路161。在图2所示的示例中，从示图中省略了CPU 151向被摄体追踪电路161通知的与被摄体追踪位置有关的信息。以下描述在步骤S303中用于基于距离分布和被摄体追踪位置来生成被摄体似然分布的处理的详情。在步骤S303之后，被摄体追踪电路161所进行的处理进入特征提取电路202所进行的步骤S304中的处理。
在步骤S304中，被摄体追踪电路161的特征提取电路202使用步骤S303中生成的被摄体似然分布以及例如与A+B图像的输入图像有关的颜色信息来估计要追踪的被摄体区域，并提取所估计出的被摄体区域的特征量。在完成步骤S304中的提取特征量的处理时，被摄体追踪电路161结束图3的流程图所示的处理。
描述在CPU 151在步骤S301中判断为当前时刻不是追踪开始定时且被摄体追踪处于进行中、并且处理进入步骤S305及其后续步骤中的处理的情况下被摄体追踪电路161所进行的处理。
在步骤S305中，被摄体追踪电路161的匹配电路201根据从RAM 154读出的且顺次输入的A+B图像的各输入图像来估计特定被摄体区域，并顺次输出表示被摄体区域的数据。在步骤S305之后，被摄体追踪电路161所进行的处理进入步骤S302至S304及其后续步骤中的处理。每当从RAM 154读出且顺次输入的A+B图像的各输入图像时，进行步骤S305至S304中的处理。
如果处理从步骤S305进入步骤S302，则在步骤S302中，距离分布生成电路203基于A图像和B图像的视差图像来获取与A+B图像的输入图像中的各像素有关的距离信息，并以与以上描述同样的方式生成距离分布。
在步骤S303中，似然分布生成单元204基于与从距离分布生成电路203提供的距离分布有关的信息以及与被摄体追踪位置有关的信息，来生成被摄体似然分布。然而，在被摄体追踪已经在进行中的情况下，使用匹配电路201所进行的匹配处理中提取的被摄体区域的位置作为被摄体追踪位置。换句话说，将步骤S303中的被摄体追踪位置顺次更新为基于步骤S305中所估计出的被摄体区域的位置。似然分布生成电路204向特征提取电路202发送使用与匹配电路201所提取出的被摄体区域有关的位置信息以及与上述距离分布有关的信息而生成的与被摄体似然分布有关的信息。在步骤S304中，特征提取电路202以与以上描述同样的方式提取特征量。
如上所述，如果CPU 151在步骤S301中判断为当前时刻不是追踪开始定时且被摄体追踪正在进行中、并且处理进入步骤S305及其后续步骤中的处理，则每当在步骤S305中提取出特定被摄体区域时，被摄体追踪电路161所进行的处理进入步骤S302至S304。顺次更新距离分布生成电路203在步骤S302中所获取到的各距离分布、似然分布生成电路204在步骤S303中所获取到的被摄体似然分布、以及特征提取电路202在步骤S304中所获取的特征量。在完成步骤S304中的提取特征量的处理时，被摄体追踪电路161结束图3的流程图所示的处理。
被摄体追踪电路161可以被配置为，在追踪开始定时提取出被摄体区域之后，使用基于从最初的输入图像(基准图像)提取出的被摄体区域所获取的特征量来追踪各输入图像中的被摄体，而无需通过对顺次提供的各输入图像进行步骤S302至S304中的处理来更新特征量。在这种情况下，距离分布生成电路203生成表示基准图像中的各像素的距离的距离分布。似然分布生成电路204基于基准图像中到被指定为要追踪的被摄体的位置的距离以及该距离分布来生成表示作为基准图像中的被摄体的概率的被摄体似然分布。特征提取电路202基于被摄体似然分布来估计与来自基准图像的被摄体相对应的图像区域，并使用该图像区域作为模板来计算要用于追踪被摄体的特征量。即使在这种情况下，摄像设备100也在提取基准图像中的特征量时基于与被摄体似然分布有关的信息来提取被摄体区域，因此可以高精度地对要追踪的图像区域进行追踪。
<被摄体追踪电路的匹配电路的详情>
描述被摄体追踪电路161的匹配电路201所进行的处理的详情。匹配电路201估计要追踪的被摄体区域，并使用特征提取电路202所提取出的特征量来从RAM 154顺次提供的A+B图像的各输入图像中提取被摄体区域。匹配电路201通过执行与A+B图像的输入图像中的部分区域的特征量有关的匹配，来估计被摄体区域。存在各种各样的特征量匹配方法。在本典型实施例中，例如，通过使用根据基于像素图案的相似度的模板匹配的匹配方法的示例来描述了匹配处理。
参考图4A和4B来描述匹配电路201所执行的模板匹配的详情。图4A示出模板匹配中所使用的被摄体模型(模板)的示例。图4A所示的图像401是被登记为模板图像的图像区域(被摄体区域)的图像示例，并且在本典型实施例的情况下为用户在上述追踪开始定时所指定的位置处的图像区域的图像。在本典型实施例中，将图像401中的各像素的特征量所表示的像素图案处理为被摄体模型(在下文中称为模板402)。图4A所示的模板402是以各个方格与其中一个像素相对应的格子状方式来形成图案，并且被配置为使得在水平方向上具有像素数为W且在垂直方向上具有像素数为H的大小。模板402的各像素中的(i,j)表示模板402中的(x,y)坐标，并且T(i,j)表示各像素的特征量。在本典型实施例中，使用各像素的亮度值作为模板402中的特征量T(i,j)。在本典型实施例中，模板402中的各像素的特征量T(i,j)由下式(1)表示：
T(i,j)＝{T(0,0),T(1,0),...,T(W-1,H-1)} 式(1)
图4B所示的图像403表示搜索要追踪的被摄体区域的范围，即A+B图像的输入图像。匹配电路201在输入图像403的范围内按照图4B中的箭头所指示的光栅顺序来设置部分区域404，即，在使部分区域404按从图4B中的左上角开始的顺序以逐个像素的方式偏移的情况下顺次设置部分区域404。部分区域404的大小与模板402的大小相对应。匹配电路201将包含在该部分区域404中的各像素的特征量处理为像素图案405。在图4B中，部分区域404中的各像素的特征量所表示的像素图案405是以各个方格与各个像素相对应的格子状方式来形成图案，并且被配置为使得在水平方向上具有像素数为W且在垂直方向上具有像素数为H的大小。像素图案405中的各像素中的(i,j)表示部分区域404中的(x,y)坐标，并且S(i,j)表示各像素的特征量。使用各像素的亮度值作为部分区域404的像素图案405中的特征量。在本典型实施例中，部分区域404的像素图案405中的各像素的特征量S(i,j)由下式(2)表示：
S(i,j)＝{S(0,0),S(1,0),...,S(W-1,H-1)} 式(2)
匹配电路201在按如图4B所示的光栅顺序所设置的各部分区域404的像素图案405和图4A所示的模板402之间顺次进行匹配处理，从而评价它们之间的相似度。匹配电路201生成针对从A+B图像的输入图像按光栅顺序所设置的各部分区域404所获取到的相似度的评价值，作为模板评价值。
例如，可以使用差的绝对值的和(即，所谓的绝对差和(SAD))的值作为用于评价模板402和部分区域404(像素图案405)之间的相似度的计算方法。SAD值(差的绝对值的和)V(x,y)由下式(3)计算得到：
Figure BDA0001329609150000161
如上所述，在用作搜索范围的输入图像403内，匹配电路201在使部分区域404按光栅顺序以逐个像素的方式偏移的情况下顺次设置部分区域404，并计算部分区域404的像素图案405和模板402之间的SAD值V(x,y)。通过该计算所获取到的SAD值V(x,y)最小的部分区域404被认为是与用作搜索区域的输入图像403中的模板402最相似的部分区域。匹配电路201获取输入图像403中的SAD值V(x,y)最小的部分区域404的坐标(x,y)。SAD值V(x,y)最小的部分区域404的坐标(x,y)是在用作搜索图像的输入图像403中要追踪的被摄体区域很有可能位于的位置。在以下描述中，SAD值V(x,y)最小的部分区域404的坐标(x,y)被称为被摄体追踪位置。匹配电路201从用作搜索范围的输入图像403中提取与SAD值V(x,y)最小的部分区域404的坐标(x,y)相对应的区域，并输出所提取出的区域作为所估计出的被摄体区域。匹配电路201向似然分布生成电路204发送与被摄体追踪位置有关的信息。
在以上描述中，提供了使用与亮度值有关的信息(仅包括亮度值的一维信息)作为特征量的示例，但是例如可以使用与亮度、色相和颜色饱和度有关的三个信息(包括亮度、色相和颜色饱和度的三维信息)作为特征量。在上述示例中，SAD值被描述为用于计算匹配评价值的方法，但是可以使用诸如所谓的归一化相关系数(NCC)等的不同的计算法。
<被摄体追踪电路的特征提取电路的详情>
描述被摄体追踪电路161的特征提取电路202所进行的特征提取处理的详情。
特征提取电路202基于用户所指定的或匹配电路201所匹配的被摄体区域的位置(被摄体追踪位置)、以及来自似然分布生成电路204的被摄体似然分布，来估计A+B图像的输入图像中的特定被摄体的图像区域(被摄体区域)。特征提取电路202提取被摄体追踪位置的坐标附近的图像区域的特征量作为特定被摄体区域的特征量。
特征提取电路202获取被摄体追踪位置的坐标附近的图像区域的颜色直方图作为要追踪的被摄体区域的颜色直方图Hin。特征提取电路202获取被摄体区域附近的图像区域的颜色直方图Hout。特征提取电路202使用颜色直方图Hin和颜色直方图Hout来计算下式(4)所表示的信息量I(a)。从A+B图像的整个输入图像或其部分区域获取被摄体区域附近的图像区域的颜色直方图Hout。
I(a)＝-log2Hin(a)/Hout(a) 式(4)
式(4)中的信息量I(a)表示被摄体区域中的颜色直方图的各个bin(直条)相对于A+B图像的整个输入图像或其部分区域的出现概率。颜色直方图的各个bin的出现概率还可以是各个bin的评价值。特征提取电路202基于信息量I(a)生成表示A+B图像的输入图像中的各像素是被摄体区域中的像素的概率的图。
特征提取电路202基于如以下描述的距离信息(即，与表示是被摄体区域的概率的图有关的信息)来获取似然分布生成电路204所生成的被摄体似然分布。特征提取电路202通过将基于颜色直方图的图中的概率与基于距离信息(被摄体似然分布)的图中的概率相乘来生成表示是特定被摄体区域的概率的被摄体图。特征提取电路202基于被摄体图、将表示被摄体区域的矩形拟合到A+B图像的输入图像，来估计被摄体区域。作为矩形拟合处理的结果，所估计出的被摄体区域包含很有可能是被摄体区域的许多像素，并且包含不太可能是被摄体区域的少量像素。特征提取电路202所估计出的被摄体区域的特征量用作匹配电路201的上述匹配中所要使用的模板。
<被摄体追踪电路的距离分布生成电路的详情>
将描述被摄体追踪电路161的距离分布生成电路203所进行的用于生成距离分布的处理的详情。
距离分布生成电路203基于上述A图像和B图像的视差图像、与A+B图像的输入图像中的各像素相关联地计算从摄像设备100到被摄体等的距离。更具体地，距离分布生成电路203通过使用视差图像进行相关计算处理，来检测用以计算各像素的距离的图像位移量。例如，在日本特开2008-15754中公开了使用视差图像来检测图像位移量的方法，并且该专利文献中讨论的技术是通过针对通过将图像分割成小区域所获得的各个小块执行相关计算，来检测图像位移量。距离分布生成电路203通过使图像位移量乘以预定转换系数来计算针对图像传感器141的摄像面上的各像素的偏差(散焦量)。在本典型实施例中，将所计算出的散焦量视为在A+B图像的输入图像中的各像素处到被摄体等的估计距离，并且距离分布生成电路203生成与各像素相关联地布置多个该估计距离的分布作为距离分布。
距离分布生成电路203关于针对各像素所估计出的距离信息来判断该距离信息的可靠性，并生成表示针对各像素的估计距离的可靠性的分布的可靠性分布。描述生成可靠性分布的示例。距离分布生成电路203通过如上所述将A图像和B图像的视差图像分割成小区域(小块)并且针对这些小块中的每一个小块执行相关计算，来检测各像素的图像位移量。在通过相关计算来获取图像图案的相似度的情况(例如，各小块的图像图案是相似图案的集合体)，难以利用相关计算来获得相关度的峰值，并且难以检测到正确的图像位移量。因此，在相关计算的平均值和峰值(在相似度的情况下为最大值)之间的差小的情况下，距离分布生成电路203判断为可靠性低。针对各小块来获取可靠性。小块中的各像素的位置由坐标表示，从而使得距离分布生成电路203可以根据与各像素有关的距离信息的可靠性来生成可靠性分布。距离分布生成电路203还将与针对各像素的距离信息的可靠性分布有关的信息连同与距离分布有关的信息一起发送至似然分布生成电路204。
<被摄体追踪电路的被摄体似然分布生成电路的详情>
以下描述被摄体追踪电路161的似然分布生成电路204所进行的用于生成被摄体似然分布的处理的详情。
似然分布生成电路204基于从距离分布生成电路203接收到的与距离分布和可靠性分布有关的信息、以及来自匹配电路201的与被摄体区域有关的信息，来生成表示是特定被摄体区域的概率的被摄体似然分布。参考图5A～5C来描述被摄体似然分布。
图5A示出A+B图像的输入图像500以及要在输入图像500中追踪的被摄体501的一个示例。在图5A所示的输入图像500中，还存在与要追踪的被摄体501不同的另一被摄体502以及背景503。在图5A所示的输入图像500的示例中，被摄体501和502是位于相对于摄像设备100的距离短的位置处的被摄体，并且背景503位于相对于摄像设备100距离长的位置处。
图5B示出距离分布生成电路203根据图5A所示的输入图像500所生成的距离分布。在本典型实施例的情况下，将距离分布例如表示为黑白二进制图像。在图5B所示的距离分布的图像示例中，以白色表现的由像素形成的区域表示位于相对于摄像设备100的距离短的位置处的被摄体等的区域，并且以黑色表现的由像素形成的区域表示位于相对于摄像设备100的距离长的位置处的被摄体等的区域。在图5A所示的示例中，从摄像设备100到被摄体501和502的距离短，并且从摄像设备100到背景503的距离长，从而使得以下面这样的方式生成图5A的距离分布：将分别与被摄体501和502相对应的区域511和512表现为白色区域，并且将与背景503相对应的区域513表现为黑色区域。在图5A所示的示例中，将被摄体501设置为追踪对象，从而使得在图5B所示的示例的情况下将与被摄体501相对应的区域511的位置设置为被摄体追踪位置。在图5B所示的示例中，为了简化描述，距离分布由白色和黑色二进制值来表现，但是实际上，该距离分布可以被生成为各像素可以表示距离的多值信息。
图5C示出似然分布生成电路204使用图5B所示的距离分布510所要生成的被摄体似然分布520的一个示例。在图5C所示的示例中，各像素在被摄体似然分布520中由白色和黑色二进制值来表现。在图5C所示的被摄体似然分布520的示例中，以白色表现的由像素形成的区域表示是要追踪的被摄体区域的概率高的区域，并且以黑色表现的由像素形成的区域表示是要追踪的被摄体区域的概率低的区域。对于通过对距离分布中的如下各像素进行连接所定义的区域，似然分布生成电路204判断为是要追踪的被摄体区域的概率高，其中，该各像素处的距离信息的值与同被摄体追踪位置相对应的距离信息的值接近。更具体地，对于通过将基于被摄体追踪位置而具有与该位置的像素处的距离信息的值接近的值的各像素进行连接所定义的区域，似然分布生成电路204判断为是要追踪的被摄体区域的概率高。
如果在距离分布中的各像素处的距离信息的值是与要追踪的被摄体区域中的各像素处的距离信息的值远离的值，则似然分布生成电路204判断为该像素是要追踪的被摄体区域中的像素的概率低。对于基于被摄体追踪位置而具有与该位置的像素处的距离信息的值接近的值、但位于如下所述的不连接的区域(非连接区域)中的像素，似然分布生成电路204判断为是要追踪的被摄体区域中的像素的概率低。
例如，可以使用预设的预定距离阈值来判断值是与要追踪的被摄体区域中的各像素处的距离信息的值接近还是远离的值。例如，如果距离信息值小于或等于距离阈值，则可以判断为值接近，而如果距离信息的值超过距离阈值，则可以判断为值远离。以下描述基于被摄体追踪位置的区域的连接或非连接。
在图5C所示的示例的情况下，与图5A所示的被摄体501相对应的区域521是由被判断为是要追踪的被摄体区域的概率高的像素形成的区域。区域521以外的区域524是由被判断为是要追踪的被摄体区域的概率低的像素形成的区域。在图5C所示的示例中，为了简化描述，被摄体似然分布由白色和黑色二进制值来表现，但是实际上，在本典型实施例的情况下，是要追踪的被摄体区域中的像素的概率可以由多个值来表现。以这种方式，生成图5C所示的被摄体似然分布520，来作为图5B所示的距离分布510中的各像素处的距离信息被转换为表示是要追踪的被摄体区域的概率的值的分布。
似然分布生成电路204可以基于连同来自距离分布生成电路203的距离分布信息一起发送的可靠性分布信息来确定是否判断被摄体似然性。例如，似然分布生成电路204可以被配置为在基于可靠性分布信息而判断为像素处的距离信息的可靠性低的情况下限制使用该像素处的距离信息来判断被摄体似然性。由于可以针对各像素设置是否要判断被摄体似然性，因此似然分布生成电路204可以仅针对具有高可靠性的像素来判断如上所述的要追踪的被摄体区域的概率。例如，可以使用预设的可靠性阈值来判断可靠性是高还是低。例如，如果可靠性分布信息中的可靠性的值等于或高于预定可靠性阈值，则似然分布生成电路204判断为可靠性高，如果可靠性分布信息中的可靠性的值低于可靠性阈值，则似然分布生成电路204判断为可靠性低，从而使得可以确定是否要判断被摄体似然性。
<用于生成被摄体似然分布的处理的流程>
参考图6、7A和图7B来描述似然分布生成电路204所进行的用于生成被摄体似然分布的处理的流程。图6是示出在图3所示的步骤S303中生成被摄体似然分布的上述处理的详细流程的流程图。图6的流程图所示的各处理步骤可以例如通过CPU 151执行根据本典型实施例的程序来实现。图7A和7B用于描述图6所示的步骤S601中的被摄体似然分布的类别。
在图6的流程图所示的步骤S601中，似然分布生成电路204将从距离分布生成电路203提供的距离分布中的各像素聚类成如以下示例的四种类型的聚类。如图7A所示，根据距离信息的存在或不存在、距离信息的可靠性以及距离信息的值来执行聚类。如图7A所示，如果距离分布中的像素具有距离信息、该距离信息的可靠性高、并且该距离信息的值与被摄体追踪位置的像素处的距离信息的值接近，则似然分布生成电路204将该像素分类为第一类。在本典型实施例中，第一类被称为正(positive)类。如果距离分布中的像素具有距离信息、该距离信息的可靠性高、并且该距离信息的值与被摄体追踪位置的像素处的距离信息的值远离，则似然分布生成电路204将该像素分类为第二类。在本典型实施例中，第二类被称为负(negative)类。如果距离分布中的像素具有距离信息并且该距离信息的可靠性很低，则距离分布生成电路204在不依赖于距离信息的值的情况下将该像素分类为第三类。在本典型实施例中，第三类被称为未知(unkown)类。如果距离分布中的像素不具有距离信息，则似然分布生成电路204将该像素分类为第四类。在本典型实施例中，第四类被称为无值(no-value)类。距离分布生成电路203可以仅针对A+B图像的输入图像的部分区域获取距离信息，以降低处理负荷。在这种情况下，距离分布生成电路204将与除该部分区域以外的其它区域相对应的像素分类为无值类，这是因为该像素不具有距离信息。在步骤S601之后，处理进入步骤S602。
在步骤S602中，似然分布生成电路204基于被摄体追踪位置将正类和未知类中的像素标记为要连接的像素。通过该标记，似然分布生成电路204基于被摄体追踪位置将正类和未知类中的像素进行连接，并且不将负类和无值类中的像素进行连接。在步骤S602之后，处理进入步骤S603。
在步骤S603中，似然分布生成电路204将步骤S602中没有进行标记的未标记像素的正类和未知类转换为负类。似然分布生成电路204不对步骤S602中标记了的像素的类别进行转换。在本典型实施例中，假设要追踪的被摄体位于相对于摄像设备100大致恒定的距离的位置处，并且还是作为单一体的物体等。在步骤S603之后，处理进入步骤S604。
在步骤S604中，似然分布生成电路204判断属于除无值类以外的类别的与无值类中的像素最接近的像素的类别。如果最接近的像素的类别是负类，则似然分布生成电路204将无值类中的像素的类别转换为负类。在步骤S604之后，处理进入步骤S605。
在步骤S605中，似然分布生成电路204判断属于除无值类以外的类别的与无值类中的像素最接近的像素的类别。如果最接近的像素的类别是正类或未知类，则似然分布生成电路204将无值类中的像素的类别转换为未知类。在步骤S605中的处理之后，似然分布生成电路204结束图6的流程图所示的处理。
如上所述，在本典型实施例中，将被摄体似然分布中的各像素分类为以下至少三种类别中的任意类型：正类、负类和未知类。图7B示出被摄体似然分布的类别以及各类别的定义。如图7B所示，正类是表示要追踪的被摄体区域的概率高的类别。负类是表示要追踪的被摄体区域的概率低的类别。未知类是表示要追踪的被摄体区域的概率不能确定的类别。
<被摄体追踪的效果>
将与似然分布生成电路204以上述方式生成的被摄体似然分布有关的信息发送至特征提取电路202，并且特征提取电路202使用该信息来估计被摄体区域。更具体地，如上所述，特征提取电路202使表示基于颜色信息的直方图、区域有多大可能是被摄体区域的概率和表示基于距离信息区域、区域有多大可能是被摄体区域的概率(即，被摄体似然分布所表示的概率)相乘。作为相乘的结果，生成表示是特定被摄体区域的概率的被摄体图。
例如，如果仅基于颜色信息来估计被摄体区域、并且在该被摄体区域中存在不同颜色的小区域，则这些小区域可能被错误地判断为不是被摄体区域。在本典型实施例的情况下，使用被摄体似然分布中的正类(表示是被摄体的概率高的类别)来估计被摄体区域，这样可以防止不同颜色的小区域被错误地判断为不是被摄体区域。
例如，如果仅基于颜色信息来估计被摄体区域、并且在被摄体区域周围存在颜色与该被摄体区域的颜色类似的区域，则被摄体区域周围的区域可能被错误地判断为包含在该被摄体区域中。在本典型实施例的情况下，使用被摄体似然分布中的负类(表示是被摄体的概率低的类别)来估计被摄体区域，这样可以防止被摄体区域周围的类似颜色的区域包含在该被摄体区域中这样的错误判断。
例如，在仅基于距离信息来估计被摄体区域的情况下，尽管区域的距离与要追踪的被摄体区域相同，但是关于该区域是否是追踪对象中未知的，并且该区域可能被错误地判断为是要追踪的被摄体区域。在本典型实施例的情况下，针对被摄体似然分布中属于未知类(表示是被摄体的概率不能确定的类别)的区域，关于该区域是否是追踪对象是未知的，可以通过参考颜色信息来判断该区域是否是要追踪的被摄体区域。然而，在这种情况下，对于该区域是否是要追踪的被摄体区域的判断精度低。
<摄像设备的处理流程>
图8是示出根据本典型实施例的摄像设备100所进行的用于在拍摄图像时如上述示例那样追踪被摄体的整个处理的流程。
在图8的流程图所示的步骤S801中，CPU 151判断摄像设备100的状态。更具体地，如果CPU 151在步骤S801中判断为摄像设备100的操作开关156的摄像开关处于接通状态(在步骤S801中为“是”)，则处理进入步骤S802。如果CPU 151在步骤S801中判断为摄像开关处于断开状态(在步骤S801中为“否”)，则CPU 151结束图8的流程图所示的处理。
在步骤S802中，CPU 151控制摄像设备100的单元以使这些单元进行摄像所需的处理步骤。在步骤S802之后，处理进入步骤S803。
在步骤S803中，CPU 151控制被摄体追踪电路161以使该被摄体追踪电路161进行参考上述附图(图3至7A和7B等)所描述的根据本典型实施例的用于追踪被摄体的处理。在步骤S803之后，处理进入步骤S804。
在步骤S804中，CPU 151控制调焦控制电路133以使该调焦控制电路133对与被摄体追踪电路161正在追踪的被摄体区域相对应的被摄体进行焦点检测处理。换句话说，此时，调焦控制电路133根据A图像和B图像的视差图像、针对要追踪的被摄体来计算聚焦方向上的偏移量(散焦量)。在步骤S804之后，处理进入步骤S805。
在步骤S805中，调焦控制电路133通过基于步骤S804中所获取到的偏移量驱动镜头单元101的调焦透镜131，来进行在要追踪的被摄体上聚焦的AF控制。在步骤S805之后，处理返回至步骤S801。在步骤S801中，如果摄像开关处于接通状态(在步骤S801中为“是”)，则摄像设备100继续进行步骤S802至S805中的处理。
如上所述，根据本典型实施例的摄像设备100基于距离信息以及与被摄体追踪位置有关的信息、根据距离分布来生成对被摄体追踪有效的被摄体似然分布，并基于被摄体似然分布来追踪被摄体区域。作为结果，根据本典型实施例，可以高精度地追踪特定被摄体区域。
<其它典型实施例>
在上述典型实施例中，提供了摄像设备100配备有被摄体追踪功能的示例，但是进行根据本典型实施例的被摄体追踪处理的设备不限于摄像设备。可以配备被摄体追踪功能的设备的示例包括用于根据从外部设备提供的或者从记录介质等读出的图像数据来生成显示图像、并在画面上显示所生成的图像的显示设备。在这种情况下，输入到显示设备的图像数据用作上述的A+B图像的图像数据以及包括A图像和B图像的视差图像数据。在该示例中，安装在显示设备上的诸如微控制器等的控制电路基于与被摄体追踪处理中所提取出的被摄体区域有关的信息(例如，图像中的被摄体区域的位置和大小)，来控制用于显示图像的显示条件。更具体地，在将表示被摄体的诸如框图像等的图像例如在叠加于图像中的被摄体区域的位置处的情况下显示该图像。
此外，显示设备可以使用距离信息来提取特征量，并且可以在使用距离信息提取特征量之前和之后改变以叠加方式显示表示被摄体的信息时的显示条件。例如，在使用距离信息提取特征量之前，估计被摄体的区域的精度低，而在使用距离信息提取特征量之后，估计被摄体的区域的精度有所提高。由于该原因，显示设备在使用距离信息提取特征量之前可以进行以叠加方式显示预定的固定框的显示控制，而在使用距离信息提取特征量之后动态地改变该框相对于通过被摄体追踪所检测到的被摄体区域的位置和/或大小。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然已经参考典型实施例描述了本发明，但应当理解，本发明不限于所公开的典型实施例。以下权利要求书的范围应被给予最广泛的理解，以便包含所有这样的修改以及等同结构和功能。

Claims (10)

1.一种图像处理设备，包括：
获取部件，用于获取表示第一图像数据中的各区域的距离的距离信息；
生成部件，用于基于表示所述第一图像数据中被指定为被摄体的位置的信息、所述距离信息、以及所述距离信息的可靠性，来生成所述第一图像数据中的所述被摄体的似然分布；以及
计算部件，用于基于所述似然分布来计算要用于从第二图像数据检测所述被摄体的特征量。
2.根据权利要求1所述的图像处理设备，其中，所述计算部件提取所述第一图像数据中的各区域的特征量，并基于各区域的特征量和所述似然分布来确定要用于检测所述被摄体的特征量。
3.根据权利要求1所述的图像处理设备，其中，所述计算部件针对各区域设置与所述似然分布相对应的系数，并使用各区域的特征量的评价值和所述系数来确定要用于检测所述被摄体的特征量。
4.根据权利要求3所述的图像处理设备，其中，所述似然分布包含存在所述被摄体的可能性高的第一区域、存在所述被摄体的可能性低的第二区域、以及既不是所述第一区域也不是所述第二区域的第三区域。
5.根据权利要求1所述的图像处理设备，其中，所述获取部件根据与所述第一图像数据相对应的具有视差的多个图像数据来计算各区域的散焦量，并且从各区域的散焦量获取所述距离信息。
6.根据权利要求5所述的图像处理设备，其中，所述获取部件根据具有视差的所述多个图像数据，生成表示与各区域有关的距离信息的可靠性的信息。
7.根据权利要求3所述的图像处理设备，其中，
所述似然分布包含至少第一区域和第二区域，以及
所述第一区域包括：
包含被指定为所述被摄体的位置的区域；
所述距离信息的可靠性等于或高于可靠性阈值、并且与包含被指定为所述被摄体的位置的区域的距离信息的差等于或小于距离阈值的区域，其中该区域连接至包含被指定为所述被摄体的位置的区域；以及
所述距离信息的可靠性低于所述可靠性阈值的区域，其中该区域连接至包含被指定为所述被摄体的位置的区域。
8.一种摄像设备，包括：
图像传感器，用于生成图像数据；
获取部件，用于获取表示第一图像数据中的各区域的距离的距离信息；
生成部件，用于基于表示所述第一图像数据中被指定为被摄体的位置的信息、所述距离信息、以及所述距离信息的可靠性，来生成所述第一图像数据中的所述被摄体的似然分布；
计算部件，用于基于所述似然分布来计算要用于从第二图像数据检测所述被摄体的特征量；
检测部件，用于使用所述计算部件所计算出的特征量来从所述第二图像数据检测所述被摄体；以及
控制部件，用于根据与同所述检测部件所检测到的被摄体相对应的图像区域有关的信息，来控制所述图像传感器拍摄图像时的摄像条件。
9.一种图像处理方法，包括以下步骤：
获取表示第一图像数据中的各区域的距离的距离信息；
基于表示所述第一图像数据中被指定为被摄体的位置的信息、所述距离信息、以及所述距离信息的可靠性，来生成所述第一图像数据中的所述被摄体的似然分布；以及
基于所述似然分布来计算要用于从第二图像数据检测所述被摄体的特征量。
10.一种计算机可读非易失性存储介质，其存储用于控制图像处理设备的程序，所述程序包括用于执行以下步骤的代码：
获取表示第一图像数据中的各区域的距离的距离信息；
基于表示所述第一图像数据中被指定为被摄体的位置的信息、所述距离信息、以及所述距离信息的可靠性，来生成所述第一图像数据中的所述被摄体的似然分布；以及
基于所述似然分布来计算要用于从第二图像数据检测所述被摄体的特征量。
CN201710482073.2A 2016-06-22 2017-06-22 图像处理设备、摄像设备、图像处理方法和存储介质 Active CN107707871B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016123608A JP6800628B2 (ja) 2016-06-22 2016-06-22 追跡装置、追跡方法、及びプログラム
JP2016-123608 2016-06-22

Publications (2)

Publication Number Publication Date
CN107707871A CN107707871A (zh) 2018-02-16
CN107707871B true CN107707871B (zh) 2020-06-19

Family

ID=59349761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710482073.2A Active CN107707871B (zh) 2016-06-22 2017-06-22 图像处理设备、摄像设备、图像处理方法和存储介质

Country Status (5)

Country Link
US (1) US10306133B2 (zh)
JP (1) JP6800628B2 (zh)
CN (1) CN107707871B (zh)
DE (1) DE102017113656A1 (zh)
GB (1) GB2554111B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6702777B2 (ja) 2016-04-12 2020-06-03 キヤノン株式会社 撮像装置、撮像方法、及びプログラム
US10574938B1 (en) * 2017-06-27 2020-02-25 Facebook Technologies, Llc Variable frame rate depth camera assembly
US11023051B2 (en) * 2018-05-04 2021-06-01 Google Llc Selective detection of visual cues for automated assistants
JP7195782B2 (ja) * 2018-06-27 2022-12-26 キヤノン株式会社 情報処理装置、制御方法及びプログラム
JP2021177582A (ja) * 2018-07-31 2021-11-11 ソニーグループ株式会社 制御装置、制御方法、およびプログラム
JP7289630B2 (ja) * 2018-11-07 2023-06-12 キヤノン株式会社 画像処理装置
JP7233886B2 (ja) * 2018-11-07 2023-03-07 キヤノン株式会社 画像処理装置
CN110072064B (zh) * 2019-06-12 2020-07-03 睿魔智能科技（深圳）有限公司 一种图像拍摄方法、装置、设备以及存储介质
CN111126159A (zh) * 2019-11-28 2020-05-08 重庆中星微人工智能芯片技术有限公司 用于实时跟踪行人的方法、装置、电子设备和介质
US20210256665A1 (en) * 2020-02-18 2021-08-19 Canon Kabushiki Kaisha Generation apparatus, generation method, and storage medium
JP7113327B1 (ja) 2021-07-12 2022-08-05 パナソニックＩｐマネジメント株式会社 撮像装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1941850A (zh) * 2005-09-29 2007-04-04 中国科学院自动化研究所 多摄像机下基于主轴匹配的行人跟踪方法
CN101990065A (zh) * 2009-07-29 2011-03-23 索尼公司 图像处理装置、图像拍摄装置、图像处理方法和程序
CN102857693A (zh) * 2011-06-30 2013-01-02 佳能株式会社 图像处理设备及其控制方法和存储介质
CN103460105A (zh) * 2011-03-30 2013-12-18 富士胶片株式会社 成像装置及其自动对焦控制方法
CN103907043A (zh) * 2011-10-28 2014-07-02 富士胶片株式会社 摄像方法和图像处理方法以及这些方法的程序、记录介质、及摄像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3768073B2 (ja) 1999-06-15 2006-04-19 株式会社日立国際電気 物体追跡方法及び物体追跡装置
JP4154400B2 (ja) 2004-04-01 2008-09-24 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP5066851B2 (ja) 2006-07-05 2012-11-07 株式会社ニコン 撮像装置
JP4961234B2 (ja) * 2007-03-23 2012-06-27 株式会社日立製作所 物体追跡装置
JP2012015642A (ja) * 2010-06-29 2012-01-19 Sanyo Electric Co Ltd 撮像装置
JP6197291B2 (ja) * 2012-03-21 2017-09-20 株式会社リコー 複眼カメラ装置、及びそれを備えた車両
AU2012244276A1 (en) * 2012-10-30 2014-05-15 Canon Kabushiki Kaisha Method, apparatus and system for detecting a supporting surface region in an image
CN104424634B (zh) * 2013-08-23 2017-05-03 株式会社理光 对象跟踪方法和装置
JP2015203756A (ja) * 2014-04-14 2015-11-16 キヤノン株式会社 視差量算出装置、距離算出装置、撮像装置および視差量算出方法
US10055850B2 (en) * 2014-09-19 2018-08-21 Brain Corporation Salient features tracking apparatus and methods using visual initialization

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1941850A (zh) * 2005-09-29 2007-04-04 中国科学院自动化研究所 多摄像机下基于主轴匹配的行人跟踪方法
CN101990065A (zh) * 2009-07-29 2011-03-23 索尼公司 图像处理装置、图像拍摄装置、图像处理方法和程序
CN103460105A (zh) * 2011-03-30 2013-12-18 富士胶片株式会社 成像装置及其自动对焦控制方法
CN102857693A (zh) * 2011-06-30 2013-01-02 佳能株式会社 图像处理设备及其控制方法和存储介质
CN103907043A (zh) * 2011-10-28 2014-07-02 富士胶片株式会社 摄像方法和图像处理方法以及这些方法的程序、记录介质、及摄像装置

Also Published As

Publication number Publication date
GB2554111A (en) 2018-03-28
JP2017228082A (ja) 2017-12-28
JP6800628B2 (ja) 2020-12-16
DE102017113656A1 (de) 2017-12-28
GB2554111B (en) 2021-02-24
CN107707871A (zh) 2018-02-16
GB201708921D0 (en) 2017-07-19
US20170374272A1 (en) 2017-12-28
US10306133B2 (en) 2019-05-28

Similar Documents

Publication Publication Date Title
CN107707871B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
US8509482B2 (en) Subject tracking apparatus, subject region extraction apparatus, and control methods therefor
US10956715B2 (en) Decreasing lighting-induced false facial recognition
US8254630B2 (en) Subject extracting method and device by eliminating a background region using binary masks
US9258481B2 (en) Object area tracking apparatus, control method, and program of the same
WO2009098894A1 (ja) 電子カメラおよび画像処理方法
US10013632B2 (en) Object tracking apparatus, control method therefor and storage medium
EP2757771B1 (en) Image pickup apparatus, remote control apparatus, and methods of controlling image pickup apparatus and remote control apparatus
JP7223079B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
JP2007067559A (ja) 画像処理方法、画像処理装置、及び撮像装置の制御方法
US20210256713A1 (en) Image processing apparatus and image processing method
JP5539565B2 (ja) 撮像装置及び被写体追跡方法
JP2007251532A (ja) 撮像装置及び顔領域抽出方法
JP6099973B2 (ja) 被写体領域追跡装置、その制御方法及びプログラム
JP6555940B2 (ja) 被写体追跡装置、撮像装置、及び被写体追跡装置の制御方法
US10565712B2 (en) Image processing apparatus and method for controlling the same
JP5247419B2 (ja) 撮像装置および被写体追跡方法
US12008773B2 (en) Object tracking apparatus and control method thereof using weight map based on motion vectors
JP7458723B2 (ja) 画像処理装置、撮像装置、制御方法、およびプログラム
US20220198683A1 (en) Object tracking apparatus and control method thereof using weight map based on motion vectors
US20220309706A1 (en) Image processing apparatus that tracks object and image processing method
US20220270264A1 (en) Image processing device, control method thereof, imaging device, and recording medium
CN117714862A (zh) 对焦方法、电子设备、芯片系统、存储介质及程序产品
JP2016201637A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant