CN102196170A - 图像处理装置和方法及其程序 - Google Patents

图像处理装置和方法及其程序 Download PDF

Info

Publication number
CN102196170A
CN102196170A CN2011100293583A CN201110029358A CN102196170A CN 102196170 A CN102196170 A CN 102196170A CN 2011100293583 A CN2011100293583 A CN 2011100293583A CN 201110029358 A CN201110029358 A CN 201110029358A CN 102196170 A CN102196170 A CN 102196170A
Authority
CN
China
Prior art keywords
subject
zone
characteristic
input picture
band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011100293583A
Other languages
English (en)
Inventor
木下雅也
米田丰
龟谷敬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102196170A publication Critical patent/CN102196170A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理装置和方法及其程序。提供了一种图像处理装置，该图像处理装置指定包括多个连续帧的每个输入图像上的特定被摄体的区域。该图像处理装置包括：被摄体图产生构件，从与所述输入图像的各个像素的特征对应且表示所述输入图像的各个区域中的特征量的特征图，针对每个像素选择任何特征图的一个特征量，以由此产生表示所述输入图像的各个区域与所述被摄体的相似性的被摄体图；以及被摄体区域指定构件，基于所述被摄体图来指定作为在所述被摄体图中与所述被摄体最相似的区域的被摄体区域，以由此指定包括所述输入图像上的所述被摄体的区域。

Description

图像处理装置和方法及其程序
技术领域
本发明涉及图像处理装置和方法，以及用于图像处理装置和方法的程序，具体地涉及能够更稳定地追踪被摄体(subject)的图像处理装置、方法和程序。
背景技术
在现有技术中，存在这样的图像拍摄装置：当连续拍摄多幅图像时，例如当在快门操作之前拍摄要向用户显示的所谓预览图像时，该图像拍摄装置具有在拍摄图像上追踪用户选择的被摄体的功能。在这样的图像拍摄装置中，一些装置具有根据追踪被摄体的位置针对图像拍摄光学地调节参数(例如焦点位置和亮度)的功能。
作为追踪被摄体的方法，例如存在这样的方法：在输入图像的指定帧中从用户最初选择的被摄体的一部分区域中提取特征量(例如亮度信息和颜色信息)，并在该指定帧的后续帧中搜寻特征量与提取的特征量匹配的区域(例如，参见日本未审查专利申请公布No.2006-72332)。也就是，在该方法中，在后续帧的输入图像中，从与最初选择为被摄体的区域位置相同的区域附近搜寻特征量与被摄体的区域的特征量匹配的区域，并且可以通过搜寻结果而获得的区域被当作后续帧的被摄体的区域。
发明内容
然而，在上述方法中，基于从用户最初选择的被摄体的一部分的区域提取的特征量来追踪被摄体。因此，仅识别整个被摄体中任意位置处的坐标或者一部分的区域，因此难以稳定地对整个被摄体进行追踪。
此外，在拍摄被摄体的图像时，有时在输入图像上可能存在被摄体状态的变化，被摄体状态例如为用于照射被摄体的光(例如，色温和照射强度)、被摄体的姿势或者被摄体的尺寸(图像拍摄装置与被摄体之间的距离)。在此情形下，当在用户选择的被摄体中可从部分区域获得的用于追踪的特征量变化时，难以在输入图像上指定被摄体的区域。因此，追踪被摄体很可能失败。
例如，当从被用户选择为特征量的被摄体的一部分的区域提取颜色信息时，具有颜色信息的区域作为被摄体被追踪。然而，当追踪所采用的区域由于例如被摄体的旋转而被隐藏时，在输入图像上将不存在具有该颜色信息的区域，因此难以追踪被摄体。这样的追踪失败甚至可能发生在难以获得作为特征量的亮度信息和颜色信息的低照射强度的情形下。
本发明的实施例就是在考虑到上述状况的情形下做出的，并且致力于更稳定地追踪被摄体。
根据本发明的第一实施例，提供了一种图像处理装置，该图像处理装置指定包括多个连续帧的每个输入图像上的特定被摄体的区域。该图像处理装置包括：被摄体图产生部分，从与所述输入图像的各个像素的特征对应且表示所述输入图像的各个区域中的特征量的特征图，针对每个像素选择任何特征图的一个特征量，以由此产生表示所述输入图像的各个区域与所述被摄体的相似性的被摄体图；以及被摄体区域指定部分，基于所述被摄体图来指定作为在所述被摄体图中与所述被摄体最相似的区域的被摄体区域，以由此指定包括所述输入图像上的所述被摄体的区域。
在该图像处理装置中，优选还提供可靠性计算部分，基于处理对象帧的所述特征图上的、包括与所述处理对象帧的前一帧的被摄体区域对应的对应区域的附近区域中的所述特征量的分散程度，该可靠性计算部分计算作为表示所述特征图上的所述对应区域包括所述被摄体的指标的可靠性。此外，还优选基于各个特征图的可靠性，所述被摄体图产生部分通过针对每个像素选择任何特征图的一个特征量而产生所述被摄体图。
在该图像处理装置中，优选还提供：参考图保持部分，将与所述特征图中的被摄体区域相同位置处的区域保持为参考图；以及匹配处理部分，在所述处理对象帧的特征图上搜寻与所述前一帧的参考图最高度相关的最相似区域。此外，优选基于所述处理对象帧的所述特征图上的、包括所述最相似区域的附近区域中的所述特征量的分散程度，可靠性计算部分计算作为表示所述特征图上的所述最相似区域包括所述被摄体的指标的可靠性。
优选通过针对每个像素选择所述可靠性大于预定阈值的任何特征图的一个特征量，所述被摄体图产生部分产生所述被摄体图。
优选所述被摄体图产生部分包括：特征图产生部分，从所述输入图像提取所述特征量，以由此在所述输入图像的各个区域中产生所述特征图；带域特征图产生部分，针对多个带域的每个，从所述特征图提取带域分量，以由此产生带域特征图，所述带域特征图表示所述带域分量的特征图；带域特征图合成部分，针对每个特征量合成所述带域特征图，以由此产生合成特征图；以及合成特征图合成部分，合成所述合成特征图以由此产生作为另一种特征图的所述被摄体图。此外，还优选基于所述处理对象帧的所述合成特征图上的、与所述前一帧的被摄体区域对应的附近区域中的合成特征量的分散程度，所述可靠性计算部分计算所述合成特征图的可靠性。此外，还优选基于各个合成特征图的可靠性，通过针对每个像素选择任何合成特征图的一个合成特征量并通过针对所有像素合成所述合成特征量，所述合成特征图合成部分产生所述被摄体图。
优选基于所述处理对象帧的所述带域特征图上的、与所述前一帧的被摄体区域对应的附近区域中的带域特征量的分散程度，所述可靠性计算部分计算所述带域特征图的可靠性。此外，还优选基于各个带域特征图的可靠性，通过针对每个像素选择任何带域特征图的一个带域特征量并通过针对所有像素合成所述带域特征量，所述带域特征图合成部分产生所述合成特征图。
还优选所述被摄体图产生部分通过针对每个像素选择所述特征图中的最大特征量而产生所述被摄体图。
根据本发明的第二实施例，提供了一种图像处理装置的图像处理方法，该图像处理装置指定包括多个连续帧的每个输入图像上的特定被摄体的区域。该图像处理方法包括：被摄体图产生步骤，通过被摄体图产生部分，通过从与所述输入图像的各个像素的特征对应且表示所述输入图像的各个区域中的特征量的特征图，针对每个像素选择任何特征图的一个特征量，产生表示所述输入图像的各个区域与所述被摄体的相似性的被摄体图；以及被摄体区域指定步骤，通过基于所述被摄体图来指定作为在所述被摄体图中与所述被摄体最相似的区域的被摄体区域，基于被摄体图在输入图像上确定包括被摄体的区域。
根据本发明的第三实施例，提供了一种图像处理程序，该图像处理程序指定包括多个连续帧的每个输入图像上的特定被摄体的区域。该图像处理程序使计算机执行包括如下步骤的处理：被摄体图产生步骤，通过被摄体图产生部分，通过从与所述输入图像的各个像素的特征对应且表示所述输入图像的各个区域中的特征量的特征图，针对每个像素选择任何特征图的一个特征量，产生表示所述输入图像的各个区域与所述被摄体的相似性的被摄体图；以及被摄体区域指定步骤，通过被摄体区域指定部分，通过基于所述被摄体图来指定作为在所述被摄体图中与所述被摄体最相似的区域的被摄体区域，指定包括所述输入图像上的所述被摄体的区域。
在本发明的第一实施例中，从与所述输入图像的各个像素的特征对应且表示所述输入图像的各个区域中的特征量的特征图，针对每个像素选择任何特征图的一个特征量，以由此产生表示输入图像的各个区域与被摄体的相似性的被摄体图。此外，基于被摄体图，指定在被摄体图中作为与被摄体最相似的区域的被摄体区域，以由此指定包括输入图像上的被摄体的区域。
在本发明的第一实施例中，可以更稳定地追踪被摄体。
附图说明
图1是图解根据本发明实施例的图像处理装置的示例性构造的框图；
图2是图解被摄体追踪部分的示例性构造的框图；
图3是图解被摄体图产生部分的示例性构造的框图；
图4是图解带域特征图合成部分的示例性构造的框图；
图5是图解合成特征图合成部分的示例性构造的框图；
图6是图解被摄体候补区域矩形化部分的示例性构造的框图；
图7是图解被摄体区域选择部分的示例性构造的框图；
图8是图解可靠性指标计算部分的示例性构造的框图；
图9是图解被摄体追踪处理的流程图；
图10是图解被摄体图产生处理的流程图；
图11是图解被摄体图产生处理的具体示例的示意图；
图12是图解参考图的示意图；
图13是图解匹配处理的示意图；
图14是图解匹配处理结果的示例的示意图；
图15是图解可靠性指标计算处理的流程图；
图16是图解匹配处理结果的另一示例的示意图；
图17是图解带域特征图合成处理的示意图；
图18是图解带域特征图合成处理的具体示例的示意图；
图19是图解合成特征图合成处理的流程图；
图20是图解合成特征图合成处理的具体示例的示意图；
图21是图解被摄体候补区域矩形化处理的流程图；
图22是图解被摄体候补区域矩形化处理的具体示例的示意图；
图23是图解被摄体区域选择处理的流程图；以及
图24是图解计算机硬件的示例性构造的框图。
具体实施方式
下面，将参考附图描述本发明的实施例。
图像处理装置的示例性构造
图1是图解根据本发明实施例的图像处理装置的示例性构造的框图。
图像处理装置11设置在用于拍摄运动被摄体的图像的图像拍摄装置(诸如数字视频照相机或数字静态照相机)中。
图像处理装置11包括光学系统31、成像器32、数字信号处理单元33、控制单元34、镜头驱动单元35、接口控制单元36和用户接口37。
光学系统31形成为包括图中未示出的成像镜头的光学系统。入射到光学系统31中的光入射到包括成像元件例如CCD(电荷耦合装置)的成像器32中。成像器32通过对从光学系统31入射的光进行光电转换来拍摄被摄体图像。成像器32通过图中未示出的A/D(模拟到数字)转换部分将可通过图像拍摄获取的电信号(模拟信号)转换成数字信号的图像数据，并且将图像数据供应到数字信号处理单元33。
数字信号处理单元33对从成像器32供应的图像数据进行指定的信号处理，并将图像数据输出到图中未示出的编码处理部分、存储器、控制单元34等。数字信号处理单元33包括预处理部分51、去马赛克处理部分52、YC产生部分53、分辨率转换部分53和被摄体追踪部分55。
预处理部分51对从成像器32供应的图像数据进行预处理，预处理诸如为以预定电平对R、G和B的黑电平(black level)进行箝位的箝位处理以及在R、G和B的颜色通道之间进行的校正处理。去马赛克处理部分52对预处理部分51预处理的图像数据进行补充像素的颜色分量以使得图像数据的每个像素都具有R、G和B全部颜色分量的去马赛克处理。
YC产生部分53从经受了去马赛克处理部分52的去马赛克处理的R、G和B的图像数据产生(分离)亮度(Y)信号和颜色(C)信号。分辨率转换部分54对YC产生部分53处理的图像数据进行分辨率转换处理，并将图像数据供应到控制单元34或者图中未示出的编码处理部分。
基于由YC产生部分53产生的亮度信号和颜色信号形成的图像数据，被摄体追踪部分55从基于图像数据而显示的输入图像检测被摄体，并进行追踪被摄体的被摄体追踪处理。
被摄体追踪部分55将能够从被摄体追踪处理结果获得的、针对指示输入图像中包括被摄体的区域的被摄体范围的信息供应到控制单元34。
控制单元34响应于从接口控制单元36供应的控制信号来控制图像处理装置11的各个单元。
例如，控制单元34将各种信号处理所采用的参数供应到数字信号处理单元33，获取能够从数字信号处理单元33的各种信号处理结果获得的数据(包括图像数据)，并将数据供应到接口控制单元36。
此外，控制单元34将用于驱动构成光学系统31的成像透镜或者调节光圈的控制信号供应到镜头驱动单元35。此外，控制单元34控制成像器32以使成像器32拍摄输入图像。
用户接口37包括输入装置和输出装置，输入装置诸如为用户向图像处理装置11输入指令时操作的按钮或开关，输出装置诸如为向用户提供(显示)信息的LCD(液晶显示器)或者麦克风。
例如，当操作作为用户接口37的按钮时，用户接口37通过接口控制单元36将与操作对应的控制信号供应到控制单元34。此外，用户接口37在作为用户接口37的LCD上显示与通过接口控制单元36从控制单元34供应的控制信号(数据)对应的信息。例如，LCD显示输入图像并且显示当输入图像上的被摄体被设定为处理对象时作为被摄体追踪处理结果的被摄体范围。
被摄体追踪部分的示例性构造
接着，将参考图2描述图1中示出的被摄体追踪部分55的示例性构造。
图2中的被摄体追踪部分55包括被摄体图产生部分71、被摄体候补区域矩形化部分72、被摄体区域选择部分73、参考图保持部分74、匹配处理部分75、和可靠性指标计算部分76。
由图1的成像器32依时间顺序依次拍摄并由预处理部分51至YC产生部分53处理的多幅输入图像被依次供应到被摄体图产生部分71。
被摄体图产生部分71针对每个预定特征(例如，输入图像的各像素的亮度或颜色)产生特征图并将特征图供应到参考图保持部分74和匹配处理部分75，该特征图表示输入图像的各个区域中的特征的特征量。此外，基于产生的特征图和从可靠性指标计算部分76供应的可靠性指标，被摄体图产生部分71产生被摄体图，该被摄体图表示在输入图像的各个区域中被摄体的相似性。
具体地，被摄体图产生部分71从针对每个特征产生的特征图提取带域分量(band component)以针对彼此不同的多个带域(空间频带)产生带域特征图，并将带域特征图供应到参考图保持部分74和匹配处理计算部分75。
每个带域特征图是表示在输入图像的各个区域中的特征的特征量的特定带域分量的特征图。换言之，带域特征图表示包括在输入图像的特定带域分量中的特征的特征量。
此外，基于从可靠性指标计算部分76供应的可靠性指标，被摄体图产生部分71从每个特征的各个带域的产生的带域特征图来针对与输入图像的每个像素对应的位置选择各个带域的任何带域特征图中的一个特征量。
下面，在特征图(包括带域特征图和要在后面描述的合成特征图)和被摄体图中，将与输入图像的像素对应的区域(位置)简单地称为像素。
被摄体图产生部分71针对每个特征量在全部像素上进行特征量的合成，其中针对每个像素从每个带域的带域特征图选择每个特征量。由此，被摄体图产生部分71产生合成特征图，并将合成特征图供应到参考图保持部分74和匹配处理部分75。
每个合成特征图是表示被摄体相似性的特征图，其在输入图像的各个区域处从每个特征的特征量获得。此外，这里描述的被摄体定义为被推定为当用户观看输入图像时用户感兴趣的被摄体。因此，被摄体不局限于人。
此外，基于从可靠性指标计算部分76供应的可靠性指标，被摄体图产生部分71从每个特征的合成特征图针对每个像素选择任何合成特征图中的一个合成特征量。然后，被摄体图产生部分71针对所有像素合成选择的合成特征量，由此产生被摄体图。被摄体图产生部分71将产生的被摄体图供应到被摄体候补区域矩形化部分72。如上所述可以获得的被摄体图的各个区域(像素)的信息(值)表示在输入图像的各个区域处与被摄体的相似性。
从可靠性指标计算部分76供应的可靠性指标将在后面描述。
被摄体候补区域矩形化部分72在被摄体图产生部分71产生的被摄体图中找到作为被摄体的候补的区域，即，包括与被摄体相似的区域的矩形区域(下面称作被摄体候补区域)，并产生表示矩形区域的位置的坐标信息。
此外，基于被摄体图，被摄体候补区域矩形化部分72产生区域信息，该区域信息表示属于被摄体候补区域的特定特征的特征量。然后，被摄体候补区域矩形化部分72将被摄体候补区域的坐标信息和区域信息供应到被摄体区域选择部分73。
基于被摄体候补区域矩形化部分72供应的坐标信息和区域信息，被摄体区域选择部分73选择被摄体候补区域之一作为包括被摄体的追踪对象区域(下面称作被摄体区域)。被摄体区域选择部分73将表示被摄体区域的位置的坐标信息供应到控制单元34和参考图保持部分74。
由被摄体区域选择部分73输出的坐标信息表示的被摄体区域是与被摄体图中的追踪对象被摄体最相似的区域。具体地，在被摄体追踪部分55中，被推定为用户聚焦于其上且与被摄体图上的被摄体相似的选择区域被当作用户指定的追踪对象的被摄体区域的候补(被摄体候补区域)。此外，与追踪对象被摄体最相似的区域被从被摄体候补区域内选择为被摄体区域，并且与被摄体图上的被摄体区域相同位置处的输入图像的区域被确定为包括追踪对象被摄体的区域。
应当注意，在下面，输入图像上与被摄体图上的被摄体区域相同位置处的区域被简单地称作被摄体区域。此外，追踪对象被摄体并不局限于用户指定的对象。然而，例如，在第一帧的被摄体候补区域中，最大面积的区域，也就是，在被摄体相似性评估方面最高的区域被当作被摄体区域，并且包括在被摄体区域中的被摄体可以被当作追踪被摄体。
参考图保持部分74包括存储器81，基于被摄体图产生部分71供应的带域特征图和合成特征图以及从被摄体区域选择部分73供应的坐标信息产生参考图，并将参考图存储在存储器81中。
具体地，参考图保持部分74在每个带域特征图中切出与被摄体区域相同位置处的区域，并将切出的区域设定为带域特征图的参考图。相似地，参考图保持部分74在每个合成特征图中切出与被摄体区域相同位置处的区域，并将切出的区域设定为合成特征图的参考图。
下面，带域特征图的参考图和合成特征图的参考图分别称为带域参考图和合成参考图。
基于存储在存储器81中的参考图，匹配处理部分75进行匹配处理，并从被摄体图产生部分71供应的带域特征图和合成特征图搜寻与参考图最高度相关(最相似)的区域。
也就是，在作为处理对象的当前帧的带域特征图上，搜寻与当前帧的前一帧的带域参考图最相似的区域。此外，在当前帧的合成特征图中，搜寻与先前帧的合成参考图最相似的区域。
下面，在当前帧的带域特征图和合成特征图中，分别与先前帧的带域参考图和合成参考图最相似的区域被称作最相似区域。
匹配处理部分75将针对带域特征图和合成特征图进行的匹配处理的结果供应到可靠性指标计算部分76。
基于从匹配处理部分75获得的匹配处理结果，可靠性指标计算部分76计算当前帧的带域特征图和合成特征图上的、在包括最相似区域的附近区域中的特征量的分散程度。
基于当前帧的带域特征图上的、在包括最相似区域的附近区域中的特征量的分散程度，可靠性指标计算部分76计算可靠性指标，并将该可靠性指标供应到被摄体图产生部分71，该可靠性指标是表示当前帧的带域特征图上的最相似区域包括被摄体的指标。
此外，基于当前帧的合成特征图上的、在包括最相似区域的附近区域中的特征量的分散程度，可靠性指标计算部分76计算作为表示当前帧的合成特征图上的最相似区域包括被摄体的指标的可靠性指标，并将该可靠性指标供应到被摄体图产生部分71。
下面，随意地，当前帧的带域特征图的每个可靠性指标被称作带域可靠性指标，并且合成特征图的每个可靠性指标被称作合成可靠性指标。
被摄体图产生部分的示例性构造
接着，将参考图3详细地描述图2的被摄体图产生部分71的示例性构造。
被摄体图产生部分71包括特征图产生部分111、带域特征图产生部分112、带域特征图合成部分113、和合成特征图合成部分114。
特征图产生部分111从输入图像的各个区域提取例如亮度和颜色的特征的特征量以产生表示提取的特征量的特征图，并将特征图供应到带域特征图产生部分112。
带域特征图产生部分112提取从特征图产生部分111获得的每个特征图的特定带域分量以产生带域特征图，并将带域特征图供应到带域特征图合成部分113、参考图保持部分74、以及匹配处理部分75。在每个特征中，针对每个带域产生带域特征图。
基于从可靠性指标计算部分76供应的带域可靠性指标，带域特征图合成部分113从与带域特征图产生部分112供应的每个特征量对应的带域特征图针对每个像素选择任何带域特征图中的一个特征量。带域特征图合成部分113通过针对所有像素合成针对每个像素选择的特征量而产生合成特征图(选择的特征量被用作各个像素的特征量)。因此，具有相同特征的带域特征图基于带域可靠性指标而被合成，并被形成为针对每个特征的合成特征图。
带域特征图合成部分113将分别针对每个特征而产生的合成特征图供应到合成特征图合成部分114、参考图保持部分74和匹配处理部分75。
基于从可靠性指标计算部分76供应的合成可靠性指标，合成特征图合成部分114从带域特征图合成部分113供应的合成特征图针对每个像素选择任何合成特征图中的一个特征量。合成特征图合成部分114通过针对所有像素合成分别针对每个像素选择的特征量而产生被摄体图(选择的特征量用作各个像素的特征量)。因此，合成特征图合成部分114将产生的被摄体图供应到被摄体候补区域矩形化部分72。
这里，图2的带域特征图合成部分113和合成特征图合成部分114的详细构造将参考图4和图5进行描述。
带域特征图合成部分的示例性构造
更具体地，图2的带域特征图合成部分113构造为如图4所示。
也就是，带域特征图合成部分113包括候补图确定部分121、图间最大值选择部分122、以及合成特征图产生部分123。
基于从可靠性指标计算部分76供应的带域可靠性指标，候补图确定部分121从带域特征图产生部分112供应的各特征量的带域特征图确定候补图作为被合成特征图合成的候补。候补图确定部分121将确定的候补图(下面称作带域候补图)供应到图间最大值选择部分122。
图间最大值选择部分122从候补图确定部分121供应的带域候补图针对每个像素选择带域候补图中的最大的特征量，并对所有像素进行该选择。
合成特征图产生部分123通过针对所有像素合成由图间最大值选择部分122分别针对每个像素在带域候补图中选择的最大特征量而产生合成特征图(最大特征量用作各个像素的特征量)。然后，合成特征图产生部分123将合成特征图供应到合成特征图合成部分114、参考图保持部分74和匹配处理部分75。
合成特征图合成部分的示例性构造
更具体地，图2的合成特征图合成部分114构造为如图5所示。
也就是，合成特征图合成部分114包括候补图确定部分124、图间最大值选择部分125和被摄体图产生部分126。
基于从可靠性指标计算部分76供应的合成可靠性指标，候补图确定部分124从带域特征图合成部分113供应的合成特征图确定候补图作为被摄体图合成的候补。候补图确定部分124将确定的候补图(下面称作合成候补图)供应到图间最大值选择部分125。
图间最大值选择部分125从候补图确定部分124供应的合成候补图针对每个像素选择合成候补图中的最大的特征量，并对所有像素进行该选择。
被摄体图产生部分126通过针对所有像素合成由图间最大值选择部分125针对每个像素在合成候补图中选择的最大特征量而产生被摄体图(最大特征量用作各个像素的特征量)。然后，被摄体图产生部分126将被摄体图供应到被摄体候补区域矩形化部分72。
被摄体候补区域矩形化部分的示例性构造
接着，将参考图6详细地描述图2的被摄体候补区域矩形化部分72的示例性构造。
被摄体候补区域矩形化部分72包括二值化处理部分131、标签处理部分132、矩形区域坐标计算部分133、和区域信息计算部分134。
基于从被摄体图产生部分71的合成特征图合成部分114供应的被摄体图中的预定阈值，二值化处理部分131将与输入图像的每个像素对应的信息二值化为0或1。然后，二值化处理部分131将二值化的信息供应到标签处理部分132。
下面，与被摄体图、特征图、带域特征图及合成特征图中的每个的每个区域(像素)对应的信息(值)被简单地称作像素值。
例如，被摄体图的每个像素的像素值表示输入图像的在被摄体图的像素的相同位置处的每个像素(区域)的被摄体相似性。具体地，在二值化的被摄体图中，具有像素值“1”的像素是与被摄体相似的区域，具有像素值“0”的像素是不为被摄体的区域(例如，背景区域)。因此，二值化被摄体图表示输入图像中与被摄体相似的区域。
标签处理部分132将从二值化处理部分131供应的二值化被摄体图中彼此相邻且由具有像素值“1”的像素形成的区域设定为连接区域，并将各个连接区域标签化。每个连接区域是作为被摄体区域的候补的区域。例如，在标签化的过程中，给连接区域分配编号以便指定连接区域。标签处理部分132将标签化的被摄体图供应到矩形区域坐标计算部分133。
矩形区域坐标计算部分133将标签处理部分132供应的被摄体图中的包括(围绕)每个连接区域的矩形区域设定为被摄体候补区域。然后，矩形区域坐标计算部分133将表示各个被摄体候补区域的位置的坐标信息供应到区域信息计算部分134。
基于从矩形区域坐标计算部分133供应的坐标信息和从合成特征图合成部分114供应的被摄体图，区域信息计算部分134针对每个被摄体候补区域产生区域信息。然后，区域信息计算部分134将各个被摄体候补区域的坐标信息和区域信息供应到被摄体区域选择部分73。
被摄体区域选择部分的示例性构造
接着，将参考图7详细地描述图2的被摄体区域选择部分73的示例性构造。
被摄体区域选择部分73包括区域信息比较部分151、被摄体区域确定部分152和区域信息存储部分153。
区域信息比较部分151将在作为处理对象的当前帧处的从区域信息计算部分134供应的各个被摄体候补区域的区域信息与在当前帧的前一帧处的存储在区域信息存储部分153中的被摄体区域的区域信息进行比较。此外，区域信息比较部分151将对在各个被摄体候补区域上的区域信息的比较结果以及从区域信息计算部分134供应的坐标信息供应到被摄体区域确定部分152。
基于从区域信息比较部分151供应的比较结果，被摄体区域确定部分152将当前帧的被摄体候补区域中具有与前一帧的被摄体区域的区域信息最接近的区域信息的被摄体候补区域设定为当前帧的被摄体区域。也就是，当区域信息被设定为指标时，与前一帧的被摄体区域最相关(最相似)的被摄体候补区域被当作当前帧的被摄体区域。
被摄体区域确定部分152将当前帧的确定的被摄体区域的坐标信息供应到控制单元34和参考图保持部分74。此外，被摄体区域确定部分152将当前帧的被摄体区域的区域信息供应到区域信息存储部分153。区域信息存储部分153存储从被摄体区域确定部分152供应的区域信息，并将存储的区域信息供应到区域信息比较部分151。
可靠性指标计算部分的示例性构造
接着，将参考图8详细地描述图2的可靠性指标计算部分76的示例性构造。
可靠性指标计算部分76包括相似性计算部分171、最大相似性确定部分172、相似性规一化部分173、锐度计算部分174、最大锐度确定部分175、锐度规一化部分176、和可靠性指标计算部分177。
基于从匹配处理部分75供应的匹配处理，相似性计算部分171计算先前帧的参考图与当前帧的各个特征图(包括带域特征图和合成特征图)上的最相似区域之间的相似性，并将相似性供应到最大相似性确定部分172。
应当注意的是，每个最相似区域与参考图之间的相似性是表示特征图上的、在包括最相似区域的附近区域中的特征量的分散程度的值之一。然而，相似性计算将在后面参考图15进行详细的描述。
基于从相似性计算部分171供应的各个特征图的相似性，最大相似性确定部分172确定相似性最大处的最大相似性，并将最大相似性与各个特征图的相似性一起供应到相似性规一化部分173。
基于从最大相似性确定部分172供应的最大相似性，相似性规一化部分173规一化各个特征图的相似性，并将规一化的相似性供应到可靠性指标计算部分177。
基于从匹配处理部分75供应的匹配结果，锐度计算部分174计算当前帧的各个特征图的锐度水平，并将锐度水平供应到最大锐度确定部分175。
应当注意的是，每个特征图的锐度水平是表示特征图上的在包括最相似区域的附近区域中的特征量的分散程度的值之一。然而，锐度水平的计算将在后面参考图15进行详细的描述。
基于从锐度计算部分174供应的各个特征图的锐度水平，最大锐度确定部分175确定相似性最大处的最大锐度水平，并将最大锐度水平与各个特征图的锐度水平一起供应到锐度规一化部分176。
基于从最大锐度确定部分175供应的最大锐度水平，锐度规一化部分176规一化各个特征图的锐度水平，并将规一化的锐度水平供应到可靠性指标计算部分177。
基于从相似性规一化部分173供应的特征图的规一化的相似性以及从锐度规一化部分176供应的特征图的规一化的锐度水平，可靠性指标计算部分177计算各个特征图的可靠性指标，并将该可靠性指标供应到被摄体图产生部分71。
被摄体追踪处理的描述
然而，当用户意欲通过图像处理装置11拍摄图像时，用户操作用户接口37以发出开始图像拍摄处理的指令。然后，响应于通过接口控制单元36从用户接口37供应的控制信号，控制单元34操作图像处理装置11的各个单元。
例如，控制单元34使成像器32拍摄输入图像，并同时使数字信号处理单元33进行诸如预处理的各种处理，由此从数字信号处理单元33获得输入图像。然后，控制单元34将获取的各帧的输入图像通过接口控制单元36依次供应到用户接口37以显示输入图像。
通过这样的构造，用户在观看在用户接口37上显示为所谓的预览图像的输入图像的同时确定构图以便能够发出拍摄静态图像等的指令。
此时，用户操作用作用户接口37的按钮，由此将图像处理装置11的操作模式应用到被摄体追踪处理模式，在被摄体追踪处理模式中显示围绕追踪对象被摄体的轮廓。当将操作模式应用到被摄体追踪处理模式的指令被接收并且用户将输入图像上的预定区域指定为被摄体区域时，被摄体追踪部分55开始在指定区域中追踪被摄体的被摄体追踪处理，并指定输入图像的每帧中的被摄体区域。
然后，当从被摄体追踪部分55接收到表示被摄体区域的位置的坐标信息时，基于坐标信息，控制单元34将表示被摄体区域的轮廓供应到用户接口37以显示该轮廓。以这样的方式，被摄体区域的轮廓与输入图像一起显示在用户接口37上。
接着，将参考图9的流程图来描述被摄体追踪部分55进行的被摄体追踪处理。当用户在被摄体追踪处理模式中指定被摄体区域时，被摄体追踪处理开始。
在步骤S11，被摄体图产生部分71进行被摄体图产生处理以产生被摄体图，并将被摄体图供应到被摄体候补区域矩形化部分72。
下面，将参考图10至图20详细地描述与步骤S11的处理对应的被摄体图产生处理。图10是图解被摄体图产生处理的流程图。
在图10的步骤S31中，被摄体图产生部分71的特征图产生部分111从作为处理对象的当前帧的输入图像针对每个特征(例如亮度和颜色)产生特征图，并将特征图供应到带域特征图产生部分112。
具体地，如图11所示，从输入图像200产生总共M种特征图，包括：表示亮度信息的亮度特征图F1、表示颜色信息的颜色特征图F2至FK，以及表示边缘信息的边缘特征图F(K+1)至FM。
例如，在亮度特征图F1中，可以从输入图像的各个像素获得的亮度分量(亮度信号)Y被当作在与输入图像的像素相同位置处的特征图F1的像素的像素值。也就是，亮度特征图F1是特征为亮度且表示输入图像的各个区域的亮度值的特征图。
此外，在颜色特征图F2至FK中，例如，可以从输入图像的各个像素获得的颜色分量(颜色信号)R、G和B被当作在与输入图像的像素相同位置处的特征图的像素的像素值。在此情形下，在K＝4时，各个特征图F2至F4被当作各个特征是输入图像的像素的R、G和B分量且表示输入图像的区域的各个颜色分量的像素值的特征图。
此外，在边缘特征图F(K+1)至FM中，例如，输入图像的各个像素的沿0度、45度、90度和135度方向的边缘强度被当作特征图在与输入图像的像素相同位置处的像素的像素值。在此情形下，针对四个边缘方向中的每个，产生该方向的边缘强度为特征且表示输入图像的每个区域的边缘强度的特征图。
此外，在上述特征图中，像素的R、G和B分量的值的平均值可以设定为特征图F1的特征量。此外，色差分量Cr和Cb或者Lab色空间中的a＊和b＊坐标分量可以设定为颜色特征图F2至FK的特征量。此外，除0度、45度、90度和135度方向之外的方向的边缘强度可以设定为边缘特征图F(K+1)至FM的特征量。
在步骤S32，带域特征图产生部分112从特征图提取特定的带域分量以针对每个特征图产生带域特征图，并将带域特征图供应到带域特征图合成部分113、参考图保持部分74和匹配处理计算部分75。
具体地，如图11所示，从亮度特征图F1的亮度信息(像素值)提取指定带域1至N的亮度信息，以产生表示带域的亮度信息的带域特征图R11至R1N。
此外，从颜色特征图F2至FK的颜色信息(像素值)提取指定带域1至N的颜色信息，以产生表示带域的颜色信息的带域特征图R21至R2N，...，RK1至RKN。
此外，从边缘特征图F(K+1)至FM的边缘信息(像素值)提取指定带域1至N的边缘信息，以产生表示带域的边缘信息的带域特征图R(K+1)1至R(K+1)N，...，RM1至RMN。如上所述，带域特征图产生部分112产生M×N种带域特征图。
下面，将描述带域特征图产生部分112的处理示例。
例如，带域特征图产生部分112通过采用特征图而产生具有彼此不同的分辨率的多幅特征图，并将具有不同分辨率的特征图设定为特征量的锥形图像。例如，产生L1至L8级的8个分辨率级别(1evel)的锥形图像，其中L1级的锥形图像具有最高的分辨率，并且从L1级到L8级每个锥形图像的分辨率变低。
在此情形下，由特征图产生部分111产生的特征图被看作L1级的锥形图。此外，在Li(1≤i≤7)级的锥形图像中，彼此相邻的四个像素的平均像素值被当作与该四个像素对应的L(i+1)级锥形图像的一个像素的像素值。因此，L(i+1)级锥形图像变成纵横比(aspect ratio)为Li级锥形图像的纵横比的一半的图像(如果不能整除，则截去被除的纵横比的小数部分)。
此外，带域特征图产生部分112在多个锥形图中选择级别互不相同的两个锥形图像，并通过计算选择的锥形图像之间的差值来产生各个特征量的N个差值图像。此外，由于各个级别的锥形图像的尺寸(像素数目)不同，所以在产生差值图像时，较小的锥形图像被上转换成较大的锥形图像。
例如，在各个级别的特征量锥形图像中，带域特征图产生部分112计算L6级和L3级、L7级和L3级、L7级和L4级、L8级和L4级以及L8级和L5级的各个级别的组合的锥形图像之间的差值。由此，可以获得总共5个特征量的差值图像。
具体地，例如，当产生L6级和L3级的组合的差值图像时，L6级的锥形图像被上转换到L3级的锥形图像的尺寸。也就是，上转换前的L6级的锥形图像的一个像素的像素值被看作上转换后的L6级的锥形图像的对应于该像素的几个相邻像素的像素值。然后，计算在对应像素的相同位置处的L6级的锥形图像的像素的像素值与L3级的锥形图像的像素的像素值之间的差值，并将该差值当作不同图像的像素的像素值。
以该方式获得的对应的N个差值图像进一步被上转换成所需输入图像的尺寸，并被看作带域1至N的各个带域特征图。
如上所述，通过产生差值图像，如同将采用带通滤波器的滤波处理施加到特征图，可以从特征图提取特定带域分量的特征量。以这样的方式获得的差值图像的像素的像素值表示各个级别的锥形图像的像素值之间的差值，也就是，输入图像中的指定像素中的特征的特征量与像素周围的平均特征量之间的差值。
例如，当特征是亮度时，差值图像(带域特征图)的像素值表示输入图像的指定区域的亮度水平与周围区域的平均亮度水平之间的差值。通常，在图像中与周围的亮度差值大的区域是图像观察者容易注意到的区域，因此该区域极有可能成为被摄体区域。因此，可以说的是，在每个差值图像(带域特征图)中，具有较大像素值的像素表示更可能成为被摄体区域的区域。相似地，在其他特征的情形下，与周围相比特征量差值大的区域是用户容易注意到的区域，因此也可以说，该区域是与被摄体更相似的区域。
此外，在上面的描述中，从特征图提取的带域的宽度取决于产生差值图像时各个级别的锥形图的组合，并且这样的组合可以任意地确定。此外，指定带域分量的特征量的提取并不局限于采用上述差值图像的方法，并且可以采用其他的方法。
回到对图10的流程图的描述，在步骤33中，匹配处理部分75进行匹配处理，以将带域特征图产生部分112供应的带域特征图Rmn(其中1≤m≤M且1≤n≤N)与存储在存储器81中的带域参考图进行匹配。
例如，如图12所示，在带域特征图产生部分112中，从针对N个带域的每个的各M种特征可以获得总共M×N个带域特征图Rmn。此外，带域特征图合成部分113中，针对M种特征中的每个，可以获得合成特征图Cm(其中1≤m≤M)，该合成特征图Cm可以通过合成带域特征图而获得。
然后，在参考图保持部分74的存储器81中，在每个合成特征图Cm中位于与输入图像上的被摄体区域CR相同位置处的区域被存储为合成参考图RFCm(其中1≤m≤M)。此外，在存储器81中，在每个带域特征图Rmn中位于与输入图像上的被摄体区域CR相同位置处的区域被存储为带域参考图RFRmn(其中1≤m≤M且1≤n≤N)。
这里，存储在存储器81中的带域参考图和合成参考图可以从作为处理对象的当前帧的前一帧的带域特征图和合成特征图获得。
在当前帧的每个带域特征图Rmn被从带域特征图产生部分112供应时，匹配处理部分75在带域特征图Rmn中搜寻与从存储器81读取的前一帧的带域参考图RFRmn最相似的区域。
例如，如图13所示，匹配处理部分75在带域特征图Rmn上从图中的左上侧至右下侧移动作为处理对象的区域ERmn(其中1≤m≤M且1≤n≤N)的位置，并同时对每个ERmn与每个带域参考图RFRmn进行匹配。
具体地，针对区域ERmn中的每个像素，匹配处理部分75计算区域ERmn的像素的像素值与带域参考图RFRmn的与区域ERmn的像素相同位置处的像素的像素值之间的差值的绝对值。然后，匹配处理部分75计算针对每个像素获得的绝对差值的总和(SAD)。
在带域特征图Rmn的区域ERmn中，匹配处理部分75将其自身和带域参考图之间的绝对差值的总和最小的区域设定为最相似区域MERmn(其中1≤m≤M且1≤n≤N)。然后，匹配处理部分75将表示最相似区域MERmn的位置的信息和针对带域特征图Rmn的每个区域ERmn获得的绝对差值的总和作为匹配处理的结果供应到可靠性指标计算部分76。
图14示出了作为匹配处理结果的针对带域特征图Rmn的每个区域ERmn获得的绝对差值的总和的示例。
在图14中，x轴和y轴形成的xy坐标平面表示带域特征图的整个区域。此外，在图14中，垂直于xy坐标平面的z轴表示带域特征图的绝对差值的总和的大小，由此在z轴上标示出了0到6000的刻度。也就是，在图14的xyz坐标空间中示出SAD图表示带域特征图Rmn的每个区域ERmn的绝对差值的总和。应该注意的是，下面将SAD图称为绝对差值的总和SAD。
如图14所示，整个带域特征图的绝对差值的总和的值在约1500到约5800的范围。然而，在带域特征图的边界部分的值为4000以上，在其中央部分的值为2000以下。具体地，在带域特征图的中央部分的区域(绝对差值的总和SAD的边缘部分)中，绝对差值的总和的值为最小值(峰值)。也就是，图14的绝对差值的总和SAD表示带域特征图的中央部分的区域是最相似的区域。
以这样的方式，作为匹配处理的结果，针对M×N个带域特征图Rmn的每个获得绝对差值的总和，并且针对M×N个带域特征图Rmn的每个指定每个最相似区域MERmn。然后，表示每个带域特征图的绝对差值的总和以及最相似区域位置的信息被供应到可靠性指标计算部分76。
这里，给出了绝对差值的总和被用于匹配处理的情形的描述。然而，只要能够指定与带域特征图最相似的区域，可以采用任何种类的处理例如采用平方差的匹配处理、直方图匹配或者模板匹配。
回到图10的流程图，在步骤S34中，可靠性指标计算部分76进行可靠性指标计算处理以计算当前帧的带域特征图的可靠性指标(带域可靠性指标)，并将指标供应到被摄体图产生部分71。
下面，将参考图15的流程图详细地描述与步骤S34的处理对应的可靠性指标计算处理。
在步骤S51中，基于从匹配处理部分75供应的匹配处理的结果，相似性计算部分171针对当前帧的M×N个带域特征图Rmn的每个计算最相似区域MERmn与先前帧的带域参考图RFRmn之间的相似性LRmn(其中1≤m≤M且1≤n≤N)。然后，相似性计算部分171将相似性供应到最大相似性确定部分172。
这里，如上所述，当绝对差值的总和用在匹配处理中时，当假设图14所示的绝对差值的总和SAD的最小值(峰值)为SADmin时，随着最小值SADmin减小，相似性LRmn增加。具体地，例如，相似性LRmn由1/SADmin给出，为带域特征图的绝对差值的总和的最小值的倒数。
在步骤S52中，最大相似性确定部分172从相似性计算部分171供应的各个带域特征图的相似性LRmn针对M种特征量确定M个最大相似性MLRm(其中1≤m≤M)，并将最大相似性MLRm与带域特征图的相似性LRmn一起供应到相似性规一化部分173。
在步骤S53中，基于最大相似性确定部分172供应的M种特征量的每个的最大相似性MLRm，相似性规一化部分173归一化每个带域特征图的相似性LRmn，并将相似性供应到可靠性指标计算部分177。具体地，由每个带域特征图的相似性LRmn除以M种特征量的每个的最大相似性MLRm获得的值LRmn/MLRm被作为归一化相似性SLRmn(其中1≤m≤M且1≤n≤N)供应到可靠性指标计算部分177。此外，归一化相似性SLRmn具有0＜SLRmn≤1的范围内的值。
例如，当m＝1时，当亮度的带域特征图R11至R1N的相似性LR11到LR1N除以最大相似性MLR1时，可以获得LR11/MLR1至LR1N/MLR1的值作为N个归一化相似性SLR1N。在m＝2，...，M时进行相同的处理，由此获得M×N个归一化相似性SLRmn。
这里，每个带域特征图的相似性LRmn通过最大相似性MLRm而被归一化，并且明显地，相似性LRmn可以通过其他代表值而被归一化。
在步骤S54中，基于从匹配处理部分75供应的匹配处理的结果，锐度计算部分174计算当前帧的M×N个带域特征图Rmn的每个的锐度水平TRmn(其中1≤m≤M且1≤n≤N)并将锐度水平供应到最大锐度确定部分175。
这里，如上所述，在匹配处理中采用绝对差值的总和的情形下，锐度水平TRmn由SADave-SADmin给出，其为图14中所示的绝对差值的总和SAD的最小值SADmin与包括最相似区域的附近区域的绝对差值的总和的平均值SADave之间的差值。当锐度水平TRmn较大时，图14所示的绝对差值的总和SAD在具有最小值的区域中具有较尖锐的形状。相应地，当锐度水平TRmn较小时，其具有较平滑的形状。
在步骤S55中，基于锐度计算部分174供应的各个带域特征图的锐度水平TRmn，最大锐度确定部分175针对M种特征量确定M个最大锐度水平MTRm(其中1≤m≤M)，并将最大锐度水平MTRm与各个带域特征图的锐度水平TRmn一起供应到锐度规一化部分176。
在步骤S56中，基于最大锐度确定部分175供应的M种特征量的每个的最大锐度水平MTRm，锐度规一化部分176归一化每个带域特征图的锐度水平TRmn，并将锐度水平供应到可靠性指标计算部分177。具体地，由每个带域特征图的锐度水平TRmn除以M种特征量的每个的最大锐度水平MTRm获得的值TRmn/MTRm被作为归一化锐度水平STRmn(其中1≤m≤M且1≤n≤N)供应到可靠性指标计算部分177。此外，归一化锐度水平STRmn具有0＜STRmn≤1的范围内的值。
例如，当m＝1时，当带域特征图R11至R1N的锐度水平TR11到TR1N除以最大锐度水平MTR1时，可以获得TR11/MTR1至TR1N/MTR1的值作为N个归一化锐度水平STR1N。在m＝2，...，M时进行相同的处理，由此获得M×N个归一化锐度水平STRmn。
这里，每个带域特征图的锐度水平TRmn通过最大锐度水平MTRm而被归一化，然而，明显地，锐度水平TRmn可以通过其他代表值而被归一化。
在步骤S57中，基于从相似性规一化部分173供应的归一化相似性SLRmn以及从锐度规一化部分176供应的归一化锐度水平STRmn，可靠性指标计算部分177计算每个带域特征图上的带域可靠性指标smn(其中1≤m≤M且1≤n≤N)。基于归一化相似性SLRmn以及归一化锐度水平STRmn，带域可靠性指标smn由下面的表达式(1)给出：
smn＝f(SLmn，TLmn)    (1)
这里，在表达式(1)中，f(A，B)表示值A和B的函数。具体地，例如，带域可靠性指标smn由下面的表达式(2)给出：
smn＝αSLmn+βTLmn    (2)
这里，在表达式(2)中，值α和β被设定为预定值。
基于表达式(2)，当相似性和锐度水平较大时，带域可靠性指标smn具有较大的值。也就是，在图14所示的绝对差值的总和SAD中，当最小值SADmin较小时，其在最小值处的区域中的形状较尖锐，带域可靠性指标smn具有较大的值。
另一方面，在图16所示的带域特征图的绝对差值的总和SAD’中，其最小值比图14的绝对差值的总和的最小值更小，其在最小值处的区域中的形状较平滑。也就是，相似性大，但是锐度水平小，因此带域可靠性指标smn具有较小的值。
如上所述，获得与M×N个带域特征图Rmn对应的M×N个带域可靠性指标smn，并作为带域可靠性指标组SR供应到被摄体图产生部分71的带域特征图合成部分113。
应当注意，针对M×N个带域特征图Rmn中的每个，确定带域可靠性指标smn的值α和β可以具有相同的值，但是针对每个特征或者每个带域，其可以具有不同的值。
回到对图10的流程图的描述，在步骤S35中，带域特征图合成部分113进行带域特征图合成处理。由此，如图11所示，基于从可靠性指标计算部分76供应的带域可靠性指标组SR，带域特征图合成部分113从带域特征图产生部分112供应的带域特征图Rmn产生合成特征图Cm。然后，带域特征图合成部分113将合成特征图Cm供应到合成特征图合成部分114、参考图保持部分74和匹配处理部分75。
这里，将参考图17的流程图详细地描述与步骤S35的处理对应的带域特征图合成处理。针对M种特征量的每个进行带域特征图合成处理。
在步骤S71中，在从带域特征图产生部分112供应的带域特征图Rmn中，候补图确定部分121将可靠性指标计算部分76供应的带域可靠性指标smn比预定阈值大的带域特征图确定为候补图(带域候补图)。候补图确定部分121将确定的带域候补图供应到图间最大值选择部分122。
具体地，例如，如图18所示，在亮度的带域特征图R11至R1N中，带域可靠性指标s11到s1N比预定阈值大的带域特征图R1j，...，R1k被确定为带域候补图。
在步骤S72中，图间最大值选择部分122从候补图确定部分121供应的带域候补图针对每个像素选择带域特征图中的最大特征量(像素值)，并对所有像素进行该选择。
具体地，在图18所示的带域候补图R1j，...，R1k的情形下，图间最大值选择部分122聚焦于各个带域候补图中在相同位置处的各个像素，选择各个像素中具有最大像素值的像素，并对所有像素进行该选择。
在步骤S73中，基于分别通过图间最大值选择部分122在带域特征图中针对每个像素选择的最大像素值，合成特征图产生部分123产生合成特征图。
具体地，通过合成分别与图18所示的带域候补图R1j，...，R1k的每个像素对应的最大像素值(采用最大像素值作为各个像素的像素值)，产生合成特征图Cm。然后，合成特征图Cm供应到合成特征图合成部分114、参考图保持部分74和匹配处理部分75。
如上所述，带域特征图合成部分113产生M种合成特征图Cm。此外，更具体地，在每个合成特征图中，各像素的像素值被归一化在例如0到255的范围内。此外，在第一被摄体图产生处理中，带域可靠性指标组SR的每个带域可靠性指标smn被当作1，并且从每个特征量的各个带域特征图选择各个像素的最大值。
回到对图10的流程图的描述，在步骤S36中，匹配处理部分75对从带域特征图合成部分113供应的合成特征图Cm(其中1≤m≤M)和存储在存储器81中的合成参考图RFCm(其中1≤m≤M)进行匹配。
这里，在合成特征图Cm的匹配处理中，进行与带域特征图的匹配处理相同的处理。
也就是，例如，匹配处理部分75在合成特征图Cm上移动作为处理对象的区域ECm(其中1≤m≤M)的位置，同时计算区域ECm与合成参考图RFCm的像素的像素值之间的绝对差值的总和。然后，在合成特征图Cm的区域ECm中，匹配处理部分75将其自身和合成参考图之间的绝对差值的总和最小的区域设定为最相似区域MECm(其中1≤m≤M)。匹配处理部分75将表示最相似区域MECm位置的信息和针对合成特征图Cm的每个区域ECm获得的绝对差值的总和作为匹配处理的结果供应到可靠性指标计算部分76。
在步骤S37中，可靠性指标计算部分76进行可靠性指标计算处理以计算当前帧的合成特征图的可靠性指标(合成可靠性指标)，并将指标供应到被摄体图产生部分71。
这里，以与参考图15的流程图描述的带域特征图的可靠性指标的计算处理基本相同的方式，进行计算合成特征图的可靠性指标的处理，因此省略其详细描述。
也就是，在计算带域特征图的可靠性指标的处理中，首先，基于从匹配处理部分75供应的匹配处理结果，计算先前帧的参考图与当前帧的M个合成特征图Cm的最相似区域MECm之间的相似性LCm(其中1≤m≤M)。接着，从各个合成特征图的相似性LCm，确定最大相似性MLCm，并基于此，获得M个归一化相似性SLCm。
另一方面，基于从匹配处理部分75获得的匹配处理结果，计算当前帧的M个合成特征图Cm的锐度水平TCm(其中1≤m≤M)。接着，从各个合成特征图的锐度水平TCm，确定最大锐度水平MTCm，并基于此，获得M个归一化的锐度水平STCm。
然后，基于归一化相似性SLCm和归一化的锐度水平STCm，获得各个合成特征图的合成可靠性指标sm(其中1≤m≤M)。
如上所述，获得M个合成特征图的M个合成可靠性指标sm，并将其作为合成可靠性指标组SC供应到被摄体图产生部分71的合成特征图合成部分114。
在步骤S38中，合成特征图合成部分114进行合成特征图合成处理。由此，如图11所示，基于从可靠性指标计算部分76供应的合成可靠性指标组SC，合成特征图合成部分114从带域特征图合成部分113供应的合成特征图Cm产生被摄体图201。然后，合成特征图合成部分114将被摄体图201供应到被摄体候补区域矩形化部分72。
这里，将参考图19的流程图详细描述与步骤S38的处理对应的合成特征图合成处理。
在步骤S91中，在带域特征图合成部分113供应的合成特征图Cm中，候补图确定部分124将可靠性指标计算部分76供应的合成可靠性指标sm大于预定阈值的合成特征图确定为候补图(合成候补图)。候补图确定部分124将确定的候补图供应到图间最大值选择部分125。
具体地，例如如图20所示，在M个合成特征图C1到CM中，合成可靠性指标s1到sM大于预定阈值的合成特征图C1，C3，C4...被确定为合成候补图。
在步骤S92中，图间最大值选择部分125从候补图确定部分124供应的合成候补图针对每个像素选择合成候补图中的最大特征量(像素值)，并对所有像素进行该选择。
具体地，在图20所示的合成候补图C1，C3，C4...的情形下，图间最大值选择部分125聚焦于各个合成候补图中在相同位置处的各个像素，选择各个像素中具有最大像素值的像素，并对所有像素进行该选择。
在步骤S93中，基于通过图间最大值选择部分125针对每个像素选择合成特征图中的最大像素值，被摄体图产生部分126产生被摄体图。
具体地，通过合成分别与图20所示的合成候补图C1，C3，C4...的每个像素对应的最大像素值(采用最大像素值作为各个像素的像素值)，产生被摄体图201。然后，被摄体图201被供应到被摄体候补区域矩形化部分72。
以上述方式获得的被摄体图的各个像素的像素值被归一化在例如0到255的范围内，并且该被摄体图被当作最终的被摄体图。
此外，在第一被摄体图产生处理中，合成可靠性指标组SC的每个合成可靠性指标sm被当作1，并且从各个合成特征图选择各个像素的最大值。
当产生被摄体图时，被摄体图产生处理结束，然后处理进行到图9的步骤S12。
回到图9的流程图，在步骤S12中，被摄体候补区域矩形化部分72进行被摄体候补区域矩形化处理，由此在被摄体图产生部分71供应的被摄体图上确定被摄体候补区域。
下面，将参考图21和22详细描述被摄体候补区域矩形化处理。图21是图解被摄体候补区域矩形化处理的流程图。图22是图解被摄体候补区域矩形化处理的具体示例的示意图。
在图21的流程图的步骤S151中，被摄体候补区域矩形化部分72的二值化处理部分131将合成特征图合成部分114供应的被摄体图的像素的像素值通过阈值处理而二值化，并将二进制像素值供应到标签处理部分132。
更具体地，当被摄体图201的各个像素的像素值在0到255的范围内时，如图22所示，二值化处理部分131例如将比阈值“127”小的像素值设定为0，并将比阈值“127”大的像素值设定为1。
以这样的方式，可以获得图22中从顶部开始的第二幅图的二值化图202。图22所示的二值化图202是二值化的被摄体图。在二值化图202中，白色部分表示像素值为1的像素，并且黑色部分表示像素值为0的像素。这里，阈值设定为127，但是也可以设定为不同的值。
在步骤S152中，标签处理部分132对二值化处理部分131供应的二值化图202进行形貌操作(morphological operation)，矩形化二值化图202上的被摄体区域，并对获得的连接区域进行标签化。
具体地，标签处理部分132对二值化图202中彼此相邻且由像素值为1的像素形成的连接区域进行标签化。例如，在图22的从顶部开始的第三幅中，标签“1”被贴到二值化图202上的连接区域211，标签“2”被贴到连接区域212。标签处理部分132将标签化的二值化图(被摄体图)供应到矩形区域坐标计算部分133。
在步骤S153中，矩形区域坐标计算部分133将标签处理部分132供应的二值化图202上的围绕连接区域的矩形区域设定为被摄体候补区域，并产生表示被摄体候补区域的位置的坐标信息。
具体地，如图22中从顶部开始的第四幅图所示，在二值化图202中，从外侧围绕标签为“1”的连接区域211的矩形区域(限定区域)221被检测到，并被设定为被摄体候补区域。此外，例如，在被摄体候补区域的图中，获得左上和右下顶点的坐标，并将其坐标设定为坐标信息。
此外，从外侧围绕标签为“2”的连接区域212的矩形区域222被检测到，并被设定为被摄体候补区域。由此，在被摄体候补区域的图中，产生左上和右下顶点的坐标作为坐标信息。
矩形区域坐标计算部分133产生每个被摄体候补区域的坐标信息，并将坐标信息供应到区域信息计算部分134。
在步骤S154中，通过采用从矩形区域坐标计算部分133供应的坐标信息和从合成特征图合成部分114供应的被摄体图，区域信息计算部分134计算每个被摄体候补区域的区域信息。
例如，区域信息计算部分134计算被摄体图中被摄体候补区域的尺寸以及被摄体候补区域的中心位置的坐标作为区域信息。
此外，区域信息计算部分134计算被摄体图上被摄体候补区域内各像素的像素值的积分值(总和)或者被摄体图上被摄体候补区域内各像素的像素值的峰值(最大值)作为区域信息。
区域信息计算部分134计算每个被摄体候补区域上的区域信息，将可以获得的每个被摄体候补区域的坐标信息和区域信息供应到被摄体区域选择部分73，并结束被摄体候补区域矩形化处理。然后，处理进行到图9的步骤S13。
回到图9的流程图，在步骤S13中，被摄体区域选择部分73进行被摄体区域选择处理，由此从被摄体候补区域选择被摄体区域。
这里，将参考图23的流程图详细描述步骤S13的被摄体区域选择处理。
在步骤S171中，区域信息比较部分151比较从区域信息计算部分134供应的每个被摄体候补区域的区域信息与存储在区域信息存储部分153中的前一帧的被摄体区域的区域信息。然后，区域信息比较部分151将该比较结果以及从区域信息计算部分134供应的每个被摄体候补区域的坐标信息供应到被摄体区域确定部分152。
具体地，例如，当将被摄体候补区域的尺寸计算为区域信息时，区域信息比较部分151比较被摄体候补区域的尺寸(也就是，围绕被摄体候补区域的矩形区域的尺寸)与前一帧的被摄体区域的尺寸。在此情形下，例如，可以获得每个被摄体候补区域的尺寸与被摄体区域的尺寸之间的绝对差值作为比较结果。
此外，例如，获得被摄体候补区域的中心位置的坐标作为区域信息，并且比较每个中心位置的坐标与前一帧的被摄体区域的中心位置的坐标。在此情形下，可以获得中心位置之间的距离作为比较结果。
此外，当获得被摄体候补区域内各像素的像素值的峰值或者积分值时，可以获得被摄体候补区域的峰值或者积分值与前一帧的被摄体区域的峰值或积分值之间的绝对差值作为比较结果。
在步骤S172中，基于从区域信息比较部分151供应的比较结果，被摄体区域确定部分152将一个被摄体候补区域设定为处理对象的当前帧中的被摄体区域。换言之，当特定特征(也就是区域信息)被设定为指标时，在当前帧的被摄体候补区域中，与前一帧的被摄体区域最相关的被摄体候补区域被当作当前帧的被摄体区域。
具体地，例如，作为比较结果可以获得的具有区域信息的最小绝对差值的被摄体候补区域被选择为被摄体区域。这里，差值包括被摄体候补区域与被摄体区域的尺寸之间的差值、其中心位置之间的差值、其峰值之间的差值以及其积分值之间的差值。
此外，被摄体区域确定部分152确定当前帧的的被摄体区域，然后将被设定为被摄体区域的被摄体候补区域的坐标信息供应到控制单元34和参考图保持部分74，该坐标信息从区域信息比较部分151供应。此外，被摄体区域确定部分152将被摄体区域的区域信息供应到区域信息存储部分153且存储在区域信息存储部分153中，并且结束被摄体区域选择处理。然后，处理进行到图9的步骤S14。
此外，在第一被摄体区域选择处理中，区域信息存储部分153不存储前一帧的被摄体区域的区域信息。因此，包括第一选择区域(其在开始被摄体追踪处理时由用户选择)的被摄体候补区域被当作被摄体区域。
回到图9的流程图，在步骤S14中，基于从被摄体区域确定部分152供应的被摄体区域的坐标信息以及从带域特征图产生部分112供应的带域特征图，参考图保持部分74产生带域参考图。
具体地，如参考图12所描述的，参考图保持部分74在当前帧的带域特征图Rmn中切出与输入图像上的被摄体区域相同区域的区域，并将切出的区域设定为带域参考图RFRmn(其中1≤m≤M且1≤n≤N)。参考图保持部分74将产生的带域参考图供应到存储器81并存储在存储器81中。带域参考图用于计算后续帧的带域可靠性指标。
在步骤S15中，基于从带域特征图合成部分113供应的合成特征图的坐标信息以及从被摄体区域确定部分152供应的被摄体区域，参考图保持部分74产生合成参考图。
也就是，与带域参考图的产生类似地，参考图保持部分74在当前帧的合成特征图Cm中切出与输入图像上的被摄体区域相同区域的区域，并将切出的区域设定为合成参考图RFCm(其中1≤m≤M)。参考图保持部分74将产生的合成参考图供应到存储器81并存储在存储器81中。合成参考图用于计算后续帧的合成可靠性指标。
在步骤S15中，当产生合成参考图时，之后，处理回到步骤S11并重复上述处理。也就是，对后续帧进行被摄体追踪处理，由此针对每一帧重复处理。
在上述针对每帧进行的处理中，从帧的每个特征图检测图中与先前帧的被摄体区域高度相关的区域。响应于检测结果，计算图的可靠性指标，并从具有高可靠性指标的特征图的各个像素的最大值产生被摄体图。
在利用被摄体图的被摄体检测中，与前一帧的被摄体区域高度相关的区域被连续且适应性地看作重要的区域。因此，即使在被摄体状态变化的情形(例如，照射在被摄体上的光变化的情形以及被摄体的姿势变化的情形)下，与现有技术中基于最初指定区域的特征量来进行追踪的方法相比，可以更稳定地追踪被摄体。
此外，由于根据从输入图像提取的多个特征量产生被摄体图，所以即使当几个特征的特征量急剧地变化时，如果其他特征的特征量变化小，就可以以足够的精确性检测被摄体，由此可以进行稳定的追踪。
此外，由于被摄体区域被确定为包括整个被摄体，所以即使在被摄体的局部区域变化的情形下，也可以更稳定地追踪被摄体。
具体地，在现有技术的被摄体追踪方法中，在识别被摄体区域中的某物的坐标(或包括该坐标的局部区域)的情形下，由于不是追踪整个被摄体，所以难以正确地设置AF(自动聚焦)、AE(自动曝光)和ACC(自动颜色控制)的检测范围。此外，在识别被摄体区域中特征量相同的特征量区域的情形下，与上述情形相比可以改善设定检测范围的精确性。然而，相同特征量区域很可能仅是被摄体区域的一小部分，因此难以获得足够的检测精确性。
另一方面，在根据本发明实施例的被摄体追踪处理中，可以识别包括整个被摄体的被摄体区域，因此可以改善检测精确性。从而，可以将追踪结果应用到各种应用。
此外，在现有技术的被摄体追踪方法中，例如，存在例如通过学习将人的整个图像在词典中而检测和追踪人的方法。然而，难以追踪除记录在词典中的人之外的被摄体。此外，记录在词典中的信息(图像)量很大，因此装置的尺寸增加。
相反地，在本发明实施例的被摄体追踪处理中，可以检测并追踪任意被摄体，并且还不需要将大量的信息记录在词典等中。因此，可以使装置的尺寸变得紧凑。
此外，例如，当在被摄体图产生处理的带域特征图产生处理中产生的特定带域的带域特征图通过简单的线性组合被合成时，在带域特征图中，原来趋于减弱的直流附近的被摄体分量(也就是，织构的小区域的特征量)将通过简单的线性组合被进一步减弱。在此情形下，由于被摄体具有比较简单的形状，可能更加难以获得尤其在被摄体区域的中心部分中的特征量的级别。此外，在后续阶段的被摄体候补区域矩形化处理的二值化处理中，存在难以获得正确的连接区域的不利效果的问题。
然而，在根据本发明实施例的被摄体追踪处理中，通过在特征图中选择任何一个像素，产生被摄体图。因此，可以获得被摄体图的被摄体区域中的任何特征量。因此，即使当被摄体具有比较简单的形状时，也可以避免难以获得被摄体部分中的特征量的情况。因此，在二值化处理中，可以指定正确的连接区域，并且可以进行稳定的被摄体追踪。
然而，在根据本发明实施例的被摄体追踪处理中，检测与特征图中前一帧的被摄体区域高度相关的区域(最相似的区域)，并且响应于检测结果，计算特征图的可靠性指标，由此从可靠性指标比预定阈值大的特征图(候补图)产生被摄体图。因此，可以从被摄体图产生处理排除可靠性指标比预定阈值小的特征图，也就是，排除与前一帧的被摄体区域较不相关的特征图。因此，由于可以降低将与实际被摄体区域不同的区域确定为被摄体区域的可能性，因此可以更精确地指定被摄体。
此外，在带域特征图合成处理和合成特征图合成处理中，通过对各个特征图的可靠性指标进行阈值处理，候补图被确定。然而，通过对每个特征图的每个像素单元的可靠性指标进行阈值处理，可以确定作为被合成为合成特征图或者被摄体图的候补的候补像素。
在此情形下，阈值根据每个处理对象像素是否被包括在特征图上的最相似区域中而变化。具体地，针对不包括在最相似区域中的像素，通过将阈值设定得较高，即使在可靠性指标相对较高的特征图的像素的情形下，像素也很少有可能被包括在被摄体区域中，由此可以将该像素排除出候补像素。相反地，针对包括在最相似区域中的像素，通过将阈值设定得较低，即使在可靠性指标相对较低的特征图的像素的情形下，像素也很有可能被包括在被摄体区域中，由此可以采用该像素作为候补像素。以这样的方式，从确定的候补像素选择各个像素的最大值，并基于最大值的像素，产生合成特征图或者被摄体图。由此，可以降低与实际被摄体区域不同的区域被确定为被摄体区域的可能性，可以进一步更加精确地指定被摄体。
此外，在带域特征图合成处理和合成特征图合成处理中，从各候补图针对每个像素选择候补图中的最大特征量，但是特征量并不局限于最大值。例如，可以将各候补图中的第二最高值或者中间值选择为每个像素的特征量。以这样的方式，可以将尽管不位于被摄体区域中但由于扰动而具有局部较大的特征量的像素排除。
在上述描述中，亮度分量、颜色分量和边缘强度被用作特征量，但是特征量并不局限于此。例如，可以增加动作信息。此外，作为可用的特征量，例如具有类似亮度分量和颜色分量的互补关系的特征量也是适合的，并且特征量可以随意选择。
此外，在上述描述中，针对M×N个带域特征图和M个合成特征图计算各自的可靠性指标，并且可以适当地计算一部分图的可靠性指标。例如，可以仅仅计算合成特征图C1至CM的M个合成特征图的合成可靠性指标。在这样的情形下，可以抑制图像处理装置11中的计算复杂性。
此外，在上述描述中，通过从特征图的绝对差值的总和计算相似性和锐度水平，并基于此，计算可靠性指标。然而，当绝对差值的总和不用于匹配处理时，通过采用基于匹配处理结果的预定统计方法，可以计算处理对象帧的特征图上在最相似区域附近的特征量的分散程度，并且可以计算可靠性指标，当分散程度较小时可靠性指标较大。
此外，在处理对象的当前帧中，仅仅将先前帧的包括被摄体区域且具有预定尺寸的区域设定为处理对象区域，并且可以在其上进行带域特征图或者合成特征图的匹配处理。在这样的情形下，当处理对象区域的尺寸或者位置根据在先前帧中追踪的被摄体的尺寸或者运动速度而变化时，可以更有效且更可靠地检测高度相关的区域。
上述一系列处理可以通过硬件来进行，并且可以通过软件来进行。当通过软件进行这一系列处理时，构成软件的程序被从程序记录介质安装到内置专用硬件的计算机中或者例如能够通过安装各种程序来进行各种功能的通用个人计算机内。
图24是图解通过程序进行上述一系列处理的计算机的硬件的示例性构造的框图。
在该计算机中，CPU(中央处理单元)301、ROM(只读存储器)302、和RAM(随机存取存储器)303通过总线304而彼此连接。
总线304进一步连接到输入/输出接口305。输入/输出接口305连接到：由键盘、鼠标、麦克风等形成的输入部分306；由显示器、扬声器等形成的输出部分307；由硬盘、非易失性存储器等形成的存储部分308；由网络接口等形成的通信部分309；以及驱动可移除介质311例如磁盘、光盘、磁光盘或半导体存储器的驱动器310。
在如上所述构造的计算机中，例如，CPU301通过输入/输出接口305和总线304加载并执行存储在存储部分308中、RAM303中的程序，由此进行上述一系列处理。
计算机(CPU 301)执行的程序存储在可移除介质311中，可移除介质311是形成为例如磁盘(包括软盘)、光盘(CD-ROM(紧致只读存储器)或者DVD(数字多功能盘))、磁光盘或者半导体存储器等的封装介质。备选地，程序通过有线或者无线传输介质例如局域网、因特网或者数字卫星广播来提供。
此外，通过在驱动器310中安装可移除介质311，程序可以通过输入/输出接口305安装在存储部分308中。此外，通过使通信部分309通过有线或无线传输介质接收程序，程序可以安装在存储部分308中。此外，程序可以预先安装在ROM302或者存储部分308中。
此外，通过计算机执行的程序可以是以本说明书的描述顺序按时间先后来进行处理的程序，也可以是并行或者在所需时间例如调用时来进行处理的程序。
本申请包含与2010年2月4日提交至日本专利局的日本优先权专利申请JP 2010-022812中公开内容的相关的主题，其全部内容通过引用结合于此。
本领域的技术人员应当理解的是，在所附权利要求或其等同物的范围内，根据设计需要和其他因素，可以进行各种修改、结合、部分结合和替换。

Claims (10)

1.一种图像处理装置，该图像处理装置指定包括多个连续帧的每个输入图像上的特定被摄体的区域，该图像处理装置包括：
被摄体图产生构件，从与所述输入图像的各个像素的特征对应且表示所述输入图像的各个区域中的特征量的特征图，针对每个像素选择任何特征图的一个特征量，以由此产生表示所述输入图像的各个区域与所述被摄体的相似性的被摄体图；以及
被摄体区域指定构件，基于所述被摄体图来指定作为在所述被摄体图中与所述被摄体最相似的区域的被摄体区域，以由此指定包括所述输入图像上的所述被摄体的区域。
2.根据权利要求1所述的图像处理装置，还包括：
可靠性计算构件，基于处理对象帧的所述特征图上的、包括与所述处理对象帧的前一帧的被摄体区域对应的对应区域的附近区域中的所述特征量的分散程度，该可靠性计算构件计算作为表示所述特征图上的所述对应区域包括所述被摄体的指标的可靠性，
其中，基于各个特征图的可靠性，所述被摄体图产生构件通过针对每个像素选择任何特征图的一个特征量而产生所述被摄体图。
3.根据权利要求2所述的图像处理装置，还包括：
参考图保持构件，将与所述特征图中的被摄体区域相同位置处的区域保持为参考图；以及
匹配处理构件，在所述处理对象帧的特征图上搜寻与所述前一帧的参考图最高度相关的最相似区域，
其中基于所述处理对象帧的所述特征图上的、包括所述最相似区域的附近区域中的所述特征量的分散程度，所述可靠性计算构件计算作为表示所述特征图上的所述最相似区域包括所述被摄体的指标的可靠性。
4.根据权利要求2所述的图像处理装置，其中通过针对每个像素选择所述可靠性大于预定阈值的任何特征图的一个特征量，所述被摄体图产生构件产生所述被摄体图。
5.根据权利要求2所述的图像处理装置，其中所述被摄体图产生构件包括：
特征图产生构件，从所述输入图像提取所述特征量，以由此在所述输入图像的各个区域中产生所述特征图；
带域特征图产生构件，针对多个带域的每个，从所述特征图提取带域分量，以由此产生带域特征图，所述带域特征图表示所述带域分量的特征图；
带域特征图合成构件，针对每个特征量合成所述带域特征图，以由此产生合成特征图；
合成特征图合成构件，合成所述合成特征图以由此产生作为另一种特征图的所述被摄体图，
其中基于所述处理对象帧的所述合成特征图上的、与所述前一帧的被摄体区域对应的附近区域中的合成特征量的分散程度，所述可靠性计算构件计算所述合成特征图的可靠性，以及
其中基于各个合成特征图的可靠性，通过针对每个像素选择任何合成特征图的一个合成特征量并通过针对所有像素合成所述合成特征量，所述合成特征图合成构件产生所述被摄体图。
6.根据权利要求5所述的图像处理装置，
其中基于所述处理对象帧的所述带域特征图上的、与所述前一帧的被摄体区域对应的附近区域中的带域特征量的分散程度，所述可靠性计算构件计算所述带域特征图的可靠性，以及
其中基于各个带域特征图的可靠性，通过针对每个像素选择任何带域特征图的一个带域特征量并通过针对所有像素合成所述带域特征量，所述带域特征图合成构件产生所述合成特征图。
7.根据权利要求1所述的图像处理装置，其中所述被摄体图产生构件通过针对每个像素选择所述特征图中的最大特征量而产生所述被摄体图。
8.一种图像处理装置的图像处理方法，该图像处理装置指定包括多个连续帧的每个输入图像上的特定被摄体的区域并且包括：
被摄体图产生构件，从与所述输入图像的各个像素的特征对应且表示所述输入图像的各个区域中的特征量的特征图，针对每个像素选择任何特征图的一个特征量，以由此产生表示所述输入图像的各个区域与所述被摄体的相似性的被摄体图；以及
被摄体区域指定构件，基于所述被摄体图来指定作为在所述被摄体图中与所述被摄体最相似的区域的被摄体区域，以由此指定包括所述输入图像上的所述被摄体的区域，
所述图像处理方法包括以下步骤：
通过所述被摄体图产生构件，通过从与所述输入图像的各个像素的特征对应且表示所述输入图像的各个区域中的特征量的特征图，针对每个像素选择任何特征图的一个特征量，产生表示所述输入图像的各个区域与所述被摄体的相似性的被摄体图；以及
通过所述被摄体区域指定构件，通过基于所述被摄体图来指定作为在所述被摄体图中与所述被摄体最相似的区域的被摄体区域，指定包括所述输入图像上的所述被摄体的区域。
9.一种图像处理程序，该图像处理程序指定包括多个连续帧的每个输入图像上的特定被摄体的区域，并且该图像处理程序使计算机执行包括如下步骤的处理：
通过从与所述输入图像的各个像素的特征对应且表示所述输入图像的各个区域中的特征量的特征图，针对每个像素选择任何特征图的一个特征量，产生表示所述输入图像的各个区域与所述被摄体的相似性的被摄体图；以及
通过基于所述被摄体图来指定作为在所述被摄体图中与所述被摄体最相似的区域的被摄体区域，指定包括所述输入图像上的所述被摄体的区域。
10.一种图像处理装置，该图像处理装置指定包括多个连续帧的每个输入图像上的特定被摄体的区域，该图像处理装置包括：
被摄体图产生部分，从与所述输入图像的各个像素的特征对应且表示所述输入图像的各个区域中的特征量的特征图，针对每个像素选择任何特征图的一个特征量，以由此产生表示所述输入图像的各个区域与所述被摄体的相似性的被摄体图；以及
被摄体区域指定部分，基于所述被摄体图来指定作为在所述被摄体图中与所述被摄体最相似的区域的被摄体区域，以由此指定包括所述输入图像上的所述被摄体的区域。
CN2011100293583A 2010-02-04 2011-01-27 图像处理装置和方法及其程序 Pending CN102196170A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-022812 2010-02-04
JP2010022812A JP2011160379A (ja) 2010-02-04 2010-02-04 画像処理装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
CN102196170A true CN102196170A (zh) 2011-09-21

Family

ID=44168901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011100293583A Pending CN102196170A (zh) 2010-02-04 2011-01-27 图像处理装置和方法及其程序

Country Status (5)

Country Link
US (1) US8594435B2 (zh)
EP (1) EP2372655A1 (zh)
JP (1) JP2011160379A (zh)
KR (1) KR20110090787A (zh)
CN (1) CN102196170A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017502589A (ja) * 2013-12-21 2017-01-19 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 対象トラッキングボックスの表示を安定させるためのシステムおよび方法
CN111524086A (zh) * 2019-02-04 2020-08-11 广赛布托有限公司 运动物体检测装置、运动物体检测方法、存储介质
CN112017099A (zh) * 2020-09-03 2020-12-01 山东省计算中心（国家超级计算济南中心） 一种程序代码在图像中隐藏、解析的方法及系统

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5565041B2 (ja) 2010-03-30 2014-08-06 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5987306B2 (ja) 2011-12-06 2016-09-07 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP2015097301A (ja) 2012-03-09 2015-05-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム
CN104205798B (zh) 2012-04-09 2017-08-04 索尼公司 显示控制装置、显示控制方法和存储介质
JP2015111746A (ja) 2012-04-09 2015-06-18 ソニー株式会社 画像処理装置、画像処理方法、プログラム
CN104956659B (zh) 2013-01-09 2018-12-14 索尼公司 图像处理装置、图像处理方法和程序
WO2014109125A1 (ja) 2013-01-09 2014-07-17 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP2014232418A (ja) * 2013-05-29 2014-12-11 株式会社ニコン 画像処理装置、撮像装置、および画像処理プログラム
CN103927767B (zh) * 2014-04-18 2018-05-04 北京智谷睿拓技术服务有限公司 图像处理方法及图像处理装置
JP6509027B2 (ja) * 2015-05-12 2019-05-08 キヤノン株式会社 被写体追跡装置、光学機器、撮像装置、被写体追跡装置の制御方法、プログラム
JP6776213B2 (ja) * 2017-11-01 2020-10-28 株式会社東芝 軌道識別装置
CN109829030A (zh) * 2019-02-21 2019-05-31 中国科学院地理科学与资源研究所 专题地图的制图方法
CN109977956B (zh) * 2019-04-29 2022-11-18 腾讯科技（深圳）有限公司 一种图像处理方法、装置、电子设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7212668B1 (en) * 2000-08-18 2007-05-01 Eastman Kodak Company Digital image processing system and method for emphasizing a main subject of an image
CN101295353A (zh) * 2007-04-24 2008-10-29 索尼株式会社 确定相似图像的装置和方法
WO2009123354A1 (en) * 2008-04-04 2009-10-08 Fujifilm Corporation Method, apparatus, and program for detecting object
CN101605209A (zh) * 2008-05-26 2009-12-16 三洋电机株式会社 摄像装置及图像再生装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3362364B2 (ja) * 1992-07-17 2003-01-07 オムロン株式会社 ファジイ推論システムおよび方法ならびに前件部処理装置
WO1998020437A2 (en) * 1996-11-04 1998-05-14 3-Dimensional Pharmaceuticals, Inc. System, method and computer program product for identifying chemical compounds having desired properties
US6453246B1 (en) * 1996-11-04 2002-09-17 3-Dimensional Pharmaceuticals, Inc. System, method, and computer program product for representing proximity data in a multi-dimensional space
US6282317B1 (en) * 1998-12-31 2001-08-28 Eastman Kodak Company Method for automatic determination of main subjects in photographic images
JP5318321B2 (ja) 2004-08-05 2013-10-16 パナソニック株式会社 撮像装置
JP4963964B2 (ja) * 2004-09-15 2012-06-27 パナソニック株式会社 物体検出装置
US7334901B2 (en) * 2005-04-22 2008-02-26 Ostendo Technologies, Inc. Low profile, large screen display using a rear projection array system
US7623683B2 (en) * 2006-04-13 2009-11-24 Hewlett-Packard Development Company, L.P. Combining multiple exposure images to increase dynamic range
KR101446772B1 (ko) * 2008-02-04 2014-10-01 삼성전자주식회사 디지털 영상 처리 장치 및 그 제어 방법
JP4756660B2 (ja) * 2008-03-14 2011-08-24 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
JP4448189B2 (ja) 2008-06-18 2010-04-07 キヤノン株式会社 生体情報取得装置
JP4862930B2 (ja) * 2009-09-04 2012-01-25 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2011176748A (ja) 2010-02-25 2011-09-08 Sony Corp 画像処理装置および方法、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7212668B1 (en) * 2000-08-18 2007-05-01 Eastman Kodak Company Digital image processing system and method for emphasizing a main subject of an image
CN101295353A (zh) * 2007-04-24 2008-10-29 索尼株式会社 确定相似图像的装置和方法
WO2009123354A1 (en) * 2008-04-04 2009-10-08 Fujifilm Corporation Method, apparatus, and program for detecting object
CN101605209A (zh) * 2008-05-26 2009-12-16 三洋电机株式会社 摄像装置及图像再生装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017502589A (ja) * 2013-12-21 2017-01-19 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 対象トラッキングボックスの表示を安定させるためのシステムおよび方法
CN111524086A (zh) * 2019-02-04 2020-08-11 广赛布托有限公司 运动物体检测装置、运动物体检测方法、存储介质
CN111524086B (zh) * 2019-02-04 2023-10-20 广赛布托有限公司 运动物体检测装置、运动物体检测方法、存储介质
CN112017099A (zh) * 2020-09-03 2020-12-01 山东省计算中心（国家超级计算济南中心） 一种程序代码在图像中隐藏、解析的方法及系统
CN112017099B (zh) * 2020-09-03 2023-12-15 山东省计算中心（国家超级计算济南中心） 一种程序代码在图像中隐藏、解析的方法及系统

Also Published As

Publication number Publication date
US20110188758A1 (en) 2011-08-04
KR20110090787A (ko) 2011-08-10
JP2011160379A (ja) 2011-08-18
US8594435B2 (en) 2013-11-26
EP2372655A1 (en) 2011-10-05

Similar Documents

Publication Publication Date Title
CN102196170A (zh) 图像处理装置和方法及其程序
CN102439966B (zh) 图像处理设备和方法
US10515471B2 (en) Apparatus and method for generating best-view image centered on object of interest in multiple camera images
CN102103754B (zh) 被摄体跟踪设备、被摄体区域提取设备及其控制方法
CN103733607B (zh) 用于检测运动物体的装置和方法
US20210281748A1 (en) Information processing apparatus
CN106462944A (zh) 将多个高分辨率图像映射到一个低分辨率360度图像上生成无重影的高分辨全景图
JP5577793B2 (ja) 画像処理装置および方法、並びにプログラム
TWI359387B (en) Robust camera pan vector estimation using iterativ
CN102480595B (zh) 图像处理设备和图像处理方法
CN102111556B (zh) 摄像装置以及图像处理方法
JP2011054071A (ja) 画像処理装置、画像処理方法及びプログラム
JP6924064B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
CN103124325A (zh) 图像处理装置、图像处理方法和记录介质
US9332196B2 (en) Image processing device, method and program
JP2011146827A (ja) 画像処理装置および方法、並びにプログラム
CN109714530A (zh) 一种航空相机图像调焦方法
CN110557556A (zh) 一种多对象拍摄的方法及装置
CN109993718B (zh) 一种多通道投影图像融合方法及装置
JP2011146826A (ja) 画像処理装置および方法、並びにプログラム
CN113313707B (zh) 原始图像处理方法、装置、设备及可读存储介质
CN112004019B (zh) 跟踪对焦方法及计算机可读存储介质
JP2021040178A (ja) 画像処理装置、撮像装置、制御方法、およびプログラム
CN107347147B (zh) 并行图像平滑处理平台
Hillman et al. Semi-automatic foreground/background segmentation of motion picture images and image sequences

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110921