CN101960834B - 摄像装置 - Google Patents

摄像装置 Download PDF

Info

Publication number
CN101960834B
CN101960834B CN200980107707XA CN200980107707A CN101960834B CN 101960834 B CN101960834 B CN 101960834B CN 200980107707X A CN200980107707X A CN 200980107707XA CN 200980107707 A CN200980107707 A CN 200980107707A CN 101960834 B CN101960834 B CN 101960834B
Authority
CN
China
Prior art keywords
mentioned
tracing object
icon
tracking
personage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200980107707XA
Other languages
English (en)
Other versions
CN101960834A (zh
Inventor
藤田日出
克拉丽莎·伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of CN101960834A publication Critical patent/CN101960834A/zh
Application granted granted Critical
Publication of CN101960834B publication Critical patent/CN101960834B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

摄影装置具有：追踪处理部，其基于摄像元件的输出信号在帧图像列中对追踪对象进行追踪；追踪可靠度评价部，其基于摄像元件的输出信号，将追踪处理部的追踪可靠度分类为多个阶段并进行评价；以及显示部，其显示帧图像列。在显示画面上显示与追踪对象对应的追踪对象图标和表示被评价的可靠度的等级图标。利用等级图标将可靠度分类为多个阶段进行显示。另外，采用与追踪对象的颜色(服装颜色)相同的颜色来表现追踪对象图标。

Description

摄像装置
技术领域
本发明涉及数码照相机等摄像装置，尤其涉及具备对被拍摄对象进行追踪的功能的摄像装置。
背景技术
在采用监视照相机的系统中可实现对运动物体进行提取以及追踪的功能。在这种系统中，当从由监视照相机所获得的图像中的指定区域内检测到运动物体(可疑者)时输出警报。另外，为了使监视员容易确认，而应用了具有显示追踪结果的功能的系统(参照下述非专利文献1)。
采用在追踪图形设定后搜索图像内的图形位置的图形匹配法、基于光流(optical flow)来检测运动物体位置的方法、以及对颜色等被拍摄对象特征进行跟踪的方法等，来实现使用了图像的追踪处理。
虽然是以监视照相机中的利用及机器人视觉实现为目的，对使用了图像处理的运动物体的提取以及追踪技术进行了研究，但近年来，在面向一般消费者的数字照相机中也开始进行利用。
例如，公开了如下的方法：在追踪所指定的被拍摄对象、并操作快门按钮时，利用图像截取处理来生成将该被拍摄对象配置在中心的构图的静态图像(参照下述非专利文献2)。
另外，还提出了谋求在动态图像摄影时避免所关注的被拍摄对象从摄影范围内脱离的方法(参照下述专利文献1)。在该方法中，基于运动矢量来判断所关注的被拍摄对象是否有可能从摄影范围内脱离，在判断为有这种可能性的情况下发出警告。
专利文献1：日本特开2007-88611号公报
非专利文献1：羽下哲司，以外2名，“侵入检测·跟踪照相机”，[online]，2004年8月，三菱电机，[2008年1月25日检索]，互联网<URL:http://www.mitsubishielectric.co.jp/giho/0408/0408111.pdf>(羽下哲司、外2名、“侵入検知·追跡カメラ”、[online]、平成16年8月、三菱電機、[平成20年1月25日検索]、インタ一ネツト<URL:http://www.mitsubishielectric.co.jp/giho/0408/0408111.pdf>)
非专利文献2：卡西欧，EXILIM综合目录，“自动取景功能(第4页的右下)”，[online]，2007年11月，[2008年1月25日检索]，互联网<URL:http://ftp.casio.co.jp/pub/exilim/jp/exilim.pdf>(カシオ、エクシリム総合カタログ、“オ一トフレ一ミング機能(ペ一ジ4の右下)”、[online]、平成19年11月、[平成20年1月25日検索]、インタ一ネツト<URL:http://ftp.casio.co.jp/pub/exilim/jp/exilim.pdf>)
在利用这种追踪功能时，用户对数字照相机实施规定操作，以使追踪功能有效。在此操作之后，用户认为追踪功能基本上已有效工作，为了取得期望的图像而进行摄影操作。但是，图像处理的追踪并非始终成功，基于各种原因追踪的容易度发生变化，照相机跟丢追踪对象的情况也时有发生。例如，在基于追踪对象的颜色信息进行追踪的情况下，当背景色与追踪对象的颜色近似时，追踪的容易度降低，有时照相机会跟丢追踪对象。当追踪的容易度降低时，显然追踪的可靠度也降低。
一直以来，用户并不知道该追踪的可靠度或容易度，因此，即使用户打算有效地采用追踪功能，照相机也在不知不觉中跟丢追踪对象，结果，无法获得期望的图像。
另外，大多情况下在摄影范围内包含各种各样的被拍摄对象，因此按照容易知晓的方式向用户提示照相机实际正在追踪的被拍摄对象为哪个被拍摄对象也很重要。
发明内容
因此，本发明的目的是提供具备容易知晓追踪状态并向用户告知的功能的摄像装置。
本发明的摄像装置的特征是具有：摄像元件，其输出表示依次通过摄影而获得的图像列的信号；追踪处理单元，其基于上述摄像元件的输出信号，检测上述图像列中的追踪对象的位置，由此来追踪上述追踪对象；追踪评价单元，其基于上述摄像元件的输出信号，将上述追踪处理单元的追踪可靠性或容易性的程度分类为多个阶段并进行评价；显示单元，其显示上述图像列；以及显示控制单元，其使上述显示单元显示上述追踪评价单元的评价结果。
由此，能够向用户告知追踪的可靠度或容易度。只要能够知道追踪的可靠度或容易度，用户就可以认识到用于提高可靠度或容易度的构图设定及不过于依赖追踪处理的照相机操作的必要性。结果，还可以避免未能取得期望的图像就结束这样的事态发生。
具体地说例如，上述显示控制单元使上述显示单元显示与上述追踪对象对应的追踪对象图标和表示被评价的上述程度的等级图标。
并且例如，上述追踪处理单元基于由上述摄像元件的输出信号所确定的上述追踪对象的颜色信息来执行上述追踪对象的追踪，上述追踪对象图标具有与上述颜色信息相应的颜色。
由此，能够以容易知晓的方式向用户示出摄像装置正在追踪哪个被拍摄对象。
此外例如，上述追踪处理单元在设定了与上述追踪对象所具有的颜色相应的追踪色之后，在上述图像列内追踪具有该追踪色的图像区域，由此来执行上述追踪对象的追踪，上述显示控制单元在设定上述追踪色之前，将上述追踪对象图标所具有的颜色设定为无色或事先已设定的颜色。
由此，能够容易知晓追踪是否开始发挥功能并向用户告知。
另外例如，在存在多个追踪对象作为上述追踪对象的情况下，上述显示控制单元使上述显示单元显示与上述多个追踪对象对应的多个追踪对象图标。
并且例如，在存在上述多个追踪对象的情况下，当上述多个追踪对象中包括实际能追踪的追踪对象和实际不能追踪的追踪对象时，上述显示控制单元在与前者的追踪对象对应的追踪对象图标、和与后者的追踪对象对应的追踪对象图标之间，变更上述追踪对象图标的显示形式。
由此，能够容易知晓针对各追踪对象的追踪状态并向用户告知。
另外例如，在存在上述多个追踪对象的情况下，当在上述多个追踪对象中包括实际能追踪的追踪对象和实际不能追踪的追踪对象时，上述显示控制单元使与前者的追踪对象对应的追踪对象图标的显示位置比与后者的追踪对象对应的追踪对象图标的显示位置更接近于上述等级图标侧。
另外例如，在存在上述多个追踪对象的情况下，上述追踪评价单元针对每个追踪对象来执行上述程度的评价，上述显示控制单元在上述等级图标中反映针对每个上述追踪对象而评价的上述程度之内的最大的程度、最小的程度、或它们双方。
另外例如，在存在上述多个追踪对象的情况下，当在上述多个追踪对象间设定不同的追踪优先级时，上述显示控制单元按照上述追踪优先级来决定各追踪对象图标的显示尺寸，或者按照上述追踪优先级来决定各追踪对象图标的显示位置。
另外例如，上述显示控制单元可以使上述显示单元显示与上述追踪对象对应的追踪对象图标，并根据上述追踪对象图标中所采用的颜色，将所评价的上述程度分类为多个阶段进行表现。
另外例如，采用基于上述摄像元件的输出信号的图像、或者采用事先登记的图像，来生成上述追踪对象图标。
本发明的其它摄像装置具备：摄像元件，其输出表示依次通过摄影而获得的图像列的信号；追踪处理单元，其基于上述摄像元件的输出信号，检测上述图像列中的追踪对象的位置，由此来追踪上述追踪对象；显示单元，其显示上述图像列；以及显示控制单元，其使上述显示单元显示与上述追踪对象对应的追踪对象图标；上述追踪处理单元基于由上述摄像元件的输出信号所确定的上述追踪对象的颜色信息来执行上述追踪对象的追踪，上述追踪对象图标具有与上述颜色信息相应的颜色。
由此，能够以容易知晓方式向用户示出摄像装置正在追踪哪个被拍摄对象。
(发明的效果)
本发明的目的是提供具有容易知晓追踪状态并向用户告知的功能的摄像装置。
通过以下所示的实施方式的说明，使本发明的意义或效果变得更加明确。其中，以下的实施方式仅仅是本发明的一个实施方式，本发明或各构成要件用语的意义不限于以下实施方式所记载的内容。
附图说明
图1是本发明实施方式的摄像装置的整体框图。
图2是图1摄像部的内部结构图。
图3是图1摄像装置的外观立体图。
图4是图1摄像装置内与被拍摄对象追踪功能特别相关的部位的框图。
图5是示出图1摄像装置的追踪模式中的动作流程的流程图。
图6(a)以及(b)分别是表示追踪模式中的显示用图像例的图以及表示作为该显示用图像的基础的帧图像的图。
图7(a)、(b)、以及(c)分别是表示图1的显示部中所显示的追踪模式图标的图、构成该追踪模式图标的追踪对象图标的图、以及表示构成该追踪模式图标的等级图标的图。
图8是示出从初始设定用帧图像中提取人物的面部区域以及躯体区域的状况的图。
图9是示出在追踪处理执行中所显示的显示用图像例的图。
图10是图5的步骤S 16中的追踪处理的详细流程图。
图11是示出将作为追踪对象帧图像的被运算图像分割成多个小块的状况的图。
图12是用于说明图4的追踪可靠度评价部进行的追踪可靠度评价方法的图，是在作为追踪对象帧图像的被运算图像中重叠追踪对象人物的中心等的图。
图13(a)、(b)、以及(c)分别是示出已评价的追踪可靠度高时、中等程度时、低时的等级图标状态的图。
图14(a)、(b)、(c)、以及(d)分别是已评价的追踪可靠度高时、中等程度时、低时的显示画面例、跟丢追踪对象人物时的显示画面例。
图15是示出第1应用显示例的、具有将内部色设为多色的身体图标的追踪对象图标的图。
图16(a)以及(b)分别是第3应用显示例的、示出追踪对象人物为3人时的显示用图像例的图、以及该显示用图像中所包含的3个追踪对象图标的放大图。
图17(a)以及(b)是示出第4应用显示例的3个追踪对象图标的状况的图。
图18(a)以及(b)是示出第5应用显示例的追踪模式图标的状况的图。
图19(a)以及(b)是示出第6应用显示例的追踪模式图标的状况的图。
图20(a)以及(b)是示出第7应用显示例的追踪模式图标的状况的图。
图21(a)以及(b)是示出第8应用显示例的3个追踪对象图标的状况的图。
图22是示出第8应用显示例的、前后重叠显示追踪模式图标中所包含的多个追踪对象图标的状况的图。
图23(a)、(b)、以及(c)是示出第9应用显示例的追踪对象图标的状况的图。
图24是示出第10应用显示例的追踪模式图标的状况的图。
图25(a)以及(b)是示出第10应用显示例的、形成追踪对象图标的身体图标的形状根据追踪对象人物的性别而发生变化的状况的图。
图26(a)以及(b)是示出第10应用显示例的、在多个追踪对象图标间显示尺寸不同的状况的图。
图27是示出第11应用显示例的追踪模式图标的状况的图。
图28是示出第12应用显示例的运动量图标的图。
图29(a)、(b)、(c)、以及(d)是分别示出第12应用显示例的、图像上追踪对象人物的运动量大时、中等程度时、小时、极小时的运动量图标的状况的图。
图30是示出第12应用显示例的、按照图像上追踪对象人物的运动量来变更等级图标长度的状况的图。
符号说明
1摄像装置
15显示部
33摄像元件
51追踪处理部
52追踪可靠度评价部
53显示控制部
具体实施方式
以下，参照附图，对本发明的实施方式进行具体说明。在所参照的各个图中，对同一部分标注同一符号，原则上省略对同一部分重复说明。
图1是本发明实施方式的摄像装置1的整体框图。摄像装置1是可摄影以及可记录静态图像的数码照相机、或可摄影以及可记录静态图像以及动态图像的数字摄像机。
摄像装置1具备：摄像部11、AFE(Analog Front End)12、主控制部13、内部存储器14、显示部15、记录介质16、和操作部17。在操作部17中具有快门按钮17a。
图2示出摄像部11的内部结构图。摄像部11具有：光学系统35、光圈32、由CCD(Charge Coupled Devices)及CMOS(Complementary MetalOxide Semiconductor)图像传感器等构成的摄像元件33、用于驱动控制光学系统35及光圈32的驱动器34。光学系统35由包含变焦透镜30以及聚焦透镜31在内的多片透镜形成。变焦透镜30以及聚焦透镜31能够在光轴方向上移动。驱动器34基于来自主控制部13的控制信号，对变焦透镜30以及聚焦透镜31的各个位置和光圈32的开度进行驱动控制，由此控制摄像部11的焦点距离(视角)以及焦点位置和对摄像元件33的入射光量。
摄像元件33对经由光学系统35以及光圈32入射的表示被拍摄对象的光学像进行光电变换，将通过该光电变换而获得的电信号输出至AFE12。更具体地说，摄像元件33具有以矩阵状二维排列的多个受光像素，在各次摄影中，各受光像素积蓄与曝光时间对应的电荷量的信号电荷。来自具有与所积蓄的信号电荷的电荷量成比例大小的各受光像素的模拟信号，根据在摄像装置1内生成的驱动脉冲，依次输出至AFE12。曝光时间的长度由主控制部13进行控制。
AFE12将从摄像部11(摄像元件33)输出的模拟信号进行放大，将放大后的模拟信号变换为数字信号。AFE12将该数字信号依次输出至主控制部13。AFE12中的信号放大的放大度由主控制部13进行控制。
主控制部13具有：CPU(Central Processing Unit)、ROM(Read OnlyMemory)、以及RAM(Random Access Memory)等，并作为影像信号处理部发挥功能。主控制部13基于AFE12的输出信号，生成表示摄像部11所拍摄到的图像的影像信号。另外，主控制部13还具有作为控制显示部15的显示内容的显示控制单元的功能，并对显示部15进行显示所需的控制。
内部存储器14由SDRAM(Synchronous Dynamic Random AccessMemory)等形成，并临时存储在摄像装置1内生成的各种数据。显示部15是由液晶显示面板等构成的显示装置，在主控制部13的控制下，显示已拍摄到的图像及记录介质16中所记录的图像等。记录介质16是SD(SecureDigital)存储卡等非易失性存储器，在主控制部13的控制下，存储已拍摄到的图像等。
操作部17接受来自外部的操作。对操作部17的操作内容被传递给主控制部13。快门按钮17a是用于指示静态图像的摄影以及记录的按钮。通过按下快门按钮17a来指示静态图像的摄影以及记录。
另外，可对快门按钮17a进行2阶段的按下操作，当摄影者轻轻按下快门按钮17a时，快门按钮17a成为半按状态，当从该状态进一步按下快门按钮17a时，快门按钮17a成为全按状态。
在摄像装置1的动作模式中，包含可拍摄静态图像或动态图像的摄影模式、和可在显示部15中再生记录介质16中所记录的静态图像或动态图像的再生模式。在摄影模式中，以规定的帧周期依次进行摄影，并从摄像元件33中取得摄影图像列。将形成该摄影图像列的各个图像称为“帧图像”。所谓图像列(例如，摄影图像列)表示以时间系列排列的多个图像。帧图像列作为动态图像在显示部15的显示画面中进行更新显示。
图3示出从摄影者侧观察的摄像装置1的外观立体图。图3还示出作为被拍摄对象的人物。摄影者可通过确认在显示部15的显示画面中所显示的被拍摄对象的状况，来确认摄像装置1的摄影范围。
摄像装置1具有采用了图像处理的被拍摄对象追踪功能，在实现该被拍摄对象追踪功能时进行特征的显示。在摄影模式下实现被拍摄对象追踪功能。将作为摄影模式的一个形态的实现被拍摄对象追踪功能的动作模式称为追踪模式。通过对操作部17实施规定操作，来执行追踪模式中的动作。以下所示的动作只要没有特别叙述，就是该追踪模式中的摄像装置1的动作。另外，在以下说明中，在仅称为“显示画面”的情况下，是指显示部15中的显示画面，在仅称为“显示”的情况下，是指显示部15的显示画面上的“显示”。另外，将表示图像的数据称为图像数据。或者帧图像的图像数据表示该帧图像的光学像，并且由AFE12的输出信号生成。
图4是摄像装置1内的与被拍摄对象追踪功能特别相关的部位的框图。将追踪处理部51、追踪可靠度评价部52、以及显示控制部53设置在图1的主控制部13内。将形成帧图像列的各帧图像的图像数据依次给予追踪处理部51、追踪可靠度评价部52、以及显示控制部53。
追踪处理部51基于帧图像列的图像数据逐次检测各帧图像内的特定被拍摄对象位置，由此来追踪帧图像列中的特定被拍摄对象的位置。在本实施方式中，特定被拍摄对象是人物。因此，以下将应该被追踪的特定被拍摄对象称为追踪对象人物。
追踪处理部51还具有作为面部检测部(未图示)的功能，其基于帧图像的图像数据从帧图像中检测人物面部，并提取包含被检测出的面部的面部区域。将实现该功能的处理称为面部检测处理。作为检测在图像中包含的面部的方法已知有各种方法，追踪处理部51还可以采用其它的方法。例如，如日本特开2000-105819号公报所记载的方法那样，可通过从帧图像中提取肤色区域来检测面部(面部区域)，或者可采用日本特开2006-211139号公报或日本特开2006-72770号公报所记载的方法来检测面部(面部区域)。
追踪可靠度评价部52基于帧图像列的图像数据，评价追踪处理部51的追踪可靠度(追踪可靠性的程度)或追踪容易度(追踪容易性的程度)。追踪可靠度和追踪容易度具有同样的意义或类似的意义。严格来说，追踪可靠度能解释为表示过去已执行的追踪能够是何种程度可靠，追踪容易度能解释为表示之后要执行的追踪是何种程度容易。如果追踪容易度高，则追踪可靠度也高，如果追踪容易度低，则追踪可靠度也低。在以下的说明中，为了便于记述，可认为“追踪处理部51所评价的内容是追踪可靠度”，不过也可以将追踪可靠度替换读为追踪容易度。
显示控制部53控制显示部15的显示内容，根据帧图像的图像数据来生成显示用图像的图像数据，并通过将其发送至显示部15来使显示用图像显示在显示画面上。因为帧图像是周期性地依次取得的，所以显示用图像也周期性地生成，并在显示画面上进行更新显示。通过使帧图像反映追踪处理部51的追踪结果以及追踪可靠度评价部52的评价结果，来生成该显示用图像。此外，因为显示用图像被显示在显示画面上，所以将显示用图像和显示画面视为同一，来进行以下说明。另外，将显示用图像以及显示画面的水平方向作为左右方向，将显示用图像以及显示画面的垂直方向作为上下方向。
参照图5，对追踪模式中的动作更详细地进行说明。图5是表示追踪模式中的摄像装置1的动作流程的流程图。首先，当将摄像装置1的动作模式设定为追踪模式时，在步骤S11中，利用显示控制部53，在当前的帧图像上重叠显示初始化前的追踪模式图标。
图6(a)示出在步骤S11中显示的显示用图像200，图6(b)示出该显示用图像200的生成源的帧图像201。显示用图像200右下侧的虚线矩形区域202内的图标是初始化前的追踪模式图标。初始化前的追踪模式图标在显示画面上进行闪烁(但是，该闪烁处理的执行不是必须的)。在到达步骤S15之前，持续显示初始化前的追踪模式图标的状态。
将初始化前的追踪模式图标以及后述的追踪色设定后的追踪模式图标统一简称为追踪模式图标。图7(a)示出追踪模式图标的放大图。由在左右方向上排列的追踪对象图标以及等级图标(level icon)来形成追踪模式图标。在虚线矩形210内示出的图形是追踪对象图标，在虚线矩形220内示出的图形是等级图标。
如图7(b)所示，由在上下方向上排列的面部图标以及身体图标形成追踪对象图标。在虚线矩形211内示出的图形表示面部图标，在虚线矩形212内示出的图形表示身体图标。面部图标将模拟人物面部的图形作为图像来表现，身体图标将模拟人物躯体的图形作为图像来表现。此外，图7(a)以及(b)中的虚线是为了便于说明而示出的，该虚线不是追踪模式图标的构成要素(该虚线可不显示)。
如图7(c)所示，等级图标由附加了符号221～223的第1～第3带图标(bar icon)形成。第1～第3带图标在上下方向上排列显示。第1～第3带图标分别将平行四边形的图形作为图像来表现，具有使追踪对象的动作图像化这样的创意。
身体图标具有大致四边形的外形，该内部色按照追踪状态进行变更。初始化前的追踪模式图标中的身体图标的内部色为无色(即透明)。因此，如图6(a)所示，在显示用图像200中的身体图标的内部显示帧图像对应部位的图像。另外，各带图标如上所述具有平行四边形的外形，该平行四边形的内部色也按照追踪状态进行变更。初始化前的追踪模式图标中的各带图标的内部色为无色。此外，还可以将初始化前的追踪模式图标中的身体图标的内部色以及/或各带图标的内部色设为无色以外的事前设定的颜色(例如，半透明色)。另外，在图6(a)中面部图标的内部色也为无色，但面部图标的内部色是任意的。
在设定为追踪模式之后，图4的追踪处理部51对依次输入的帧图像进行面部检测处理。并且，在继图5的步骤S11之后的步骤S12以及S13中，追踪处理部51确认是否从当前的帧图像中检测出面部，在检测出面部且快门按钮17a为半按状态的情况下，转移至步骤S14。如果以用户的观点来看，进行如下这样的动作。用户在设定追踪模式之后，如果将摄像装置1朝着人物方向半按快门按钮17a，则自动检测面部，并到达步骤S14。此外，在本例中，将向步骤14转移的条件设为对快门按钮17a的半按操作，不过可将该转移条件变更为其它任意的条件。例如，在对操作部17进行了规定的操作时，可从步骤S13向步骤S14转移。
在步骤S14中，追踪处理部51将到达步骤S14之前获得的检测出面部的帧图像作为初始设定用帧图像来捕捉，并基于初始设定用帧图像的图像数据来设定追踪色。参照图8来说明追踪色的设定方法。图8的图像230表示初始设定用帧图像的例子。在图8中，虚线矩形区域231是通过面部检测处理从初始设定用帧图像230中提取出的面部区域。在面部区域231的提取后，追踪处理部51检测与该面部区域231对应的包含人物躯体部分的区域即躯体区域232。躯体区域232为存在于面部区域231下方侧(从眉间朝向口的方向侧)的矩形区域。依赖于面部区域231的位置以及大小来决定初始设定用帧图像中的躯体区域232的位置以及大小。
然后，追踪处理部51基于躯体区域232内图像的图像数据来确定躯体区域232内的颜色，将确定的颜色设定为追踪色。例如，基于形成躯体区域232内的图像的各个像素的色信号(例如，RGB信号)来生成躯体区域232内图像的色直方图。然后，基于该色直方图来求出躯体区域232内图像中的支配色或最频色，将所求出的颜色设定为追踪色。所谓某图像的支配色是指占该图像的图像区域大部分的颜色，所谓某图像的最频色是指在该图像的色直方图中具有最高次数的颜色(支配色和最频色可以是相同的)。或者，可通过使形成躯体区域232内图像的各像素的色信号(例如，RGB信号)平均化，来求出躯体区域232内图像的平均色，将该平均色设定为追踪色。
在追踪色设定后，转移至图5的步骤S15。在步骤S15中，通过显示控制部53，将追踪色设定后的追踪模式图标重叠显示在当前的帧图像上。在步骤S15以及其后的步骤S16中进行追踪色设定后的追踪模式图标的显示。图9示出在此显示的显示用图像的例子。在图9的显示用图像240的右下方，将追踪色设定后的追踪模式图标重叠在当前的帧图像上。追踪色设定后的追踪模式图标中的身体图标的内部色为与追踪色相同的颜色(或与追踪色类似的颜色)。另外，追踪色设定后的追踪模式图标中的各带图标的内部色依据追踪可靠度来决定。下面对其进行叙述。另外，如图9所示，重叠显示包围追踪对象人物躯体区域的一部分或全部的框241。不过，也可以按照用户的指示取消该框241的显示。
在步骤S16中，追踪处理部51对在步骤S15的处理以后获得的帧图像列执行追踪处理。将形成应该实施该追踪处理的帧图像列的各帧图像特别称为追踪对象帧图像。追踪处理部51基于追踪对象帧图像列的图像数据，来检测各追踪对象帧图像中的追踪对象人物的位置。
追踪处理部51基于追踪对象人物所具有的颜色信息来进行追踪处理。作为基于颜色信息的追踪处理的方法，可采用日本特开平5-284411号公报、日本特开2000-48211号公报、日本特开2001-169169号公报等中记载的方法。在当前例中，利用如上所述设定的追踪色来表现追踪对象人物具有的颜色信息。由此，追踪处理部51基于追踪对象帧图像的颜色信号，从追踪对象帧图像中提取具有与追踪色的类似性高的颜色的区域。这里所提取的区域被视为追踪对象帧图像内的追踪对象人物的躯体区域。
更具体地说，例如在所关注的追踪对象帧图像内设定具有与追踪对象人物的躯体区域大小同等大小的追踪框，一边在搜索范围内依次变更追踪框的位置，一边执行追踪框内的图像色和追踪色的类似性评价，并判断为在获得最大类似性的追踪框的位置处存在追踪对象人物的躯体区域。以从上次的追踪对象帧图像中检测出的追踪对象人物的位置为基准，设定对本次的追踪对象帧图像的搜索范围。
追踪处理部51对逐次输入的追踪对象帧图像执行基于上述颜色信息的追踪处理，由此来检测各追踪对象帧图像中的追踪对象人物的位置。例如，利用该追踪对象人物的躯体区域的中心座标值来表现追踪对象人物的位置。
另外，由于追踪对象人物与摄像装置1之间的距离(实际空间上的距离)的变化等而引起追踪对象帧图像上的追踪对象人物的大小发生变化。因此，需要按照追踪对象帧图像上的追踪对象人物的大小来适当变更上述追踪框的大小，不过可通过采用在公知的追踪算法中使用的被拍摄对象尺寸检测方法来实现此变更。例如，在追踪对象帧图像中，当存在追踪对象人物的躯体时，认为从设想的点到充分相离的点出现背景，根据两点间的图像特征来分类出两点间的各位置的像素属于背景以及追踪对象人物的哪一个。通过该分类来推定追踪对象人物的轮廓。然后，根据该轮廓来推定追踪对象人物的大小，按照所推定出的大小来设定追踪框的大小。
设定追踪框大小的情况与检测追踪对象帧图像中的追踪对象人物的躯体区域大小的情况意义相同。另外，追踪对象人物的大小与躯体区域的大小成比例，因此在检测躯体区域大小的同时，还确定追踪对象人物的大小。因此，追踪处理部51检测各追踪对象帧图像中的追踪对象人物的位置以及大小。将包含表示检测出的位置以及大小的信息在内的追踪结果信息传递至追踪可靠度评价部52以及显示控制部53(参照图4)。图9中的框241是包围从追踪对象帧图像中检测出的躯体区域的一部分或全部的框，其中，该追踪对象帧图像是显示用图像240的基础，显示控制部53基于追踪结果信息来生成该框241。
[追踪可靠度的评价以及显示]
接着，参照图10，说明追踪可靠度的评价方法以及显示方法。图10相当于在图5的步骤S16中执行的追踪处理的详细流程图。在此例中，由步骤S21～S24形成步骤S16的处理。
在步骤S21中，从当前时刻的一张帧图像的AFE12的输出信号中取得当前的帧图像。在此取得的帧图像如上所述是追踪对象帧图像。接着在步骤S22中，追踪处理部51通过上述的追踪处理来检测在步骤S21中获得的当前帧图像中的追踪对象人物的位置。但是，并非必须检测出该位置。例如，当背景色与追踪色相同时，该位置的检测失败。显然，在追踪对象人物从摄影范围内脱离的情况下，也不能检测该位置。在步骤S22中能够检测出追踪对象人物的位置时，执行步骤S23的处理，在不能检测出该位置时，执行步骤S24的处理。
在步骤S23中，图4的追踪可靠度评价部52评价对步骤S22的帧图像构成的追踪可靠度、换言之即从步骤S22的帧图像中检测出的追踪对象人物的位置可靠度。基于背景色以及追踪色来进行此评价。
对该评价方法进行例示。将表示被评价的可靠度的评价值称为可靠度评价值，将其用EVR来表示。可按照每个追踪对象帧图像来算出可靠度评价值。EVR取0以上100以下的值，可靠度被评价得越高，可靠度评价值EVR越增大。
追踪可靠度评价部52将在步骤S22中取得的追踪对象帧图像作为被运算图像来使用。并且，如图11所示，通过将被运算图像的整体区域在水平方向以及垂直方向上分割为多个，从而在被运算图像内设定多个小块。当前，将水平方向以及垂直方向的分割数分别设为M以及N(M以及N是2以上的整数)。各个小块由(k×k)个像素形成(k是2以上的整数，例如k＝32)。另外，作为表示被运算图像内小块的水平位置以及垂直位置的记号，导入m以及n(m是满足1≤m≤M的整数值，且n是满足1≤n≤N的整数值)。M越大，该水平位置越朝右方向，n越大，该垂直位置越朝下方向。将水平位置是m、垂直位置是n的小块表述为小块[m，n]。
追踪可靠度评价部52基于追踪结果信息来识别被运算图像中的追踪对象人物的躯体区域的中心，确定该中心位置属于哪个小块。图12的点300表示该中心。当前，该中心300属于小块[mO，nO](mO是满足1≤m≤M的整数值，且nO是满足1≤n≤N的整数值)。另外，通过采用上述被拍摄对象尺寸检测方法，可将各个小块分类为描绘跟踪对象人物的小块或描绘背景的小块。将前者的小块称为被拍摄对象块，将后者的小块称为背景块。图12图像化地示出在中心300周边出现的跟踪对象人物的颜色与背景色不同的情况。
追踪可靠度评价部52将表示所设定的追踪色与背景块内的图像色之差的色差评价值按照每个背景块算出。背景块存在Q个，分别利用CDIS[1]～CDIS[Q]来表示针对第1～第Q背景块算出的色差评价值(Q是满足不等式“2≤Q≤(M×N)-1”的整数)。例如，在算出色差评价值CDIS[1]时，通过使属于第1背景块的各像素的颜色信号(例如，RGB信号)平均化，来求出第1背景块内的图像的平均色，并检测该平均色在RGB色空间上的位置。另一方面，还检测出针对跟踪对象人物设定的追踪色在RGB色空间上的位置，将RGB色空间上的两位置间的距离作为色差评价值CDIS[1]算出。由此，如果所对比的颜色的差异度增大，则色差评价值CDIS[1]增大。另外，对RGB色空间进行标准化，以使可取得色差评价值CDIS[1]的值范围是0以上1以下。其它色差评价值CDIS[2]～CDIS[Q]也是同样地算出。此外，用于求出色差评价值的色空间可以是RGB色空间以外(例如，HSV色空间)。
而且，追踪可靠度评价部52针对每个背景块算出表示中心300与背景块在被运算图像上的空间位置之差的位置差评价值。将针对第1～第Q背景块算出的位置差评价值分别用PDIS[1]～PDIS[Q]来表示。针对某背景块的位置差评价值为中心300与该背景块的4个顶点内相对中心300最近顶点之间的距离。小块[1，1]是第1背景块并且1＜mO且1＜nO，如图12所示，如果小块[1，1]的4个顶点内的顶点301与中心300最近，则位置差评价值PDIS[1]为中心300和顶点301在被运算图像上的空间距离。对被运算图像的空间区域进行标准化，以使能够取得位置差评价值PDIS[1]的值范围是0以上1以下。其它位置差评价值PDIS[2]～PDIS[Q]也是同样地算出。
基于如上所述求出的色差评价值以及位置差评价值，追踪可靠度评价部52根据下述式子(1)，算出相对所关注的被运算图像的综合距离CPDIS。并且，采用该综合距离CPDIS，按照下述式子(2)，算出相对所关注的被运算图像的可靠度评价值EVR。即，在“CPDIS＞100”的情况下，成为“EVR＝0”，在“CPDIS≤100”的情况下，成为“EVR＝100-CPDIS”。从该算出方法中可以理解，如果在追踪对象人物的附近存在与追踪色同色或类似色的背景，则可靠度评价值EVR低。
[数1]
CP DIS = &Sigma; i = 1 Q ( 1 - C DIS ( i ) ) &times; ( 1 - P DIS ( i ) ) . . . ( 1 )
[数2]
Figure BPA00001213665600162
在图10的步骤S23中，显示控制部53基于针对当前的帧图像(最新的帧图像)算出的可靠度评价值EVR，决定应该针对该帧图像重叠的等级图标的颜色。然后，将包含具有所决定色的等级图标在内的追踪模式图标与当前的帧图像重叠，由此生成以及显示显示用图像。
图13(a)～(c)示出在步骤S23中应该与帧图像重叠的等级图标。在本例中，将可靠度评价值EVR分类为3个阶段。然后，如果不等式“EVR≥TH1”成立，则判断为追踪可靠度高，如图13(a)所示，将形成应该重叠的等级图标的第1～第3带图标的内部色设为规定色。所谓作为带图标内部色使用的规定色表示事前设定的无色以外的颜色(例如红色)。另外，如果不等式“TH1＞EVR≥TH2”成立，则判断为追尾可靠度是中等程度，如图13(b)所示，将形成应该重叠的等级图标的第1以及第2带图标的内部色设为上述规定色，另一方面将第3带图标的内部色设为无色。另外，如果不等式“TH2＞EVR”成立，则判断为追踪可靠度低，如图13(c)所示，将形成应该重叠的等级图标的第1带图标的内部色设为上述规定色，另一方面将第2以及第3带图标的内部色设为无色。这里，TH1以及TH2是满足不等式“100＞TH1＞TH2＞0”的规定阈值。
另一方面，在无法检测到追踪对象人物的位置时进行转移的步骤S24中，在等级图标中反映跟丢追踪对象人物的情况。具体地说，在步骤S24中，显示控制部53将第1～第3带图标的内部色全部为无色的追踪模式图标与当前的帧图像重叠，由此生成以及显示显示用图像。
在步骤S23或S24中的显示后，返回步骤S21，反复执行由上述步骤S21～S24构成的处理。
图14(a)～(d)示出在该追踪处理执行中显示的显示画面的状况。图14(a)、(b)、以及(c)分别是追踪可靠度为高、中、低时的显示画面的状况，图14(d)是跟丢追踪对象人物时的显示画面的状况。
当在上述追踪处理的执行中使快门按钮17a成为全按状态时，进行关注于追踪对象人物的静态图像的摄影，然后将该静态图像的图像数据记录到记录介质16内。例如，对摄像元件33的位置进行驱动控制，以使追踪对象人物配置在摄像元件33的摄像面中央，然后取入摄像元件33的输出信号，由此取得将追踪对象人物配置在中央的静态图像。或者，可执行图像的整理，以获得将追踪对象人物配置在中央的静态图像。
另外，在追踪对象人物好像从摄像装置1的摄影范围内脱离时(所谓好像离开屏幕时)，可进行表示此情况的警告显示。
虽然已经开发了具有追踪人物功能的摄像装置，但至今为止，用户并不知道该追踪可靠度。因此，即使打算有效地使用追踪功能，也由于摄像装置在不知不觉中跟丢追踪对象，而导致无法获得期望的图像。在本实施方式中，如上所述，将追踪可靠度分类成多个阶段进行评价，并显示该评价结果。由此，能够使用户知道追踪可靠度。如果能够知道追踪可靠度，则用户可以认识到用于提高该可靠度的构图设定以及不过于依赖追踪处理的照相机操作的必要性。结果，还能够避免未能取得期望的图像就结束这样的事态发生。另外，如图7(a)～(c)所示，在追踪模式图标中包含具有使模拟人物的追踪对象图标以及追踪对象的运动图像化这样的创意的等级图标，由此用户能够直觉地知道其是与人物追踪相关的图标。
另外，在追踪处理的执行中，可通过将追踪色设为身体图标的内部色，来以容易知晓的方式向用户示出摄像装置1正在追踪哪个被拍摄对象。另一方面，在追踪处理的初始化之前，将该身体图标的内部色设为无色。由此，能够使用户明确地知晓是否已开始追踪功能。
以下，将与各种状况对应的显示例作为第1～第12应用显示例进行说明。以下所示的各应用显示例以上述结构以及动作为基础，上述内容只要不矛盾就适用于各应用显示例。另外，只要不矛盾，还能够将某应用显示例所示的事项与其它应用显示例所示的事项组合实施。
[第1应用显示例]
在追踪对象人物的服装颜色不是单色而是含有多色的情况下，可利用多种颜色来填充身体图标的内部。
例如，考虑了追踪对象人物的上半身服装为红色和蓝色、该服装的上半部分颜色是红色且下半部分颜色是蓝色的情况。在此情况下，追踪处理部51基于包含追踪对象人物的帧图像的图像数据，将追踪色设定为红色和蓝色。在此设定之后，显示控制部53显示如图15所示的具有红色和蓝色作为内部色的身体图标。
在追踪时，只要将用于搜索具有红色的图像区域的追踪框和用于搜索具有蓝色的图像区域的追踪框设定在追踪对象帧图像内，并基于两图像区域的搜索结果来检测追踪对象人物的位置即可。或者，考虑设置包含红色和蓝色的图像区域，通过在追踪对象帧图像内搜索包含红色和蓝色的图像区域，可检测追踪对象人物的位置。
或者，还可以对红色和蓝色赋予搜索的优先顺次。在此情况下，例如红色的优先顺次高，则首先将用于搜索具有红色的图像区域的追踪框设定在追踪对象帧图像内，并基于该图像区域的搜索结果来检测追踪对象人物的位置。在不能进行该搜索的情况下，将用于搜索具有蓝色的图像区域的追踪框设定在追踪对象帧图像内，基于该图像区域的搜索结果来检测追踪对象人物的位置。
[第2应用显示例]
通过用户对操作部17操作的指示，可设定优先色。例如，在将红色设定为优先色的情况下，追踪处理部51将红色作为追踪色优先设定，从追踪对象帧图像内搜索具有红色的图像区域进行追踪。
假定使用状况更具体地进行说明。当前，在摄影范围内存在穿着红色服装的人物和穿着蓝色服装的人物，摄影者重视前者的人物。在此情况下，摄影者将摄像装置1的动作模式设定为追踪模式，还将优先色设定为红色。这样，在图5的步骤S11中，显示包含内部色为红色的身体图标在内的追踪模式图标。从初始设定用帧图像中提取第1面部区域和第2面部区域，但追踪处理部51基于优先色的设定内容，将与红色的躯体区域对应的人物作为追踪对象人物来捕捉。即例如，当基于初始设定用帧图像的图像数据来判断与第1面部区域对应的躯体区域的颜色是红色或红色的类似色、且与第2面部区域对应的躯体区域的颜色是蓝色或蓝色的类似色时，将与第1面部区域对应的人物设定为追踪对象人物，并且将与第1面部区域对应的躯体区域的颜色设定为追踪色。之后的追踪动作如上所述。
[第3应用显示例]
当在摄影范围内存在多个人物时，将该多个人物作为追踪对象人物进行追踪，并能够显示人数数量的追踪对象图标。
假定第1～第3人物包含在摄影范围内的情况并举出具体例。在此情况下，追踪处理部51从初始设定用帧图像中提取与第1～第3人物对应的第1～第3面部区域。并且，当确认快门按钮17a的半按状态时，在步骤S14中，追踪处理部51从初始设定用帧图像中提取与第1～第3面部区域对应的第1～第3躯体区域，基于各躯体区域内图像的图像数据来确定各躯体区域内的颜色，将针对第1～第3躯体区域确定的颜色分别设定为第1～第3追踪色。然后，追踪处理部51将第1～第3人物作为第1～第3追踪对象人物来处理，通过个别地检测追踪对象帧图像列中的各追踪对象人物的位置，来个别地追踪各追踪对象人物。
将这里示出的具体例简称为“多人具体例α”。在多人具体例α中，将第1～第3人物包含在摄影范围内且与第1～第3人物对应着提取第1～第3面部区域以及第1～第3躯体区域，并且设定第1～第3追踪色且将第1～第3人物作为第1～第3追踪对象人物来处理，个别地追踪各追踪对象人物。在第3～8应用显示例中，说明该多人具体例α的假定下的动作以及显示方法。
图16(a)示出从某追踪对象帧图像中可生成的显示用图像400。在显示用图像400的右下描绘出追踪模式图标，该追踪模式图标由与第1～第3追踪对象人物对应的第1～第3追踪对象图标和1个等级图标形成、且配置为它们在左右方向上相互不重叠。图16(b)示出显示用图像400中的第1～第3追踪对象图标的放大图。第1～第3追踪对象图标相互不重叠地在左右方向上并排显示，第1～第3追踪对象图标中的身体图标的内部色分别为第1～第3追踪色。
[第4应用显示例]
在追踪处理中，追踪处理部51要个别地检测追踪对象帧图像上的第1～第3追踪对象人物的位置。但是，由于背景色与追踪色的近似或障碍物的遮蔽等，而产生能够检测某追踪对象人物位置但不能检测其它追踪对象人物位置这样的情况。前者的追踪对象人物是实际可追踪的追踪对象人物，将其称为实际追踪人物。后者的追踪对象人物是实际不能追踪的追踪对象人物，将其成为追踪丢失人物。
在第1～第3追踪对象人物中同时存在实际追踪人物和追踪丢失人物的情况下，可以使与前者对应的追踪对象图标和后者的追踪对象图标的显示形式不同。由此，能够针对每个追踪对象人物，容易地知晓是否可以追踪，并向用户告知。
例如，仅强调显示与实际追踪人物对应的追踪对象图标。更具体地说，例如图17(a)以及(b)所示，使与实际追踪人物对应的追踪对象图标的轮廓比较粗，另一方面使与追踪丢失人物对应的追踪对象图标的轮廓比较细。图17(a)对应于第1以及第2人物是实际追踪人物且第3人物是追踪丢失人物的情况，图17(b)对应于第1以及第3人物是实际追踪人物且第2人物是追踪丢失人物的情况。此外，在第1～第3人物全部是实际追踪人物的情况下，可以使第1～第3追踪对象图标的轮廓都比较粗。
作为显示形式的不同方式可考虑各种变形例，通过有无闪烁、显示尺寸的变更、显示色的变更等，可实现显示形式的不同。即例如，可以在显示画面上始终显示与实际追踪人物对应的追踪对象图标，另一方面可以在显示画面上闪烁显示与追踪丢失人物对应的追踪对象图标。或者例如，可以使与实际追踪人物对应的追踪对象图标的显示尺寸大于追踪丢失人物的追踪对象图标的显示尺寸。
[第5应用显示例]
另外，如图16(a)所示，在显示由与第1～第3追踪对象人物对应的第1～第3追踪对象图标和1个等级图标形成、且将这些图标配置为在左右方向上不相互重叠的追踪模式图标的情况下，当在第1～第3追踪对象人物中同时存在实际追踪人物和追踪丢失人物时，可将与实际追踪人物对应的追踪对象图标比追踪丢失人物的追踪对象图标更显示于等级图标侧。
即例如，在第1以及第2人物是实际追踪人物且第3人物是追踪丢失人物时，如图18(a)所示，从显示画面的左侧向右侧按照等级图标、与第1人物对应的追踪对象图标、与第2人物对应的追踪对象图标、与第3人物对应的追踪对象图标的顺序，来排列显示各个图标。然后，如果第1以及第2人物变化为追踪丢失人物、并且第3人物变化为实际追踪人物，则如图18(b)所示，从显示画面的左侧向右侧按照等级图标、与第3人物对应的追踪对象图标、与第1人物对应的追踪对象图标、与第2人物对应的追踪对象图标的顺序，来排列显示各个图标。
[第6应用显示例]
另外，追踪可靠度评价部52在存在多个实际追踪人物的情况下，针对多个实际追踪人物个别地算出可靠度评价值，由此按照每个实际追踪人物来评价追踪的可靠度。显示控制部53确定针对各实际追踪人物求出的可靠度评价值之内最大的可靠度评价值，将与最大可靠度评价值对应的实际追踪人物的追踪对象图标配置为最接近于等级图标，并且在等级图标中反映该最大的可靠度评价值。
如图16(a)所示，设前提是显示由与第1～第3追踪对象人物对应的第1～第3追踪对象图标和1个等级图标形成、且将这些图标配置为在左右方向上相互不重叠的追踪模式图标，以下更具体地进行说明。当前，第2以及第3人物是实际追踪人物、且第1人物是追踪丢失人物。另外，采用所关注的1个追踪对象帧图像的图像数据，分别利用EVR2以及EVR3来表示针对第2以及第3追踪对象人物算出的可靠度评价值。然后，不等式“EVR2＞EVR3”成立。另外，不等式“EVR2≥TH1”以及“TH2＞EVR3”也成立(即，与第2人物对应的追踪可靠度高，与第3人物对应的追踪可靠度低)。
在此情况下，如图19(a)所示的追踪模式图标重叠显示在所关注的追踪对象帧图像上。即，从显示画面的左侧向右侧按照等级图标、与第2人物对应的追踪对象图标、与第3人物对应的追踪对象图标、与第1人物对应的追踪对象图标的顺序，来排列显示各个图标。考虑到第1人物是追踪丢失人物的情况，使与第1人物对应的追踪对象图标的显示位置距离等级图标的显示位置最远(参照图18(a)以及(b))。并且，根据最大可靠度评价值即可靠度评价值EVR2来决定等级图标中的各带图标的内部色。在当前例的情况下，因为不等式“EVR2≥TH1”成立，所以第1～第3带图标的内部色全部为无色以外的规定色。
另外，取而代之，可将与最小可靠度评价值对应的追踪对象人物的追踪对象图标配置为最接近于等级图标，并且在等级图标中反映该最小的可靠度评价值。在此情况下，如图19(b)所示的追踪模式图标重叠显示在所关注的追踪对象帧图像上。即，从显示画面的左侧向右侧按照等级图标、与第3人物对应的追踪对象图标、与第2人物对应的追踪对象图标、与第1人物对应的追踪对象图标的顺序，来排列显示各个图标。并且，根据最小可靠度评价值即可靠度评价值EVR3来决定等级图标中的各带图标的内部色。在当前例的情况下，因为不等式“TH2＞EVR3”成立，所以仅第1带图标的内部色为无色以外的规定色，第2以及第3带图标的内部色为无色。
[第7应用显示例]
另外，在存在多个实际追踪人物的情况下，如图20(a)所示还能够显示具有2组等级图标和追踪对象图标的组的追踪模式图标420。通过使属于第1组的等级图标以及追踪对象图标、和属于第2组的等级图标以及追踪对象图标以相互不重叠的方式在左右方向上排列，来形成追踪模式图标420。假定第1～第3人物全部是实际追踪人物，说明追踪模式图标420的生成方法。
当前，采用所关注的1个追踪对象帧图像的图像数据，分别利用EVR1～EVR3来表示针对第1～第3追踪对象人物算出的可靠度评价值。并且，设不等式“EVR2＞EVR1＞EVR3”成立。另外，设不等式“EVR2≥TH1”以及“TH2＞EVR3”成立(即，针对第2人物的追踪可靠度高，针对第3人物的追踪可靠度低)。
显示控制部53确定针对各实际追踪人物求出的可靠度评价值之内最大的可靠度评价值以及最小的可靠度评价值，在属于第1组的等级图标以及追踪对象图标中反映最大可靠度评价值以及与最大可靠度评价值对应的实际追踪人物的追踪色，并且在属于第2组的等级图标以及追踪对象图标中反映最小可靠度评价值以及与最小可靠度评价值对应的实际追踪人物的追踪色。图20(b)示出此时显示的追踪模式图标。
在当前情况下，最大可靠度评价值是EVR2。因此，根据EVR2生成第1组的等级图标，并且第1组的追踪对象图标的身体图标的内部色为与第2追踪对象人物相对的追踪色。在当前例中，不等式“EVR2≥TH1”成立，所以在第1组的等级图标中的第1～第3带图标的内部色全部为无色以外的规定色。
另外，最小可靠度评价值是EVR3。因此，按照EVR3生成第2组的等级图标，并且第2组的追踪对象图标的身体图标的内部色为与第3追踪对象人物相对的追踪色。在当前例中，因为不等式“TH2＞EVR3”成立，所以在第2组的等级图标中，仅第1带图标的内部色为无色以外的规定色，第2以及第3带图标的内部色为无色。
此外，在实际追踪人物是3人以上的情况下，还可以显示具有3组以上的等级图标和追踪对象图标的组的追踪模式图标。例如，还能够显示实际追踪人物的人数的等级图标和追踪对象图标的组。
[第8应用显示例]
另外，在第1～第3追踪对象人物之间设定不同的追踪优先级的情况下，可按照追踪优先级来变更追踪对象图标的显示尺寸。
例如，如图16(a)所示，假定生成并显示由与第1～第3追踪对象人物对应的第1～第3追踪对象图标和1个等级图标形成、且将这些图标配置为在左右方向上相互不重叠的追踪模式图标的情况。在此假定下，当针对第1追踪对象人物设定的追踪优先级高于第2以及第3追踪对象人物的追踪优先级时，如图21(a)所示，使与第1追踪对象人物对应的追踪对象图标的显示尺寸大于与第2以及第3追踪对象人物对应的这些追踪对象图标的显示尺寸。而且，当针对第2追踪对象人物设定的追踪优先级高于与第3追踪对象人物相对的追踪优先级时，如图21(b)所示，可使与第2追踪对象人物对应的追踪对象图标的显示尺寸大于与第3追踪对象人物对应的追踪对象图标的显示尺寸。
例如，根据设定了最高的追踪优先级的追踪对象人物的可靠度评价值来决定形成等级图标的各个带图标的内部色。或者，可根据上述第6应用显示例中所记载的方法来决定各带图标的内部色(参照图19(a)以及(b))。
追踪优先级的设定方法是任意的。例如，可根据用户的追踪优先级指示来设定追踪优先级。通过对操作部17的规定操作等，将追踪优先级指示给予摄像装置1。另外，如第2应用显示例中所述，在设定有优先色的情况下，可对具有该优先色或优先色的类似色作为躯体区域的颜色的追踪对象人物，自动给予比其它追踪对象人物高的追踪优先级。
或者例如，可将希望给予高追踪优先级的人物面部图像作为登记面部图像预先存储到摄像装置1中。在此情况下，在从初始设定用帧图像中提取多个面部区域时，追踪处理部51基于各面部区域的图像的图像数据和登记面部图像的图像数据来评价各面部区域的图像和登记面部图像的类似度，在多个面部区域中，判断是否含有被给予比规定基准类似度高的类似度的面部区域。并且，当判断为含有被给予比规定基准类似度高的类似度的面部区域时，对与该面部区域对应的人物设定比较高的追踪优先级，对与其以外的面部区域对应的人物设定比较低的追踪优先级。
另外，在上述各个例子中，在左右方向上以相互不重叠的方式排列显示多个追踪对象图标，不过如图22所示，还可以前后重叠显示多个追踪对象图标。图22所示的追踪模式图标440由1个等级图标和前后重叠的3个追踪对象图标441～443形成。等级图标和追踪对象图标组以相互不重叠的方式在左右方向上排列配置。追踪对象图标441～443分别是与第1～第3追踪对象人物对应的第1～第3追踪对象图标。
然后，可根据追踪优先级来决定追踪对象图标441～443的显示位置的前后关系。在图22所示的显示例中，对第1追踪对象人物设定的追踪优先级高于第2以及第3追踪对象人物的这些追踪优先级，根据该追踪优先级的设定内容，在第2以及第3追踪对象图标442以及443之前重叠显示第1追踪对象图标441。因此，追踪对象图标441都能够人眼识别，另一方面，追踪对象图标442的一部分以及追踪对象图标443的一部分因为被追踪对象图标441所遮蔽，所以观察者无法人眼识别。换言之，追踪对象图标441能显示出整体像，追踪对象图标442以及443仅显示一部分。
[第9应用显示例]
另外，在上述各个例中利用等级图标来表现追踪可靠度，但也可以根据身体图标的颜色，来表现该可靠度。在此情况下，显示控制部53通过将仅包含追踪对象图标的追踪模式图标重叠在追踪对象帧图像上，来生成显示用图像。
具体地说，例如在追踪处理中，采用所关注的追踪对象帧图像的图像数据，算出与某追踪对象人物相对的可靠度评价值EVR，并评价该可靠度评价值EVR和上述阈值TH1以及TH2的大小关系。然后，如果不等式“EVR≥TH1”成立，则判断为追踪可靠度高，如图23(a)所示，将应该重叠显示在追踪对象帧图像上的追踪对象图标的身体图标的内部色作为第1色。另外，如果不等式“TH1＞EVR≥TH2”成立，则判断为追踪可靠度是中等程度，如图23(b)所示，将该身体图标的内部色作为第2色，如果不等式“TH2＞EVR”成立，则判断为追踪可靠度低，如图23(c)所示，将该身体图标的内部色作为第3色。
第1～第3色是相互不同的规定色。例如，第1、第2、以及第3色分别是绿、黄、红。此外，在根据身体图标的颜色来表现追踪可靠度的情况下，不能将身体图标的颜色作为追踪色。因此，在此情况下，可另外准备表现追踪色的其它图标进行显示。
[第10应用显示例]
可将面部图标作为模仿人物面部的单纯图形图像，不过也可以采用从摄像元件33的输出信号中获得的图像来生成面部图标。具体地说，当从初始设定用帧图像中检测到追踪对象人物的面部区域时，将该面部区域内的图像本身作为面部图标的图像。或者，基于该面部区域内的图像数据来生成模仿追踪对象人物面部的图像，将所生成的图像作为面部图标的图像。图24示出包含这样的面部图标的追踪模式图标。
另外，可将多个登记图标预先登记到摄像装置1上，并由用户从该多个登记图标中选择作为面部图标使用的图标。通过提供摄像装置1所需的数据，可将用户希望的图标包含在上述多个登记图标中。另外，还可以将利用摄像装置1事先拍摄到的面部图像预先包含在上述多个登记图标中。
另外，可基于帧图像的图像数据来判别追踪对象人物的性别，并按照性别来使身体图标的形状发生变化。例如，在追踪对象人物是男性的情况下，将与该追踪对象人物对应的身体图标的形状如图25(a)所示设为在上方部具有曲线的近似四边形，在追踪对象人物是女性的情况下，将与该追踪对象人物对应的身体图标的形状如图25(b)所示设成下方为底边的梯形(将裙子图像化后的梯形)。此外，作为性别的判别方法，可采用公知的方法(例如，日本特开2004-246456号公报所记载的方法)。
另外，能够使追踪对象图标的大小来反映采用上述被拍摄对象尺寸检测方法来推定出的追踪对象人物的大小。例如，在所关注的追踪对象帧图像内包含第1以及第2追踪对象人物，在该追踪对象帧图像中，当判断为第2追踪对象人物的大小比第1追踪对象人物大时，将包含如图26(a)所示的与第1追踪对象人物对应的追踪对象图标461以及与第2追踪对象人物对应的追踪对象图标462在内的追踪模式图标重叠显示在追踪对象帧图像上。追踪对象图标462的显示尺寸大于追踪对象图标461的显示尺寸。在图26(a)中，以相互不重叠的方式排列配置有追踪对象图标461以及462，不过如图26(b)所示，也可以前后重叠显示这些图标，还可以根据追踪优先级来决定其前后关系(参照第8应用显示例)。
[第11应用显示例]
还可以采用图形匹配来进行追踪处理。即例如，从初始设定用帧图像中提取面部区域，在提取出与该面部区域对应的躯体区域时，预先将该躯体区域的图像记录为模板。然后，从追踪对象帧图像内搜索与该模板的类似度高的图像区域，由此来检测在追踪对象帧图像上的跟踪对象人物的位置(即，进行追踪)。
在这样的情况下，可采用所追踪的图形来形成追踪模式图标。例如，在追踪对象人物的上半身服装的模样是横条纹模样时，模板的模样也是横条纹模样。在此情况下，如图27所示，可显示将模板的整体或一部分图像用作身体图标内的图像的追踪模式图标。
[第12应用显示例]
另外，在上述任意的追踪模式图标中可追加表示图像上的追踪对象人物的运动量的运动量图标。在此情况下，将包含运动量图标的追踪模式图标重叠显示在追踪处理执行时的各帧图像上。如果追踪处理部51求出多个追踪对象帧图像间的追踪对象人物的位置变化，则求出图像上的追踪对象人物的运动量。该运动量根据其位置变化的增大而增大，取0以上的值。
所求出的运动量分类为多个阶段进行显示。图28示出运动量图标。运动量图标由3个带图标501～503形成。带图标501～503以上下方向排列显示。带图标501～503分别将平行四边形的图形表现为图像。
带图标501～503的内部色可根据运动量来变化。说明带图标501～503的内部色的决定法。当前，用EVM来表示所求出的运动量。主控制部13对该运动量EVM和规定阈值THM1～THM3进行比较。这里为THM1＞THM2＞THM3＞0。
然后，在不等式“EVM≥THM1”成立的情况下，如图29(a)所示，将带图标501～503的内部色全部设为规定色。所谓作为带图标501～503的内部色使用的规定色表示事先设定的无色以外的颜色(例如红色)。在不等式“THM1＞EVM≥THM2”成立的情况下，如图29(b)所示，将带图标501以及502的内部色设为上述规定色，另一方面，将带图标503的内部色设为无色。在不等式“THM2＞EVM≥THM3”成立的情况下，如图29(c)所示，将带图标501的内部色设为上述规定色，另一方面，将带图标502以及503的内部色设为无色。在不等式“THM3＞EVM”成立的情况下，如图29(d)所示，将带图标501～503的内部色全部设为无色。
此外，可显示仅具有这样的运动量图标与追踪对象图标的追踪模式图标。即，还可以从追踪模式图标中削除上述的表示追踪可靠度的等级图标，取而代之显示运动量图标。
另外，不是另外显示运动量图标，而是根据上述的任意追踪模式图标中的等级图标的形状变化来表现运动量。即例如，如图30所示，在不等式“EVM≥THM1”成立的情况下、在不等式“THM1＞EVM≥THM2”成立的情况下、在不等式“THM2＞EVM≥THM3”成立的情况下、在不等式“THM3＞EVM”成立的情况下，将形成等级图标的各带图标在左右方向的长度分别设为长度L1、L2、L3、以及L4。作为这里的长度就是显示画面上的长度，另外，L1＞L2＞L3＞L4。在此情况下，可根据追踪可靠度来决定形成等级图标的各带图标的内部色。
《变形等》
上述说明文中所示的具体数值仅为例示，显然，可以将它们变更为各种各样的数值。以下记录注释1～注释3，作为上述实施方式的变形例或注释事项。各注释所记载的内容只要不矛盾就能够任意进行组合。
[注释1]
在上述实施方式中例示了追踪对象是人物(或人物的特定部位)的情况，不过追踪对象也可以是人物(或人物的特定部位)以外。例如，追踪对象可以为汽车等车辆或移动的机器人。
[注释2]
在上述实施方式中，考虑以帧为单位，对帧图像列进行包含面部检测处理及追踪处理在内的各种处理，不过也可以考虑以场(field)为单位，对场图像列进行这些处理。
[注释3]
图1的摄像装置1可通过硬件或者硬件和软件的组合来实现。尤其，利用图4的符号51～53来参照的各个部位通过硬件、软件、或硬件和软件的组合来实现。在采用软件来构成摄像装置1的情况下，针对以软件来实现的部位的框图表示该部位的功能框图。另外，可以将利用图4的符号51～53来参照的各个部位进行的运算处理的全部或一部分作为程序进行记述，并在程序执行装置(例如计算机)上执行该程序，由此能够实现该运算处理的全部或一部分。

Claims (9)

1.一种摄像装置，具有：
摄像元件，其输出表示依次通过摄影而获得的图像列的信号；
追踪处理单元，其基于上述摄像元件的输出信号，检测上述图像列中的追踪对象的位置，由此来追踪上述追踪对象；
追踪评价单元，其基于上述摄像元件的输出信号，将上述追踪处理单元的追踪可靠性或容易性的程度分类为多个阶段并进行评价；
显示单元，其显示上述图像列；以及
显示控制单元，其使上述显示单元显示上述追踪评价单元的评价结果，
上述显示控制单元使上述显示单元显示与上述追踪对象对应的追踪对象图标和表示被评价的上述程度的等级图标；
上述追踪处理单元基于由上述摄像元件的输出信号所确定的上述追踪对象的颜色信息来执行上述追踪对象的追踪，
上述追踪对象图标具有与上述颜色信息相应的颜色。
2.根据权利要求1所述的摄像装置，其特征在于，
上述追踪处理单元在设定了与上述追踪对象所具有的颜色相应的追踪色之后，在上述图像列内追踪具有该追踪色的图像区域，由此来执行上述追踪对象的追踪，
上述显示控制单元在设定上述追踪色之前，将上述追踪对象图标所具有的颜色设定为无色或事先已设定的颜色。
3.根据权利要求1～2中任意一项所述的摄像装置，其特征在于，
在存在多个追踪对象作为上述追踪对象的情况下，
上述显示控制单元使上述显示单元显示与上述多个追踪对象对应的多个追踪对象图标。
4.根据权利要求3所述的摄像装置，其特征在于，
在存在上述多个追踪对象的情况下，当上述多个追踪对象中包括实际能追踪的追踪对象和实际不能追踪的追踪对象时，
上述显示控制单元在与前者的追踪对象对应的追踪对象图标、和与后 者的追踪对象对应的追踪对象图标之间，变更上述追踪对象图标的显示形式。
5.根据权利要求3所述的摄像装置，其特征在于，
在存在上述多个追踪对象的情况下，当在上述多个追踪对象中包括实际能追踪的追踪对象和实际不能追踪的追踪对象时，
上述显示控制单元使与前者的追踪对象对应的追踪对象图标的显示位置比与后者的追踪对象对应的追踪对象图标的显示位置更接近于上述等级图标侧。
6.根据权利要求3所述的摄像装置，其特征在于，
在存在上述多个追踪对象的情况下，
上述追踪评价单元针对每个追踪对象来执行上述程度的评价，
上述显示控制单元在上述等级图标中反映针对每个上述追踪对象而评价的上述程度之内的最大的程度、最小的程度、或它们双方。
7.根据权利要求3所述的摄像装置，其特征在于，
在存在上述多个追踪对象的情况下，当在上述多个追踪对象间设定不同的追踪优先级时，
上述显示控制单元按照上述追踪优先级来决定各追踪对象图标的显示尺寸，或者按照上述追踪优先级来决定各追踪对象图标的显示位置。
8.根据权利要求1～2中任意一项所述的摄像装置，其特征在于，
采用基于上述摄像元件的输出信号的图像、或者采用事先登记的图像，来生成上述追踪对象图标。
9.一种摄像装置，具备：
摄像元件，其输出表示依次通过摄影而获得的图像列的信号；
追踪处理单元，其基于上述摄像元件的输出信号，检测上述图像列中的追踪对象的位置，由此来追踪上述追踪对象；
显示单元，其显示上述图像列；以及
显示控制单元，其使上述显示单元显示与上述追踪对象对应的追踪对象图标，
上述追踪处理单元基于由上述摄像元件的输出信号所确定的上述追踪对象的颜色信息来执行上述追踪对象的追踪， 
上述追踪对象图标具有与上述颜色信息相应的颜色。 
CN200980107707XA 2008-03-03 2009-02-24 摄像装置 Expired - Fee Related CN101960834B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008051676A JP5047007B2 (ja) 2008-03-03 2008-03-03 撮像装置
JP2008-051676 2008-03-03
PCT/JP2009/053241 WO2009110348A1 (ja) 2008-03-03 2009-02-24 撮像装置

Publications (2)

Publication Number Publication Date
CN101960834A CN101960834A (zh) 2011-01-26
CN101960834B true CN101960834B (zh) 2013-04-03

Family

ID=41055908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980107707XA Expired - Fee Related CN101960834B (zh) 2008-03-03 2009-02-24 摄像装置

Country Status (4)

Country Link
US (1) US8432475B2 (zh)
JP (1) JP5047007B2 (zh)
CN (1) CN101960834B (zh)
WO (1) WO2009110348A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5177045B2 (ja) * 2009-03-25 2013-04-03 株式会社Ｊｖｃケンウッド 画像表示装置、撮像装置、画像表示システム、画像表示方法および画像合成装置
WO2011043060A1 (ja) * 2009-10-07 2011-04-14 パナソニック株式会社 追尾対象選択装置、方法、プログラム及び回路
JP5488076B2 (ja) * 2010-03-15 2014-05-14 オムロン株式会社 対象物追跡装置、対象物追跡方法、および制御プログラム
WO2012021898A2 (en) 2010-08-13 2012-02-16 Certusview Technologies, Llc Methods, apparatus and systems for surface type detection in connection with locate and marking operations
CA2811639A1 (en) * 2010-09-17 2012-03-22 Jeffrey Farr Methods and apparatus for tracking motion and/or orientation of a marking device
JP5809925B2 (ja) * 2010-11-02 2015-11-11 オリンパス株式会社 画像処理装置、それを備えた画像表示装置及び撮像装置、画像処理方法、並びに画像処理プログラム
US20120182427A1 (en) * 2011-06-06 2012-07-19 Aaron Marshall System and method for providing thermal gender recognition
US8929598B2 (en) 2011-06-29 2015-01-06 Olympus Imaging Corp. Tracking apparatus, tracking method, and storage medium to store tracking program
JP5694097B2 (ja) * 2011-09-08 2015-04-01 オリンパスイメージング株式会社 撮影機器
EP2811736A4 (en) * 2012-01-30 2014-12-10 Panasonic Corp OPTIMUM CAMERA SETUP DEVICE AND OPTIMUM CAMERA SETTING METHOD
JP5978639B2 (ja) * 2012-02-06 2016-08-24 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体
KR101964861B1 (ko) * 2012-06-29 2019-04-02 삼성전자주식회사 카메라 장치 및 상기 카메라 장치에서의 물체 추적 방법
KR101890137B1 (ko) * 2012-10-25 2018-08-21 삼성전자주식회사 촬영 장치 및 제어 방법
US20150248772A1 (en) * 2014-02-28 2015-09-03 Semiconductor Components Industries, Llc Imaging systems and methods for monitoring user surroundings
JP6331785B2 (ja) * 2014-07-08 2018-05-30 日本電気株式会社 物体追跡装置、物体追跡方法および物体追跡プログラム
JP6308106B2 (ja) * 2014-11-14 2018-04-11 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US10459615B2 (en) 2014-12-11 2019-10-29 Rdi Technologies, Inc. Apparatus and method for analyzing periodic motions in machinery
US10062411B2 (en) * 2014-12-11 2018-08-28 Jeffrey R. Hay Apparatus and method for visualizing periodic motions in mechanical components
WO2016152316A1 (ja) * 2015-03-20 2016-09-29 日本電気株式会社 監視システム、監視方法、監視装置および監視装置の制御プログラム
JP6649864B2 (ja) 2015-10-23 2020-02-19 株式会社モルフォ 画像処理装置、電子機器、画像処理方法及びプログラム
JP6838310B2 (ja) * 2016-08-09 2021-03-03 大日本印刷株式会社 撮影画像内の個体の検出装置
US20180130444A1 (en) * 2016-11-07 2018-05-10 Electronics And Telecommunications Research Institute Information image display apparatus and method
KR101877232B1 (ko) * 2017-05-29 2018-07-12 국방과학연구소 영상 유사도 및 추적 지점 변화량 기반의 영상 추적기 시스템 및 그의 추적 안정도 판별 방법
KR101961663B1 (ko) * 2017-05-29 2019-03-27 국방과학연구소 플랫폼 운용시스템 및 그의 표적 포착 방법
JP6690622B2 (ja) * 2017-09-26 2020-04-28 カシオ計算機株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US10917557B2 (en) * 2018-04-16 2021-02-09 United States Of America As Represented By The Secretary Of The Air Force Human-automation collaborative tracker of fused object
JP6744897B2 (ja) * 2018-09-21 2020-08-19 株式会社日立製作所 超音波診断装置
US11423551B1 (en) * 2018-10-17 2022-08-23 Rdi Technologies, Inc. Enhanced presentation methods for visualizing motion of physical structures and machinery
CN111182205B (zh) * 2019-12-30 2021-07-27 维沃移动通信有限公司 拍摄方法、电子设备及介质
US11373317B1 (en) 2020-01-24 2022-06-28 Rdi Technologies, Inc. Measuring the speed of rotation or reciprocation of a mechanical component using one or more cameras
US11282213B1 (en) 2020-06-24 2022-03-22 Rdi Technologies, Inc. Enhanced analysis techniques using composite frequency spectrum data
US11322182B1 (en) 2020-09-28 2022-05-03 Rdi Technologies, Inc. Enhanced visualization techniques using reconstructed time waveforms
JP2022076369A (ja) * 2020-11-09 2022-05-19 キヤノン株式会社 画像処理装置、画像処理方法
TWI807598B (zh) * 2021-02-04 2023-07-01 仁寶電腦工業股份有限公司 會議影像的產生方法及影像會議系統

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101017248A (zh) * 2007-03-07 2007-08-15 南京大学 回收式背光照明自由立体成像装置及其方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2797830B2 (ja) * 1992-03-31 1998-09-17 日本ビクター株式会社 ビデオカメラにおける被写体追尾方法
US5416543A (en) 1994-04-28 1995-05-16 Eastman Kodak Company Camera having selective inhibition of operation based on film speed
JPH0974504A (ja) * 1995-09-05 1997-03-18 Canon Inc 撮像装置
JP3726972B2 (ja) * 1996-05-28 2005-12-14 ソニー株式会社 被写体認識装置および方法
JP3994422B2 (ja) * 1997-11-12 2007-10-17 富士フイルム株式会社 デジタルスチルカメラ
JP4156084B2 (ja) 1998-07-31 2008-09-24 松下電器産業株式会社 移動物体追跡装置
JP3490910B2 (ja) 1998-09-28 2004-01-26 三洋電機株式会社 顔領域検出装置
DE60040051D1 (de) * 1999-12-03 2008-10-09 Fujinon Corp Automatische Folgevorrichtung
JP2001169169A (ja) 1999-12-10 2001-06-22 Fuji Photo Optical Co Ltd 自動追尾装置
JP4819380B2 (ja) * 2004-03-23 2011-11-24 キヤノン株式会社 監視システム、撮像設定装置、制御方法、及びプログラム
JP2006072770A (ja) 2004-09-02 2006-03-16 Sanyo Electric Co Ltd 顔検出装置および顔向き推定装置
JP2006211139A (ja) 2005-01-26 2006-08-10 Sanyo Electric Co Ltd 撮像装置
JP5061444B2 (ja) * 2005-09-20 2012-10-31 ソニー株式会社 撮像装置及び撮像方法
JP4840978B2 (ja) * 2006-05-11 2011-12-21 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101017248A (zh) * 2007-03-07 2007-08-15 南京大学 回收式背光照明自由立体成像装置及其方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JP特开2007-301166A 2007.11.22
JP特开平9-322049A 1997.12.12
JP特开平9-74504A 1997.03.18
图1、5.
图14.
图3.

Also Published As

Publication number Publication date
US8432475B2 (en) 2013-04-30
CN101960834A (zh) 2011-01-26
WO2009110348A1 (ja) 2009-09-11
JP2009212637A (ja) 2009-09-17
JP5047007B2 (ja) 2012-10-10
US20110019027A1 (en) 2011-01-27

Similar Documents

Publication Publication Date Title
CN101960834B (zh) 摄像装置
CN101605209B (zh) 摄像装置及图像再生装置
JP6397581B2 (ja) 混雑状況可視化装置、混雑状況可視化システム、混雑状況可視化方法、および混雑状況可視化プログラム
US8760551B2 (en) Systems and methods for image capturing based on user interest
JP6419749B2 (ja) 撮影システムおよび画像や映像の表示方法
CN103905727B (zh) 被摄体区域跟踪设备及其控制方法
CN105027553B (zh) 图像处理装置、图像处理方法以及存储图像处理程序的存储介质
JP2015222881A (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
KR20180038241A (ko) 영상 제공 장치 및 방법
CN104977716A (zh) 目镜型显示装置及其显示控制方法
JP4692849B2 (ja) 立体画像記録装置および立体画像記録方法
US8896670B2 (en) Image processing device, image processing method, and program
CN114419073B (zh) 一种运动模糊生成方法、装置和终端设备
WO2022237591A1 (zh) 运动对象的识别方法、装置、电子设备及可读存储介质
US20160379079A1 (en) System, apparatus, method, and computer readable storage medium for extracting information
JP2016134803A (ja) 画像処理装置及び画像処理方法
CN103379279A (zh) 被摄体区域检测装置及其方法、图像摄取装置及显示装置
CN105075249A (zh) 车辆用周边监视控制装置
JP2021176243A (ja) 画像処理装置およびその制御方法、ならびに撮像装置
US20130229535A1 (en) Client terminal, server, and program
US20140016815A1 (en) Recording medium storing image processing program and image processing apparatus
CN106412420A (zh) 一种互动拍照实现方法
CN106650583B (zh) 人脸检测方法、装置及终端设备
CN105892637A (zh) 手势识别方法及虚拟现实显示输出设备
CN104813341A (zh) 使用差分相机的图像处理设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130403

Termination date: 20140224