CN101540844A - 构图确定设备、构图确定方法和程序 - Google Patents
构图确定设备、构图确定方法和程序 Download PDFInfo
- Publication number
- CN101540844A CN101540844A CN200910128868A CN200910128868A CN101540844A CN 101540844 A CN101540844 A CN 101540844A CN 200910128868 A CN200910128868 A CN 200910128868A CN 200910128868 A CN200910128868 A CN 200910128868A CN 101540844 A CN101540844 A CN 101540844A
- Authority
- CN
- China
- Prior art keywords
- subject
- composition
- information
- static
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000203 mixture Substances 0.000 title claims abstract description 529
- 238000000034 method Methods 0.000 title claims description 141
- 238000001514 detection method Methods 0.000 claims abstract description 469
- 238000012545 processing Methods 0.000 claims description 498
- 230000003068 static effect Effects 0.000 claims description 365
- 238000003384 imaging method Methods 0.000 claims description 286
- 230000033001 locomotion Effects 0.000 claims description 87
- 230000007246 mechanism Effects 0.000 claims description 55
- 238000012360 testing method Methods 0.000 claims description 50
- 230000008859 change Effects 0.000 claims description 14
- 230000008878 coupling Effects 0.000 claims description 14
- 238000010168 coupling process Methods 0.000 claims description 14
- 238000005859 coupling reaction Methods 0.000 claims description 14
- 238000004091 panning Methods 0.000 claims description 14
- 230000004069 differentiation Effects 0.000 claims description 13
- 238000005259 measurement Methods 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 9
- 230000013011 mating Effects 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims 4
- 238000012217 deletion Methods 0.000 claims 1
- 230000037430 deletion Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 105
- 230000001815 facial effect Effects 0.000 description 91
- 230000005484 gravity Effects 0.000 description 85
- 238000010586 diagram Methods 0.000 description 45
- 230000006854 communication Effects 0.000 description 36
- 238000004891 communication Methods 0.000 description 34
- 238000005516 engineering process Methods 0.000 description 34
- 230000014509 gene expression Effects 0.000 description 29
- 230000011218 segmentation Effects 0.000 description 26
- 230000006870 function Effects 0.000 description 22
- 238000003860 storage Methods 0.000 description 21
- 239000000463 material Substances 0.000 description 18
- 230000003287 optical effect Effects 0.000 description 18
- 238000007639 printing Methods 0.000 description 11
- 230000001133 acceleration Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 7
- 230000008676 import Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000005520 cutting process Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 5
- 238000006467 substitution reaction Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 241001269238 Data Species 0.000 description 3
- 101150051935 angR gene Proteins 0.000 description 3
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 210000000744 eyelid Anatomy 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 240000005373 Panax quinquefolius Species 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000003801 milling Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
一种构图确定设备,包括:被摄体检测单元,配置为检测基于获取的图像数据的图像中的被摄体;静止检测单元,配置为将基于所述图像数据的图像或由所述被摄体检测单元检测的被摄体作为其对象,检测静止状态;以及构图确定单元,配置为基于所述静止检测单元的检测结果,只将由所述被摄体检测单元检测的被摄体的真实被摄体或不真实被摄体作为其对象,确定构图。
Description
技术领域
本发明涉及构图确定设备、方法以及所述设备执行的程序,该设备是配置为关于图像数据的图像内容具有的构图进行确定的设备。
背景技术
关于用于拍摄观看者具有好的印象的照片的技术的元素的一个示例是构图设置。在此使用的术语“构图(composition)”也称为“取景(framing)”,并且指例如将被摄体或各被摄体放置在构图照片的图像框内的状态。
尽管存在通常可用于好的构图的若干基本技术,但是对于一般的相机用户来说拍摄具有好的构图的照片不容易,除非该用户具有足够的关于摄影的知识和技巧。因此,存在对将允许用户以容易和简单的方式拍摄具有好的构图的照片的技术的需要。
例如,日本未审专利申请公开No.59-208983公开了一种关于自动跟踪设备的技术,其中确定分开预定时间间隔的图像之间的差异,计算图像之间的差异的重心,该重心的运动的量和方向被用于检测被摄体图像关于成像屏幕的运动的量和方向,并且控制成像装置,从而在成像屏幕的参照区域内设置被摄体图像。
此外,日本未审专利申请公开No.2001-268425公开了一种关于自动跟踪设备的技术,其中在自动跟踪人时,执行跟踪使得人的面部在图像的中心,并且面部的区域在屏幕上的被摄体图像的整个区域的上面20%,从而在跟踪的同时以确保的方式拍摄人的面部。
从判断构图的观点来看,这些技术配置允许被摄体(人)被自动搜索,并且以一定的设置构图位于成像屏幕中。
此外,日本未审专利申请公开No.2007-156693公开了一种关于使用由监视相机拍摄的图像照片执行的面部识别的配置。该配置包括用于有效地屏蔽海报、布告板等中包括的(即,打印的)面部图像的技术。其一种应用将是例如在一天中没有顾客或工作人员存在的时间(即,下班时间)时,在娱乐场所中操作该配置。生成屏蔽图案以屏蔽通过成像获得的图像的一部分,该屏蔽图案通过面部提取单元重复地改变,直到不是到达的人的面部图像变得不可从图像中获得,存储直到不是到达的人的面部图像由于图像被屏蔽从而变得不可获得为止的屏蔽图案,利用该存储的屏蔽图案屏蔽图像,并且执行面部图像检测。
发明内容
已经发现存在对构图确定的进一步和更广的应用的需要,例如,提供一种构图确定设备等,其执行构图确定,其中从对人类被摄体执行的构图确定的对象中消除不是实际的人而是打印在海报或艺术品上的面部的被摄体,或相反,从而可以以更精确的方式获得期望的构图确定结果。
根据本发明的实施例,一种构图确定设备,包括:被摄体检测单元,配置为检测基于获取的图像数据的图像中的被摄体;静止检测单元,配置为将基于所述图像数据的图像或由所述被摄体检测单元检测的被摄体作为其对象,检测静止状态;构图确定单元,配置为基于所述静止检测单元的检测结果,只将由所述被摄体检测单元检测的被摄体的真实被摄体或不真实被摄体作为其对象确定构图。
利用上述配置,将基于图像数据的图像或由被摄体检测单元检测的被摄体作为其对象执行静止检测,从而识别通过被摄体检测检测的静止被摄体或图像中的静止区域。使用这种静止检测的结果,允许仅将由被摄体检测单元检测的被摄体当中的真实被摄体或不真实被摄体之一被设置为构图确定的对象。
利用根据本发明实施例的构图确定处理,关于图像或被摄体的静止检测用于获取真实被摄体或不真实被摄体之一作为构图确定的对象。以此方式使用静止检测允许在存在实际存在的被摄体和只有图像等而不实际存在的被摄体一起作为图像中的被摄体的情况下,以准确的方式例如只将实际存在的被摄体或不实际存在的被摄体之一当作构图确定的对象。
因此,根据本发明的实施例,可以提供一种安排,其中在实际存在的被摄体和只有图像等而不实际存在的被摄体一起作为被摄体的情况下,以准确的方式只将实际存在的被摄体或不实际存在的被摄体之一当作构图确定的对象。与将实际存在的被摄体和只有图像等而不实际存在的被摄体都检测为被摄体、并且基于此执行构图确定的现有技术相比,应用的范围明显更广,并且可以给用户提供易于使用的安排。
附图说明
图1A和1B是图示在已经简单使用面部检测技术等检测一个被摄体的情况下的配置确定的示例的图;
图2A和2B是图示在已经简单使用面部检测技术等检测两个被摄体的情况下的配置确定的示例的图;
图3是图示在简单使用面部检测技术时、还检测打印在海报等上的面部而不是只有实际的人的面部的图;
图4是图示根据实施例的配置确定块的配置示例(第一示例)的图;
图5是图示根据实施例的配置确定块的配置示例(第二示例)的图;
图6是图示根据实施例的配置确定块的配置示例(第三示例)的图;
图7是图示根据实施例的配置确定块的配置示例(第四示例)的图;
图8是图示根据实施例的配置确定块的配置示例(第五示例)的图;
图9是图示根据实施例的配置确定块的配置示例(第六示例)的图;
图10是图示利用根据第一实施例的配置确定块的处理过程的示例的流程图;
图11是图示利用根据第二实施例的配置确定块的处理过程的示例的流程图;
图12是图示利用根据第三实施例的配置确定块的处理过程的示例的流程图;
图13是图示利用根据第四实施例的配置确定块的处理过程的示例的流程图;
图14是图示利用根据第五实施例的配置确定块的处理过程的示例的流程图;
图15是图示利用根据第六实施例的配置确定块的处理过程的示例的流程图;
图16是图示已经应用了根据实施例的配置确定块的、构成根据实施例的成像系统的数字照相机和平台的图;
图17A和17B是示意性图示作为根据实施例的成像系统的操作的,安装到平台的数字照相机在摇摄方向和倾斜方向上的运动的示例的图。
图18是图示关于根据实施例的成像系统的内部系统配置示例的方块图;
图19是图示关于根据实施例的成像系统的另一内部系统配置示例的方块图;
图20是图示关于根据实施例的成像系统的另一内部系统配置示例的方块图;
图21是图示除了成像系统外、用于根据实施例的构图确定块的应用示例的方块图;
图22是图示除了成像系统外、用于根据实施例的构图确定块的应用示例的方块图;
图23是图示除了成像系统外、用于根据实施例的构图确定块的应用示例的方块图;
图24是图示除了成像系统外、用于根据实施例的构图确定块的应用示例的方块图;
图25是图示除了成像系统外、用于根据实施例的构图确定块的应用示例的方块图;
图26是图示除了成像系统外、用于根据实施例的构图确定块的应用示例的方块图;
图27是图示构成根据实施例的成像系统的数字照相机的内部配置示例的方块图;
图28是图示构成根据实施例的成像系统的平台的内部配置示例的方块图;
图29A和29B是图示具有重复检测避免功能的构图确定块的配置示例的方块图,该构图确定块可以应用到根据实施例的成像系统(数字照相机);
图30是图示用于利用图29所示的构图确定块进行静止检测的处理过程的示例的流程图;
图31是图示用于利用图29所示的构图确定块进行被摄体区分和构图确定的处理过程的示例的流程图;
图32是图示具有重复检测避免功能和静止被摄体信息清除功能的构图确定块的配置示例的方块图,该构图确定块可以应用到根据实施例的成像系统(数字照相机);
图33是图示执行对应于图32所示的静止被摄体信息清除功能的部分时执行的处理过程的示例的流程图;
图34是图示具有重复检测避免功能的构图确定块的另一配置示例的方块图,该构图确定块可以应用到根据实施例的成像系统(数字照相机);
图35是图示图34中所示的构图确定块执行的处理过程的示例的流程图;
图36A到36C是描述用于获得被摄体的绝对位置信息的技术的示例的图;
图37A和37B是描述用于获得被摄体的绝对位置信息的技术的另一示例的图;
图38是图示用于使用绝对位置信息的被摄体区分处理的配置示例的方块图;
图39是图示用于被摄体区分处理的配置示例的方块图,对应于执行能够单独识别的被摄体检测处理的情况;
图40A和40B是描述如何获得检测的单独被摄体的重心和多个单独被摄体的总的被摄体重心的示例以及如何检测单独的被摄体的特定方法的图;
图41是用于描述在成像的图像数据的图像框内设置的原点坐标的图;
图42是示意性图示在检测的单独被摄体的数目为一的情况下、利用构图控制的第一示例的构图控制的示例的图;
图43A和43B是示意性图示在检测的单独被摄体的数目为二的情况下、利用构图控制的第一示例的构图控制的示例的图;
图44是示意性图示在检测的单独被摄体的数目为三的情况下、利用构图控制的第一示例的构图控制的示例的图;
图45A和45B是图示用于构图控制的第一示例的处理过程的示例的流程图;
图46是示意性图示在检测的单独被摄体的数目为三的情况下、利用构图控制的第二示例的构图控制的示例的图;以及
图47A和47B是图示用于构图控制的第二示例的处理过程的示例的流程图。
具体实施方式
现在将描述执行本发明的各实施例。首先,将定义在此使用的术语。“构图”也称为取景,并且指将被摄体或各被摄体放置在图像框(image frame)内的状态。“图像框”是等效于一个屏幕的区域的范围,其中例如图像看起来适当地放入其中。“场的角度”或“场角”也称为变焦角度,并且指以角度的形式表达的放入图像框的范围,该图像框由成像装置的光学系统中的变焦镜头的位置确定。通常,这由成像光学系统的焦距和成像面(成像传感器或膜)的大小确定,但是这里,能够对应于焦距改变的元件被称为“场的角度”或“场角”,它们可互换地使用。“成像视角”定义通过利用设置在预定位置的成像装置成像获得的图像的范围,并且除了上面的“场的角度”外,还由摇摄(水平)方向上的摇摄角度和倾斜(垂直)方向上的角度(仰角和俯角)确定。例如,图像的构图指将被摄体或各被摄体放置在由图像视角确定的图像框内的状态。
首先,根据用于执行本发明的优选实施例,配置一种装置或系统以便执行构图确定。在描述实施例的配置前,让我们考虑对例如通过成像获得的被摄体执行自动构图调整。注意,被摄体是人。
图1A图示其中单个被摄体301存在于图像框内的状态,作为例如通过成像获得的图像内容的示例。可以配置用于构图确定处理的算法以便首先检测例如一个被摄体301存在于图1A所示的图像中,并且基于检测结果,确定对被摄体301在其中的图像理想的构图(理想构图)是如图1B所示的。例如,在该情况下,该状态(构图)使得图像框300内的被摄体301已经放大到一定大小,并且位于靠近中间。
此外,图2A和2B图示在输入例如图2A所示的图像时,从该图像中检测存在两个被摄体301A和301B的事实,并且基于检测结果,确定被摄体301A和301B在其中的图像的理想构图是如图2B所示的。在图2B中,该构图使得图像框300内的被摄体301A和301B已经放大到一定大小,并且位于均匀地靠近左边和右边。
例如面部检测技术可以应用于上述构图确定中的被摄体检测,但是面部检测技术的简单应用可能导致以下问题。参照图3,我们可以看到图像框300中,存在为真实的人的被摄体301和具有打印、印刷等的人的面部的海报(面部图像海报)302。用于被摄体检测的面部检测技术的简单应用将导致不仅被摄体301、而且面部图像海报301中的面部被检测为被摄体。
在该情况下,只存在一个为真实的人的被摄体,因此构图确定结果应当具有如图1B所示的情况的只有被摄体301的特写(close-up)。然而,在该情况下,面部检测已经检测了两个被摄体,因此构图确定的结果将更像图2B所示的那样,使得被摄体301的面部和面部图像海报302上的面部都被特写,作为最优构图。
因此,本实施例提供一种用于构图确定的技术配置,将人或人类作为主观被摄体(以下简称为“被摄体”),从而消除了不是真实的人的被摄体(不真实被摄体)(如在海报或公告栏上打印或印刷等的面部或人、三维雕刻或成形的面部等),并且获得精确的构图确定结果,其中只有实际存在的人(真实被摄体)被当作被摄体。
图4是示意性图示关于根据本实施例的构图确定的第一示例的配置的图。该图图示构图确定块200作为用于执行构图确定的部分。构图确定块200获取图像数据并执行构图确定,并且包括被摄体检测处理单元201、静止检测处理单元202以及构图确定处理单元203。
被摄体检测处理单元201是使用获取的图像数据并执行被摄体检测处理的部件。在此使用的被摄体检测处理是第一次区分人类被摄体与图像数据的图像内容的处理,这里作为检测结果获得的信息(单独被摄体检测信息)是人类被摄体的数目、图像框内关于每个被摄体(单独被摄体)的位置信息、每个单独被摄体的图像框中的大小(占用的空间)等,该位置信息可以例如用用于图像框内的位置的像素矩阵中的x坐标和y坐标表示。
面部检测技术可以用作用于被摄体检测处理的特定技术,尽管根据现有技术存在若干面部检测方法和技术,但是本实施例不具体限制于任何方法或技术,并且可以考虑到检测精确度、设计难度、与用于稍后描述的静止检测的技术的兼容性等选择适当的方法。在该阶段,用于被摄体检测处理的技术和算法可以检测在图像中获取的真实的人的真实被摄体和不真实被摄体,而不用在这两者之间区分。被摄体检测处理单元201输出由单独被摄体检测信息的集合构图的信息作为检测的被摄体信息。
此外,被摄体检测处理单元201执行的被摄体检测处理可以通过图像信号处理来实现。在其中例如由DSP(数字信号处理器)执行图像信号处理的配置的时候,被摄体检测处理可以通过给DSP提供的程序和指令来实现。注意,这对下面的静止检测处理单元202和稍后描述的能够通过图像信号处理实现其功能的所有其它部分也适用。
此外,在被摄体检测处理单元201的上游,获取的图像数据被划分并且也输入到静止检测处理单元202。静止检测处理单元202例如通过图像信号处理执行处理,以便检测获取的图像数据的图像(图像框)内没有运动并且是静止的区域(静止区域)。该检测处理产生了图像数据的图像中的静止区域的位置和指示其分布的信息(检测的静止区域信息)。例如,该检测的静止区域信息可以认为指示被检测为静止区域的像素的分布。
在此情况下,构图确定处理单元203获取并输入从被摄体检测处理单元201输出的检测的被摄体信息以及从静止检测处理单元202输出的检测的静止区域信息,并且最后执行构图确定处理,从而在只有真实被摄体作为对象的情况下确定最优构图。注意,由构图确定处理单元203执行的构图确定处理可以通过例如执行程序的CPU(中央处理单元)(即,通过软件)实现。在此可以采用的配置的另一示例是根据需要由软件和/或硬件实现的图像信号处理的一前一后的使用。
图10所示的流程图图示了由构图确定块200的被摄体检测处理单元201、静止检测处理单元202和构图确定处理单元203执行的处理过程的示例。要理解的是,图10所示的处理过程的示例只是一个示例,并且由图4所示的构图确定块200执行的处理过程决不限于此。只要构图确定处理单元203基于来自被摄体检测处理单元201的检测的被摄体信息和来自静止检测处理单元202的检测的静止区域信息,在只有真实被摄体作为对象的情况下最终确定最优构图,图4所示的配置就已经实现了其想要的功能。这对于稍后描述的第二到第六示例也适用。
此外,图4所示的块配置和图10的流程图中的各步骤之间的相关只是一个直接构思的示例,并且也可以构思和采用其它相关。这点对于稍后描述的对应的方块图和流程图之间的相关也适用。
首先,在步骤S101中,被摄体检测处理单元201和静止检测处理单元202获取(输入)图像数据。
步骤S102和S103是由被摄体检测处理单元201执行的过程。被摄体检测处理单元201在步骤S102中执行上述被摄体检测处理,并且在步骤S103中输出作为其检测结果的检测的被摄体信息。
与步骤S102和S103并行的是,静止检测处理单元202执行步骤S104和S105中的过程。在步骤S104中,在输入图像数据的图像框内的图像中检测静止区域。在该第一示例的情况下,例如可以将运动检测技术应用于静止区域的检测。也就是说,其中时间上相关的图像(等效于各帧(或各场))之间的变化在预定量内的区域可以被检测为静止区域,并且在步骤S105中,输出作为检测结果的检测的静止区域信息。
步骤S106由构图确定处理单元203执行。在步骤S106中,构图确定处理单元203输入在步骤S103从被摄体检测处理单元201输出的检测的被摄体信息以及在步骤S105从静止检测处理单元202输出的检测的静止区域信息。于是,构图确定处理单元203首先从由检测的被摄体信息指示的各个被摄体中消除不真实被摄体,以便仅区分出真实被摄体,即,执行区分处理。
在真实世界中,真实的人连续展现变化,如面部自身的移动,或者即使面部不运动,也将存在眨眼、面部表情变化等,这可以当作关于面部部分的运动。利用对应于步骤S104的由静止检测处理单元202执行的静止检测处理,包括真实的人在图像中的位置的区域(即,包括已经检测了真实被摄体的位置的区域)被检测为具有运动的区域,并且静止区域是没有检测到运动的区域。与真实被摄体相反,作为不真实被摄体的海报和公告栏等中的面部不展现真实的人的上述运动,因此上面的静止检测处理将包括已经检测了不真实被摄体的位置的区域检测为静止区域。
因此,构图确定处理单元203被配置为对于上述区分处理比较由检测的被摄体信息指示的每个检测的单独被摄体的位置信息和由检测的静止区域信息指示的静止区域的分布。也就是说,其位置信息包括在静止区域中的检测的单独被摄体是没有运动的静止被摄体,即,不真实被摄体。另一方面,其位置信息不包括在静止区域中的检测的单独被摄体是具有运动的被摄体,即,真实被摄体。因此,利用本实施例,可以只区分真实被摄体。此外,这种处理可以概念上理解为确定检测的单独被摄体是真实被摄体还是不真实被摄体。构图确定处理单元203然后只设置如上所述区分的真实被摄体作为要用于构图确定的单独被摄体(对象单独被摄体)。
接着,构图确定处理单元203执行步骤S107的处理。在步骤S107中,利用预定的算法,使用如上所述在步骤S106中设置的对象单独被摄体的检测的被摄体信息,执行用于构图确定的处理。将稍后描述构图确定算法的示例、构图确定结果的使用示例等。
图5图示作为本实施例中的第二示例的构图确定块200的配置。该图中的构图确定块200以与图4所示的第一示例相同的方式,也包括被摄体检测处理单元201、静止检测处理单元202以及构图确定处理单元203。在该情况下,被摄体检测处理单元201首先获取图像数据并执行单独被摄体(包括真实被摄体和不真实被摄体)的检测,并且将作为其检测结果的检测的被摄体信息输出到构图确定处理单元203以及静止检测处理单元202。
在该情况下,静止检测处理单元202基于输入的检测的被摄体信息执行静止检测处理,从检测的单独被摄体中检测出静止被摄体。注意,在此检测的静止被摄体等效于不真实被摄体。
也可以在该第二示例中使用的静止被摄体检测的一个示例是运动检测。也就是说,检测由在检测的单独被摄体之前和/或之后的采样时刻获得的检测的被摄体信息指示的检测的单独被摄体的位置信息的变化,并且其中变化量为一定水平或更低的被摄体可以被检测为静止被摄体。
此外,利用如该第二示例的配置,其中要在被摄体检测后的阶段检测静止被摄体,也可以构思如接下来要描述的静止检测技术。
一种是应用表情检测技术,因为理所当然地对于真实被摄体的面部表情是可变化的,但是对于不真实被摄体不可以改变。例如,被摄体检测处理单元201首先利用通过预定方法的面部检测执行单独被摄体检测,然后静止检测处理单元202接收图像的信息,其中已经提取了通过面部检测处理检测的单独被摄体的面部图像部分(面部图像)。静止检测处理单元202获得表情的变化量,并且将与其中该变化量为一定水平或更低的面部图像对应的检测的单独被摄体检测为静止被摄体。
其一个示例是应用在由本受让人提交的日本未审专利申请公开No.2008-42319中描述的表情评估技术。该表情评估技术包括基于归一化面部图像和差分轴信息执行计算以评估面部图像中面部的表情度,以便获得表情评估值。该技术的应用示例可以是获得经过单位时间的表情评估值的变化量,并且将与其中该变化量为一定水平或更低的面部图像对应的检测的单独被摄体检测为静止被摄体。
另一个可构思的示例是应用用于检测眼睑的运动(即,眨眼)的技术。理所当然地真实被摄体会眨眼,而不真实被摄体被认为不能眨眼。也在该情况下,被摄体检测处理单元201首先利用通过预定方法的面部检测执行单独被摄体检测,然后静止检测处理单元202接收图像的信息,其中已经提取了通过面部检测处理检测的单独被摄体的面部图像部分(面部图像)。静止检测处理单元202还提取已经接收的面部图像的眼部。静止检测处理单元202然后将与已经被确定为不眨眼的提取的眼图像对应的检测的单独被摄体检测为静止被摄体。
这种眨眼检测技术的一个示例是应用在由本受让人提交的日本未审专利申请公开No.2004-343315中描述的表情评估技术。利用该技术,首先,由包括肤色检测的面部检测处理执行面部检测,检测所检测的肤色区域中的白色区域(即,检测眼部),并且捕获包括眼部的区域(眼区域)。然后计算眼区域中的白色信息的百分比,其随着时间改变,因为白色信息的百分比在眼睛张开时大而在眼睑由于眨眼而闭上时小。可以将与随着时间计算的白色信息的百分比是恒定的眼区域对应的单独被摄体检测为静止被摄体。
因此,可以实现包括上述示例的若干检测技术和算法。利用本实施例,可以应用任何一种技术或算法,或者可以以组合的方式应用两种或更多。在任何情况下,静止检测处理单元202输出具有上述的每个检测的静止被摄体的检测的单独被摄体信息的信息作为检测的静止被摄体信息。
构图确定处理单元203使用从被摄体检测处理单元201输出的检测的单独被摄体信息和从静止检测处理单元202输出的检测的静止被摄体信息,并且最后将真实被摄体作为对象,执行构图确定。
在由构图确定处理单元203执行的处理的示例的情况下,首先,执行处理以区分真实被摄体。该处理包括比较由获得的检测的被摄体信息指示的检测的单独被摄体的位置信息与检测的静止被摄体信息指示的静止被摄体的位置信息。在该比较中,由其位置信息与检测的静止被摄体信息指示的静止被摄体的位置信息匹配的检测的被摄体信息指示的检测的单独被摄体是不真实被摄体,而不匹配的那些是真实被摄体。然后,将识别为真实被摄体的检测的被摄体设置为对象单独被摄体。
于是,构图确定处理单元203从输入的检测的被摄体信息中提取关于设置为对象单独被摄体的单独被摄体的单独被摄体检测信息,并且使用该单独被摄体检测信息执行构图确定处理。
注意,对其应用上述表情检测或眨眼检测的静止检测还可以应用到图4中之前示出的第一示例的示例。例如,静止检测处理单元202首先执行关于获取的图像数据的面部检测,并且使用由此获得的面部图像执行上述表情检测或眨眼检测,从而执行静止检测。构图确定处理单元203然后可以比较由来自被摄体检测处理单元201的检测的被摄体信息指示的检测的单独被摄体的位置与由静止检测处理单元202确定为处于静止状态的面部图像的位置,以区分真实被摄体。
图11示出的流程图图示了由根据已经参照图5描述的第二示例的构图确定块200执行的处理的过程的示例。只要构图确定处理单元203基于来自被摄体检测处理单元201的检测的被摄体信息和来自静止检测处理单元202的检测的静止区域信息,在真实被摄体作为对象的情况下确定最优构图,图5所示的配置就已经实现了它想要的功能,并且要注意的是,图11所示的处理过程的示例只是一个示例。
被摄体检测处理单元201首先执行步骤S201到步骤S203的处理。在步骤S201,被摄体检测处理单元201获取(输入)图像数据。
在步骤S202,基于输入的图像数据执行被摄体检测处理,并且在步骤S203中,输出作为其检测结果的检测的被摄体信息。
步骤S204和S205是由静止检测处理单元202执行的处理。在步骤S204中,输入在步骤S203中从被摄体检测处理单元201输出的检测的被摄体信息,从由上述检测的被摄体信息指示的检测的单独被摄体中检测静止被摄体,并且在步骤S205中,输出指示检测结果的检测的静止被摄体信息。
步骤S206和S207是由构图确定处理单元203执行的处理。在步骤S206中,输入在步骤S203中从被摄体检测处理单元201输出的检测的被摄体信息和在步骤S205中从静止检测处理单元202输出的检测的静止被摄体信息,基于参照图5描述的检测的被摄体信息和检测的静止被摄体信息,从由如图5所述的检测的被摄体信息指示的检测的单独被摄体中区分真实被摄体,并且将区分的真实图像设置为对象单独被摄体。
在步骤S207中,基于对象被摄体的检测的单独被摄体信息执行构图确定处理。
图6图示作为本实施例中的第三示例的构图确定块200的配置。该图所示的配置可以看作基于图4所示的第一示例的配置,其中已经由构图确定处理单元203执行的区分真实被摄体的处理被提取为被摄体区分处理单元204。也就是说,在该情况下,如图4所示的情况,首先,被摄体检测处理单元201基于已经输入的图像数据执行被摄体检测处理,并且输出检测的被摄体信息,并且静止检测处理单元202也基于输入的图像数据执行图像框内的静止区域的检测,并且输出检测的静止区域信息。
在该情况下,将检测的被摄体信息和检测的静止区域信息输入到被摄体区分处理单元204。被摄体区分处理单元204使用检测的被摄体信息和检测的静止区域信息,以与图4中的构图确定处理单元203相同的方式执行用于区分真实被摄体的处理(区分处理)。被摄体区分处理单元204然后输出检测的单独被摄体信息到构图确定处理单元203,该检测的单独被摄体信息关于已经通过被摄体区分处理区分为真实被摄体的单独被摄体。
构图确定处理单元203将从被摄体区分处理单元204输出的、关于已经被区分为真实被摄体的每个单独被摄体的检测的单独被摄体信息,处理为对象单独被摄体的单独被摄体信息,并且执行构图确定处理。
图12所示的流程图图示根据由已经参照图6描述的第三示例的构图确定块200执行的处理的过程的示例。步骤S301到S305的过程与图10中的步骤S101到S105相同,其中输入图像数据,被摄体检测处理单元201基于输入数据执行被摄体检测处理,并且输出检测的被摄体信息,并且静止检测处理单元202执行静止区域检测并输出检测的静止区域信息。
在该情况下,由被摄体区分处理单元204执行步骤S306。在步骤S306中,根据与图10中的步骤S106描述的处理相同的处理执行区分处理,并且从检测的单独被摄体中区分真实被摄体。此后,在步骤S306中,通过上述区分处理,从构成检测的被摄体信息的检测的单独被摄体信息中区分的、作为真实被摄体的检测的单独被摄体的检测的单独被摄体信息,输出到被摄体区分处理单元204。
在步骤S307中,构图确定处理单元203输入在步骤S306中输出的检测的单独被摄体信息作为关于对象单独被摄体的信息,并且基于该检测的单独被摄体信息执行构图确定处理。
图7图示作为本实施例中的第四示例的构图确定块200的配置。该图所示的配置可以看作基于图5所示的第二示例的配置,其中已经由构图确定处理单元203执行的区分真实被摄体的处理被提取为被摄体区分处理单元204。
在该情况下,首先,被摄体检测处理单元201输入图像数据,执行与图5所示的情况相同的处理,然后输出作为被摄体检测处理结果的检测的被摄体信息,这次输出到静止检测处理单元202和被摄体区分处理单元204。静止检测处理单元202以与图5相同的方式执行静止区域检测处理,并且输出作为其检测结果的检测的静止区域信息到被摄体区分处理单元204。
被摄体区分处理单元204输入上述输出的检测的被摄体信息和检测的静止区域信息,以便以与上面参照图5所述的构图确定处理单元203相同的方式执行用于区分真实被摄体的处理。被摄体区分处理单元204然后收集关于已经通过被摄体区分处理区分为真实被摄体的单独被摄体的检测的单独被摄体信息,并且将其输出到构图确定处理单元203。
构图确定处理单元203输入从被摄体区分处理单元204输出的检测的单独被摄体信息,作为对象单独被摄体的单独被摄体信息,并且基于检测的单独被摄体信息执行构图确定处理。
图13所示的流程图图示由根据已经参照图7描述的第四示例的构图确定块200执行的处理的过程的示例。步骤S401到S405的过程与图11中的步骤S201到S205相同,其中输入图像数据,被摄体检测处理单元201基于输入数据执行被摄体检测处理,并且输出检测的被摄体信息,并且静止检测处理单元202执行静止区域检测并输出检测的静止区域信息。
在该情况下,由被摄体区分处理单元204执行步骤S406。在步骤S406中,根据与图11中的步骤S206描述的处理相同的处理执行区分处理,并且从检测的单独被摄体中区分真实被摄体。此后,在步骤S406中,通过上述区分处理,从构成检测的被摄体信息的检测的单独被摄体信息中区分的、作为真实被摄体的检测的单独被摄体的检测的单独被摄体信息,输出到被摄体区分处理单元204。
在步骤S407中,构图确定处理单元203输入在步骤S406中输出的检测的单独被摄体信息作为关于对象单独被摄体的信息,并且基于该检测的单独被摄体信息执行构图确定处理。
图8图示作为本实施例中的第五示例的构图确定块200的配置。该图中的构图确定块200除了被摄体检测处理单元201、静止检测处理单元202以及构图确定处理单元203之外,还包括屏蔽处理单元205。
在该情况下,外部输入到构图确定块200的图像数据首先输入到屏蔽处理单元205和静止检测处理单元202。静止检测处理单元202检测输入数据的图像(图像框)中的静止区域,并且将作为其检测结果的检测的静止区域信息输出到屏蔽处理单元205。
基于来自静止检测处理单元202的检测的静止区域信息,屏蔽处理单元205设置要从被摄体检测处理单元201的被摄体检测处理的对象中排除的输入图像数据的图像(图像框)中的无效区域(即,检测的对象无效区域)。为此,在对应于输入图像数据的整个图像区域中,屏蔽处理单元205将匹配检测的静止区域信息指示的静止区域的区域设置为检测的对象无效区域。可以说,在图像数据的整个图像区域中,除了检测的对象无效区域之外的区域是检测的对象有效区域。
接着,屏蔽处理单元205执行屏蔽处理,其中如上所述设置的检测的对象无效区域反映在输入图像数据中。也就是说,在该情况下,配置被摄体检测处理单元201以便在执行被摄体检测处理时,不执行关于检测的被摄体无效区域的被摄体检测处理,并且该屏蔽处理将允许被摄体检测处理单元201识别图像数据中的检测的对象无效区域。
可构思的这种处理的一个特定示例是增加指示代表检测的对象无效区域的像素范围的数据(或相反,指示代表检测的对象有效区域的像素范围的数据)作为图像数据的元数据。另一可构思的示例是通过例如以预定的固定颜色重写检测的对象无效区域,执行关于图像数据的图像处理,使得被摄体看不见。
屏蔽处理单元205然后将经历上述屏蔽处理的图像数据(即,屏蔽的图像数据)输出到被摄体检测处理单元201,其中输入的屏蔽的图像数据被用来执行被摄体检测处理。
被摄体检测处理单元201使用输入的屏蔽的图像数据执行被摄体检测处理。由于上述屏蔽处理,屏蔽的图像数据已经被处理,使得处于静止状态的图像区域不被当作被摄体检测处理的对象。因此,被摄体检测处理单元201只对具有运动的图像区域执行被摄体检测处理。因此,利用该情况下的被摄体检测处理,检测的单独被摄体只有真实被摄体。也就是说,利用该图所示的配置,基于静止检测结果执行屏蔽处理的屏蔽处理单元205可以看作执行用于消除不真实对象并且从检测的单独被摄体中只区分真实对象的处理(即,关于检测的单独被摄体是真实被摄体还是不真实被摄体的确定处理)。
该情况下的被摄体检测处理单元201然后输出检测的被摄体信息到构图确定处理单元203,该检测的被摄体信息由如上所述检测的每个单独被摄体的单独被摄体信息构成。
构图确定处理单元203输入上述从被摄体检测处理单元201的检测的被摄体信息,并且执行构图确定处理。由此获得的构图确定结果是适当的结果,其中不真实被摄体已经从图像数据的图像中存在的被摄体中消除,并且只有作为真实被摄体的单独被摄体用于构图确定。
图14所示的流程图图示根据由已经参照图8描述的第五示例的构图确定块200执行的处理的过程的示例。在步骤S501中,静止检测处理单元202和屏蔽处理单元205输入图像数据。
步骤S502到S504由屏蔽处理单元205执行。在步骤S502中,基于当前从静止检测处理单元202输入的检测的静止区域信息检测所检测的对象无效区域,如上面参照图8所述,并且在步骤S504中,也参照图8执行屏蔽处理。在步骤S504中,输出屏蔽的图像数据,它是已经经历屏蔽处理的图像数据。
此外,与步骤S502到S504并行执行的步骤S505和S506由静止检测处理单元202执行。在步骤S505中,在步骤S501中输入的图像数据中检测静止区域,并且在步骤S506中,作为检测结果的检测的静止区域信息输出到屏蔽处理单元205。重复地,在步骤S502中使用以此方式输出的检测的静止区域信息。
步骤S507和S508由被摄体检测处理单元201执行。在步骤S507中,对于在步骤S504中输出的屏蔽的图像数据执行之前参照图8所述的被摄体检测处理,并且在步骤S508中,作为其检测结果的检测的被摄体信息在步骤S508中输出到构图确定处理单元203。
在步骤S509,构图确定处理单元203使用检测的被摄体信息执行构图确定。
图9图示作为本实施例中的第六示例的构图确定块200的配置。该图中的构图确定块200也包括被摄体检测处理单元201、静止检测处理单元202、构图确定处理单元203和屏蔽处理单元205,这与图8所示的第五示例相同,但是第六示例中的配置如下。
在该情况下,构图确定块200已经输入的图像数据输入到屏蔽处理单元205。屏蔽处理单元205使用从静止检测处理单元202输入的检测的静止被摄体信息,以便以与图8所示的情况相同的处理使输入的图像数据经历屏蔽处理,并且输出屏蔽的图像数据到被摄体检测处理单元201。
被摄体检测处理单元201使用输出的屏蔽数据执行被摄体检测处理,并且输出检测的被摄体信息到构图确定处理单元203,该检测的被摄体信息由关于检测的单独被摄体的检测的单独被摄体信息构成。构图确定处理单元203然后基于输入的检测的被摄体信息执行构图确定处理。
在该情况下,静止检测处理单元202输入从被摄体检测处理单元201输出的检测的被摄体信息,并且例如利用与由图5和7中的静止检测处理单元202执行的处理相同的处理,从检测的被摄体信息指示的检测的单独被摄体中检测处于静止状态的静止被摄体。在该情况下,将每个检测的静止被摄体的位置信息(即,可以指示每个静止被摄体处于图像数据的图像中的哪里的信息)输出作为检测的静止被摄体信息。
屏蔽处理单元205通过设置与由输入的检测的静止被摄体信息指示的每个静止被摄体的位置信息对应的图像区域内的区域,使输入的图像数据经历屏蔽处理,以便生成和输出屏蔽的图像数据。
将以此方式生成的屏蔽的图像数据设置为检测的对象无效区域,该检测的对象无效区域关于已经被检测为静止被摄体的检测的单独被摄体位于其中的区域,如上所述,这意味着相反地,作为真实被摄体的检测的单独被摄体存在其中的区域被当作检测的对象有效区域。因此,输入屏蔽的图像数据的被摄体检测处理单元201可以从图像中存在的被摄体中只检测真实被摄体作为单独被摄体,而消除了不真实被摄体(静止被摄体)。
构图确定处理单元203然后基于以此方式检测的单独被摄体的检测的单独被摄体执行构图确定。也就是说,以适当方式只对真实被摄体执行构图确定。注意,利用这种配置,在屏蔽处理单元205处,检测的对象无效区域根据需要以预定的触发或时序被清除。
图15所示的流程图图示由根据已经参照图9描述的第六示例的构图确定块200执行的处理的过程的示例。在该情况下,在步骤S601中,屏蔽处理单元205输入图像数据。
接着,屏蔽处理单元205还执行步骤S602到S604的过程。在步骤S602中,输入当前从静止检测处理单元202输出的检测的静止被摄体信息,在输入的图像数据的图像中设置屏蔽区域(检测的对象无效区域),并且在步骤S603中,通过使图像数据经历用于反映设置的屏蔽区域的屏蔽处理,获得了屏蔽的图像数据,并且在步骤S604中输出屏蔽的图像数据。
步骤S605和S606的处理由被摄体检测处理单元201执行。在步骤S605中,输入在步骤S604中输出的屏蔽的图像数据,并且执行被摄体检测处理,并且在步骤S606中,输出由每个检测的单独被摄体的检测的单独被摄体信息构成的检测的被摄体信息。以此方式输出的检测的单独被摄体信息在由构图确定处理单元203执行的步骤S609、以及由静止检测处理单元202执行的步骤S607中使用。
首先,在步骤S607中,静止检测处理单元202基于输入的检测的单独被摄体信息检测静止被摄体信息,并且作为其检测结果,在步骤S608中输出检测的静止被摄体信息到屏蔽处理单元205,如上所述,该检测的静止被摄体信息由每个检测的静止图像的位置信息(检测的单独被摄体信息)构成。
此外,在步骤S609中,构图确定处理单元203基于输入的检测的被摄体信息执行构图确定处理。
根据上述第一到第六示例的构图确定块200的配置(即,根据本实施例的基本构图确定配置)允许即使在真实被摄体和不真实被摄体共存为图像数据的图像中的被摄体时,也可以精确地将应当从构图确定的对象中消除的不真实被摄体从对象中消除,以便只对作为对象的真实被摄体执行适当的构图确定。
现在,在真实被摄体和不真实被摄体之间区分时,使用关于图像数据的图像的静止检测的结果或检测的被摄体,即,关于图像运动的检测。因此,即使在图像数据的图像内容随着时间改变时,也可以根据此时的图像内容动态地识别静止区域或被摄体,使得可以以精确方式恒定地区分真实被摄体和不真实被摄体。
例如,日本未审专利申请公开No.2007-156693公开了一种配置,其中在面部图像检测时生成屏蔽图案,使得不检测如海报中的面部的面部图像(等效于本实施例中的不真实被摄体)。然而,利用该配置,要在图像中不存在如顾客或员工的实际的人的面部(等效于本实施例中的真实被摄体)的情况下执行生成适当的屏蔽图案作为校准(初始设置),如在日本未审专利申请公开No.2007-156693的0060段中描述的。换句话说,利用该相关技术,在其中不真实被摄体和真实被摄体共存的图像内容的情况下,难以生成适当的屏蔽图案。
作为比较,利用本实施例,即使在真实被摄体和不真实被摄体共存在图像(图像框)中以及图像内容随着时间改变的情况下,也可以执行适当的屏蔽处理,如上所述,因此,可以只将真实被摄体作为对象执行构图确定。因此,利用本实施例,在应用到如日本未审专利申请公开No.59-208983中描述的固定点监视系统的情况下,不必执行如上述校准的预备操作,并且即使在由于某些原因在工作时间期间张贴新的海报的情况下,也可以消除海报上的面部等。因此,根据本实施例的配置允许提供更易于使用并且比现有技术执行更好的安排。
此外,采用根据本实施例的配置实现了在广泛使用中的应用的灵活性,而不用限制在如例如日本未审专利申请公开No.59-208983中的固定点监视系统的用途。
因此,接着将描述根据本实施例的构图确定配置的应用的若干设备示例和系统配置示例。
首先,将进行关于根据本发明的构图确定应用于由数字照相机以及安装数字照相机的平台构成的成像系统的描述。对应于本实施例的成像系统允许根据由构图确定所确定的构图执行静止图像成像和记录。
图16图示从前面来看的根据本实施例的成像系统的外部配置的示例。如该图所示,根据本实施例的成像系统由数字照相机1和平台10配置。
数字照相机1基于通过用在主单元前侧面板提供的镜头单元3执行成像获得的成像光生成静止图像数据,并且可以将其存储在内部安装的存储介质中。也就是说,数字照相机1具有拍摄为照片的图像作为静止图像数据存储和保存在存储介质中的功能。在手动执行这种拍照成像时,用户按下在主单元的上面提供的快门(释放)按钮。
平台10可以安装数字照相机1,使得数字照相机1固定到平台10。也就是说,数字照相机1和平台10都具有用于允许互相附接的机制部分。
平台10具有摇摄/倾斜机制,用于在摇摄方向(水平方向)和倾斜方向上移动所安装的数字照相机1。例如,在图17A和17B中示出了通过平台10的摇摄/倾斜机制允许的数字照相机1的摇摄方向和倾斜方向。图17A和18B是从平面和侧面方向的安装到平台10的数字照相机1的视图。
首先,关于摇摄方向,将其中数字照相机1的侧面方向和图17A中的线X是相同方向的位置状态作为参照,以旋转轴Ct 1作为旋转中心沿着旋转方向转动+α提供右边方向上的摇摄运动。此外,沿着旋转方向转动-α提供左边方向上的摇摄运动。
接着,关于倾斜方向,将其中数字照相机1的垂直方向和图17B中的线Y是相同方向的位置状态作为参照,以旋转轴Ct 2作为旋转中心沿着旋转方向转动+β提供向下方向上的摇摄运动。此外,沿着旋转方向转动-β提供向上方向上的摇摄运动。
尽管图17A和17B中没有具体提到±α和±β的最大转动角度,但是可以说如果考虑到增加捕获被摄体的机会,则期望最大转动角度越大越好。
图18内部图示了作为对应于每个功能操作的块配置的、根据本实施例的成像系统。在图18中,数字照相机包括成像块61、构图确定块62、摇摄/倾斜/变焦控制块63、以及通信控制处理块64。
成像块61是用于输出通过成像获得的图像作为图像信号数据(成像的图像数据)的部分,并且包括用于成像的光学系统以及成像设备(图像传感器)、用于从由成像设备输出的信号中生成成像的图像数据的信号处理电路等。
构图确定块62输入从成像块61输出的成像的图像数据,并且基于成像的图像数据执行用于构图确定的处理。之前图4到9中所示的构图确定块200的任何可用于该构图确定块62。也就是说,构图确定块62可以通过消除成像的图像数据的图像中共存的不真实被摄体,只将真实被摄体作为对象来执行构图确定。
摇摄/倾斜/变焦控制块63执行用于获得成像视角的摇摄/倾斜/变焦控制(构图控制),以获得由从构图确定块62输入的构图确定结果的信息指示的成像的图像构图。也就是说,获得平台10的摇摄/倾斜机制的运动量,数字照相机1在该平台10上必须移动使得成像方向与由确定结果指示的构图一致,并且根据获得的运动量生成摇摄/倾斜/变焦控制信号,用于指令该运动。此外,获得变焦位置用于获得场角,以便获得由确定结果指示的成像的图像构图,并且控制成像块61的变焦机制以便实现该变焦位置。
通信控制处理块64是用于执行与在平台10侧提供的通信控制块71的通信的部分。由摇摄/倾斜/变焦控制块63生成的摇摄/倾斜/变焦控制信号被通过由通信控制处理块64执行的通信,发送到平台10的通信控制块71。
例如如图8所示,平台10具有该通信控制块71和摇摄/倾斜控制处理块72。通信控制块71是用于与在数字照相机1侧的通信控制处理块64通信的部分,并且在接收上面的摇摄/倾斜/变焦控制信号时,将该摇摄/倾斜/变焦控制信号输出到摇摄/倾斜控制处理块72。
摇摄/倾斜控制处理块72对应于用于执行涉及由在平台10侧的微计算机等(未示出)执行的控制处理中的摇摄/倾斜控制的处理的机制。摇摄/倾斜控制处理块72根据输入的摇摄/倾斜控制信号,控制未示出的摇摄驱动机制单元和倾斜驱动机制单元,它们在这里未示出。因此,执行用于根据确定的构图获得水平视角和垂直视角的摇摄和倾斜。
此外,在构图确定块62没有检测到被摄体时,摇摄/倾斜/变焦控制块63可以例如根据命令,执行用于搜索被摄体的摇摄/倾斜/变焦。
利用由图18所示的配置的数字照相机1和平台10构成的成像系统,可以进行安排,其中将人当作主观被摄体(以下简称为“被摄体”),搜索被摄体,并且在检测到被摄体的存在时,激活平台10的摇摄/倾斜机制以便获得(取景)对被摄体包括在其中的图像最优的构图(最优构图)。在获得最优构图时,在此时的成像的图像数据可以记录(成像记录)在存储介质中。注意,例如利用图18所示的配置,在完成了用于构图的摇摄/倾斜/变焦控制的时刻,可以从摇摄/倾斜/变焦控制块63关于适当的部分(如例如成像块61)执行成像记录的指令(释放操作的指令)。或者,在确定成像的图像数据的图像中获得的真实构图和确定的最优构图之间的相似度为一定水平或更高的时刻,可以利用构图确定块62做出释放指令。
这样,利用图18的成像系统,在利用数字照相机执行拍照时,首先,判断(确定)关于搜索的被摄体的最优构图,并且自动执行拍照和记录。因此,即使用户没有确定构图并拍照,也可以获得相当高质量的图像。此外,利用这种系统,不需要人支撑相机并拍照,因此在场的所有人都可以是被摄体。此外,即使不是所有被摄体都努力进入相机的视角范围,也可以获得所有被摄体都在画面中的照片。也就是说,将有更大的机会拍摄在场的人,其中以更自然的状态执行拍摄,因此,可以获得此前并不容易获得的许多自然的照片。
此外,最优构图依赖于被摄体面对的方向而不同,并且在存在多个被摄体的情况下,可以根据各被摄体的方向之间的关系确定不同的最优构图,因此,具有根据本实施例的配置的设备的用户可以获得最优配置而没有麻烦的过程。
此外,上述成像系统执行如上所述的构图确定,因此可以执行具有适当构图的图像的成像记录,其中只有真实的人(真实被摄体)被当作对象,而不会错误地对例如海报等中的人(不真实被摄体)有反应。
图19图示了根据图18所示的实施例的成像系统的修改。在图19中,在数字照相机1,由成像块61获得的成像的图像数据从通信控制处理块64发送到平台10的通信控制块71。在此示出包括通信控制块71、摇摄/倾斜控制处理块72以及构图确定块73的平台10。
由通信控制块71接收的成像的图像数据输出到构图确定块73。之前在图4到图9中所示的构图确定块200的任何可以应用于该构图确定块73,以便能够基于输入的成像的图像数据执行只有真实被摄体的构图确定。
在该情况下,对于摇摄机制单元和倾斜机制单元获得移动量,使得拍摄方向匹配确定的构图,例如,如在图18中的摇摄/倾斜/变焦控制块63的情况,并且生成用于根据获得的运动量指令运动的摇摄/倾斜/变焦控制信号,并将其输出到摇摄/倾斜控制处理块72。因此,执行摇摄和倾斜使得可以获得在构图确定块73确定的构图。
因此,配置图19所示的成像系统,使得成像的图像数据从数字照相机1发送到平台10,其中获取的成像的图像数据用于执行构图确定,并且还执行对应的摇摄/倾斜控制(构图控制)。此外,利用图19所示的配置,在控制成像视角(构图控制)时,没有执行变焦(场角)控制,这指示利用本实施例,摇摄/倾斜/变焦的每个的控制对于构图控制不是不可缺少的。例如,依赖于条件或情形,根据确定的构图的构图控制可以通过单独的摇摄控制、单独的倾斜控制或单独的变焦控制来实现。
图20图示根据本实施例的成像系统的另一修改。注意,图20中的一些组件利用与图19相同的参照标号标记,并且省略其描述。
该系统在平台10侧具有成像块75。例如,以与图18和19中所示的成像块相同的方式,成像块75配置有光学系统和用于成像的成像设备(图像传感器)、以及用于从成像的信号生成成像的图像数据的信号处理单元。由成像块75生成的成像的图像数据输出到构图确定块73。注意,优选的安排是使成像块75输入成像光的方向(成像方向)尽可能地匹配安装在平台10上的数字照相机1的成像方向。构图确定块73和摇摄/倾斜控制处理块72在该情况下以与图19相同的方式执行构图确定,并且根据构图确定结果驱动摇摄/倾斜机制的控制。
要注意的是,在该情况下构图确定块73根据释放动作要执行的时刻(关于来自成像块75的成像的图像数据的图像,已经获得确定的构图的时刻),经由通信控制块71发送释放指令信号到数字照相机1。数字照相机1响应于释放指令信号的接收执行释放操作,并且基于由成像块6在此时获得的成像的图像数据,执行图像数据的成像记录。利用该另一实施例,除了涉及释放操作自身的控制和处理之外,涉及构图确定和构图控制的所有控制和处理可以在平台10侧完成。
注意,利用上面的描述,通过控制平台10的摇摄/倾斜机制的运动执行摇摄控制和倾斜控制,但是可以构思另一配置,其中替代平台10,例如反射镜的反射的成像光输入到数字照相机1的光学系统21,并且移动反射镜使得关于基于成像光获取的图像获取摇摄/倾斜结果。
此外,通过在水平方向和垂直方向上偏移用于从数字照相机1的成像设备(图像传感器22)获取有效成像信号作为图像的像素区域,可以获得等效于执行摇摄/倾斜的结果。在该情况下,除了数字照相机1以外,不需要准备用于摇摄/倾斜的设备(如平台10或等效设备),并且根据本实施例的构图控制可以单独在数字照相机1内完成。
此外,关于场角控制(变焦控制),可以进行这样的安排,其中代替驱动变焦镜头,可以通过裁剪出(crop out)成像的图像数据的部分图像区域实现变焦控制。此外,数字照相机1可以提供有能够在水平方向和垂直方向上改变光学系统的光轴的机制,使得可以通过控制该机制的运动来执行摇摄和倾斜。
接着,将描述将根据本实施例的构图确定的配置应用到不同于上述成像系统的示例。首先,图21图示将根据本实施例的构图确定应用于单机的成像装置(如数字照相机)等,其中例如在根据检测结果获得适当构图的拍摄模式中、通过该成像装置成像图像的时间点,通知用户。
在此所示的是该图像装置为此应当具有的配置,包括构图确定块81、通知控制处理块82以及显示单元83。之前在图4到9中所示的构图确定块200的任何可以应用于该构图确定块81。
例如,假设用户已经将成像装置设置为拍摄模式,已经将成像装置保持在手中,并且处于可以在任何时间执行释放操作(快门按钮操作)以记录成像的图像的状态。在该状态下,构图确定块81首先获取在此时通过成像获得的成像的图像数据,执行之前所述的一系列构图确定处理,并且确定最优构图。
此外,此时构图确定块81获得此时实际获得的成像的图像数据的图像内容的构图和确定的最优构图之间的匹配度和/或相似度。例如,如果相似度达到一定水平或更高,则进行确定:此时实际获得的成像的图像数据的图像内容的构图已经达到最优构图。在实际实践中,可以构思这样的安排,其中准备算法以便确定在达到一定水平或更高的相似度的点已经达到最优构图,使得成像的图像数据的图像内容的构图和最优构图可以被看作已经匹配。可以构思广泛的算法用于确定匹配度或相似度,因此这里将不具体讨论其特定示例。
确定信息导致这样的效果,即已经达到最优构图的成像的图像数据的图像内容被输出到通知控制处理块82。通知控制处理块82根据信息的输入执行显示控制,以便通过执行显示单元83上的预定形式的显示控制,通知用户当前成像的图像为最优配置。
注意,通知控制处理块82通过成像装置的微计算机(CPU)等的显示控制功能以及用于实现关于显示单元83等的图像显示的显示图像处理功能来实现。通知用户已经实现最优构图的效果还可以用声音执行,如电子声音、合成语音或任何其它种类的声音。
此外,例如,显示单元83对应于根据本实施例的数字照相机1的显示单元33,通常提供显示单元83使得显示面板显示在成像装置的预定位置上,并且图像在显示在该显示单元上时被成像。这种处于拍摄模式中的图像也成为“直通图像(through image)”。因此,在实际实践中,利用该成像装置,将使得构图为最优的图像显示叠加在显示单元83上的直通图像上。当该显示通知达到最优构图时,用户执行释放操作。因此,即使是没有很多关于拍摄的知识或高超技术的用户也可以容易地拍摄具有好的构图的照片。
此外,图22示出了应用于如数字照相机1的单机成像装置(如图21所述的情况)、根据本实施例的构图确定的配置。首先,利用图22所示的配置,由构图确定块81执行处理以用于基于输入的成像的图像数据确定最优构图,并且进行关于在稍后时刻获得的成像的图像数据的图像内容是否是最优构图的确定。在确定构图是最优构图时,为此将通知发送给释放控制处理块84。
释放控制处理块84是执行用于记录成像的图像数据的控制的部分,并且通过由例如成像装置的微计算机执行的控制实现。已经接收了上述通知的释放控制处理块84执行图像信号处理和记录控制处理,使得成像的图像数据被记录在例如记录介质中。利用这种配置,可以提供一种成像装置,其中例如当成像了根据最优构图的图像时,自动执行其记录。
图21和22所示的配置不仅可应用于例如如图1所示配置的数字照相机,而且可应用于所有落入例如静止相机的范围内的相机,包括所谓的银盐相机,其将成像的图像记录在银盐膜等上,但是例如提供用于分离由光学系统获得的成像光的图像传感器、用于输入和处理来自图像传感器的信号的数字图像信号处理单元。
图23是这样的配置的示例,其中根据本实施例的构图确定的配置已经应用于如数字照相机的成像装置。图23所示的成像装置100具有构图确定块101、元数据创建处理块102、以及文件创建处理块103。我们将假设构图确定块101具有图4到9的任一中所示的配置。
通过利用未示出的成像块成像获得的成像的图像数据输入到成像装置100的构图确定块101和文件创建处理块103。注意,输入成像装置100的成像的图像数据是由于释放操作等而被记录在记录介质中的成像的图像数据,并且基于通过利用未示出的成像块成像获得的成像信号而生成。
首先,在将真实被摄体作为对象并且不真实被摄体(静止被摄体)已经被消除的情况下,构图确定块101执行构图确定。此外,该情况下的构图确定处理包括执行用于基于构图确定结果,根据预定的垂直-水平比(最优构图的图像部分),确定输入的成像的图像数据的整个图像区域的哪个部分是获得了确定的最优构图的图像部分的对其执行的处理。指示识别的最优构图的图像部分的信息然后输出到元数据创建处理块102。
在元数据创建处理块102,基于输入的信息创建由用于从对应的成像的图像数据获得最优构图的信息构成的元数据(构图编辑元数据),并且该元数据输出到文件创建处理块103。构图编辑元数据的内容是例如位置信息,其可以指示要微调对应的成像的图像数据的哪个图像区域部分等。
利用图23所示的成像装置100,成像的图像数据记录在记录介质中以便管理为根据预定格式的静止图像文件。因此,文件创建处理块103将成像的图像数据转换为静止图像格式(即,创建根据该格式的静止图像文件)。
文件创建处理块103首先执行与关于输入的成像的图像数据的图像文件格式相对应的图像压缩编码,并且创建由成像的图像数据构成的文件主要部分。此外,从元数据创建处理块102输入的构图编辑元数据存储在预定的存储位置中,以便创建由报头、添加的信息块等构成的数据部分。文件主要部分、报头、添加的信息块等用于创建静止图像文件,然后输出该静止图像文件。如图23所示,要记录在记录介质中的静止图像文件具有包括成像的图像数据和元数据(构图编辑元数据)的结构。
图24图示用于关于由图23所示的设备创建的静止图像文件执行编辑的编辑设备的配置示例。图24所示的编辑设备110获取静止图像文件的数据,并且首先将该数据输入到元数据分离处理块111。元数据分离处理块111从静止图像文件中分离作为文件主要部分的成像的图像数据和元数据。元数据分离处理块11 1然后将通过分离获得的元数据输出到元数据分析处理块112,并且将成像的图像数据输出到微调处理块113。
元数据分析处理块112是执行用于分析输入元数据的处理的部分。这里执行的关于构图编辑元数据的分析处理至少包括:从作为构图编辑元数据的内容的、用于获得最优构图的信息中,识别要对相应的成像的图像数据执行微调的图像区域。用于指令微调识别的图像区域的微调指令信息然后输出到微调处理块113。
微调处理块113执行从由元数据分离处理块111侧输入的成像的图像数据中,裁剪出由从元数据分析处理块112输入的微调指令信息指示的图像区域的处理,并且输出裁剪的图像部分作为编辑的成像的图像数据,其是独立的图像数据。
利用图23和24所示的成像装置和编辑设备配置的系统,例如通过拍摄获得的原始静止图像数据(成像的图像数据)可以保存而不用图像处理,并且可以使用来自该原始静止图像数据的元数据执行编辑以裁剪出最优构图的图像。此外,自动执行对应于这种最优构图判断要裁剪哪个图像部分,使得编辑对于用户非常容易。
注意,可以构思这样的安排,其中图24所示的编辑设备的功能由例如安装在个人计算机中用于编辑图像数据的应用、用于管理图像数据的应用中的图像编辑功能等实现。
图25图示将根据本实施例的构图确定的配置应用到能够拍摄和记录运动图像的成像装置(例如摄像机)的示例。运动图像数据输入到图25所示的成像装置120中。基于通过成像装置120具有的成像单元执行成像获得的成像信号生成运动图像数据。运动图像数据输入到成像装置120包括的构图确定块122和运动图像记录处理块124。
在该情况下,构图确定块122基于图4到9的任一所示的配置,通过只关于输入其中的运动图像数据的图像中的真实被摄体执行构图确定,获得最优构图。此后,构图确定块122通过比较检测运动图像数据的图像的实际构图和确定的最优构图之间的差异。在例如稍后描述的构图确定的特定示例中执行的处理中,通过构图确定获得对应于最优构图的参数,如对象单独被摄体在图像内占据的百分比(大小)、各被摄体之间的距离等。因此,在实际比较中要做的就是将对应于最优构图的这些参数与目前在运动图像数据的图像中出现的参数比较。作为比较的结果,在确定各参数具有一定水平或更高的相似度时,确定构图是好的,并且在相似度低于一定水平时,确定构图不好。
在构图确定块122已经如上所述确定关于运动图像数据已经获得好的构图时,构图确定块122输出信息到元数据创建处理块123,该信息关于上面已经确定已经获得好的构图的图像部分(好的构图图像部分)在哪里(好的构图图像部分指令信息)。该“好的构图图像部分”是例如指示如运动图像数据中的好的构图图像部分的开始位置和结束位置等的信息。
该情况下,元数据创建处理单元123生成要由稍后描述的运动图像记录处理块124使用的元数据,以将运动图像数据作为文件记录在记录介质中。在从构图确定块122输入好的构图图像部分指令信息时,元数据创建处理单元123生成元数据,指示由输入的好的构图图像部分指令信息指示的图像部分为好的构图,并且将其输出到运动图像记录处理块124。
运动图像记录处理块124执行用于将输入的运动图像数据记录在记录介质中以便被管理为根据预定格式的运动图像文件的控制。在元数据从元数据创建处理块123输出时,运动图像记录处理块124执行控制,使得该元数据包括在附接到运动图像文件的元数据中。因此,在记录介质中记录的运动图像文件具有这样的内容,其中指示已经获得了好的构图的图像内容的元数据附接到通过成像获得的运动图像数据。
注意,如上所述由元数据指示的已经获得了好的构图的成像部分,可以是具有一定程度的时间间隔的运动图像中的图像部分,或者可以在从运动图像数据提取的静止图像中。可以构思的另一安排是生成已经获得好的构图的图像部分的运动图像数据或静止图像数据,而不是上面的元数据,并且作为要附接到运动图像文件的第二图像数据(或作为与运动图像文件独立的文件)记录。
此外,利用其中成像装置120具有图25所示的构图确定块122的配置,可以构思这样的配置,其中只有被构图确定块122确定为好的构图图像部分的运动图像的部分被记录作为运动图像文件。此外,可以构思这样的安排,其中对应于被构图确定块122确定为好的构图的图像部分的图像数据通过数据接口等外部输出到外部设备。
除了图24所示的编辑设备外,图26所示的打印设备130可以被构思为对应于图23所示的成像装置100的设备的示例。在该情况下,打印设备130安排为获取静止图像文件作为要打印的图像。该静止图像文件包括由例如成像装置100生成的静止图像文件,并且具有包括作为静止图像的实际图像数据和元数据的结构。因此,该元数据包括与图23和24所示的静止图像文件等效的内容的构图编辑元数据。
这样输入获取的文件被输入到元数据分离处理块131。元数据分离处理块111以与元数据分离处理块131相同的方式,在静止图像文件数据当中,将等效于文件主要部分的图像数据与附接到其的元数据分离。分离并获得的元数据输出到元数据分析处理块132,而图像数据输出到微调处理块133。
元数据分析处理块132以与图24中的元数据分离处理块111相同的方式对输入的元数据执行分析处理,并且输出微调指令信息到微调处理块133。
微调处理块133执行用于从由元数据分离处理块131输入的图像数据中裁剪出图像部分的图像处理,其由从元数据分析处理块132输入的微调指令信息指示,并且将从该裁剪的图像部分生成的打印格式的图像数据输出到打印控制处理块134作为打印图像数据。
打印控制处理块134使用输入的打印图像数据执行控制,用于使得未示出的打印设备操作。由于该操作,利用打印设备130,在输入图像数据的图像内容当中,自动裁剪出获得了最优构图的图像部分,并将其打印为单个图像。
接着,将描述已经应用了根据本实施例的构图确定的设备和系统的更具体的配置示例。这里将给出关于具有之前通过图16到18图示和描述的系统配置的、由数字照相机1和平台10构图的成像系统的示例。
首先,在图27中示出了关于数字照相机1的实际内部配置示例的方块图。在图27中,光学系统21包括例如包括多个成像镜头(如聚焦镜头等)的成像镜头组和光圈等,并且作为成像光的入射光成像在图像传感器22的感光面上。光学系统21还包括用于驱动变焦镜头、聚焦镜头、光圈等的驱动机制。驱动机制的操作受由例如控制单元27执行的所谓相机控制(如变焦(场角)控制、自动聚焦调整控制、自动曝光控制等)的控制。
成像传感器22执行所谓的光电转换,其中在光学系统21获得的成像光被转换为电信号。因此,配置图像传感器22以便在光电转换设备的感光面接收来自光学系统21的成像光,并且以预定时序依次输出根据接收的光的强度累积的信号电荷。这输出对应于成像的光的电信号(成像信号)。注意,用作图像传感器22的光电转换设备(成像设备)的示例在目前状态可以包括CMOS传感器或CCD(电荷耦合设备)等,尽管没有具体限制。此外,在使用CMOS传感器的情况下,等效于稍后所述的A/D转换器23的A/D转换器可以包括在如等效于图像传感器22的设备(部分)的结构中。
从图像传感器22输出的图像信号输入到A/D转换器23,并且因此被转换为数字信号并输入信号处理单元24。信号处理单元24输入从A/D转换器23输出的、例如等效于单个静止图像(帧图像)递增的数字图像信号,并且使输入的按照静止图像递增的图像信号经历预定的信号处理,从而生成等效于单个静止图像的图像信号数据的成像的图像数据(成像的静止图像数据)。
在将在信号处理单元24生成的成像的图像数据作为图像信息记录在作为记录介质(记录介质设备)的存储卡40中时,例如对应于单个静止图像的成像的图像数据从信号处理单元24输出到编码/解码单元25。编码/解码单元25使从信号处理单元24输出的、按照静止图像递增的成像的图像数据经历根据预定静止图像压缩编码方法的压缩编码,根据例如控制单元27的控制增加报头,并且转换为根据预定格式压缩的成像的图像数据格式。以此方式生成的成像的图像数据被传送给介质控制器26。介质控制器26跟随控制单元27的控制,将传送给它的成像的图像数据写入和记录在存储卡40中。在该情况下,存储卡40是例如根据预定的标准具有卡的外形、并且在其中具有非易失性半导体存储设备(如闪存)的存储介质。注意,用于存储图像数据的存储介质不限于上述存储卡,并且可以是任何其它类型、格式等。
此外,根据本实施例的信号处理单元24可以使用如上所述获取的成像的图像数据执行被摄体检测的图像处理。稍后将描述根据本实施例的被摄体检测处理。
此外,数字照相机1可以使用通过信号处理单元24获得的成像的图像数据,并且在显示单元33上显示图像,以便显示所谓的“直通图像”,其是当前被成像的图像。例如,如之前所述,信号处理单元24获取从A/D转换器23输出的成像信号,并且生成一个静止图像的成像的图像数据,连续执行处理,从而顺序生成等效于运动图像的帧图像的成像的图像数据。这样顺序生成的成像的图像数据在控制单元27的控制下,被发送到显示驱动器32。因此,显示直通图像。
在显示驱动器32,基于如上所述从信号处理单元24输入的成像的图像数据,生成用于驱动显示单元33的驱动信号,并且输出给显示单元33。因此,基于按照静止图像递增的成像的图像数据的图像顺序显示在显示单元33上。因此,用户可以动态查看此时正在显示单元33上成像的图像,即,显示监视器图像。
此外,数字照相机1可以播放在存储卡40中记录的成像的图像数据,并且将图像显示在显示单元33上。对此,控制单元27指定成像的图像数据,并且命令介质控制器26从存储卡40中读出数据。响应于该命令,介质控制器26访问其中记录了指定的成像的图像数据的存储卡40的地址并读出数据,并且将已经读出的数据传送给编码/解码单元25。
编码/解码单元25例如在控制单元27的控制下,从由介质控制器26传送的成像的图像数据中提取作为压缩的静止图像数据的实际数据,对关于压缩的静止图像数据的压缩的编码数据执行解码处理,并且获得对应于单个静止图像的成像的图像数据。该成像的图像数据然后被发送给显示驱动器32。因此,存储卡40中记录的成像的图像数据的图像通过被显示在显示单元33上而播放。
此外,用户界面图像可以与上述监视器图像或播放的成像的图像数据的图像一起显示在显示单元33上。在该情况下,例如根据此时的操作状态,通过控制单元27生成用作界面图像的显示图像数据,并且输出到显示驱动器32。因此,用户界面图像显示在显示单元33上。注意,用户界面图像可以与监视器图像或播放的成像的图像数据的图像分开地显示在显示单元33的显示屏上,如在特定菜单屏幕的情况下,或者可以被显示以便部分地与监视器图像或播放的成像的图像数据的图像的一部分叠加或合成。
在实际实践中,控制单元27例如包括CPU(中央处理单元)、以及ROM28、RAM 29等,构成微计算机。ROM 28例如存储用作控制单元27的CPU要执行的程序、以及涉及数字照相机1的操作的各种类型的设置信息等。RAM29是CPU的主要存储设备。
此外,在该情况下提供闪存作为非易失性存储区域,用于存储例如要根据用户的操作、操作历史等更新(重写)的各种类型的设置信息等。注意,在采用非易失性存储器(如闪存等)用于ROM 28的情况下,可以使用ROM28的部分存储区域替代闪存30。
操作单元31包括提供给数字照相机1的各种类型的操作元件以及操作信息信号输出部分,该操作信息信号输出部分用于根据在操作元件执行的操作生成操作信息信号并输出给CPU。控制单元27根据从操作单元31输入的操作信息信号执行预定的处理。因此,数字照相机1根据用户操作执行操作。
平台兼容通信单元34是用于在平台10侧和数字照相机1侧之间、按照预定通信格式执行通信的部分,并且包括:物理层配置,在数字照相机1安装到平台10的状态下,允许在数字照相机1和平台10之间交换电缆或无线通信信号;以及上层配置,用于实现对应其的通信处理。
图28是图示平台10的配置的方块图。如前所述,平台10具有摇摄/倾斜机制,摇摄机制单元53、摇摄马达54、倾斜机制单元56和倾斜马达57对应该摇摄/倾斜机制。
摇摄机制单元53是具有用于给安装到平台10的数字照相机1提供图17A所示的摇摄(水平)方向上的运动的机制的配置,并且通过在向前或相反方向上旋转摇摄马达54获得该运动。相同地,倾斜机制单元56是具有用于给安装到平台10的数字照相机1提供图17B所示的倾斜(垂直)方向上的运动的机制的配置,并且通过在向前或相反方向上旋转倾斜马达57获得该运动。
控制单元51配置为具有由例如CPU、ROM、RAM等的组合形成的微计算机,并且控制摇摄机制单元53和倾斜机制单元56的运动。在控制单元51控制摇摄机制单元53的运动时,对应于摇摄机制单元53的运动量和运动方向的控制信号输出到摇摄驱动单元55。摇摄驱动单元55生成对应于输入的控制信号的马达驱动信号,并且输出生成的马达驱动信号到摇摄马达54。马达驱动信号使得摇摄马达54以预定的旋转方向按照预定的旋转角度旋转,因此,还驱动摇摄机制单元53以便在对应的运动方向上移动相应的运动量。
相同地,在控制单元51控制倾斜机制单元56的运动时,对应于倾斜机制单元56的运动量和运动方向的控制信号输出到倾斜驱动单元58。倾斜驱动单元58生成对应于输入的控制信号的马达驱动信号,并且输出生成的马达驱动信号到倾斜马达57。马达驱动信号使得倾斜马达57以预定的旋转方向按照预定的旋转角度旋转,因此,还驱动倾斜机制单元56以便在对应的运动方向上移动相应的运动量。
提供通信单元52以执行与安装到平台10的数字照相机1内提供的平台兼容通信单元34的通信,并且以与平台兼容通信单元34相同的方式,包括:物理层配置,允许与平台兼容通信单元34交换电缆或无线通信信号;以及上层配置,用于实现对应其的通信处理。
现在,图18所示的成像系统的配置和图27和28所示的数字照相机1和平台10的配置之间的相关例如如下。注意,以下描述的相关应当被理解为只是一个直接构思的示例,并且可以构思和采用其它相关。
图18中的数字照相机1的成像块61对应于图27中的光学系统21、图像传感器22、A/D转换器23以及信号处理单元24的部分,例如,直到获得成像的图像数据级。
图18中的数字照相机1的构图确定块62对应于与预定的处理(如被摄体检测、静止检测被摄体区分、屏蔽等)对应的图像信号处理功能,以及例如图27中的信号处理单元24,以及其控制单元(CPU)27执行的涉及构图确定的相关处理功能。
图18中的数字照相机1的摇摄/倾斜/变焦控制块63对应于例如图27中的控制单元27执行的用于摇摄/倾斜/变焦控制的处理功能。
图18中的数字照相机1的通信控制处理块64对应于例如图27中的平台兼容通信单元34,并且对应于例如图27中的控制单元27执行的用于使用平台兼容通信单元34通信的处理功能。
图18中的平台10的通信控制块71对应于例如图28中的通信单元52,并且对应于控制单元51执行的用于使用通信单元52通信的处理。
图18中的平台10的摇摄/倾斜控制处理块72对应于用于涉及摇摄/倾斜控制的处理的执行功能,例如图28中的控制单元51执行该摇摄/倾斜控制,并且所述摇摄/倾斜控制处理块72输出信号到摇摄驱动单元55和倾斜驱动单元58,用于根据输入的控制信号控制摇摄机制单元53和倾斜机制单元56的运动。
现在,利用参照图14和15描述的、根据本实施例的基本构图确定配置(构图确定块200),一直运行静止检测处理。依赖于如何应用根据本实施例的构图确定,可能存在这样的情况,其中一直运行静止检测处理没有问题,或者在一些应用中甚至是不可缺少的。
然而,利用这里示例的成像系统,在移动平台10的摇摄/倾斜机制时搜索被摄体,并且如果检测到被摄体,则执行根据本实施例的构图确定,根据确定结果通过摇摄/倾斜/变焦控制执行构图匹配,并执行图像记录。
然而,在该成像系统的情况下,数字照相机1在固定的平台10上执行摇摄、倾斜和进一步的变焦,其中成像方向和成像视角改变。因此,依赖于此时成像系统的放置判断可以搜索被摄体的范围。在可以搜索被摄体的范围内存在不真实被摄体(如海报等上的面部)时,每次该不真实被摄体被检测为单独被摄体,就不得不经历由于静止检测处理作为静止对象导致的消除处理。
在该情况下,不真实被摄体存在于成像系统周围的固定位置处,在这点上,其位置不是不确定的。下述安排不是有效的,其中在每次将不真实被摄体检测为检测的单独被摄体时,即使其位置是固定位置,也不得不执行静止检测处理以作为不真实被摄体消除它。因此,利用本实施例,除了上述构图确定外,进行了具有这样的功能的配置,该功能使得曾经被确定为不真实被摄体的被摄体可以从对象单独被摄体中消除,而不用必须再次执行等效于使用静止检测处理确定该被摄体是否是不真实被摄体的处理(冗余检测避免功能)。现在将描述这点。
图29A和29B图示已经提供了前述冗余检测避免功能的构图确定块62的配置示例。注意,图29A和29B中的构图确定块62基于图7所示的第四示例,给其提供了冗余检测避免功能,如从以下描述中将变得清楚的。
图29A图示对应于提取的形式的静止检测处理的配置,如构图确定块62。在静止检测处理时,首先,被摄体检测处理单元201输入成像的图像数据,并且以与图7的情况相同的方式执行被摄体检测处理,由每个检测的单独被摄体的检测的单独被摄体信息构成的检测的被摄体信息输出给静止检测处理单元202。
静止检测处理单元202基于该检测的被摄体信息执行每个检测的单独被摄体的静止检测,并且获得作为其检测结果的静止被摄体信息。在该情况下,以此方式获得的静止被摄体信息保存在静止被摄体信息保持单元210中。注意,静止被摄体信息保持单元210是例如在连接到控制单元27的RAM 29中设置的用于保持静止被摄体信息的区域。因此,关于静止被摄体(即,不真实被摄体)的检测的单独被摄体信息保持在静止被摄体信息保持单元210中。
于是,当执行静止被摄体检测时,图29A中所示的静止检测处理单元202比较此时在静止被摄体信息保持单元210中保持的静止被摄体的检测的单独被摄体信息、与从被摄体检测处理单元201输入的构成检测的被摄体信息的检测的单独被摄体信息,并且将已经保持在静止被摄体信息保持单元210中的、由被摄体检测处理单元201检测的单独被摄体(检测的单独被摄体信息)从静止检测的对象中消除,并且只对没有保持在静止被摄体信息保持单元210中的被摄体执行静止检测。因此,在静止检测处理中,由于静止检测处理单元202首先使用静止被摄体信息保持单元210中保持的检测的单独被摄体信息执行静止检测,所以不必对已经在一个点被检测为静止被摄体的检测的单独被摄体再次执行静止检测,实现了重复检测避免功能。
为了通过作为被摄体检测处理单元201的检测结果的检测的单独被摄体信息以及在静止被摄体信息保持单元210中保持的检测的单独被摄体信息,正确执行被摄体区分处理,关于每次检测相同的静止被摄体时获得的检测的单独被摄体信息,被摄体检测处理单元201生成的检测的单独被摄体信息中包括的信息必须包括:对于至少该静止被摄体唯一和不变的信息。原因是确定被摄体是否匹配这种作为比较对象的对于静止被摄体不变的信息,允许被摄体区分。
这种比较对象的一个示例是静止被摄体的位置信息。然而,因为利用根据本实施例的成像系统,进入图像框中的成像视角根据执行的摇摄/倾斜/变焦改变,所以由于摇摄/倾斜/变焦,简单地用位置信息指示成像的图像中的静止被摄体的位置将导致位置状态的改变。因此,可以指示设置了成像系统的状态中的静止被摄体的绝对位置的信息(绝对位置信息)被用作用于比较的对象的位置信息。稍后将描述用于获得绝对位置信息的技术示例。
图29B图示作为相同的构图确定块62的、对应于包括以提取的形式区分的被摄体的构图确定处理的配置。该配置包括被摄体检测处理单元201、构图确定处理单元203、静止被摄体信息保持单元210和被摄体区分处理单元211。此外,利用该图,为了描述的目的与构图确定块62一起示出了摇摄/倾斜/变焦控制块63。
这里的被摄体检测处理单元201与图29A相同,并且执行被摄体检测处理并输出检测的被摄体信息。
检测的被摄体信息输入到被摄体区分处理单元211。被摄体区分处理单元211基本上使用类似于图7情况中的检测算法执行用于被摄体区分的处理,但是在本情况下,在区分处理时,被摄体区分处理单元211不直接使用来自静止检测处理单元202的检测结果(静止被摄体的检测的单独被摄体信息),而是使用静止被摄体信息保持单元210中保持的静止被摄体的检测的单独被摄体信息,如下所述。
图29B中的静止被摄体信息保持单元210与图29A相同。因此,静止被摄体信息保持单元210保持由静止检测处理单元202到目前执行的静止检测处理检测的静止被摄体的检测的单独被摄体信息。因此,在利用如图7情况中的检测算法执行被摄体区分处理时,被摄体区分处理单元211输入并使用静止被摄体信息保持单元210中保持的静止被摄体的检测的单独被摄体信息。
例如,来自静止检测处理单元202的静止被摄体的检测的单独被摄体信息是关于此时在成像的图像数据中实时获得的静止对象的信息。因此,在直接使用来自静止检测处理单元202的静止被摄体的检测的单独被摄体信息执行被摄体区分处理的情况下,当再次检测被摄体时,即使曾经已经被区分为不真实被摄体的被摄体随后通过静止检测处理也被检测为静止被摄体(不真实被摄体),如前所述。
相反,静止被摄体信息保持单元210中保持的静止被摄体的检测的单独被摄体信息是关于目前已经被检测为静止被摄体的被摄体的信息。由于图29B中的被摄体区分处理单元211利用该静止被摄体的检测的单独被摄体信息执行被摄体区分处理,所以将直到当前时刻已经被检测为静止被摄体的所有被摄体作为不真实被摄体而消除,并且只有剩余的被摄体被区分为真实被摄体。也就是说,在过去检测为静止被摄体的那些被区分为消除,导致只有当前检测的被摄体的真实被摄体被区分。
图29B中的构图确定处理单元203以与图7的情况相同的方式,基于从被摄体区分处理单元211输出的、每个区分的单独被摄体的检测的单独被摄体信息,执行构图确定处理,并且输出其确定结果的信息。摇摄/倾斜/变焦控制块63然后以与图18相同的方式执行摇摄/倾斜/变焦控制(构图控制),用于获得产生由从构图确定块62(构图确定处理单元203)得到的构图确定指示的成像的图像的构图的成像视角。
之前提到图29A和29B中的配置基于图7所示的第四示例。如果我们将图29A和29B中的静止检测处理单元202和静止被摄体信息保持单元210看作是图7中的静止检测处理单元202,则图29A和29B中的配置对应于图7所示的第四示例。
此外,尽管静止检测处理和被摄体区分/构图确定处理在图29A和29B之间分别显示为构图确定块62,但是这示出静止检测处理和被摄体区分/构图确定处理可以在构图确定块62独立执行。因此,图29A和29B中的配置可以显示为一个。在该情况下,29B中的配置提供有静止检测处理单元202,以便将来自被摄体检测处理单元201的输入划分为被摄体区分处理单元211和静止检测处理单元202。此外,连接静止检测处理单元202以便能够访问静止被摄体信息保持单元210和读/写静止被摄体信息(静止被摄体的单独被摄体信息)。
图30所示的流程图图示由图29A所示的配置执行的静止检测处理的过程的示例。
首先,在步骤S701,被摄体检测处理单元201输入成像的图像数据,并且在步骤S702中执行被摄体检测处理。
安排被摄体检测处理单元201在步骤S703中进行关于作为在步骤S702中的检测处理的结果是否已经检测了至少一个单独图像的确定,并且在获得表示甚至一个单独被摄体都没有获得的否定确定结果时,流程返回到步骤S701,从而重复成像的图像数据获取和被摄体检测处理。
在步骤S703获得表示已经获得单独被摄体的肯定确定结果时,流程进行到步骤S704。从步骤S704开始的过程由静止检测处理单元202执行。在步骤S704,执行初始化,用于将“1”代入变量n中,变量n指示重复最后一次循环时要分配给在步骤S702中检测的单独被摄体的数目。注意,变量n的最大值是最后一次重复循环时在步骤S702中检测的单独被摄体的数目(检测的单独被摄体的信息的数目)。
在步骤S705中,执行设置处理,用于将第n个单独被摄体(检测的单独被摄体)设置为检测处理的对象。在步骤S706,读入静止被摄体信息保持单元210中保持的静止被摄体的检测的单独被摄体信息。在步骤S707,进行关于检测的单独被摄体信息是否存在于步骤S706中读入的静止被摄体的检测的单独被摄体中的确定,该检测的单独被摄体信息指示匹配第n个单独被摄体的检测的单独被摄体信息的被摄体。
在步骤S707中获得否定结果时,这意味着该第n个单独被摄体至少直到现在还没有被检测为静止被摄体。在该状态,不进行关于第n个单独被摄体是静止被摄体(不真实被摄体)还是真实被摄体的确定。在步骤S708,静止检测处理单元202基于从被摄体检测单元201输出的、对应于第n个单独被摄体的检测的单独被摄体信息,将第n个单独被摄体作为对象执行静止检测处理。
在步骤S709,进行关于作为步骤S708中的检测结果是否已经获得静止状态的检测结果的确定。在这里获得否定结果时,这意味着第n个单独被摄体不是静止对象,而是真实被摄体,并且处理跳过步骤S710并进行到步骤S711。
另一方面,在步骤S709中获得肯定确定结果时,这意味着第n个单独被摄体是第一次检测的静止被摄体。在该情况下,流程进行到步骤S710,并且该第n个单独被摄体的检测的单独被摄体信息被写入和保持在静止被摄体信息保持单元210中。因此,一个静止图像已经被新登记在静止被摄体信息保持单元210中。
在步骤S707中获得肯定确定结果时,这意味着该第n个单独被摄体是已经登记在静止被摄体信息保持单元210中的静止图像。在该情况下,跳过步骤S708到S710的过程,并且流程进行到步骤S711。
在步骤S711,进行关于当前变量n是否处于或在最大值之上的确定,并且在这里获得否定结果时,在步骤S712中递增变量,此后流程返回到步骤S705,从而将下一单独被摄体(检测的单独被摄体)作为静止检测的对象重复处理。
在步骤S711获得已经对所有检测的单独被摄体执行了静止检测处理的肯定检测结果时,流程返回到步骤S701。
图31的流程图图示了由图29B所示的配置执行的静止检测处理的过程的示例。在图29B中,首先,在步骤S801到S803中,以与图30中的步骤S701到S703相同的方式,被摄体检测处理单元201输入成像的图像数据,执行被摄体检测处理,并且确定是否检测了单独被摄体。
在步骤S803获得否定结果时,流程返回到步骤S801,但在该情况下,被摄体检测处理单元201在步骤S811中已经指令了摇摄/倾斜/变焦控制后返回到步骤S801。也就是说,在该情况下,步骤S801到S803中的过程执行被摄体检测作为被摄体搜索。在步骤S803获得已经检测了至少一个单独被摄体的肯定检测结果时,流程进行到步骤S804开始的过程。
步骤S804和S805是由例如被摄体区分处理单元211执行的处理。在步骤S804,从静止被摄体信息保持单元210读入静止被摄体信息。在步骤S805,使用构成静止被摄体信息的每个静止图像的检测的单独被摄体信息、和来自被摄体检测处理单元201的构成检测的被摄体信息的检测的单独被摄体信息,执行被摄体区分处理。如之前参照图29B所述,在这里执行的被摄体区分处理中,消除了已经被检测为静止被摄体的、由被摄体检测处理单元201检测的所有单独被摄体。
步骤S806例如由构图确定处理单元203执行。在步骤S806中,进行关于此时在由被摄体检测处理单元201检测的单独被摄体中是否存在剩余的任何对象单独被摄体(即,真实被摄体)的确定。构图确定处理单元203读入通过在步骤S805中的区分处理区分的检测的单独被摄体的检测的单独被摄体信息,并且如果其结果是不存在有效的检测的单独被摄体信息,则这意味着没有对象单独被摄体(真实被摄体)剩余。另一方面,如果存在有效的检测的单独被摄体信息,则这意味着有对象单独被摄体剩余。现在,在获得没有对象单独被摄体剩余的否定结果时,流程在步骤S811中已经指令了摇摄/倾斜/变焦控制后返回到步骤S801。另一方面,在步骤S806中获得肯定确定结果时,流程进行到步骤S807。
在步骤S807,基于构图确定处理单元203已经从被摄体区分处理单元211输入的对象单独被摄体的检测的单独被摄体信息,执行构图确定处理,其确定结果发送给摇摄/倾斜/变焦控制块63。
步骤S808是由摇摄/倾斜/变焦控制块63执行的处理。也就是说,摇摄/倾斜/变焦控制块63执行摇摄/倾斜/变焦控制,用于根据要获得的构图确定结果允许成像视场,即,用于构图匹配。
在步骤S808中开始了构图匹配处理后,在步骤S809中进行关于作为此时的成像图像数据的图像实际获得的构图是否可以被认为是处于与步骤S807中确定的构图相同的状态(例如,是否在一定相似度水平或更高,即,构图是否OK)的确定。注意,该确定可以例如通过检测所获得的对象单独被摄体的检测的单独被摄体信息的位置信息中的改变来实现,然后在构图确定处理单元203处输出该构图确定结果。
现在,在由于某种原因、不管已经执行了足够的摇摄/倾斜/变焦移动和确定,构图仍不OK时,在步骤S809中输出否定确定结果。在该情况下,流程经由步骤S811返回到步骤S801,从而继续被摄体搜索。
相反,在步骤S809中获得构图OK的确定结果时,在步骤S810中指令释放操作,即,执行用于记录此时获得的成像的图像数据作为静止图像的操作。该释放操作还可以理解为由例如这里的构图确定处理单元203执行。
现在,利用根据本实施例的成像系统,存在在用户到不同的位置期间、用户可能一起移动平台10和数字照相机1的可能性。此外,上面已经进行了描述,在其中如上所述使用静止被摄体信息保持单元210中保持的静止被摄体信息(静止被摄体的检测的单独被摄体信息)进行静止检测处理和被摄体区分处理的配置中,单独被摄体信息的位置信息是基于此时数字照相机1的放置位置的绝对位置信息。
综上所述,在数字照相机1的位置与平台10一起移动的点,静止被摄体信息保持单元210中保持的静止被摄体信息(静止被摄体的检测的单独被摄体信息)的绝对位置信息是错误的,因此必须要避免使用该绝对位置信息。处理该问题的可构思的安排是例如用户在移动和重新定位数字照相机1和平台10以后,在数字照相机1或平台10处执行一定的操作,从而清除静止被摄体信息保持单元210目前为止已经保持的静止被摄体信息,并且开始将静止被摄体登记到静止被摄体信息保持单元210的登记处理,这是将包括静止检测的处理。
该构思的进一步发展将是根据已经移动的数字照相机1和平台10,自动清除静止被摄体信息保持单元210中的静止被摄体信息,因为免除用户不得不执行该操作,这将增加用户的易操纵性。
图32图示用于自动清除静止被摄体信息保持单元210中的静止被摄体信息的配置。在图32中,示出了一种配置,其中考虑目前为止的描述的流程,用于自动清除静止被摄体信息的配置已经增加到基于图29A和29B的配置的构图确定块62。与图29B中的组件相同的组件以相同的参照标号表示,并且将省略其描述。该情况下用于静止检测的配置可以与图29A所示的配置相同。
在图32中,图29A和29B中的配置还提供有清除控制单元212和加速度传感器213。在实际实践中加速度传感器213固定地附接到数字照相机1上的预定位置,并且检测施加给它自身的加速度,即,由于施加给数字照相机1自身导致的运动。清除控制单元212基于从摇摄/倾斜/变焦控制块63输出的摇摄/倾斜控制信号和从加速度传感器213检测的加速度值,执行用于清除静止被摄体信息保持单元210中保持的静止被摄体信息的处理。
图33中的流程图图示了图32所示的清除控制单元212执行的处理过程的示例。首先,在步骤S901,清除控制单元212输入从加速度传感器213输出的检测信号,并且在步骤S902,确定由输入的检测信号指示的加速度值是否处于或在预定阈值上。为该步骤S902设置的阈值基于例如当人移动数字照相机1时,由加速度传感器213检测的一般和平均加速度值而设置。也就是说,步骤S901用于确定此时数字照相机1的状态是否是人保持和移动它的水平的运动。
在步骤S902中获得否定结果时,这可以看作是数字照相机1处于静止状态,也包括摇摄/倾斜方向的运动。在该情况下,流程返回到步骤S901。
另一方面,在步骤S902中获得肯定结果时,流程进行到步骤S903和随后的步骤。
在步骤S903,执行处理以输入来自摇摄/倾斜/变焦控制块63的摇摄/倾斜控制信号,并且在步骤S904,进行关于是否当前正执行摇摄/倾斜驱动(即,是否平台10正在摇摄方向和/或倾斜方向上驱动)的确定。例如,在步骤S903中没有输入有效的摇摄/倾斜控制信号时,这意味着摇摄/倾斜/变焦控制块63没有执行摇摄/倾斜控制,因此,数字照相机1没有由于平台10而被移动,因此步骤S904中的确定结果将是否定的。另一方面,在步骤S903中输入有效的摇摄/倾斜控制信号时,这意味着摇摄/倾斜/变焦控制块63正在执行摇摄/倾斜控制,因此,数字照相机1正由于平台10而移动,因此步骤S904中的确定结果将是肯定的。
在步骤S904中获得否定确定结果时,流程跳过步骤S905和S906,并且进行到步骤S907,但在步骤S904中获得肯定确定结果时,执行步骤S905和S906的流程。
在步骤S905的阶段,我们知道数字照相机1正通过平台10被摇摄和/或倾斜,但是我们不知道在摇摄/倾斜时,数字照相机1和平台10是否正被人移动。步骤S905和S906用于该确定。
为此,在步骤S905,计算预期的加速度值。该预期的加速度值是当数字照相机1安装在其上的平台10没有被人移动而是在其位置上处于静止,并且在该状态下经历摇摄/倾斜时,估计和期望获得的加速度值。该预期的加速度值可以通过使用在步骤S903中获得的摇摄/倾斜控制信号指示的运动量和将摇摄/倾斜的运动速度作为参数的预定函数执行计算来获得。通过摇摄/倾斜控制信号指示的运动量获得的加速度值和对应于摇摄/倾斜的运动速度由加速度传感器123检测的加速度值可以看作是近似精确。注意,可以基于平台10中使用的摇摄机制单元和倾斜机制单元的结构、用于驱动各机制的马达的电压和电流等,单独地获得摇摄/倾斜的运动速度。
在步骤S906,比较在步骤S905中计算的预期加速度值和在之前的步骤S901中输入的检测信号的实际加速度值,并且进行关于这两个之间的差是否处于或在一定水平之上的确定。注意,可以进行这样的安排,其中获得的不是预期加速度值和实际加速度值之间的差,而是预期加速度值与实际加速度值的比率,并进行关于该比率是否处于或在一定水平之上的确定。
在步骤S906中获得否定确定结果时,这意味着平台10没有被人移动而是处于静止,并且在该状态下,正经历摇摄/倾斜。在该情况下,流程直接返回到步骤S901。另一方面,在步骤S906中获得肯定确定结果时,这意味着平台10正经历摇摄/倾斜,并且还被人移动。在该情况下,流程进行到步骤S907。因此,利用本实施例,即使正在执行摇摄/倾斜操作,也可以精确地确定平台10和固定到其的数字照相机1是否正被除了平台10的摇摄/倾斜机制(可移动机制单元)外的力移动。
如可以从目前为止的描述理解的,步骤S907到达的情况是平台10和固定到其的数字照相机1正被人移动的状态,而不管平台10是否正经历摇摄/倾斜。在步骤S907,执行用于清除静止被摄体信息保持单元210中保持的静止被摄体信息的处理。
注意,上面已经进行关于适用于根据本实施例的成像系统的安排的描述,该成像系统由数字照相机1和平台10构成,但是用于自动清除静止被摄体信息保持单元210中保持的静止被摄体信息的配置不限于上面的特定安排,并且可根据需要,应用于不同于根据本实施例的成像系统的设备和系统。
此外,在其中被摄体区分单元211基于静止被摄体信息保持单元210中保持的静止被摄体信息执行被摄体区分的配置的情况下,除了图29(和图32)所示的那些,构图确定块62可以采取图34所示的配置。注意,在图34中,与图29中的组件相同的组件用相同的参照标号表示,并且将省略其描述。此外,作为可以应用参照图32和33描述的配置,这里省略了用于自动清除静止被摄体信息保持单元210中保持的静止被摄体信息的配置。
图34中所示的配置使得静止检测处理单元202插入在被摄体区分单元211和构图确定处理块203之间。此外,静止检测处理单元202可以访问静止被摄体信息保持单元210。这里,静止检测处理单元202可以执行静止检测处理,其可以被看作是被摄体区分处理,如将从以下描述理解的。
图35中所示的流程图图示了由图34中所示的配置的构图确定块62(和摇摄/倾斜/变焦控制块63)执行的处理过程的示例。
首先,在步骤S1001和S1002中,被摄体检测处理单元201以与图31中的步骤S801和S802相同的方式,输入成像的图像数据并执行被摄体检测处理。
接下来的步骤S1003到S1005由被摄体区分单元211执行。在步骤S1003中,被摄体区分单元211读入静止被摄体信息保持单元210中当前保持的静止被摄体信息。接着,在步骤S1004中,使用从被摄体检测处理单元201输入的、构成检测的被摄体信息的检测的单独被摄体信息以及已经读入的构成静止被摄体信息的单独被摄体信息,执行与图31中的步骤S805相同的被摄体区分处理。
此外,在步骤S1005,构图确定处理块203执行关于作为其自己的被摄体区分处理结果、是否存在剩余的区分的单独被摄体的确定。在这里获得否定确定结果时,在步骤S1018中,指令摇摄/倾斜/变焦控制用于被摄体搜索,并且流程返回到步骤S1001。步骤S1018中的被摄体搜索指令还可以配置为也由被摄体区分单元211执行。
另一方面,在步骤S1005获得肯定结果时,流程进行到步骤S1006和随后的步骤。
注意在该情况下,被摄体区分单元211从被摄体检测处理单元201输入的、用于步骤S1004中的被摄体区分处理的检测的被摄体信息,是例如被摄体检测处理单元201已经执行的最后的被摄体区分处理。另一方面,通过在上述最后的被摄体区分处理之前的时刻执行的最后的静止检测处理以及之前执行的静止检测处理,已经获得了静止被摄体信息保持单元210中保持的静止被摄体信息。这种该被摄体区分处理和静止检测处理之间的处理时刻上的偏移,由于静止检测处理单元202在该情况下对作为被摄体区分单元211的被摄体区分处理结果获得的区分的检测的单独被摄体信息执行静止被摄体检测而出现,如从上面的描述中可以理解的。
因此,对于在该情况下被摄体区分单元211已经区分的、通过被摄体区分处理区分的单独被摄体,在早于被摄体检测处理的时刻执行的静止检测处理中检测的静止被摄体(即,静止被摄体信息保持单元210中登记的静止被摄体)已经被消除,该被摄体检测处理用于获得此时为被摄体区分处理输入的检测的单独被摄体信息,但是第一次出现在成像的图像数据中不真实被摄体可能保留被区分而没有被消除,该不真实被摄体最后经历被摄体检测处理并且已经登记在静止被摄体信息保持单元210中。
因此,如下所述,静止被摄体信息保持单元210执行静止被摄体的检测和相应的对静止被摄体信息保持单元210的登记处理,并且还使用静止被摄体检测结果,再次消除在通过被摄体区分单元211的阶段保留没有消除的不真实被摄体。
静止检测处理单元202执行的处理是步骤S1006到S1012。
首先,在步骤S1006,执行初始化,用于将“1”代入变量n中,变量n是分配给在被摄体区分单元211区分的单独被摄体(真实被摄体候选)的数目。
接着,在步骤S1007,关于第n个单独被摄体执行静止检测处理。此时,执行静止检测处理,使得在例如预定检测时段内,在关于从被摄体区分单元211输入的第n个单独被摄体的检测的单独被摄体信息中检测改变(例如,绝对位置信息的改变),并且基于改变量,进行关于第n个单独被摄体是否为静止被摄体的检测。
在步骤S1008,确定作为步骤S1007中的静止检测处理的结果、第n个单独被摄体是否已经被检测为静止被摄体。在步骤S1008获得肯定确定结果时,流程进行到步骤S1009,将对应于第n个单独被摄体的检测的单独被摄体信息登记在静止被摄体信息保持单元210中,并且流程进行到步骤S1011。
另一方面,在步骤S1008获得否定确定结果时,流程进行到步骤S1010,将第n个单独被摄体设置为对象单独被摄体,以用于稍后的构图确定处理,并且流程进行到步骤S1011。
在步骤S1011,进行关于是否当前变量n处于或在最大值之上的确定,并且只要获得否定确定结果,就在步骤S1012中递增变量n,因为仍然有剩余的单独被摄体要被当作静止检测处理的对象,并且流程返回到步骤S1007。
相反,在步骤S1011中获得肯定确定结果时,这意味着关于要作为静止检测处理的对象的所有单独被摄体已经完成静止检测处理,因此流程进行到接下来的步骤S1013等。
步骤S1013可以被看作例如由构图确定处理单元203执行。
在步骤S1011中已经获得肯定确定结果的状态下,由于直到已经执行的步骤S1010的过程,设置为对象单独被摄体的单独被摄体的检测的单独被摄体信息处于已经输入构图确定处理单元203的状态。因此,在步骤S1013,构图确定处理单元203从检测的单独被摄体信息的输入的状态,确定是否存在对象单独被摄体。如果构图确定处理单元203此时还没有输入单个有效检测的单独被摄体信息作为对象单独被摄体,则在步骤S1013获得否定确定结果,而如果构图确定处理单元203此时已经输入哪怕一个,也获得肯定确定结果。
在步骤S1013获得否定确定结果时,不执行构图确定处理。因此,在该情况下,在步骤S1018中指令被摄体搜索,此后流程返回到步骤S1001。该步骤S1018可以被看作由例如构图确定处理单元203执行。
另一方面,在步骤S1013获得肯定确定结果时,执行步骤S1014开始的过程。步骤S1014到S1017与图31中的步骤S807到S810相同。也就是说,构图确定处理单元203基于对象单独被摄体的检测的单独被摄体信息,执行构图确定处理,并且利用摇摄/倾斜/变焦控制块63执行摇摄/倾斜/变焦控制以用于构图匹配。在作为已经通过该摇摄/倾斜/变焦控制改变成像视角的结果、已经确定了构图OK时,指令释放操作,并且从此时成像的图像数据中提取静止图像数据并记录。
现在,如前所述,利用本实施例,为了允许使用静止被摄体信息保持单元210中保持的静止被摄体信息精确执行被摄体区分处理,利用本实施例,指示检测的单独被摄体信息中的单独被摄体的位置的位置信息是绝对位置信息。接下来将讨论用于获得这种绝对位置信息的技术的若干示例。
图36A是平台10和附接到其的数字照相机1的平面图。此外,在该图中,数字照相机1位于设置为通过平台10的摇摄机制单元53、在摇摄方向(水平方向)上的可移动范围内的参照位置处。该参照位置是例如可移动范围内的中间位置。参照线L是这样的线,当数字照相机1位于该摇摄方向上的参照位置处时,它匹配并平行于数字照相机1的镜头单元3(光学系统21)的光学轴(成像光轴)。
此外,这里设置的场角(变焦角)由场角中心angC、场角左边angL和场角右边angR表示。注意,场角中心angC与数字照相机1的成像光轴一致,并且从场角中心angC到场角左边angL的角度与从场角中心angC到场角右边angR的角度是相同的角度。
注意,这里设置的场角是在执行被摄体搜索操作时设置的场角。在被摄体搜索时,设置有些宽的一定的场角,使得尽可能有效地搜索(检测)被摄体。
此外,假设单个被摄体SBJs存在于数字照相机1和平台10所在的周围,以便在图中从数字照相机1朝右。
假设数字照相机1以图中的顺时针方向从图36A的状态摇摄以搜索被摄体。结果,实现这样的状态,其中被摄体SBJs到达在对应于场角右边angR的场角内的极限位置,如图36B所示。此时,摇摄角(即,参照线L到成像光轴(场角中心angC)之间的角度)表示为αleft°。在此时实际获得的成像的图像中,被摄体SBJs在图像框的最右边。
此外,如果假设数字照相机1以图中的顺时针方向从图36B的状态进一步向右摇摄,则实现这样的状态,其中被摄体SBJs到达在对应于场角左边angL的场角内的极限位置,如图36C所示。此时的摇摄角表示为αright°。在此时实际获得的成像的图像中,被摄体SBJs在图像框的最左边。
当搜索被摄体时,这种情形肯定自然发生,基于此,可以构思以下作为用于获得绝对位置信息的技术。
例如,在第一次被摄体SBJs首先出现在成像的图像的图像框的时刻,执行静止检测,并且这被检测为被摄体,如从图36A到图36B的转换所示,并且基于静止检测的结果进行关于被摄体SBJs是否为静止被摄体的确定。这里,假设被摄体SBJs是不真实被摄体,因此将被确定为静止被摄体。在这样确定为静止被摄体后,将被摄体SBJs首先出现在图像框中的αleft°包括在关于被摄体SBJs的检测的单独被摄体信息中。该检测的单独被摄体登记在静止被摄体信息保持单元210中。此后,在被摄体区分处理中,获得了在获得静止被摄体信息中指示的摇摄角度时、首先进入图像框的单独被摄体,将其从区分对象中消除。利用只在被摄体搜索时执行该被摄体区分处理的安排,将适当地执行被摄体选择,因为已经在搜索被摄体时的场角下获得了摇摄角度。
因此,利用上述处理,其中检测为静止被摄体的单独被摄体首先包括在成像的图像的图像框中的摇摄角度(摇摄位置)被当作绝对位置信息。
注意,利用上面的被摄体区分处理,此时的摇摄角度必须要配置,这可以通过接收例如等效于来自平台10的摇摄位置的信息来进行。例如如果摇摄马达57是步进马达,则摇摄位置的信息(摇摄旋转角度)可以基于输入驱动脉冲信号的数目而获得。此外,即使摇摄马达57不是步进马达,也可以使用已经施加驱动信号的时间量、来自附接到马达的传感器的信息、通过马达的反馈控制获得的信息等来获得摇摄位置的信息。
此外,在关于作为绝对位置信息获得的摇摄角度设置不同的场角的状态下,该绝对位置信息关于在被摄体区分处理时的被摄体SBJs,可以基于此时设置的场角和已经获得绝对位置信息的摇摄角度时的场角之间的比率,获得被摄体SBJs将首先出现在场角中的摇摄角度。在例如只在被摄体搜索时执行用于获得绝对位置信息的摇摄角度的处理的情况下,在被摄体搜索时设置的预定角度可以用于在已经获得绝对位置信息的摇摄角度时的场角。此外,如果存在用于获得被摄体搜索之外的绝对位置信息的摇摄角度的处理、或场角可以在被摄体搜索期间改变的可能性,则此时的场角信息可以与用作绝对位置信息的摇摄角度一起被包括。
此外,如果数字照相机1处于超过摇摄角度αright°的摇摄角度并且以图中的逆时针方向旋转,则实现图36C中所示的状态,其中被摄体SBJs在成像的图像的图像框的最左边。静止被摄体SBJs的绝对位置信息因此是摇摄角度αright°。
此外,以下可以构思为绝对位置信息。在图36A到36C中,在摇摄角度αleft°到αright°的摇摄位置范围内成像被摄体SBJs,而在成像的图像的图像框内不损失视线。因此,可以进行这样的安排,其中被摄体SBJs的绝对位置信息不被当作如上所述的点信息,例如摇摄角度αleft°或αright°,而是作为指示摇摄角度αleft°到αright°的角度范围的信息。
参照图36A到36C描述的绝对位置信息关于倾斜方向也成立。也就是说,以与图36A到36C相同的方式获得倾斜角度(倾斜位置)。因此,在实际实践中,获得摇摄角度的信息和倾斜角度的信息(摇摄/倾斜位置信息)作为绝对位置信息。
然而,可能存在这样的情况,其中平台10是只能在摇摄方向和倾斜方向之一中改变的配置。在该情况下,作为可改变方向的摇摄方向和倾斜方向之一可以被设置为绝对位置信息。这对下面的关于绝对位置信息的描述也成立。
此外,还可以如下获得绝对位置信息。图37A图示了这样的状态,其中数字照相机1在关于参照线L、以顺时针方向旋转摇摄角度αx°的位置处,其中在水平场角内成像被摄体SBJs。在该情况下,水平角度由θx°表示,并且被摄体SBJs位于对应于从中心场角angC开始以逆时针方向旋转角度βx°的角度的线上,水平方向上的中心位置(重心)对应该线。
此外,将参照线L作为图37A的参照,可以说水平方向上的被摄体SBJs位于对应于从该参照开始旋转角度γx°的位置的线上,水平方向上的中心位置(重心)对应该线。
现在,参照线L是根据此时平台10的放置状态确定的绝对项。因此,由角度γx°指示的被摄体SBJs的位置是基于参照线L的绝对的,即,可以被当作绝对位置信息。此后,如该角度γx°的可以指示被摄体的绝对位置的角度将被称为“绝对位置相关角度”。此外,角度βx°指示此时在摇摄角度αx°下、基于重心场角angC确定的被摄体SBJs的位置,因此,将称为“相对位置相关角度”。
可以如下获得绝对位置相关角度。图37B图示了通过利用图37A所示的放置状态下的数字照相机1成像获得的成像的图像。这里,Cx表示成像的图像的图像框300中的水平图像框大小(可以以像素数目的方式表示),并且M表示通过该水平图像框大小中的中点的垂直线,其中垂直线M用作成像的图像的图像框中水平方向的参照(X轴坐标的参照,X=0)。利用水平方向上的X轴坐标,垂直线M右边的区域为正,而左边区域为负。水平方向上成像的图像的图像框300内存在的被摄体SBJs的坐标值表示为X=a。注意,图37B中的X坐标值a为负值。
现在,图37B中直到被摄体SBJs的重心的X坐标的坐标值和水平图像框大小Cx之间的关系(比率),等效于图37A中的相对位置对应角度βx°与水平场角θx°之间的关系(比率)。
因此,相对位置对应角度βx°由以下表达式表示。
βx°=(a/Cx)×θx (表达式1)
此外,利用图37B,摇摄角度αx°、相对位置对应角度βx°和绝对位置对应角度γx°之间的关系由以下表达式表示。
αx°=γx°-βx° (表达式2)
因此,可以通过以下表达式获得绝对位置对应角度γx°。
γx°=(a/Cx)×θx°+αx° (表达式3)
也就是说,通过成像的图像的图像框中的被摄体SBJs的X坐标值a、水平角度θx°和摇摄角度αx°的参数获得绝对位置对应角度γx°。
现在,在上面各参数中,水平图像框大小Cx是已知的值,并且成像的图像的图像框中的被摄体SBJs的X坐标值a与成像的图像中检测的被摄体的水平方向上的图像位置相同,因此可以通过根据本实施例的被摄体检测处理获得。此外,可以基于场角(变焦)控制信息获得水平角度θx°的信息。更具体地,利用在光学系统21的变焦镜头的变焦放大倍率(zoom power)设置为1x并保持的情况下的标准场角的信息,使用根据变焦控制和上面的标准场角获得的变焦位置,可以获得水平角度θx°的信息。此外,可以获得摇摄角度αx°作为控制的信息。因此,可以容易地获得绝对位置对应角度γx°而没有特别的问题。
此外,获得这样的绝对位置对应角度不限于在对应于图像框300的边缘的极限位置周围,并且即使在图像框300的很里面的区域检测被摄体的情况下,只要可以获得上面的参数,也可以精确获得这样的绝对位置对应角度。因此,可以顺序跟踪运动的真实被摄体,并且获得其绝对位置对应角度。
在例如实际被摄体搜索时,在从检测的单独被摄体中检测了静止被摄体时,检测的静止被摄体可以当作图37中的被摄体SBJs,以便基于水平图像框大小Cx、成像的图像的图像框中的被摄体SBJs的X坐标值a、水平角度θx°和摇摄角度αx°获得绝对位置对应角度γx°。
此外,在实际实践中,也以相同方式获得垂直方向上的绝对位置对应角度γy°。也就是说,通过以下表达式,基于垂直图像框大小Cy、成像的图像的图像框中的被摄体SBJs的Y坐标值b、垂直角度θy°和倾斜角度αy°的参数获得垂直方向上的绝对位置对应角度γy°:
γy°=(b/Cy)×θy°+αy° (表达式4)
接着,将参照图38描述用于使用如上所述获得的绝对位置信息进行被摄体区分处理的配置示例。要注意的是,该处理可以应用到之前参照图29、32和34描述的任何构图确定块62。此外,参照图38描述的用作绝对位置对应角度的绝对位置信息将用于这里的描述。
图38所示的被摄体区分单元211配置有被摄体位置计算单元221和区分处理单元222。注意,与图29、32和34相对应,被摄体位置计算单元221例如可以看作包括在被摄体检测处理单元201中,并且区分处理单元222包括在被摄体区分单元211中。
在被摄体位置计算单元221,通过对成像的图像数据执行的被摄体检测处理,首先获得成像的图像内的位置信息(成像图像内位置信息)作为每个检测的单独被摄体的检测的单独被摄体信息中的位置信息(检测的单独被摄体位置信息)。该成像图像内位置信息由成像的图像的图像框内的X坐标值和Y坐标值表示。因此,根据检测的单独被摄体1到n,成像图像内位置信息表示为例如(X1,Y1),(X2,Y2)等直到(Xn,Yn)。
被摄体位置计算单元221输入作为每个检测的单独被摄体的位置信息的成像图像内位置信息。此外,被摄体位置计算单元221输入此时的摇摄角度αx°和倾斜角度αy°、以及水平角度θx°和垂直角度θy°作为场角信息。该信息可以如参照图38所述获得。
被摄体位置计算单元221使用这些信息(参数),以执行用于计算水平(摇摄)方向上的绝对位置对应角度(水平绝对位置对应角度γx°)以及垂直(倾斜)方向上的绝对位置对应角度(垂直绝对位置对应角度γy°),作为每个检测的单独被摄体的绝对位置信息的处理,如参照图38所述。以此方式获得的每个检测的单独被摄体的绝对位置信息(水平/垂直绝对位置对应角度)传递到被摄体区分单元211中的区分处理单元222。
区分处理单元222输入来自构图静止被摄体信息的每个静止被摄体的单独被摄体信息的位置信息(静止被摄体位置信息),该静止被摄体位置信息保持在静止被摄体信息保持单元210中。
接着,每个静止被摄体位置信息不以场角中的X-Y坐标的形式表达,而是以绝对位置信息(水平/垂直绝对位置对应角度)表达。例如,该工作如下。例如看图29A中的配置,在被摄体检测处理单元201,在被摄体位置计算单元221计算的绝对位置信息(水平/垂直绝对位置对应角度)包括在要传递到静止检测处理单元202的检测的单独被摄体信息位置信息中。在使得每个检测的静止被摄体的单独被摄体信息保持在静止被摄体信息保持单元210中时,静止检测处理单元202包括单独被摄体信息中的绝对位置信息。因此,图38中的区分处理单元222可以输入来自静止被摄体信息保持单元210的绝对位置信息,作为登记为静止被摄体的每个被摄体的位置信息。
区分处理单元222比较水平/垂直绝对位置对应角度(γx°1,γy°1)、(γx°2,γy°2)等直到(γx°m,γy°m),这是静止被摄体信息保持单元210中保持的m个静止被摄体的M组静止被摄体位置信息,水平/垂直绝对位置对应角度是从成像的图像数据中检测的每个检测的单独被摄体的绝对位置信息。作为比较的结果,具有可以看作与静止被摄体相同的绝对位置信息的检测的单独被摄体从对象中消除,并且具有可以看作不同于静止被摄体的绝对位置信息的检测的单独被摄体被区分为对象单独被摄体。以此方式区分的对象单独被摄体位置信息传递到构图确定处理单元203。此时要传递到构图确定处理单元203的位置信息可以是绝对位置信息,但是因为将用于图像框内的构图确定,由于成像图像中位置信息易于在构图确定处理中处理,所以该成像图像中位置信息是优选的。与图29A中所示的配置相关,如果区分处理单元222从例如被摄体位置计算单元221接收成像图像中位置信息,则该成像图像中位置信息可以传递到构图确定处理单元203。
此外,作为该被摄体区分处理的修改,图39示出了这样的情况中的配置示例,其中可以通过在被摄体检测处理中检测面部特征,执行每个被摄体(人识别、单独识别)的单独识别。注意,图39所示的配置可以看作包括在例如被摄体区分单元211中。
在该情况下,安排被摄体检测处理单元201以通过检测每个检测的单独被摄体的图像特征来执行单独识别,作为如上所述的被摄体检测处理。用于单独识别的技术不具体限定,并且可以应用根据相关技术的任何技术。
除了如上所述的位置信息的信息之外,通过这种被摄体检测处理获得的检测的单独被摄体信息包括允许单独识别的属性信息(例如,表示单独被摄体的图像特征的信息)。
因此,图39所示的区分处理单元223从被摄体区分单元211中输入上述的每个检测的单独被摄体的属性信息(检测的单独被摄体属性信息),作为每个检测的单独被摄体的检测的单独被摄体信息。
此外,在该情况下,进行这样的安排,其中上述属性信息还包括在静止被摄体信息保持单元210保持的每个静止被摄体的单独被摄体信息中。该安排可以根据这样的配置进行,其中参照图38描述的每个静止被摄体的检测的单独被摄体信息包括绝对位置信息。
与检测的单独被摄体属性信息一起,区分处理单元223输入来自静止被摄体信息保持单元210的每个静止被摄体的单独被摄体信息中包括的属性信息(静止被摄体属性信息)。
区分处理单元223比较检测的单独被摄体具有的属性信息与静止被摄体属性信息,可以看作与静止被摄体属性信息相同的检测的单独被摄体被消除,而可以看作与静止被摄体属性信息不同的检测的单独被摄体被区分。对应于选择的检测的单独被摄体的检测的单独被摄体属性信息输出到位置信息转换单元224。
现在,假设检测的单独被摄体属性信息包括用作标签或ID的信息,该标签或ID可以与包括在相同的检测的单独被摄体信息中的信息相关(相关数据)。位置信息转换单元224输入从区分处理单元223输出的检测的单独被摄体属性信息、以及所有检测的单独被摄体的检测的单独被摄体位置信息,然后从输入的检测的单独被摄体位置信息中,选择与从区分处理单元223输入的检测的单独被摄体属性信息相关的检测的单独被摄体位置信息。选择的检测的单独被摄体位置信息输出到构图确定处理单元203作为对象单独被摄体位置信息。
接着,将描述通过根据目前为止的实施例的成像系统(数字照相机1和平台10)的构图确定处理和构图匹配(构图控制)的更具体的示例。要注意的是,这里给出的示例只是示例,并且可以构思更广泛的构图控制的具体示例,只要例如只有真实被摄体作为对象,而静止被摄体(不真实被摄体)被消除。
首先,将参照图40A和40B描述被摄体检测处理单元201执行的被摄体检测处理的具体示例。注意,这里,将基于面部检测执行被摄体检测。
现在,假设被摄体检测处理单元201已经输入图40A所示的图像内容的成像的图像数据。这里的成像的图像数据的图像内容是已经成像的图像中存在的单个人类被摄体。注意,图40A和40B显示为已经分割为矩阵形式的图像,其示意性图示用作成像的图像数据的图像由预定数目的水平和垂直像素构成。
通过使图40A所示的成像的图像数据的图像内容经历被摄体检测(面部检测),检测了图40A中所示的一个单独被摄体SBJ的面部。也就是说,通过面部检测处理检测一张面部意味着已经检测了一个单独被摄体。此外,作为已经检测单独被摄体的结果,获得了单独被摄体的数量、方向和大小的信息。
可以根据例如通过面部检测检测的面部的数量获得单独被摄体的数量。在图40A的情况下,检测的面部的数量为1,从而产生单独被摄体的数量也是1的结果。
每个单独被摄体的位置信息是如上所述的成像图像中位置信息或绝对位置信息,其中位置信息具体指示单独被摄体SBJ的重心。
例如,成像的图像的图像框中的单独被摄体SBJ的重心G由(X,Y)表示,如前所述。在该情况下用作重心G(X,Y)的参照的、成像的图像数据的屏幕的X,Y坐标系统上的原点P(0,0),例如是对应于图像大小的、X轴方向(水平方向)上的宽度(水平图像大小)Cx的中点与对应于图像大小的、Y轴方向(垂直方向)上的高度(垂直图像大小)Cy的交点。
此外,根据相关技术的被摄体重心检测方法可以应用到关于重心G的、单独被摄体的图像内的位置的定义。
此外,例如通过面部检测处理,可以获得每个单独被摄体的大小作为识别和检测为面部部分的区域中的像素数量。
此外,如前所述,基于面部检测信息,检测每个单独被摄体的面部方向为例如面对左或右之一。
此外,在图40B所示的成像的图像数据被输入并且被摄体检测处理单元201已经执行被摄体检测处理时,首先,面部检测处理识别存在两张面部,产生存在两个单独被摄体的结果。这里,在该两个单独被摄体中,朝左边的一个将被标识为单独被摄体SBJ0,而朝右的一个标识为单独被摄体SBJ1,以便可以标识。此外,对单独被摄体SBJ0和SBJ1确定的重心的坐标为G0(X0,Y0)和G1(X1,Y1)。此外,在以此方式检测多个单独被摄体时,获得总的被摄体重心Gt(Xg,Yg),这是多个单独被摄体组(总的被摄体)的重心。
尽管可以构思关于如何设置总的被摄体重心Gt的各种安排,但是这里图示了其最简单的示例,其中在最左边被摄体的重心和最右边被摄体的重心之间画一条线,并且该线的中点被当作总的被摄体重心Gt。该总的被摄体重心Gt是可以用于例如稍后描述的构图控制的信息,并且是只要获得每个单独被摄体的重心就可以通过计算获得的信息。因此,尽管总的被摄体重心Gt可以通过被摄体检测处理单元201获得,并且输出作为检测的信息,但是可以进行这样的安排,其中构图确定块62使用作为检测信息获得的、涉及最左边和最右边被摄体的重心的信息获得总的被摄体重心Gt,该信息具有指示单独被摄体的重心的位置的信息。
例如,可以构思的设置方法的另一示例是根据其大小给多个单独被摄体的每个提供加权系数,并且使用该加权系数获得总的被摄体重心Gt,使得总的被摄体重心Gt更接近例如尺寸大的单独被摄体。此外,可以根据每张面部占据的面积,获得单独被摄体的大小作为单独被摄体SBJ0和SBJ1的每个的像素数量。
这可以根据上述技术,通过关于如上所述检测的单独被摄体在真实被摄体和不真实被摄体(静止被摄体)之间执行的区分来执行,其中那些区分为真实被摄体的被摄体被设置为对象单独被摄体,以用作构图确定的对象。
接着,将参照图42到44,描述通过根据本实施例的第一示例的构图获得的构图。要注意的是,“构图控制”是指其中执行构图确定处理、以及用于实现由构图确定处理确定的最优构图的构图处理的控制处理的术语。
图42图示这样的情况,其中作为被摄体检测处理和被摄体区分处理的结果,在成像的图像数据的图像框内已经检测了单个对象单独被摄体SBJs0。注意,检测为不真实被摄体的其它单独被摄体可能实际上存在于图42所示的图像框内,但是从图中已经省略了不真实被摄体以便利该图的理解。
此外,利用本实施例,在数字照相机1以正常状态安装到平台10的安排中,设置数字照相机1的方向,使得成像风景屏幕而不是人像屏幕。因此,利用构图控制的该第一示例和稍后描述的第二示例,假设通过成像获得风景屏幕。
在如42所示已经检测了单个对象单独被摄体时,首先,改变对象单独被摄体的大小,使得对象单独被摄体SBJs0在成像的图像数据的屏幕中占据的百分比是被看作是最优的预定值。例如,在已经检测了对象单独被摄体的点,如果对象单独被摄体在屏幕中占据的百分比小于上述预定值,则通过执行变焦控制缩窄场角,使得对象单独被摄体的百分比为该预定值,并且如果对象单独被摄体在屏幕中占据的百分比大于上述预定值,则通过执行变焦控制变宽场角,使得对象单独被摄体的百分比为该预定值。这里在存在一个对象单独被摄体时,这种变焦操作关于构图优化了被摄体大小。也就是说,对被摄体确定最优大小,并且执行构图匹配使得被摄体为该最优大小。
接着,在存在一个对象单独被摄体时,屏幕上的被摄体的位置(被摄体位置)的调整执行如下。对于构图确定中的被摄体位置的确定,使用检测的面部方向信息。在图42的情况下,对象单独被摄体SBJs0的面部的方向已经检测为向左。要注意的是,这里使用的方向“左”是从面对对象单独被摄体SBJs0的拍摄者来看,因此在成像装置在前面拍照的情况下,对象单独被摄体SBJs0他自己/她自己实际上将面向右。
此外,设置了要用作被摄体位置调整的参照的假想图像区域分割线Ld。图像区域分割线Ld是匹配通过图像中的原点坐标P(0,0)的垂直线(即,匹配Y轴线)的直线。
在该情况下,一旦已经检测面部的方向朝左,则以对象单独被摄体SBJs的重心G已经从对应于图像区域分割线Ld的位置(X=0)向右移动以水平偏移量Δx表示的移动的形式,确定最优构图。执行构图匹配,使得重心G位于该位置。因此,执行控制以驱动平台10的摇摄机制,使得重心G位于水平位移位置。
通常,被摄体位于中心的构图被认为是典型的差的构图,而其中被摄体的位置根据一定的规则从中心位移的构图被认为是好的构图,这些规则中尤其通常使用三分法(rule of thirds)和黄金分割法。利用本实施例,屏幕的水平方向上的单独被摄体SBJ的位置(重心G)首先关于屏幕的中心移动一定量(水平偏移量Δx)。
于是,利用本实施例,如果对象单独被摄体的面部正朝向的方向是如图42所示的左边,则水平方向上重心G的位置位于通过由图像区域分割线Ld沿着Y轴线将屏幕分割为两个区域获得的两个图像区域(分割区域)的右边图像区域中,使得面部位于与面部正朝向的“左边”方向相对的“右边”区域中,从而在单独被摄体SBJ的面部正朝向的左侧获得空间。与其面部正朝向左边的单独被摄体SBJs的重心G例如在被摄体位置、或在图像区域分割线Ld的左边的图像区域中的构图相比,这种构图允许获得更好的构图,该被摄体位置对应于(匹配)水平方向上屏幕的中心。
可以构思各种算法用于确定本实施例的水平偏移量Δx的实际值。这里,将使用所谓的“三分法”作为基础。三分法是最基本的构图设置技术之一,并且目的在于通过两条垂直的假想线将屏幕均匀划分为水平上的三个区域,以及通过两条水平的假想线将屏幕均匀划分为垂直上的三个区域,以便利用四条假想线获得九个相等区域,并且将被摄体放置在这四条线之一上,获得将屏幕垂直划分为三个的好的构图。
例如,在图42中,在均匀将水平图像框大小Cx划分为三的两条垂直假想线中,已经设置水平偏移量Δx使得重心G位于右边的假想线上。因此,可以获得一个构图,其根据单独被摄体的面部方向对位于水平方向上的被摄体最优。
此外,尽管图中未示出,在一个对象单独被摄体SBJs的面部方向被检测为在右边方向时,放置水平方向上对象单独被摄体SBJs的重心G的位置,以便关于图42所示的位置跨越图像区域分割线Ld线性对称。也就是说,在该情况下,将水平偏移量Δx设置对图42所示的实际值具有负号,并且基于该水平偏移量Δx执行摇摄控制。
此外,在如图43A检测了两个对象单独被摄体SBJs0和SBJs1时,构图控制中执行的第一件事是执行关于总的被摄体图像部分的大小的调整(变焦控制),该总的被摄体图像部分由对象单独被摄体SBJ0和SBJ1的图像部分组构成(例如,这可以理解为被摄体图像部分在整个图像中占据的百分比),以便被设置(确定)为按照对象单独被摄体的数目为二的最优的大小。
尽管可以构思若干方式定义总的被摄体图像部分并获得其大小,但是一种方式是例如将多个检测的对象单独被摄体的每个的图像部分的大小相加。另一种将是获得假想线内的图像部分的大小,绘制该假想线以便包括所有的多个检测的对象单独被摄体。
关于两个对象单独被摄体SBJs0和SBJs1的面部方向的信息用于确定水平方向上两个对象单独被摄体SBJ0和SBJ1的被摄体位置。
图43A示出了已经检测两个对象单独被摄体SBJs0和SBJs1的面部方向都朝左的情况。也就是说,两个对象单独被摄体的面部方向相同,为左。在该情况下,将由对象单独被摄体SBJ0和SBJ1构成的总的被摄体图像部分定位在图像区域分割线Ld的右边,这与面部正朝向的左边相反,使得以与图42所示的单个对象单独被摄体SBJs的情况相同的方式在屏幕的左侧形成空间,因为在该情况下,该被摄体放置被确定为是最优构图。
为此,设置水平偏移量Δx用于偏移到右侧,如图43A所示。于是,执行摇摄控制使得总的被摄体重心Gt(即,由两个对象单独被摄体SBJ0和SBJ1构成的总的被摄体图像部分的重心)位于从经过原点坐标P(0,0)的垂直线(Y轴线)偏移水平偏移量Δx的位置,该垂直线是图像区域分割线Ld。此外,尽管图中未示出,但是在两个对象单独被摄体SBJs0和SBJs1的面部方向都朝右时,放置两个对象单独被摄体SBJs0和SBJs1的总的被摄体重心Gt,以便关于图43A所示的位置跨越图像区域分割线Ld线性对称。也就是说,总的被摄体重心Gt位于向用作参照的Y轴线的左边偏移对应于水平偏移量Δx的绝对值的量的位置,在该情况下,这被确定为最优构图,并且执行摇摄控制以便实现该状态。
要注意的是,在该情况下,如果应用到如存在多个对象单独被摄体的情况,则在对象单独被摄体是一个的情况下获得的水平偏移量Δx意图导致被摄体过于朝右(或左)。因此,在如图43A所示存在两个对象单独被摄体的情况下,根据预定规则,设置(确定)水平偏移量Δx为比图42中的情况下小的值(绝对值),在图42中对象单独被摄体的数目为一。
此外,图43B示出了两个对象单独被摄体SBJs0和SBJs1的面部方向不同的情况,即,一个朝右,而一个朝左。这是对象单独被摄体的数目为二而面部方向不同的情况的示例。在该情况下,确定最优构图是这样的状态,其中两个对象单独被摄体SBJs0和SBJs1的总的重心Gt位于图像区域分割线Ld上,如图43B所示,并且执行调整(摇摄控制)以实现该状态。
利用可以由此获得的配置,由两个对象单独被摄体SBJs0和SBJs1构成的总的被摄体图像部分位于水平方向上大概在屏幕中间处。然而,在存在多个被摄体并且这些被摄体不是朝向相同方向时,即使总的被摄体图像部分处于中间,其构图也是适合的。
此外,图44示出了已经检测三个对象单独被摄体SBJs0、SBJs1和SBJs2的情况。也利用该情况下的构图控制,构图控制中执行的第一件事是执行关于总的被摄体图像部分的大小的调整(变焦控制),该总的被摄体图像部分由对象单独被摄体SBJs0、SBJs1和SBJs2的图像部分组构成,以便被设置为按照对象单独被摄体的数目为三的最优的大小。
也在该情况下,关于对象单独被摄体SBJs0、SBJs1和SBJs2的面部方向的信息用于确定水平方向上总的被摄体图像部分的被摄体位置。图44示出了已经检测三个对象单独被摄体SBJs0、SBJs1和SBJs2的面部方向都朝左的情况。在该情况下,如图43A的情况,将由对象单独被摄体SBJs0、SBJs1和SBJs2构成的总的被摄体图像部分定位在图像区域分割线Ld的右边,对该端设置水平偏移量Δx以用于偏移到右侧,并且执行摇摄控制使得总的被摄体重心Gt位于由此确定的一定位置。此外,在三个对象单独被摄体SBJs0、SBJs1和SBJs2的面部方向都朝右时,放置总的被摄体重心Gt以便关于图44所示的位置跨越图像区域分割线Ld线性对称。
在该情况下还要注意的是,将水平偏移量Δx设置为小于图43A的情况下的绝对值,在图43A的情况下对象单独被摄体的数目为二。因此,水平方向上的被摄体位置按照对象单独被摄体的数目例如为三的情况为最优,并且可以获得好的构图。
此外,在根据该第一示例的构图控制中,在三个对象单独被摄体SBJs0、SBJs1和SBJs2的面部方向不同时,获得这样的构图,其中总的被摄体重心Gt位于图像区域分割线Ld(Y轴线)上的位置。
利用目前为止的描述,可以理解的是,根据第一示例的构图控制中的水平方向上的位置调整首先与为每个对象单独被摄体检测的面部方向有关。也就是说,作为最基本的控制,在对象单独被摄体的数目为一时,放置重心G以便根据为该对象单独被摄体检测的面部方向朝右还是朝左,向图像分割线Ld(Y轴线)的右侧区域或左侧区域偏移预定量,即,关于重心G执行水平偏移,以便在屏幕中被摄体面对的方向上形成空间。
在利用构图控制的对象单独被摄体的数目为二或更多、并且所有对象单独被摄体的面部方向相同时,以与上述位置调整相同的方式执行总的被摄体重心Gt的水平偏移,但是如果不是全部相同,则不执行水平偏移,而是给总的被摄体重心Gt提供对应于图像区域分割线Ld的X坐标,使得总的被摄体图像区域在屏幕的中间周围。
于是,在执行总的被摄体重心Gt(或在单独被摄体的数目为一的情况下的重心G)的水平偏移时,根据对象单独被摄体的数目改变水平偏移量Δx,如参照图42到44所述。因此,考虑关于图像中总的被摄体图像部分的水平位置,使得可以根据对象单独被摄体的数目获得最优位置。
图45图示了根据上面参照图42到44描述的第一示例的配置控制、由构图确定块62和摇摄/倾斜/变焦控制块63执行的过程的示例。要注意的是,图45所示的过程可以应用到图29、32和34所示的任何配置。
图45所示的处理可以看作由用作控制单元27中的DSP和CPU的信号处理单元24执行的程序实现。
此外,在以下流程图中,术语“总的被摄体重心(Gt)”和“总的被摄体图像部分”将不再只应用于检测的单独被摄体的数目为二或更多的情况,而是也应用到检测的单独被摄体的数目为一的情况。也就是说,例如,图42所示的重心G也可以称为“检测的单独被摄体的数目为一的情况下的单独被摄体重心Gt”,并且只由图42所示的单独被摄体SBJ构成的图像部分也可以称为“检测的单独被摄体的数目为一的情况下的总的被摄体图像部分”。
首先,步骤S1101到S1106是主要由被摄体检测处理单元201执行的、用于搜索和检测被摄体并且执行被摄体区分的过程。
在步骤S1101中,输入并获取基于来自图像传感器22的成像信号的成像的图像数据。
在步骤S1102中,使用步骤S1101中获取的成像的图像数据执行被摄体检测处理和被摄体区分处理。这里,被摄体检测处理由如前所述的被摄体检测处理单元201执行。此外,被摄体检测处理还包括检测每个检测的单独被摄体的面部方向,以及获得其信息,如前所述。此外,被摄体检测处理单元201根据前面所述执行被摄体区分处理。
在步骤S1103中,作为步骤S1102中的被摄体检测处理和被摄体区分处理的结果,确定是否存在要当作构图确定的对象的真实被摄体,即,是否存在(已经区分的)对象单独被摄体。在这里获得否定确定结果、从而不存在对象单独被摄体时,即,区分的对象单独被摄体的数目为零,流程进行到步骤S1104,并且根据被摄体搜索执行变焦镜头移动控制(缩小控制),用于将场角变宽到预定场角(水平/垂直角度)。这样变宽场角允许成像更宽的范围,意味着更容易捕获被摄体。此外,在步骤S1105中,执行摇摄/倾斜控制以用于移动平台10的摇摄/倾斜机制进行被摄体搜索。该控制由被摄体检测处理单元201执行,将用于摇摄/倾斜控制的控制信号传递到通信控制处理块64,该控制信号发送给平台10的通信单元52。平台10的摇摄/倾斜机制应当在例如允许有效执行搜索的模式下移动,作为用于被摄体搜索的摇摄/倾斜控制。
此外,在步骤S1106中,将模式标志设置为0(f=0),并且流程返回到步骤S1101。
因此,重复步骤S1101到S1106的过程,直到在成像的图像数据的图像内容中检测了至少一个单独被摄体。此时,由检测的单独被摄体和平台10构图的系统处于这样的状态,其中检测的单独被摄体在摇摄方向和倾斜方向上移动以用于被摄体搜索。
在步骤S1103给出肯定确定结果、从而存在对象单独被摄体时,流程进行到步骤S1107开始的过程。
在步骤S1107,进行关于当前对模式标志f设置的值的确定。
在确定保持f=0时,这指示应当执行初始的大致被摄体捕获模式作为构图控制,并且执行从步骤S1108开始的过程,如图45所示。
在步骤S1108,确定总的被摄体重心Gt是否位于成像的图像数据的屏幕(显示成像的图像数据的屏幕内容时获得的屏幕)中的原点坐标P(0,0)(见图41)。现在,在获得否定确定结果、从而总的被摄体重心Gt不位于原点坐标时,在步骤S1109中执行控制以移动平台10的摇摄/倾斜机制,使得总的被摄体重心Gt位于原点坐标,并且流程返回到步骤S1101。因此,在作为初始构图控制过程的捕获模式处于已经检测到单独被摄体的存在的状态中,控制平台10的摇摄/倾斜机制,使得总的被摄体重心Gt位于作为初始参照位置的原点坐标,以便显示检测的对象单独被摄体显示在屏幕中间的图像区域。
现在将示出用于执行步骤S1109中的摇摄/倾斜控制的算法的示例。在已经检测单独被摄体处于模式标志f=0的状态下,被摄体检测处理单元201执行下面的表达式5所示的计算,以便获得摇摄方向移动量Span和倾斜方向移动量Stilt,这是已经进行的移动的移动量。
这里,n表示区分的对象单独被摄体的数目,而p(Xi,Yi)表示第0个到第n-1个对象单独被摄体(或者更具体地,已经分配了0到n-1的编号的对象单独被摄体)中的第i个对象单独被摄体的到重心的X-Y坐标。如图41所示,在该情况下,原点坐标(0,0)是屏幕的水平方向上的中点和其垂直方向上的中点之间的交点。
例如,在步骤S1108中,确定移动量Span,Stilt的绝对值是否在预定值(更精确地为0,但是可以是大于0的值)内,由此可以确定总的被摄体重心Gt是否等效于在原点坐标P。
在步骤S1109,执行摇摄/倾斜控制,使得移动量Span,Stilt的绝对值在预定值内。摇摄/倾斜控制时摇摄机制单元53和倾斜机制单元56的速度可以是恒定速度,或者例如如果移动量Span,Stilt较大,则可以安排为移动更快。该安排将允许即使摇摄或倾斜运动量大、也使得总的被摄体重心Gt以相对短的时间靠近原点。
在步骤S1108中做出总的被摄体重心Gt位于原点坐标的肯定确定结果时,在步骤S1110中将模式标志设置为1(f=1),并且流程返回到步骤S1101。步骤S1110中已经将模式标志f设置为1的状态指示作为比较控制中的初始过程的捕获模式已经结束,并且应当执行接下来的第一调整控制(构图调整模式)。
在模式标志为f=1并且应当执行第一构图调整模式时,流程从步骤S1107进行到步骤S1111。第一构图调整模式用于执行变焦(场角)调整和摇摄,以用于根据检测的单独被摄体的数目和单独被摄体的面部方向的组合获得最优构图。注意,场角调整和摇摄控制导致屏幕中单独被摄体的大小和单独被摄体的位置的改变。
在步骤S1111,进行关于当前设置了多少对象单独被摄体的确定,并且在为一时,执行从步骤S1112开始的过程。
在步骤S1112中,根据检测的对象单独被摄体的数目为一,设置目标被摄体大小。这里,目标被摄体大小是这样的大小,其中屏幕中总的被摄体图像部分大小被看作是在构图上最优,并且例如与图42对应,等效于“被当成是最优的、成像的图像数据中该(一个)对象单独被摄体SBJs的占有百分比值的预定范围”。
在步骤S1113,进行关于对象单独被摄体的大小是否OK的确定。对象单独被摄体的大小OK的状态是其中对象单独被摄体的大小是在步骤S1112中设置的目标被摄体大小的状态。在步骤S1113中获得否定确定结果时,流程进行到步骤S1114,执行变焦镜头驱动控制(变焦控制),使得对象单独被摄体的大小是目标被摄体大小,并且流程返回到步骤S1101。
注意,此时执行变焦控制,使得关于水平方向(左右方向)上总的被摄体重心Gt的位置,维持对应于在步骤S1109中设置的X坐标(X=0)的位置。因此,可以维持对象单独被摄体定位在水平方向上的中间周围的状态。此外,在执行被摄体搜索操作时,在步骤S1104中执行缩小控制,因此对步骤S1114中的缩放控制可能执行放大控制。然而,在由于某些原因此时检测的单独被摄体的大小大于目标被摄体大小、因此在步骤S1113中获得否定确定结果时,在步骤S1114中执行缩小操作以执行控制,使得实际对象单独被摄体大小变为目标被摄体大小。
在步骤S1113中获得肯定确定结果时,流程进行到步骤S1115开始的过程。
在步骤S1115中,设置水平偏移量Δx。这里,在根据本实施例第一示例的构图控制中,通过下面的表达式6获得水平偏移量Δx。
Δx=D×(Cx/6)/n (表达式6)
在该表达式6中,D表示已经基于面部方向或多个面部方向的组合(关系)为其设置+1、-1或0之一的系数。Cx表示水平图像大小。项Cx/6对应通过三分法获得的垂直方向上假想线的X坐标,而n指示已经区分(设置)的对象单独被摄体的数目。
在流程到达步骤S1115时,这里,n=1,因为检测的对象单独被摄体为一。此外,面部方向为左或右。如果面部方向朝左,则系数D为+1,而如果朝右则为-1。
因此,在已经区分的一个对象单独被摄体的面部方向朝左时,
Δx=-Cx/6
成立,指示从作为图像区域分割线Ld(Y轴线)的、经过原点坐标P(0,0)的垂直线向左移动量Cx/6的垂直线的位置。该垂直线的位置与三分法中的两条假想线的右边假想线的位置相同。
另一方面,在已经区分的一个对象单独被摄体的面部方向朝右时,水平偏移量Δx=Cx/6
成立,指示从作为图像区域分割线Ld(Y轴线)的、经过原点坐标P(0,0)的垂直线向右移动量Cx/6的垂直线的位置。该垂直线的位置与三分法中的两条假想线的左边假想线的位置相同。
在步骤S1116,确定总的被摄体重心Gt(在该情况下,图42中的重心G与总的被摄体重心Gt相同,因为只有一个对象单独被摄体)是否位于对应于在上面的步骤S1115中设置的水平偏移量Δx的X坐标上。在这里获得否定确定结果时,流程进行到步骤S1117。
在步骤S1117,执行摇摄控制,使得总的被摄体重心Gt位于对应于水平偏移量Δx的X坐标上,并且流程返回到步骤S1101。
在总的被摄体重心Gt位于对应于水平偏移量Δx的X坐标上时,由于步骤S1117中的控制,在步骤S1116中获得肯定确定结果。在步骤S1116中获得肯定确定结果时,根据其面部方向,对象单独被摄体(SBJ)的重心位于从图像区域分割线Ld向左或向右移动水平偏移量Δx的位置上,如图42所示。
在步骤S1116中获得肯定确定结果时,流程进行到步骤S1118,将模式标志设置为2,并且流程返回到步骤S1101。模式标志为f=2的状态是第一构图调整已经结束的状态,因此应当执行接下来的第二构图调整模式,然后应当执行释放操作,如从稍后的描述中显而易见的。
此外,在步骤S1111中确定对象单独被摄体的数目是二或更多时,执行从步骤S1119开始的过程。在步骤S1119中,执行用于设置目标被摄体大小的处理。在对象单独被摄体的数目是二或更多时,例如,获得最优构图的目标被摄体大小根据对象单独被摄体的数目而不同。因此,在步骤S1119中,根据在步骤S1102中检测的对象单独被摄体的数目设置预定的目标被摄体大小。此外,要注意的是,在对象单独被摄体的数目为二或更多时的目标被摄体大小处理由所有检测的单独被摄体构成的总的被摄体图像部分。
在步骤S1120,确定对象单独被摄体的大小是否OK。也就是说,这里确定从关于对象单独被摄体的检测的信息中获得的总的被摄体图像部分的大小是否与在上面的步骤S1120中设置的目标被摄体大小相同。
在步骤S1120中获得否定确定结果时,流程进行到步骤S1121。在步骤S1121中,以与步骤S1114相同的方式,执行变焦镜头驱动控制(变焦控制),使得此时检测的对象单独被摄体的总的被摄体图像部分的大小为在步骤S1119中设置的目标被摄体大小,并且流程返回到步骤S1101。
另一方面,在步骤S1120中获得肯定确定结果时,流程进行到步骤S1122。
在步骤S1122,执行关于对多个对象单独被摄体的每个检测的面部方向是否都相同的确定处理。在步骤S1122中获得肯定确定结果时,执行步骤S1123开始的过程。在步骤S1123,利用上述表达式6执行水平偏移量Δx。
在该情况下,根据已经检测的相同的面部方向是左还是右,将+1或-1代入表达式6中的系数D中。此外,根据检测的对象单独被摄体的数目,将数字2或更大代入n中。
如从这里可以理解的,利用表达式6,对象单独被摄体的数目越大,水平偏移量Δx的绝对值越小。也就是说,如参照图42、43A和44所述,随着对象单独被摄体的数目增加,总的被摄体图像部分从图像区域分割线Ld向左或向右的偏移量越小。
另一方面,在步骤S1122中获得否定确定结果时,在步骤S1124中设置水平偏移量Δx。要注意的是,这里还可以通过执行表达式6的计算,在步骤S1124中设置Δx=0。也就是说,在步骤S1122中获得否定确定结果时,即,在多个面部方向不相同时,配置算法使得在执行表达式6的计算时,将0代入系数D中。
在执行步骤S1123或步骤S1124的过程后,流程进行到步骤S1125开始的过程。
在步骤S1125到S1127,以与步骤S1116到S1118的处理相同的方式,执行摇摄控制直到总的被摄体重心Gt位于对应于在步骤S1123或S1124中设置的水平偏移量Δx的X坐标。作为该控制的结果,在多个对象单独被摄体的面部方向都相同时,这意味着已经实现了这样的状态,其中总的被摄体图像部分(总的被摄体重心Gt)已经向左或右方向移动对应于对象单独被摄体的数目的水平偏移量Δx。在实现该状态时,在步骤S1125中获得肯定确定结果,在步骤S1127中将模式标志f设置为2,并且流程返回到步骤S1101。
在模式标志f已经设置为2的状态下,参照图42到44描述的,作为构图控制,已经完成根据对象单独被摄体的数目的大小调整和根据对每个对象单独被摄体及其组合的面部方向在水平方向上的位置调整的过程。因此,在步骤S1107中确定模式标志f为2时,在步骤S1128开始的过程中执行第二构图调整模式。
例如,尽管在上面参照图42到44的构图控制的描述中没有进行关于如何在屏幕的垂直方向上设置对象单独被摄体的重心的位置的描述,但是在实际实践中,可能存在这样的情况,其中通过从屏幕的中心垂直移动(偏移)一定量,可以获得更好的构图。因此,利用根据本实施例的构图控制的实际应用,对总的被摄体重心Gt还设置垂直方向偏移量,使得可以获得更好的最优构图。用于此的过程为第二构图调整模式,如将在下面描述的步骤S1128和步骤S1129执行的。
在步骤S1128中,确定总的被摄体重心Gt(在对象单独被摄体的数目为1的情况下,该对象单独被摄体的重心G)的位置是否从经过屏幕中的原点坐标P的水平线(X轴)偏移垂直偏移量Δy(即,重心偏移是否OK)。
在步骤S1128中获得否定确定结果时,在步骤S1129,执行倾斜控制,使得平台10的倾斜机制移动,以便将重心偏移所设置的垂直偏移量Δy,并且流程返回到步骤S1101。在步骤S1128获得肯定确定结果时,这意味着总的被摄体图像部分的位置在水平方向和垂直方向上都是根据最优构图的,此外,总的被摄体图像部分的大小也是根据最优构图的。也就是说,已经实现了最优构图。
关于如何设置关于步骤S1128和S1129的垂直偏移量Δy的实际值可以构思若干技术,因此,本实施例不具体限定。最简单的设置方式之一是例如基于三分法,从垂直方向的中心位置给出等效于垂直图像大小Cy的1/6的长度值。当然,可以构思这样的配置,其中例如基于对象单独被摄体的数目、面部的方向及其组合设置不同的值。
在步骤S1128中获得肯定确定结果时,执行对应于从步骤S1130开始的释放动作的处理过程。这里描述的释放动作是用于将此时获得的成像的图像数据作为静止图像数据存储在存储介质(存储卡40)中的动作,如前所述。也就是说,这对应于这样的情况,其中用户正执行手动快门操作,并且响应于快门操作,将此时获得的成像的图像数据作为静止图像数据存储在记录介质中。
在步骤S1130中,确定目前是否满足用于执行释放动作的条件。条件可以包括例如是否处于聚焦状态(在将自动聚焦控制设置为开时),是否平台10的摇摄/倾斜机制处于静止状态等。
在步骤S1130中获得否定确定结果时,流程返回到步骤S1101,并且等待用于执行释放动作的状态条件。另一方面,在步骤S1130中获得肯定确定结果时,在步骤S1131中执行释放动作。因此,利用本实施例可以将最优构图的成像的图像数据记录为静止图像数据。
在释放动作结束时,在步骤S1132中执行关于某些参数的初始化设置。在该处理中,将模式标志f的初始值设置为0,并且变焦镜头位置也返回到之前设置的初始位置。
在执行步骤S1132后,处理返回到步骤S1101。将处理从步骤S1132返回到步骤S1101意味着搜索被摄体、根据通过该搜索检测的对象单独被摄体正面对的方向以及对象单独被摄体的数目获得最优构图、以及执行成像记录(释放动作)的动作被自动重复执行。
上面参照图45的情况描述的释放动作是用于从成像的图像将静止图像记录到记录介质的操作,但是广义来说,根据本实施例的释放动作包括例如根据需要从成像的图像中获取静止图像数据,包括记录静止图像数据到记录介质中。因此,在释放动作中也包括这样的动作,其中通过根据本实施例的数字照相机1从成像的图像中获取静止图像数据,以用于例如经由数据接口等传送到另一记录介质等。
利用目前为止描述的图45中的过程,首先,在步骤S1108和S1109中,执行用于捕获的摇摄/倾斜控制,其中基于在步骤S1108和S1109中利用上面表达式5获得的运动量Span,Stilt,将一个或多个对象单独被摄体的总被摄体重心Gt定位在屏幕的原点坐标P。在下一阶段,基于对象单独被摄体的数目、以及对每个对象单独被摄体检测的面部方向的关系,获得水平偏移量Δx,并且执行摇摄控制,其中以作为图像区域分割线Ld(Y轴线)的、通过原点坐标P的垂直线作为参照,将总的被摄体重心Gt在左或右方向上移动对应于水平偏移量Δx的量。此外,执行倾斜控制,其中以通过原点坐标P的水平线作为参照,将总的被摄体重心Gt向上或向下移动对应于垂直偏移量Δy的量。
综上所述,可以说图45中的过程的摇摄/倾斜控制包括首先通过以下表达式7获得运动量Span,Stilt
然后执行用于获得屏幕内对应于该运动量Span的运动量的摇摄机制的控制、以及用于获得屏幕内对应于该运动量Stilt的运动量的倾斜机制的控制。
接着,将描述根据本实施例的第二示例的构图控制。图46中示出了对应于第二示例的构图控制的情形,图示了其中已经区分了三个对象单独被摄体SBJs0、SBJs1和SBJs2的状态。在这些对象单独被摄体中,对对象单独被摄体SBJs0和SBJs2检测的面部方向为左,而对对象单独被摄体SBJs1检测的面部方向为右。在该情况下,不是所有的对象单独被摄体的面部方向都相同,因此利用第一构图控制示例,将设置构图,使得总的被摄体重心Gt被设置在作为图像区域分割线Ld的、通过原点坐标P的垂直线(Y轴线)上,如参照图43B和其它附图所述。
然而,作为三个对象单独被摄体的大多数的两个对象单独被摄体SBJs0和SBJs2面对相同方向(面部方向相同)的事实,可能引导我们思考如果对象单独被摄体正在看重要事情,这将在两个对象单独被摄体SBJs0和SBJs2正面对的方向上的概率大于这将在一个对象单独被摄体SBJs1正面对的方向上的概率。基于该构思,我们可以说在两个对象单独被摄体SBJs0和SBJs2正面对的区域中留出空间将导致获得好的构图的更大的概率。在该情况下,检测到两个对象单独被摄体SBJs0和SBJs2正朝左,因此将由三个对象单独被摄体SBJs0、SBJs1和SBJs2构成的总的被摄体图像部分的总的被摄体重心Gt移到在屏幕上的图像区域分割线Ld的右边的图像区域,以便获得好的构图。
因此,利用根据该第二示例的构图控制,关于对多个单独被摄体的每个检测的面部方向的区域,在相同面部方向的数目以预定百分比成为对象单独被摄体的整个数目的大多数时,将该相同面部方向当作参照面部方向。还可以认为该参照面部方向指示屏幕上多个对象单独被摄体组的全部整体地面对的方向。基于该参照面部方向获得并设置水平偏移量Δx。在图46所示的情况下,由于这种构图控制,实现总的被摄体重心Gt被设置到通过原点P的垂直线的右边的构图。
此外,尽管这里未示出,但是在没有获得足够的相同面部方向按预定百分比成为大多数时,即,在上面的参照面部方向是不确定的时,利用本实施例的构思是优选设置构图,将总的被摄体图像部分放置在水平方向上的中间周围。因此,在该情况下,将水平偏移量Δx设置为0。
图47图示了根据上述第二示例、要由图5所示的被摄体检测处理单元201、构图确定块62和通信控制处理块64执行的过程示例。
在图47所示的过程中,从步骤S1201到S1232的过程每个与从步骤S1101到S1132的过程相同,除了步骤S1222-1和S1222-2。插入步骤S1222-1和随后的步骤S1222-2作为在步骤S1222已经获得否定确定结果时执行的过程。也就是说,在对象单独被摄体的数目为多个时执行步骤S1222-1和S1222-2,并且在总的被摄体图像部分的大小调整已经完成的阶段,对每个对象单独被摄体检测的面部方向的关系不是全部相同的面部方向。
在步骤S1222-1,执行用于确定参照面部方向的处理。为此,例如如上所述,关于多个对象单独被摄体和面部方向上的关系,确定具有相同面部方向的一组对象单独被摄体是否由下述数目的对象单独被摄体组成,所述对象单独被摄体的数目足够多到按已经检测的对象单独被摄体的总数的某个百分比或更高成为大多数。在存在这样一组对象单独被摄体时,确定该组对象单独被摄体的面部方向为有效参照面部方向。另一方面,在不存在这样一组对象单独被摄体时,确定不存在参照面部方向。
关于上述预定百分比,考虑关于实际实践中对象单独被摄体的数目和对象单独被摄体的面部方向的关系的适当构图,应当根据需要确定实际要设置什么样的值。尽管可以基本设置一个固定值,但是可以进行这样的安排,其中根据例如确定的对象单独被摄体的数目设置不同的预定值。
此外,除了上面的以外,可以构思用于参照面部方向检测处理的其它算法。例如,可以进行这样的安排,其中将具有相同面部方向最多的一组对象单独被摄体的面部方向简单当作有效参照面部方向,而不考虑其关于例如对象单独被摄体的总数的百分比。在该情况下,如果在具有不同面部方向的每组中的对象单独被摄体的数目相同,则确定不存在参照方向。
在步骤S1222-2,确定作为步骤S1222-1中的面部方向确定处理的结果,是否已经确定了有效的参照面部方向。
现在,在已经获得肯定确定结果时,过程进行到步骤S1223。在此情况下在步骤S1223,基于在步骤S1222-1中确定的参照面部方向确定系数D,并且确定并设置水平偏移量Δx。
另一方面,在步骤S1222-2中获得否定确定结果时,这意味着在步骤S1222-1中没有确定有效参照面部方向,既不是左也不是右。在该情况下,流程进行到步骤S1224,从而将水平偏移量Δx设置为0。因此,插入步骤S1222-1和S1222-2实现了根据参照图46所述的第二示例的构图控制。
注意,尽管一些步骤同时执行构图确定和构图匹配,但是图45和47所示的过程以混合的方式包括可看作是构图确定处理的过程、以及用于根据确定结果控制构图匹配(构图控制)的过程。这是由于图45和47所示的过程根据实际实践具体图示。本实施例的基本构思应当看作是目前为止描述的、图示为构图确定块200、构图确定块62等的用于构图确定的配置的应用。也就是说,根据本实施例的成像系统可以看作是确定和判断根据对象单独被摄体的数目认为是最优的构图,并且适当地执行变焦控制和摇摄/倾斜控制,使得实际获得(反映)确定的构图的成像的图像数据。
此外,利用图40A和40B的图中描述的构图确定和构图控制的具体示例,已经进行了面部方向检测为左或右两个阶段的描述,但是实际上,除了左和右,可能存在对包括面向正前的面部方向检测处理进行的配置。还在该情况下,可以有效地应用基于本发明的实施例的构图控制。
例如,在图42的情况下检测了单个对象单独被摄体、并且检测面部面向正前时,一个可构思的安排将是将该被摄体位置放置在水平方向上的屏幕中间周围,使得重心G或多或少在图像区域分割线Ld(Y轴)上。然而,该构图通常被归类为差的构图示例。因此,可以构思这样的安排,其中在检测的单独被摄体的数目为一、并且面部方向为正前时,如利用图42的构图或关于图42的构图跨越图像区域分割线Ld线性对称的构图,设置水平偏移量Δx。
此外,在检测到两个或更多对象单独被摄体、并且所有的对象单独被摄体的面部方向为正前或参照面部方向为正前时,可以构思这样的安排,其中在已经将表达式1中的系数D设置为0时设置水平偏移量Δx,以便获得构图。
此外,在可以检测垂直面部方向时,可以根据垂直方向上的面部方向检测结果执行基于本发明实施例的构图控制。在该情况下,将图像区域分割线Ld(例如,经过原点坐标的水平线(X轴)将满足)作为参照,垂直移动总的被摄体重心Gt。
此外,在可以检测对角线面部方向时,可以根据对角线方向上的面部方向检测结果执行基于本发明实施例的构图控制,这是水平方向和垂直方向的综合。在该情况下,将跨越屏幕正交于检测的对角线面部方向的线(例如,穿过原点坐标的水平线)设置为图像区域分割线Ld,并且将总的被摄体重心Gt移动到通过该图像区域分割线Ld分割的图像区域之一。
此外,例如在水平方向或垂直方向的两个阶段或三个或更多状态中允许面部方向检测时,可以构思这样的安排,其中采用这样的算法,其中水平偏移量Δx(或垂直偏移量Δy)是根据这样检测的方向的阶段程度的变量。
此外,如图41所示,在该情况下,参照线经过其的参照点已经描述为屏幕的原点,但是为了获得更好的构图,例如参照点的位置可以设置为不同于原点坐标的位置。
此外,要理解的是参照图14到23描述的示例是部分示例,并且可以构思可以应用根据本发明的构图确定的其它设备、系统、应用软件等。
此外,利用目前为止的实施例的描述,被摄体(对象单独被摄体)已经描述为人,但是本发明还可以应用于不同于人的被摄体(例如如动物)的情况。
此外,利用本发明的实施例确定的构图(最优构图)不是必须限定于通过应用构图设置技术(如三分法)到多个对象单独被摄体的元素确定的构图。依赖于如何设置构图,即使通常被认为是差的构图可能被用户觉得是有趣的或甚至更好的。因此,利用本发明的实施例确定的构图(最优构图)在实际使用中不具体限制,并且可以考虑实用性、娱乐元素等可选地设置。
此外,利用上述实施例,从检测的单独被摄体中区分了真实被摄体和不真实被摄体(静止被摄体),并且将真实被摄体作为构图确定的对象。这是假设要求海报等中的面部要被消除并且只将真实的人作为被摄体获得最优构图的使用。然而,很明显可以存在基于本发明的实施例的配置,其中将不真实的被摄体(静止被摄体)作为构图确定的对象。这种配置也可应用为基于本发明的实施例的构图确定的配置,并且依赖于其应用是有用的。
此外,与此相关,可以配置基于本发明实施例的构图确定,使得例如根据用户操作或基于预定设备操作条件等做出的确定,要被当作构图确定的对象的被摄体可以在真实被摄体和不真实被摄体之间切换。
此外,利用上述实施例,已经进行关于这样的配置的描述,其中通过使用运动检测将处于静止状态的检测的单独被摄体检测为静止被摄体,但是也可以构思不同于运动检测的技术。
例如,可以构思基于温度的区别。也就是说,作为真实的人的真实被摄体将具有大约为体温的温度,这将通常与环境温度不同。另一方面,如海报等上的人的不真实被摄体将具有与环境温度相同的温度,因为它是东西。这样可以区别真实被摄体和不真实被摄体。
通过采用所谓的热成像技术,用于此的一种可构思配置将用于检测成像的图像的图像框内的温度分布。在图像框中的检测的单独被摄体中,那些与环境温度具有相同温度的被摄体被区分为不真实被摄体(静止被摄体),而不同的那些作为真实被摄体。
此外,如上所述,至少本发明的实施例的配置的一部分可以通过CPU或DSP执行程序实现。这种程序可以在生产时写入或存储在例如ROM中,或者可以存储在可移除存储介质中并且从存储介质安装(包括更新),以便存储在对应于DSP或闪存30等的非易失性存储区域中。此外,可以构思这样的安排,其中可以通过控制,经由数据接口(如USB或IEEE 1394等)从另一主机设备安装程序。此外,可以构思这样的配置,其中程序存储在网络上的存储设备(如服务器)上,并且已经提供联网功能的数字照相机1可以通过从服务器下载获得程序。
本发明包含涉及于2008年3月19日向日本专利局提交的日本优先权专利申请JP 2008-071721中公开的主题,在此通过引用并入其全部内容。
本领域技术人员要理解的是,依赖于设计要求和其它因素,可以出现各种修改、组合、子组合和替代,只要它们在权利要求或其等效的范围内。
Claims (17)
1.一种构图确定设备,包括:
被摄体检测装置,配置为检测基于获取的图像数据的图像中的被摄体;
静止检测装置,配置为将基于所述图像数据的图像或由所述被摄体检测装置检测的被摄体作为其对象,检测静止状态;
构图确定装置,配置为基于所述静止检测装置的检测结果,只将由所述被摄体检测装置检测的被摄体中的真实被摄体或不真实被摄体作为其对象,确定构图。
2.如权利要求1所述的构图确定设备,还包括:
区分装置,配置为基于所述静止检测装置的静止区域的检测结果,关于由所述被摄体检测装置检测的被摄体区分真实被摄体和不真实被摄体,所述检测结果由检测在图像内静止的静止区域的所述静止检测装置获得,作为以基于图像数据的图像作为所述静止检测装置的对象的检测结果;
其中所述构图确定装置将由所述区分装置区分的真实被摄体或不真实被摄体作为其对象,确定构图。
3.如权利要求1所述的构图确定设备,还包括:
区分装置,配置为从所述被摄体检测装置检测的被摄体中,通过区分被摄体而区分真实被摄体和不真实被摄体,使得作为所述静止检测装置的检测结果、已经被检测为静止被摄体的被摄体被区分为不真实被摄体,而没有被检测为所述静止被摄体的区分被摄体被区分为真实被摄体;
其中所述构图确定装置将由所述区分装置区分的真实被摄体或不真实被摄体作为其对象,确定构图。
4.如权利要求1所述的构图确定设备,还包括:
屏蔽装置,配置为执行屏蔽处理,其中从所述图像数据的屏幕中,排除下述区域作为所述被摄体确定的对象:通过检测在图像内静止的静止区域的所述静止检测装置获得的、作为将基于图像数据的图像作为其对象的检测结果的所述静止区域,或除了所述静止区域外的区域;
其中所述被摄体检测装置通过输入已经由所述屏蔽装置经历屏蔽处理的图像数据并且执行被摄体检测,检测真实被摄体和不真实被摄体之一或另一个;
并且其中所述构图确定装置将由所述被摄体检测装置检测的被摄体作为其对象,确定构图。
5.如权利要求1所述的构图确定设备,还包括:
屏蔽装置,配置为执行屏蔽处理,其中从所述图像数据的屏幕中,排除下述区域作为所述被摄体确定的对象:通过检测在图像内静止的静止区域的所述静止检测装置检测的、作为将基于图像数据的图像作为其对象的检测结果获得的所述静止区域,或除了所述静止区域外的区域;
其中所述被摄体检测装置通过输入已经由所述屏蔽装置经历屏蔽处理的图像数据并且执行被摄体检测,检测真实被摄体和不真实被摄体之一或另一个;
并且其中所述构图确定装置将由所述被摄体检测装置检测的被摄体作为其对象,确定构图。
6.如权利要求1所述的构图确定设备,还包括:
信息保持装置,配置为保持由预定信息组成的静止被摄体有关信息,所述预定信息涉及作为将所述被摄体检测装置检测的被摄体作为其对象、由所述静止检测装置执行的检测处理的结果,被检测为静止的每个静止被摄体;以及
区分装置,配置为从所述被摄体检测装置检测的被摄体中,基于所述静止被摄体有关信息,区分与所述静止被摄体匹配的被摄体为不真实被摄体,并且与所述静止被摄体不匹配的被摄体为真实被摄体;
其中所述构图确定装置将由所述区分装置区分的真实被摄体或不真实被摄体作为其对象,确定构图。
7.如权利要求6所述的构图确定设备;
其中所述静止检测装置从真实被摄体的候选者中检测静止图像,所述真实被摄体已经被所述被摄体检测装置检测,并且进一步被确定为匹配由所述区分装置区分的所述静止被摄体;
并且其中所述构图确定装置将由所述静止检测装置检测为真实被摄体的静止被摄体作为其对象,确定构图。
8.如权利要求6所述的构图确定设备,还包括:
运动状态检测装置,配置为检测所述构图确定设备自身的运动;以及
删除装置,配置为根据已经由所述运动状态检测装置检测的所述构图确定设备自身的运动,删除在所述信息保持装置中保持的静止被摄体有关信息,
9.如权利要求8所述的构图确定设备;
其中所述运动状态检测装置安排为不将由于可移动机制单元的动作导致的所述构图确定设备自身的任何运动检测为运动,所述可移动机制单元能够根据预定形式移动所述构图确定设备;
并且其中所述运动状态检测装置安排为将由于除了在所述可移动机制单元正在操作时的所述可移动机制单元的力之外的力导致的所述构图确定设备自身的任何运动检测为运动。
10.如权利要求1所述的构图确定设备,还包括:
位置信息设置装置,配置为在基于由成像装置获取成像的所述图像数据而获得的图像数据、所述静止检测装置检测的所述静止被摄体的位置信息指示所述静止被摄体位于图像的图像框内的水平和/或垂直方向上的极限位置时,设置指示成像装置的摇摄位置和/或倾斜位置的摇摄/倾斜位置信息,所述成像装置的成像视角在摇摄方向上和/或倾斜方向上改变。
11.如权利要求10所述的构图确定设备;
其中所述信息保持装置包括所述静止被摄体有关信息中的所述摇摄/倾斜位置信息;
并且其中所述区分装置
比较
所述静止被摄体有关信息中包括的每个被摄体的所述摇摄/倾斜位置信息,和
由所述被摄体检测装置在所述极限位置检测的关于被摄体的所述摇摄/倾斜位置信息,以及
执行区分,其中
匹配所述静止被摄体有关信息中包括的所述摇摄/倾斜位置信息的被摄体被当作不真实被摄体,以及
不匹配所述静止被摄体有关信息中包括的所述摇摄/倾斜位置信息的被摄体被当作真实被摄体。
12.如权利要求1所述的构图确定设备,还包括:
位置信息设置装置,配置为
基于
图像内的水平和/或垂直方向上的图像框大小,所述图像框大小基于由成像装置获取成像的图像数据而获得的图像数据,所述成像装置的成像视角在摇摄方向上和/或倾斜方向上改变,和
在基于所述成像的图像数据的图像内检测的被摄体的位置,获取指示摇摄方向和/或倾斜方向的绝对角度的绝对位置对应角度信息,以及
将该绝对位置对应角度信息当作关于由所述被摄体检测装置检测的被摄体的位置信息。
13.如权利要求12所述的构图确定设备;
其中所述信息保持装置包括所述静止被摄体有关信息中的所述绝对位置对应角度信息的位置信息;
并且其中所述区分装置
比较
所述静止被摄体有关信息中包括的、每个被摄体的所述绝对位置对应角度信息的位置信息,和
由所述被摄体检测装置在所述极限位置检测的、关于被摄体的所述绝对位置对应角度信息的位置信息,以及
执行区分,其中
匹配所述静止被摄体有关信息中包括的所述绝对位置对应角度信息的位置信息的被摄体被当作不真实被摄体,以及
不匹配所述静止被摄体有关信息中包括的所述绝对位置对应角度信息的位置信息的被摄体被当作真实被摄体。
14.如权利要求1所述的构图确定设备;
其中所述被摄体检测装置配置为通过单独识别每个被摄体的特征来执行被摄体检测,并且在检测信息中包括能够单独识别被摄体的单独识别信息;
并且其中所述信息保持装置在所述静止被摄体有关信息中包括每个静止被摄体的所述单独识别信息;
并且其中所述区分装置
比较
所述静止被摄体有关信息中包括的每个被摄体的所述单独识别信息;和
来自所述被摄体检测装置的检测信息中包括的、关于每个被摄体的所述单独识别信息,以及
执行区分,其中
匹配所述静止被摄体有关信息中包括的所述单独识别信息的被摄体被当作不真实被摄体,以及
不匹配所述静止被摄体有关信息中包括的所述单独识别信息的被摄体被当作真实被摄体。
15.一种构图确定方法,包括以下步骤:
对基于获取的图像数据的图像中的被摄体的第一检测;
将基于所述图像数据的图像或在所述第一检测中检测的被摄体作为其对象,对静止状态的第二检测;以及
基于所述第二检测的检测结果,只将所述第一检测中检测的被摄体中的真实被摄体或不真实被摄体作为其对象,确定构图。
16.一种程序,使得构图确定设备执行包括以下步骤:
对基于获取的图像数据的图像中的被摄体的第一检测;
将基于所述图像数据的图像或在所述第一检测中检测的被摄体作为其对象,对静止状态的第二检测;以及
基于所述第二检测的检测结果,只将所述第一检测中检测的被摄体中的真实被摄体或不真实被摄体作为其对象,确定构图。
17.一种构图确定设备,包括:
被摄体检测单元,配置为检测基于获取的图像数据的图像中的被摄体;
静止检测单元,配置为将基于所述图像数据的图像或由所述被摄体检测单元检测的被摄体作为其对象,检测静止状态;
构图确定单元,配置为基于所述静止检测单元的检测结果,只将由所述被摄体检测单元检测的被摄体的真实被摄体或不真实被摄体作为其对象,确定构图。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008071721A JP4508257B2 (ja) | 2008-03-19 | 2008-03-19 | 構図判定装置、構図判定方法、プログラム |
JP071721/08 | 2008-03-19 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101540844A true CN101540844A (zh) | 2009-09-23 |
CN101540844B CN101540844B (zh) | 2011-12-14 |
Family
ID=40707663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009101288689A Expired - Fee Related CN101540844B (zh) | 2008-03-19 | 2009-03-19 | 构图确定设备和构图确定方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8810673B2 (zh) |
EP (1) | EP2104336A3 (zh) |
JP (1) | JP4508257B2 (zh) |
KR (1) | KR20090100242A (zh) |
CN (1) | CN101540844B (zh) |
TW (1) | TWI398826B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103916623A (zh) * | 2013-01-02 | 2014-07-09 | 三星电子株式会社 | 显示设备及其视频通话的方法 |
CN104655288A (zh) * | 2013-11-25 | 2015-05-27 | 杭州美盛红外光电技术有限公司 | 热像检测装置和热像检测方法 |
CN105323491A (zh) * | 2015-11-27 | 2016-02-10 | 小米科技有限责任公司 | 图像拍摄方法及装置 |
CN105654332A (zh) * | 2014-11-26 | 2016-06-08 | 奥多比公司 | 内容创建、部署合作以及随后的销售活动 |
CN106973224A (zh) * | 2017-03-09 | 2017-07-21 | 广东欧珀移动通信有限公司 | 辅助构图的控制方法、控制装置及电子装置 |
CN107800956A (zh) * | 2016-08-30 | 2018-03-13 | 佳能株式会社 | 摄像设备、控制方法和存储介质 |
CN108307120A (zh) * | 2018-05-11 | 2018-07-20 | 优视科技有限公司 | 图像拍摄方法、装置及电子终端 |
CN109963068A (zh) * | 2017-12-25 | 2019-07-02 | 深圳市优必选科技有限公司 | 一种图像处理方法、系统及终端设备 |
CN110248104A (zh) * | 2019-07-22 | 2019-09-17 | 联想(北京)有限公司 | 一种图像处理方法、装置及电子设备 |
CN111263063A (zh) * | 2020-02-17 | 2020-06-09 | 深圳传音控股股份有限公司 | 拍摄图像的方法、装置及设备 |
CN111327829A (zh) * | 2020-03-09 | 2020-06-23 | Oppo广东移动通信有限公司 | 构图指导方法、装置、电子设备及存储介质 |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5206095B2 (ja) | 2008-04-25 | 2013-06-12 | ソニー株式会社 | 構図判定装置、構図判定方法、プログラム |
JP5189913B2 (ja) * | 2008-07-14 | 2013-04-24 | イーストマン コダック カンパニー | 画像処理装置 |
JP5159515B2 (ja) * | 2008-08-26 | 2013-03-06 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
JP5434338B2 (ja) | 2009-07-29 | 2014-03-05 | ソニー株式会社 | 撮像制御装置、撮像方法、プログラム |
JP5434339B2 (ja) * | 2009-07-29 | 2014-03-05 | ソニー株式会社 | 撮像制御装置、撮像システム、撮像方法、プログラム |
WO2011025234A2 (en) * | 2009-08-24 | 2011-03-03 | Samsung Electronics Co., Ltd. | Method for transmitting image and image pickup apparatus applying the same |
US9721388B2 (en) * | 2011-04-20 | 2017-08-01 | Nec Corporation | Individual identification character display system, terminal device, individual identification character display method, and computer program |
CN102819725A (zh) * | 2011-06-07 | 2012-12-12 | 鸿富锦精密工业(深圳)有限公司 | 疲劳状态检测系统及方法 |
TWI446087B (zh) * | 2012-08-03 | 2014-07-21 | Wistron Corp | 具有自動對焦功能之影像擷取裝置及自動對焦方法 |
US8825664B2 (en) * | 2012-08-17 | 2014-09-02 | Splunk Inc. | Indexing preview |
US10235587B2 (en) * | 2014-03-04 | 2019-03-19 | Samsung Electronics Co., Ltd. | Method and system for optimizing an image capturing boundary in a proposed image |
JP6360204B2 (ja) * | 2015-02-02 | 2018-07-18 | 富士フイルム株式会社 | カメラ装置、撮像システム、制御方法及びプログラム |
CN105991925A (zh) * | 2015-03-06 | 2016-10-05 | 联想(北京)有限公司 | 场景构图指示方法和指示装置 |
KR20170131101A (ko) * | 2016-05-20 | 2017-11-29 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
JP6843439B2 (ja) * | 2017-05-17 | 2021-03-17 | エバ・ジャパン 株式会社 | 情報探索システム及び方法、情報探索プログラム |
JP6938270B2 (ja) * | 2017-08-09 | 2021-09-22 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
JP6951753B2 (ja) * | 2018-03-27 | 2021-10-20 | エバ・ジャパン 株式会社 | 情報探索システム及びプログラム |
US11676242B2 (en) * | 2018-10-25 | 2023-06-13 | Sony Group Corporation | Image processing apparatus and image processing method |
WO2020131037A1 (en) * | 2018-12-18 | 2020-06-25 | Rovi Guides, Inc. | Systems and methods for automated tracking on a handheld device using a remote camera |
CN114764891A (zh) | 2021-09-16 | 2022-07-19 | 杭州天眼智联科技有限公司 | 用于确定物料构成的方法、装置、电子设备和可读介质 |
WO2023248806A1 (ja) * | 2022-06-20 | 2023-12-28 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、及び、記録媒体 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59898A (ja) | 1982-06-28 | 1984-01-06 | 松下電工株式会社 | 高圧放電灯点灯装置 |
JPH0614698B2 (ja) | 1983-05-13 | 1994-02-23 | 株式会社日立製作所 | 自動追尾カメラ |
TW373396B (en) * | 1997-10-30 | 1999-11-01 | Hewlett Packard Co | Automatic digital camera image rotation |
WO2000018121A1 (fr) * | 1998-09-18 | 2000-03-30 | Mitsubishi Denki Kabushiki Kaisha | Systeme de commande de camera |
JP2001268425A (ja) | 2000-03-16 | 2001-09-28 | Fuji Photo Optical Co Ltd | 自動追尾装置 |
US6661450B2 (en) * | 1999-12-03 | 2003-12-09 | Fuji Photo Optical Co., Ltd. | Automatic following device |
JP2001245278A (ja) * | 2000-02-28 | 2001-09-07 | Ty Assist:Kk | 監視装置及び方法 |
US6516154B1 (en) * | 2001-07-17 | 2003-02-04 | Eastman Kodak Company | Image revising camera and method |
JP2004151523A (ja) * | 2002-10-31 | 2004-05-27 | Mitsubishi Electric Corp | 地図データ更新装置 |
US20040207743A1 (en) * | 2003-04-15 | 2004-10-21 | Nikon Corporation | Digital camera system |
JP2004343315A (ja) | 2003-05-14 | 2004-12-02 | Sony Corp | 撮像装置 |
JP4403364B2 (ja) * | 2003-05-27 | 2010-01-27 | ソニー株式会社 | 情報記録制御装置および情報記録制御方法、記録媒体、並びにプログラム |
US7317815B2 (en) * | 2003-06-26 | 2008-01-08 | Fotonation Vision Limited | Digital image processing composition using face detection information |
US7453506B2 (en) * | 2003-08-25 | 2008-11-18 | Fujifilm Corporation | Digital camera having a specified portion preview section |
US7349020B2 (en) * | 2003-10-27 | 2008-03-25 | Hewlett-Packard Development Company, L.P. | System and method for displaying an image composition template |
JP4489608B2 (ja) * | 2004-03-31 | 2010-06-23 | 富士フイルム株式会社 | ディジタル・スチル・カメラ,画像再生装置および顔画像表示装置ならびにそれらの制御方法 |
US8289399B2 (en) * | 2004-08-09 | 2012-10-16 | Hewlett-Packard Development Company, L.P. | System and method for image capture device |
JP2006140695A (ja) * | 2004-11-11 | 2006-06-01 | Konica Minolta Photo Imaging Inc | 撮像装置 |
JP4623368B2 (ja) * | 2005-03-16 | 2011-02-02 | ソニー株式会社 | 移動物体検出装置、移動物体検出方法及びプログラム |
JP4779610B2 (ja) | 2005-12-02 | 2011-09-28 | オムロン株式会社 | 画像処理装置および方法、並びにプログラム |
JP4457358B2 (ja) * | 2006-05-12 | 2010-04-28 | 富士フイルム株式会社 | 顔検出枠の表示方法、文字情報の表示方法及び撮像装置 |
JP4197019B2 (ja) | 2006-08-02 | 2008-12-17 | ソニー株式会社 | 撮像装置および表情評価装置 |
JP4940820B2 (ja) * | 2006-08-09 | 2012-05-30 | パナソニック株式会社 | ネットワークカメラ |
JP2008071721A (ja) | 2006-09-15 | 2008-03-27 | Furukawa Electric Co Ltd:The | 絶縁電線およびその製造方法 |
US20080166052A1 (en) * | 2007-01-10 | 2008-07-10 | Toshinobu Hatano | Face condition determining device and imaging device |
JP2007179569A (ja) * | 2007-03-09 | 2007-07-12 | Toshiba Corp | 人物認識装置、人物認識方法および通行制御装置 |
US7973848B2 (en) * | 2007-04-02 | 2011-07-05 | Samsung Electronics Co., Ltd. | Method and apparatus for providing composition information in digital image processing device |
CN100514353C (zh) * | 2007-11-26 | 2009-07-15 | 清华大学 | 一种基于人脸生理性运动的活体检测方法及系统 |
-
2008
- 2008-03-19 JP JP2008071721A patent/JP4508257B2/ja not_active Expired - Fee Related
-
2009
- 2009-02-26 KR KR1020090016148A patent/KR20090100242A/ko not_active Application Discontinuation
- 2009-03-16 TW TW098108465A patent/TWI398826B/zh not_active IP Right Cessation
- 2009-03-18 EP EP09155492A patent/EP2104336A3/en not_active Withdrawn
- 2009-03-18 US US12/381,982 patent/US8810673B2/en active Active
- 2009-03-19 CN CN2009101288689A patent/CN101540844B/zh not_active Expired - Fee Related
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103916623B (zh) * | 2013-01-02 | 2019-10-25 | 三星电子株式会社 | 显示设备及其视频通话的方法 |
CN103916623A (zh) * | 2013-01-02 | 2014-07-09 | 三星电子株式会社 | 显示设备及其视频通话的方法 |
CN104655288A (zh) * | 2013-11-25 | 2015-05-27 | 杭州美盛红外光电技术有限公司 | 热像检测装置和热像检测方法 |
US10776754B2 (en) | 2014-11-26 | 2020-09-15 | Adobe Inc. | Content creation, deployment collaboration, and subsequent marketing activities |
US11087282B2 (en) | 2014-11-26 | 2021-08-10 | Adobe Inc. | Content creation, deployment collaboration, and channel dependent content selection |
US11004036B2 (en) | 2014-11-26 | 2021-05-11 | Adobe Inc. | Content creation, deployment collaboration, and tracking exposure |
CN105654332A (zh) * | 2014-11-26 | 2016-06-08 | 奥多比公司 | 内容创建、部署合作以及随后的销售活动 |
US10936996B2 (en) | 2014-11-26 | 2021-03-02 | Adobe Inc. | Content creation, deployment collaboration, activity stream, and task management |
US10929812B2 (en) | 2014-11-26 | 2021-02-23 | Adobe Inc. | Content creation, deployment collaboration, and subsequent marketing activities |
CN105323491A (zh) * | 2015-11-27 | 2016-02-10 | 小米科技有限责任公司 | 图像拍摄方法及装置 |
CN105323491B (zh) * | 2015-11-27 | 2019-04-23 | 小米科技有限责任公司 | 图像拍摄方法及装置 |
CN107800956A (zh) * | 2016-08-30 | 2018-03-13 | 佳能株式会社 | 摄像设备、控制方法和存储介质 |
CN107800956B (zh) * | 2016-08-30 | 2020-11-13 | 佳能株式会社 | 摄像设备、控制方法和存储介质 |
CN106973224A (zh) * | 2017-03-09 | 2017-07-21 | 广东欧珀移动通信有限公司 | 辅助构图的控制方法、控制装置及电子装置 |
CN106973224B (zh) * | 2017-03-09 | 2020-08-07 | Oppo广东移动通信有限公司 | 辅助构图的控制方法、控制装置及电子装置 |
CN109963068A (zh) * | 2017-12-25 | 2019-07-02 | 深圳市优必选科技有限公司 | 一种图像处理方法、系统及终端设备 |
CN108307120B (zh) * | 2018-05-11 | 2020-07-17 | 阿里巴巴(中国)有限公司 | 图像拍摄方法、装置及电子终端 |
CN108307120A (zh) * | 2018-05-11 | 2018-07-20 | 优视科技有限公司 | 图像拍摄方法、装置及电子终端 |
CN110248104B (zh) * | 2019-07-22 | 2021-03-19 | 联想(北京)有限公司 | 一种图像处理方法、装置及电子设备 |
CN110248104A (zh) * | 2019-07-22 | 2019-09-17 | 联想(北京)有限公司 | 一种图像处理方法、装置及电子设备 |
CN111263063A (zh) * | 2020-02-17 | 2020-06-09 | 深圳传音控股股份有限公司 | 拍摄图像的方法、装置及设备 |
CN111327829A (zh) * | 2020-03-09 | 2020-06-23 | Oppo广东移动通信有限公司 | 构图指导方法、装置、电子设备及存储介质 |
CN111327829B (zh) * | 2020-03-09 | 2021-12-17 | Oppo广东移动通信有限公司 | 构图指导方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20090256925A1 (en) | 2009-10-15 |
TWI398826B (zh) | 2013-06-11 |
CN101540844B (zh) | 2011-12-14 |
US8810673B2 (en) | 2014-08-19 |
EP2104336A2 (en) | 2009-09-23 |
EP2104336A3 (en) | 2010-04-28 |
JP4508257B2 (ja) | 2010-07-21 |
TW200947356A (en) | 2009-11-16 |
KR20090100242A (ko) | 2009-09-23 |
JP2009231922A (ja) | 2009-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101540844B (zh) | 构图确定设备和构图确定方法 | |
CN101567973B (zh) | 构图确定装置以及构图确定方法 | |
US10419672B2 (en) | Methods and apparatus for supporting burst modes of camera operation | |
US10516834B2 (en) | Methods and apparatus for facilitating selective blurring of one or more image portions | |
CN101616261B (zh) | 图像记录设备和方法、图像处理设备和方法 | |
CN101415077B (zh) | 构图判定设备和构图判定方法 | |
JP2008537380A5 (zh) | ||
CN107105157A (zh) | 从手持设备所捕获的多个图像进行肖像图像合成 | |
CN104038690A (zh) | 图像处理装置、图像拍摄装置及图像处理方法 | |
CN102572492B (zh) | 图像处理设备和方法 | |
JP2011176386A (ja) | 撮像装置、画像表示装置及び画像表示プログラム | |
CN103369244A (zh) | 图像合成设备、图像合成方法 | |
JP4872396B2 (ja) | 画像編集装置、画像編集方法および画像編集プログラム | |
CN103200359A (zh) | 信息处理设备、信息处理方法和程序 | |
JP5440588B2 (ja) | 構図判定装置、構図判定方法、プログラム | |
JP7324066B2 (ja) | 画像処理装置およびその制御方法、ならびに撮像装置 | |
JP3338861B2 (ja) | 三次元環境計測カメラ | |
JP5343823B2 (ja) | メモ情報管理システム、メモ情報処理装置及びプログラム | |
JP2023049772A (ja) | 画像処理装置および画像処理方法 | |
JP2009146012A (ja) | 三次元形状表示記録装置 | |
JPH09293121A (ja) | 文字画像撮影装置 | |
JP2016021675A (ja) | 表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20111214 |
|
CF01 | Termination of patent right due to non-payment of annual fee |