CN103581543A - 拍摄装置、拍摄控制方法、和眼球识别装置 - Google Patents
拍摄装置、拍摄控制方法、和眼球识别装置 Download PDFInfo
- Publication number
- CN103581543A CN103581543A CN201310299681.1A CN201310299681A CN103581543A CN 103581543 A CN103581543 A CN 103581543A CN 201310299681 A CN201310299681 A CN 201310299681A CN 103581543 A CN103581543 A CN 103581543A
- Authority
- CN
- China
- Prior art keywords
- filming apparatus
- facial zone
- image
- detected
- filming
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 210000005252 bulbus oculi Anatomy 0.000 title claims description 48
- 230000001815 facial effect Effects 0.000 claims abstract description 111
- 238000013507 mapping Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 9
- 230000005855 radiation Effects 0.000 claims description 8
- 238000003909 pattern recognition Methods 0.000 claims description 6
- 230000001276 controlling effect Effects 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000001143 conditioned effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000010332 selective attention Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种拍摄控制方法。所述拍摄控制方法包括:捕捉对象的图像;从所捕捉的对象的图像内检测面部区域;基于所检测的面部区域的位置调节拍摄装置的位置;以及调节拍摄装置的变焦状态从而所检测的面部区域的尺寸落入预定尺寸范围内。
Description
相关申请的交叉引用
本申请要求于2012年7月18日在韩国专利局提交的韩国专利申请第10-2012-0078376号的优先权,其公开通过整体引用结合于此。
技术领域
与示范性实施例一致的方法和装置涉及拍摄装置、拍摄控制方法、和图像识别装置,更具体地,涉及被配置为从对象的图像内识别眼球的拍摄装置、拍摄控制方法、和图像识别装置。
背景技术
随着数字技术持续发展,与分析图像信息和将图像划分为特定区域或特定部分有关的技术正在发展。在这些分析技术中,面部识别技术正被整合到安全装置以及数码相机中,并且正以各种方式被推进。
一般来说,面部识别技术的目标是确定人脸是否存在于特定的图像内,以及,如果存在至少一张脸,找到图像中的每个人的脸并且显示脸的位置。这样的面部识别技术可以用在以下各种系统中的一个或多个中:可以结合刑事侦查来使用的大头照匹配系统、使用与面部识别有关的信息的搜索系统、和面向对象的编码系统。
为了进一步推进这样的面部识别技术,正在积极开展与用于识别人的眼球的方法有关的研究,以达到实现检测人的眼球的移动的接口和/或使用虹膜的个人识别系统的目的。
然而,眼球检测的准确性是关于这样的眼球识别方法的最重要的问题。
因此,存在提高关于检测对象的眼球的方法的眼球检测的准确性的需求。
发明内容
一个或多个示范性实施例可以克服以上缺点和以上没有描述的其它缺点。然而,将理解,一个或多个示范性实施例并不被要求克服上述缺点,并且可以不克服上述的任何问题。
一个或多个示范性实施例提供能够从移动对象检测面部区域和/或眼球区域的拍摄装置、拍摄控制方法、和图像识别装置。
根据示范性实施例的一个方面,提供了拍摄装置的拍摄控制方法,该方法包括:捕捉对象的图像;从所捕捉的对象的图像内检测面部区域;并基于所检测的面部区域的位置调节拍摄装置的位置;以及调节拍摄装置的变焦状态以便所检测的面部区域的尺寸落入预定尺寸范围内。
捕捉图像可以包括:向对象发射红外辐射;接收从对象反射的红外能量;通过使用所接收的反射的红外能量检测对象;以及自动追踪所检测的对象。
预定尺寸范围可以包括在被配置为检测对象的眼球区域的图像捕捉区域上捕捉的对象的检测的面部区域的尺寸。
拍摄控制方法还可以包括将所检测的面部区域的位置映射到对象所位于的三维(3D)坐标系统的x-y平面上。
调节拍摄装置的位置可以包括:基于x轴坐标的范围绕y轴旋转拍摄装置,x轴坐标的范围包括在所检测的面部区域的映射的位置内;和基于y轴坐标的范围绕x轴倾斜拍摄装置,y轴坐标的范围包括在所检测的面部区域的映射的位置内。调节拍摄装置的变焦状态可以包括:如果所检测的面部区域的尺寸小于预定尺寸范围的最小值,则执行拉近操作,并且如果所检测的面部区域的尺寸大于预定尺寸范围的最大值,则执行拉远操作。
拍摄控制方法还可以包括从所检测的面部区域内检测眼球区域。
根据另一个示范性实施例的一个方面,提供了一种拍摄装置,包括:图像捕捉设备,其捕捉对象的图像;位置调节器,其调节拍摄装置的位置;变焦调节器,其调节拍摄装置的变焦状态;图像处理器,其从所捕捉的对象的图像内检测面部区域;和控制器,该控制器控制位置调节器基于所检测的面部区域的位置调节拍摄装置的位置,并且该控制器控制变焦调节器调节拍摄装置的变焦状态从而所检测的面部区域的尺寸落入预定尺寸范围内。
拍摄装置还可以包括:红外发射器,其向对象发射红外辐射;和红外接收器,其接收从对象反射的红外能量,并且图像处理器可以通过使用所接收的反射的红外能量检测对象,而控制器可以控制拍摄装置自动追踪所检测的对象。
预定尺寸范围可以包括在被配置为检测对象的眼球区域的图像捕捉区域上捕捉的对象的检测的面部区域的尺寸。
控制器可以将所检测的面部区域的位置映射到对象所位于的三维(3D)坐标系统的x-y平面上。
控制器可以控制位置调节器基于x轴坐标的范围绕y轴旋转拍摄装置,x轴坐标的范围包括在所检测的面部区域的映射的位置内,以及基于y轴坐标的范围绕x轴倾斜拍摄装置,y轴坐标的范围包括在所检测的面部区域的映射的位置内。并且,如果所检测的面部区域的尺寸小于预定尺寸范围的最小值,则控制器可以控制变焦调节器执行拉近操作,并且如果所检测的面部区域的尺寸大于预定尺寸范围的最大值,则控制器可以控制变焦调节器执行拉远操作。
控制器可以控制图像处理器从所检测的面部区域内检测眼球区域。
根据又一个示范性实施例的一个方面,提供了图像识别装置,包括:显示装置,其显示屏幕;拍摄装置,其布置在显示装置的区域上;和控制器,其控制显示装置和拍摄装置。拍摄装置可以包括:图像捕捉设备,其捕捉对象的图像;位置调节器,其调节拍摄装置的位置;变焦调节器,其调节拍摄装置的变焦状态;和图像处理器,其从所捕捉的对象的图像内检测面部区域。控制器可以控制位置调节器基于所检测的面部区域的位置调节拍摄装置的位置,并且可以控制变焦调节器调节拍摄装置的变焦状态从而所检测的面部区域的尺寸落入预定尺寸范围内。
控制器可以通过使用从所检测的面部区域内检测的眼球区域来控制显示装置的操作。
根据又一个示范性实施例的一个方面,提供了其中记录了用于执行拍摄控制方法的程序代码的非临时计算机可读记录介质,所述程序代码可以通过使用拍摄装置来运行,所述拍摄控制方法包括:捕捉对象的图像;从所捕捉的对象的图像内检测面部区域;和基于所检测的面部区域的位置调节拍摄装置的位置;以及调节拍摄装置的变焦状态从而所检测的面部区域的尺寸落入预定尺寸范围内。
根据上述的各种示范性实施例,拍摄装置的位置基于从所捕捉的对象的图像内检测的面部区域的位置被调节,并且拍摄装置的变焦状态被调节从而所检测的面部区域的尺寸落入预定尺寸范围内。因此,能够容易地从移动的对象检测到面部区域/眼球区域。
附图说明
通过参考附图详细描述示范性实施例,上述和/或其它方面将更加清楚,其中:
图1是示出根据示范性实施例的拍摄装置的框图;
图2是详细示出图1中的拍摄装置的框图;
图3是根据示范性实施例的拍摄装置的前视图;
图4是示出根据示范性实施例的眼球识别装置的框图;
图5和图6是示出根据示范性实施例的拍摄控制方法的视图;
图7(a)-7(d)是示出根据示范性实施例的与眼球识别有关的操作的视图;以及
图8是示出根据示范性实施例的拍摄控制方法的流程图。
具体实施方式
以下,将参考附图更加详细地描述示范性实施例。
在下面的描述中,当相同的参考标号被描绘在不同的附图中时,它们是用于相同的元素。描述中定义的主题,诸如详细的结构和元素,被提供来帮助对示范性实施例的全面理解。因此,很清楚的是,无需那些特别定义的主题也能够实践示范性实施例。此外,相关领域中熟知的功能或元素没有详细描述,因为它们可能以不必要的细节模糊示范性实施例。
图1是示出根据示范性实施例的拍摄装置的框图。图2是详细示出图1中的拍摄装置的框图。参考图1和图2,拍摄装置100全部地或部分地包括图像捕捉设备110、镜头111、图像处理器120、位置调节器130、变焦调节器140、控制器150、红外(IR)照相机160、总线170、编码器/解码器(编解码器)180、存储器185、和图像输出单元190。IR照相机160可以包括IR发射器161和IR接收器162。
拍摄装置100可以包括,例如,云台变焦(PTZ)照相机,所述云台变焦照相机能够按水平方向旋转(即,绕垂直轴旋转),能够按垂直方向倾斜(即,关于水平轴倾斜),而且能够执行变焦操作。
镜头111从物体收集光,并且将光学图像对焦在图像捕捉区域上。
图像捕捉设备110将经由镜头111对焦在图像捕捉区域上的光学图像作为模拟图像信号输出,并且将模拟图像信号转换为数字图像信号并且输出数字图像信号。
执行这样的操作的图像捕捉设备110可以包括至少一个像素(pixel)和模数(A/D)转换器。每个像素输出模拟图像信号,并且A/D转换器将模拟图像信号转换为数字图像信号并且输出数字图像信号。
图像捕捉设备110的每个像素可以通过使用互补金属氧化物半导体(CMOS)光学传感器和电荷耦合器件(CCD)光学传感器中的至少一个来实现。这样的像素被收集,从而构成图像捕捉区域。包括在图像捕捉设备110的图像捕捉区域中的每个像素可以通过使用卷帘快门方法和全局快门方法中的至少一个来读出光学图像。在全局快门方法中,图像捕捉区域的全部像素同时读出光学图像。相反地,在卷帘快门方法中,一个像素或多个像素顺序地读出光学图像。
因此,图像捕捉设备110从对象捕捉图像,并且输出与所捕捉的对象的图像有关的图像信号。
IR发射器161发射IR辐射。具体地,IR发射器161可以向对象所位于的特定区域发射具有特定图样的结构光。
IR接收器161接收从被发射IR辐射的特定区域反射的IR能量。具体地,如果具有特定图样的结构光被投射到对象的表面上,则特定的图样可能因为对象的表面上的弯曲而失真(distorted),并且因此,IR接收器162可以接收失真的反射红外能量。
这里陈述的对象可以包括将被追踪的人。
总线170可以使得由图像捕捉元件生成的图像信号能够传播到图像处理器120。总线170可以使得由图像捕捉元件生成的图像信号能够传播到缓冲器175。总线170可以包括与输出图像信号一致的多个通道。
缓冲器175可以暂时存储由图像捕捉元件生成的图像信号。缓冲器175可以重新排列暂时被顺序存储的图像信号,并且可以将重新排列的图像信号传送到图像处理器120。
图像处理器120可以针对从图像捕捉设备110和/或从缓冲器175接收的图像信号执行至少一个信号处理功能,并且可以将所处理的图像信号输出到图像输出单元190以便显示所拍摄的图像。另外,图像处理器120可以将所处理的图像信号输出到编解码器180以便存储所拍摄的图像。
具体地,图像处理器120可以针对从图像捕捉设备110接收的图像信号执行数码变焦、自动白平衡(AWB)、自动对焦(AF)、和自动曝光(AE)中的至少一个功能,以便转换格式和调节图像比例,然后图像处理器120可以将图像信号输出到图像输出单元190和编解码器180中的至少一个。
图像处理器120可以通过使用经由IR接收器162接收的反射红外能量检测对象。具体地,图像处理器120将经由IR接收器162接收的、具有失真的特定图样的反射红外能量与具有预定的特定图样的发射红外辐射作比较,并且使用比较结果计算与每个像素的相应距离。图像处理器120可以通过使用至少一个计算的距离生成与特定区域有关的深度图像。与特定区域有关的深度图像可以包括与对象有关的深度图像。另外,图像处理器120可以基于深度图像生成与对象有关的骨架(skeletonized)图像。
具体地,图像处理器120可以基于深度图像和骨架图像中的至少一个检测对象。更具体地,图像处理器120可以通过将所生成的深度图像和骨架图像中的至少一个与预先存储的深度图像和预先存储的骨架图像中的至少一个作比较来检测对象。
图像处理器120可以通过使用由图像捕捉设备110捕捉的图像来检测对象,而无需使用深度图像。具体地,图像处理器120可以通过将构成所捕捉的图像的当前帧的当前像素值与构成前一帧的像素值作比较来检测要追踪的对象。另外,图像处理器120可以通过经由图像处理将背景从所捕捉的当前帧移除来检测对象。
如果如以上描述检测到对象,则控制器150可以控制位置调节器130和变焦调节器140中的至少一个来自动追踪所检测的对象,从而捕捉对象的图像。
图像处理器120可以从所捕捉的对象图像内检测对象的面部区域。具体地,图像处理器120可以通过使用生物动机的选择性注意模型来检测面部候选区域。更具体的,图像处理器120可以生成与所捕捉的图像有关的显著示图(map),并且可以通过使用所生成的显著示图来检测面部候选区域。生物动机的选择性注意模型是对人类关键结构和选择的身体过程建模的模型,并且这个模型可以被划分为立即对输入的图像作出反应的数据驱动处理方面和使用了解的信息的概念驱动处理方面。因为数据驱动处理方面和概念驱动处理方面是熟知的,因此将省略其详细描述。图像处理器120可以通过将Viola-Jones算法、Haar特征方法、或Adaboost算法应用在所检测的面部候选区域来检测面部区域。每个方法和算法都是熟知的,因此将省略其详细描述。
图像处理器120组合由图像捕捉设备110捕捉的图像和由IR照相机160生成的深度图像,从而生成3维(3D)图像。在这种情况下,图像处理器120可以通过使用上述方法和算法中的至少一个从3D图像内检测对象的面部区域。
图像处理器120可以从由图像捕捉设备110捕捉的面部区域内检测眼球区域。例如,图像处理器120可以从所捕捉的面部区域内确定与预先存储的眼球区域信息具有最高相关度的区域为眼球区域。然而,这不应被理解为限制性的,并且图像处理器120可以通过使用各种熟知的眼球检测方法中的任何一个或多个来检测眼球区域。
编解码器180可以对从图像处理器120接收的图像信号进行编码。编解码器180可以将编码的图像信号传送到存储器185。另外,编解码器180可以对被编码并存储在存储器185中的图像信号进行解码。编解码器180可以将解码的图像信号传送到图像处理器120。
存储器185可以用压缩格式存储由图像捕捉设备110捕捉的图像。存储器185可以包括,例如,快闪存储器、硬盘、和数字通用光盘(DVD)中的至少一个。
图像输出单元190可以将从图像处理器120接收的图像信号输出到内部显示装置或输出到外部输出终端。
位置调节器130可以调节拍摄装置100的位置。具体地,位置调节器130按水平方向绕垂直轴旋转拍摄装置100,从而调节水平位置和/或横向角度,以及按垂直方向绕水平轴倾斜拍摄装置100,从而调节垂直位置和/或倾斜角度。位置调节器130可以通过诸如,例如,直流(DC)电机、交流(AC)电机、伺服电机、步进电机、或无刷DC(BLDC)电机的各种电机中的至少一个来实现。
变焦调节器140可以调节拍摄装置100的变焦状态。具体地,变焦调节器140可以通过引起拍摄装置100拉近或拉远来调节变焦比。
控制器150控制拍摄装置100的总体操作。具体地,控制器150可以全部地或部分地控制图像捕捉设备110、镜头111、图像处理器120、位置调节器130、变焦调节器140、IR照相机160、总线170、编解码器180、存储器185、和图像输出单元190中的全部或每一个。
具体地,控制器150可以控制位置调节器130和变焦调节器140中的至少一个自动地追踪所检测的对象并且捕捉对象的图像。更具体地,如果所检测的对象被移动,则控制器150可以控制位置调节器130基于对象移动的方向旋转或倾斜拍摄装置100。另外,如果所检测的对象离拍摄装置100较远并且因而由图像捕捉设备110捕捉的对象的图像小于预定尺寸范围的最小值,则控制器150控制变焦调节器140执行拉近操作,并且,如果由图像捕捉设备110捕捉的对象的图像大于预定尺寸范围的最大值,则控制器150控制变焦调节器140执行拉远操作。因此,拍摄装置100可以自动追踪对象并且捕捉对象的图像。
另外,控制器150可以控制位置调节器130基于从所捕捉的对象的图像内检测的面部区域的位置调节拍摄装置100的位置,并且可以控制变焦调节器140调节拍摄装置100的变焦状态从而所检测的面部区域的尺寸落入预定尺寸范围内。
具体地,控制器150将所检测的面部区域的位置映射到对象所位于的三维(3D)坐标系统的x-y平面上。更具体地,控制器150可以关于原点,将从包括所捕捉的对象的图像内检测的面部区域所位于的二维(2D)坐标(x,y)映射到对象所位于的3D坐标系统上的面部区域的坐标(X,Y),所述原点是拍摄装置100的位置。坐标x、y分别指代图像平面上的水平坐标值和垂直坐标值,而X、Y分别指代对象所位于的3D坐标系统上的水平坐标值和垂直坐标值。
在这种情况下,控制器150可以控制位置调节器130基于所检测的面部区域的映射位置的水平坐标(X)的范围按水平方向,即绕垂直轴旋转拍摄装置,并且基于所检测的面部区域的映射位置的垂直坐标(Y)的范围按垂直方向,即绕水平轴倾斜拍摄装置。
控制器150可以基于旋转和倾斜和预定尺寸范围比较所捕捉的对象的面部区域的尺寸。预定尺寸范围是指为了检测对象的眼球区域而应该被捕捉在图像捕捉区域上的对象的面部区域的尺寸。预定尺寸范围包括第一尺寸值和第二尺寸值。第一尺寸值是指为了检测对象的眼球区域而应该在图像捕捉区域上被捕捉的对象的面部区域的最小的尺寸,而第二尺寸值是指为了检测对象的眼球区域而应该在图像捕捉区域上被捕捉的对象的面部区域的最大的尺寸。
图6是示出根据示范性实施例的预定尺寸范围的视图。具体地,为了识别对象的眼球,在图像捕捉区域上捕捉的面部区域的尺寸应该始终落入预定尺寸范围内。如果拍摄装置100如图6的(a)所示拍摄对象,则拍摄装置100可以检测对象的面部区域。在这种情况下,控制器150基于对象的面部区域调节拍摄装置的横向旋转、倾斜、和变焦状态,从而在图像捕捉区域上捕捉的面部区域的尺寸始终落入如图6的(b)中所示的预定尺寸范围内。
如果在图像捕捉区域上捕捉的面部区域的尺寸小于预定的第一尺寸(即,预定尺寸范围内的最小的尺寸值),则控制器150控制变焦调节器140执行拉近操作,并且,如果在图像捕捉区域上捕捉的面部区域的尺寸超过预定的第二尺寸(即,预定尺寸范围内的最大的尺寸值),则控制器控制变焦调节器140执行拉远操作。
如果拍摄装置100包括IR照相机160,则控制器150可以通过分析深度图像计算拍摄装置100与对象之间的距离。具体地,控制器150可以关于原点,将从所捕捉的包括对象的图像内检测的面部区域所位于的2D坐标(x,y)映射到对象所位于的3D坐标系统上的面部区域的坐标(X,Y,Z),所述原点是拍摄装置100的位置。Z坐标是指在3D坐标系统中从拍摄装置100的位置到对象的距离。
具体地,控制器150可以控制位置调节器基于面部区域的映射位置的水平坐标(X)的范围按水平方向,即绕垂直轴旋转拍摄装置,并且基于面部区域的映射位置的垂直坐标(Y)的范围按垂直方向,即绕水平轴倾斜拍摄装置。另外,控制器150可以控制变焦调节器140基于映射在3D坐标系统上的从拍摄装置100到对象的面部区域的距离(Z)控制拍摄装置的变焦状态。具体地,为了让在图像捕捉区域上捕捉的面部区域的尺寸落入预定尺寸范围内,控制器150可以控制变焦调节器140通过使用拍摄装置100的变焦比来控制拍摄装置的变焦状态,其中拍摄装置100的变焦比是基于从拍摄装置100到对象的面部区域的距离(Z)确定的。
另外,即使对象被移动,控制器150可以通过重复上述操作来控制位置调节器130和变焦调节器140中的至少一个,从而在图像捕捉区域上捕捉的面部区域的尺寸始终落入预定尺寸范围内。
根据上述的各种示范性实施例,通过控制在图像捕捉区域上捕捉的面部区域的尺寸始终落入预定尺寸范围内,可以容易地识别对象的眼球。
控制器150可以控制图像处理器120从在已经对其自身的位置和变焦状态进行了调整的拍摄装置的图像捕捉区域上捕捉的面部区域内检测眼球区域。具体地,控制器150可以通过使用所检测的眼球区域的移动和与所检测的眼球区域有关的虹膜信息来控制连接到拍摄装置100的外部装置的操作。
虽然在图1和图2中图像处理器120是与控制器150分开的元件,在示范性实施例中,控制器150可以被配置为执行图像处理器120的上述功能。
图3是根据示范性实施例的拍摄装置的前视图。参考图3,拍摄装置100可以包括图像捕捉设备110和IR照相机160,所述IR照相机160包括IR发射器161和IR接收器162。图像捕捉设备110可以用来获取与对象有关的彩色图像。另外,IR照相机160可以用来获取与对象有关的深度图像。如图3中所示,拍摄装置100可以包括图像捕捉设备110和IR照相机160全部两个。然而,这个配置不应该被理解为限制性的,并且,依照各种环境,拍摄装置100可以不包括IR照相机160。另外,拍摄装置100可以在控制器150的控制下,按水平方向,即绕垂直轴旋转,如附图的底部所示,或者可以按垂直方向,即绕水平轴倾斜,如附图的右侧部分所示。
图4是示出根据示范性实施例的眼球识别装置的框图。图5是示出根据示范性实施例的拍摄控制方法的视图。参考图4和图5,眼球识别装置1000全部地或部分地包括拍摄装置100、显示装置200、和控制器150。
拍摄装置100拍摄对象。具体地,拍摄装置100可以自动追踪对象,并且如果对象被移动可以拍摄对象。另外,拍摄装置100可以拍摄对象以使得在图像捕捉区域上捕捉的面部区域的尺寸落入预定尺寸范围内。
显示装置200显示屏幕。显示装置200可以通过液晶显示器(LCD)、薄膜晶体管-液晶显示器、有机发光二极管(OLED)显示器、柔性显示器、3D显示器、和透明显示器中的至少一个来实现。
控制器150控制眼球识别装置1000的总体操作。具体地,控制器150可以全部地或部分地控制拍摄装置100和显示装置200。
具体地,控制器150可以通过使用所检测的眼球区域的移动和与所检测的眼球区域有关的虹膜信息来控制连接到拍摄装置100的显示装置200的操作。这将在下面参考图7详细描述。
图7是示出根据示范性实施例的与眼球识别有关的操作的视图。如图7的(a)中所示,控制器150通过使用与所检测的眼球区域有关的虹膜信息来确定显示装置200的用户是否是已注册用户。如果显示装置200的用户是已注册用户,则显示装置200显示如图7的(b)中所示的屏幕。当屏幕显示为如图7的(b)所示时,用户可以按向上、向下、向左、或向右的方向移动他的/她的眼球。具体地,控制器150可以通过使用与所检测的眼球区域有关的移动信息改变显示装置200的频道。例如,显示装置200可以显示改变的频道,即,从频道11到频道12的改变,如图7的(c)中所示。另外,用户可以通过执行与将显示装置200断电对应的预先注册的眼球操作来关闭显示装置200,如图7的(d)所示。
图8是示出根据示范性实施例的拍摄控制方法的流程图。参考图8,在操作S801,拍摄对象。拍摄的操作可以包括:向对象发射红外辐射;接收从对象反射的红外能量;通过使用所接收的反射的红外能量检测与对象有关的信息;以及自动追踪对象并且基于所检测的与对象有关的信息拍摄对象。
在操作S802,从所拍摄的对象的图像检测面部区域。
在操作S803,基于所检测的面部区域的位置调节拍摄装置的位置。然后,在操作S804,调节拍摄装置的变焦状态从而所检测的面部区域的尺寸落入预定尺寸范围内。预定尺寸范围可以包括为了检测对象的眼球区域而应该在图像捕捉区域上捕捉的对象的面部区域的最小的尺寸。
上述拍摄控制方法还可以包括将所检测的面部区域的位置映射到对象所位于的3D坐标系统的x-y平面上。具体地,调节操作可以包括:基于x轴坐标的范围按水平方向,即绕垂直轴旋转拍摄装置,x轴坐标的范围包括在所检测的面部区域的映射的位置内;以及基于y轴坐标的范围按垂直方向,即绕水平轴倾斜拍摄装置,y轴坐标的范围包括在所检测的面部区域的映射的位置内,并且,如果面部区域的尺寸小于预定尺寸范围的最小值,则执行拉近操作,而如果面部区域的尺寸大于预定尺寸范围的最大值,则执行拉远操作。
上述拍摄控制方法还可以包括从由调节的拍摄装置捕捉的图像的检测的面部区域内检测眼球区域。
上述根据各种示范性实施例的拍摄装置的拍摄控制方法可以通过使用程序代码来实现,并且程序代码可以被存储在提供给每个服务器或装置的非临时计算机可读介质中。
非临时计算机可读介质是指半永久性存储数据而不是将数据存储很短的时间、并且可以被装置读取的介质,诸如,例如,寄存器、缓存、和/或存储器。具体地,上述各种应用或程序可以被存储在诸如光盘(CD)、数字通用光盘(DVD)、硬盘、蓝光磁盘、通用串行总线(USB)、存储卡、和/或只读存储器(ROM)之类的非临时计算机可读介质中,并且可以提供上述各种应用或程序。
前述的示范性实施例和优点仅仅是示范性的,并且不应被理解为关于本发明构思进行限制。示范性实施例能够被容易地应用在其它类型的装置。另外,对示范性实施例的描述意图是例示的,而并不意图限制权利要求的范围,并且许多替换、修改、和变化对于本领域技术人员而言是清楚的。
Claims (15)
1.一种拍摄装置的拍摄控制方法,该方法包括:
捕捉对象的图像;
从所捕捉的对象的图像内检测面部区域;以及
基于所检测的面部区域的位置调节拍摄装置的位置,并且调节拍摄装置的变焦状态从而所检测的面部区域的尺寸落入预定尺寸范围内。
2.如权利要求1所述的拍摄控制方法,其中所述捕捉图像包括:
向对象发射红外辐射;
接收从对象反射的红外能量;
通过使用所接收的反射的红外能量检测对象;以及
自动追踪所检测的对象。
3.如权利要求1所述的拍摄控制方法,其中所述预定尺寸范围包括在被配置为检测对象的眼球区域的图像捕捉区域上捕捉的对象的检测的面部区域的尺寸。
4.如权利要求1所述的拍摄控制方法,还包括将所检测的面部区域的位置映射到对象所位于的三维(3D)坐标系统的x-y平面上。
5.如权利要求4所述的拍摄控制方法,其中所述调节拍摄装置的位置包括:
基于x轴坐标的范围绕y轴旋转拍摄装置,x轴坐标的范围包括在所检测的面部区域的映射的位置内;
基于y轴坐标的范围绕x轴倾斜拍摄装置,y轴坐标的范围包括在所检测的面部区域的映射的位置内;以及
如果所检测的面部区域的尺寸小于预定尺寸范围的最小值,则执行拉近操作,并且,如果所检测的面部区域的尺寸大于预定尺寸范围的最大值,则执行拉远操作。
6.如权利要求1到5中的任何一个所述的拍摄控制方法,还包括从所检测的面部区域内检测眼球区域。
7.一种拍摄装置,包括:
图像捕捉设备,其捕捉对象的图像;
位置调节单元,其调节拍摄装置的位置;
变焦调节单元,其调节拍摄装置的变焦状态;
图像处理单元,其从所捕捉的对象的图像内检测面部区域;和
控制器,其控制位置调节单元基于所检测的面部区域的位置调节拍摄装置的位置,并且控制变焦调节单元调节拍摄装置的变焦状态从而所检测的面部区域的尺寸落入预定尺寸范围内。
8.如权利要求7所述的拍摄装置,还包括:
红外发射器,其向对象发射红外辐射;和
红外接收器,其接收从对象反射的红外能量,
其中所述图像处理单元通过使用所接收的反射的红外能量检测对象,而所述控制器控制拍摄装置自动追踪所检测的对象。
9.如权利要求7所述的拍摄装置,其中所述预定尺寸范围包括在被配置为检测对象的眼球区域的图像捕捉区域上捕捉的对象的检测的面部区域的尺寸。
10.如权利要求7所述的拍摄装置,其中所述控制器将所检测的面部区域的位置映射到对象所位于的三维(3D)坐标系统的x-y平面上。
11.如权利要求10所述的拍摄装置,其中所述控制器控制位置调节单元基于x轴坐标的范围绕y轴旋转拍摄装置,x轴坐标的范围包括在所检测的面部区域的映射的位置内,以及基于y轴坐标的范围绕x轴倾斜拍摄装置,y轴坐标的范围包括在所检测的面部区域的映射的位置内,
其中,如果所检测的面部区域的尺寸小于预定尺寸范围的最小值,则所述控制器控制变焦调节单元执行拉近操作,并且,如果所检测的面部区域的尺寸大于预定尺寸范围的最大值,则所述控制器控制变焦调节单元执行拉远操作。
12.如权利要求7到11中的任何一个所述的拍摄装置,其中所述控制器控制图像处理单元从所检测的面部区域内检测眼球区域。
13.一种图像识别装置,包括:
显示装置,其显示屏幕;
拍摄装置,其布置在显示装置的区域上;和
控制器,其控制显示装置和拍摄装置,
其中所述拍摄装置包括:
图像捕捉设备,其捕捉对象的图像;
位置调节单元,其调节拍摄装置的位置;
变焦调节单元,其调节拍摄装置的变焦状态;和
图像处理单元,其从所捕捉的对象的图像内检测面部区域,
其中所述控制器控制位置调节单元基于所检测的面部区域的位置调节拍摄装置的位置,并且控制变焦调节单元调节拍摄装置的变焦状态从而所检测的面部区域的尺寸落入预定尺寸范围内。
14.如权利要求13所述的图像识别装置,其中所述控制器通过使用从所检测的面部区域内检测的眼球区域来控制显示装置的操作。
15.一种其中记录了用于执行拍摄装置的拍摄控制方法的程序代码的记录介质,所述拍摄控制方法包括:
捕捉对象的图像;
从所捕捉的对象的图像内检测面部区域;和
基于所检测的面部区域的位置调节拍摄装置的位置,以及调节拍摄装置的变焦状态从而所检测的面部区域的尺寸落入预定尺寸范围内。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120078376A KR20140011215A (ko) | 2012-07-18 | 2012-07-18 | 촬영 장치, 그의 촬영 제어 방법 및 안구 인식 장치 |
KR10-2012-0078376 | 2012-07-18 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103581543A true CN103581543A (zh) | 2014-02-12 |
Family
ID=48874799
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310299681.1A Pending CN103581543A (zh) | 2012-07-18 | 2013-07-17 | 拍摄装置、拍摄控制方法、和眼球识别装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20140022351A1 (zh) |
EP (1) | EP2688287A3 (zh) |
JP (1) | JP2014023159A (zh) |
KR (1) | KR20140011215A (zh) |
CN (1) | CN103581543A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104023177A (zh) * | 2014-06-04 | 2014-09-03 | 华为技术有限公司 | 摄像机控制方法、装置及摄像机 |
CN105100596A (zh) * | 2014-05-14 | 2015-11-25 | 韩华泰科株式会社 | 相机设备和使用相机设备跟踪对象的方法 |
CN106470310A (zh) * | 2015-08-20 | 2017-03-01 | 宏达国际电子股份有限公司 | 智能型图像提取方法及系统 |
CN107452052A (zh) * | 2017-07-18 | 2017-12-08 | 桂林电子科技大学 | 一种三维建模装置 |
CN107750452A (zh) * | 2015-08-06 | 2018-03-02 | Lg 伊诺特有限公司 | 图像处理装置 |
CN109561249A (zh) * | 2017-09-26 | 2019-04-02 | 北京小米移动软件有限公司 | 调整焦距的方法及装置 |
CN110059678A (zh) * | 2019-04-17 | 2019-07-26 | 上海肇观电子科技有限公司 | 一种检测方法、装置及计算机可读存储介质 |
CN110445982A (zh) * | 2019-08-16 | 2019-11-12 | 深圳特蓝图科技有限公司 | 一种基于六自由度设备的追踪拍摄方法 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015142181A (ja) * | 2014-01-27 | 2015-08-03 | キヤノン株式会社 | 制御装置、制御方法 |
JP6381313B2 (ja) * | 2014-06-20 | 2018-08-29 | キヤノン株式会社 | 制御装置、制御方法、およびプログラム |
KR101434878B1 (ko) * | 2014-06-30 | 2014-09-02 | 주식회사 하나씨엔에스 | 감시카메라 시스템 |
KR102223281B1 (ko) | 2014-07-23 | 2021-03-05 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
JP7059934B2 (ja) * | 2016-10-17 | 2022-04-26 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN107633398A (zh) | 2017-08-24 | 2018-01-26 | 阿里巴巴集团控股有限公司 | 图像显示方法及装置和电子设备 |
CN113099103A (zh) * | 2020-01-09 | 2021-07-09 | 上海博泰悦臻电子设备制造有限公司 | 用于采集图像的方法、电子设备和计算机存储介质 |
KR20220122317A (ko) | 2021-02-26 | 2022-09-02 | 삼성전자주식회사 | 오토 줌 및 오토 포커스를 수행하는 이미지 시그널 프로세서, 이미지 시그널 프로세서의 이미지 프로세싱 방법 및 이미지 프로세싱 시스템 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101854482A (zh) * | 2009-03-11 | 2010-10-06 | 索尼公司 | 图像拾取装置、图像拾取装置的控制方法及其程序 |
CN102057665A (zh) * | 2009-05-07 | 2011-05-11 | 松下电器产业株式会社 | 电子照相机、图象处理装置及图象处理方法 |
US20110274316A1 (en) * | 2010-05-07 | 2011-11-10 | Samsung Electronics Co., Ltd. | Method and apparatus for recognizing location of user |
US20120133754A1 (en) * | 2010-11-26 | 2012-05-31 | Dongguk University Industry-Academic Cooperation Foundation | Gaze tracking system and method for controlling internet protocol tv at a distance |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050017754A (ko) * | 2003-08-08 | 2005-02-23 | 삼성테크윈 주식회사 | 홍채 인식 장치 및, 홍채 인식 방법 |
-
2012
- 2012-07-18 KR KR1020120078376A patent/KR20140011215A/ko not_active Application Discontinuation
-
2013
- 2013-07-17 CN CN201310299681.1A patent/CN103581543A/zh active Pending
- 2013-07-18 EP EP13176996.0A patent/EP2688287A3/en not_active Withdrawn
- 2013-07-18 JP JP2013149091A patent/JP2014023159A/ja not_active Withdrawn
- 2013-07-18 US US13/945,151 patent/US20140022351A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101854482A (zh) * | 2009-03-11 | 2010-10-06 | 索尼公司 | 图像拾取装置、图像拾取装置的控制方法及其程序 |
CN102057665A (zh) * | 2009-05-07 | 2011-05-11 | 松下电器产业株式会社 | 电子照相机、图象处理装置及图象处理方法 |
US20110274316A1 (en) * | 2010-05-07 | 2011-11-10 | Samsung Electronics Co., Ltd. | Method and apparatus for recognizing location of user |
US20120133754A1 (en) * | 2010-11-26 | 2012-05-31 | Dongguk University Industry-Academic Cooperation Foundation | Gaze tracking system and method for controlling internet protocol tv at a distance |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105100596A (zh) * | 2014-05-14 | 2015-11-25 | 韩华泰科株式会社 | 相机设备和使用相机设备跟踪对象的方法 |
US10334150B2 (en) | 2014-05-14 | 2019-06-25 | Hanwha Aerospace Co., Ltd. | Camera system and method of tracking object using the same |
CN105100596B (zh) * | 2014-05-14 | 2019-08-20 | 韩华泰科株式会社 | 相机设备和使用相机设备跟踪对象的方法 |
CN104023177A (zh) * | 2014-06-04 | 2014-09-03 | 华为技术有限公司 | 摄像机控制方法、装置及摄像机 |
WO2015184978A1 (zh) * | 2014-06-04 | 2015-12-10 | 华为技术有限公司 | 摄像机控制方法、装置及摄像机 |
CN107750452A (zh) * | 2015-08-06 | 2018-03-02 | Lg 伊诺特有限公司 | 图像处理装置 |
CN106470310A (zh) * | 2015-08-20 | 2017-03-01 | 宏达国际电子股份有限公司 | 智能型图像提取方法及系统 |
CN107452052A (zh) * | 2017-07-18 | 2017-12-08 | 桂林电子科技大学 | 一种三维建模装置 |
CN109561249A (zh) * | 2017-09-26 | 2019-04-02 | 北京小米移动软件有限公司 | 调整焦距的方法及装置 |
CN110059678A (zh) * | 2019-04-17 | 2019-07-26 | 上海肇观电子科技有限公司 | 一种检测方法、装置及计算机可读存储介质 |
CN110445982A (zh) * | 2019-08-16 | 2019-11-12 | 深圳特蓝图科技有限公司 | 一种基于六自由度设备的追踪拍摄方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2688287A3 (en) | 2014-10-29 |
US20140022351A1 (en) | 2014-01-23 |
JP2014023159A (ja) | 2014-02-03 |
EP2688287A2 (en) | 2014-01-22 |
KR20140011215A (ko) | 2014-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103581543A (zh) | 拍摄装置、拍摄控制方法、和眼球识别装置 | |
US20210365707A1 (en) | Maintaining fixed sizes for target objects in frames | |
CN102761706B (zh) | 成像设备和成像方法 | |
CN107087107B (zh) | 基于双摄像头的图像处理装置及方法 | |
CN107209007B (zh) | 以深度估计进行图像采集的方法、设备、配件、系统 | |
JP5206095B2 (ja) | 構図判定装置、構図判定方法、プログラム | |
US9456141B2 (en) | Light-field based autofocus | |
US11153483B2 (en) | Shelf-viewing camera with multiple focus depths | |
CN110248097B (zh) | 追焦方法、装置、终端设备、计算机可读存储介质 | |
JP6532217B2 (ja) | 画像処理装置、画像処理方法、及び画像処理システム | |
JP4508257B2 (ja) | 構図判定装置、構図判定方法、プログラム | |
KR102462644B1 (ko) | 전자 장치 및 그의 동작 방법 | |
EP2768214A2 (en) | Method of tracking object using camera and camera system for object tracking | |
CN102498712B (zh) | 控制设备、成像系统和控制方法 | |
KR101530255B1 (ko) | 객체 자동 추적 장치가 구비된 cctv 시스템 | |
CN113545030B (zh) | 通过移动相机自动生成全焦图像的方法、用户设备以及系统 | |
CN108111768B (zh) | 控制对焦的方法、装置、电子设备及计算机可读存储介质 | |
CN102812699A (zh) | 图像处理设备、方法以及计算机程序存储设备 | |
CN112119627A (zh) | 基于云台的目标跟随方法、装置、云台和计算机存储介质 | |
CN111191644B (zh) | 身份识别方法、系统及装置 | |
US20140225991A1 (en) | Image capturing apparatus and method for obatining depth information of field thereof | |
JP2010141847A (ja) | 画像処理装置及び画像処理方法 | |
US20220245832A1 (en) | Feature processing in extended reality systems | |
JP2008089811A (ja) | 撮像装置及びその制御方法 | |
JP2013179614A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140212 |
|
WD01 | Invention patent application deemed withdrawn after publication |