CN107040697A - 使用凝视检测的摄影方法以及相关相机系统 - Google Patents

使用凝视检测的摄影方法以及相关相机系统 Download PDF

Info

Publication number
CN107040697A
CN107040697A CN201610961540.5A CN201610961540A CN107040697A CN 107040697 A CN107040697 A CN 107040697A CN 201610961540 A CN201610961540 A CN 201610961540A CN 107040697 A CN107040697 A CN 107040697A
Authority
CN
China
Prior art keywords
camera
image
detection
camera system
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201610961540.5A
Other languages
English (en)
Inventor
郑升弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN107040697A publication Critical patent/CN107040697A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2137—Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种摄影方法以及相关的相机系统。该相机系统包含相机装置以及一个帧缓冲器。该方法包含如下步骤：当该相机系统的凝视拍摄模式激活时，通过该相机装置捕获多个第一输入图像；存储该多个第一输入图像至该帧缓冲器；针对与该多个第一输入图像相关的多个检测图像执行人脸检测，来决定在该多个检测图像中是否有人脸；在已检测具有人脸的检测图像上执行凝视检测来检测在该多个检测图像上的检测的人脸是否有眼睛凝视着该相机装置；并且当决定该多个检测图像中的该检测的人脸的眼睛凝视着该相机装置时，从该帧缓冲器中选择一个或者多个存储的相关的第一输入图像作为多个输出图像。

Description

使用凝视检测的摄影方法以及相关相机系统
优先权声明
本申请主张在2015年10月29日提出申请的美国临时专利申请第62/247,914号的权利，且上述美国专利申请以引用方式并入本文中。
技术领域
本发明是关于相机装置，具体来说，是有关于使用凝视检测(gazedetection)的摄影方法以及相关的相机系统。
背景技术
近年来，自动拍照(auto snap)在相机系统中被广泛地使用。举例来说，已知的自动拍照的技术可使用笑脸检测、人脸检测、手势检测以及/或者眨眼检测。然而，这些技术都不能保证在图画中捕获的人物是凝视着相机镜头的，从而导致一个较差的用户体验。
据此，需要一种摄像方法以及相关的相机系统来解决上述问题。
发明内容
在以下的实施例中将依照附图进行具体说明。
根据本发明的一方面，提供一种在相机系统中使用的摄影方法，其中该相机系统包含相机装置以及帧缓冲器。该方法包含以下步骤：当该相机系统的凝视拍摄模式激活时，通过该相机装置捕获多个第一输入图像；存储该多个第一输入图像至该帧缓冲器；针对与该多个第一输入图像相关的多个检测图像执行人脸检测，来决定在该多个检测图像中是否有人脸；在已检测具有人脸的检测图像上执行凝视检测来检测在该多个检测图像上的检测的人脸是否有眼睛凝视着该相机装置；并且当决定该多个检测图像中的该检测的人脸的眼睛凝视着该相机装置时，从该帧缓冲器中选择一个或者多个存储的相关的第一输入图像作为多个输出图像。
依据本发明的另一方面，提供一种相机系统，包含处理器、帧缓冲器以及相机装置。相机装置用来当该相机系统的凝视模式激活时，捕获多个第一输入图像；其中该处理器存储该多个第一输入图像至该帧缓冲器，针对与该多个第一输入图像相关的多个检测图像执行人脸检测，来决定在该多个检测图像中是否有人脸，并且在已决定有人脸的检测图像上执行凝视检测来检测在该检测的人脸上是否有眼睛凝视着该相机装置；其中当决定该多个检测图像中的该检测的人脸的眼睛凝视着该相机装置时，该处理器从该帧缓冲器中选择一个或者多个存储的第一输入图像作为多个输出图像。
本发明提出的摄影方法与相机装置通过凝视侦测的帮助而使得输出的图像中的人脸的眼睛是凝视着相机的，提高了用户体验。
附图说明
图1是依据本发明的一实施例的相机系统的区块示意图。
图2是依据本发明的实施例的一种摄影方法的流程图。
图3是依据本发明的另一个实施例的相机系统的区块示意图。
图4是依据本发明的另一实施例的摄影方法的流程图。
具体实施方式
图1是依据本发明的实施例的相机系统的区块示意图。相机系统100可以是一个数字相机(例如一个静态相机、一个视频相机、一个相机电话或者其他)，包含相机110、处理器120、存储单元130以及显示装置140。
相机110包含镜头111、快门112以及图像传感器113。当快门112打开进行图像曝光时，镜头111是安置来聚焦从场景中的一个或者多个物体反射的光线至图像传感器113。快门112是通过机械实现或者电路实现。
图像传感器113包含多个感光单元(photosensitive cell)，每一个感光单元响应曝光都建立或者累积一个电荷。对于一个给定的像素的累计的电荷是与曝光的强度以及长度成比例。图像传感器113可包含，而并不限制于，电荷耦合装置(charge-coupled device，CCD)或者一个补充的金属氧化物半导体(metal oxide semiconductor，CMOS)传感器。处理器120可以是中央处理单元(CPU)、一个数字信号处理器(DSP)或者一个图像信号处理器(ISP)，但本发明并不限于此。
存储单元130可包含一个易失型存储器131以及一个非易失型存储器132。举例来说，易失型存储器131是静态随机存取记忆体(SRAM)、或者是动态随机存取记忆体(DRAM)，但本发明并不限于此。非易失型存储器132可以是一个硬盘、闪存等等。非易失型存储器132存储一个摄影程序来执行针对由相机110捕获的图像的特定检测任务，例如笑脸检测、人脸检测、手势检测、眨眼检测以及/或者凝视检测。处理器120下载在非易失型存储器132中存储的摄影程序的程序代码至易失型存储器131，并且针对相机110捕获的图像执行相对应的图像处理。此外，由图像传感器113捕获的数字图像是暂时存储在易失型存储器131(即帧缓冲器)中。
显示装置140展示实时画面以及/或者其他用户互动。显示装置140可通过多种显示装置来实现，而并不限于液晶显示器(LCDs)、发光二极管显示器(LED)以及电子射线管显示(CRT)。
图2是依据本发明的实施例的一种摄影方法的流程图。在步骤S200，相机系统100的凝视拍摄模式(gaze shooting mode)被用户激活。在步骤S210，相机110重复地捕获多个输入图像，举例来说M(M是一个大于1的正整数)个图像被连续地捕获。捕获的输入图像在帧缓冲器中暂时存储并且排队为一个具有深度M的队列。帧缓冲器的队列深度M指示帧缓冲器中存储的输入图像的数量。
在帧缓冲器中存储的每一个图像具有一个对应的时间戳索引。举例来说，如果队列M的深度是3，三个图像在时间N、N-1以及N-2存储在帧缓冲器中。在步骤S220，处理器120在显示装置140上显示输入图像作为一个预览图像，其中显示的预览图像可以是在帧缓冲器中的第一输入图像或者将在帧缓冲器中的所有三个输入图像连续显示。在步骤S230，处理器120针对输入图像执行人脸检测，来检测在输入图像上是否有一个人脸。需要注意的是，步骤S220与S230可同时执行。
在步骤S240，处理器120进一步针对具有人脸的输入图像执行凝视检测，来决定在输入图像中的人脸是否有眼睛凝视相机110。在步骤S260，处理器120可从帧缓冲器中选择一个或者多个输入图像。如果输入图像的检测的人脸的一个眼睛凝视着相机，一个或者更多的输入图像可从帧缓冲器中选择作为输出图像。其中该帧缓冲器存储的多个输入图像包含当前图像以及至少一个先前图像，并且该多个输出图像是从该当前图像以及该至少一个先前图像中，利用该各自的时间戳索引来识别该选择的多个输出图像。
在步骤S270，输出图像被编码(例如以JPEG格式)，并且通过处理器120保存在相机系统100的记录媒介(例如非易失型存储器132)中。
需注意的是，由于凝视检测的复杂性，在凝视检测之前执行人脸检测，来减少在凝视检测步骤中的图像数量。仅仅那些具有至少一张人脸的输入图像才进行凝视检测的步骤，因此目标图像数量将可减少。换言之，步骤S230在一些实施例中是可选的步骤。
具体来说，相机系统100执行凝视检测来保证相片质量。换言之，执行凝视检测来从多个捕获的图像中选择具有至少一个眼睛凝视相机110的图像。
图3是依据本发明的另一实施例的相机系统的区块示意图。相机系统300与图1中的相机系统100相似，相机系统300与相机系统100之间的差别是相机110被一个双摄像头装置(dual camera device)150代替。双摄像头装置150包含第一相机160以及第二相机170。需注意的是第一相机160与第二相机170是整合至双摄像头装置150，其位于相机系统300的空腔之内，从而第一相机160与第二相机170可面对相同的场景，并且同时获取图像。第一相机160包含镜头161、快门162以及图像传感器163，并且第二相机170包含镜头171、快门172以及图像传感器173、红外线(以下简称为IR)发射器174、以及红外线接收器175。第一相机160与第二相机170的镜头与快门的设计可参考图1中的实施例，细节在此不再赘述。
显著地，第一相机160中的图像传感器163能够输出数字YUV图像数据，或者图像传感器163中的感光单元是以“拜尔阵列(Bayer array)”实现而输出RGB图像数据。在图像传感器173中的感光单元也是以“拜尔阵列”实现而输出RGB图像数据，并且第二相机170借助红外线发射器174以及红外线接收器175的帮助而能够输出RGB-IR图像数据。具体来说，RGB-IR图像包含RGB色彩图像以及相关的IR图像，指示RGB色彩图像的深度信息。
尽管基于可见光谱(visual spectrum)(即色彩图像数据)的自动人脸识别已被广泛地使用，这些技术在未控制的操作环境下具有执行的难度，其原因为执行的效果对光照的条件的变化很敏感。此外，当光照昏暗或者当不是一直照亮人脸时，效果也会显著下降。即使当一张脸是亮度饱满时，其他的因素，例如阴影、闪光、以及化妆都可能导致在彩色人脸图像中定位特征错误。
电磁波的红外线谱是分为四个频带：近-IR(NIR)、短波IR(SWIR)、中波IR(MWIR)以及长波IR(热IR)。在长波IR的人脸图像代表从人脸发出的热量模式，并且因此是与周围光照相对独立的。红外线人脸图像是唯一的并且能够作为一个人的热量标志。因此，在所有的光照条件下(包含完全黑暗)以及当对象伪装时，红外线人脸识别也是有用的。举例来说，处理器120可从IR人脸图像中提取热量轮廓以及深度信息，并且眼睛、鼻子以及嘴的位置可从热量轮廓中识别出来。IR人脸识别技术已在本领域中被本领域技术人员所了解，因此不再赘述。
据此，根据IR图像的帮助，对于处理器120来说，可以更加方便地识别面部特征，例如眼睛、鼻子以及嘴巴，以及它们在当前IR图像中的位置。
在一个实施例中，由第一相机160获取的第一图像(例如RGB图像或者YUV图像)以及由第二相机170获取的第二图像(即RGB-IR图像)发送至不同的图像处理路径。需注意的是，第一相机160以及第二相机170同步来获取相同的场景的第一图像以及第二图像，并因此第二图像与第一图像相关联。具体来说，由第一相机160获取的第一图像发送给图像预览路径，并且当前图像是存储并且在帧缓冲器中排队，也在显示装置140上作为当前图像显示。同时，第二相机170获取的第二图像发送至图像检测路径。在图像检测路径，处理器针对第二图像的红外线图像执行人脸检测以及凝视检测，来决定在当前IR图像上是否有一人脸以及该人脸上的眼睛是否凝视第二相机170或者第一相机160，其中的细节如图2所示。需注意的是，在相机系统100中的相机装置可以是单相机装置或者双相机装置，并且处理器在“检测图像”上执行人脸检测以及凝视检测来决定检测图像上是否有一人脸以及该人脸上的眼睛是否凝视单相机装置或者双相机装置中的一个相机。举例来说，检测图像可以是由图1的实施例中的相机110获取的第一图像。此外，检测图像可以是图3的实施例中的第二相机170获取的IR图像。
具体来说，当一个双相机装置被相机系统300使用时，由双相机装置中的第二相机捕获的IR图像是用来进行人脸检测以及凝视检测。当IR图像中的检测到的人脸的眼睛是凝视着第二相机时，可依据针对IR图像的人脸检测以及凝视检测的结果来选择由第一相机捕获的第一图像。
在一些实施例中，图像预览路径与图像检测路径共享相同的处理器120。在其他的实施例中，不同的处理器分别在图像预览路径与图像检测路径中使用。为了简便说明，在后续的实施例中，图像预览路径与图像检测路径共享图3中的相同的处理器120。
据此，当在图像检测路径中，决定当前图像的人脸的一个眼睛凝视着第二相机170(即可依据RGB图像或者IR图像决定)，处理器120可选择一个或者多个与当前分析的IR图像相关的来自帧缓冲器中的第一图像。接着，处理器120编码选择的第一图像并且保存编码的第一图像至相机系统100的一个记录媒介(例如非易失型存储器132)。
图4是依据本发明的另一个实施例的摄影方法的流程图。图4中的流程与图2中的流程相似，并且图4中的流程描绘了图1或者图3中所利用的共同的部分。举例来说，在步骤S410，第一输入图像与第二输入图像是同时(同步)被第一相机以及第二相机捕获的。举例来说，第二相机能够捕获RGB-IR图像，并且第二输入图像包含RGB图像以及相关的IR图像，来指示RGB图像的深度信息。
在步骤S400，凝视拍摄模式被激活。
在步骤S420，第一输入图像是在相机系统的显示装置上显示。
在步骤S430，在“检测图像”上执行人脸检测来决定在检测图像上是否有一个人脸。举例来说，检测图像是由第一相机(即相机110或者第一相机160)捕获的第一输入图像。此外，检测图像可以是在第二输入图像中的IR图像。通过IR图像的帮助，很容易识别在IR图像以及相关的RGB图像中的人脸。
在步骤S440，在检测图像上执行凝视检测来决定检测的人脸是否有眼睛凝视着相机装置(第一相机或者第二相机)。具体来说，在已检测具有至少一人脸的检测图像上执行凝视检测来决定检测的人脸是否有眼睛凝视着相机装置(第一相机或者第二相机)。在一些实施例中，检测图像可以依然是第二输入图像中的IR图像。在其他的实施例中，凝视检测是在第二输入图像中的RGB图像上执行。
在步骤S460，处理器120可从帧缓冲器中选择一个或者多个第一输入图像。举例来说，如果检测图像中的检测到的人脸的一个眼睛是凝视着第一相机(或者第二相机)，一个或者多个第一输入图像将从帧缓冲器中选择作为输出图像。
在步骤S470，输出图像被编码(例如以JPEG格式)，并且通过处理器120保存至相机系统100的一个记录媒介(例如非易失型存储器132)。
本发明虽以较佳实施例揭露如上，然其并非用以限定本发明的范围，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可做些许的更动与润饰，因此本发明的保护范围当视申请专利范围所界定者为准。

Claims (16)

1.一种在相机系统中使用的摄影方法，其中该相机系统包含相机装置以及帧缓冲器，该方法包含：
当该相机系统的凝视拍摄模式激活时，通过该相机装置捕获多个第一输入图像；
存储该多个第一输入图像至该帧缓冲器；
针对与该多个第一输入图像相关的多个检测图像执行人脸检测，来决定在该多个检测图像中是否有人脸；
在已检测具有人脸的检测图像上执行凝视检测来检测在该多个检测图像上的检测的人脸是否有眼睛凝视着该相机装置；并且
当决定该多个检测图像中的该检测的人脸的眼睛凝视着该相机装置时，从该帧缓冲器中选择一个或者多个存储的相关的第一输入图像作为多个输出图像。
2.根据权利要求1所述的在相机系统中使用的摄影方法，其特征在于，该多个检测图像是该多个第一输入图像，并且该多个第一输入图像包含RGB图像或者YUV图像；
并且该相机装置包含第一相机，该执行凝视检测的步骤具体为在已检测具有人脸的检测图像上执行凝视检测来检测在该多个检测图像上的检测的人脸是否有眼睛凝视着该第一相机。
3.根据权利要求1所述的在相机系统中使用的摄影方法，其特征在于，进一步包含：
在该相机系统的显示装置上显示该多个第一输入图像。
4.根据权利要求1所述的在相机系统中使用的摄影方法，其特征在于，该帧缓冲器存储该多个第一输入图像，该多个第一输入图像包含当前图像以及至少一个先前图像，并且该多个输出图像是从该当前图像以及该至少一个先前图像中选择。
5.根据权利要求4所述的在相机系统中使用的摄影方法，其特征在于，该当前图像与该至少一个先前图像中的每一个被指派一个各自的时间戳索引，并且该方法进一步包含：
利用该各自的时间戳索引来识别该选择的多个输出图像。
6.根据权利要求1所述的在相机系统中使用的摄影方法，其特征在于，进一步包含：
编码该多个输出图像；并且
存储该编码的多个输出图像至该相机系统的记录媒介。
7.根据权利要求1所述的在相机系统中使用的摄影方法，其特征在于，该相机装置包含第一相机与第二相机，该方法进一步包含：
当该相机系统的该凝视模式激活时，通过该第一相机捕获该多个第一输入图像，同步地与该第一相机同步地，由该相机系统的第二相机捕获多个第二输入图像；
其中该多个第二输入图像包含多个RGB图像以及相关的多个红外线图像，并且该多个检测图像是该多个红外线图像，并且该执行凝视检测的步骤更具体为在已决定有人脸的检测图像上执行凝视检测来检测在该检测的人脸上是否有眼睛凝视着该第二相机。
8.根据权利要求7所述的在相机系统中使用的摄影方法，其特征在于，在该多个第二输入图像中的多个红外线图像指示该多个第二输入图像的多个RGB图像深度信息。
9.一种相机系统，包含：
处理器；
帧缓冲器；
相机装置，用来当该相机系统的凝视模式激活时，捕获多个第一输入图像；
其中该处理器存储该多个第一输入图像至该帧缓冲器，针对与该多个第一输入图像相关的多个检测图像执行人脸检测，来决定在该多个检测图像中是否有人脸，并且在已决定有人脸的检测图像上执行凝视检测来检测在该检测的人脸上是否有眼睛凝视着该相机装置；
其中当决定该多个检测图像中的该检测的人脸的眼睛凝视着该相机装置时，该处理器从该帧缓冲器中选择一个或者多个存储的第一输入图像作为多个输出图像。
10.根据权利要求9所述的相机系统，其特征在于，该多个检测图像是该多个第一输入图像，并且该多个第一输入图像包含RGB图像或者YUV图像；并且该相机装置包含第一相机，并且该处理器执行的凝视检测具体为在已检测具有人脸的检测图像上执行凝视检测来检测在该多个检测图像上的检测的人脸是否有眼睛凝视着该第一相机。
11.根据权利要求9所述的相机系统，其特征在于，该处理器在该相机系统的显示装置上显示该多个第一输入图像。
12.根据权利要求9所述的相机系统，其特征在于，该帧缓冲器存储该多个第一输入图像，该多个第一输入图像包含当前图像以及至少一个先前图像，并且该一个或者多个输出图像是从该当前图像以及该至少一个先前图像中的至少一个中选择。
13.根据权利要求12所述的相机系统，其特征在于，该当前图像与该至少一个先前图像中的每一个被指派一个各自的时间戳索引，并且该处理器进一步利用该各自的时间戳索引来识别从该帧缓冲器中选择的图像数据作为该一个或者多个输出图像。
14.根据权利要求9所述的相机系统，其特征在于，该处理器编码该多个输出图像，并且存储该编码的多个输出图像至该相机系统的记录媒介。
15.根据权利要求9所述的相机系统，其特征在于，该相机装置包含第一相机与第二相机，当该相机系统的该凝视模式激活时，通过该第一相机捕获该多个第一输入图像，同步地与该第一相机同步地，由该相机系统的第二相机捕获多个第二输入图像；
其中该多个第二输入图像包含多个RGB图像以及相关的多个红外线图像，并且该多个检测图像是该多个红外线图像；
并且该处理器执行的凝视检测更具体来说为在已决定有人脸的检测图像上执行凝视检测来检测在该检测的人脸上是否有眼睛凝视着该第二相机。
16.根据权利要求15所述的相机系统，其特征在于，在该多个第二输入图像中的多个红外线IR图像指示该多个第二输入图像的多个RGB图像深度信息。
CN201610961540.5A 2015-10-29 2016-10-28 使用凝视检测的摄影方法以及相关相机系统 Withdrawn CN107040697A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562247914P 2015-10-29 2015-10-29
US62/247,914 2015-10-29
US15/331,040 US20170126966A1 (en) 2015-10-29 2016-10-21 Photography method using gaze detection
US15/331,040 2016-10-21

Publications (1)

Publication Number Publication Date
CN107040697A true CN107040697A (zh) 2017-08-11

Family

ID=58637536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610961540.5A Withdrawn CN107040697A (zh) 2015-10-29 2016-10-28 使用凝视检测的摄影方法以及相关相机系统

Country Status (2)

Country Link
US (1) US20170126966A1 (zh)
CN (1) CN107040697A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110266947A (zh) * 2019-06-26 2019-09-20 Oppo广东移动通信有限公司 拍照方法及相关装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9491442B2 (en) 2014-04-28 2016-11-08 Samsung Electronics Co., Ltd. Image processing device and mobile computing device having the same
US10892287B2 (en) * 2019-01-18 2021-01-12 Cista System Corp. Image sensor with image receiver and automatic image switching
EP4020388A1 (en) * 2020-12-22 2022-06-29 Smart Eye AB Regional spatial enhancement of rgb-ir image
JP7225440B1 (ja) * 2022-01-05 2023-02-20 キヤノン株式会社 撮像装置、撮影システム、撮像装置の制御方法およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102959941A (zh) * 2010-07-02 2013-03-06 索尼电脑娱乐公司 信息处理系统、信息处理装置及信息处理方法
US20150043782A1 (en) * 2013-08-08 2015-02-12 Convoy Technologies Llc System, apparatus, and method of detecting and displaying obstacles and data associated with the obstacles
US20150256741A1 (en) * 2014-03-10 2015-09-10 Qualcomm Incorporated Blink and averted gaze avoidance in photographic images
US20150341561A1 (en) * 2014-05-21 2015-11-26 Motorola Mobility Llc Enhanced image capture

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7233684B2 (en) * 2002-11-25 2007-06-19 Eastman Kodak Company Imaging method and system using affective information
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US9036069B2 (en) * 2012-02-06 2015-05-19 Qualcomm Incorporated Method and apparatus for unattended image capture
KR102070778B1 (ko) * 2012-11-23 2020-03-02 엘지전자 주식회사 Rgb-ir 센서 및 이를 이용한 3차원 영상 획득 방법 및 장치
EP3496389B1 (en) * 2013-03-13 2024-05-01 Samsung Electronics Co., Ltd. Electronic device and method for processing image
US8879858B1 (en) * 2013-10-01 2014-11-04 Gopro, Inc. Multi-channel bit packing engine
US9864430B2 (en) * 2015-01-09 2018-01-09 Microsoft Technology Licensing, Llc Gaze tracking via eye gaze model

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102959941A (zh) * 2010-07-02 2013-03-06 索尼电脑娱乐公司 信息处理系统、信息处理装置及信息处理方法
US20150043782A1 (en) * 2013-08-08 2015-02-12 Convoy Technologies Llc System, apparatus, and method of detecting and displaying obstacles and data associated with the obstacles
US20150256741A1 (en) * 2014-03-10 2015-09-10 Qualcomm Incorporated Blink and averted gaze avoidance in photographic images
US20150341561A1 (en) * 2014-05-21 2015-11-26 Motorola Mobility Llc Enhanced image capture

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110266947A (zh) * 2019-06-26 2019-09-20 Oppo广东移动通信有限公司 拍照方法及相关装置

Also Published As

Publication number Publication date
US20170126966A1 (en) 2017-05-04

Similar Documents

Publication Publication Date Title
US9154697B2 (en) Camera selection based on occlusion of field of view
CN107959778B (zh) 基于双摄像头的成像方法和装置
CN108810413B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN101465972B (zh) 在数字图像处理装置中使图像背景模糊的设备和方法
TWI425826B (zh) 影像選擇裝置、影像選擇方法
CN107040697A (zh) 使用凝视检测的摄影方法以及相关相机系统
CN110248106B (zh) 图像降噪方法、装置、电子设备以及存储介质
US20140226858A1 (en) Method of tracking object using camera and camera system for object tracking
US10264230B2 (en) Kinetic object removal from camera preview image
CN107948500A (zh) 图像处理方法和装置
CN107948520A (zh) 图像处理方法和装置
CN101690160B (zh) 用于使用自动聚焦统计的运动检测的方法、系统及设备
US7962031B2 (en) Pulsed control of camera flash
CN108259770B (zh) 图像处理方法、装置、存储介质及电子设备
CN108024058B (zh) 图像虚化处理方法、装置、移动终端和存储介质
US8798369B2 (en) Apparatus and method for estimating the number of objects included in an image
CN104754212A (zh) 电子装置以及通过使用该电子装置捕获移动对象的方法
CN108024054A (zh) 图像处理方法、装置及设备
US11012603B2 (en) Methods and apparatus for capturing media using plurality of cameras in electronic device
CN107454322A (zh) 拍照方法、装置、计算机可存储介质和移动终端
US20150193652A1 (en) Method, apparatus, and manufacture for smiling face detection
US11756221B2 (en) Image fusion for scenes with objects at multiple depths
CN108093170B (zh) 用户拍照方法、装置及设备
CN108052883B (zh) 用户拍照方法、装置及设备
CN110290325A (zh) 图像处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20170811