CN113544582A - 成像装置及检测表情的方法 - Google Patents

成像装置及检测表情的方法 Download PDF

Info

Publication number
CN113544582A
CN113544582A CN202080018797.1A CN202080018797A CN113544582A CN 113544582 A CN113544582 A CN 113544582A CN 202080018797 A CN202080018797 A CN 202080018797A CN 113544582 A CN113544582 A CN 113544582A
Authority
CN
China
Prior art keywords
event
expression
signal
detecting
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080018797.1A
Other languages
English (en)
Other versions
CN113544582B (zh
Inventor
中川庆
本田元就
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Sony Group Corp
Original Assignee
Sony Semiconductor Solutions Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp, Sony Group Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN113544582A publication Critical patent/CN113544582A/zh
Application granted granted Critical
Publication of CN113544582B publication Critical patent/CN113544582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Exposure Control For Cameras (AREA)
  • Cameras In General (AREA)

Abstract

一个实施方式的成像装置包括：事件检测设备，输出与通过成像获得的第一像素信号的时间变化对应的事件信号；和表情检测器，基于从事件检测设备输出的事件信号而检测表情。

Description

成像装置及检测表情的方法
技术领域
本公开涉及一种成像装置及检测表情的方法。
背景技术
数码相机或智能相机最近已经配备有被称为“微笑快门”(注册商标)的功能，即，响应于对象是否微笑的判断结果而自动释放快门，以便准确地捕捉微笑时刻(例如，见PTL1)。
引用列表
专利文献
PTL1：日本专利申请公开号2018-151660。
发明内容
顺便提及，微笑不仅包括真实的微笑，而且还包括诸如假笑或强笑的各种微笑。然而，其间的差异非常微小，并且例如，存在的问题在于难以区分真实的微笑与其他类型的微笑。因此，希望提供一种能够识别表情、检测表情的成像装置及方法。
根据本公开的实施方式的成像装置包括：事件检测设备，输出与第一像素信号的时间变化对应的事件信号，通过成像获得第一像素信号；和表情检测器，基于从事件检测设备输出的事件信号而检测表情。
根据本公开的实施方式的检测表情的方法包括：生成与第一像素信号的时间变化对应的事件信号，通过成像获得第一像素信号；并且基于已生成的事件信号而检测表情。
根据本公开的实施方式的检测表情的成像装置及方法基于与第一像素信号的时间变化对应的事件信号而检测表情，通过成像获得第一像素信号。这使得可以识别表情的略微差异。
附图说明
图1是示出根据本公开的实施方式的成像装置的示意性配置的实施例的示图。
图2是示出图1中的事件检测设备的示意性配置的实施例的示图。
图3是示出图2中的像素的示意性配置的实施例的示图。
图4是示出图1中的成像设备的示意性配置的实施例的示图。
图5是示出图4中的像素的示意性配置的实施例的示图。
图6是示出图1中的信号处理器的示意性配置的实施例的示图。
图7是示出通过图1中的成像装置执行的表情检测程序的实施例的示图。
图8是示出通过图1中的成像装置执行的表情检测程序的变形例的示图。
图9是示出通过图1中的成像装置执行检测真实微笑的程序的变形例的示图。
图10是示出通过图1中的成像装置执行检测真实微笑的程序的变形例的示图。
图11是示出图1中的成像装置的示意性配置的变形例的示图。
图12是示出图1中的成像装置的示意性配置的变形例的示图。
图13是示出图1中的成像装置的示意性配置的变形例的示图。
图14是示出图1中的成像装置的示意性配置的变形例的示图。
图15是示出图14中的信号处理器的示意性配置的实施例的示图。
图16是示出通过图14中的成像装置而执行的表情检测程序的实施例的示图。
图17是示出通过图14中的成像装置而执行的表情检测程序的变形例。
图18是示出图14中的成像装置的示意性配置的变形例的示图。
图19是示出通过图18中的成像装置执行检测真实微笑的程序的变形例的示图。
图20是示出通过图18中的成像装置执行检测真实微笑的程序的变形例的示图。
图21是示出图12中的成像装置的示意性配置的变形例的示图。
具体实施方式
在下文中，参考附图对本公开的一些实施方式进行详细描述。应注意，按照下列顺序展开描述。
1.实施方式(成像装置)
包括事件检测设备和成像设备的实施例(图1至图10)。
2.变形例(成像装置)
变形例A：包括与用于检测的成像设备分离的成像设备的实施例(图11)，
变形例B：包括组合事件检测设备与成像设备的设备的实施例(图12和图13)，
变形例C：执行成帧的实施例(图14至图17)，
变形例D：执行成帧并且包括与用于检测的成像设备分离的成像设备的实施例(图18至图20)，
变形例E：包括组合事件检测设备与成像设备的设备并且执行成帧的实施例(图21)。
<1.实施方式>
[配置]
将对根据本公开的实施方式的成像装置100进行描述。图1示出了根据本实施方式的成像装置100的示意性配置的实施例。成像装置100指能够检测表情的装置。例如，成像装置100包括成像透镜110、事件检测设备120、成像透镜130、成像设备140、信号处理器150、存储器160、以及控制器170。
成像透镜110会聚入射光并且将会聚的光引导至事件检测设备120。事件检测设备120输出与通过成像所获得的像素信号(第一像素信号)的时间变化对应的事件信号，作为事件图像Ib。成像透镜130会聚入射光并且将会聚的光引导至成像设备140。成像设备140通过成像而生成像素信号(第二像素信号)并且输出已生成的像素信号，作为捕获图像Ia。信号处理器150基于事件图像Ib和捕获图像Ia执行预定的处理，并且将所处理的数据存储在存储器160中或将所处理的数据输出至外部。存储器160记录来自信号处理器150的数据。控制器170控制事件检测设备120和成像设备140而致使执行成像。
图2示出了事件检测设备120的示意性配置例。例如，事件检测设备120包括多个像素122布置成矩阵的像素阵列121、行驱动电路123、列驱动电路124、以及信号处理电路125。每个像素122输出与通过成像所获得的像素信号(第一像素信号)的时间变化(时间的前后差)对应的事件信号。行驱动电路123选择行地址并且致使信号处理电路125输出与行地址对应的事件信号。列驱动电路124选择列地址并且致使信号处理电路125输出与列地址对应的事件信号。信号处理电路125对从像素阵列121输出的事件信号执行预定的信号处理。例如，信号处理电路125将事件信号作为像素信号布置成二维晶格、生成每个像素具有1比特信息的图像数据(事件图像Ib)、并且将图像数据输出至信号处理器150。
图3示出了每个像素122的示意性配置例。例如，每个像素122包括光电二极管122A、电流-电压转换电路122B、缓冲电路122C、减法器122D、量化器122E、以及转移电路122F。
光电二极管122A对入射光进行光电转换而生成光电流。电流-电压转换电路122B将来自对应的光电二极管122A的光电流转换成电压信号。例如，电流-电压转换电路122B是用于将来自对应的光电二极管122A的光电流转换成对数电压信号的对数转换电路。例如，对数转换电路的实施例包括二极管类型、栅极接地类型、源极接地类型、以及增益升压类型。电流-电压转换电路122B将电压信号输出至缓冲电路122C。例如，缓冲电路122C是执行阻抗转换、对从电流-电压转换电路122B输入的电压信号的信号电平进行校正、并且将已校正的电压信号输出至减法器122D的源极跟随器电路。
减法器122D根据从行驱动电路123输出的行驱动信号而降低从缓冲电路122C输出的电压信号的电平。例如，减法器122D包括两个电容器、反相器、以及开关。一个电容器(以下被称为“电容器C1”)具有耦合至缓冲电路122C的输出端子的一端和耦合至反相器的输入端子的另一端。另一电容器(以下被称为“电容器C2”)并联耦合至反相器。开关并联耦合至反相器。开关根据行驱动信号而打开和关闭。反相器经由电容器C1使从缓冲电路122C输入的电压信号反相。反相器将反相信号输出至量化器122E。
在接通开关后，将电压信号Vinit输入至电容器C1的缓存电路122C侧，并且相对侧是虚拟接地端子。为方便起见，虚拟接地端子的电势为零。在这种情况下，由下列等式表达电容器C1中所累积的电势Qinit，其中，Ca表示电容器C1的电容。相反，电容器C2的两端短路，并且由此，所累积的电荷是零。
Qinit＝Ca×Vinit...等式1，
接着，假设开关断开并且电容器C1的缓冲电路122C侧上的电压改变为Vafter的情况，由下列等式表示电容器C1中所累积的电荷Qafter。
Qafter＝Ca×Vafter...等式2，
相反，由下列等式表达电容器C2中所累积的电荷Q2，其中，Cb表示电容器C2的电容并且Vout表示输出电压。
Q2＝-Cb×Vout...等式3，
在这种情况下，电容器C1与C2的总电荷量不改变；因此，满足下列等式。
Qinit＝Qafter+Q2...等式4，
如果将等式1至3代入等式4中并且进行变换，则获得下列等式。
Vout＝-(Ca/Cb)×(Vafter-Vinit)...等式5。
等式5表示电压信号的减法运算，并且减法结果的增益是Ca/Cb。通常，希望增益最小化；因此，优选为将Ca设计地较大并且Cb较小。然而，如果Cb太小，则kTC噪音增加并且噪音性质可能劣化，因此，在可允许噪音的范围内，Cb的电容减少受限制。此外，针对每个像素122安装包括减法器122D的像素阵列121；因此，电容Ca与电容Cb在面积上受限制。例如，考虑到这些，将Ca设置为20至200毫微微法拉(fF)的值，并且将Cb设置为1至20毫微微法拉(fF)的值。
例如，量化器122E包括比较器。例如，比较器将从减法器122D输入的电压信号与两个阈值进行比较，并且响应于结果而将+1、0、和-1中的一个值分配给电压信号。量化器122E将指示比较结果的信号(例如，分配给电压信号的+1、0、和-1中的一个值)作为检测信号输出至转移电路122F。转移电路122F根据从列驱动电路124输出的列驱动信号而将检测信号从量化器122E转移至信号处理电路125。
图4示出了成像设备140的示意性配置例。例如，成像设备140包括多个像素142布置成矩阵的像素阵列141、行驱动电路143、列驱动电路144、以及信号处理电路145。每个像素142通过成像而生成像素信号(第二像素信号)并且输出像素信号。行驱动电路143选择行地址并且致使信号处理电路145输出与行地址对应的像素信号。列驱动电路144选择列地址并且致使信号处理电路145输出与列地址对应的像素信号。信号处理电路145对从像素阵列141输出的像素信号执行预定的信号处理。例如，信号处理电路145将像素信号布置成二维晶格，生成每个像素具有1比特信息的图像数据(捕获图像Ia)，并且将图像数据输出至信号处理器150。
图5示出了每个像素142的示意性配置例。例如，每个像素142包括光电二极管142A、电流-电压转换电路142B、缓冲电路142C、以及转移电路142D。
光电二极管142A对入射光进行光电转换而生成光电流。电流-电压转换电路142B将来自对应光电二极管142A的光电流转换成电压信号。电流-电压转换电路142B将电压信号输出至缓冲电路142C。例如，缓冲电路142C是执行阻抗转换、对从电流-电压转换电路142B输入的电压信号的信号电平进行校正、并且将已校正的电压信号输出至转移电路142D的源极跟随器电路。转移电路142D根据从行驱动电路143输出的行驱动信号和从列驱动电路144输出的列驱动信号将来自缓冲电路142C的检测信号转移至信号处理电路145。
图6示出了信号处理器150的示意性配置例。例如，信号处理器150包括运动检测器151、对象检测器152、面部表情检测器153、信号处理器154、输出部155、以及存储器156。
运动检测器151基于事件图像Ib(事件信号)检测与移动部分对应的一个或多个事件区域。运动检测器151进一步对事件图像Ib之中与所检测的一个或多个事件区域对应的部分进行切割。运动检测器151将从事件图像Ib切割的一个或多个区域ROI(感兴趣区域)的图像数据IROI输出至面部表情检测器153。
对象检测器152基于从成像设备140获得的捕获图像Ia(像素信号)对面部中所包括的一个或多个部位进行检测。例如，面部中所包括的部位包含眼睛、鼻子、嘴巴等。对象检测器152将所检测的部位的信息(部位信息152A)输出至面部表情检测器153。例如，部位信息152A包括姓名、位置坐标等。
面部表情检测器153基于从事件检测设备120输出的事件图像Ib(事件信号)对表情进行检测。具体地，面部表情检测器153基于图像数据IROI(事件信号)检测一个或多个部位(部位信息152A)之中与一个或多个事件区域对应的一个或多个目标部位的运动，并且基于检测结果对表情进行检测。
信号处理器154生成与通过面部表情检测器153所检测的表情对应的控制信号，并且将控制信号输出至输出部155。信号处理器154还将与通过面部表情检测器153检测的表情有关的信息存储在存储器156中。输出部155将从信号处理器154输入的控制信号输出至外部。
[表情的检测]
接着，将描述由根据本实施方式的成像装置100执行的表情检测程序。图7示出了由成像装置100执行的表情检测程序的实施例。
首先，信号处理器150从事件检测设备120获取事件图像Ib(事件信号)(步骤S101)。然后，信号处理器150基于事件图像Ib(事件信号)检测与移动部分对应的一个或多个事件区域(步骤S102)。然后，信号处理器150切割事件图像Ib之中与所检测的一个或多个事件区域对应的部位(区域ROI)，由此获取一条或多条图像数据IROI。
接着，信号处理器150从成像设备140获取捕获图像Ia(像素信号)(步骤S103)。然后，信号处理器150基于捕获图像Ia检测面部中所包括的一个或多个部位(步骤S104)。然后，信号处理器150基于从事件检测设备120输出的事件图像Ib(事件信号)检测表情。具体地，信号处理器150基于图像数据IROI(事件信号)检测一个或多个部位(部位信息152A)之中与一个或多个事件区域对应的一个或多个目标部位的运动(步骤S105)。随后，信号处理器150基于检测结果检测表情(步骤S106)。待检测的表情的类型的实施例包括真实微笑、强笑、以及假笑。
例如，由成像装置1执行的表情的检测还可以具有图8中所示出的程序。具体地，首先，信号处理器150从成像设备140获取捕获图像Ia(像素信号)(步骤S201)。然后，信号处理器150基于捕获图像Ia检测面部中所包括的一个或多个部位(步骤S202)。
然后，信号处理器150从事件检测设备120获取事件图像Ib(事件信号)(步骤S203)。然后，信号处理器150基于事件图像Ib(事件信号)检测与移动部分对应的一个或多个事件区域(步骤S204)。然后，信号处理器150切割事件图像Ib之中与所检测的一个或多个事件区域对应的部分(区域ROI)，由此获取一条或多条图像数据IROI。
接着，信号处理器150基于从事件检测设备120输出的事件图像Ib(事件信号)检测表情。具体地，信号处理器150基于图像数据IROI(事件信号)检测一个或多个部位(部位信息152A)之中与一个或多个事件区域对应的一个或多个目标部位的运动(步骤S205)。随后，信号处理器150基于检测结果检测表情(步骤S206)。待检测的表情的类型的实施例包括真实微笑、强笑、以及假笑。
[真实微笑的检测]
接着，将描述由根据本实施方式的成像装置100执行的检测真实微笑的程序。图9示出了由成像装置100执行的检测真实微笑的程序的实施例。
首先，信号处理器150执行上述步骤S101至S105。然后，信号处理器150基于步骤S105中的检测结果检测微笑(步骤S107)。随后，信号处理器150确定所检测的微笑是否是真实微笑(步骤S108)。例如，在步骤S105中的检测结果指示嘴巴的运动早于眼睛的运动的情况下，信号处理器150确定所检测的微笑是真实微笑并且经由控制器170向成像设备140发出执行成像的指示。信号处理器150从成像设备140获取包括真实微笑的捕获图像Ia(步骤S109)。相反，例如，在步骤S105中的检测结果指示嘴巴的运动与眼睛的运动一样早或比眼睛的运动慢的情况下，信号处理器150确定所检测的微笑不是真实微笑，并且程序转换至步骤S101。如此，获取包括真实微笑的捕获图像Ia。
例如，由成像装置100执行的真实微笑的检测还可以具有图10中示出的程序。具体地，首先，信号处理器150执行上述步骤S201至S205。然后，信号处理器150基于步骤S205中的检测结果检测微笑(步骤S207)。随后，信号处理器150确定所检测的微笑是否是真实微笑(步骤S208)。例如，在步骤S205中的检测结果指示嘴巴的运动早于眼睛的运动的情况下，信号处理器150确定所检测的微笑是真实微笑并且经由控制器170向成像设备140发出执行成像的指示。信号处理器150从成像设备140获取包括真实微笑的捕获图像Ia(步骤S209)。相反，例如，在步骤S205中的检测结果指示嘴巴的运动与眼睛的运动一样早或比眼睛的运动慢的情况下，信号处理器150确定所检测的微笑不是真实微笑，并且程序转换至步骤S201。如此，检测真实微笑。
[效果]
接着，将描述根据本实施方式的成像装置100的效果。
数码相机或智能相机最近已经配备有被称为“微笑快门”(注册商标)的功能，即，响应于主体是否微笑的确定结果而自动释放快门，以准确地捕捉微笑的时刻。顺便提及，微笑不仅包括真实微笑，而且还包括诸如假笑或强笑等各种微笑。然而，其间的差异非常微小，并且例如，存在的问题在于难以区分真实微笑与其他类型的微笑。
相反，本实施方式基于从事件检测设备120获得的事件图像Ib(事件信号)检测表情。这使得可以识别表情的轻微差异。由此，可以识别表情。
进一步地，在本实施方式中，基于图像数据IROI(事件信号)检测一个或多个部位(部位信息152A)之中与一个或多个事件区域对应的一个或多个目标部位的运动，并且基于检测结果检测表情。这使得可以识别表情的轻微差异。由此，可以识别表情。
仍进一步地，在本实施方式中，在步骤S105或步骤S205中的检测结果指示嘴巴的运动比眼睛的运动早的情况下，确定所检测的微笑为真实微笑。如此，本实施方式使得可以基于嘴巴、眼睛等的轻微运动而识别微笑的类型。
<2.变形例>
接着，将描述根据本实施方式的成像装置100的变形例。应注意，在下列描述中，与上面实施方式相同的部件被赋予与上面实施方式相同的参考标号。
[变形例A]
如图11中示出的，例如，在上述实施方式中，除用于识别微笑的类型的成像设备140之外，成像装置100可以进一步包括成像设备190。在这种情况下，成像装置100可以进一步包括会聚入射光并且将会聚的光引导至成像设备190的成像透镜180。成像设备190通过成像而生成像素信号并且输出已生成的像素信号作为捕获图像Id。例如，成像设备190具有成像设备140所共同的部件。在这种情况下，信号处理器150可以在上述步骤S109和S209中经由控制器170向成像设备190发出执行成像的指示。在这种情况下，信号处理器150从成像设备190获取包括真实微笑的捕获图像Ia。
[变形例B]
在上述实施方式及变形例A中，例如，如图12和图13中示出的，可以省去成像设备140，并且可以提供复合设备220代替事件检测设备120。复合设备220被配置为使得事件检测设备120包括成像设备140。在这种情况下，在上述描述的上述步骤S101和S203中，信号处理器150可以从复合设备220获取事件图像Ib(事件信号)。进一步地，在上述步骤S103和S201中，信号处理器150可以从复合设备220获取捕获图像Ia(像素信号)。进一步地，在上述步骤S109和S209中，信号处理器150可以从复合设备220获取包括真实微笑的捕获图像Ia(像素信号)。
[变形例C]
在上面实施方式中，例如，如图14中示出的，可以省去成像设备140，并且可以提供信号处理器230代替信号处理器150。在这种情况下，例如，如图15中示出的，除信号处理器150中包括的部件之外，信号处理器230包括帧生成器157。
帧生成器157使用在预定时间窗口内从事件检测设备120输出的事件图像Ib(事件信号)生成帧图像Id。在本变形例中，对象检测器152基于由帧生成器157生成的帧图像Id检测面部中所包括的一个或多个部位。
[表情的检测]
接着，将描述由根据本变形例的成像装置100执行的表情检测程序。图16示出了由根据本变形例的成像装置100执行的表情检测程序的实施例。
首先，信号处理器150从事件检测设备120获取事件图像Ib(事件信号)(步骤S301)。然后，信号处理器150基于事件图像Ib(事件信号)检测与移动部分对应的一个或多个事件区域(步骤S302)。然后，信号处理器150切割事件图像Ib之中与所检测的一个或多个事件区域对应的部分(区域ROI)，由此获取一条或多条图像数据IROI。
接着，信号处理器150使用在预定时间窗口内从事件检测设备120输出的事件图像Ib(事件信号)生成帧图像Id(步骤S303)。接着，信号处理器150基于帧图像Id检测面部中所包括的一个或多个部位(步骤S304)。然后，信号处理器150基于从事件检测设备120输出的事件图像Ib(事件信号)检测表情。具体地，信号处理器150基于图像数据IROI(事件信号)检测一个或多个部位(部位信息152A)之中与一个或多个事件区域对应的一个或多个目标部位的运动(步骤S305)。随后，信号处理器150基于检测结果检测表情(步骤S306)。
例如，由成像装置1执行的表情的检测还可以具有图17中示出的程序。具体地，首先，信号处理器150从成像设备140获取捕获图像Ia(像素信号)(步骤S401)。接着，信号处理器150使用在预定时间窗口内从事件检测设备120输出的事件图像Ib(事件信号)生成帧图像Id(步骤S402)。然后，信号处理器150基于帧图像Id(步骤S403)检测面部中所包括的一个或多个部位。
然后，信号处理器150基于事件图像Ib(事件信号)检测与移动部分对应的一个或多个事件区域(步骤S404)。然后，信号处理器150切割事件图像Ib之中与所检测的一个或多个事件区域对应的部分(区域ROI)，由此获取一条或多条图像数据IROI。
接着，信号处理器150基于从事件检测设备120输出的事件图像Ib(事件信号)检测表情。具体地，信号处理器150基于图像数据IROI(事件信号)检测一个或多个部位(部位信息152A)之中与一个或多个事件区域对应的一个或多个目标部位的运动(步骤S405)。随后，信号处理器150基于检测结果检测表情(步骤S406)。
[变形例D]
例如，如图18中示出的，在上述变形例C中，成像装置100可以进一步包括成像透镜180和成像设备190。在这种情况下，成像装置100能够通过执行图19中示出的程序而获取包括真实微笑的捕获图像Ia，例如，与将图9中示出的步骤S108和S109添加至图16中示出的步骤的程序相似。进一步地，成像装置100能够通过执行图20中示出的程序而获取包括真实微笑的捕获图像Ia，例如，与将图10中示出的步骤S208和S209添加至图17中示出的步骤的程序相似。
[变形例E]
在上述变形例D中，可以提供复合设备220和成像透镜210代替事件检测设备120、成像设备190、以及成像透镜110和180。此外，在这种情况下，成像装置100能够获取包括真实微笑的捕获图像Ia。
而且，本公开可以具有下列配置。
(1)一种成像装置，包括：
事件检测设备，输出与第一像素信号的时间变化对应的事件信号，通过成像获得第一像素信号；以及
表情检测器，基于从事件检测设备输出的事件信号而检测表情。
(2)根据(1)的成像装置，进一步包括：
成像设备，通过成像生成第二像素信号；
运动检测器，基于事件信号检测与移动部分对应的一个或多个事件区域；以及
对象检测器，基于第二像素信号检测面部中所包括的一个或多个部位；
其中，表情检测器基于事件信号检测一个或多个部位之中与一个或多个事件区域对应的一个或多个目标部位的运动，并且基于检测的结果检测表情。
(3)根据(2)的成像装置，其中，在结果指示嘴巴的运动早于眼睛的运动的情况下，表情检测器确定检测的表情为真实微笑。
(4)根据(1)的成像装置，其中，
事件检测设备进一步包括通过成像而输出第二像素信号的成像设备；
成像装置进一步包括：
运动检测器，基于事件信号检测与移动部分对应的一个或多个事件区域；和
对象检测器，基于第二像素信号检测面部中所包括的一个或多个部位；并且
表情检测器基于事件信号检测一个或多个部位之中与一个或多个事件区域对应的一个或多个目标部位的运动，并且基于检测的结果检测表情。
(5)根据(4)的成像装置，其中，在结果指示嘴巴的运动早于眼睛的运动的情况下，表情检测器确定所检测的表情为真实微笑。
(6)根据(1)的成像装置，进一步包括：
帧生成器，使用在预定时间窗口内从事件检测设备输出的事件图像而生成帧图像；
运动检测器，基于事件信号检测与移动部分对应的一个或多个事件区域；以及
对象检测器，基于通过帧生成器生成的帧图像而检测面部中所包括的一个或多个部位；
其中，表情检测器基于事件信号检测一个或多个部位之中与一个或多个事件区域对应的一个或多个目标部位的运动，并且基于检测的结果检测表情。
(7)根据(6)的成像装置，其中，在结果指示嘴巴的运动早于眼睛的运动的情况下，表情检测器确定所检测的表情为真实微笑。
(8)一种检测表情的方法，方法包括：
生成与第一像素信号的时间变化对应的事件信号，通过成像获得第一像素信号；并且
基于已生成的事件信号而检测表情。
(9)根据(8)的检测表情的方法，方法进一步包括：
基于事件信号检测与移动部分对应的一个或多个事件区域；
基于通过成像生成的第二像素信号而检测面部中所包括的一个或多个部位；并且
基于事件信号检测一个或多个部位之中与一个或多个事件区域对应的一个或多个目标部位的运动，并且基于检测的结果检测表情。
(10)根据(9)的检测表情的方法，方法进一步包括：在结果指示嘴巴的运动早于眼睛的运动的情况下，确定所检测的表情为真实微笑。
(11)根据(8)的检测表情的方法，方法进一步包括：
使用在预定时间窗口所生成的事件信号而生成帧图像；
基于事件信号检测与移动部分对应的一个或多个事件区域；
基于已生成的帧图像而检测面部中所包括的一个或多个部位；并且
基于事件信号检测一个或多个部位之中与一个或多个事件区域对应的一个或多个目标部位的运动，并且基于检测的结果检测表情。
(12)根据(11)的检测表情的方法，方法进一步包括：在结果指示嘴巴的运动早于眼睛的运动的情况下，确定所检测的表情为真实微笑。
在根据本公开的实施方式的检测表情的成像装置与方法中，基于与第一像素信号的时间变化对应的事件信号而检测表情，通过成像获得第一像素信号。这使得可以识别表情的略微差异。由此，可以识别表情。应注意，此处所述的效果不一定必须受限制并且可以包括本公开中所描述的任意效果。
本申请要求保护于2019年3月13日提交给日本专利局的日本优先专利申请JP2019-045758的权益，通过引用将其全部内容结合在此。
本领域技术人员应当理解的是，只要在所附权利要求或其等同物的范围内，则可以根据设计需求及其他因素做出各种改造、组合、子组合、以及替代。

Claims (12)

1.一种成像装置，包括：
事件检测设备，输出与通过成像获得的第一像素信号的时间变化对应的事件信号；以及
表情检测器，基于从所述事件检测设备输出的所述事件信号而检测表情。
2.根据权利要求1所述的成像装置，还包括：
成像设备，通过成像生成第二像素信号；
运动检测器，基于所述事件信号检测与运动部分对应的一个或多个事件区域；以及
对象检测器，基于所述第二像素信号检测面部中所包括的一个或多个部位；
其中，所述表情检测器基于所述事件信号检测所述一个或多个部位中与所述一个或多个事件区域对应的一个或多个目标部位的运动，并且基于检测的结果检测所述表情。
3.根据权利要求2所述的成像装置，其中，在所述结果指示嘴巴的运动比眼睛的运动更早的情况下，所述表情检测器确定检测的所述表情为真实微笑。
4.根据权利要求1所述的成像装置，其中，
所述事件检测设备还包括通过成像而输出第二像素信号的成像设备；
所述成像装置还包括：
运动检测器，基于所述事件信号检测与运动部分对应的一个或多个事件区域；以及
对象检测器，基于所述第二像素信号检测面部中所包括的一个或多个部位；并且
所述表情检测器基于所述事件信号检测所述一个或多个部位中与所述一个或多个事件区域对应的一个或多个目标部位的运动，并且基于检测的结果检测所述表情。
5.根据权利要求4所述的成像装置，其中，在所述结果指示嘴巴的运动比眼睛的运动更早的情况下，所述表情检测器确定检测的所述表情为真实微笑。
6.根据权利要求1所述的成像装置，还包括：
帧生成器，使用在预定时间窗口内从所述事件检测设备输出的所述事件信号而生成帧图像；
运动检测器，基于所述事件信号检测与运动部分对应的一个或多个事件区域；以及
对象检测器，基于通过所述帧生成器生成的所述帧图像而检测面部中所包括的一个或多个部位；
其中，所述表情检测器基于所述事件信号检测所述一个或多个部位中与所述一个或多个事件区域对应的一个或多个目标部位的运动，并且基于检测的结果检测所述表情。
7.根据权利要求6所述的成像装置，其中，在所述结果指示嘴巴的运动比眼睛的运动更早的情况下，所述表情检测器确定检测的所述表情为真实微笑。
8.一种检测表情的方法，所述方法包括：
生成与通过成像获得的第一像素信号的时间变化对应的事件信号；并且
基于已生成的所述事件信号而检测表情。
9.根据权利要求8所述的检测表情的方法，所述方法还包括：
基于所述事件信号检测与运动部分对应的一个或多个事件区域；
基于通过成像生成的第二像素信号而检测面部中所包括的一个或多个部位；并且
基于所述事件信号检测所述一个或多个部位中与所述一个或多个事件区域对应的一个或多个目标部位的运动，并且基于检测的结果检测所述表情。
10.根据权利要求9所述的检测表情的方法，所述方法还包括：在所述结果指示嘴巴的运动比眼睛的运动更早的情况下，确定检测的所述表情为真实微笑。
11.根据权利要求8所述的检测表情的方法，所述方法还包括：
使用在预定时间窗口内所生成的所述事件信号而生成帧图像；
基于所述事件信号检测与运动部分对应的一个或多个事件区域；
基于已生成的所述帧图像而检测面部中所包括的一个或多个部位；并且
基于所述事件信号检测所述一个或多个部位中与所述一个或多个事件区域对应的一个或多个目标部位的运动，并且基于检测的结果检测所述表情。
12.根据权利要求11所述的检测表情的方法，所述方法还包括：在所述结果指示嘴巴的运动比眼睛的运动更早的情况下，确定检测的所述表情为真实微笑。
CN202080018797.1A 2019-03-13 2020-02-13 成像装置及检测表情的方法 Active CN113544582B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019045758A JP2020149304A (ja) 2019-03-13 2019-03-13 撮像装置および表情検出方法
JP2019-045758 2019-03-13
PCT/JP2020/005563 WO2020184049A1 (ja) 2019-03-13 2020-02-13 撮像装置および表情検出方法

Publications (2)

Publication Number Publication Date
CN113544582A true CN113544582A (zh) 2021-10-22
CN113544582B CN113544582B (zh) 2023-09-26

Family

ID=72427278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080018797.1A Active CN113544582B (zh) 2019-03-13 2020-02-13 成像装置及检测表情的方法

Country Status (4)

Country Link
US (1) US20220141381A1 (zh)
JP (1) JP2020149304A (zh)
CN (1) CN113544582B (zh)
WO (1) WO2020184049A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6958795B1 (ja) * 2021-01-07 2021-11-02 株式会社エクサウィザーズ 情報処理方法、コンピュータプログラム及び情報処理装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007236488A (ja) * 2006-03-06 2007-09-20 Toyota Motor Corp 覚醒度推定装置及びシステム並びに方法
US20080317285A1 (en) * 2007-06-13 2008-12-25 Sony Corporation Imaging device, imaging method and computer program
JP2009071471A (ja) * 2007-09-12 2009-04-02 Sony Corp 撮像装置及び撮像方法
CN101625505A (zh) * 2008-07-10 2010-01-13 华晶科技股份有限公司 脸部辨识的连续拍照方法
US20100033590A1 (en) * 2008-08-07 2010-02-11 Canon Kabushiki Kaisha Image sensing apparatus, image capturing method, and program
US20100053363A1 (en) * 2008-09-03 2010-03-04 Samsung Digital Imaging Co., Ltd. Photographing method and apparatus
US20100110268A1 (en) * 2008-11-05 2010-05-06 Sony Corporation Imaging apparatus and display control method thereof
US20100188520A1 (en) * 2009-01-23 2010-07-29 Nikon Corporation Imaging device and storage medium storing program
CN103957357A (zh) * 2009-08-07 2014-07-30 奥林巴斯映像株式会社 摄影装置
CN105103536A (zh) * 2013-03-06 2015-11-25 日本电气株式会社 成像设备、成像方法以及程序
JP2016127525A (ja) * 2015-01-07 2016-07-11 キヤノン株式会社 撮像装置およびその制御方法、並びにプログラム
US20170289441A1 (en) * 2014-12-26 2017-10-05 Fujifilm Corporation Focusing control device, imaging device, focusing control method, and focusing control program
US9836484B1 (en) * 2015-12-30 2017-12-05 Google Llc Systems and methods that leverage deep learning to selectively store images at a mobile image capture device
US9838641B1 (en) * 2015-12-30 2017-12-05 Google Llc Low power framework for processing, compressing, and transmitting images at a mobile image capture device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5802220A (en) * 1995-12-15 1998-09-01 Xerox Corporation Apparatus and method for tracking facial motion through a sequence of images
US20170132466A1 (en) * 2014-09-30 2017-05-11 Qualcomm Incorporated Low-power iris scan initialization
US9918038B2 (en) * 2016-02-29 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for multimedia capture

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007236488A (ja) * 2006-03-06 2007-09-20 Toyota Motor Corp 覚醒度推定装置及びシステム並びに方法
US20080317285A1 (en) * 2007-06-13 2008-12-25 Sony Corporation Imaging device, imaging method and computer program
JP2009071471A (ja) * 2007-09-12 2009-04-02 Sony Corp 撮像装置及び撮像方法
CN101625505A (zh) * 2008-07-10 2010-01-13 华晶科技股份有限公司 脸部辨识的连续拍照方法
US20100033590A1 (en) * 2008-08-07 2010-02-11 Canon Kabushiki Kaisha Image sensing apparatus, image capturing method, and program
US20100053363A1 (en) * 2008-09-03 2010-03-04 Samsung Digital Imaging Co., Ltd. Photographing method and apparatus
US20100110268A1 (en) * 2008-11-05 2010-05-06 Sony Corporation Imaging apparatus and display control method thereof
US20100188520A1 (en) * 2009-01-23 2010-07-29 Nikon Corporation Imaging device and storage medium storing program
CN103957357A (zh) * 2009-08-07 2014-07-30 奥林巴斯映像株式会社 摄影装置
CN105103536A (zh) * 2013-03-06 2015-11-25 日本电气株式会社 成像设备、成像方法以及程序
US20170289441A1 (en) * 2014-12-26 2017-10-05 Fujifilm Corporation Focusing control device, imaging device, focusing control method, and focusing control program
JP2016127525A (ja) * 2015-01-07 2016-07-11 キヤノン株式会社 撮像装置およびその制御方法、並びにプログラム
US9836484B1 (en) * 2015-12-30 2017-12-05 Google Llc Systems and methods that leverage deep learning to selectively store images at a mobile image capture device
US9838641B1 (en) * 2015-12-30 2017-12-05 Google Llc Low power framework for processing, compressing, and transmitting images at a mobile image capture device

Also Published As

Publication number Publication date
CN113544582B (zh) 2023-09-26
WO2020184049A1 (ja) 2020-09-17
JP2020149304A (ja) 2020-09-17
US20220141381A1 (en) 2022-05-05

Similar Documents

Publication Publication Date Title
US9398235B2 (en) Apparatus and method for fusing images
CN107113383B (zh) 图像处理装置、图像处理方法和存储介质
KR101828411B1 (ko) 영상 처리 방법 및 영상 처리 장치
US8599300B2 (en) Digital photographing apparatus and control method
JP4410168B2 (ja) 画像処理装置
JP2020053827A (ja) 固体撮像素子、および、撮像装置
JP2008263522A (ja) 画像処理装置及び方法
JP6366739B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2017011634A (ja) 撮像装置およびその制御方法、並びにプログラム
CN113544582B (zh) 成像装置及检测表情的方法
US8084730B2 (en) Dual mode source follower for low and high sensitivity applications
KR20110080395A (ko) 움직임 검출 장치와 방법, 및 그 검출장치를 포함한 영상처리장치
JP2007251532A (ja) 撮像装置及び顔領域抽出方法
CN111886872B (zh) 编码装置、解码装置、编码方法、解码方法、以及记录介质
US8174602B2 (en) Image sensing system and method utilizing a MOSFET
JP6661841B2 (ja) 撮像用途のための拡張高ダイナミックレンジ直接注入回路
JP7172736B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
JP7200791B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
JP2017123069A (ja) 画像処理装置および方法、および撮像装置
JP7208502B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
KR102240054B1 (ko) 영상 처리 장치
CN110024378B (zh) 摄像装置以及摄像机
WO2020152997A1 (ja) 画像処理システムおよびカメラシステム
JP2007259335A (ja) 画像処理方法及び画像処理装置
KR100930771B1 (ko) 카메라 모듈

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant