JP2020149304A - 撮像装置および表情検出方法 - Google Patents

Abstract

【課題】表情を識別することの可能な撮像装置および表情検出方法を提供する。【解決手段】本開示の一実施の形態に係る撮像装置は、撮像により得られる第１画素信号の時間的な変化に対応するイベント信号を出力するイベント検出素子と、イベント検出素子から出力されるイベント信号に基づいて表情を検出する表情検出部とを備えている。【選択図】図１

Description

本開示は、撮像装置および表情検出方法に関する。

近年、デジタルカメラや、スマートフォンでは、笑顔の瞬間を的確に捉えるために、被写体が笑顔であるか否かの判定結果に応じて自動的にシャッターを切る“スマイルシャッタ”（登録商標）という機能が搭載されている（例えば、特許文献１参照）。

特開２０１８−１５１６６０号公報

ところで、笑顔には、真の笑顔だけでなく、作り笑いや、苦笑いなど、様々な笑顔がある。しかし、これらの違いは非常にわずかであり、例えば、真の笑顔を他の種類の笑顔と識別することは困難であるという問題があった。従って、表情を識別することの可能な撮像装置および表情検出方法を提供することが望ましい。

本開示の一実施の形態に係る撮像装置は、撮像により得られる第１画素信号の時間的な変化に対応するイベント信号を出力するイベント検出素子と、イベント検出素子から出力されるイベント信号に基づいて表情を検出する表情検出部とを備えている。

本開示の一実施の形態に係る表情検出方法は、撮像により得られる第１画素信号の時間的な変化に対応するイベント信号を生成することと、生成したイベント信号に基づいて表情を検出することとを含む。

本開示の一実施の形態に係る撮像装置および表情検出方法では、撮像により得られる第１画素信号の時間的な変化に対応するイベント信号に基づいて表情が検出される。これにより、表情のわずかな違いを識別することが可能である。

本開示の一実施の形態に係る撮像装置の概略構成の一例を表す図である。 図１のイベント検出素子の概略構成の一例を表す図である。 図２の画素の概略構成の一例を表す図である。 図１の撮像素子の概略構成の一例を表す図である。 図４の画素の概略構成の一例を表す図である。 図１の信号処理部の概略構成の一例を表す図である。 図１の撮像装置における表情検出手順の一例を表す図である。 図１の撮像装置における表情検出手順の一変形例を表す図である。 図１の撮像装置における真の笑顔の検出手順の一変形例を表す図である。 図１の撮像装置における真の笑顔の検出手順の一変形例を表す図である。 図１の撮像装置の概略構成の一変形例を表す図である。 図１の撮像装置の概略構成の一変形例を表す図である。 図１の撮像装置の概略構成の一変形例を表す図である。 図１の撮像装置の概略構成の一変形例を表す図である。 図１４の信号処理部の概略構成の一例を表す図である。 図１４の撮像装置における表情検出手順の一例を表す図である。 図１４の撮像装置における表情検出手順の一変形例を表す図である。 図１４の撮像装置の概略構成の一変形例を表す図である。 図１８の撮像装置における真の笑顔の検出手順の一変形例を表す図である。 図１８の撮像装置における真の笑顔の検出手順の一変形例を表す図である。 図１２の撮像装置の概略構成の一変形例を表す図である。

以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。

１．実施の形態（撮像装置）
イベント検出素子と撮像素子を備えた例（図１〜図１０）
２．変形例（撮像装置）
変形例Ａ：検出用とは別に撮像素子を備えた例（図１１）
変形例Ｂ：イベント検出素子と撮像素子を複合させた素子を
備えた例(図１２、図１３)
変形例Ｃ：フレーミングを行う例（図１４〜図１７）
変形例Ｄ：フレーミングを行い、さらに検出用とは別に
撮像素子を備えた例（図１８〜図２０）
変形例Ｅ：イベント検出素子と撮像素子を複合させた素子を備え
さらに、フレーミングを行う例（図２１）

＜１．実施の形態＞
[構成]
本開示の一実施の形態に係る撮像装置１００について説明する。図１は、本実施の形態に係る撮像装置１００の概略構成例を表したものである。撮像装置１００は、表情を検出することの可能な装置である。撮像装置１００は、例えば、撮像レンズ１１０、イベント検出素子１２０、撮像レンズ１３０、撮像素子１４０、信号処理部１５０、記憶部１６０および制御部１７０を備えている。

撮像レンズ１１０は、入射光を集光してイベント検出素子１２０に導く。イベント検出素子１２０は、撮像により得られる画素信号（第１画素信号）の時間的な変化に対応するイベント信号をイベント画像Ｉｂとして出力する。撮像レンズ１３０は、入射光を集光して撮像素子１４０に導く。撮像素子１４０は、撮像により画素信号（第２画素信号）を生成し、生成した画素信号を撮像画像Ｉａとして出力する。信号処理部１５０は、イベント画像Ｉｂおよび撮像画像Ｉａに基づいて所定の処理を行い、その処理後のデータを記憶部１６０に格納したり、外部に出力したりする。記憶部１６０は、信号処理部１５０からのデータを記録する。制御部１７０は、イベント検出素子１２０や撮像素子１４０を制御して撮像を実行させる。

図２は、イベント検出素子１２０の概略構成例を表したものである。イベント検出素子１２０は、例えば、複数の画素１２２が行列状に配置された画素アレイ部１２１と、行駆動回路１２３と、列駆動回路１２４と、信号処理回路１２５とを有している。各画素１２２は、撮像により得られる画素信号（第１画素信号）の時間的な変化（時間的な前後の差分）に対応するイベント信号を出力する。行駆動回路１２３は、行アドレスを選択して、その行アドレスに対応するイベント信号を信号処理回路１２５に出力させる。列駆動回路１２４は、列アドレスを選択して、その列アドレスに対応するイベント信号を信号処理回路１２５に出力させる。信号処理回路１２５は、画素アレイ部１２１から出力されたイベント信号に対して所定の信号処理を実行する。信号処理回路１２５は、例えば、イベント信号を画素信号として二次元格子状に配列し、画素毎に１ビットの情報を有する画像データ（イベント画像Ｉｂ）を生成すし、信号処理部１５０に出力する。

図３は、各画素１２２の概略構成例を表したものである。各画素１２２は、例えば、フォトダイオード１２２Ａ、電流電圧変換回路１２２Ｂ、バッファ回路１２２Ｃ、減算器１２２Ｄ、量子化器１２２Ｅおよび転送回路１２２Ｆを有している。

フォトダイオード１２２Ａは、入射光を光電変換して光電流を生成する。電流電圧変換回路１２２Ｂは、対応するフォトダイオード１２２Ａからの光電流を電圧信号に変換する。電流電圧変換回路１２２Ｂは、例えば、対応するフォトダイオード１２２Ａからの光電流を対数の電圧信号に変換する対数変換回路である。対数変換回路としては、例えば、ダイオード型、ゲート接地型、ソース接地型、または、ゲインブースト型などが挙げられる。電流電圧変換回路１２２Ｂは、電圧信号をバッファ回路１２２Ｃに出力する。バッファ回路１２２Ｃは、例えば、インピーダンス変換を行うソースフォロア回路であり、電流電圧変換回路１２２Ｂから入力された電圧信号の信号レベルを補正し、補正後の電圧信号を減算器１２２Ｄに出力する。

減算器１２２Ｄは、行駆動回路１２３からの行駆動信号に従ってバッファ回路１２２Ｃからの電圧信号のレベルを低下させる。減算器１２２Ｄは、例えば、２つのコンデンサと、インバータと、スイッチとを有する。一方のコンデンサ（以下、「コンデンサＣ１」と称する。）では、一端がバッファ回路１２２Ｃの出力端に接続され、他端がインバータの入力端に接続される。他方のコンデンサ（以下、「コンデンサＣ２」と称する。）は、インバータに並列接続される。スイッチは、インバータに並列接続される。スイッチは行駆動信号に従って開閉する。インバータは、コンデンサＣ１を介してバッファ回路１２２Ｃから入力された電圧信号を反転する。インバータは反転した信号を量子化器１２２Ｅに出力する。

スイッチをオンした際に、コンデンサＣ１のバッファ回路１２２Ｃ側に電圧信号Ｖ_ｉｎｉｔが入力され、その逆側は仮想接地端子となる。この仮想接地端子の電位を便宜上、ゼロとする。このとき、コンデンサＣ１に蓄積されている電位Ｑ_ｉｎｉｔは、コンデンサＣ１の容量をＣａとすると、次の式により表される。一方、コンデンサＣ２の両端は、短絡されているため、その蓄積電荷はゼロとなる。
Ｑ_ｉｎｉｔ＝Ｃａ×Ｖ_ｉｎｉｔ・・・式１

次に、スイッチがオフされて、コンデンサＣ１のバッファ回路１２２Ｃ側の電圧が変化してＶ_{ａｆｔｅｒ}になった場合を考えると、コンデンサＣ１に蓄積される電荷Ｑ_{ａｆｔｅｒ}は、次の式により表される。
Ｑ_{ａｆｔｅｒ}＝Ｃａ×Ｖ_{ａｆｔｅｒ}・・・式２

一方、コンデンサＣ２に蓄積される電荷Ｑ２は、コンデンサＣ２の容量をＣｂとし、出力電圧をＶ_ｏｕｔとすると、次の式により表される。
Ｑ２＝−Ｃｂ×Ｖ_ｏｕｔ・・・式３

このとき、コンデンサＣ１，Ｃ２の総電荷量は変化しないため、次の式が成立する。
Ｑ_ｉｎｉｔ＝Ｑ_{ａｆｔｅｒ}＋Ｑ２・・・式４

式４に式１から式３を代入して変形すると、次の式が得られる。
Ｖ_ｏｕｔ＝−（Ｃａ／Ｃｂ）×（Ｖ_{ａｆｔｅｒ}−Ｖ_ｉｎｉｔ）・・・式５

式５は、電圧信号の減算動作を表し、減算結果の利得はＣａ／Ｃｂとなる。通常、利得を最大化することが望まれるため、Ｃａを大きく、Ｃｂを小さく設計することが好ましい。一方、Ｃｂが小さすぎると、ｋＴＣノイズが増大し、ノイズ特性が悪化するおそれがあるため、Ｃｂの容量削減は、ノイズを許容することができる範囲に制限される。また、画素１２２ごとに減算器１２２Ｄを含む画素アレイ部１２１が搭載されるため、容量ＣａやＣｂには、面積上の制約がある。これらを考慮して、例えば、Ｃａは、２０から２００フェムトファラッド（ｆＦ）の値に設定され、Ｃｂは、１から２０フェムトファラッド（ｆＦ）の値に設定される。

量子化器１２２Ｅは、例えば、コンパレータを有する。コンパレータは、例えば、減算器１２２Ｄから入力された電圧信号を２つの閾値と比較し、その結果に応じて、電圧信号に対して＋１、０および−１のいずれかの値を割り当てる。量子化器１２２Ｅは、比較結果を示す信号（例えば、電圧信号に対して割り当てられた＋１、０および−１のいずれかの値）を検出信号として転送回路１２２Ｆに出力する。転送回路１２２Ｆは、列駆動回路１２４からの列駆動信号に従って、検出信号を量子化器１２２Ｅから信号処理回路１２５に転送する。

図４は、撮像素子１４０の概略構成例を表したものである。撮像素子１４０は、例えば、複数の画素１４２が行列状に配置された画素アレイ部１４１と、行駆動回路１４３と、列駆動回路１４４と、信号処理回路１４５とを有している。各画素１４２は、撮像により画素信号（第２画素信号）を生成し、出力する。行駆動回路１４３は、行アドレスを選択して、その行アドレスに対応する画素信号を信号処理回路１４５に出力させる。列駆動回路１４４は、列アドレスを選択して、その列アドレスに対応する画素信号を信号処理回路１４５に出力させる。信号処理回路１４５は、画素アレイ部１４１から出力された画素信号に対して所定の信号処理を実行する。信号処理回路１４５は、例えば、画素信号を二次元格子状に配列し、画素毎に１ビットの情報を有する画像データ（撮像画像Ｉａ）を生成すし、信号処理部１５０に出力する。

図５は、各画素１４２の概略構成例を表したものである。各画素１４２は、例えば、フォトダイオード１４２Ａ、電流電圧変換回路１４２Ｂ、バッファ回路１４２Ｃおよび転送回路１４２Ｄを有している。

フォトダイオード１４２Ａは、入射光を光電変換して光電流を生成する。電流電圧変換回路１４２Ｂは、対応するフォトダイオード１４２Ａからの光電流を電圧信号に変換する。電流電圧変換回路１４２Ｂは、電圧信号をバッファ回路１４２Ｃに出力する。バッファ回路１４２Ｃは、例えば、インピーダンス変換を行うソースフォロア回路であり、電流電圧変換回路１４２Ｂから入力された電圧信号の信号レベルを補正し、補正後の電圧信号を転送回路１４２Ｄに出力する。転送回路１４２Ｄは、行駆動回路１４３の行駆動信号と列駆動回路１４４からの列駆動信号とに従って、検出信号をバッファ回路１４２Ｃから信号処理回路１４に転送する。

図６は、信号処理部１５０の概略構成例を表したものである。信号処理部１５０は、例えば、動き検出部１５１、物体検出部１５２、顔表情検出部１５３、信号処理部１５４、出力部１５５および記憶部１５６を有している。

動き検出部１５１は、イベント画像Ｉｂ（イベント信号）に基づいて、動きのある箇所に相当する１または複数のイベントエリアを検出する。動き検出部１５１は、さらに、イベント画像Ｉｂのうち、検出された１または複数のイベントエリアに対応する箇所を切り出す。動き検出部１５１は、イベント画像Ｉｂから切り出した１または複数の領域ＲＯＩ（Region Of Interest）の画像データＩ_ＲＯＩを顔表示検出部１５３に出力する。

物体検出部１５２は、撮像素子１４０から得られた撮像画像Ｉａ（画素信号）に基づいて顔に含まれる１または複数のパーツを検出する。顔に含まれるパーツとしては、例えば、目、鼻、口などが挙げられる。物体検出部１５２は、検出されたパーツの情報（パーツ情報１５２Ａ）を顔表示検出部１５３に出力する。パーツ情報１５２Ａには、例えば、名称および位置座標などが含まれる。

顔表情検出部１５３は、イベント検出素子１２０から出力されるイベント画像Ｉｂ（イベント信号）に基づいて表情を検出する。具体的には、顔表情検出部１５３は、１または複数のパーツ（パーツ情報１５２Ａ）のうち、１または複数のイベントエリアに対応する１または複数の対象パーツの動きを、画像データＩ_ＲＯＩ（イベント信号）に基づいて検出し、その検出の結果に基づいて、表情を検出する。

信号処理部１５４は、顔表情検出部１５３で検出された表情に応じた制御信号を生成し、出力部１５５に出力する。信号処理部１５４は、さらに、顔表情検出部１５３で検出された表情に関する情報を記憶部１５６に格納する。出力部１５５は、信号処理部１５４から入力された制御信号を外部に出力する。

[表情検出]
次に、本実施の形態に係る撮像装置１００における表情検出手順について説明する。図７は、撮像装置１００における表情検出手順の一例を表したものである。

まず、信号処理回路１５０は、イベント検出素子１２０からイベント画像Ｉｂ（イベント信号）を取得する（ステップＳ１０１）。次に、信号処理回路１５０は、イベント画像Ｉｂ（イベント信号）に基づいて、動きのある箇所に相当する１または複数のイベントエリアを検出する（ステップＳ１０２）。次に、信号処理回路１５０は、イベント画像Ｉｂのうち、検出された１または複数のイベントエリアに対応する箇所（領域ＲＯＩ）を切り出し、それにより、１または複数の画像データＩ_ＲＯＩを取得する。

次に、信号処理回路１５０は、撮像素子１４０から撮像画像Ｉａ（画素信号）を取得する（ステップＳ１０３）。次に、信号処理回路１５０は、撮像画像Ｉａに基づいて顔に含まれる１または複数のパーツを検出する（ステップＳ１０４）。次に、信号処理回路１５０は、イベント検出素子１２０から出力されるイベント画像Ｉｂ（イベント信号）に基づいて表情を検出する。具体的には、信号処理回路１５０は、１または複数のパーツ（パーツ情報１５２Ａ）のうち、１または複数のイベントエリアに対応する１または複数の対象パーツの動きを、画像データＩ_ＲＯＩ（イベント信号）に基づいて検出する（ステップＳ１０５）。続いて、信号処理回路１５０は、その検出の結果に基づいて、表情を検出する（ステップＳ１０６）。検出される表情の種類としては、例えば、真の笑顔や、苦笑い、作り笑いなどが挙げられる。

撮像装置１における表情検出は、例えば、図８に示したような手順となっていてもよい。具体的には、まず、信号処理回路１５０は、撮像素子１４０から撮像画像Ｉａ（画素信号）を取得する（ステップＳ２０１）。次に、信号処理回路１５０は、撮像画像Ｉａに基づいて顔に含まれる１または複数のパーツを検出する（ステップＳ２０２）。

次に、信号処理回路１５０は、イベント検出素子１２０からイベント画像Ｉｂ（イベント信号）を取得する（ステップＳ２０３）。次に、信号処理回路１５０は、イベント画像Ｉｂ（イベント信号）に基づいて、動きのある箇所に相当する１または複数のイベントエリアを検出する（ステップＳ２０４）。次に、信号処理回路１５０は、イベント画像Ｉｂのうち、検出された１または複数のイベントエリアに対応する箇所（領域ＲＯＩ）を切り出し、それにより、１または複数の画像データＩ_ＲＯＩを取得する。

次に、信号処理回路１５０は、イベント検出素子１２０から出力されるイベント画像Ｉｂ（イベント信号）に基づいて表情を検出する。具体的には、信号処理回路１５０は、１または複数のパーツ（パーツ情報１５２Ａ）のうち、１または複数のイベントエリアに対応する１または複数の対象パーツの動きを、画像データＩ_ＲＯＩ（イベント信号）に基づいて検出する（ステップＳ２０５）。続いて、信号処理回路１５０は、その検出の結果に基づいて、表情を検出する（ステップＳ２０６）。検出される表情の種類としては、例えば、真の笑顔や、苦笑い、作り笑いなどが挙げられる。

[真の笑顔の検出]
次に、本実施の形態に係る撮像装置１００における真の笑顔の検出手順について説明する。図９は、撮像装置１００における真の笑顔の検出手順の一例を表したものである。

まず、信号処理回路１５０は、上述のステップＳ１０１〜上述のステップＳ１０５までを実行する。次に、信号処理回路１５０は、ステップＳ１０５での検出の結果に基づいて、笑顔を検出する（ステップＳ１０７）。続いて、信号処理回路１５０は、検出した笑顔が真の笑顔か否かを判定する（ステップＳ１０８）。例えば、ステップＳ１０５での検出の結果が、口の動きの方が目の動きよりも早い、ということを示している場合には、信号処理回路１５０は、検出した笑顔が真の笑顔であると判断し、制御部１７０を介して撮像素子１４０に撮像を指示する。信号処理回路１５０は、撮像素子１４０から、真の笑顔が含まれた撮像画像Ｉａを取得する（ステップＳ１０９）一方、例えば、ステップＳ１０５での検出の結果が、口の動きが目の動きと同じ早さか、または、目の動きよりも遅い、ということを示している場合には、信号処理回路１５０は、検出した笑顔が真の笑顔ではないと判断し、ステップＳ１０１へ移行する。このようにして、真の笑顔が含まれた撮像画像Ｉａが取得される。

撮像装置１００における真の笑顔の検出は、例えば、図１０に示したような手順となっていてもよい。具体的には、まず、信号処理回路１５０は、上述のステップＳ２０１〜上述のステップＳ２０５までを実行する。次に、信号処理回路１５０は、ステップＳ２０５での検出の結果に基づいて、笑顔を検出する（ステップＳ２０７）。続いて、信号処理回路１５０は、検出した笑顔が真の笑顔か否かを判定する（ステップＳ２０８）。例えば、ステップＳ２０５での検出の結果が、口の動きの方が目の動きよりも早い、ということを示している場合には、信号処理回路１５０は、検出した笑顔が真の笑顔であると判断し、制御部１７０を介して撮像素子１４０に撮像を指示する。信号処理回路１５０は、撮像素子１４０から、真の笑顔が含まれた撮像画像Ｉａを取得する（ステップＳ２０９）一方、例えば、ステップＳ２０５での検出の結果が、口の動きが目の動きと同じ早さか、または、目の動きよりも遅い、ということを示している場合には、信号処理回路１５０は、検出した笑顔が真の笑顔ではないと判断し、ステップＳ２０１へ移行する。このようにして、真の笑顔が検出される。

[効果]
次に、本実施の形態に係る撮像装置１００の効果について説明する。

近年、デジタルカメラや、スマートフォンでは、笑顔の瞬間を的確に捉えるために、被写体が笑顔であるか否かの判定結果に応じて自動的にシャッターを切る“スマイルシャッタ”（登録商標）という機能が搭載されている。ところで、笑顔には、真の笑顔だけでなく、作り笑いや、苦笑いなど、様々な笑顔がある。しかし、これらの違いは非常にわずかであり、例えば、真の笑顔を他の種類の笑顔と識別することは困難であるという問題があった。

一方、本実施の形態では、イベント検出素子１２０から得られるイベント画像Ｉｂ（イベント信号）に基づいて表情が検出される。これにより、表情のわずかな違いを識別することが可能である。従って、表情を識別することができる。

また、本実施の形態では、１または複数のパーツ（パーツ情報１５２Ａ）のうち、１または複数のイベントエリアに対応する１または複数の対象パーツの動きが画像データＩ_ＲＯＩ（イベント信号）に基づいて検出され、その検出の結果に基づいて、表情が検出される。これにより、表情のわずかな違いを識別することが可能である。従って、表情を識別することができる。

また、本実施の形態では、ステップＳ１０５またはステップＳ２０５での検出の結果が、口の動きの方が目の動きよりも早い、ということを示している場合には、検出した笑顔が真の笑顔であるとの判断がなされる。このように、本実施の形態では、口や目などのわずかな動きに基づいて、笑顔の種類を識別することができる。

＜２．変形例＞
次に、本実施の形態に係る撮像装置１００の変形例について説明する。なお、以下では、上記実施の形態と同一の構成要素に対しては、上記実施の形態と同一の符号が付与されている。

[変形例Ａ]
上記実施の形態において、撮像装置１００は、さらに、例えば、図１１に示したように、笑顔の種類の識別のために用いられる撮像素子１４０とは別に、撮像素子１９０を備えていてもよい。このとき、撮像装置１００は、入射光を集光して撮像素子１９０に導く撮像レンズ１８０を更に備えていてもよい。撮像素子１９０は、撮像により画素信号を生成し、生成した画素信号を撮像画像Ｉｄとして出力する。撮像素子１９０は、例えば、撮像素子１４０と共通の構成要素を有している。このようにした場合には、信号処理回路１５０は、上述のステップＳ１０９、上述のステップＳ２０９において、制御部１７０を介して撮像素子１９０に撮像を指示してもよい。この場合、信号処理回路１５０は、撮像素子１９０から、真の笑顔が含まれた撮像画像Ｉａを取得する。

[変形例Ｂ]
上記実施の形態および上記変形例Ａにおいて、例えば、図１２、図１３に示したように、撮像素子１４０が省略されるともに、イベント検出素子１２０の代わりに、イベント検出素子１２０が撮像素子１４０を含んで構成された複合素子２２０が設けられていてもよい。このようにした場合には、信号処理回路１５０は、上述のステップＳ１０１、上述のステップＳ２０３において、複合素子２２０からイベント画像Ｉｂ（イベント信号）を取得してもよい。また、信号処理回路１５０は、上述のステップＳ１０３、上述のステップＳ２０１において、複合素子２２０から撮像画像Ｉａ（画素信号）を取得してもよい。また、信号処理回路１５０は、上述のステップＳ１０９、上述のステップＳ２０９において、複合素子２２０から、真の笑顔が含まれた撮像画像Ｉａ（画素信号）を取得してもよい。

[変形例Ｃ]
上記実施の形態において、例えば、図１４に示したように、撮像素子１４０が省略され、信号処理部１５０の代わりに信号処理部２３０が設けられていてもよい。この場合、信号処理部２３０は、例えば、図１５に示したように、信号処理部１５０に含まれる各構成要素に加えて、フレーム生成部１５７を有している。

フレーム生成部１５７は、所定のタイムウィンドウにおいてイベント検出素子１２０から出力されるイベント画像Ｉｂ（イベント信号）を用いてフレーム化画像Ｉｄを生成する。本変形例では、物体検出部１５２は、フレーム生成部１５７で生成されたフレーム化画像Ｉｄに基づいて顔に含まれる１または複数のパーツを検出する。

[表情検出]
次に、本変形例に係る撮像装置１００における表情検出手順について説明する。図１６は、本変形例に係る撮像装置１００における表情検出手順の一例を表したものである。

まず、信号処理回路１５０は、イベント検出素子１２０からイベント画像Ｉｂ（イベント信号）を取得する（ステップＳ３０１）。次に、信号処理回路１５０は、イベント画像Ｉｂ（イベント信号）に基づいて、動きのある箇所に相当する１または複数のイベントエリアを検出する（ステップＳ３０２）。次に、信号処理回路１５０は、イベント画像Ｉｂのうち、検出された１または複数のイベントエリアに対応する箇所（領域ＲＯＩ）を切り出し、それにより、１または複数の画像データＩ_ＲＯＩを取得する。

次に、信号処理回路１５０は、所定のタイムウィンドウにおいてイベント検出素子１２０から出力されるイベント画像Ｉｂ（イベント信号）を用いてフレーム化画像Ｉｄを生成する（ステップＳ３０３）。次に、信号処理回路１５０は、フレーム化画像Ｉｄに基づいて顔に含まれる１または複数のパーツを検出する（ステップＳ３０４）。次に、信号処理回路１５０は、イベント検出素子１２０から出力されるイベント画像Ｉｂ（イベント信号）に基づいて表情を検出する。具体的には、信号処理回路１５０は、１または複数のパーツ（パーツ情報１５２Ａ）のうち、１または複数のイベントエリアに対応する１または複数の対象パーツの動きを、画像データＩ_ＲＯＩ（イベント信号）に基づいて検出する（ステップＳ３０５）。続いて、信号処理回路１５０は、その検出の結果に基づいて、表情を検出する（ステップＳ３０６）。

撮像装置１における表情検出は、例えば、図１７に示したような手順となっていてもよい。具体的には、まず、信号処理回路１５０は、撮像素子１４０から撮像画像Ｉａ（画素信号）を取得する（ステップＳ４０１）。次に、信号処理回路１５０は、所定のタイムウィンドウにおいてイベント検出素子１２０から出力されるイベント画像Ｉｂ（イベント信号）を用いてフレーム化画像Ｉｄを生成する（ステップＳ４０２）。次に、信号処理回路１５０は、フレーム化画像Ｉｄに基づいて顔に含まれる１または複数のパーツを検出する（ステップＳ４０３）。

次に、信号処理回路１５０は、イベント画像Ｉｂ（イベント信号）に基づいて、動きのある箇所に相当する１または複数のイベントエリアを検出する（ステップＳ４０４）。次に、信号処理回路１５０は、イベント画像Ｉｂのうち、検出された１または複数のイベントエリアに対応する箇所（領域ＲＯＩ）を切り出し、それにより、１または複数の画像データＩ_ＲＯＩを取得する。

次に、信号処理回路１５０は、イベント検出素子１２０から出力されるイベント画像Ｉｂ（イベント信号）に基づいて表情を検出する。具体的には、信号処理回路１５０は、１または複数のパーツ（パーツ情報１５２Ａ）のうち、１または複数のイベントエリアに対応する１または複数の対象パーツの動きを、画像データＩ_ＲＯＩ（イベント信号）に基づいて検出する（ステップＳ４０５）。続いて、信号処理回路１５０は、その検出の結果に基づいて、表情を検出する（ステップＳ４０６）。

[変形例Ｄ]
上記変形例Ｃにおいて、撮像装置１００は、更に、例えば、図１８に示したように、撮像レンズ１８０および撮像素子１９０を備えていてもよい。このようにした場合、撮像装置１００は、例えば、図１９に示したような、図１６に記載の手順に、図９のステップＳ１０８，Ｓ１０９に示した手順を追加した手順と同様の手順を実行することにより、真の笑顔が含まれた撮像画像Ｉａを取得することができる。また、撮像装置１００は、例えば、図２０に示したような、図１７に記載の手順に、図１０のステップＳ２０８，Ｓ２０９に示した手順を追加した手順と同様の手順を実行することにより、真の笑顔が含まれた撮像画像Ｉａを取得することができる。

[変形例Ｅ]
上記変形例Ｄにおいて、イベント検出素子１２０、撮像素子１９０および撮像レンズ１１０，１８０の代わりに、複合素子２２０および撮像レンズ２１０が設けられていてもよい。このようにした場合であっても、撮像装置１００は、真の笑顔が含まれた撮像画像Ｉａを取得することができる。

また、本開示は、以下のような構成を取ることも可能である。
（１）
撮像により得られる第１画素信号の時間的な変化に対応するイベント信号を出力するイベント検出素子と、
前記イベント検出素子から出力される前記イベント信号に基づいて表情を検出する表情検出部と
を備えた
撮像装置。
（２）
撮像により第２画素信号を生成する撮像素子と、
前記イベント信号に基づいて、動きのある箇所に相当する１または複数のイベントエリアを検出する動き検出部と、
前記第２画素信号に基づいて顔に含まれる１または複数のパーツを検出する物体検出部と
を更に備え、
前記表情検出部は、前記１または複数のパーツのうち、前記１または複数のイベントエリアに対応する１または複数の対象パーツの動きを、前記イベント信号に基づいて検出し、その検出の結果に基づいて、表情を検出する
（１）に記載の撮像装置。
（３）
前記表情検出部は、前記結果が、口の動きの方が目の動きよりも早い、ということを示している場合には、検出した表情が真の笑顔であると判断する
（２）に記載の撮像装置。
（４）
前記イベント検出素子は、撮像により第２画素信号を出力する撮像素子を更に有し、
当該撮像装置は、
前記イベント信号に基づいて、動きのある箇所に相当する１または複数のイベントエリアを検出する動き検出部と、
前記第２画素信号に基づいて顔に含まれる１または複数のパーツを検出する物体検出部と
を更に備え、
前記表情検出部は、前記１または複数のパーツのうち、前記１または複数のイベントエリアに対応する１または複数の対象パーツの動きを、前記イベント信号に基づいて検出し、その検出の結果に基づいて、表情を検出する
（１）に記載の撮像装置。
（５）
前記表情検出部は、前記結果が、口の動きの方が目の動きよりも早い、ということを示している場合には、検出した表情が真の笑顔であると判断する
（４）に記載の撮像装置。
（６）
所定のタイムウィンドウにおいて前記イベント検出素子から出力される前記イベント信号を用いてフレーム化画像を生成するフレーム生成部と、
前記イベント信号に基づいて、動きのある箇所に相当する１または複数のイベントエリアを検出する動き検出部と、
前記フレーム生成部で生成された前記フレーム化画像に基づいて顔に含まれる１または複数のパーツを検出する物体検出部と
を更に備え、
前記表情検出部は、前記１または複数のパーツのうち、前記１または複数のイベントエリアに対応する１または複数の対象パーツの動きを、前記イベント信号に基づいて検出し、その検出の結果に基づいて、表情を検出する
（１）に記載の撮像装置。
（７）
前記表情検出部は、前記結果が、口の動きの方が目の動きよりも早い、ということを示している場合には、検出した表情が真の笑顔であると判断する
（６）に記載の撮像装置。
（８）
撮像により得られる第１画素信号の時間的な変化に対応するイベント信号を生成することと、
生成した前記イベント信号に基づいて表情を検出することと
を含む
表情検出方法。
（９）
前記イベント信号に基づいて、動きのある箇所に相当する１または複数のイベントエリアを検出することと、
撮像により生成された第２画素信号に基づいて顔に含まれる１または複数のパーツを検出することと、
前記１または複数のパーツのうち、前記１または複数のイベントエリアに対応する１または複数の対象パーツの動きを、前記イベント信号に基づいて検出し、その検出の結果に基づいて、表情を検出することと
を更に含む
（８）に記載の表情検出方法。
（１０）
前記結果が、口の動きの方が目の動きよりも早い、ということを示している場合には、検出した表情が真の笑顔であると判断することを更に含む
（９）に記載の表情検出方法。
（１１）
所定のタイムウィンドウにおいて生成される前記イベント信号を用いてフレーム化画像を生成することと、
前記イベント信号に基づいて、動きのある箇所に相当する１または複数のイベントエリアを検出することと、
生成した前記フレーム化画像に基づいて顔に含まれる１または複数のパーツを検出することと、
前記１または複数のパーツのうち、前記１または複数のイベントエリアに対応する１または複数の対象パーツの動きを、前記イベント信号に基づいて検出し、その検出の結果に基づいて、表情を検出することと
を更に含む
（８）に記載の表情検出方法。
（１２）
前記結果が、口の動きの方が目の動きよりも早い、ということを示している場合には、検出した表情が真の笑顔であると判断することを更に含む
（１１）に記載の表情検出方法。

本開示の一実施の形態に係る撮像装置および表情検出方法では、撮像により得られる第１画素信号の時間的な変化に対応するイベント信号に基づいて表情が検出される。これにより、表情のわずかな違いを識別することが可能である。従って、表情を識別することができる。なお、本技術の効果は、ここに記載された効果に必ずしも限定されず、本明細書中に記載されたいずれの効果であってもよい。

１００…撮像装置、１１０，１３０…撮像レンズ、１２０…イベント検出素子、１２１…画素アレイ部、１２２…画素、１２２Ａ…フォトダイオード、１２２Ｂ…電流電圧変換回路、１２２Ｃ…バッファ回路、１２２Ｄ…減算器、１２２Ｅ…量子化器、１２２Ｆ…転送回路、１２３…行駆動回路、１２４…列駆動回路、１２５…信号処理回路、１４０…撮像素子、１４１…画素アレイ部、１４２…画素、１４２Ａ…フォトダイオード、１４２Ｂ…電流電圧変換回路、１４２Ｃ…バッファ回路、１４２Ｄ…転送回路、１４３…行駆動回路、１４４…列駆動回路、１４５…信号処理回路、１５０…信号処理部、１５１…動き検出部、１５２…物体検出部、１５３…顔表情検出部、１５４…信号処理部、１５５…出力部、１５６…記憶部、１５７…フレーム生成部、１６０…記憶部、１７０…制御部、１８０…撮像レンズ、１９０…撮像素子、２１０…撮像レンズ、２２０…複合素子、２３０…信号処理部。

Claims (12)

1. 撮像により得られる第１画素信号の時間的な変化に対応するイベント信号を出力するイベント検出素子と、
   前記イベント検出素子から出力される前記イベント信号に基づいて表情を検出する表情検出部と
   を備えた
   撮像装置。
2. 撮像により第２画素信号を生成する撮像素子と、
   前記イベント信号に基づいて、動きのある箇所に相当する１または複数のイベントエリアを検出する動き検出部と、
   前記第２画素信号に基づいて顔に含まれる１または複数のパーツを検出する物体検出部と
   を更に備え、
   前記表情検出部は、前記１または複数のパーツのうち、前記１または複数のイベントエリアに対応する１または複数の対象パーツの動きを、前記イベント信号に基づいて検出し、その検出の結果に基づいて、表情を検出する
   請求項１に記載の撮像装置。
3. 前記表情検出部は、前記結果が、口の動きの方が目の動きよりも早い、ということを示している場合には、検出した表情が真の笑顔であると判断する
   請求項２に記載の撮像装置。
4. 前記イベント検出素子は、撮像により第２画素信号を出力する撮像素子を更に有し、
   当該撮像装置は、
   前記イベント信号に基づいて、動きのある箇所に相当する１または複数のイベントエリアを検出する動き検出部と、
   前記第２画素信号に基づいて顔に含まれる１または複数のパーツを検出する物体検出部と
   を更に備え、
   前記表情検出部は、前記１または複数のパーツのうち、前記１または複数のイベントエリアに対応する１または複数の対象パーツの動きを、前記イベント信号に基づいて検出し、その検出の結果に基づいて、表情を検出する
   請求項１に記載の撮像装置。
5. 前記表情検出部は、前記結果が、口の動きの方が目の動きよりも早い、ということを示している場合には、検出した表情が真の笑顔であると判断する
   請求項４に記載の撮像装置。
6. 所定のタイムウィンドウにおいて前記イベント検出素子から出力される前記イベント信号を用いてフレーム化画像を生成するフレーム生成部と、
   前記イベント信号に基づいて、動きのある箇所に相当する１または複数のイベントエリアを検出する動き検出部と、
   前記フレーム生成部で生成された前記フレーム化画像に基づいて顔に含まれる１または複数のパーツを検出する物体検出部と
   を更に備え、
   前記表情検出部は、前記１または複数のパーツのうち、前記１または複数のイベントエリアに対応する１または複数の対象パーツの動きを、前記イベント信号に基づいて検出し、その検出の結果に基づいて、表情を検出する
   請求項１に記載の撮像装置。
7. 前記表情検出部は、前記結果が、口の動きの方が目の動きよりも早い、ということを示している場合には、検出した表情が真の笑顔であると判断する
   請求項６に記載の撮像装置。
8. 撮像により得られる第１画素信号の時間的な変化に対応するイベント信号を生成することと、
   生成した前記イベント信号に基づいて表情を検出することと
   を含む
   表情検出方法。
9. 前記イベント信号に基づいて、動きのある箇所に相当する１または複数のイベントエリアを検出することと、
   撮像により生成された第２画素信号に基づいて顔に含まれる１または複数のパーツを検出することと、
   前記１または複数のパーツのうち、前記１または複数のイベントエリアに対応する１または複数の対象パーツの動きを、前記イベント信号に基づいて検出し、その検出の結果に基づいて、表情を検出することと
   を更に含む
   請求項８に記載の表情検出方法。
10. 前記結果が、口の動きの方が目の動きよりも早い、ということを示している場合には、検出した表情が真の笑顔であると判断することを更に含む
    請求項９に記載の表情検出方法。
11. 所定のタイムウィンドウにおいて生成される前記イベント信号を用いてフレーム化画像を生成することと、
    前記イベント信号に基づいて、動きのある箇所に相当する１または複数のイベントエリアを検出することと、
    生成した前記フレーム化画像に基づいて顔に含まれる１または複数のパーツを検出することと、
    前記１または複数のパーツのうち、前記１または複数のイベントエリアに対応する１または複数の対象パーツの動きを、前記イベント信号に基づいて検出し、その検出の結果に基づいて、表情を検出することと
    を更に含む
    請求項８に記載の表情検出方法。
12. 前記結果が、口の動きの方が目の動きよりも早い、ということを示している場合には、検出した表情が真の笑顔であると判断することを更に含む
    請求項１１に記載の表情検出方法。
    

Images