JP2016126472A - 心拍数検出装置及びそれを用いた顔認識システム - Google Patents

心拍数検出装置及びそれを用いた顔認識システム Download PDF

Info

Publication number
JP2016126472A
JP2016126472A JP2014265998A JP2014265998A JP2016126472A JP 2016126472 A JP2016126472 A JP 2016126472A JP 2014265998 A JP2014265998 A JP 2014265998A JP 2014265998 A JP2014265998 A JP 2014265998A JP 2016126472 A JP2016126472 A JP 2016126472A
Authority
JP
Japan
Prior art keywords
signal
heart rate
image
face recognition
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014265998A
Other languages
English (en)
Inventor
英一郎 越河
Eiichiro Koshikawa
英一郎 越河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2014265998A priority Critical patent/JP2016126472A/ja
Priority to US14/926,412 priority patent/US10148896B2/en
Publication of JP2016126472A publication Critical patent/JP2016126472A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/02427—Details of sensor
    • A61B5/02433—Details of sensor for infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1464—Back illuminated imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Power Engineering (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Theoretical Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Cardiology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Physiology (AREA)
  • Vascular Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Collating Specific Patterns (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)

Abstract

【課題】 顔認証を高精度に行う。【解決手段】 一つの実施形態によれば、顔認識システムは、画像センサ、顔認識処理部、心拍数検出部、及び認証部を有する。画像センサは、入射光を赤外画素で検出して、検出された赤外情報を出力する。顔認識処理部は、画像情報信号に基づいて、人物の顔を認識する。心拍数検出部は、赤外情報に基づいて、顔の血管の脈動から前記人物の心拍数を読み取る。認証部は、顔認識部から出力される顔認識信号を入力し、心拍数が入力されたときに人物が本人であると認証し、心拍数が入力されないときに人物は写真であると認証する。【選択図】 図１

Description

本発明の実施形態は、心拍数検出装置及びそれを用いた顔認識システムに関する。
顔認証では、人物本人と写真を識別することが必要である。色や画像処理では、人物本人と写真を見分けることができない。可視光領域の映像信号を用いて顔認証を行うと、感度が低く、顔認証までの時間がかかり、精度が低いという問題点がある。
このため、高精度で顔認証を実行できる顔認識システムが要望されている。
特開２０１４−７１６２８号公報
本発明は、顔認証を高精度にすることできる心拍数検出装置及びそれを用いた顔認識システムを提供することにある。
一つの実施形態によれば、顔認識システムは、画像センサ、顔認識処理部、心拍数検出部、及び認証部を有する。画像センサは、入射光を赤外画素で検出して、検出された赤外情報を出力する。顔認識処理部は、画像情報信号に基づいて、人物の顔を認識する。心拍数検出部は、赤外情報に基づいて、顔の血管の脈動から前記人物の心拍数を読み取る。認証部は、顔認識部から出力される顔認識信号を入力し、心拍数が入力されたときに人物が本人であると認証し、心拍数が入力されないときに人物は写真であると認証する。
第一の実施形態に係る顔認識システムを示すブロック図である。 第一の実施形態に係る画像センサの断面図である。 第一の実施形態に係るカラーフィルタの波長に対する相対感度を示す図である。 第一の実施形態に係る画素配列を示す概略平面図である。 変形例の画素配列を示す概略平面図であり、図５（ａ）はＩＲ画素が１／１６であり、図５（ｂ）はＩＲ画素が１／６４である。 各材料の波長（エネルギー）に対する光吸収係数を示す特性図である。 第一の実施形態に係る顔認識のプロセスステップを示す図である。 第一の実施形態に係る顔の識別のプロセスステップを示す図である。 第二の実施形態に係る昼間モードでの信号処理部から出力される信号を示す図である。 第二の実施形態に係る夜間モードでの信号処理部から出力される信号を示す図である。
以下本発明の実施形態について図面を参照しながら説明する。
（第一の実施形態）
まず、本発明の実施形態に係る心拍数検出装置及びそれを用いた顔認識システムについて、図面を参照して説明する。図１は、顔認識システムを示すブロック図である。図２は、画像センサの断面図である。本実施形態では、画像センサにＩＲ画素、赤外透過カラーフィルタを設けて心拍数検出を高感度にし、心拍数の有無を用いて高精度に顔認証を実行している。
図１に示すように、顔認識システム９０は、画像表示部２、顔認識処理部３、認証部５、記憶部６、及び心拍数検出装置８０を有する。顔認識システム９０は、人物本人と写真の見分けを高精度に実行することができる。
心拍数検出装置８０は、画像取り込み部１と心拍数検出部４を有する。画像取り込み部１は、画像センサ１１と信号処理部１２を有する。心拍数検出装置８０は、赤外画素で検出した赤外情報を用いて、血管の脈動から人物の心拍数を高感度に検出する。
画像センサ１１は、入射光を入力し、光電変換した画像信号に出力する。
図２に示すように、画像センサ１１は、Ｂ画素（青色画素）、Ｇ画素（緑色画素）、Ｒ画素（赤色画素）、及びＩＲ画素（赤外画素）を有する。
画像センサ１１では、支持基板２７、配線層２３、半導体層２１と半導体層２２からなるフォトダイオード、カラーフィルタ、及びマイクロレンズＭＬレンズが積層されている。画像センサ１１は、マイクロレンズＭＬを介して入射光が入力される裏面照射型センサである。半導体層２１は、例えばＰ型半導体層である。半導体層２２は、Ｎ型半導体層である。
Ｂ画素領域では、半導体層２１と半導体層２２からなるフォトダイオード（第一フォトダイオード）、カラーフィルタＣＦｂ、及びマイクロレンズＭＬが積層される。Ｇ画素領域では、半導体層２１と半導体層２２からなるフォトダイオード（第二フォトダイオード）、カラーフィルタＣＦｇ、及びマイクロレンズＭＬが積層される。Ｒ画素領域では、半導体層２１と半導体層２２からなるフォトダイオード（第三フォトダイオード）、カラーフィルタＣＦｒ、及びマイクロレンズＭＬが積層される。ＩＲ画素領域では、半導体層２１と半導体層２２からなるフォトダイオード（第四フォトダイオード）、カラーフィルタＣＦｉｒ、及びマイクロレンズＭＬが積層される。
各画素領域の間の半導体層２１表面（カラーフィルタに接する面側）には、画素分離層ＳＴＩが設けられる。各画素領域の間において、半導体層２１と配線層２３の間に画素トランジスタ２６が設けられる。画素トランジスタ２６は、ソース、ドレイン、チャネル領域が半導体層２１側に設けられ、ゲート絶縁膜、ゲート電極、ソース電極、ドレイン電極が配線層２３側に設けられる。
配線層２３は、絶縁層２４、配線２５が設けられる。フォトダイオードで光電変換された画像信号Ｓｃｉは、画素トランジスタ２６を介して配線２５を経由して信号処理部１２に送信される。
本実施形態では、血流の脈動から心拍数を検出している。血流は皮膚直下の血管を流れているので、可視光領域の赤色帯域成分を用いるよりも波長の長い赤外帯域成分（例えば、近赤外帯域成分）を用いると検出信号強度を大きくすることができる。
カラーフィルタの特性について図３を参照して説明する。図３は、カラーフィルタの波長に対する相対感度を示す図である。
図３に示すように、カラーフィルタＣＦｂは、波長４５０ｎｍ付近に最大感度を有する可視光透過フィルタである。カラーフィルタＣＦｇは、波長５３０ｎｍ付近に最大感度を有する可視光透過フィルタである。カラーフィルタＣＦｒは、波長６２０ｎｍ付近に最大感度を有する可視光透過フィルタである。カラーフィルタＣＦｉｒは、波長７５０〜８５０ｎｍ付近に最大感度を有する近赤外透過フィルタである。
本実施形態では、画像表示部２に赤外帯域信号Ｓｉｒを入力しているので、夜間でのＩＲ画像を取得することができる。しかも夜間、青色帯域信号Ｓｂ、緑色帯域信号Ｓｇ、及び赤色帯域信号Ｓｒを入力しているので、ＩＲ画像の解像度は昼間の三原色（Ｒ（赤）、Ｇ（緑）、Ｂ（青））画像よりも高くすることができる。
画素配列について図４を参照して説明する。図４は画素配列を示す概略平面図である。
図４に示すように、ＩＲ画素が１／４の割合で配置される。図中、ＩＲ画素が右上に配置され、Ｒ画素が右下に配置され、Ｇ画素が左下に配置され、Ｂ画素が左上に配置される。
なお、赤外線を用いた心拍数の検出と撮影カラー画質のバランスを考慮して画素配列を適宜変更してもよい。心拍数の高感度検出を維持しながら、例えば、図５（ａ）に示すようにＩＲ画素が１／１６に設定してもよい。また、図５（ｂ）に示すようにＩＲ画素が１／６４に設定してもよい。
本実施形態では、可視光領域及び赤外領域（例えば、近赤外領域）での光吸収係数の大きな材料を選択する必要がある。
フォトダイオードを構成する材料の光吸収について図６を参照して説明する。図６は、各材料の波長（エネルギー）に対する光吸収係数を示す特性図である。
図６に示すように、材料によって波長に対する光吸収係数は変化する。例えば、シリコン（Ｓｉ）とゲルマニウム（Ｇｅ）を比較すると、可視光領域及び近赤外領域ではシリコンはゲルマニウムの約１／３０しか光を吸収しない。このため、本実施形態では、画像センサ１１を構成する材料（半導体層２１と半導体層２２の構成材料）にシリコンゲルマニウムを用いている。
なお、顔認識システムを構成する集積回路を構成する材料には、通常シリコン基板を用いているので、画像センサ１１を構成する材料にシリコンを用いてもよい。この場合、近赤外領域での受光感度が低下するので画素配列を見直してＩＲ画素の割合を増やすのが好ましい。
また、画像センサ１１の材料にシリコンゲルマニウムを用い、信号処理部１２の材料にシリコン基板を用いてワンチップ化集積回路からなる画像取り込み部１にしてもよい。
信号処理部１２は、画像信号Ｓｃｉを入力し、信号処理を実行する。信号処理部１２は、青色帯域信号Ｓｂ、緑色帯域信号Ｓｇ、赤色帯域信号Ｓｒ、及び赤外帯域信号Ｓｉｒを画像表示部２に出力する。信号処理部１２は、赤外帯域信号Ｓｉｒを心拍数検出部４に出力する。
画像表示部２は、青色帯域信号Ｓｂ、緑色帯域信号Ｓｇ、赤色帯域信号Ｓｒ、及び赤外帯域信号Ｓｉｒを入力する。画像表示部２は、転送画像データ信号Ｓｔｉｄを外部から入力する。転送画像データ信号Ｓｔｉｄは、写真、ビデオ映像等を含む。画像表示部２は、記憶部６に格納されている画像データ信号Ｓｉｄ等を入力する。画像データ信号Ｓｉｄは、画像取り込み部１で取り込まれた種々の映像を含む。画像表示部２は、入力された信号に基づいて画像を表示する。
顔認識処理部３は、画像表示部２から出力される画像情報信号Ｓｉｆを入力し、表示された画像から顔を認識する。具体的な顔認識については詳細を後述する。
心拍数検出部４は、赤外帯域信号Ｓｉｒ、転送画像データ信号Ｓｔｉｄ、及び画像データ信号Ｓｉｄを入力する。心拍数検出部４は、入力された信号に基づいて、血流の脈動から人物の心拍数を読み取る。なお、顔認識処理部３で顔認識された人物が、拍数検出部４で心拍数を読み取られる。
顔認証部５は、顔認識処理部３から出力される顔認識信号Ｓｆｃを入力し、心拍数検出部４から出力される心拍数信号Ｓｈｒを入力する。顔認証部５は、心拍数の有無により人物本人か写真かを判定する。
次に、顔認識システムを用いた顔認証について図７及び図８を参照して説明する。図７は、顔認識のプロセスステップを示す図である。図８は、顔の識別のプロセスステップを示す図である。
図７に示すように、画像表示部２は、表示画面に画像を表示する（ステップＳ１）。顔認識処理部３は、表示画面に表示された、例えば複数人が表示された、例えばカラー画像から、特定の人物の顔の識別を実行する（ステップＳ２）。
顔の識別の詳細は、図８を用いて説明する。表示画面において、検出領域の設定を行う（ステップＳ２１）。設定領域の画像から顔領域を抽出する（ステップＳ２２）。複数人から個人を特定する（ステップＳ２３）。特定された人物の顔の向きを検出する（ステップＳ２４）。顔・パーツの詳細を検出する。具体的には、赤外線の透過を妨げる物（マスク、メガネ、マフラー等）の有無を確認し、血流の検出に最適な顔の露出領域を確認する（ステップＳ２５）。
心拍数検出部４は、赤外帯域信号Ｓｉｒ、画像データ信号Ｓｉｄ、転送画像データ信号Ｓｔｉｄを入力する。 心拍数検出部４は、顔認識処理部３で特定された人物の顔の露出領域で検出された信号（赤外領域の信号）に基づいて、血流の脈動から人物の心拍数を読み取る。
上述したように、本実施形態の心拍数検出装置及びそれを用いた顔認識システムでは、画像表示部２、顔認識処理部３、認証部５、記憶部６、及び心拍数検出装置８０が設けられる。心拍数検出装置８０は、画像取り込み部１と心拍数検出部４を有する。画像取り込み部１は、画像センサ１１と信号処理部１２を有する。画像センサ１１は、Ｂ画素（青色画素）、Ｇ画素（緑色画素）、Ｒ画素（赤色画素）、及びＩＲ画素（赤外画素）を有する。顔認識処理部３は、画像表示部２から出力される画像情報信号Ｓｉｆを入力し、表示された画像から顔を認識する。心拍数検出部４は、入力された赤外領域の信号に基づいて、血流の脈動から人物の心拍数を読み取る。
このため、心拍数を高感度に検出することができる。したがって、心拍数の有無を用いて高精度に顔認証を実行することができる。
本実施形態では、心拍数検出装置８０は、人体の心拍数を検出しているが、かならずしもこれに限定されるものではない。例えば、犬や猫などの動物の心拍数の検出に適用してもよい。
（第二の実施形態）
次に、本発明の第二の実施形態に係る心拍数検出装置及びそれを用いた顔認識システムについて、図面を参照して説明する。図９は、昼間モードでの信号処理部から出力される信号を示す図である。図１０は、夜間モードでの信号処理部から出力される信号を示す図である。本実施形態では、昼間モードと夜間モードで画像表示に入力される信号を変更している。
以下、第一の実施形態と同一構成部分には、同一符号を付してその部分の説明を省略し、異なる部分のみ説明する。
図９に示すように、本実施形態の顔認識システムでは、昼間モードで、画像表示部２は、信号処理部１２から青色帯域信号Ｓｂ、緑色帯域信号Ｓｇ、及び赤色帯域信号Ｓｒを入力して映像画面にカラー画像を表示する。
図１０に示すように、本実施形態の顔認識システムでは、夜間モードで、画像表示部２は赤外帯域信号Ｓｉｒを入力して映像画面にＩＲ画像を表示する。
顔認識処理部３は、昼間モードで、画像表示部２から出力されるカラーの画像情報信号Ｓｉｆを入力し、表示された画像から顔を認識する。顔認識処理部３は、夜間モードで、画像表示部２から出力される赤外帯域信号Ｓｉｒから生成される単色の画像情報信号Ｓｉｆを入力し、表示された画像から顔を認識する。
ここでは、昼間モードと夜間モードの切り替えは、制御部（図示しない）で、時間で自動的に切り替えを行っている。なお、カメラについている自動モード中の“夜景モード”の利用による切り替え、照度判定や輝度判定に基づく切り替えなどを代わりに用いてもよい。
心拍数検出部４は、赤外帯域信号Ｓｉｒを入力する。心拍数検出部４は、顔認識処理部３で特定された人物の顔の露出領域で検出された信号（赤外領域の信号）に基づいて、血流の脈動から人物の心拍数を読み取る。
上述したように、本実施形態の心拍数検出装置及びそれを用いた顔認識システムでは、昼間と夜間で画像表示に入力される信号を変更している。顔認識処理部３は、夜間、画像表示部２から出力される赤外帯域信号Ｓｉｒから生成される単色の画像情報信号Ｓｉｆを入力し、表示された画像から顔を認識する。心拍数検出部４は、顔認識処理部３で特定された人物の顔の露出領域で検出された信号（赤外領域の信号）に基づいて、血流の脈動から人物の心拍数を読み取る。
このため、心拍数を高感度に検出することができる。したがって、心拍数の有無を用いて高精度に顔認証を実行することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１ 画像取り込み部
２ 画像表示部
３ 顔認識処理部
４ 心拍数検出部
５ 認証部
６ 記憶部
１１ 画像センサ
１２ 信号処理部
２１、２２ 半導体層
２３ 配線層
２４ 絶縁層
２５ 配線
２６ 画素トランジスタ
２７ 支持基板
８０ 心拍数検出装置
９０ 顔認識システム
ＣＦｂ、ＣＦｇ、ＣＦｉｒ、ＣＦｒ カラーフィルタ
ＭＬ マイクロレンズ
ＳＴＩ 画素分離層

Claims (6)

  1. 入射光を赤外画素で検出して、検出された赤外情報を出力する画像センサと、
    画像情報信号に基づいて、人物の顔を認識する顔認識処理部と、
    前記赤外情報に基づいて、顔の血管の脈動から前記人物の心拍数を読み取る心拍数検出部と、
    前記顔認識部から出力される顔認識信号を入力し、前記心拍数が入力されたときに前記人物が本人であると認証し、前記心拍数が入力されないときに前記人物は写真であると認証する認証部と、
    を具備することを特徴とする顔認識システム。
  2. 信号処理部と画像表示部を更に備え、
    前記画像センサは、青色画素、緑色画素、赤色画素を更に備え、
    前記信号処理部は、前記画像センサから出力される画像信号を入力し、前記画像信号を基にして、青色情報信号、緑色情報信号、赤色情報信号、及び赤外情報信号を出力し、
    前記表示部は、前記青色情報信号、前記緑色情報信号、前記赤色情報信号、及び前記赤外情報信号が入力されたとき、又は画像データ信号が入力されたときに画像表示を行い、前記画像情報信号を出力する
    ことを特徴とする請求項１に記載の顔認識システム。
  3. 前記画像データ信号は、記憶部に記憶されていた画像情報或いは外部から転送された画像情報であることを特徴とする請求項２に記載の顔認識システム。
  4. 昼間モードでは、前記信号処理部から前記画像表示部に前記青色情報信号、前記緑色情報信号、及び前記赤色情報信号が出力され、前記信号処理部から前記心拍数検出部に前記赤外情報信号が出力され、
    夜間モードでは、前記信号処理部から画像表示に前記赤外情報信号が出力され、前記信号処理部から前記心拍数検出部に前記赤外情報信号が出力される
    ことを特徴とする請求項２又は３に記載の顔認識システム。
  5. 赤外透過フィルタを介して入力される入射光をフォトダイオードで検出し、検出された赤外情報を出力する画像センサと、
    前記赤外情報に基づいて、血管の脈動から人物の心拍数を読み取る心拍数検出部と、
    を具備することを特徴とする心拍数検出装置。
  6. 前記フォトダイオードは、ＳｉＧｅフォトダイオードである
    ことを特徴とする請求項５に記載の心拍数検出装置。
JP2014265998A 2014-12-26 2014-12-26 心拍数検出装置及びそれを用いた顔認識システム Pending JP2016126472A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014265998A JP2016126472A (ja) 2014-12-26 2014-12-26 心拍数検出装置及びそれを用いた顔認識システム
US14/926,412 US10148896B2 (en) 2014-12-26 2015-10-29 Heart rate detection device and facial recognition system with the heart rate detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014265998A JP2016126472A (ja) 2014-12-26 2014-12-26 心拍数検出装置及びそれを用いた顔認識システム

Publications (1)

Publication Number Publication Date
JP2016126472A true JP2016126472A (ja) 2016-07-11

Family

ID=56165830

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014265998A Pending JP2016126472A (ja) 2014-12-26 2014-12-26 心拍数検出装置及びそれを用いた顔認識システム

Country Status (2)

Country Link
US (1) US10148896B2 (ja)
JP (1) JP2016126472A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018150554A1 (ja) * 2017-02-20 2018-08-23 マクセル株式会社 脈波測定装置、携帯端末装置及び脈波測定方法
JP2019136498A (ja) * 2018-02-05 2019-08-22 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 心拍センサ、心拍センサが組み込まれた近赤外線有機イメージセンサ及びこれを含むスマートフォン、並びにウェアラブル心拍センサ、血管造影装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10169646B2 (en) * 2007-12-31 2019-01-01 Applied Recognition Inc. Face authentication to mitigate spoofing
US20170024009A1 (en) * 2015-07-21 2017-01-26 Htc Corporation Mobile device and control method thereof
WO2017043132A1 (ja) 2015-09-08 2017-03-16 日本電気株式会社 顔認識システム、顔認識方法、表示制御装置、表示制御方法および表示制御プログラム
US9953231B1 (en) * 2015-11-17 2018-04-24 United Services Automobile Association (Usaa) Authentication based on heartbeat detection and facial recognition in video data
US10335045B2 (en) 2016-06-24 2019-07-02 Universita Degli Studi Di Trento Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions
US9979684B2 (en) * 2016-07-13 2018-05-22 At&T Intellectual Property I, L.P. Apparatus and method for managing sharing of content
CN106156757B (zh) * 2016-08-02 2019-08-09 中国银联股份有限公司 结合活体检测技术的人脸识别方法及人脸识别系统
KR102579895B1 (ko) * 2016-08-26 2023-09-19 삼성전자 주식회사 전자장치, 이를 활용한 적외선 센서 기반의 심장 박동 수 측정 방법
CA3040971A1 (en) * 2016-10-20 2018-04-26 Applied Recognition Inc. Face authentication to mitigate spoofing
EP3529764A1 (de) 2016-10-20 2019-08-28 Bayer Business Services GmbH Vorrichtung zur ermittlung von merkmalen einer person
CN107040712B (zh) * 2016-11-21 2019-11-26 英华达（上海）科技有限公司 智能自拍方法及系统
CN106845395A (zh) * 2017-01-19 2017-06-13 北京飞搜科技有限公司 一种基于人脸识别进行活体检测的方法
CN107153815A (zh) * 2017-04-19 2017-09-12 中国电子科技集团公司电子科学研究院 一种身份验证方法、设备及存储介质
US11302741B2 (en) * 2020-02-02 2022-04-12 Himax Imaging Limited Image sensor structure and method of forming the same

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09262213A (ja) * 1996-03-28 1997-10-07 Toyota Central Res & Dev Lab Inc 生体情報検出装置
US20060157806A1 (en) * 2005-01-18 2006-07-20 Omnivision Technologies, Inc. Multilayered semiconductor susbtrate and image sensor formed thereon for improved infrared response
JP2008235753A (ja) 2007-03-23 2008-10-02 Sony Corp 固体撮像装置及びその製造方法
JP2010098358A (ja) * 2008-10-14 2010-04-30 Panasonic Corp 撮像素子および撮像装置
JP5745866B2 (ja) 2011-01-14 2015-07-08 東芝情報システム株式会社 固体撮像素子
US8984622B1 (en) * 2012-01-17 2015-03-17 Amazon Technologies, Inc. User authentication through video analysis
JP5942901B2 (ja) 2012-06-14 2016-06-29 ソニー株式会社 固体撮像素子および電子機器
JP2014071628A (ja) 2012-09-28 2014-04-21 Aisin Aw Co Ltd 運転支援システム、運転支援プログラム、運転支援方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018150554A1 (ja) * 2017-02-20 2018-08-23 マクセル株式会社 脈波測定装置、携帯端末装置及び脈波測定方法
JP2019136498A (ja) * 2018-02-05 2019-08-22 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 心拍センサ、心拍センサが組み込まれた近赤外線有機イメージセンサ及びこれを含むスマートフォン、並びにウェアラブル心拍センサ、血管造影装置
JP7235518B2 (ja) 2018-02-05 2023-03-08 三星電子株式会社 心拍センサ、心拍センサが組み込まれた近赤外線有機イメージセンサ及びこれを含むスマートフォン、並びにウェアラブル心拍センサ、血管造影装置

Also Published As

Publication number Publication date
US20160191822A1 (en) 2016-06-30
US10148896B2 (en) 2018-12-04

Similar Documents

Publication Publication Date Title
JP2016126472A (ja) 心拍数検出装置及びそれを用いた顔認識システム
US11849219B2 (en) Image pickup device and electronic apparatus with an image plane phase difference detection pixel
US10686004B2 (en) Image capturing element and image capturing device image sensor and image-capturing device
US10579871B2 (en) Biometric composite imaging system and method reusable with visible light
JP6458343B2 (ja) 撮像装置
TWI676392B (zh) 複眼攝像裝置
US20140263951A1 (en) Image sensor with flexible pixel summing
US20130188057A1 (en) Image capturing device and method thereof
US20160014359A1 (en) Image sensor and electronic device
CN104394306A (zh) 用于虹膜识别的多通道多区域镀膜的摄像头模组及设备
TW201143042A (en) Dual-sided image sensor
JP2007122237A (ja) 偽造判定用撮像装置及び個人識別装置
US10574872B2 (en) Methods and apparatus for single-chip multispectral object detection
US20220368833A1 (en) Electronic equipment
CN108603997A (zh) 控制装置、控制方法和控制程序
US20230283881A1 (en) Electronic device, image-capturing device, and image-capturing system
JP5554139B2 (ja) 複合型撮像素子およびそれを備えた撮像装置
US20180190687A1 (en) Image sensor, image processing method, and electronic device
JP2005197914A (ja) 顔画像認識装置及びそれを備えたデジタルカメラ
JP6303689B2 (ja) 電子機器
US20210165144A1 (en) Image pickup apparatus and image processing apparatus
US12009375B2 (en) Imaging device and imaging element
JP6747465B2 (ja) 電子機器
JP2004207953A (ja) デジタルカメラおよび肌色領域抽出方法
JP2020174352A (ja) 電子機器

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20160422