JP2013090847A - 個体判別装置および個体判別方法 - Google Patents

個体判別装置および個体判別方法 Download PDF

Info

Publication number
JP2013090847A
JP2013090847A JP2011235327A JP2011235327A JP2013090847A JP 2013090847 A JP2013090847 A JP 2013090847A JP 2011235327 A JP2011235327 A JP 2011235327A JP 2011235327 A JP2011235327 A JP 2011235327A JP 2013090847 A JP2013090847 A JP 2013090847A
Authority
JP
Japan
Prior art keywords
vital signs
imaging region
user
correlation
signal sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011235327A
Other languages
English (en)
Other versions
JP5822651B2 (ja
Inventor
Akihiko Sugawara
彰彦 菅原
Akio Oba
章男 大場
Satoyuki Hiroi
聡幸 廣井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority to JP2011235327A priority Critical patent/JP5822651B2/ja
Priority to EP12843864.5A priority patent/EP2772828B1/en
Priority to CN201280051393.8A priority patent/CN104054038B/zh
Priority to US14/351,274 priority patent/US9717987B2/en
Priority to PCT/JP2012/004267 priority patent/WO2013061492A1/ja
Publication of JP2013090847A publication Critical patent/JP2013090847A/ja
Application granted granted Critical
Publication of JP5822651B2 publication Critical patent/JP5822651B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1102—Ballistocardiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Image Analysis (AREA)

Abstract

【課題】複数のユーザが写っている撮像画像から正確に個体判別を行うことは難しい。
【解決手段】フレーム記憶部３０は、ユーザの身体の少なくとも一部の領域が撮像された画像を記憶する。生命兆候信号検出部４０は、フレーム記憶部３０に記憶された所定フレーム数の撮像画像を用いて、ユーザの身体の複数の撮像領域から周期的に変動する生命兆候の信号列を検出する。相関計算部５０は、身体の各撮像領域から検出された生命兆候の信号列の相関を求める。同一性判定部６０は、身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する。
【選択図】図２

Description

この発明は、撮像画像から個体判別を行う装置および方法に関する。
家庭内のゲーム機にはカメラが搭載されたものがあり、ゲームプレイをするユーザを撮像してゲーム画面にユーザの画像を表示したり、ユーザの撮像画像からユーザの動作を検出してゲームに反映させることができる。また、カメラで撮影されたユーザの画像からユーザの表情を検出し、ゲームプレイ中のユーザの精神状態を把握してゲームの展開に反映させることもできる。また、複数のプレイヤがそれぞれコントローラを持ち、ゲーム機を操作することもでき、家族や友人などを加えて複数人でゲームをすることも多い。
また、ゲームプレイ中のユーザの緊張度合いを検出するために、脈拍を検知するセンサをユーザに装着させ、センサが出力する脈拍の測定結果をゲーム機に入力させてゲームに反映させることも行われている。
特許文献１には、被検体の撮像画像の濃度の時間的変化からバイタルサインを計測する方法が記載されている。
特開２００５−２１８５０７号公報
複数のプレイヤがコントローラをもってゲーム機を操作する場合や、コントローラをもっているプレイヤ以外にも家族や友人が周囲にいる場合、カメラで撮影した画像には複数のユーザが写っているため、撮像画像において個体判別をする必要がある。画像から顔や手などの領域を認識して、個体判別を行うこともできるが、コントローラを操作するプレイヤの手がゲームプレイ中に交差していると、手と顔の対応付けが難しくなることがある。
本発明はこうした課題に鑑みてなされたものであり、その目的は、撮像画像において個体判別を正確に行うことのできる個体判別装置および個体判別方法を提供することにある。
上記課題を解決するために、本発明のある態様の個体判別装置は、ユーザの身体の少なくとも一部の領域が撮像された画像を記憶する記憶部と、前記記憶部に記憶された所定フレーム数の撮像画像を用いて、ユーザの身体の複数の撮像領域から周期的に変動する生命兆候の信号列を検出する生命兆候信号検出部と、身体の各撮像領域から検出された生命兆候の信号列の相関を求める相関計算部と、身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する同一性判定部とを含む。
本発明の別の態様は、個体判別方法である。この方法は、ユーザの身体の少なくとも一部の領域が撮像された画像を記憶するメモリから所定フレーム数の撮像画像を用いて参照して、ユーザの身体の複数の撮像領域から周期的に変動する生命兆候の信号列を検出する生命兆候信号検出ステップと、身体の各撮像領域から検出された生命兆候の信号列の相関を求める相関計算ステップと、身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する同一性判定ステップとを含む。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、撮像画像から正確に個体判別を行うことができる。
実施の形態に係るゲームシステムの構成図である。 実施の形態に係る個体判別装置の構成図である。 カメラにより撮影されたユーザの画像を説明する図である。 図２の同一性判定部による身体の撮像領域の判定結果を説明する図である。 図２の個体判別装置による個体判別手順を説明するフローチャートである。 図２の個体判別装置による別の個体判別手順を説明するフローチャートである。
図１は、実施の形態に係るゲームシステムの構成図である。ゲームシステムは、ゲーム機２００、ディスプレイ２０、コントローラ３００、およびカメラ１０ａ、１０ｂを含む。
コントローラ３００は無線または有線でゲーム機２００と接続される。ディスプレイ２０にはカメラ１０ａが内蔵されており、ゲームをコントローラ３００をもってプレイしているユーザやそのユーザといっしょにいる友人や家族などを撮影する。ディスプレイ２０にはゲームの画面が表示される。ビデオカメラ１０ｂは、ユーザの身体の一部、たとえば、コントローラを持っている手や特定のユーザの顔などにフォーカスして撮影することができ、撮影された画像はゲーム機２００に入力される。ディスプレイ２０は、カメラ１０ａ、１０ｂで撮影されたユーザの画像を表示することもできる。
なお、ここではゲームプレイを例に実施の形態を説明するが、実施の形態は、ゲームに限らず、映像などをテレビ画面で鑑賞する場合にも適用することができる。
図２は、実施の形態に係る個体判別装置１００の構成図である。個体判別装置１００には、複数のカメラ１０ａ、１０ｂ、ディスプレイ２０、コントローラ３００、および装着センサ３１０が接続されている。個体判別装置１００は、図１のゲーム機２００に搭載される機能構成である。
カメラ１０ａ、１０ｂはユーザの身体の一部または全体の領域を撮影する。カメラは一台でも複数でもよい。たとえば、一つのカメラでゲームのプレイヤを含む複数人を撮影してもよい。あるいは、プレイヤを中心に撮影するカメラと、プレイヤを含むあるいは含まない複数人の全体を撮影する別のカメラとが設けられてもよい。あるいは、あるカメラがユーザの手を撮影し、別のカメラがユーザの顔を撮影してもよい。撮影された画像はフレーム記憶部３０に記憶される。
生命兆候信号検出部４０は、フレーム記憶部３０に記憶された所定フレーム数の撮像画像を用いて、ユーザの身体の撮像領域から周期的に変動する生命兆候の信号列を検出する。生命兆候信号検出部４０は、所定フレーム数の撮像画像において身体の撮像領域における皮膚の振動または光吸収特性の変化を検知することにより、周期的に変動する生命兆候の信号列を検出することができる。周期的に変動する生命兆候は心拍、呼吸などのバイタルサインである。たとえば５フレーム程度のフレーム数の撮像画像において肌が露出している身体の部位の皮膚の振動や光吸収特性の変化を検出すれば、心拍などの生命兆候の波形データ列を取得することができる。光吸収特性の変化は、皮膚の画像の濃度や色彩の変化として検出される。
生命兆候信号検出部４０は、撮像領域を小領域に区分して、区分された小領域毎に生命兆候の信号列を検出してもよい。計算量を抑え、また、ノイズを抑えるために、所定の面積の領域毎に生命兆候の信号列を検出することがより好ましい。
身体の撮像領域における皮膚の振動または光吸収特性の変化を検知して脈拍を計測する方法は、たとえば以下の文献に詳しく記載されている。
"Heart rate measurement based on a time-lapse image", Medical Engineering and Physics, 2007
"Advancements in non-contact, multiparameter physiological measurements using a webcam", IEEE Trans Biomed Eng, 2010.
"Non-contact, automated cardiac pulse measurements using video imaging and blind source separation", Optics Express, 2010.
相関計算部５０は、身体の各撮像領域から検出された生命兆候の信号列の相関を求める。第１の身体の撮像領域において検出された生命兆候の信号列をＨ１（ｔ）、第２の身体の撮像領域において検出された生命兆候の信号列をＨ２（ｔ）とすると、２つの信号列Ｈ１（ｔ）、Ｈ２（ｔ）の相関Ｒは、以下の式で求めることができるが、これとは異なる計算式を用いることも可能である。
Figure 2013090847
同一性判定部６０は、身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する。第１の身体の撮像領域の生命兆候の信号列Ｈ１（ｔ）と第２の身体の撮像領域の生命兆候の信号列Ｈ２（ｔ）の相関Ｒが所定の閾値Ｔよりも大きければ、第１の身体の撮像領域と第２の身体の撮像領域は同一人物に属すると判定し、２つの信号列Ｈ１（ｔ）、Ｈ２（ｔ）の相関Ｒが所定の閾値Ｔ以下であれば、第１の身体の撮像領域と第２の身体の撮像領域は別人物に属すると判定する。
第１の身体の撮像領域と第２の身体の撮像領域はそれぞれ別のカメラ１０ａ、１０ｂによって撮像されたものであってもよい。たとえば、ユーザの手が第１のカメラ１０ａで撮像され、ユーザの顔が第２のカメラ１０ｂで撮像されている場合、ユーザの手の撮像画像から検出される生命兆候の信号列Ｈ１（ｔ）とユーザの顔の撮像画像から検出される生命兆候の信号列Ｈ２（ｔ）との間で相関Ｒを計算し、相関Ｒが高ければ、撮像されたユーザの手と顔は同一人物に属すると判定し、相関Ｒが低ければ、撮像されたユーザの手と顔とは別人物に属すると判定する。このように必ずしもユーザの手と顔が同じカメラで撮像されたものでなくても、手と顔それぞれから検出される生命兆候の信号列の相関を求めることで個体判別を行うことができる。
表示部７０は、同一人物に属すると判定された身体の複数の撮像領域に対して同一の強調表示を行ってディスプレイ２０に表示する。たとえば、同一人物に属すると判定された身体の複数の撮像領域は同じ色で表示する。これにより、個体判別装置１００がどのように個体判定を行ったかを画面内で確認することができる。
センサ入力部８０は、コントローラ３００に装備されたセンサまたは装着センサ３１０から周期的に変動する生命兆候の信号列の入力を受ける。たとえば、コントローラ３００には脈拍センサなどが装備され、コントローラ３００の操作者の脈拍を計測してセンサ入力部８０に入力することができる。また、脈拍センサなどの装着センサ３１０をユーザが手首や足首などに装着し、脈拍を計測してセンサ入力部８０に入力することもできる。
相関計算部５０は、センサ入力部８０から得られた生命兆候の信号列と、身体の撮像領域から検出された生命兆候の信号列との相関を求めてもよい。同一性判定部６０は、センサから得られた生命兆候の信号列と、身体の撮像領域から検出された生命兆候の信号列との相関にもとづいて、当該身体の撮像領域がコントローラの操作者またはセンサ装着者に属するものであるか否かを判定することができる。たとえば、特定のジェスチャをしているユーザの手の撮像領域から検出された生命兆候の信号列と、センサから得られた生命兆候の信号列との相関が高い場合、ジェスチャをしている手がコントローラの操作者に属するものであると判定することができる。これにより、手によるジェスチャとコントローラによる操作とが同一人物によるものであることを把握することができ、手によるジェスチャもコントローラによる操作もゲームに対する同一ユーザからの入力として扱うことが可能になる。
個体情報管理部９０は、同一性判定部６０により同一人物に属すると判定された身体の撮像領域をユーザの個体情報として個体情報記憶部９２に格納して管理する。また、個体情報管理部９０は、コントローラの操作者またはセンサ装着者に属すると判定された特定の身体の撮像領域には、コントローラの操作者またはセンサ装着者を示すフラグを対応づけて管理する。これにより、撮像画像に写っている複数のユーザの中から、コントローラの操作者またはセンサ装着者の身体領域を特定し、たとえば、コントローラの操作者の顔の表情からゲームプレイ中のユーザの満足度を判定することができる。
生命兆候信号検出部４０は、生命兆候の信号列を離散フーリエ変換して周波数を検出することにより、個体の生命兆候の周期性を示す特徴量を求める。あるいは、生命兆候の信号列の自己相関を求めて信号の周期を検出することにより、個体の生命兆候の周期性を示す特徴量を求める。たとえば、生命兆候が心拍であれば、個体の生命兆候の周期性を示す特徴量として心拍数を求める。個体情報管理部９０は、個体の生命兆候の周期性を示す特徴量をユーザ単位で分類して個体情報記憶部９２に個体情報として格納する。これにより、たとえば、特定のユーザの心拍数が高まっているなど、ゲームプレイ中のユーザの興奮度合いなどを検出することができる。
このようにして得られるユーザの満足度や興奮度をゲーム展開にフィードバックすることにより、利便性や娯楽性を高めることができる。たとえば、ユーザの興奮度にもとづいてユーザがリラックスしていると判定される場合は、ゲーム展開に急激な変化を与える短期的な制御を行ってもよい。あるいは、ユーザの満足度にもとづいて、コントローラの操作やゲームのルールなどに対するユーザの習熟度を把握し、ユーザの習熟度に応じてゲーム展開の速度などを調整する長期的な制御を行ってもよい。また、プレイヤの心拍数が高過ぎる場合や、心拍数が元に復帰するのが遅い場合は、プレイヤに休憩するように提案するようにしてもよい。また、ユーザの満足度や興奮度を記録して、ネットワークなどを介してゲーム開発元にフィードバックし、ゲームのアップデートや将来のゲーム開発に活かしてもよい。
また、コントローラを持ったプレイヤとは別のユーザの顔を顔検出機能を用いて検出し、そのユーザとプレイヤ間の心拍数変動や呼吸タイミングの相関値を、プレイヤとの共感を示す指標とみなし、観察者も含めた場の盛り上がりを評価してもよい。たとえば、パーティ系ゲームなどにおいて、共感を示す指標が低く、プレイヤだけが興奮しても場が盛り上がっていない場合、そのような指標にもとづいてゲーム展開を調整することができる。
また、顔、手、足などの同一個体の身体情報をもとにプレイヤの姿勢を推測し、良くない姿勢が長時間に及ぶ場合に姿勢を直すようアドバイスしてもよい。ヨガのようにプレイヤの体を動かすアプリケーションの場合、ユーザの姿勢の良否を判断する材料として用いることができる。
図３Ａは、カメラ１０ａ、１０ｂにより撮影されたユーザの画像を説明する図である。ゲーム機２００の前で４人のユーザ４００、４０２、４０４、４０６がゲーム画面を見ているとする。これらのユーザは家族であり、右から二人目のユーザ４０４（母親）はコントローラ３００を手にもっている。左から二人目のユーザ４０２（父親）は図示しないが手首に装着センサ３１０を装着している。
図３Ｂは、同一性判定部６０による身体の撮像領域の判定結果を説明する図である。二つの身体の撮像領域４１０ａ、４１０ｂは、これらの撮像領域から検出される生命兆候の信号列の相関が所定の閾値よりも高いことから同一人物４００に属すると判定される。同一性判定に用いられる相関の閾値は、同一性判定の成否を一定の誤差範囲に収めるべく、実験的に定めることができる。
同様に、二つの身体の撮像領域４１２ａ、４１２ｂは、生命兆候の信号列の相関が所定の閾値よりも高いことから同一人物４０２に属すると判定され、四つの身体の撮像領域４１４ａ、４１４ｂ、４１４ｃ、４１４ｄは、生命兆候の信号列の相関が所定の閾値よりも高いことから同一人物４０４に属すると判定され、三つの身体の撮像領域４１６ａ、４１６ｂ、４１６ｃは、生命兆候の信号列の相関が所定の閾値よりも高いことから同一人物４０６に属すると判定される。
ここで、ユーザ４０２（父親）は、装着センサ３１０を装着していることから、装着センサ３１０から父親の生命兆候の信号列を取得することができる。装着センサ３１０からの生命兆候の信号列は、二つの身体の撮像領域４１２ａ、４１２ｂの生命兆候の信号列との相関が所定の閾値よりも高いことから、同一性判定部６０は、これらの身体の撮像領域４１２ａ、４１２ｂは、装着センサ３１０の装着者（ここでは父親）に属すると判定する。個体情報管理部９０は、身体の撮像領域４１２ａ、４１２ｂを装着センサ３１０の装着者の識別情報と対応づけて個体情報記憶部９２に格納する。
また、ユーザ４０４（母親）は、コントローラ３００を手に持っており、コントローラ３００に装備されたセンサから母親の生命兆候の信号列を取得することができる。コントローラ３００のセンサからの生命兆候の信号列は、四つの身体の撮像領域４１４ａ、４１４ｂ、４１４ｃ、４１４ｄの生命兆候の信号列との相関が所定の閾値よりも高いことから、同一性判定部６０は、これらの身体の撮像領域４１４ａ、４１４ｂ、４１４ｃ、４１４ｄは、コントローラ３００の操作者（ここでは母親）に属すると判定する。個体情報管理部９０は、身体の撮像領域４１４ａ、４１４ｂ、４１４ｃ、４１４ｄをコントローラ３００の装着者の識別情報と対応づけて個体情報記憶部９２に格納する。
図４は、個体判別装置１００による個体判別手順を説明するフローチャートである。ここでは、生命兆候は心拍であるとして説明する。
生命兆候信号検出部４０は、第１の身体の撮像領域から心拍の信号列Ｈ１（ｔ）を検出する（Ｓ１０）。生命兆候信号検出部４０は、第２の身体の撮像領域から心拍の信号列Ｈ２（ｔ）を検出する（Ｓ１２）。
相関計算部５０は、第１の心拍の信号列Ｈ１（ｔ）と第２の心拍の信号列Ｈ２（ｔ）の相関Ｒを計算する（Ｓ１４）。
相関Ｒが閾値Ｔより大きければ（Ｓ１６のＹ）、同一性判定部６０は、第１の身体の撮像領域と第２の身体の撮像領域は同一人物に属すると判定し、個体情報管理部９０は、第１の身体の撮像領域と第２の身体の撮像領域をその人物の個体情報として分類し、個体情報記憶部９２に登録する（Ｓ１８）。これにより、たとえば、あるユーザの手と顔が同一人物に属するものとして対応付けられる。
相関Ｒが閾値Ｔ以下であれば（Ｓ１６のＮ）、同一性判定部６０は、第１の身体の撮像領域と第２の身体の撮像領域は別人物に属すると判定し、個体情報管理部９０は、第１の身体の撮像領域と第２の身体の撮像領域をそれぞれ別人物の個体情報として分類し、個体情報記憶部９２に登録する（Ｓ２０）。これにより、複数のユーザを個体判別して分類することができる。
図５は、個体判別装置１００による別の個体判別手順を説明するフローチャートである。
センサ入力部８０は、コントローラ３００に装備されたセンサまたはユーザの身体に装着された装着センサ３１０から心拍の信号列Ｈ１（ｔ）を検出する（Ｓ３０）。生命兆候信号検出部４０は、カメラ１０ａ、１０ｂにより撮像された身体の撮像領域から心拍の信号列Ｈ２（ｔ）を検出する（Ｓ３２）。
相関計算部５０は、第１の心拍の信号列Ｈ１（ｔ）と第２の心拍の信号列Ｈ２（ｔ）の相関Ｒを計算する（Ｓ３４）。
相関Ｒが閾値Ｔより大きければ（Ｓ３６のＹ）、同一性判定部６０は、当該身体の撮像領域はコントローラ操作者またはセンサ装着者に属すると判定し、個体情報管理部９０は、当該身体の撮像領域をコントローラ操作者またはセンサ装着者の個体情報として分類し、個体情報記憶部９２に登録する（Ｓ３８）。これにより、コントローラ操作者またはセンサ装着者の身体領域、たとえば、顔を特定することができ、コントローラ操作者またはセンサ装着者の顔の表情にもとづいてゲームの展開を変えるなどの制御が可能になる。
相関Ｒが閾値Ｔ以下であれば（Ｓ３６のＮ）、同一性判定部６０は、当該身体の撮像領域はコントローラ操作者またはセンサ装着者に属さないと判定する（Ｓ４０）。これにより、コントローラ操作者またはセンサ装着者と、それ以外のユーザとを区別することができる。
上記の説明では、生命兆候にもとづいて身体の撮像領域の同一性判定を行う方法を説明したが、いったん身体の撮像領域の同一性判定が終われば、テンプレートマッチングなどの技術を用いて、手や顔などの身体の撮像領域をトラッキングすることで、生命兆候を検出せずに、身体の撮像領域の同一性判定を継続してもよい。ユーザが体を大きく動かした場合や、ユーザの位置が入れ替わった場合などは、トラッキングに失敗するため、生命兆候による同一性判定を再開するようにしてもよい。
実施の形態では、生命兆候として心拍を例に挙げたが、撮像されたユーザの身体の振動から呼吸を生命兆候として検出してもよい。また、人には吸気動作時に心拍数が増加し、呼気動作時に心拍数が減少するという特性があるため、呼吸は心拍の信号列からも検出することが可能である。以下、心拍から呼吸の周期または周波数を検出する方法を説明する。
（１）まず、心拍の波形データ列からフーリエ変換によって周波数を検出することにより、心拍数を求める。心拍の波形データ列の自己相関を用いて得られた周期から心拍数を求めてもよい。
（２）次に、求めた心拍数を心拍周期以下の時間間隔、たとえば０．５秒間隔で連続して求めて心拍数列を得る。
心拍数に影響を与えるような運動をしていない場合、心拍数列には呼吸動作に対応する心拍数変動が現れる。吸気動作時に心拍数が増加し、呼気動作時に心拍数が減少する。したがって、上記の（１）と同様の手法で心拍数列から心拍数変動の周波数や周期を求めれば、それを呼吸の周波数や周期とみなすことができる。呼吸は服を着ていても検出することができる点、有利である。また、ゲームプレイ中に複数のプレイヤの息が合っているかどうかをプレイヤの呼吸の波形の同期の具合から検出することもできる。
以上述べたように、本実施の形態の個体判別装置１００によれば、脈拍検知した領域の時間変化の相関を取ることにより、同一脈元の領域を同定し、個体判別、分類を行うことができる。撮像画像に複数のユーザがいても顔、手、足などの領域を個体判別して、同一人物に属するものか否かを判定することができる。また、コントローラや装具などの接触センサからの脈拍情報との相関にもとづいて、撮像された手や顔の画像をコントローラ操作者やセンサ装着者に対応付けることができる。
顔、手、足は身体の離れた場所にあり、心臓からも離れているが、身体の各部において脈拍の波形や周波数はほぼ一致する。身体各部の脈拍の波形データ列は心臓からの距離に応じたずれが生じることで、波形は似ているが位相に違いが生じる場合がある。このような場合に対応するため、身体各部の脈拍の波形データ列の相関を取る際には、位相を前後にずらしした複数の相関を求め、その中の最大の相関値を採用する。これによって体の部位が異なっていても同一人物の身体から得られた脈拍の波形データであるかどうかを判定することができる。別の人物の脈拍の波形データとは瞬間的に高い相関が得られることがある。しかし長時間観察すると波形が一致しなくなったり位相のずれが時間と共に大きく変動するので高い相関は得られなくなる。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を説明する。
１０ カメラ、 ２０ ディスプレイ、 ３０ フレーム記憶部、 ４０ 生命兆候信号検出部、 ５０ 相関計算部、 ６０ 同一性判定部、 ７０ 表示部、 ８０ センサ入力部、 ９０ 個体情報管理部、 ９２ 個体情報記憶部、 １００ 個体判別装置、 ２００ ゲーム機、 ３００ コントローラ、 ３１０ 装着センサ。

Claims (8)

  1. ユーザの身体の少なくとも一部の領域が撮像された画像を記憶する記憶部と、
    前記記憶部に記憶された所定フレーム数の撮像画像を用いて、ユーザの身体の複数の撮像領域から周期的に変動する生命兆候の信号列を検出する生命兆候信号検出部と、
    身体の各撮像領域から検出された生命兆候の信号列の相関を求める相関計算部と、
    身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する同一性判定部とを含むことを特徴とする個体判別装置。
  2. 前記生命兆候信号検出部は、所定フレーム数の撮像画像において身体の撮像領域における皮膚の振動または光吸収特性の変化を検知することにより、周期的に変動する生命兆候の信号列を検出することを特徴とする請求項１に記載の個体判別装置。
  3. 前記生命兆候は心拍であり、
    前記同一性判定部は、検出された心拍の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定することを特徴とする請求項１または２に記載の個体判別装置。
  4. 同一ユーザに属すると判定された身体の複数の撮像領域に対して同一の強調表示を行う表示部をさらに含むことを特徴とする請求項１から３のいずれかに記載の個体判別装置。
  5. ユーザが身体に装着したセンサまたはユーザが操作するコントローラに装備されたセンサから周期的に変動する生命兆候の信号列の入力を受けるセンサ信号入力部をさらに含み、
    前記相関計算部は、センサから得られた生命兆候の信号列と、身体の撮像領域から検出された生命兆候の信号列との相関を求め、
    前記同一性判定部は、センサから得られた生命兆候の信号列と、身体の撮像領域から検出された生命兆候の信号列との相関にもとづいて、当該身体の撮像領域がセンサを装着したユーザまたはコントローラを操作するユーザに属するものであるか否かを判定することを特徴とする請求項１から４のいずれかに記載の個体判別装置。
  6. 前記生命兆候信号検出部は、第１の撮像部により撮像された第１の身体の撮像領域と、第２の撮像部により撮像された第２の身体の撮像領域からそれぞれ周期的に変動する生命兆候の信号列を検出し、
    前記相関計算部は、第１の身体の撮像領域と第２の身体の撮像領域から検出されたそれぞれの生命兆候の信号列の相関を求め、
    前記同一性判定部は、第１の身体の撮像領域と第２の身体の撮像領域から検出されたそれぞれの生命兆候の信号列の相関にもとづいて、第１の身体の撮像領域と第２の身体の撮像領域が同一ユーザに属するものであるか否かを判定することを特徴とする請求項１から４のいずれかに記載の個体判別装置。
  7. ユーザの身体の少なくとも一部の領域が撮像された画像を記憶するメモリから所定フレーム数の撮像画像を用いて参照して、ユーザの身体の複数の撮像領域から周期的に変動する生命兆候の信号列を検出する生命兆候信号検出ステップと、
    身体の各撮像領域から検出された生命兆候の信号列の相関を求める相関計算ステップと、
    身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する同一性判定ステップとを含むことを特徴とする個体判別方法。
  8. ユーザの身体の少なくとも一部の領域が撮像された画像を記憶するメモリから所定フレーム数の撮像画像を用いて参照して、ユーザの身体の複数の撮像領域から周期的に変動する生命兆候の信号列を検出する生命兆候信号検出ステップと、
    身体の各撮像領域から検出された生命兆候の信号列の相関を求める相関計算ステップと、
    身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する同一性判定ステップとをコンピュータに実行させることを特徴とするプログラム。
JP2011235327A 2011-10-26 2011-10-26 個体判別装置および個体判別方法 Active JP5822651B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011235327A JP5822651B2 (ja) 2011-10-26 2011-10-26 個体判別装置および個体判別方法
EP12843864.5A EP2772828B1 (en) 2011-10-26 2012-07-02 Individual body discrimination device and individual body discrimination method
CN201280051393.8A CN104054038B (zh) 2011-10-26 2012-07-02 个体鉴别装置和个体鉴别方法
US14/351,274 US9717987B2 (en) 2011-10-26 2012-07-02 Individual discrimination device and individual discrimination method
PCT/JP2012/004267 WO2013061492A1 (ja) 2011-10-26 2012-07-02 個体判別装置および個体判別方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011235327A JP5822651B2 (ja) 2011-10-26 2011-10-26 個体判別装置および個体判別方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015198474A Division JP6149084B2 (ja) 2015-10-06 2015-10-06 個体判別装置および個体判別方法

Publications (2)

Publication Number Publication Date
JP2013090847A true JP2013090847A (ja) 2013-05-16
JP5822651B2 JP5822651B2 (ja) 2015-11-24

Family

ID=48167350

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011235327A Active JP5822651B2 (ja) 2011-10-26 2011-10-26 個体判別装置および個体判別方法

Country Status (5)

Country Link
US (1) US9717987B2 (ja)
EP (1) EP2772828B1 (ja)
JP (1) JP5822651B2 (ja)
CN (1) CN104054038B (ja)
WO (1) WO2013061492A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015086855A1 (en) * 2013-12-14 2015-06-18 Viacam Sarl Camera-based tracking system for the determination of physical, physiological and/or biometric data and/or for risk assessment
JP2016514976A (ja) * 2013-02-28 2016-05-26 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． バイタルサインに基づき被験者を検出する装置及び方法
JP2018134509A (ja) * 2018-06-06 2018-08-30 パナソニックＩｐマネジメント株式会社 生体情報監視装置及び生体情報監視方法
JP2018143318A (ja) * 2017-03-02 2018-09-20 大学共同利用機関法人自然科学研究機構 環境共有レベル判定装置
JP2019028485A (ja) * 2017-07-25 2019-02-21 日本電信電話株式会社 観客状況判定装置、その方法、及びプログラム
JP2019170407A (ja) * 2018-03-26 2019-10-10 国立大学法人東北大学 信号制御装置、信号制御プログラム、及び信号制御方法
US10653365B2 (en) 2014-10-16 2020-05-19 Panasonic Intellectual Property Management Co., Ltd. Biological information processing device and biological information processing method
JP2021149810A (ja) * 2020-03-23 2021-09-27 株式会社東海理化電機製作所 識別器の生成方法、処理装置の製造方法、認証装置、コンピュータプログラム、および認証システム

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI620547B (zh) * 2013-08-30 2018-04-11 Sony Corp Information processing device, information processing method and information processing system
TWI549649B (zh) * 2013-09-24 2016-09-21 廣達電腦股份有限公司 頭戴式系統
US9595146B2 (en) * 2013-11-18 2017-03-14 Microsoft Technology Licensing, Llc Persistent user identification
US9737219B2 (en) * 2014-05-30 2017-08-22 Mediatek Inc. Method and associated controller for life sign monitoring
US10525336B2 (en) * 2014-09-11 2020-01-07 Sony Interactive Entertainment Inc. Image processing system, image processing method, program, and information storage medium
US9596538B2 (en) * 2014-12-12 2017-03-14 Intel Corporation Wearable audio mixing
CN105787420B (zh) * 2014-12-24 2020-07-14 北京三星通信技术研究有限公司 用于生物认证的方法、装置以及生物认证系统
US10154818B2 (en) 2014-12-24 2018-12-18 Samsung Electronics Co., Ltd. Biometric authentication method and apparatus
MX2018002458A (es) * 2015-09-04 2018-06-15 Koninklijke Philips Nv Sistema, metodo y procesador para monitorear un signo vital de un sujeto.
CN108135498B (zh) * 2015-10-15 2020-12-18 大金工业株式会社 有用信息呈现装置
US20170115726A1 (en) * 2015-10-22 2017-04-27 Blue Goji Corp. Incorporating biometric data from multiple sources to augment real-time electronic interaction
CA2958010C (en) 2016-02-19 2021-09-07 Covidien Lp System and methods for video-based monitoring of vital signs
JP6724827B2 (ja) * 2017-03-14 2020-07-15 オムロン株式会社 人物動向記録装置
CN108784650A (zh) 2017-05-03 2018-11-13 深圳迈瑞生物医疗电子股份有限公司 生理信号的同源性识别方法及装置
EP3681394A1 (en) 2017-11-13 2020-07-22 Covidien LP Systems and methods for video-based monitoring of a patient
CA3086527A1 (en) 2018-01-08 2019-07-11 Covidien Lp Systems and methods for video-based non-contact tidal volume monitoring
US11510584B2 (en) 2018-06-15 2022-11-29 Covidien Lp Systems and methods for video-based patient monitoring during surgery
EP3833241A1 (en) 2018-08-09 2021-06-16 Covidien LP Video-based patient monitoring systems and associated methods for detecting and monitoring breathing
US11617520B2 (en) 2018-12-14 2023-04-04 Covidien Lp Depth sensing visualization modes for non-contact monitoring
US11315275B2 (en) 2019-01-28 2022-04-26 Covidien Lp Edge handling methods for associated depth sensing camera devices, systems, and methods
US11771863B1 (en) * 2019-12-11 2023-10-03 Amazon Technologies, Inc. Interface for guided meditation based on user interactions
US11484208B2 (en) 2020-01-31 2022-11-01 Covidien Lp Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods
CN111860187A (zh) * 2020-06-24 2020-10-30 广东邦鑫数据科技股份有限公司 一种高精度的佩戴口罩识别方法及系统
KR20220130567A (ko) * 2021-03-17 2022-09-27 센스타임 인터내셔널 피티이. 리미티드. 이미지에 포함된 상관된 객체들을 검출하기 위한 방법들, 장치들, 디바이스들, 및 저장 매체

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7171680B2 (en) 2002-07-29 2007-01-30 Idesia Ltd. Method and apparatus for electro-biometric identity recognition
JP2005218507A (ja) 2004-02-03 2005-08-18 Tama Tlo Kk バイタルサイン計測方法と装置
WO2008008915A2 (en) 2006-07-12 2008-01-17 Arbitron Inc. Methods and systems for compliance confirmation and incentives
JP4659722B2 (ja) 2006-11-14 2011-03-30 日本電信電話株式会社 人体特定領域抽出・判定装置、人体特定領域抽出・判定方法、人体特定領域抽出・判定プログラム
JP2008181220A (ja) 2007-01-23 2008-08-07 Ricoh Co Ltd 個人認証装置及び個人認証方法
US7967728B2 (en) * 2008-11-16 2011-06-28 Vyacheslav Zavadsky Wireless game controller for strength training and physiotherapy
CN102341811B (zh) * 2009-03-06 2015-04-29 皇家飞利浦电子股份有限公司 控制设备的功能的方法和用于检测生物的存在的系统
WO2010100594A2 (en) * 2009-03-06 2010-09-10 Koninklijke Philips Electronics N.V. Processing images of at least one living being
CN201454059U (zh) 2009-06-26 2010-05-12 上海久娱网络科技有限公司 一种卡牌游戏机中人物身份识别系统
JP5715132B2 (ja) * 2009-08-20 2015-05-07 コーニンクレッカ フィリップス エヌ ヴェ 画像解析に関する方法及びシステム
JP2011110181A (ja) 2009-11-26 2011-06-09 Panasonic Corp 生体情報の通信装置、生体情報の通信方法、生体情報の通信プログラムおよび集積回路
JP5195741B2 (ja) 2009-12-25 2013-05-15 株式会社デンソー 生体活動計測装置
LV14514B (lv) * 2010-10-06 2012-08-20 Latvijas Universitāte Iekārta un metode sirdsdarbības parametru optiskai bezkontakta kontrolei

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016514976A (ja) * 2013-02-28 2016-05-26 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． バイタルサインに基づき被験者を検出する装置及び方法
WO2015086855A1 (en) * 2013-12-14 2015-06-18 Viacam Sarl Camera-based tracking system for the determination of physical, physiological and/or biometric data and/or for risk assessment
US10653365B2 (en) 2014-10-16 2020-05-19 Panasonic Intellectual Property Management Co., Ltd. Biological information processing device and biological information processing method
JP2018143318A (ja) * 2017-03-02 2018-09-20 大学共同利用機関法人自然科学研究機構 環境共有レベル判定装置
JP2019028485A (ja) * 2017-07-25 2019-02-21 日本電信電話株式会社 観客状況判定装置、その方法、及びプログラム
JP2019170407A (ja) * 2018-03-26 2019-10-10 国立大学法人東北大学 信号制御装置、信号制御プログラム、及び信号制御方法
JP2018134509A (ja) * 2018-06-06 2018-08-30 パナソニックＩｐマネジメント株式会社 生体情報監視装置及び生体情報監視方法
JP2021149810A (ja) * 2020-03-23 2021-09-27 株式会社東海理化電機製作所 識別器の生成方法、処理装置の製造方法、認証装置、コンピュータプログラム、および認証システム

Also Published As

Publication number Publication date
US9717987B2 (en) 2017-08-01
US20140254902A1 (en) 2014-09-11
EP2772828B1 (en) 2019-01-09
EP2772828A1 (en) 2014-09-03
CN104054038B (zh) 2018-03-23
CN104054038A (zh) 2014-09-17
EP2772828A4 (en) 2015-06-03
JP5822651B2 (ja) 2015-11-24
WO2013061492A1 (ja) 2013-05-02

Similar Documents

Publication Publication Date Title
JP5822651B2 (ja) 個体判別装置および個体判別方法
US9339215B2 (en) Method and apparatus for monitoring movement and breathing of multiple subjects in a common bed
CN107256329B (zh) 用于检测用户的移动数据的整体式装置和非瞬时计算机可读介质
RU2691928C2 (ru) Устройство и способ определения информации об основных физиологических показателях субъекта
JP7068339B2 (ja) 血圧測定装置、および、血圧測定方法
JPWO2015045554A1 (ja) 生体情報取得装置および生体情報取得方法
JPWO2018066421A1 (ja) 認知機能評価装置、認知機能評価システム、認知機能評価方法、及び、プログラム
JP5789735B2 (ja) コンテンツ評価装置、方法、及びそのプログラム
JP2016518191A (ja) 画像データから胸郭及び腹部呼吸信号を決定する装置及び方法
WO2023140676A1 (en) Method and electronic device for managing stress of a user
JP6149084B2 (ja) 個体判別装置および個体判別方法
WO2017047734A1 (ja) 計測装置
Kempfle et al. Breathing In-Depth: A Parametrization Study on RGB-D Respiration Extraction Methods
JP6198530B2 (ja) 画像処理装置
Islam et al. Respiratory feature extraction for contactless breathing pattern recognition using a single digital camera
JP5511503B2 (ja) 生体情報計測処理装置及び生体情報計測処理方法
JP7107725B2 (ja) 眼球運動特徴量算出システム、眼球運動特徴量算出方法及び眼球運動特徴量算出プログラム
Popescu et al. Cardiowatch: A solution for monitoring the heart rate on a Mobile device
CN118078234B (zh) Ppg信号处理方法、设备及存储介质
ES2890715B2 (es) Sistema para analizar una practica de actividad motora con participantes
Tsai et al. Wearable ECG for tension assessment in movie watching and adventure riding
JP2023092114A (ja) タグ付け方法、ゲーム解析システム、タグ付け装置および付加情報付きゲーム動画生成装置
Hartmann et al. Gait Parameter Estimation from a Single Privacy Preserving Depth Sensor.
Canellas et al. OMuSense-23: A Multimodal Dataset for Contactless Breathing Pattern Recognition and Biometric Analysis
Haque et al. Body Weight Estimation Using Smartphone Based Photoplethysmography Signal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151006

R150 Certificate of patent or registration of utility model

Ref document number: 5822651

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250