CN110140181A - 用于确定人的特征的设备 - Google Patents

用于确定人的特征的设备 Download PDF

Info

Publication number
CN110140181A
CN110140181A CN201780064829.XA CN201780064829A CN110140181A CN 110140181 A CN110140181 A CN 110140181A CN 201780064829 A CN201780064829 A CN 201780064829A CN 110140181 A CN110140181 A CN 110140181A
Authority
CN
China
Prior art keywords
people
institute
equipment
gender
zero
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780064829.XA
Other languages
English (en)
Inventor
A.屈库克卡伊尔
J.霍曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayer Business Services GmbH
Original Assignee
Bayer Business Services GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayer Business Services GmbH filed Critical Bayer Business Services GmbH
Publication of CN110140181A publication Critical patent/CN110140181A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Cardiology (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Human Computer Interaction (AREA)
  • Animal Behavior & Ethology (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Psychiatry (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Hospice & Palliative Care (AREA)
  • Acoustics & Sound (AREA)
  • Child & Adolescent Psychology (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Audiology, Speech & Language Pathology (AREA)

Abstract

本发明涉及人的特征的确定。本发明的主题是用于确定人的特征以便能够在与人的交互中更好地与人打交道的设备和方法。

Description

用于确定人的特征的设备
技术领域
本发明涉及确定人的特征。本发明的主题是用于确定人的特征以便能够在与人的交互中更好地与人打交道的设备和方法。
背景技术
特别是在现代城市中，在日常生活中存在许多状况，其中两个彼此不认识的人彼此互动。典型的例子是购买状况。在这种情况下，有愿望或需求的顾客接近销售员；销售员向顾客提供咨询并向顾客销售满足所述愿望或满足所述需求的商品。交互根据对大量咨询状况类似地有效的常见原理进行。
存在许多情况，在这些情况中有利的是顾问更了解他的顾客。顾问对顾客的了解越多，他就能更好地参与顾客的个人顾虑。顾客不能总是清楚地表达他的需求。还可以想到顾客处于消极状态。可以想到咨询状况对顾客来说是不愉快的；然而，也可以想到他在精神上和/或身体上都有负担，并将这种负担带入这种状况。我们现代生活的快节奏和由此导致的长期时间缺乏也对这种状况产生负面影响。
如果顾问识别到这种负担，他就可以更好地与这个人打交道。顾问可以例如调整他的手势、表达方式和/或音量。他可以通过光、声音、气味、温度、空气运动等来调整对话的环境。在对药房中的感冒患者的研究范围中证实了富有同情心的咨询具有高度重要性：通过药剂师的更富有同情心的咨询，可以将感冒持续时间减少1天以及将症状减轻16％（来源：Rakel DP等人，Practitioner Empathy and the Duration of the Common Cold Fam Med 2009; 41（7）：494-501。 ）。
因此，需要确定人的物理和/或精神状态。在这种情况下，分析对方的状态不仅对于销售状况是重要的。例如，官方业务对许多人来说是不愉快的，并且有利的是知道对方是否紧张以及哪些情况对他有镇静作用。
然而，重要的是不仅能够识别消极状态而且能够识别积极状态。处于积极状态的人往往更加开放，并且例如更愿意参与街头调查。
应当尽可能在没有人动作的情况下确定人的物理和/或精神状态，以便不提供额外的障碍或分散对话的注意力。该确定不应当影响这个人。因此，该确定应当以非接触方式进行。
身体特征的非接触式检测在各个领域中起作用：具有脸部识别的摄像机用在访问控制系统中；在机场使用红外相机以便能识别患有发热感染的旅行者。
还有一些设备用于同时检测多个参数。
例如，US2016/0191822A1公开了一种用于脸部识别的设备，该设备附加地配备有心跳识别。该设备用于将真人的脸部与照片上的脸部区分开。
EP1522256A1公开了一种借助于各种传感器记录信息的设备。使用生物信息传感器来检测信息，例如心跳、皮肤电反应（GSR）和人的皮肤温度。生物信息传感器戴在身上。除此之外，存在诸如相机和麦克风的传感器，其检测人的环境。
DE102006038438A1公开了一种用于确定生物的医学和生物特征数据的设备。该设备包括用于基于身体特征认证生物的第一装置，用于确定人的医学功能或关于该人的信息的第二装置，以及用于传输所确定的医学和/或生物特征数据的第三装置。该设备应当可以用在健康检查、人员护理和进入或访问控制中。
相反，权利要求1至15的主题未在现有技术中公开。
发明内容
本发明的第一主题是一种设备，包括：
- 用于非接触式确定以下的一个或多个传感器
○ 人的性别，和
○ 人对年龄组的所属性，和
○ 人的皮肤温度，和
○ 人的心率，和
○ 人的情绪
- 第一显示屏，
- 用于读出一个或多个传感器的装置，
- 用于处理从一个或多个传感器读出的数据和用于将读出和处理的数据分配给所述数据的一个或多个视觉表示的装置，以及
- 用于在第一显示屏上显示视觉表示的装置。
另一主题是一种用于分析第一人的方法，包括以下步骤：
- 识别第一人的存在，
- 借助于一个或多个传感器非接触式地确定第一人的以下特征：
○ 性别，和
○ 对年龄组的所属性，和
○ 皮肤温度，和
○ 心率，和
○ 情绪
- 在第一显示屏上显示物理和精神特征。
下面将更详细地解释本发明，而不在本发明主题（设备，方法）之间加以区分。确切地说，下面的解释应当以类似的方式适用于所有本发明主题，而与它们在何种上下文（设备，方法）中进行无关。
为了清楚起见，应注意本发明的目的不是在人不知情的情况下检测他们的特征。地球的许多国家都有数据保护法和个人法的规定，在任何情况下都应遵守这些规定。即使根据本发明非接触式地和在没有人动作的情况下对人的特征进行了检测，也必须得到人的同意才能检测特征。当然，在处理涉及个人的数据时也应注意数据保护法的方面。最后，本发明应当用于那些被检测了物理和/或精神特征的人。因此，本发明的具体实施例应当具有允许人识别和拒绝或同意物理和/或精神特征的检测的装置。
在根据本发明的方法的第一步骤中，识别以合适的方式在根据本发明的设备对面定位的人的存在。
根据本发明的设备通常驻留在确定的停留位置处，并利用一个或多个传感器检测设备的直接环境。还可以想到可以根据需要部署在停留位置处的移动设备。然而，如果根据本发明的设备用于在其直接环境中检测人的特征，则该设备通常是不动的。
记录该直接环境的变化。通常，该直接环境涉及设备周围30°至180°的角度范围和0.1米至10米的距离范围。如果在该直接环境中存在人，则由该设备识别这是一个人。
为了识别人的存在通常使用相应的传感器，例如，图像传感器、距离测量器等。优选地使用图像传感器，在该图像传感器上对人或人的部分成像。
图像传感器是一种用于以电途径记录光的二维图像的设备。在大多数情况下使用基于半导体的图像传感器，所述图像传感器可以记录直到中红外的光。
可见光范围和近红外中的图像传感器的例子是CCD传感器（CCD：电荷耦合设备）和CMOS传感器（CMOS：互补金属氧化物半导体）。
图像传感器与安装有软件的计算机系统连接，该软件例如基于图像的特征分析来决定所成像的内容是否是人。
优选地，在由图像传感器检测的根据本发明设备的环境的图像中，基于人脸部的存在或不存在来确定是否存在或不存在人。
为此，优选地由图像传感器检测区域，在该区域中通常存在停止在设备前面的人的脸部。
此外，来自人脸部的光必须入射在图像传感器上。通常使用环境光。如果根据本发明的设备位于室外，则例如在白天可以使用太阳光。如果根据本发明的设备位于建筑物中，则可以使用照亮建筑物内部的人造光。然而，也可以想到使用单独的光源以最佳地照射人的脸部。光源发射的光所在的波长范围优选地与所使用的图像传感器的灵敏度相匹配。
可以借助于脸部定位方法来确定在图像传感器上是否对脸部成像。如果在图像传感器上对脸部成像的概率大于可定义的阈值（例如，90％），则由计算机系统假定存在人。相反，如果概率小于阈值，则由计算机系统假定不存在人。
脸部定位方法目前在许多数码相机中实现。
简单的脸部定位方法搜索图像中的表征性特征，这些特征可以源自人的眼睛、鼻子和嘴巴，并且基于这些特征彼此的几何关系来决定是否可能是脸部（二维几何测量）。
同样可以想到使用神经网络或类似的技术来识别（定位）脸部。
可以配置计算机系统和图像传感器，使得图像传感器上成像的图像以可定义的时间间隔（例如，每秒）输送给图像分析，以便确定图像上存在脸部的概率。
然而，还可以想到的是，系统被配置为，使得一旦距离传感器记录到某物位于根据本发明的设备前面的直接环境中，就由图像传感器记录图像并且将该图像输送给分析。
在识别出人的存在之后，检测该人的各种特征。被检测了特征的人也在下文中称为“待分析的人”或“被分析人”或“第一人”。
所检测的特征优选地显示在不是第一人的另一人对面。该另一人在下文中也称为“第二人”。
根据本发明的设备包括传感器，利用所述传感器可以确定第一人的物理和精神特征。
根据本发明成立的是，确定人的状态。人的状态可以被考虑为该人的所有物理和精神特征的总和。但是，为了确定人的状态不必检测所有物理和精神特征。少量特征就已经可以提供关于人的状态的信息。基于少量特征就已经可以确定人是否具有确定的需求和/或愿望。
人的物理特征被理解为人的身体特征。物理特征的例子是身高、体重、性别以及对年龄组的所属性。这些特征可以直接在人的身体上“读取”。
根据本发明，人的性别被检测为物理特征。为了非接触式地确定性别，优选地使用与计算机系统连接的图像传感器。
优选地，检测人的脸部以确定性别。
优选地，使用与用于确定人的存在相同的组件来确定性别。
在对图像中的脸部定位之后，可以分析脸部的表征性特征以决定是男性还是女性。用于确定物理和/或精神特征的脸部分析在此也称为脸部识别（而脸部定位仅具有识别脸部存在的任务）。
在一种优选的实施方式中，使用人工神经网络来从脸部记录中确定性别。
文献中描述了许多如何能从脸部的数字图像中确定诸如人的性别的特征的方法，（例如参见 Okechuwku A. Uwechue，Abhijit S. Pandya：Human Face Recognition UsingThird-Order Synthetic Neural Networks, Springer Science + Budiness Media,LLC., 1997, ISBN 978-1-4613-6832-8; Stan Z. Li, Anil K. Kain（编辑）, Handbookof Face Recognition, 第二版, Springer 2011, ISBN 978-0-85729-931-4; Maria DeMarsico等人：Face Recognition in Adverse Conditions, Advances in ComputationalIntelligence and Robotics Book Series 2014, ISBN 978-1-4666-5966-7;Thirimachos Bourlai（编辑）：Face Recognition Across the Imaging Spectrum,Springer 2016, ISBN 978-3-319-28501-6; http://www.iis.fraunhofer.de/de/ff/bsy/tech/bildanalyse/shore-gesichtsdetektion.html）。
年龄是另一身体特征。迄今不知道任何方法可以用于经由非接触式传感器确定人的确切年龄。然而，可以基于能以非接触方式检测的各种特征来确定大致年龄。特别是皮肤的外观图像（尤其是在脸部中）提供了关于大致年龄的信息。由于不能非接触式地确定确切的年龄（除非询问此人），因此当前对年龄组的所属性是目标。
根据本发明，还借助于连接到计算机系统的图像传感器确定对年龄组的所属性（与人的性别一样），在该计算机系统上运行脸部识别软件。优选地使用与确定性别相同的硬件来确定对年龄组的所属性。
优选地，使用人工神经元网络来确定人对年龄组的所属性。
在这种情况下，原则上可以任意定义年龄组，例如，可以每10岁定义一个新的年龄组：年龄为0至9岁的人，年龄为10至19岁的人，年龄为20至29岁的人等。
但是，对于年龄为0至9岁的人的能非接触式检测的特定于年龄的特征来说，变化宽度比年龄为20至29岁的人的特征的变化宽度大得多。因此，考虑到变化宽度的年龄组划分是优选的。
同样，年龄也可以估计为岁，并且该年龄可以与相对或绝对误差或概率一起加以说明。
可以借助于图像传感器非接触式地确定的另外的物理特征例如是：身高、体重、头发颜色、皮肤颜色、头发长度/头发丰满度、眼镜、姿势、步态等。
为了确定人的身高，例如可以想到在图像传感器上对站立的人的头部成像并且利用距离测量器（例如，利用激光距离测量设备，其测量所反射的激光脉冲的运行时间和/或相位）确定人与图像传感器的距离。然后，考虑到图像传感器和人之间的光学元件，由图像传感器上所成像的头部的位置以及人与图像传感器的距离来得到人的身高。
同样可以由人的高度和宽度来估计人的体重。可以借助于图像传感器确定高度和宽度。
除了提到的物理特征外，还检测精神特征。精神特征应被理解为允许推断人的精神状态的特征。最后，精神特征也是身体特征，即可以在人的身体上识别和检测的特征。然而，与纯物理特征相反，精神特征要么直接归因于精神状态，要么伴随精神状态。
直接表达人的精神状态的特征是例如脸部表情：微笑的人处于比哭泣的人或愤怒的人或恐惧的人更好的精神状态。
在本发明的一种实施方式中，将图像传感器与连接的计算机系统和软件用于脸部识别，以便分析脸部表情并识别人的情绪（快乐、悲伤、愤怒、恐惧、惊讶等）。
可以使用与也用于确定年龄的相同的硬件来确定脸部表情。
优选地，区分以下情绪：愤怒、快乐、悲伤和惊讶。
间接表达人的精神状态的特征是例如体温。体温升高通常是疾病的征兆（伴随发烧）；而疾病通常会对精神状态产生负面影响；发烧的人“大多感觉不好”。
在一种优选的实施方式中，皮肤的温度优选在脸部上予以确定，优选在人的前额上予以确定。
对于非接触式温度测量可以使用红外热成像（参见例如，Jones, B.F.: Areappraisal of the use of infrared thermal image analysis in medicine. IEEETrans. Med. Imaging 1998, 17, 1019–1027）。
可以间接表达人的心理（和物理）状态的另一特征是心率。心率加快可能表示紧张或恐惧，但是也可能表示器官问题。
已知各种方法可以用于借助于图像传感器和连接的计算机系统无接触式地确定心率。
每次心跳都会将富氧的血液泵入动脉。富氧血液具有与缺氧血液不同的颜色。可以利用摄像机记录和分析搏动的颜色变化。为此，通常使用红光或红外光照射皮肤，并且借助于相应的图像传感器捕获被皮肤反射的光。在这种情况下，通常检测人的脸部，因为它通常不被衣服覆盖。例如，可以从以下出版物和出版物中列出的参考文献中获得更具体的细节：http：//www.cv-foundation.org/openaccess/content_cvpr_workshops_2013/W13/papers/Gault_A_Fully_Automatic_2013_CVPR_paper.pdf 。
另一种可能性在于头部运动的分析，所述头部运动通过血液泵入人的头部而引起（参见例如 https://people.csail.mit.edu/mrub/vidmag/papers/Balakrishnan_Detecting_Pulse_from_2013_CVPR_paper.pdf）。
优选地，借助于摄像机分析头部运动。除了通过血液泵入头部引起的运动（泵运动）之外，被分析人可以完成另外的头部运动（在此称为“自然的头部运动”），例如那些当被分析人让其视线逡巡时完成的头部运动。可以想到请求待分析的人保持头部静止以进行分析。然而，如开头所述，根据本发明的特征检测应当是在最大程度上不需要待分析的人的动作的情况下进行的。因此，优选地对待分析的人的头部的视频序列进行预处理，以便消除自然的头部运动。这优选地通过在视频序列的连续图像记录中在这些图像记录中的固定点处固定脸部特征（例如，眼睛、眉毛、鼻子和/或嘴巴）和/或其他特征来执行。因此，例如如果由于头部的旋转而使得瞳孔的中心点在视频序列内从两个点xr 1, yr 1和xl 1, yl 1逡巡到两个点xr 2, yr 2和 xl 2, yl 2，则处理视频序列，使得瞳孔的中心点保持在两个点xr 1, yr 1和xl 1, yl 1。由此消除了“自然的头部运动”，并且在视频序列中保留了泵运动，然后可以关于心率对所述泵运动进行分析。
也可以基于声音推断出人的精神状态（参见例如，Petri Laukka等人： In aNervous Voice: Acoustic Analysis and Perception of Anxiety in Social Phobics‘ Speech, Journal of Nonverbal Behaviour 32(4): 195-214, 2008年12月；Owren, M.J., & Bachorowski, J.-A. (2007)。Measuring emotion-related vocal acoustics. InJ. Coan & J. Allen（编辑）, Handbook of emotion elicitation and assessment（239-266页）. New York: Oxford University Press; Scherer, K. R. (2003). Vocalcommunication of emotion: A review of research paradigms. SpeechCommunication, 40, 227-256）。
在一种优选实施方式中，根据本发明的设备包括（定向）麦克风以及连接的计算机系统，利用该麦克风可以记录和分析人的声音。压力水平由声音模式确定。例如，在 US 7,571,101 B2、WO201552729、WO2008041881 或 US 7,321,855中公开了细节。
也可以基于精神和/或物理特征推断出疾病。这尤其是适用于其中所检测的值偏离“正常”值的特征。例子是上面已经提到的“温度升高”（发烧），其可以指示疾病。
心率的值非常高或心跳节奏不寻常同样可以是疾病的征兆。
有一些方法可以由声音来确定疾病的存在，例如帕金森病 （ Sonu R. K.Sharma：Disease Detection Using Analysis of Voice Parameters, TECHNIA –International Journal of Computing Science and Communication Technologies,VOL.4 NO. 2，2012年1月（ISSN 09743375）） 。
除了将特征区分为物理特征和精神特征之外，还可以划分为静态或准静态特征和动态特征。所提到的特征中的一些特征通常完全不改变，例如性别（静态特征），另一些特征只能非常缓慢地改变（准静态特征），而还有一些特征则快速改变（动态特征）。身高（高度）、身宽、体重和年龄是通常只会缓慢改变的特征，而心率、温度和声音是可以快速改变的特征。
根据本发明，检测人的静态特征、准静态特征以及动态特征。检测在同一时间段内进行。该时间段通常小于1分钟，优选小于10秒，更优选小于5秒。
根据本发明，使用集成了所有相应装置的唯一的设备来检测人的特征。
除了相应的传感器之外，该设备还具有用于读出传感器和用于分析读出数据的装置。为此，使用一个或多个计算机系统。计算机系统是借助于可编程计算规则进行电子数据处理的设备。该设备通常根据冯·诺依曼架构具有计算单元、控制单元、总线单元、存储器以及输入和输出单元。
数据分析的结果以可视形式显示。为此，根据本发明的设备包括第一显示屏。
根据本发明，首先分析从传感器确定的原始数据，以确定针对被分析人的物理和/或精神状态的特征。随后，向所确定的特征分配视觉表示，并将视觉表示显示在第一显示屏上。
可以以数字的形式显示的特征（体温、心率、身高、估计体重）优选地在第一显示屏上显示为数字。
可以借助于字母显示的特征（例如，性别）优选地借助于字母显示（例如，对于男性为“m”，而对于女性为“w”）。然而，也可以想到使用符号来显示性别。
对于借助于数字和/或字母不能显示或只能不良显示的特征，可以使用符号。
例如，可以借助于表情符号显示从脸部分析和/或声音分析推导出的情绪（例如，“”表示好情绪，“”表示不良情绪）。
颜色可以用于使显示的信息更容易检测。例如，红色可以用于所测量的温度，如果温度高于正常值（36.0℃-37.2℃）的话，同时以绿色调显示温度，如果它位于正常值范围内的话。
还可以想到，将多个特征总结为同一个信息。例如，如果由脸部识别和心率测量得到人受到压力，则可以在第一显示屏上显示针对受压人的标记。
第一显示屏可以被布置为，使得当分析人时，第一显示屏直接位于被分析人的视野中。
还可以想到的是，第一显示屏被布置为使得其位于人（第二人）的视野中，该人与被分析人交互或将与被分析人交互。
还可以想到的是，第一显示屏被布置为使得第一人和第二人都可以看到第一显示屏。
该设备优选地包括用于赢得待分析的人的注意力的装置。由此，待分析的人应当将自己关于传感器定位成，使得这些传感器可以更好地检测相应的特征。还可以想到鼓励待分析的人停留，以便具有检测特征所需要的时间。
在一种优选的实施方式中，用于赢得注意力或用于鼓励更长停留时间的装置是第二显示屏。
可以在第二显示屏上播放图像、图像序列或视频。
可以想到选择在第二显示屏上显示的信息，使得所述信息应当触发待分析的人的反应。然后可以借助于合适的传感器检测、分析和评估待分析的人的特殊反应。
例如可以想到的是，在第二显示屏上显示有趣的图像，其通常会激励人微笑。如果被分析人不展示反应，这可能表明该人处于不参与这种笑话的情绪中。
还可以想到使第二显示屏的内容与被分析人的一个特征或多个特征相匹配。第二显示屏的内容可以例如是个性化广告。如果例如借助于传感器识别出被分析人是年龄在20和30岁之间的运动较多的女性，则可以向该人显示可能使这种人感兴趣的商品。
在一种优选的实施方式中，根据本发明的设备用在销售点。特别优选地，根据本发明的设备用在药房或类似的商店中，在其中可以购买药物和/或健康促进剂。
根据本发明的设备优选地位于在导购柜台/销售柜台的附近（在药房中也指非处方柜台），从而可以在与药剂师的咨询对话之前和/或期间对人进行分析。优选地，存在指示所述设备的标志或其他指示。优选地，药剂师提请注意以下事实，即相应的设备存在，并询问待分析的人其是否同意特征的检测。
第一显示屏优选地被布置为使得药剂师可以看到该第一显示屏。优选地，存在第二显示屏，其可以由待分析的人看到。
如果待分析的人已表示其同意该分析，则确定人的特征并且在药剂师对面显示，使得药剂师可以识别人可能有哪些需求，以便能够为其提供最佳的咨询。
下面将基于具体例子更详细地解释本发明，而不希望将其限制于该例子的特征。
顾客寻找药房，以便可以就确定的健康相关主题进行咨询。在正在进行的对话中，药剂师提出了若干问题，以便更好地了解顾客的需求并能够更好地评估该顾客的状况。在对话期间，传感器检测广泛的顾客参数：
- 相机检测脸部并且识别性别和年龄
- 第二热照相机测量顾客前额上的体温
- 第三相机在头部运动的基础上测量心率
- 定向麦克风检测声音并且分析压力水平。
所有检测和分析的参数都显示给咨询药剂师，而“个性化广告”则基于顾客的性别和年龄显示给顾客。药剂师现在可以在此基础上确定其咨询的方向，并更有针对性地与顾客打交道。
提到的所有传感器都安装在一个单元中。除了提到的传感器之外，该单元还包括既给药剂师又给顾客显示信息的监视器，以及计算机（小型计算机），所述计算机处理检测的信息（一个小型计算机用于脸部识别，一个计算机用于剩下的传感器）。此外，移动无线电模块提供对系统的远程访问，以便尤其是通过远程管理播放待显示的信息（广告）和/或回放统计数据。
图1以正视图示出了根据本发明的设备（1）。该设备包括用于在被分析人对面显示个性化信息的显示屏（11），以及用于对人进行分析的三个传感器（21，22，23）。
图2以后视图示出了图1中的根据本发明的设备（1）。该设备包括显示屏（12），用于在另一人对面显示关于被分析人的信息。
图3以正面和侧面的透视图示出了图1中的根据本发明的设备（1）。

Claims (13)

1.一种设备，包括：
- 用于非接触式确定以下的一个或多个传感器
○ 第一人的性别，和
○ 第一人对年龄组的所属性，和
○ 第一人的皮肤温度，和
○ 第一人的心率，和
○ 第一人的情绪
- 第一显示屏，
- 用于读出所述一个或多个传感器的装置，
- 用于处理从所述一个或多个传感器读出的数据并用于将读出和处理的数据分配给所述数据的一个或多个视觉表示的装置，以及
- 用于在所述第一显示屏上显示所述视觉表示的装置。
2.根据权利要求1所述的设备，其中，使用一个或多个图像传感器来确定所述皮肤温度、所述心率、所述性别、所述对年龄组的所属性以及所述情绪，其中所述一个或多个图像传感器与计算机系统连接。
3.根据权利要求2所述的设备，其中，基于所述第一人的脸部来进行所述皮肤温度、所述性别、所述对年龄组的所属性以及所述情绪的确定。
4.根据权利要求1至3中任一项所述的设备，其被配置为使得所述视觉表示显示在第二人对面。
5.根据权利要求1至4中任一项所述的设备，其中，所述设备具有第二显示屏，所述第二显示屏在确定物理和精神特征时位于所述第一人的视野中。
6.根据权利要求5所述的设备，其中，所述第二显示屏根据所确定的性别和/或根据所确定的对年龄组的所属性而在所述第一人对面显示信息。
7.根据权利要求1至6中任一项所述的设备，其中，所述设备包括图像传感器，所述图像传感器与计算机系统连接，其中，所述计算机系统被配置为，使得其关于脸部的存在而分析所述图像传感器上成像的图像，并且如果脸部的存在的概率大于预给定的阈值，则关于所述性别和所述对年龄组的所属性而分析所述脸部，并且在所述第一显示屏上显示所确定的与所述性别以及所述对年龄组的所属性有关的信息。
8.根据权利要求1至7中任一项所述的设备，其中，所述设备包括热相机，利用所述热相机确定所述第一人前额上的温度，其中，所述设备被配置为，使得其在所述第一显示屏上显示所确定的温度。
9.根据权利要求1至8中任一项所述的设备，其中，所述设备包括麦克风，所述麦克风与计算机系统连接，其中，所述计算机系统被配置为使得其借助于麦克风检测所述第一人所说的话并执行声音分析，其中该计算机系统确定压力水平并在所述第一显示屏上显示。
10.一种用于分析第一人的方法，包括以下步骤：
- 识别第一人的存在，
- 借助于一个或多个传感器非接触式地确定所述第一人的以下特征：
○ 性别，和
○ 对年龄组的所属性，和
○ 皮肤温度，和
○ 心率，和
○ 情绪
- 在第一显示屏上显示物理和精神特征。
11.根据权利要求10所述的方法，其中，根据所确定的性别和/或根据对年龄组的所属性，经由第二显示屏向所述第一人显示信息。
12.根据权利要求10至11中任一项所述的方法，其中，利用图像传感器识别所述第一人的存在、确定所述第一人的性别和/或确定所述第一人对年龄组的所属性和/或所述第一人的心率。
13.根据权利要求10至12中任一项所述的方法，其中，利用热相机确定所述皮肤温度和/或借助于麦克风确定所述压力水平。
CN201780064829.XA 2016-10-20 2017-10-13 用于确定人的特征的设备 Pending CN110140181A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16194848 2016-10-20
EP16194848.4 2016-10-20
PCT/EP2017/076177 WO2018073113A1 (de) 2016-10-20 2017-10-13 Vorrichtung zur ermittlung von merkmalen einer person

Publications (1)

Publication Number Publication Date
CN110140181A true CN110140181A (zh) 2019-08-16

Family

ID=57178350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780064829.XA Pending CN110140181A (zh) 2016-10-20 2017-10-13 用于确定人的特征的设备

Country Status (5)

Country Link
US (1) US20200175255A1 (zh)
EP (1) EP3529764A1 (zh)
CN (1) CN110140181A (zh)
CA (1) CA3040985A1 (zh)
WO (1) WO2018073113A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7111427B2 (ja) * 2018-09-06 2022-08-02 Ｎｅｃソリューションイノベータ株式会社 生体情報管理装置、生体情報管理方法、プログラム、および記録媒体
US11676270B2 (en) * 2020-08-31 2023-06-13 Nec Corporation Of America Measurement of body temperature of a subject
US11935009B2 (en) * 2021-04-08 2024-03-19 Turing Video Integrating healthcare screening with other identity-based functions

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105339969A (zh) * 2013-04-18 2016-02-17 微软技术许可有限责任公司 链接的广告

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003000015A2 (en) * 2001-06-25 2003-01-03 Science Applications International Corporation Identification by analysis of physiometric variation
JP3968522B2 (ja) 2003-10-06 2007-08-29 ソニー株式会社 記録装置、及び記録方法
US7321855B2 (en) 2003-12-15 2008-01-22 Charles Humble Method for quantifying psychological stress levels using voice pattern samples
US7571101B2 (en) 2006-05-25 2009-08-04 Charles Humble Quantifying psychological stress levels using voice patterns
DE102006038438A1 (de) 2006-08-16 2008-02-21 Keppler, Bernhard, Westport Vorrichtung, multifunktionales System und Verfahren zur Ermittlung medizinischer und/oder biometrischer Daten eines Lebewesens
CN101517636A (zh) 2006-10-03 2009-08-26 安德烈·耶夫根尼耶维奇·纳兹德拉坚科 根据声音确定人紧张状态的方法和实现所述方法的装置
US9268915B2 (en) * 2011-09-25 2016-02-23 Theranos, Inc. Systems and methods for diagnosis or treatment
US20150026708A1 (en) * 2012-12-14 2015-01-22 Biscotti Inc. Physical Presence and Advertising
US20140378810A1 (en) * 2013-04-18 2014-12-25 Digimarc Corporation Physiologic data acquisition and analysis
IN2013CH04602A (zh) 2013-10-10 2015-10-09 3Gs Wellness Pvt Ltd
US20150220159A1 (en) * 2014-02-04 2015-08-06 Pointgrab Ltd. System and method for control of a device based on user identification
JP2016126472A (ja) 2014-12-26 2016-07-11 株式会社東芝 心拍数検出装置及びそれを用いた顔認識システム
EP3065067A1 (en) * 2015-03-06 2016-09-07 Captoria Ltd Anonymous live image search
US20170319148A1 (en) * 2016-05-04 2017-11-09 Mimitec Limited Smart mirror and platform

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105339969A (zh) * 2013-04-18 2016-02-17 微软技术许可有限责任公司 链接的广告

Also Published As

Publication number Publication date
CA3040985A1 (en) 2018-04-26
US20200175255A1 (en) 2020-06-04
EP3529764A1 (de) 2019-08-28
WO2018073113A1 (de) 2018-04-26

Similar Documents

Publication Publication Date Title
US11320902B2 (en) System and method for detecting invisible human emotion in a retail environment
US8831299B2 (en) Capturing data for individual physiological monitoring
US8062220B2 (en) Monitoring physiological conditions
US8306265B2 (en) Detection of animate or inanimate objects
Poppe et al. AMAB: Automated measurement and analysis of body motion
EP3030151A1 (en) System and method for detecting invisible human emotion
US20120083675A1 (en) Measuring affective data for web-enabled applications
CN109765991A (zh) 社交互动系统、用于帮助用户进行社交互动的系统及非暂时性计算机可读存储介质
Kwon et al. A wearable device for emotional recognition using facial expression and physiological response
JP6455809B2 (ja) 嗜好判断システム
Boccanfuso et al. A thermal emotion classifier for improved human-robot interaction
Cvetkoska et al. Smart mirror E-health assistant—Posture analyze algorithm proposed model for upright posture
CN110140181A (zh) 用于确定人的特征的设备
US20230052100A1 (en) Systems And Methods For Optical Evaluation Of Pupillary Psychosensory Responses
CN108882853A (zh) 使用视觉情境来及时触发测量生理参数
Amelard et al. Spatial probabilistic pulsatility model for enhancing photoplethysmographic imaging systems
Oviyaa et al. Real time tracking of heart rate from facial video using webcam
Rahman et al. SmartMirror: an embedded non-contact system for health monitoring at home
Lee et al. Pain intensity estimation from mobile video using 2d and 3d facial keypoints
WO2022258560A1 (fr) Système d'aide pour fournir une information de diagnostic
CN109952589A (zh) 用于有针对性地向人提供信息的系统
Mankodiya et al. Understanding User's Emotional Engagement to the Contents on a Smartphone Display: Psychiatric Prospective
KR101940673B1 (ko) 인체 미동을 이용한 공감도 평가 방법 및 장치
Andrushevich et al. Open smart glasses development platform for AAL applications
Goudarz et al. Introducing a new feature extraction method for non-contact blood pressure estimating through ippg signals extracted using gr method from video images of different facial regions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190816

WD01 Invention patent application deemed withdrawn after publication