CN109952589A - 用于有针对性地向人提供信息的系统 - Google Patents
用于有针对性地向人提供信息的系统 Download PDFInfo
- Publication number
- CN109952589A CN109952589A CN201780064881.5A CN201780064881A CN109952589A CN 109952589 A CN109952589 A CN 109952589A CN 201780064881 A CN201780064881 A CN 201780064881A CN 109952589 A CN109952589 A CN 109952589A
- Authority
- CN
- China
- Prior art keywords
- equipment
- information
- people
- display screen
- zero
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000003384 imaging method Methods 0.000 claims description 28
- 238000004458 analytical method Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 12
- 230000036651 mood Effects 0.000 claims description 9
- 230000036541 health Effects 0.000 claims description 6
- 210000004209 hair Anatomy 0.000 claims description 5
- 230000006855 networking Effects 0.000 claims description 4
- 210000003128 head Anatomy 0.000 description 8
- 230000004886 head movement Effects 0.000 description 8
- 230000003340 mental effect Effects 0.000 description 8
- 201000010099 disease Diseases 0.000 description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 7
- 239000008280 blood Substances 0.000 description 5
- 210000004369 blood Anatomy 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000036760 body temperature Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000008451 emotion Effects 0.000 description 4
- 239000000047 product Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 206010037660 Pyrexia Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 208000018737 Parkinson disease Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000009530 blood pressure measurement Methods 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0269—Targeted advertisements based on user profile or attribute
- G06Q30/0271—Personalized advertisement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Game Theory and Decision Science (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Child & Adolescent Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Social Psychology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Data Mining & Analysis (AREA)
Abstract
本发明涉及一种用于有针对性地向人提供信息的系统和方法。
Description
技术领域
本发明涉及一种用于有针对性地向人提供信息的系统和方法。
背景技术
在当前城市中移动的人们面临大量指示标志、标语牌、照明广告等。人所遭受的大部分信息都不再被察觉。
一方面，这是因为许多信息不涉及他和/或他不感兴趣，另一方面，这是因为有太多的信息作用于他。
WO2013174433A1公开了一种用于有针对性地向人提供信息的系统。该系统包括图像检测单元，利用该图像检测单元记录和分析人的图像以便确定该人的特征。该系统还包括至少两个显示屏，在这些显示屏上根据所检测的特征显示信息。WO2013174433A1中公开的系统主要用于广告目的。
US2008004950A1公开了一种类似的系统，应当利用该系统来呈现有针对性的广告。借助于传感器组件，获得关于系统附近的人的数据。借助于顾客组件来分析关于人的数据，以产生人的简况。最后，根据所产生的简况给该人呈现广告。
现有技术中公开的系统具有以下缺点：在其销售室中使用这种系统的商店被指导为让顾客“跳到”有针对性的广告并进行下一步骤，例如，寻找销售人员以便了解更多关于广告中显示的产品。此外，现有技术中公开的系统不具有获得关于人的健康状态的信息的目的，以便发起关于健康主题的咨询对话。
在提供了健康促进产品的药房和类似商店中，在健康方面以最佳可能的方式为顾客提供咨询非常重要。顾客和销售人员之间的个人接触在这里尤为重要。
发明内容
从所描述的现有技术出发，要解决的技术问题是在用于健康促进产品的商店中在顾客咨询时为销售人员提供辅助。
该技术问题通过独立权利要求1和9的主题解决。
因此，本发明的第一主题是一种系统，包括以下组件：
-第一设备，包括用于显示信息的第一显示屏和用于识别第一人的存在并且用于非接触式地确定第一人的以下特征的一个或多个传感器：
○ 性别
○ 对年龄组的所属性
-第二设备，包括用于显示信息的第二显示屏和用于识别第一人的存在以及用于非接触式地确定第一人的以下特征的一个或多个传感器：
○ 性别
○ 对年龄组的所属性
-第三设备，包括用于显示信息的第三和第四显示屏以及用于非接触式地确定第一人的以下特征的一个或多个传感器：
○ 性别
○ 对年龄组的所属性
○ 皮肤温度
○ 心率
○ 情绪
其中第一、第二和第三设备被配置为，使得它们在第一、第二和第三显示屏上与第一人相对地显示信息，其中基于所检测的第一人的特征来选择信息，
并且其中第三设备被配置为，使得其在第四显示屏上与第二人相对地显示关于第一人的信息。
本发明的另一主题是一种方法，包括以下步骤：
（A1）识别第一显示屏前面的第一人的存在
（A2）检测第一人的以下特征：
○ 性别
○ 对年龄组的所属性
（A3）根据所检测的第一人的特征在第一显示屏上显示信息
（B1）识别第二显示屏前面的第一人的存在
（B2）检测第一人的以下特征：
○ 性别
○ 对年龄组的所属性
（B3）根据所检测的第一人的特征在第二显示屏上显示信息
（C1）识别第三显示屏前面的第一人的存在
（C2）检测第一人的以下特征：
○ 性别
○ 对年龄组的所属性
○ 皮肤温度
○ 心率
○ 情绪
（C3）根据所检测的第一人的特征在第三显示屏上显示信息
（D1）在与第二人相对的第四显示屏上显示关于第一人的信息。
下面将更详细地解释本发明，而不在本发明主题（系统，方法）之间加以区分。确切地说，下面的解释应当以类似的方式适用于所有本发明主题，而与它们在何种上下文（系统，方法）中进行无关。
为了清楚起见，应注意本发明的目的不是在人不知情的情况下检测他们的特征。地球的许多国家都有数据保护法和个人法的规定，在任何情况下都应遵守这些规定。即使根据本发明非接触式地和在没有人动作的情况下对人的特征进行了检测，也必须得到人的同意才能检测特征。当然，在处理涉及个人的数据时也应注意数据保护法的方面。最后，本发明应当用于那些被检测了物理和/或精神特征的人。因此，本发明的具体实施例应当具有允许人识别和拒绝或同意物理和/或精神特征的检测的装置。
根据本发明的系统包括至少三个设备，每个设备具有显示屏并且每个设备具有一个或多个传感器。
借助于传感器，识别出在相应设备前面的人的存在，并且检测人的物理和/或精神特征，以便根据检测的特征有针对性地向人显示信息。
这些设备通常驻留在确定的停留位置处，并利用其传感器检测设备的直接环境。还可以想到使用可以根据需要部署在一个或多个停留位置处的一个或多个移动设备。然而，如果根据本发明的设备用于在其直接环境中检测人的特征，则该设备通常是不动的。
为了识别人的存在，可以借助于传感器记录设备的直接环境的变化。通常，该直接环境涉及设备周围30°至180°的角度范围和0.1米至10米的距离范围。
如果在该直接环境中存在人，则由相应的设备识别这是一个人。
为此通常使用相应的传感器，例如，图像传感器、距离测量器等。优选地使用图像传感器，在该图像传感器上对人或人的部分成像。
图像传感器是一种用于以电途径记录光的二维图像的设备。在大多数情况下使用基于半导体的图像传感器，所述图像传感器可以记录直到中红外的光。
可见光范围和近红外中的图像传感器的例子是CCD传感器（CCD：电荷耦合设备）和CMOS传感器（CMOS：互补金属氧化物半导体）。
图像传感器与安装有软件的计算机系统连接，该软件例如基于图像的特征分析来决定所成像的内容是否是人。
优选地，在由图像传感器检测的根据本发明设备的环境的图像中，基于人脸部的存在或不存在来确定是否存在或不存在人。
为此，优选地由图像传感器检测区域，在该区域中通常存在停止在相应设备前面的人的脸部。
此外，来自人脸部的光必须入射在图像传感器上。通常使用环境光。如果根据本发明的设备位于室外，则例如在白天可以使用太阳光。如果根据本发明的设备位于建筑物中，则可以使用照亮建筑物内部的人造光。然而，也可以想到使用单独的光源以最佳地照射人的脸部。光源发射的光所在的波长范围优选地与所使用的图像传感器的灵敏度相匹配。
可以借助于脸部定位方法来确定在图像传感器上是否对脸部成像。如果在图像传感器上对脸部成像的概率大于可定义的阈值（例如，90％），则由计算机系统假定存在人。相反，如果概率小于阈值，则由计算机系统假定不存在人。
脸部定位方法目前在许多数码相机中实现。
简单的脸部定位方法搜索图像中的表征性特征，这些特征可以源自人的眼睛、鼻子和嘴巴，并且基于这些特征彼此的几何关系来决定是否可能是脸部（二维几何测量）。同样可以想到使用神经网络或类似的人工智能技术来识别（定位）脸部。
可以配置计算机系统和图像传感器，使得图像传感器上成像的图像以可定义的时间间隔（例如，每秒）输送给图像分析，以便确定图像上存在脸部的概率。
然而，还可以想到的是，系统被配置为，使得一旦距离传感器记录到某物位于根据本发明的设备前面的直接环境中，就由图像传感器记录图像并且将该图像输送给分析。
在识别出人的存在之后，检测该人的各种特征。被检测了特征的人也在下文中称为“待分析的人”或“被分析人”或“第一人”。
设备包括传感器，利用所述传感器可以确定第一人的物理和/或精神特征。
人的物理特征被理解为人的身体特征。物理特征的例子是身高、体重、性别以及对年龄组的所属性。这些特征可以直接在人的身体上“读取”。
第一、第二和第三设备被配置为，使得它们将人的性别检测为物理特征。为了非接触式地确定性别，在每个设备中优选地分别使用分别与计算机系统连接的图像传感器。
优选地，检测人的脸部以确定性别。
优选地，使用与用于确定人的存在相同的组件来确定性别。
在对图像中的脸部定位之后，可以分析脸部的表征性特征以决定是男性还是女性。用于确定物理和/或精神特征的脸部分析在此也称为脸部识别（而脸部定位仅具有识别脸部存在的任务）。
在一种优选的实施方式中，使用人工神经网络或类似的机器学习技术来从脸部记录中确定性别。
文献中描述了许多如何能从脸部的数字图像中确定诸如人的性别的特征的方法，（例如参见Okechuwku A. Uwechue，Abhijit S. Pandya：Human Face Recognition UsingThird-Order Synthetic Neural Networks, Springer Science + Budiness Media,LLC., 1997, ISBN 978-1-4613-6832-8; Stan Z. Li, Anil K. Kain（编辑）, Handbookof Face Recognition, 第二版, Springer 2011, ISBN 978-0-85729-931-4; Maria DeMarsico等人：Face Recognition in Adverse Conditions, Advances in ComputationalIntelligence and Robotics Book Series 2014, ISBN 978-1-4666-5966-7;Thirimachos Bourlai（编辑）：Face Recognition Across the Imaging Spectrum,Springer 2016, ISBN 978-3-319-28501-6; http://www.iis.fraunhofer.de/de/ff/bsy/tech/bildanalyse/shore-gesichtsdetektion.html）。
年龄是由第一、第二和第三设备检测的另一身体特征。但是迄今不知道任何方法可以用于经由非接触式传感器确定人的确切年龄。然而，可以基于能以非接触方式检测的各种特征来确定大致年龄。特别是皮肤的外观图像（尤其是在脸部中）提供了关于大致年龄的信息。由于迄今不能以传感器方式确定确切的年龄，因此当前对年龄组的所属性是目标。
优选地还借助于连接到计算机系统的图像传感器确定对年龄组的所属性（与人的性别一样），在该计算机系统上运行脸部识别软件。优选地使用与确定性别相同的硬件来确定对年龄组的所属性。
优选地，使用人工神经元网络或类似的机器学习技术来确定人对年龄组的所属性。
在这种情况下，原则上可以任意定义年龄组，例如，可以每10岁定义一个新的年龄组：年龄为0至9岁的人，年龄为10至19岁的人，年龄为20至29岁的人等。
但是，对于年龄为0至9岁的人的能非接触式检测的特定于年龄的特征来说，变化宽度比年龄为20至29岁的人的特征的变化宽度大得多。因此，考虑到变化宽度的年龄组划分是优选的。
同样，年龄也可以估计为岁，并且该年龄可以与相对或绝对误差一起加以说明。
可以借助于图像传感器非接触式地确定的另外的物理特征例如是：身高、体重、头发颜色、皮肤颜色、头发长度/头发丰满度、眼镜、姿势、步态等。
例如可以确定人的身高，其方式是在图像传感器上对站立的人的头部成像并且利用距离测量器（例如，利用激光距离测量设备，其测量所反射的激光脉冲的运行时间和/或相位）确定人与图像传感器的距离。然后，考虑到图像传感器和人之间的光学元件，由图像传感器上所成像的头部的位置以及人与图像传感器的距离来得到人的身高。
同样可以由人的高度和宽度来估计人的体重。可以借助于图像传感器确定高度和宽度。
除了提到的物理特征外，还至少借助于第三设备检测精神特征。精神特征应被理解为允许推断人的精神状态的特征。最后，精神特征也是身体特征，即可以在人的身体上识别和检测的特征。然而，与纯物理特征不同，精神特征要么直接归因于精神状态，要么伴随精神状态。
直接表达人的精神状态的特征是例如脸部表情：微笑的人处于比哭泣的人或愤怒的人或恐惧的人更好的精神状态。
在本发明的一种实施方式中，第三设备具有图像传感器以及连接的计算机系统以及具有用于脸部识别的软件，所述软件被配置为使得其从脸部表情中推导出人的情绪（快乐、悲伤、愤怒、恐惧、惊讶等）。
可以使用与也用于确定年龄的相同的硬件来确定脸部表情。
优选地，区分以下情绪：愤怒、快乐、悲伤和惊讶。
间接表达人的精神状态的特征是例如体温。体温升高通常是疾病的征兆（伴随发烧）；而疾病通常会对精神状态产生负面影响；发烧的人“大多感觉不好”。
在一种优选的实施方式中，皮肤的温度优选在脸部上予以确定，优选在人的前额上予以确定。
对于非接触式温度测量可以使用红外热成像（参见例如，Jones, B.F.: Areappraisal of the use of infrared thermal image analysis in medicine. IEEETrans. Med. Imaging 1998, 17, 1019–1027）。
可以间接表达人的心理（和物理）状态的另一特征是心率。心率加快可能表示紧张或恐惧，但是也可能表示器官问题。
已知各种方法可以用于借助于图像传感器和连接的计算机系统无接触式地确定心率。
每次心跳都会将富氧的血液泵入动脉。富氧血液具有与缺氧血液不同的颜色。可以利用摄像机记录和分析搏动的颜色变化。为此，通常使用红光或红外光照射皮肤，并且借助于相应的图像传感器捕获被皮肤反射的光。在这种情况下，通常检测人的脸部，因为它通常不被衣服覆盖。例如，可以从以下出版物和出版物中列出的参考文献中获得更具体的细节：http：//www.cv-foundation.org/openaccess/content_cvpr_workshops_2013/W13/papers/Gault_A_Fully_Automatic_2013_CVPR_paper.pdf 。
另一种可能性在于头部运动的分析，所述头部运动通过血液泵入人的头部而引起（参见例如https://people.csail.mit.edu/mrub/vidmag/papers/Balakrishnan_Detecting_Pulse_from_2013_CVPR_paper.pdf）。
优选地，借助于摄像机分析头部运动。除了通过血液泵入头部引起的运动（泵运动）之外，被分析人可以完成另外的头部运动（在此称为“自然的头部运动”），例如那些当被分析人让其视线逡巡时完成的头部运动。可以想到请求待分析的人保持头部静止以进行分析。然而，如开头所述，根据本发明的特征检测应当是在最大程度上不需要待分析的人的动作的情况下进行的。因此，优选地对待分析的人的头部的视频序列进行预处理，以便消除自然的头部运动。这优选地通过在视频序列的连续图像记录中在这些图像记录中的固定点处固定脸部特征（例如，眼睛、眉毛、鼻子和/或嘴巴）来执行。因此，例如如果由于头部的旋转而使得瞳孔的中心点在视频序列内从两个点xr 1, yr 1和xl 1, yl 1逡巡到两个点xr 2, yr 2和xl 2, yl 2，则处理视频序列，使得瞳孔的中心点保持在两个点xr 1, yr 1和xl 1, yl 1。由此消除了“自然的头部运动”，并且在视频序列中保留了泵运动，然后可以关于心率对所述泵运动进行分析。
也可以基于声音推断出人的精神状态（参见例如，Petri Laukka等人： In aNervous Voice: Acoustic Analysis and Perception of Anxiety in Social Phobics‘ Speech, Journal of Nonverbal Behaviour 32(4): 195-214, 2008年12月；Owren, M.J., & Bachorowski, J.-A. (2007)。Measuring emotion-related vocal acoustics. InJ. Coan & J. Allen（编辑）, Handbook of emotion elicitation and assessment（239-266页）. New York: Oxford University Press; Scherer, K. R. (2003). Vocalcommunication of emotion: A review of research paradigms. SpeechCommunication, 40, 227-256）。
在一种优选实施方式中，第三设备包括（定向）麦克风以及连接的计算机系统，利用该麦克风可以记录和分析人的声音。压力水平由声音模式确定。例如，在 US 7,571,101B2、WO201552729、WO2008041881 或 US 7,321,855中公开了细节。
也可以基于精神和/或物理特征推断出疾病。这尤其是适用于其中所检测的值偏离“正常”值的特征。例子是上面已经提到的“温度升高”（发烧），其可以指示疾病。
心率的值非常高或心跳节奏不寻常同样可能是疾病的征兆。
有一些方法可以由声音来确定疾病的存在，例如帕金森病 （ Sonu R. K.Sharma：Disease Detection Using Analysis of Voice Parameters, TECHNIA –International Journal of Computing Science and Communication Technologies,VOL.4 NO. 2，2012年1月（ISSN 09743375））。
在一种优选的实施方式中，至少第一设备被实施为使得其在两个相反的方向中分别具有显示屏和用于确定性别和对年龄组的所属性的传感器，使得该设备同时检测从相反方向移动到所述设备的人。在一种特别优选的实施方式中，第一设备具有两个用于显示信息的显示屏和具有两个可以用于确定性别和大致年龄的相机。
在一种优选的实施方式中，存在第四设备，其包括用于显示信息的第五显示屏。第四设备优选地以这样的方式与第三设备连接，即当信息也显示在第三显示屏上时，信息显示在第五显示屏上，其中所述信息优选地彼此协调，这意味着它们涉及同一主题（例如，同一产品）。
除了相应的传感器之外，所述设备还具有用于读出传感器和用于分析读出数据的装置。为此，使用一个或多个计算机系统。计算机系统是借助于可编程计算规则进行电子数据处理的设备。该计算机系统通常根据冯·诺依曼架构具有计算单元、控制单元、总线单元、存储器以及输入和输出单元。
根据本发明，首先分析从传感器确定的原始数据，以确定针对被分析人的物理和/或精神状态的特征。随后，在显示屏上显示与所确定的人的特征匹配的信息。取决于所确定的哪些特征，在显示屏上显示与所述特征协调的信息。
这具有显示与相应人协调的信息的优点。因此，有针对性地向人提供信息。
例如，如果借助于传感器确定了性别，则可以根据相应的性别在显示屏上显示特定于性别的信息。如果该人是女性，则可以显示通常涉及女性和/或女性感兴趣的信息。如果该人是男性，则可以显示通常涉及男性和/或男性感兴趣的信息。
例如，如果借助于一个或多个传感器除了性别之外还确定对年龄组的所属性，则可以根据相应的性别和相应的年龄组在显示屏上显示特定于性别和特定于年龄的信息。如果该人是年龄为20至30岁的女性，则可以显示通常涉及该年龄的女性和/或该年龄的女性感兴趣的信息。如果该人是年龄为50至60岁的男性，则可以显示通常涉及该年龄的男性和/或该年龄的男性感兴趣的信息。
还可以想到的是，除了在显示屏上显示的信息之外，还呈现听觉和/或嗅觉的信息。可以通过音调和/或所说的话来辅助视觉表示。可以输出气味。除了视觉信息的辅助和/或补充之外，这些附加的感觉刺激还用于激励待分析的人的注意力，例如以相对于传感器更好地对人定向。
可以想到选择显示在显示屏上的信息，使得它们应当触发待分析的人的反应。然后可以借助于合适的传感器检测、分析和评估待分析的人的特殊反应。
优选地，设备被布置成使得人在其途中（例如，通过药房）首先经过第一设备，然后经过第二设备，随后遇到第三设备并且必要时遇到第四设备。
在一种优选的实施方式中，多个或所有设备彼此联网。如果一个设备与另一个设备联网，则该设备可以将信息传输到联网的设备和/或从联网的设备接收信息。
例如可以想到的是，第一设备确定人的存在、性别和年龄并且将其传送给第二设备，必要时在短时间内具有相应年龄和相应性别的人可能出现在第二设备前面，由此第二设备“准备好”。
还可以想到的是，两个相邻的设备具有用于识别人的装置，例如借助于面部识别。这意味着第一人由一个设备检测，并且当出现在另一个设备前面时由所述另一个设备再次识别。在这种情况下，所述另一个设备已经“知道”由相邻设备向人显示了哪些信息并且“可以自己调整”。
还可以想到的是，设备确定人在该设备前面停止的时间段的长度。除了纯停止持续时间之外，优选地还检测在该停止期间已经显示了哪些信息。可以想到的是，这些信息被转发到相邻设备，由此相邻设备“知道”已经向该人显示了哪些信息，以便“能够自己调整”。
如果待分析的人例如在第一设备前面和在第二设备前面的停止持续时间相对较短，则这可以表明此人对所显示的主题不感兴趣。然后可以在第三设备上并且必要时在第四设备上显示另一个主题。
在一种优选的实施方式中，显示在显示屏上的信息量和/或信息深度与人在其沿着设备的路径上所预期的等待时间相匹配。
优选地，信息量和/或信息深度沿着人从第一设备经由第二设备到第三设备以及必要时到第四设备的路径而增加。
优选地，在设备的显示屏上解决同一主题。优选地，所显示的信息量和/或信息深度从第一设备经由第二设备到第三设备并且必要时到第四设备而增加。不同设备之间拾取同一主题会导致重新识别。信息量和/或信息深度的增加导致信息的深化。
在一种优选的实施方式中，第一设备位于商店或政府办公室或诊所等的入口区域。在这种情况下，入口区域被理解为入口之前的区域以及直接在入口之后的区域以及入口本身。
优选地，第三设备和必要时第四设备位于其中通常在第一待分析人和另一人（“第二人”）之间进行交互（例如，顾客对话）的区域中。
第二设备优选地位于第一设备和第三设备之间，使得第一人在其从入口区域到交互区域的路径上连续地经过第一设备和然后经过第二设备，以便然后遇到第三设备（并且必要时第四设备）。
在一种优选的实施方式中，所述设备用在药房或类似的商店中以获得药物。
入口区域中的第一设备检测待分析的人的性别和年龄组。优选地在显示屏上解决通常涉及相应年龄和相应性别的人和/或相应年龄和相应性别的人会感兴趣的健康主题。优选地在显示屏上显示唯一的图示，该图示可以由人在经过时检测。例如，可以想到显示具有一个或多个单词——通过所述一个或多个单词谈到主题——的图像。
如果待分析的人朝向第二设备移动，第二设备优选地位于进入区域和销售柜台之间，则再次确定年龄和性别。必要时这个人被再次识别。先前在第一显示屏上谈到的主题在第二显示屏上加深。可以想到的是，1至10秒的短视频序列显示关于所述主题的更多信息。
如果待分析的人朝向第三设备移动，第三设备优选地位于销售柜台的区域中，则再次确定年龄和性别。必要时这个人被再次识别。附加地检测特征：皮肤温度（优选在脸上）、心率和情绪（例如，借助于面部识别和/或声音分析）。
优选地，经由第四显示屏将检测的特征与第二人（优选地是药剂师）相对地显示，使得第二人可以使用这些信息来进行有针对性的对话。
可以以数字的形式显示的特征（体温、心率、身高、估计体重）优选地在第一显示屏上显示为数字。
可以借助于字母显示的特征（例如，性别）优选地借助于字母显示（例如，对于男性为“m”，而对于女性为“w”）。然而，也可以想到使用符号来显示性别。
对于借助于数字和/或字母不能显示或只能不良显示的特征，可以使用符号。
例如，可以借助于表情符号显示优选地从脸部分析和/或声音分析推导出的情绪（例如，“”表示好情绪，“”表示不良情绪）。
颜色可以用于使显示的信息更容易检测。例如，如果温度高于正常值（36.0℃-37.2℃）则红色可以用于所测量的温度，而如果温度位于正常值范围内则以绿色调显示温度。
还可以想到，将多个特征总结为一个显示的信息。例如，如果由脸部识别和心率测量得到人受到压力，则可以在第一显示屏上显示针对受压人的标记。
优选地存在第四设备，其从待分析的人的角度来看位于商品货架区域中的销售柜台后面。第四设备包括第五显示屏，在第五显示屏上优选地显示与第三显示屏上相同的信息。
下面将基于具体例子更详细地解释本发明，而不希望将其限制于该例子的特征。
内部研究表明，例如在药房中的PoS材料（PoS：销售点，英语：point of sale）的最佳放置可以导致更有针对性地向顾客提供相应的信息，并从而导致冲动购买率的增加。在此描述的系统基于从该研究得出的PoS材料的最佳放置（四个触摸点），并通过数字技术扩展这些触摸点。
第一顾客接触在药房前面经由数字人行道广告牌进行，该人行道广告牌识别性别和年龄并基于这些数据显示特殊的信息（第一设备）。在这种情况下有利的是，该触摸点在两个方向上操作（前置相机+监视器，后置相机+监视器），以确保最大数量的顾客接触。
第二顾客接触在药房的所谓自由选择区域（借助于第二设备）进行。一旦该触摸点的相机检测了顾客（包括年龄+性别），相应的特殊信息就被显示在显示屏上。附加地，自由选择广告牌具有LED框架，其采取显示在显示屏幕上的信息的颜色并从而人为地扩展显示屏区域。
在非处方区域（HV）中存在HV广告牌，其除了用于年龄和性别识别的相机之外附加地还测量顾客的体温、心率和应力水平（第三设备）。这些信息应当在咨询对话中向药剂师提供关于顾客的更广泛的信息库，以便能够以更加个性化和更有针对性的方式与顾客打交道。该系统不应当产生诊断，而是应当为药剂师提供辅助。当顾客在朝向他的显示器（第三显示屏）上看到个性化的信息时，药剂师则在该显示器的背侧（第四显示屏）上看到测量的生命值（包括压力水平）和治疗指示（例如：“请询问......”或“请提供血压测量”等等）。
柜台后显示器（第四设备/平板PC，包括第五显示屏）以无线方式耦合到HV显示器并同步操作：它显示与已经显示在HV显示器上的信息有关的更广泛的信息。
所有显示的信息/通信可以是运动图像、静止图像或具有轻微动画的静止图像。
Claims (10)
1.一种系统，包括以下组件：
-第一设备，包括用于显示信息的第一显示屏和用于识别第一人的存在并且用于非接触式地确定所述第一人的以下特征的一个或多个传感器：
○性别
○对年龄组的所属性
-第二设备，包括用于显示信息的第二显示屏和用于识别所述第一人的存在以及用于非接触式地确定所述第一人的以下特征的一个或多个传感器：
○性别
○对年龄组的所属性
-第三设备，包括用于显示信息的第三和第四显示屏以及用于非接触式地确定所述第一人的以下特征的一个或多个传感器：
○性别
○对年龄组的所属性
○皮肤温度
○心率
○情绪
其中第一、第二和第三设备被配置为，使得它们在第一、第二和第三显示屏上与第一人相对地显示信息，其中基于所检测的所述第一人的特征来选择所述信息，
并且其中所述第三设备被配置为，使得所述第三设备在第四显示屏上与第二人相对地显示关于所述第一人的信息。
2.如权利要求1所述的系统，其特征在于，两个或更多个设备彼此联网并且被配置为，使得联网的设备交换关于在相应设备前面的人的停止持续时间的信息和/或在停止期间显示的信息。
3.如权利要求1和2中任一项所述的系统，其中，所述设备被布置为，使得所述第一人在其从入口区域到其中所述第一人与第二人发生交互的区域的路径上首先经过所述第一设备，然后经过所述第二设备，然后遇到所述第三设备和可选地遇到第四设备。
4.如权利要求1至3中任一项所述的系统，其特征在于，存在第四设备，其具有第五显示屏，其中所述系统被配置为使得显示在所述第三显示屏上的内容和显示在所述第五显示屏上的内容彼此协调。
5.如权利要求1至4中任一项所述的系统，其特征在于，所述第三设备具有图像传感器，利用所述图像传感器确定所述第一人的性别、所述第一人对年龄组的所属性以及所述第一人的心率，并且所述第三设备包括热相机，利用该热相机确定所述第一人的皮肤温度，并且所述第三设备可选地具有麦克风，借助于该麦克风执行声音分析和确定所述第一人的压力水平。
6.如权利要求1至5中任一项所述的系统，其特征在于，在第一、第二、第三和第五显示屏上显示的信息涉及同一主题，如果该第五显示屏存在的话，所述主题优选地是健康主题。
7.如权利要求1至6中任一项所述的系统，其中，在所述设备的显示屏上显示的信息量从第一设备经过第二设备到第三设备逐步增加。
8.如权利要求1至7中任一项所述的系统，其中，所述第一设备具有两个显示屏和两个相机，这些相机和显示屏分别被布置为使得同时检测和分析向所述第一设备移动的两个人，并且基于在所述分析时确定的数据向这两个人显示特殊的信息。
9.一种方法，包括以下步骤：
（A1）识别第一显示屏前面的第一人的存在
（A2）检测所述第一人的以下特征：
○性别
○对年龄组的所属性
（A3）根据所检测的所述第一人的特征在所述第一显示屏上显示信息
（B1）识别第二显示屏前面的所述第一人的存在
（B2）检测所述第一人的以下特征：
○性别
○对年龄组的所属性
（B3）根据所检测的所述第一人的特征在所述第二显示屏上显示信息
（C1）识别第三显示屏前面的所述第一人的存在
（C2）检测所述第一人的以下特征：
○性别
○对年龄组的所属性
○皮肤温度
○心率
○情绪
（C3）根据所检测的所述第一人的特征在所述第三显示屏上显示信息
（D1）在与第二人相对的第四显示屏上显示关于所述第一人的信息。
10.如权利要求9所述的方法，其中第四设备与所述第三设备连接，并且信息显示在第五显示屏上，其中在第三和第五显示屏上的信息彼此协调。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP16194850.0 | 2016-10-20 | ||
| EP16194850 | 2016-10-20 | ||
| PCT/EP2017/076180 WO2018073114A1 (de) | 2016-10-20 | 2017-10-13 | System zum gezielten informieren einer person |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109952589A true CN109952589A (zh) | 2019-06-28 |
Family
ID=57209208
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780064881.5A Pending CN109952589A (zh) | 2016-10-20 | 2017-10-13 | 用于有针对性地向人提供信息的系统 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20200051150A1 (zh) |
| EP (1) | EP3529765A1 (zh) |
| CN (1) | CN109952589A (zh) |
| CA (1) | CA3040989A1 (zh) |
| WO (1) | WO2018073114A1 (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040044564A1 (en) * | 2002-08-27 | 2004-03-04 | Dietz Paul H. | Real-time retail display system |
| US20080004950A1 (en) * | 2006-06-29 | 2008-01-03 | Microsoft Corporation | Targeted advertising in brick-and-mortar establishments |
| WO2013174433A1 (en) * | 2012-05-24 | 2013-11-28 | Intellex Systems Limited | Method of performing targeted content |
| US20140236728A1 (en) * | 2013-02-21 | 2014-08-21 | Seeln Systems, Inc | Interactive service and advertising systems and methods |
| CN104036413A (zh) * | 2014-06-03 | 2014-09-10 | 北京航空航天大学 | 信息媒体的智能推送方法与系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7321855B2 (en) | 2003-12-15 | 2008-01-22 | Charles Humble | Method for quantifying psychological stress levels using voice pattern samples |
| US7571101B2 (en) | 2006-05-25 | 2009-08-04 | Charles Humble | Quantifying psychological stress levels using voice patterns |
| CN101517636A (zh) | 2006-10-03 | 2009-08-26 | 安德烈·耶夫根尼耶维奇·纳兹德拉坚科 | 根据声音确定人紧张状态的方法和实现所述方法的装置 |
| US20090217315A1 (en) * | 2008-02-26 | 2009-08-27 | Cognovision Solutions Inc. | Method and system for audience measurement and targeting media |
| IN2013CH04602A (zh) | 2013-10-10 | 2015-10-09 | 3Gs Wellness Pvt Ltd | |
| US11099798B2 (en) * | 2015-01-20 | 2021-08-24 | Misapplied Sciences, Inc. | Differentiated content delivery system and method therefor |
| US20170319148A1 (en) * | 2016-05-04 | 2017-11-09 | Mimitec Limited | Smart mirror and platform |
-
2017
- 2017-10-13 EP EP17791985.9A patent/EP3529765A1/de not_active Withdrawn
- 2017-10-13 WO PCT/EP2017/076180 patent/WO2018073114A1/de unknown
- 2017-10-13 CA CA3040989A patent/CA3040989A1/en not_active Abandoned
- 2017-10-13 US US16/340,033 patent/US20200051150A1/en not_active Abandoned
- 2017-10-13 CN CN201780064881.5A patent/CN109952589A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040044564A1 (en) * | 2002-08-27 | 2004-03-04 | Dietz Paul H. | Real-time retail display system |
| US20080004950A1 (en) * | 2006-06-29 | 2008-01-03 | Microsoft Corporation | Targeted advertising in brick-and-mortar establishments |
| WO2013174433A1 (en) * | 2012-05-24 | 2013-11-28 | Intellex Systems Limited | Method of performing targeted content |
| US20140236728A1 (en) * | 2013-02-21 | 2014-08-21 | Seeln Systems, Inc | Interactive service and advertising systems and methods |
| CN104036413A (zh) * | 2014-06-03 | 2014-09-10 | 北京航空航天大学 | 信息媒体的智能推送方法与系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018073114A1 (de) | 2018-04-26 |
| US20200051150A1 (en) | 2020-02-13 |
| CA3040989A1 (en) | 2018-04-26 |
| EP3529765A1 (de) | 2019-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6850723B2 (ja) | 顔表情識別システム、顔表情識別方法及び顔表情識別プログラム | |
| Poppe et al. | AMAB: Automated measurement and analysis of body motion | |
| CN109983505B (zh) | 人物动向记录装置、人物动向记录方法及存储介质 | |
| US11320902B2 (en) | System and method for detecting invisible human emotion in a retail environment | |
| US8306265B2 (en) | Detection of animate or inanimate objects | |
| EP3091737A2 (en) | Digital mirror apparatus | |
| US20120083675A1 (en) | Measuring affective data for web-enabled applications | |
| CN110349667A (zh) | 结合调查问卷及多模态范式行为数据分析的孤独症评估系统 | |
| US11301775B2 (en) | Data annotation method and apparatus for enhanced machine learning | |
| CN109765991A (zh) | 社交互动系统、用于帮助用户进行社交互动的系统及非暂时性计算机可读存储介质 | |
| CN104331685A (zh) | 非接触式主动呼叫方法 | |
| Westlund et al. | Motion Tracker: Camera-based monitoring of bodily movements using motion silhouettes | |
| Li et al. | An EEG-based multi-modal emotion database with both posed and authentic facial actions for emotion analysis | |
| WO2020148889A1 (ja) | 情報処理装置 | |
| CN110140181A (zh) | 用于确定人的特征的设备 | |
| CN108882853A (zh) | 使用视觉情境来及时触发测量生理参数 | |
| Lan et al. | Eyesyn: Psychology-inspired eye movement synthesis for gaze-based activity recognition | |
| Hossain et al. | Facial emotion verification by infrared image | |
| JP2021026336A (ja) | 情報処理装置、及び、マーケティング活動支援装置 | |
| JP7306152B2 (ja) | 感情推定装置、感情推定方法、プログラム、情報提示装置、情報提示方法及び感情推定システム | |
| CN109952589A (zh) | 用于有针对性地向人提供信息的系统 | |
| Lee et al. | Pain intensity estimation from mobile video using 2d and 3d facial keypoints | |
| Mankodiya et al. | Understanding User's Emotional Engagement to the Contents on a Smartphone Display: Psychiatric Prospective | |
| Bouma et al. | Measuring cues for stand-off deception detection based on full-body nonverbal features in body-worn cameras | |
| Pawar et al. | Depression analysis using image processing and Machine learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190628 |