CN106852171A - 基于声音信息的用户多个行为识别方法 - Google Patents

基于声音信息的用户多个行为识别方法 Download PDF

Info

Publication number
CN106852171A
CN106852171A CN201580052271.4A CN201580052271A CN106852171A CN 106852171 A CN106852171 A CN 106852171A CN 201580052271 A CN201580052271 A CN 201580052271A CN 106852171 A CN106852171 A CN 106852171A
Authority
CN
China
Prior art keywords
sound source
mentioned
source pattern
pattern
reference sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580052271.4A
Other languages
English (en)
Other versions
CN106852171B (zh
Inventor
权伍炳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Academic Cooperation Foundation of Kyung Hee University
Original Assignee
Industry Academic Cooperation Foundation of Kyung Hee University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry Academic Cooperation Foundation of Kyung Hee University filed Critical Industry Academic Cooperation Foundation of Kyung Hee University
Publication of CN106852171A publication Critical patent/CN106852171A/zh
Application granted granted Critical
Publication of CN106852171B publication Critical patent/CN106852171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/36—Detecting the response signal, e.g. electronic circuits specially adapted therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V1/00—Seismology; Seismic or acoustic prospecting or detecting
    • G01V1/001—Acoustic presence detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental & Geological Engineering (AREA)
  • Geology (AREA)
  • Remote Sensing (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Toys (AREA)

Abstract

本发明涉及一种识别用户的多个行为的方法，更具体地讲，提供一种在特定空间做出多个行为的情况下，从收集到的声源能够识别用户的多个行为，且从所识别的多个用户行为能够准确地判断用户状况的方法。

Description

基于声音信息的用户多个行为识别方法
技术领域
本发明涉及一种识别用户的多个行为的方法，更具体地讲，提供一种在特定空间做出多个行为的情况下，从收集到的声源能够识别用户的多个行为，且从所识别的多个用户行为能够准确地判断用户状况的方法。
背景技术
作为用于判断用户日常生活中用户状况的重要因素而在使用识别用户行为。这种用户状况判断能够切合无所不在的环境而使用于控制用户所在场所的环境或提供医疗服务或推荐适于用户的商品等多种服务。
过去为了识别用户的行为而使用基于位置的识别方式、基于行为的识别方式、以及基于声源的识别方式等。
就基于位置的识别方式而言，利用附着于用户所持有的终端的GPS模块或利用配置于用户所在的场所的用户检测传感器如红外线检测传感器、热检测传感器等基于用户当前位于哪种场所而识别用户行为。即、基于用户当前所在的场所而以在该场所所能够做出的行为来识别用户行为。然而，就过去基于位置的识别方式而言，由于在相同的场所也能够做出多个行为，因此具有难以准确地识别用户行为之类的问题。
另一方面，就基于行为的识别方式而言，利用相机而获取用户影像并从所获取的用户影像中提取连续行动或举止，并以所提取的连续行动或举止来识别用户行为。然而，就基于行为的识别方式而言，由于获取用户影像，因此在保护个人隐私方面欠妥，且具有以从用户影像中提取的连续行为或举止就难以准确地识别用户行为之类的问题。
另一方面，就过去基于声源的识别方式而言，利用用户所持有或配置于用户所在场所的麦克风而在用户所在场所获取声源并基于获取的声源而识别用户的行为。就基于声源的识别方式而言，基于声源信息而在数据库检索与声源信息最相似的参考声源，并将映射于最相似的参考声源的行为识别为用户行为。在过去基于声源的识别方式的情况下，基于声源信息而将映射于最相似的参考声源的行为识别为用户行为，但在多名用户各自做出多种行为或1名用户同时或依次做出多个行为导致与多个行为相应的声源彼此混合的情况下具有识别不了多个行为的问题。
发明内容
技术问题
本发明旨在解决上面所提及的过去的用户行为识别方法中所存在的问题，本发明所要达到的目的在于提供一种在特定空间做出多个行为的情况下从收集到的声源能够识别用户的多个行为的方法。
本发明所要达到的另一目的在于提供一种从收集到的声源中所起始的一部分起始声源模式(pattern)和收集到的声源中所终了的一部分终了声源模式能够识别用户的多个行为的方法。
本发明所要达到的其它目的在于提供一种不仅参考收集到的声源而且参考所收集声源的场所信息，以去除场所信息中所不可能产生的排他参考声源模式，从而从收集到的声源能够准确地识别用户的多个行为的方法。
解决问题方案
为了达到本发明的目的，根据本发明的一实施例的用户的多个行为识别方法，其特征在于，包括：在用户所在的场所收集声源和位置信息的步骤；计算收集到的声源的起始声源模式与存储于数据库的参考声源模式之间的起始相似度，并计算收集到的声源的终了声源模式与存储于数据库的参考声源模式之间的终了相似度的步骤；基于起始相似度和终了相似度而将与起始声源模式及终了声源模式一致的参考声源模式分别选择为起始候选参考声源模式和终了候选参考声源模式的步骤；以及基于起始候选参考声源模式、终了候选参考声源模式以及用户位置信息而识别用户的多个行为的步骤。
优选地、根据本发明的一实施例的用户的多个行为识别方法其特征在于，进一步包括：判断收集到的声源中增幅大于阈值的增加区域或减幅大于阈值的减小区域的步骤；以及从增加区域或减小区域的数量判断形成收集到的声源的多个行为的数量的步骤。
优选地、根据本发明的一实施例的用户的多个行为识别方法其特征在于，进一步包括：基于用户位置信息而判断起始候选参考声源模式或终了候选参考声源模式中在场所不可能产生的排他参考声源模式的步骤；以及将排他参考声源模式从起始候选参考声源模式或终了候选参考声源模式中删除而选择最终候选参考声源模式的步骤，基于最终候选参考声源模式和用户位置信息而识别用户的多个行为。
优选地、在本发明中，在增加区域或上述减小区域被判断为2个的情况下，识别用户的多个行为的步骤的一例其特征在于，包括：将最终候选参考声源模式中1个起始候选参考声源模式和最终候选参考声源模式中1个终了候选参考声源模式分别相加而生成候选声源组合的步骤；将构成候选声源组合的各候选声源与收集到的声源的相似度进行比较而确定候选声源组合中与收集到的声源最相似的最终候选声源的步骤；以及将分别映射于构成最终候选声源的起始候选参考声源模式和终了候选参考声源模式的多个行为识别为用户的行为的步骤。
优选地、在本发明中，在增加区域或减小区域被判断为2个的情况下，识别用户的多个行为的步骤的另一例其特征在于，包括：判断在起始候选参考声源模式的最终候选参考声源模式中是否存在与终了候选参考声源模式的最终候选参考声源模式一致的一致候选参考声源模式的步骤；将一致候选参考声源模式确定为第一最终声源模式的步骤；将从收集到的声源中减除了第一最终声源模式的相减声源与存储于数据库的参考声源模式之间的相似度进行比较而选择第二最终声源模式的步骤；以及将分别映射于第一最终声源模式和第二最终声源模式的行为识别为用户的多个行为的步骤。
另一方面，根据本发明的另一实施例的用户的多个行为识别方法其特征在于，包括：在用户所在的场所收集声源的步骤；计算收集到的声源的起始声源模式与存储于数据库的参考声源模式之间的起始相似度，并计算收集到的声源的终了声源模式与存储于数据库的参考声源模式之间的终了相似度的步骤；基于起始相似度而将与起始声源模式一致的参考声源模式选择为起始候选参考声源模式，并基于终了相似度而将与终了声源模式一致的参考声源模式选择为终了候选参考声源模式的步骤；判断在起始候选参考声源模式和终了候选参考声源模式中是否存在相互一致的候选参考声源模式的步骤；在相互一致的候选参考声源模式存在的情况下，将相互一致的候选参考声源模式选择为第一最终声源模式，并利用第一最终声源模式而判断剩余最终声源模式的步骤；以及将分别映射于第一最终声源模式和剩余最终声源模式的用户行为识别为用户的多个行为的步骤。
优选地、根据本发明的另一实施例的用户的多个行为识别方法其特征在于，进一步包括：判断收集到的声源中增幅大于阈值的增加区域或减幅大于阈值的减小区域的步骤；以及从增加区域或上述减小区域的数量判断形成收集到的声源的多个行为的数量的步骤。
优选地、在根据本发明的另一实施例的用户的多个行为识别方法中，在增加区域或减小区域被判断为2个的情况下，识别用户的多个行为的步骤的一例其特征在于，包括：在相互一致的候选参考声源模式存在的情况下将相互一致的候选参考声源模式选择为第一最终声源模式的步骤；将从收集到的声源中减除了第一最终声源模式的相减声源与存储于数据库的参考声源模式之间的相似度进行比较而选择第二最终声源模式的步骤；以及将分别映射于第一最终声源模式和第二最终声源模式的行为识别为用户的多个行为的步骤。
优选地、根据本发明的另一实施例的用户的多个行为识别方法其特征在于，在相互一致的候选参考声源模式并不存在且增加区域或减小区域被判断为2个的情况下，识别用户的多个行为的步骤包括：将起始候选参考声源模式和终了候选参考声源模式分别相加而生成候选声源组合的步骤；将构成候选声源组合的各候选声源与收集到的声源的相似度进行比较而确定候选声源中与收集到的声源最相似的最终声源模式的步骤；以及将分别映射于构成最终声源模式的起始候选参考声源模式和终了候选参考声源模式的行为识别为用户的多个行为的步骤。
优选地、根据本发明的另一实施例的用户的多个行为识别方法其特征在于，进一步包括：基于用户位置信息而判断候选参考声源模式中在场所不可能产生的排他参考声源模式的步骤；以及将排他参考声源模式从起始候选参考声源模式或终了候选参考声源模式中删除而选择最终候选参考声源模式的步骤。
另一方面，根据本发明的用户状况判断方法其特征在于，包括：在用户所在的场所收集声源的步骤；计算收集到的声源的起始声源模式与存储于数据库的参考声源模式之间的起始相似度，并计算收集到的声源的终了声源模式与存储于数据库的参考声源模式之间的终了相似度的步骤；基于起始相似度和终了相似度而将与起始声源模式及终了声源模式一致的参考声源模式分别选择为起始候选参考声源模式和终了候选参考声源模式的步骤；将由起始候选参考声源模式和终了候选参考声源模式所生成的相加声源模式与收集到的声源进行比较而从起始候选参考声源模式或终了候选参考声源模式中确定形成收集到的声源的最终起始声源模式和最终终了声源模式的步骤；以及基于由最终起始声源模式和最终终了声源模式所生成的声源模式组合和用户位置信息而判断用户状况的步骤。
优选地、根据本发明的一实施例的用户状况判断方法其特征在于，进一步包括：判断收集到的声源中增幅大于阈值的增加区域或减幅大于阈值的减小区域的步骤；以及从增加区域或上述减小区域的数量判断形成收集到的声源的多个行为的数量的步骤。
优选地、根据本发明的一实施例的用户状况判断方法其特征在于，进一步包括：基于用户位置信息而判断起始候选参考声源模式或终了候选参考声源模式中在收集了声源的场所不可能产生的排他参考声源模式的步骤；以及将排他参考声源模式从起始候选参考声源模式或终了候选参考声源模式中删除的步骤。
优选地、在根据本发明的用户状况判断方法中，在增加区域或减小区域被判断为2个的情况下，判断用户的状况的步骤的一例其特征在于，包括：将起始候选参考声源模式中1个候选声源模式和终了候选参考声源模式中1个候选声源模式分别相加而生成候选声源组合的步骤；将构成候选声源组合的各候选声源与收集到的声源的相似度进行比较而确定候选声源组合中与收集到的声源最相似的最终候选声源的步骤；以及从与模式组合相应的多个行为判断用户状况的步骤，其中，模式组合由构成最终候选声源的候选声源模式组成。
优选地、在根据本发明的用户状况判断方法中，在增加区域或减小区域被判断为2个的情况下，判断用户状况的步骤的另一例其特征在于，包括：判断在起始候选参考声源模式和终了候选参考声源模式中是否存在相互一致的一致候选参考声源模式的步骤；将一致候选参考声源模式确定为第一最终声源模式的步骤；将从收集到的声源中减除了第一最终声源模式的相减声源与存储于数据库的参考声源模式之间的相似度进行比较而选择第二最终声源模式的步骤；以及从与模式组合相应的多个行为判断用户状况的步骤，其中，模式组合由第一最终声源模式和第二最终声源模式组成。
发明效果
根据本发明的用户的多个行为识别方法具有如下多种效果。
第一、根据本发明的用户的多个行为识别方法，利用收集到的声源中所起始的一部分起始声源模式和收集到的声源中所终了的一部分终了声源模式而能够识别用户同时或依次做出的多个行为。
第二、根据本发明的用户的多个行为识别方法，对于收集到的声源中的与起始声源模式和终了声源模式相似的多个候选参考声源模式，根据是否相互一致且是否存在候选参考声源模式而首先判断映射于起始声源模式或终了声源模式的第一用户行为，从而能够准确地判断除了第一用户行为之外的剩余用户行为。
第三、根据本发明的用户的多个行为识别方法，首先基于收集到的声源信息而选择能够识别用户行为的候选参考声源模式，接着基于用户所在的场所的位置信息而选择最终候选参考声源模式，从而能够准确地识别用户的行为。
第四、根据本发明的用户多个行为识别方法，基于在用户所在的场所获取的声源信息或位置信息而识别用户行为，从而能够保护用户个人隐私，进而即使用户并未输入特定信息也能够准确地识别用户的多个行为。
第五、根据本发明的用户状况判断方法，从收集到的声音识别多个用户行为，从而从同时或依次做出的多个用户行为的组合能够准确地判断用户状况。
附图说明
图1是用于说明根据本发明的一实施例的用户行为识别装置的功能框图。
图2是用于说明根据本发明的一实施例的用户状况判断装置的功能框图。
图3是用于更具体地说明根据本发明的行为数量判断部的一例的功能框图。
图4是用于具体地说明根据本发明的多个行为识别部的一例的功能框图。
图5是用于具体地说明根据本发明的多个行为识别部的另一例的功能框图。
图6是用于说明根据本发明的一实施例的用户的多个行为识别方法的流程图。
图7是用于说明基于增加区域或减小区域而分割收集到的声源的一例的图。
图8图示了根据本发明的数据库的一例。
图9是用于说明根据本发明的选择候选参考声源的步骤的一例的流程图。
图10是用于说明根据本发明的识别用户的多个行为的步骤的一例的流程图。
图11是用于说明根据本发明的识别用户的多个行为的步骤的另一例的流程图。
图12是用于说明识别用户的多个行为的步骤的例的图。
图13是用于说明收集到的声源包括与3个以上的用户行为相应的声源模式的情况下识别用户的多个行为的方法的一例的图。
图14是用于说明根据本发明的判断用户状况的方法的流程图。
图15图示了根据本发明的存储于数据库的声源模式组合和映射于各声源模式组合的用户状况的一例。
具体实施方式
以下参考附图而更具体地观察根据本发明的用户行为识别方法。
图1是用于说明根据本发明的一实施例的用户行为识别装置的功能框图。
参考图1而更具体地观察如下：信息收集部110在用户所在的场所收集使用于判断用户行为的信息。信息收集部110具备声源收集部111和位置收集部113，而声源收集部111在用户所在的场所收集声源，位置收集部113收集用户所在的场所的位置信息。优选地、声源收集部111可以是麦克风，位置收集部113能够使用附着于用户所持有的终端的GPS模块或配置于用户所在的场所的红外线传感器、热传感器等。这里，收集到的声源信息能够使用能够示出收集到的声源的特性的共振峰(formant)、音高(pitch)、强度(intensity)等。根据本发明所适用的领域而能够使用多种声源信息，而这些属于本发明的范围。
行为数量判断部120测定收集到的声源的大小而判断收集到的声源中增幅大于阈值的增加区域或减幅大于阈值的减小区域，并从增加区域的数量或减小区域的数量判断形成收集到的声源的行为的数量。另外，行为数量判断部120将收集到的声源中最初产生的增加区域分割生成为起始声源模式(PRE-P)或将收集到的声源中最后减小的减小区域分割生成为终了声源模式(POST-P)。
相似度计算部130将起始声源模式和终了声源模式分别与存储于数据库140的参考声源模式进行比较，且计算起始声源模式与参考声源模式之间的相似度，并计算终了声源模式与参考声源模式之间的相似度。优选地、就相似度而言，将构成起始声源模式或终了声源模式的共振峰、音高、强度中至少某一个声源信息与参考声源模式的共振峰、音高、强度中对应的某一个声源信息进行比较而计算相似度。
候选参考声源选择部150基于起始声源模式与参考声源模式之间的相似度或终了声源模式与参考声源模式之间的相似度而将与起始声源模式和终了声源模式分别一致的参考声源模式选择为候选参考声源模式。这里，将与起始声源模式一致的候选参考声源模式称为起始候选参考声源模式，并将与终了声源模式一致的候选参考声源模式称为终了候选参考声源模式。
排他参考声源去除部160基于收集到的位置信息而判断所选择的候选参考声源模式中在用户所在的场所不可能产生的排他参考声源模式，并将所判断的排他参考声源模式从所选择的候选参考声源模式中删除而确定最终候选参考声源模式。例如，从起始候选声源模式中删除排他参考声源模式而确定对于起始候选参考声源模式的最终候选参考声源模式，并从终了候选声源模式中删除排他参考声源模式而确定对于终了候选参考声源模式的最终候选参考声源模式。优选地、在数据库140存储有参考声源模式并且映射而存储有与参考声源模式相应的用户行为信息、参考声源模式所能够产生的场所信息。
多个行为识别部170基于对于起始候选参考声源模式的最终候选参考声源模式和对于终了候选参考声源模式的最终候选参考声源模式而识别用户的多个行为。
图2是用于说明根据本发明的一实施例的用户状况判断装置的功能框图。
图2的信息收集部210、行为数量判断部220、相似度计算部230、数据库240、候选参考声源选择部250、排他参考声源去除部260与在前面参考图1而说明的信息收集部110、行为数量判断部120、相似度计算部130、数据库140、候选参考声源选择部150、排他参考声源去除部160相同地工作，因而省略详细说明。
多个行为识别部270将由起始候选参考声源模式和终了候选参考声源模式所生成的相加声源模式与收集到的声源进行比较而从最终起始候选参考声源模式或最终终了候选参考声源模式中确定形成收集到的声源的最终起始声源模式和最终终了声源模式。
用户状况判断部280基于由最终起始声源模式和最终终了声源模式所生成的声源模式组合和用户位置信息而在数据库240检索与声源模式组合和用户位置信息相应的用户状况，并将所检索的用户状况判断为用户的当前状况。优选地、在数据库240中，在声源模式组合映射而存储有用户状况。
图3是用于更具体地说明根据本发明的行为数量判断部的一例的功能框图。
参考图3而更具体地观察如下：大小测定部121测定收集到的声源信息的大小，分割部123基于所测定的声源信息的大小判断增幅大于阈值的增加区域和减幅大于阈值的减小区域而分割收集到的声源。分割部123将收集到的声源中最初产生的增加区域分割成起始声源模式，并将收集到的声源中最后产生的减小区域分割成终了声源模式。
判断部125基于在分割部123所判断的增加区域的数量或减小区域的数量而判断形成收集到的声源的用户行为的数量。
图4是用于具体地说明根据本发明的多个行为识别部的一例的功能框图。
参考图4而更具体地观察如下：候选声源组合生成部171在判断形成收集到的声源的行为的数量为2个的情况下生成候选声源组合，该候选声源组合由去除了排他参考声源的起始候选参考声源模式中1个起始候选参考声源模式和去除了排他参考声源的终了候选参考声源模式中1个终了候选参考声源模式组成。
最终候选声源组合确定部173将构成候选声源组合的各候选声源之和与收集到的声源的相似度进行比较而确定候选声源组合中与收集到的声源最相似的最终候选声源。
行为识别部125在数据库140、240检索分别映射于构成最终候选声源的起始候选参考声源模式和终了候选参考声源模式的行为，并将所检索的行为识别为用户的多个行为。
图5是用于具体地说明根据本发明的多个行为识别部的另一例的功能框图。
参考图5而更具体地观察如下：一致候选模式检索部181在判断形成收集到的声源的行为的数量为2个的情况下，检索起始候选参考声源模式的最终候选参考声源模式中是否存在与终了候选参考声源模式的最终候选参考声源模式一致的一致候选参考声源模式。
在一致候选参考声源模式存在的情况下，第一最终声源确定部183将一致候选参考声源模式确定为第一最终声源模式，第二最终声源确定部185将从收集到的声源中减除了第一最终声源模式的相减声源与存储于数据库140、240的参考声源模式之间的相似度进行比较而将具有最高的相似度的参考声源模式确定为第二最终声源模式。
行为识别部187将数据库240中分别映射于第一最终声源模式和第二最终声源模式的行为识别为用户的多个行为。
图6是用于说明根据本发明的一实施例的用户的多个行为识别方法的流程图。
参考图6而更具体地观察如下：在用户所在的场所收集声源及位置信息(S10)，判断收集到的声源中增幅大于阈值的增加区域或减幅大于阈值的减小区域(S20)。这里，就增加区域或减小区域而言，测定所收集声源信息的大小，并基于已测定的所收集声源信息的大小在设定时间期间监测增幅大于阈值或减幅大于阈值的区域而判断增加区域或减小区域。这里，在产生增加区域或减小区域之后至产生下一个增加区域或下一个减小区域的区域分割成增加区域或减小区域，且将收集到的声源中最初产生的增加区域选择为起始声源模式并将收集到的声源中最后产生的减小区域选择为终了声源模式。
从增加区域或减小区域的数量判断形成收集到的声源的多个行为的数量(S30)。通常在用户做出一定行为的过程中同时进一步做出另一行为的情况下所收集声源信息的大小会突然增加，接着在同时做出多个行为的过程中中断一部分行为的情况下所收集声源信息的大小会突然减小。基于这种事实而从增加区域或减小区域的数量判断形成收集到的声源的多个行为的数量。
图7是用于说明基于增加区域或减小区域而分割收集到的声源的一例的图。
首先，参考图7(a)而观察如下：测定收集到的声源SS的大小而判断在设定时间期间增幅大于阈值的增加区域或减幅大于阈值的减小区域，优选地、为了判断增加区域或减小区域，能够将所收集声源信息的大小其增幅大于阈值或所收集声源信息的大小其减幅大于阈值的区域判断为增加区域或减小区域。在图7(a)中，在所收集声源信息的大小其增幅首先大于阈值的增加区域形成随1个行为的声源，其次，在所收集声源信息的大小其增幅接着大于阈值的增加区域追加1个行为而形成声源。这样，从增加区域的数量能够判断形成收集到的声源的多个行为的数量。
参考图7(b)而观察如下：判断所收集声源信息的大小开始增加而增幅大于阈值的区域而将该区域分割成单位增加区域，并将所收集声源信息的大小开始减小而减幅大于阈值的区域分割成单位减小区域。这里，将所收集声源信息的单位增加区域或单位减小区域中除了起始声源模式和终了声源模式之外的区域分割成相加声源模式。
重新参考图6而观察如下：计算收集到的声源的起始声源模式与存储于数据库的参考声源模式之间的起始相似度，并计算收集到的声源的终了声源模式与存储于数据库的参考声源模式之间的终了相似度(S40)。图8图示了数据库的一例，如图8所图示，存储有声源模式、与各声源模式相应的行为、对于行为所能够做出的场所的信息，这里，在声源模式中存储有参考声源模式信息如对于共振峰、音高、强度等的信息。
就存储于数据库的参考声源模式信息的种类而言，其各声源信息的种类与收集到的声源信息的种类相同，按照共振峰、音高、强度等的声源信息种类计算收集到的声源信息与存储于数据库的参考声源模式信息之间的相似度。计算相似度(SSI)的方式的一例能够如下面的等式1那样计算。
等式1
这里，等式1的特征在于，SIi为参考声源模式信息的种类(i)，GIi为与参考声源模式信息的种类相同的所收集声源信息的种类(i)，n为参考声源模式信息种类或收集到的声源信息种类的数量。
基于算出的相似度(SSI)而将与起始声源模式的相似度为临界相似度以上的参考声源模式选择为起始候选参考声源模式，并将与终了声源模式的相似度为临界相似度以上的参考声源模式选择为终了候选参考声源模式(S50)。优选地、基于算出的相似度(SSI)而能够将与起始声源模式的相似度高的、设定个数的参考声源模式选择为起始候选参考声源模式，或者，将与终了声源模式的相似度高的、设定个数的参考声源模式选择为终了候选参考声源模式。其中，设定个数的参考声源模式为将相似度按照由大至小的顺序排列时的与所设定个数相应的上位参考声源模式。
基于起始候选参考声源模式、终了候选参考声源模式、以及用户位置信息而从收集到的声源识别用户的多个行为(S60)。
图9是用于说明根据本发明的选择候选参考声源的步骤的一例的流程图。
参考图9而更具体地观察如下：将收集到的声源的起始声源模式和终了声源模式分别与数据库的参考声源模式进行比较而将与起始声源模式及终了声源模式一致的参考声源模式分别选择为起始候选参考声源模式和终了候选参考声源模式(S51)。
基于用户位置信息和存储于数据库的参考声源模式的场所信息而判断起始候选参考声源模式或终了候选参考声源模式中在用户所在的场所不可能产生的排他参考声源模式(S53)。例如，在选择模式1、模式2、模式3、模式7而作为起始候选参考声源模式且用户位置信息被判断为厨房的情况下，由于映射于模式7的场所信息为客厅和书房，因此模式7被判断为在用户所在的场所不可能产生的排他参考声源模式。
将排他参考声源模式从起始候选参考声源模式或终了候选参考声源模式中删除而确定最终候选参考声源模式(S55)。
优选地、识别用户的多个行为的步骤的特征在于，基于候选参考声源模式中去除了排他参考声源模式的最终候选参考声源模式和用户位置信息而识别用户的多个行为。
图10是用于说明根据本发明的识别用户的多个行为的步骤的一例的流程图。
参考图10而更具体地观察如下：判断存在于收集到的声源的增加区域的数量是否为2个(S111)，在基于增加区域的数量而判断用户行为的数量为2个的情况下，将最终候选参考声源模式中1个起始候选参考声源模式和最终候选参考声源模式中1个终了候选参考声源模式分别相加而生成候选声源组合(S113)。
将候选声源组合与收集到的声源的相似度进行比较而确定候选声源组合中与收集到的声源最相似的最终候选声源组合(S115)。这里，就候选声源组合与收集到的声源的相似度而言，如在前面参考等式1而说明，按照候选声源组合的声源信息的种类将收集到的声源信息之间的相似度相加而计算。
在数据库检索分别映射于构成最终候选声源组合的起始候选参考声源模式和终了候选参考声源模式的多个行为而将所检索的行为识别为用户的多个行为(S117)。
图11是用于说明根据本发明的识别用户的多个行为的步骤的另一例的流程图。
参考图11而更具体地观察如下：判断存在于收集到的声源的增加区域的数量是否为2个(S121)，判断起始候选参考声源模式的最终候选参考声源模式中是否存在与终了候选参考声源模式的最终候选参考声源模式一致的一致候选参考声源模式(S123)。在一致候选参考声源模式存在的情况下，将一致候选参考声源模式确定为第一最终声源模式(S125)。
将从收集到的声源中减除了第一最终声源模式的相减声源与存储于数据库的参考声源模式之间的相似度进行比较而确定第二最终声源模式(S127)。优选地、就相减声源与参考声源模式之间的相似度而言，如在前面参考等式1而说明，按照相减声源信息的种类将参考声源模式信息之间的相似度相加而计算。
在数据库检索分别映射于第一最终声源模式和第二最终声源模式的行为，并将所检索的行为识别为用户的多个行为(S129)。
图12是用于说明识别用户的多个行为的步骤的例的图。
首先，参考图12(a)而观察如下：在存在于收集到的声源的增加区域的数量为2个的情况下，将收集到的声源分割成起始声源模式、终了声源模式、相加声源模式。在a1、a2作为对于起始声源模式的最终起始候选参考声源模式而被选择且b1、b2作为对于终了声源模式的最终终了候选参考声源模式而被选择的情况下，将最终起始候选参考声源模式中1个和最终终了候选参考声源模式中1个分别相加而生成候选声源组合即{(a1，b1)、(a1，b2)、(a2，b1)、(a2，b2)}。这里，a1、a2、b1、b2是存储于数据库的参考声源模式。
将构成候选声源的各声源组合与收集到的声源的相加声源模式之间的相似度进行比较而确定最相似的最终候选声源a1、b2。将分别映射于a1、b2的行为识别为用户的多个行为。
接着，参考图12(b)而观察如下：在存在于收集到的声源的增加区域的数量为2个的情况下，将收集到的声源分割成起始声源模式、终了声源模式、相加声源模式。在a1、a2作为对于起始声源模式的最终起始候选参考声源模式而被选择且a1、b2作为对于终了声源模式的最终终了候选参考声源模式而被选择的情况下，判断最终起始候选参考声源模式和最终终了候选参考声源模式中是否存在相互一致的参考声源模式。
在一致参考声源模式a1存在的情况下，将一致参考声源模式a1确定为第一最终声源模式。从收集到的声源的相加声源模式中减除第一最终声源模式而生成相减图形，并在数据库检索与相减图形最相似的参考声源模式。在检索出最相似的参考声源模式b1的情况下，将最相似的参考声源模式b1确定为第二最终声源模式。将分别映射于a1、b1的行为识别为用户的多个行为。
图13是用于说明收集到的声源包括与3个以上的用户行为相应的声源模式的情况下识别用户的多个行为的方法的一例的图。
参考图13而观察如下：基于收集到的声源的增加区域确认出包括3个用户行为。将收集到的声源分别分割成单位增加区域1、2、3或单位减小区域4、5。
首先，将与起始声源模式相似的参考声源模式选择为第一候选参考声源模式a1、a2，并将与终了声源模式相似的参考声源模式选择为第二候选参考声源模式a1、c2。在与第一候选参考声源模式一致的第二候选参考声源模式存在的情况下，将一致候选参考声源模式a1确定为第一最终声源。
将与从单位增加区域2中减除第一最终声源a1而生成的相减声源相似的参考声源模式选择为第三候选参考声源模式b1、b2，并将与从单位减小区域4中减除第一最终声源a1而生成的相减声源相似的参考声源模式选择为第四候选参考声源模式b1、d2。在与第三候选参考声源模式一致的第四候选参考声源模式存在的情况下，将一致候选参考声源模式b1确定为第二最终声源。从相当于相加声源模式的单位增加区域3中减除第一最终声源与第二最终声源之和声源而生成相减图形，并计算相减图形与参考声源模式的相似度而将相似度最高的参考声源模式选择为第三最终声源。
将数据库中映射于第一最终声源、第二最终声源、以及第三最终声源的行为识别为用户的多个行为。
然而，在第二候选参考声源模式为c1、c2而并不存在与第一候选参考声源模式一致的候选参考声源模式的情况下，将与从单位增加区域2中减除第一候选参考声源模式a1、a2中某一个而生成的相减声源相似的参考声源模式选择为第三候选参考声源模式b2、b3。而且，将与从单位减小区域4中减除第二候选参考声源模式c1、c2中某一个而生成的相减声源相似的参考声源模式选择为第四候选参考声源模式d1、d2。
在第三候选参考声源模式和第四候选参考声源模式中存在一致的候选参考声源模式的情况下，如在前面所说明，将一致候选参考声源模式选择为最终声源，但在一致候选参考声源模式并不存在的情况下，计算从单位增加区域3中减除由第一候选参考声源模式和第三候选参考声源模式的组合组成的相加声源而生成的相减声源与参考声源模式的相似度，而选择为第五候选参考声源模式e1、e2。
将第一候选参考声源模式中某一个参考声源模式、第三候选参考声源模式中某一个参考声源模式、以及第五候选参考声源模式中某一个参考声源模式彼此相加而生成的各最终相加声源与单位增加区域3的所收集声源之间的相似度进行比较，而选择具有最高的相似度的最终相加声源，并将与构成最终相加声源的第一候选参考声源模式、第三候选参考声源模式、以及第五候选参考声源模式相应的行为识别为用户的多个行为。
图14是用于说明根据本发明的判断用户状况的方法的流程图。
参考图14而更具体地观察如下：图14的收集声源或位置信息的步骤(S210)、判断增减区域的步骤(S220)、判断多个行为的数量的步骤(S230)、计算相似度的步骤(240)、选择候选参考声源模式的步骤(S250)与在前面参考图6而说明的收集声源或位置信息的步骤(S10)、判断增减区域的步骤(S20)、判断多个行为的数量的步骤(S30)、计算相似度的步骤(40)、选择候选参考声源模式的步骤(S50)相同，因而省略对其的详细说明。
将由起始候选参考声源模式和终了候选参考声源模式所生成的相加声源模式与收集到的声源进行比较而从起始候选参考声源模式或终了候选参考声源模式中确定形成收集到的声源的第一最终声源模式和第二最终声源模式(S260)。
基于由第一最终声源模式和第二最终声源模式所生成的声源模式组合和用户位置信息而判断用户状况(S270)。优选地、在数据库中存储有声源模式组合并映射而存储有与各声源模式组合相应的用户状况。图15图示了根据本发明的存储于数据库的声源模式组合和映射于各声源模式组合的用户状况的一例。在模式3和模式4分别作为第一最终声源模式和第二最终声源模式而被选择的情况下，以映射于模式3和模式4的状况来判断用户状况。
这样，从收集到的声音确定形成收集到的声音的多个最终声源模式，而在各最终声源模式映射有用户行为，其次，将映射于由最终声源模式组成的声源模式组合的状况识别为用户状况，从而能够准确地判断与多个用户行为相应的用户状况。
另一方面，上述的本发明的各实施例，能够以可在计算机执行的程序来编写，且利用以计算机可读的记录介质而能够在运行上述程序的通用数字计算机具体实现。
上述计算机可读的记录介质包括磁存储介质(例如，只读存储器、软盘、硬盘等)、光学可读介质(例如，只读光盘存储器、数字化视频光盘等)、以及如载波(例如，通过因特网的传输)那样的存储介质。
虽然参考图示于附图中的实施例来说明了本发明，但这只是例示而已，本领域普通技术人员能够理解由此能够进行各种变形以及能够实施等同的其它实施例这一点。因此，本发明的真正的技术保护范围应由所附的权利要求书的技术思想所确定。

Claims (15)

1.一种用户的多个行为识别方法，其特征在于，包括：
在用户所在的场所收集声源的步骤；
计算上述收集到的声源的起始声源模式与存储于数据库的参考声源模式之间的起始相似度，并计算上述收集到的声源的终了声源模式与存储于上述数据库的参考声源模式之间的终了相似度的步骤；
基于上述起始相似度和上述终了相似度而将与上述起始声源模式及上述终了声源模式一致的参考声源模式分别选择为起始候选参考声源模式和终了候选参考声源模式的步骤；以及，
基于上述起始候选参考声源模式、上述终了候选参考声源模式以及用户位置信息而识别用户的多个行为的步骤。
2.根据权利要求1所述的用户的多个行为识别方法，其特征在于，
上述用户的多个行为识别方法进一步包括：
判断上述收集到的声源中增幅大于阈值的增加区域的步骤；以及，
从上述增加区域的数量判断形成上述收集到的声源的多个行为的数量的步骤。
3.根据权利要求2所述的用户的多个行为识别方法，其特征在于，
在上述用户的多个行为识别方法中选择上述起始候选参考声源模式和上述终了候选参考声源模式的步骤进一步包括：
基于上述用户位置信息而判断上述起始候选参考声源模式或上述终了候选参考声源模式中在上述场所不可能产生的排他参考声源模式的步骤；以及，
将上述排他参考声源模式从上述起始候选参考声源模式或上述终了候选参考声源模式中删除而确定最终候选参考声源模式的步骤，
基于上述最终候选参考声源模式和上述用户位置信息而识别用户的多个行为。
4.根据权利要求3所述的用户的多个行为识别方法，其特征在于，
在上述增加区域或上述减小区域被判断为2个的情况下，上述识别用户的多个行为的步骤包括：
将上述最终候选参考声源模式中1个起始候选参考声源模式和上述最终候选参考声源模式中1个终了候选参考声源模式分别相加而生成候选声源组合的步骤；
将构成上述候选声源组合的各候选声源与上述收集到的声源的相似度进行比较而确定上述候选声源组合中与上述收集到的声源最相似的最终候选声源的步骤；以及，
将分别映射于构成上述最终候选声源的起始候选参考声源模式和终了候选参考声源模式的多个行为识别为用户的行为的步骤。
5.根据权利要求3所述的用户的多个行为识别方法，其特征在于，
在上述增加区域被判断为2个的情况下，上述识别用户的多个行为的步骤包括：
判断在上述起始候选参考声源模式的最终候选参考声源模式中是否存在与上述终了候选参考声源模式的最终候选参考声源模式一致的一致候选参考声源模式的步骤；
在上述一致候选参考声源模式存在的情况下将上述一致候选参考声源模式确定为第一最终声源模式的步骤；
将从上述收集到的声源中减除了上述第一最终声源模式的相减声源与存储于上述数据库的参考声源模式之间的相似度进行比较而确定第二最终声源模式的步骤；以及，
将分别映射于上述第一最终声源模式和上述第二最终声源模式的行为识别为用户的多个行为的步骤。
6.一种用户的多个行为识别方法，其特征在于，包括：
在用户所在的场所收集声源的步骤；
计算上述收集到的声源的起始声源模式与存储于数据库的参考声源模式之间的起始相似度，并计算上述收集到的声源的终了声源模式与存储于上述数据库的参考声源模式之间的终了相似度的步骤；
基于上述起始相似度而将与上述起始声源模式一致的参考声源模式确定为起始候选参考声源模式，并基于上述终了相似度而将与上述终了声源模式一致的参考声源模式确定为终了候选参考声源模式的步骤；
判断在上述起始候选参考声源模式和上述终了候选参考声源模式中是否存在相互一致的候选参考声源模式的步骤；
在上述相互一致的候选参考声源模式存在的情况下，将上述相互一致的候选参考声源模式确定为第一最终声源模式，并利用上述第一最终声源模式而判断剩余最终声源模式的步骤；以及，
将分别映射于上述第一最终声源模式和上述剩余最终声源模式的用户行为识别为用户的多个行为的步骤。
7.根据权利要求6所述的用户的多个行为识别方法，其特征在于，
上述用户的多个行为识别方法进一步包括：
判断上述收集到的声源中增幅大于阈值的增加区域的步骤；以及，
从上述增加区域的数量判断形成上述收集到的声源的多个行为的数量的步骤。
8.根据权利要求7所述的用户的多个行为识别方法，其特征在于，
在上述增加区域被判断为2个的情况下，上述识别用户的多个行为的步骤包括：
在上述相互一致的候选参考声源模式存在的情况下将上述相互一致的候选参考声源模式确定为第一最终声源模式的步骤；
将从上述收集到的声源中减除了上述第一最终声源模式的相减声源与存储于上述数据库的参考声源模式之间的相似度进行比较而确定第二最终声源模式的步骤；以及，
将分别映射于上述第一最终声源模式和上述第二最终声源模式的行为识别为用户的多个行为的步骤。
9.根据权利要求7所述的用户的多个行为识别方法，其特征在于，
在上述相互一致的候选参考声源模式并不存在且上述增加区域被判断为2个的情况下，上述识别用户的多个行为的步骤包括：
将上述起始候选参考声源模式和上述终了候选参考声源模式分别相加而生成候选声源组合的步骤；
将构成上述候选声源组合的各候选声源与上述收集到的声源的相似度进行比较而确定上述候选声源中与上述收集到的声源最相似的最终声源模式的步骤；以及，
将分别映射于构成上述最终声源模式的起始候选参考声源模式和终了候选参考声源模式的行为识别为用户的多个行为的步骤。
10.根据权利要求8或9所述的用户的多个行为识别方法，其特征在于，
在上述用户的多个行为识别方法中选择上述起始候选参考声源模式和上述终了候选参考声源模式的步骤进一步包括：
基于用户位置信息而判断上述候选参考声源模式中在上述场所不可能产生的排他参考声源模式的步骤；以及，
将上述排他参考声源模式从上述起始候选参考声源模式或上述终了候选参考声源模式中删除而确定最终候选参考声源模式的步骤。
11.一种用户状况判断方法，其特征在于，包括：
在用户所在的场所收集声源及用户位置信息的步骤；
计算上述收集到的声源的起始声源模式与存储于数据库的参考声源模式之间的起始相似度，并计算上述收集到的声源的终了声源模式与存储于上述数据库的参考声源模式之间的终了相似度的步骤；
基于上述起始相似度和上述终了相似度而将与上述起始声源模式及终了声源模式一致的参考声源模式分别选择为起始候选参考声源模式和终了候选参考声源模式的步骤；
将由上述起始候选参考声源模式和上述终了候选参考声源模式所生成的相加声源模式与上述收集到的声源进行比较而从上述起始候选参考声源模式或上述终了候选参考声源模式中确定形成上述收集到的声源的第一最终声源模式和第二最终声源模式的步骤；以及，
基于由上述第一最终声源模式和上述第二最终声源模式所生成的声源模式组合和用户位置信息而判断用户状况的步骤。
12.根据权利要求11所述的用户状况判断方法，其特征在于，
上述用户状况判断方法进一步包括：
判断上述收集到的声源中增幅大于阈值的增加区域的步骤；以及，
从上述增加区域的数量判断形成上述收集到的声源的多个行为的数量的步骤。
13.根据权利要求12所述的用户状况判断方法，其特征在于，
在上述用户状况判断方法中选择上述起始候选参考声源模式和上述终了候选参考声源模式的步骤进一步包括：
基于上述用户位置信息而判断上述起始候选参考声源模式或上述终了候选参考声源模式中在上述场所不可能产生的排他参考声源模式的步骤；以及，
将上述排他参考声源模式从上述起始候选参考声源模式或上述终了候选参考声源模式中删除的步骤。
14.根据权利要求13所述的用户状况判断方法，其特征在于，
在上述增加区域被判断为2个的情况下，上述判断用户状况的步骤包括：
将上述起始候选参考声源模式中1个候选声源模式和上述终了候选参考声源模式中1个候选声源模式分别相加而生成候选声源组合的步骤；
将构成上述候选声源组合的各候选声源与上述收集到的声源的相似度进行比较而确定上述候选声源组合中与上述收集到的声源最相似的最终候选声源的步骤；以及，
从与模式组合相应的多个行为判断用户状况的步骤，其中，上述模式组合由构成上述最终候选声源的第一最终声源模式和第二最终声源模式组成。
15.根据权利要求13所述的用户状况判断方法，其特征在于，
在上述增加区域被判断为2个的情况下，上述判断用户状况的步骤包括：
判断在上述起始候选参考声源模式和上述终了候选参考声源模式中是否存在相互一致的一致候选参考声源模式的步骤；
将上述一致候选参考声源模式确定为第一最终声源模式的步骤；
将从上述收集到的声源中减除了上述第一最终声源模式的相减声源与存储于上述数据库的参考声源模式之间的相似度进行比较而确定第二最终声源模式的步骤；以及，
从与模式组合相应的多个行为判断用户状况的步骤，其中，上述模式组合由上述第一最终声源模式和上述第二最终声源模式组成。
CN201580052271.4A 2014-11-18 2015-11-09 基于声音信息的用户多个行为识别方法 Active CN106852171B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020140160761A KR101625304B1 (ko) 2014-11-18 2014-11-18 음향 정보에 기초한 사용자 다수 행위 인식 방법
KR10-2014-0160761 2014-11-18
PCT/KR2015/012016 WO2016080695A1 (ko) 2014-11-18 2015-11-09 음향 정보에 기초한 사용자 다수 행위 인식 방법

Publications (2)

Publication Number Publication Date
CN106852171A true CN106852171A (zh) 2017-06-13
CN106852171B CN106852171B (zh) 2020-11-06

Family

ID=56014171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580052271.4A Active CN106852171B (zh) 2014-11-18 2015-11-09 基于声音信息的用户多个行为识别方法

Country Status (4)

Country Link
US (1) US20170371418A1 (zh)
KR (1) KR101625304B1 (zh)
CN (1) CN106852171B (zh)
WO (1) WO2016080695A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230125444A1 (en) * 2019-08-09 2023-04-27 Whisper Capital Llc Motion activated sound generating and monitoring mobile application
WO2021030291A1 (en) * 2019-08-09 2021-02-18 Whisper Capital Llc Motion activated sound generating and monitoring mobile application
WO2022054407A1 (ja) * 2020-09-08 2022-03-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 行動推定装置、行動推定方法、及び、プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100145695A1 (en) * 2008-12-08 2010-06-10 Electronics And Telecommunications Research Institute Apparatus for context awareness and method using the same
JP2010190861A (ja) * 2009-02-20 2010-09-02 Toshiba Corp 状況認識装置及び状況認識方法
KR20110038208A (ko) * 2009-10-08 2011-04-14 주식회사코어벨 스마트센서시스템에서 상황인지 기반 정보처리 방법
US20110084914A1 (en) * 2009-10-14 2011-04-14 Zalewski Gary M Touch interface having microphone to determine touch impact strength
CN102456141A (zh) * 2010-10-27 2012-05-16 三星Sds株式会社 用于识别用户背景的用户装置和方法
KR101270074B1 (ko) * 2011-05-31 2013-05-31 삼성에스디에스 주식회사 소리 기반 공간지도를 이용한 상황인식 장치 및 방법
CN103370739A (zh) * 2011-03-04 2013-10-23 高通股份有限公司 用于辨识环境声音的系统和方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2085887A1 (en) * 1990-06-21 1991-12-22 Kentyn Reynolds Method and apparatus for wave analysis and event recognition
US6959276B2 (en) * 2001-09-27 2005-10-25 Microsoft Corporation Including the category of environmental noise when processing speech signals
US7254775B2 (en) * 2001-10-03 2007-08-07 3M Innovative Properties Company Touch panel system and method for distinguishing multiple touch inputs
EP1741092B1 (fr) * 2004-04-20 2008-06-11 France Télécom Reconnaissance vocale par modelisation contextuelle d'unites vocales
KR101329100B1 (ko) * 2008-12-08 2013-11-14 한국전자통신연구원 상황 인지 장치 및 이를 이용한 상황 인지 방법
US20150370320A1 (en) * 2014-06-20 2015-12-24 Medibotics Llc Smart Clothing with Human-to-Computer Textile Interface
US20150016623A1 (en) * 2013-02-15 2015-01-15 Max Sound Corporation Active noise cancellation method for enclosed cabins
FR3011936B1 (fr) * 2013-10-11 2021-09-17 Snecma Procede, systeme et programme d'ordinateur d'analyse acoustique d'une machine
NL2011893C2 (en) * 2013-12-04 2015-06-08 Stichting Incas3 Method and system for predicting human activity.
US9749762B2 (en) * 2014-02-06 2017-08-29 OtoSense, Inc. Facilitating inferential sound recognition based on patterns of sound primitives
WO2015120184A1 (en) * 2014-02-06 2015-08-13 Otosense Inc. Instant real time neuro-compatible imaging of signals
US9386140B2 (en) * 2014-04-10 2016-07-05 Twin Harbor Labs, LLC Methods and apparatus notifying a user of the operating condition of a remotely located household appliance

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100145695A1 (en) * 2008-12-08 2010-06-10 Electronics And Telecommunications Research Institute Apparatus for context awareness and method using the same
JP2010190861A (ja) * 2009-02-20 2010-09-02 Toshiba Corp 状況認識装置及び状況認識方法
KR20110038208A (ko) * 2009-10-08 2011-04-14 주식회사코어벨 스마트센서시스템에서 상황인지 기반 정보처리 방법
US20110084914A1 (en) * 2009-10-14 2011-04-14 Zalewski Gary M Touch interface having microphone to determine touch impact strength
CN102456141A (zh) * 2010-10-27 2012-05-16 三星Sds株式会社 用于识别用户背景的用户装置和方法
CN103370739A (zh) * 2011-03-04 2013-10-23 高通股份有限公司 用于辨识环境声音的系统和方法
KR101270074B1 (ko) * 2011-05-31 2013-05-31 삼성에스디에스 주식회사 소리 기반 공간지도를 이용한 상황인식 장치 및 방법

Also Published As

Publication number Publication date
KR101625304B1 (ko) 2016-05-27
KR20160059197A (ko) 2016-05-26
CN106852171B (zh) 2020-11-06
WO2016080695A1 (ko) 2016-05-26
US20170371418A1 (en) 2017-12-28

Similar Documents

Publication Publication Date Title
CN107797984B (zh) 智能交互方法、设备及存储介质
CN107609101B (zh) 智能交互方法、设备及存储介质
CN100545859C (zh) 图像处理设备、方法及程序
JP4979842B1 (ja) 類似症例検索装置および類似症例検索方法
JP5727476B2 (ja) 画像評価装置、画像評価方法、プログラム、集積回路
JP5054252B1 (ja) 類似症例検索装置、類似症例検索方法、類似症例検索装置の作動方法およびプログラム
CN101510252B (zh) 区域提取方法、字符识别方法以及字符识别装置
JP5475923B2 (ja) 類似症例検索装置および類似症例検索方法
WO2013001584A1 (ja) 類似症例検索装置および類似症例検索方法
US20120294496A1 (en) Face recognition apparatus, control method thereof, and face recognition method
JP6794692B2 (ja) センサデータ学習方法、センサデータ学習プログラム、及びセンサデータ学習装置
KR101925506B1 (ko) 감염병 확산 예측 방법 및 장치
TW201415264A (zh) 取證系統、取證方法及取證程式
CN106852171A (zh) 基于声音信息的用户多个行为识别方法
CN111773732A (zh) 目标游戏用户的检测方法、装置及设备
CN107220876A (zh) 商品信息管理方法、装置及移动终端
JPWO2019138983A1 (ja) 一致判定装置、一致判定方法、記憶媒体
CN110287440A (zh) 搜索引擎优化方法、装置、计算机设备及计算机可读存储介质
WO2014112449A1 (ja) 情報処理装置および方法、並びにプログラム
CN112364901A (zh) 一种基于lgb算法的诈骗电话识别方法
JP5789791B2 (ja) 類似症例検索装置および読影知識抽出装置
CN105488105B (zh) 信息提取模板的建立方法、知识数据的处理方法和装置
JP2010122931A (ja) 類似領域検索方法、類似領域検索装置、類似領域検索プログラム
JP6436855B2 (ja) 分析システム、及び、分析方法
JP2013105465A (ja) 医用同義語辞書作成装置および医用同義語辞書作成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant