CN108241410A - 基于声音辨识的情绪纪录与管理装置、系统以及方法 - Google Patents

基于声音辨识的情绪纪录与管理装置、系统以及方法 Download PDF

Info

Publication number
CN108241410A
CN108241410A CN201611226957.3A CN201611226957A CN108241410A CN 108241410 A CN108241410 A CN 108241410A CN 201611226957 A CN201611226957 A CN 201611226957A CN 108241410 A CN108241410 A CN 108241410A
Authority
CN
China
Prior art keywords
classification
detection signal
object data
processing unit
acoustic information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611226957.3A
Other languages
English (en)
Inventor
李景峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201611226957.3A priority Critical patent/CN108241410A/zh
Publication of CN108241410A publication Critical patent/CN108241410A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G04HOROLOGY
    • G04GELECTRONIC TIME-PIECES
    • G04G21/00Input or output devices integrated in time-pieces
    • G04G21/02Detectors of external physical values, e.g. temperature
    • G04G21/025Detectors of external physical values, e.g. temperature for measuring physiological data
    • GPHYSICS
    • G04HOROLOGY
    • G04GELECTRONIC TIME-PIECES
    • G04G21/00Input or output devices integrated in time-pieces
    • G04G21/06Input or output devices integrated in time-pieces using voice
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/02Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators
    • G06F15/025Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators adapted to a specific application
    • G06F15/0283Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators adapted to a specific application for data storage and retrieval
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70Multimodal biometrics, e.g. combining information from different biometric modalities
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Computational Linguistics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Acoustics & Sound (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Computing Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明实施例公开一种基于声音辨识的情绪纪录与管理方法,包括下列步骤:从侦测模块接收侦测讯号以根据至少一判别条件以判别侦测讯号是否对应于情绪反应特征;在判断侦测讯号对应于任一情绪反应特征的状态下,根据侦测模块所接收的声音信息执行声纹比对功能,以根据声纹特征判断对应于声音信息的对象数据以及判断对象数据所属的类别;根据侦测模块所获取的侦测讯号以及声音信息来获取互动时间,且互动时间被记录于对应声音信息的对象数据中。

Description

基于声音辨识的情绪纪录与管理装置、系统以及方法
技术领域
本发明关于一种情绪纪录与管理装置、系统以及方法,特别是涉及一种基于声音辨识的情绪纪录与管理装置、系统以及方法。
背景技术
美国史丹福大学对企业家做了调查,发现使企业家能成功的因素中,靠专业能力成功的因素只占12%,其余的因素都是靠人脉;另外英国也用电话连络的种类,对富人区与穷人区作了分析,结果发现:富人区的连络电话种类远高于穷人区,表示富人之所以能成为富有跟人脉的多样化有关。由以上说明可知,现代化的社会中,人际间的互动关系深刻的影响着我们的生活质量与成就。
另外,身处在现代社会的各种压力之下,如何处理与他人之间互动的情绪,不仅紧密地连结着人际关系建立的好坏,也影响着人们的心理与身体健康。在人与人的互动过程中,我们总会希望能够有愉快的相处经验,为自己与互动对象都留下美好的经验,但是,目前却没有有效进行记录与管理的工具。此外,现代人际关系越来越复杂化,同一个人必须与各种各样的人互动,如活妥善分配时间不要偏废,也是一个十分困难的问题。同样地,目前仍缺乏有效且好用的辅助功能。
故,如何设计一个情绪纪录与管理装置、建立一套情绪纪录与管理系统以及/或发展出一种情绪纪录与管理方法,以协助现代忙碌的,已成为今日人际管理甚至身心健康管理等相关产业所欲解决的重要课题之一。
发明内容
本发明所要解决的技术问题在于,针对现有技术的不足提供一种基于声音辨识的情绪纪录与管理装置、系统以及方法。
为了解决上述的技术问题,本发明所采用的其中一技术方案是,提供一种基于声音辨识的情绪纪录与管理装置,其包括一侦测模块、一处理单元、一储存单元以及一计时单元,所述侦测模块包括一用于接收一声音的音频接收单元,其中,所述音频接收单元根据所接收到的所述声音以产生一声音信息,且所述侦测模块根据所接收到的侦测结果以产生包括所述声音信息的一侦测讯号;所述处理单元与所述侦测模块讯号连接,以接收所述侦测讯号;所述储存单元与所述处理单元讯号连接,其中,所述储存单元储存有多个判别条件、多个声纹特征以及多个类别,每一个所述类别分别储存有一对象数据,且每一个所述声纹特征分别对应于一个所述对象数据;所述计时单元与所述处理单元讯号连接;其中,所述处理单元通过接收所述侦测讯号以读取储存于所述储存单元中的多个所述判别条件,且所述处理单元根据至少一所述判别条件以判别所述侦测讯号是否对应于一情绪反应特征;其中,所述处理单元通过接收所述侦测讯号以读取储存于所述储存单元中的多个所述声纹特征,且所述处理单元根据所述侦测模块所接收的所述声音信息执行一声纹比对功能,以判断对应于所述声音信息的一对象数据以及判断所述对象数据所属的一类别;其中,所述计时单元通过所述处理单元的驱动,以根据所述侦测模块所获取的所述侦测讯号以及所述声音信息来获取一互动时间,且所述互动时间被记录于对应所述声音信息的所述对象数据中。
如此,当使用者与他人沟通而感到愉悦时,所述装置通过所述侦测讯号判断用户的情绪反应特征是快乐的,就会主动记录用户与所述他人的互动时间,且通过所述声纹特征,可以精确地判别并纪录不同的互动对象,因此,用户可以很清楚地了解到与那些人互动是能够令自己感到愉悦的。此外,通过将互动对象分类,用户也可以充分了解自己与不同类的对象互动的时间分配,以便反省与调整自己人际互动上的时间规划。
较佳地,所述侦测模块还进一步包括一用于撷取一个体生理参数的生理参数侦测单元,所述生理参数侦测单元根据所撷取的所述个体生理参数以产生所述侦测讯号中的一生理参数侦测信息,且所述处理单元根据至少一所述判别条件以判别所述生理参数侦测信息是否对应于所述情绪反应特征。
如此,通过所述生理参数侦测单元侦测各种不同的生理参数,使所述装置在判断用户的所述情绪反应特征时,不仅能够在判别条件的设定上有更多样化的弹性,已适配每一个个体的生理反应差异,也能够有效地增进判断结果的准确性。
较佳地,所述装置,还进一步包括一显示单元,所述显示单元与所述处理单元讯号连接,以接收所述处理单元所发送的一显示讯号,且所述显示单元根据所述显示讯号显示至少一显示画面。
如此,用户可以通过所述装置的所述显示单元便利地检视纪录于所述装置的信息。
较佳地,其中,至少一所述显示画面还进一步包括一类别选单,所述类别选单包括多个类别选项,每一个所述类别选项分别对应于一个所述类别,所述各类别选项的显示方式具备至少两个类别特征,且每一个所述类别特征至少包括两个特征状态显示方式。
如此,通过所述类别选单,使用者可以清楚地看到针对互动对象的各种分类,且根据各种类别的类别特征,以不同的特征状态显示方式呈现画面,有助于使用者以可视化的方式了解和不同对象互动,可能带来的正面或负面效果,进而能做为调整自己与不同对象间的互动时间的重要参考指标。
较佳地,所述特征状态显示方式至少包括一单向箭头图标以及一双向箭头图标、一实线图标以及一虚线图标及/或一第一色彩图标以及一第二色彩图标。
如此,通过所述单向箭头图标以及所述双向箭头图目标显示方式,用户可以轻易地了解到某些愉悦的感受是因为用户与对应类别的对象间发生互动(双向箭头图标)而产生的,而某些愉悦的感受则仅仅是使用者自身情感的寄托(单向箭头图标),例如绘画、音乐或阅读等其他嗜好;又,通过所述实线图标以及所述虚线图目标显示方式,用户可以了解到,某些互动对象一般是会较深入交心的对象(实线图标),而某些对象间的互动则通常较为表面、浅层(虚线图标);另外,通过所述第一色彩图标以及所述第二色彩图标甚至地色彩图目标显示方式,用户可以判断某些对象间的互动原则上是有益而无害的,但有些对象间的互动虽然可以带来愉悦的感受,却有可能潜藏负面的效果,据此,使用者可以适度的调整自己与不同对象间的互动时间,以充分掌握自己的生活主控权。
较佳地,其中,至少一所述显示画面还进一步包括一统计结果显示画面,所述统计结果显示画面的画面配置方式对应于所述类别选单,且所述统计结果显示画面根据每一个所述类别中所述对象数据的所述互动时间的总值,以显示对应于每一个所述类别的一统计结果。
如此,用户可以通过所述统计结果显示画面轻易地了解,自己与不同类别对象互动的时间分配比重,且通过此等可视化的统计画面呈现,也能使相关信息的呈现更一目了然,非常清楚明确。
较佳地,所述的装置,还包括一输入单元,所述输入单元与所述处理单元讯号连接,且所述输入单元根据一输入操作以发送相对应的一预定指令给所述处理单元;其中,当所述预定指令为一判别条件设定指令时,所述处理单元根据所述判别条件设定指令,以将所述侦测模块所接收的至少一侦测讯号新增为一判别条件;其中,当所述预定指令为一对象数据新增指令时,所述处理单元根据所述对象数据新增指令,以在所述类别中新增一对象数据;其中,当所述预定指令为一类别变更指令时,所述处理单元驱动所述显示单元显示所述类别选单;其中,当所述预定指令为一类别选择指令时,所述处理单元将所述对象数据自原先所属的所述类别移动至对应于所述类别选择指令的另一所述类别中;以及,当所述预定指令为一统计结果显示指令时,所述处理单元驱动所述显示单元显示所述统计结果显示画面。
如此,当使用者要通过手动设定的方式,执行新增判别条件、新增对象数据或变更对象数据的所属类别等设定操作时,便能够通过所述输入单元输入对应的预定指令,大幅提升所述装置在使用上的方便性与灵活度。
为了解决上述的技术问题,本发明所采用的另外一技术方案是,提供一种基于声音辨识的情绪纪录与管理系统,包括一侦测端以及一输入输出终端,所述侦测端包括一用于接收一声音的音频接收单元,其中,所述音频接收单元根据所接收到的所述声音以产生一声音信息,且所述侦测端根据所接收到的侦测结果以产生包括所述声音信息的一侦测讯号;所述输入输出终端与所述侦测端讯号连接,以接收所述侦测讯号,所述输入输出终端储存有多个判别条件、多个声纹特征以及多个类别,每一个所述类别分别储存有一对象数据,且每一个所述声纹特征分别对应于一个所述对象数据;其中,所述输入输出终端通过接收所述侦测讯号以根据至少一所述判别条件判别所述侦测讯号是否对应于一情绪反应特征;其中,所述输入输出终端通过接收所述侦测讯号的一声音信息以执行一声纹比对功能,以判断对应于所述声音信息的一对象数据以及判断所述对象数据所属的一类别;其中,所述输入输出终端根据所述侦测端所获取的所述侦测讯号以及所述声音信息来获取一互动时间,且所述互动时间被记录于对应所述声音信息的所述对象数据中。
如此,当使用者与他人沟通而感到愉悦时,所述系统通过所述侦测端侦测用户的声音等信息,且向所述输入输出终端发送所述侦测讯号,便能够在所述输入输出终端判断用户的情绪反应特征是快乐的时候,使得所述输入输出终端主动记录用户与所述他人的互动时间,且通过所述声纹特征,可以精确地判别并纪录不同的互动对象,因此,用户可以很清楚地了解到与那些人互动是能够令自己感到愉悦的。此外,通过将互动对象分类,用户也可以充分了解自己与不同类的对象互动的时间分配,以便反省与调整自己人际互动上的时间规划。
较佳地,所述侦测端还进一步包括一用以撷取一个体生理参数的生理参数侦测单元,所述生理参数侦测单元根据所撷取的所述个体生理参数以产生所述侦测讯号中的一生理参数侦测信息,且所述输入输出终端根据至少一所述判别条件以判别所述生理参数侦测信息是否对应于所述情绪反应特征。
如此,通过所述生理参数侦测单元侦测各种不同的生理参数,使所述系统在判断用户的所述情绪反应特征时,不仅能够在判别条件的设定上有更多样化的弹性,已适配每一个个体的生理反应差异,也能够有效地增进判断结果的准确性。
较佳地,所述输入输出终端还进一步包括一输出单元,所述输出单元根据每一个所述类别中所述对象数据的所述互动时间的总值,以输出对应于每一个所述类别的一统计结果。
如此,使用者不尽可以通过所述输入输出终端的所述输出单元便利地检视所述统计结果,甚至在某些实施方式中,使用者也可以将统计结果输出成纸本的窗体,以提供给专业的人员(如心理医师或社工师等等)参考,以便能听取专业人员经过分析后所提出的建议。
较佳地,所述的系统,还进一步包括一服务器端,所述服务器端与所述输入输出终端讯号连接;其中,所述服务器端接收所述输入输出终端根据纪录的所述互动时间所发送的一纪录信息;其中,所述服务器端根据所接收的所述纪录信息向所述输入输出终端发送一建议信息。
如此,不仅可以将所述输入输出终端的所述纪录信息发送至所述服务器端,以储存于所述服务器端,甚至在所述服务器端进行较复杂的运算分析,再由所述服务器端根据运算分析的结果向所述输入输出终端发送所述建议信息,以令用户能够参考所述建议信息,更进一步,所述服务器端也可以向所述输入输出终端提供韧体或软件更新等服务,或者,倘若所述服务器端尚提供一个放置电子书的平台,使用者也可以随时通过所述输入输出终端连接所述服务器端,进而随时获取所述服务器端所提供的及时新知信息,进而能在新的人际或情绪管理理论被研究出来时,能够参考最先进的理论,调整自己的生活步调与方式,而达到最完满的人生。
为了解决上述的技术问题,本发明所采用的另外再一技术方案是,提供一种基于声音辨识的情绪纪录与管理方法,包括下列步骤:从一侦测模块接收一侦测讯号以根据至少一判别条件以判别所述侦测讯号是否对应于一情绪反应特征;当所述侦测讯号对应于任一所述情绪反应特征的状态下,根据所述侦测模块所接收的一声音信息执行一声纹比对功能,且根据一声纹特征判断对应于所述声音信息的一对象数据以及判断所述对象数据所属的一类别;以及根据所述侦测模块所获取的所述侦测讯号以及所述声音信息来获取一互动时间,且所述互动时间被记录于对应所述声音信息的所述对象数据中。
如此,通过所述方法,可以在使用者与他人沟通而感到愉悦时,通过侦测用户的声音等信息,主动记录用户与所述他人的互动时间,并且精确地判别与纪录不同的互动对象,以令用户可以很清楚地了解到与那些人互动是能够令自己感到愉悦的。此外,通过将互动对象分类,用户也可以充分了解自己与不同类的对象互动的时间分配,以便反省与调整自己人际互动上的时间规划。
较佳地,所述的方法,还进一步包括根据一判别条件设定指令,将所述侦测模块所接收的至少一所述侦测讯号,新增为所述判别条件。
如此,有鉴于每一个个体在感受到愉悦情绪时的生理反应可能不尽相同,彼此间可能有个体差异,假如使用者自认为心情愉悦,但并未被预设的判别条件判断为符合愉悦的情绪反应特征,则用户可以通过新增判别条件的方式,将当下自己的声音语调或生理参数等数值,纪录为新的判别条件,以使得判定的结果能够更符合每一个使用者的实际情况,而能够在长期使用后使得判别结果越来越精准。
较佳地,当所述侦测讯号所包含的声音信息不具有声纹特征时,还进一步包括显示一分类提示讯息;根据一类别选择指令,以开启对应所述类别的一对象数据选单;根据一对象数据选择指令选择所述类别中的所述对象数据之一;根据一对象数据新增指令,在所述类别中新增另一对象数据;以及根据所述侦测模块所获取的所述侦测讯号获取一互动时间,并将所述互动时间记录于对应所述对象数据选择指令的所述对象数据中,或者将所述互动时间记录于对应所述对象数据新增指令的所述对象数据中。
如此,当使用者因为绘画、阅读或其他任何个人嗜好而感到心情愉悦,因此没有记录到用户与他人交谈的声音时,仍然可以有效地记录下用户从事这些活动的时间,然而,由于没有声音供判别所从事的活动,因此需藉由选单呈现的方式,以将从事活动的时间准确地记录到对应的类别中。其中,倘若是已经记录过的活动类型,用户可以通过所述对象数据选择指令直接选择既存的所述对象数据;反之,若是首次接触的一活动,则用户可以通过所述对象数据新增指令,新增对应于所述活动的另一对象数据。通过这些纪录过程,用户不但可以得知自己在从事那些活动时会感受到快乐的情绪,甚至可以在长期的追踪下,了解自己嗜好的变化,进而成为一种人生历程的特别纪录。
较佳地,当所述侦测模块接收到的所述声音信息并未对应于已储存的任一所述对象数据时,还进一步包括显示一新增对象提示讯息;根据一对象数据新增指令,新增一对象数据;显示一分类提示讯息;以及根据一类别选择指令,将所述对象数据储存至对应于所述类别选择指令的所述类别中,并将所述互动时间记录于所述对象数据中。
如此,每当用户与不同的对象(尤其指原先未被记录的对象)互动时,本发明的方法就会自动提醒用户新增对象数据,因此,在长期使用后互动对象数据会越来越丰富,而能够忠实地反映出使用者人生中真实的人际互动关系。
较佳地,在判断所述对象数据所属的所述类别后,还进一步包括显示一分类结果提示讯息;在接收到一类别变更指令的状态下,显示一类别选单;以及根据一类别选择指令,将所述对象数据自原先所属的所述类别,移动至对应于所述类别选择指令的另一所述类别中。
如此,不仅可以让用户确认互动对象被自动归类的类别,若用户与互动对象间的关系发生变化时,使用者也可以通过所述类别变更指令,将原先被归类到一类别的对象数据,移动到另一类别下,以实时且忠实地反应两者间的实际互动关系。
较佳地,在显示所述分类结果提示讯息后,还进一步包括在超过一预定时间而未接收到任何指令时,停止显示所述分类结果提示讯息。
如此,倘若使用者认为自动归的类别没有需要变更,而没有执行任何进一步的操作,表示原本归类的类别是妥适的,因此,在经过一预定时间后,便停止显示所述分类结果提示讯息,除了能节省执行功能所需的运算资源外,也可以避免不经意的误触导致错误操作。
本发明的有益效果在于,本发明所提供的基于声音辨识的情绪纪录与管理装置、系统以及方法,其能够有效地协助用户纪录并管理与他人互动下所产生的情绪反应,以及使用者个人从事嗜好休闲活动时产生的愉悦情绪,进而能够在充分了解自己与不同对象互动下的情绪反应的前提下,调整与不同对象互动的时间。举例而言,当使用者与两个不同对象互动的时间相冲突时,要决定如何分配自己的时间,则可通过本发明所提供的解决方案,辅助进行决策;又因为通过本发明所提供的方案进行决策后,能够适当地在不同对象的互动间取得最佳的平衡,因此,可以有效地改善人际关系,不仅不容易得罪人,也可以使做人处事更得心应手;再者,能够充分掌握自己的情绪后,就不容易被预料之外的情绪起伏所影响,因此有助于消除自我的偏执,而能够避免不必要的烦恼;此外,通过长期记录与不同对象间的互动情绪,也有助于知人、识人,而能够判断出值得信任交往的对象。综合以上可知,本发明的效果能够有效改善使用者的生活步调与人际关系,真正成为自己人生的主人。
为使能更进一步了解本发明的特征及技术内容,请参阅以下有关本发明的详细说明与附图,然而所提供的附图仅用于提供参考与说明,并非用来对本发明加以限制。
附图说明
图1为本发明第一实施例的装置中各组件间的功能方块图。
图2为使用者操作本发明第一实施例的装置的使用状态示意图。
图3为本发明第一实施例的方法流程图。
图4为本发明第一实施例的通过显示画面显示一提示分类讯息的显示画面示意图。
图5为本发明第一实施例的通过显示画面显示一提示新增对象讯息的显示画面示意图。
图6为本发明第一实施例的通过显示画面显示另一提示分类讯息的显示画面示意图。
图7为本发明第一实施例的通过显示画面显示一分类结果的显示画面示意图。
图8为本发明第一实施例的显示画面显示一类别选单的画面示意图。
图9为本发明第一实施例的显示画面显示一统计结果显示画面的画面示意图。
图10为本发明第二实施例的系统功能方块图。
具体实施方式
以下是通过特定的具体实施例来说明本发明所公开有关“基于声音辨识的情绪纪录与管理装置、系统以及方法”的实施方式,本领域技术人员可由本说明书所公开的内容了解本发明的优点与效果。本发明可通过其他不同的具体实施例加以施行或应用,本说明书中的各项细节也可基于不同观点与应用,在不背离本发明的精神下进行各种修饰与变更。另外,本发明的附图仅为简单示意说明,并非依实际尺寸的描绘,予以声明。以下的实施方式将进一步详细说明本发明的相关技术内容,但所公开的内容并非用以限制本发明的保护范围。
第一实施例
请参阅图1以及图2所示,图1为本发明第一实施例的装置中各组件间的功能方块图。图2为使用者操作本发明第一实施例的装置的使用状态示意图。本发明第一实施例提供一种基于声音辨识的情绪纪录与管理装置D,在此第一实施例中,装置D是一手表型的穿戴装置(如时下的小米手环等),但本发明并不以此为限,装置D也可以是眼镜型的穿戴装置(如Google眼镜等)或其他类型的非穿戴装置,合先叙明。
承上,装置D包括侦测模块11、处理单元12、储存单元13以及计时单元14。侦测模块11主要是用来侦测、撷取使用者与人交谈时的谈话声,以及使用者的个体生理参数。在此一较佳实施例中,侦测模块11包括音频接收单元111以及生理参数侦测单元112,音频接收单元111可以根据所接收到的声音以产生声音信息,生理参数侦测单元112则可以根据所撷取的个体生理参数以产生生理参数侦测信息。举例来说,当使用者与好友聊天,并感到心情愉悦时,音频接收单元111会接收用户以及好友在交谈的过程中所发出的声音,并且根据这些声音产生声音信息;此外,生理参数侦测单元112会记录用户的各种个体生理参数,例如脉搏、血压、皮肤电阻值或脑波等各种参数。更有甚者,由于近年来影像辨识等技术的长足进步,无论是通过人脸辨识来识别对象身分,或者是通过脸部辨识来判别受测者的情绪反应,都已经获得了十分可靠的结果,因此,在本发明的其他实施方式中,也可以将图像撷取与脸部辨识功能做为本发明的一种生理参数,并以生理参数侦测单元112进行侦测。侦测模块11根据音频接收单元111以及生理参数侦测单元112的侦测结果,产生包括声音信息以及生理参数侦测信息的侦测讯号。需特别说明的是,由于已有相关研究指出,通过对声调的分析,也可以判断出发出声音者的情绪状况,因此,在本发明的其他可能实施方式中,侦测模块11也可以仅包括音频接收单元111,并根据音频接收单元111接收声音以产生的声音信息,产生仅包括声音信息的侦测讯号,其他相关机制容后详述。
再请参阅图1所示,处理单元12与侦测模块11讯号连接,以接收侦测讯号。处理单元12一般来说是装置D的中央处理器(CPU,central processing unit),具体而言,也可以是其他能执行运算处理的任何组件。储存单元13可以是硬盘、内存、闪存甚至各种软盘片等能够提供储存功能的组件,且储存单元13与处理单元12讯号连接,以使处理单元12能够读取储存于储存单元13中的信息。在本发明的第一实施例中,储存单元13储存有判别条件数据库A、声纹数据库B以及对象分类数据库C,但以上所指明的各个数据库只是为了便于理解本发明的技术,具体实施的时候,以下所描述的各种信息也可以以其他不同的分类形式被储存于储存单元13中,合先叙明。在此第一实施例中,判别条件数据库A中储存有多个判别条件A1,举例而言,可以是脉搏数或血压值高于某特定数值、皮肤电阻值的改变或者声音音调以及语速的特征等,以使处理单元12能根据至少一判别条件A1以判别生理参数侦测信息是否对应于特定的情绪反应特征。如同先前所说,在本发明的其他可能实施方式中,侦测模块11可能仅包括音频接收单元111,此时,所储存的各种判别条件A1即是各种不同的声调以及语速等特征,此时,由于所要取得的是使用装置D的用户本人的情绪状态,因此,需要先辨识出对话中的多个声音,哪一个声音来源是使用者本人,再将来自使用者本人的声音与判别条件A1进行比对。判断声音来源的相关机制在下一段落说明。
承前所述,声纹数据库B中储存有多个声纹特征B1,在此第一实施例中,对象分类数据库C则储存有第一类别C1、第二类别C2、第三类别C3、第四类别C4、第五类别C5、第六类别C6、第七类别C7以及第八类别C8这八个类别,且每一个类别分别储存有多个对象数据O。
为便于说明本发明的有益功效,以下通过较具体的实施方式描述各个类别,但本发明的类别表示方式并不以此为限,在此先予指明。在此第一实施例中,第一类别C1为亲情类、第二类别C2为友情类、第三类别C3为爱情类、第四类别C4为乡情类、第五类别C5为畸情类、第六类别C6为媒情类、第七类别C7为托情类而第八类别C8为仁情类。其中第一类别C1亲情类的关系主要包括夫妻、父子、兄弟、妯娌等,换言之,与使用者间具有这一些亲属关系的对象,他们的对象数据O应该被归类并储存于第一类别C1中。第二类别C2的友情类主要包括可以深入交心的朋友,倘若感情日深发展成爱情时,则应归类到第三类别C3的爱情类。第四类别C4乡情类的关系主要包括同届同学、同校同学、同乡或同种族的人之间,一般只有在特殊情况下才会产生。例如只身在外国求学或工作,遇到故乡来的陌生人,虽然彼此不认识,但自然而然会产生出这种情谊,通常离乡越久的人越会有乡情,也更容易被乡情吸引,例如办理同学会时,与会者通常都是受到乡情吸引而参加。第五类别C5的畸情类主要指一些受到影响或比较后所产生的情感,例如与人聊八卦是非、在人背后道人长短等等行为,甚至与人偷情等行为,都属于此一类别,虽然似乎不应鼓励这些行为,但不可否认的是人们在从事这些行为时也很容易获得快乐,因此,通过本发明去记录这些情绪的发生,并时时提醒自己纵使偶尔放纵这一类的情感宣泄(例如偶尔与人聊聊八卦是非),但要适度为之,以避免乐极生悲带来负面的影响。第六类别C6的媒情类主要指将情感加入「中间的人与物」之后所变成的情感关系,又可称为间接情,例如算不上朋友的同事(因工作关系处在同一时空之下)、师生关系或同学关系(因在校求学而互有联系)等。第七类别C7的托情类是将情感寄托在「非人」的事物上所产生的情感,例如喜爱艺术、音乐或舞蹈等,甚至通过个人计算机或手机等装置进行各种娱乐,都属于此一类别。至于第八类别C8的仁情类,则是一种大公无私,为陌生人奉献的精神,因为助人为快乐之本,人们通常也可以从中快乐,甚至因宗教的因素,获得另一种层次的心灵慰藉。
如同前述,本发明的对象分类数据库C储存有多个对象数据O(分别储存于不同类别下),要进一步说明的是,本发明的每一个声纹特征B1分别对应于一个对象数据O,具体来说,本发明的装置D通过侦测模块11中的音频接收单元111接收用户与家人(第一类别C1)、朋友(第二类别C2)或同事(第六类别C6)等对象交谈的声音,并通过所记录的声音所具有的声纹特征B1,以判别出个别交谈对象。在刚开始使用本发明的装置D时,首先会辨识用户本身的声纹特征B1,以便在后续的程序中区分出是用户本身发出的声音或交谈对象发出的声音,在这之后,当使用者与他人交谈,装置D就可以记录他人的声纹特征B1,并建立对应于这一个声纹特征B1的对象数据O,并将这一笔对象数据O归类到一个类别(例如第六类别C6)中,有关建立对象数据O以及分类的更详细流程会在后面进一步说明。当用户与同一个对象再次交谈时,装置D就可以根据侦测模块所接收的声音信息,与储存于储存单元13的声纹特征B1比对,以执行一声纹比对功能,并判断对应于声音信息的对象数据O以及判断对象数据O所属的第六类别C6。
本发明的装置D还包括有计时单元14,计时单元14与处理单元12讯号连接,因此能被处理单元12驱动以执行计时功能。在判断出与史用者交谈的声音对应于特定对象数据O后,为了达成本发明情绪纪录与管理的目的,必须记录双方之间的互动时间,其具体计算方式,可以通过分析音频接收单元111所接收的声音,以判断双方交谈时间的总长度,也可以是根据音频接收单元111所接收到的声音声调或语速,或是根据生理参数侦测单元112所接收到的生理参数,判断使用者的情绪属于愉悦的情绪时,纪录用户感到愉悦的总时间长度,端视使用者较侧重的目的在于纪录与不同对象的相处时间,或是让使用者感到愉悦的时间,而进行不同的设定。
另外,在此第一实施例中,装置D还包括了显示单元15以及一输入单元16,显示单元15以及输入单元16都与处理单元12讯号连接。因此,显示单元15能接收处理单元12所发送的显示讯号,并根据显示讯号显示至少一显示画面;而输入单元16能根据输入操作以发送相对应的预定指令给处理单元12。在此第一实施例中,显示单元15以及输入单元16主要是装置D上的触控屏幕,但本发明并不以此为限,凡是可以在装置D上呈现信息的其他设计,也都可以作为本发明的显示单元15;另外,输入单元16也可以是实体按键,甚至整组的输入键盘等输入设备。此外,在采用触摸屏的情况下,触摸屏本身可以同时做为本发明的显示单元15以及输入单元16。显示单元15以及输入单元16的其他功能细节,在后面的段落会再详细介绍。
请搭配参阅图1的组件符号,并一并参阅图3所示,图3为本发明第一实施例的方法流程图。以下通过图3说明本发明所提供的情绪纪录方法。本发明的处理单元12能够从侦测模块11接收侦测讯号(步骤S100),且处理单元12会根据至少一判别条件A1以判别侦测讯号是否对应于特定的情绪反应特征(步骤S102)。在判断侦测讯号对应于特定情绪反应特征的状态下,表示使用者的心理状态符合所欲纪录的状态(例如,感到愉悦),此时,会进一步根据侦测模块所接收的声音信息执行声纹比对功能(步骤S104)。在此要特别说明的是,由于每个人的生理状态会有些微的差异,有时候虽然使用者本身很确实地感受到快乐的情绪,但却没有被装置D内建的判别条件A1判断为符合情绪反应特征(例如天生低血压,虽然感到高兴但血压值还是没有超过预设的范围等),此时,用户可以通过输入单元16输入判别条件设定指令,换句话说,处理单元12会判断是否接受到条件设定操作讯号(步骤S106),如果并而未接收到条件设定操作讯号,则持续执行步骤S100的讯号侦测功能,反之,若有接收到条件设定操作讯号,则处理单元12会根据判别条件设定指令,以将侦测模块11所接收的至少一侦测讯号新增为判别条件A1(步骤S108),并且在完成新增判别条件A1的作业后,进入步骤S104执行声纹比对功能。因此,能够使装置D在使用上更贴近每一个使用者的真实状况,而达到个人化的适配效果。
承上,处理单元12会通过执行声纹比对功能以判断用户的交谈对象。然而,如同前文提到的,有时候使用者感到快乐并非是因为与他人沟通对话的缘故,而是因为绘画、阅读或其他任何个人嗜好而感到心情愉悦,因此侦测模块11并不会记录到用户与他人交谈的声音,更无法获得符合已经储存于储存单元13的声纹特征B1的声音信息;或者,用户交谈的对象可能是用户开始使用装置D之后第一次接触的对象,储存单元13中尚未储存有对应于此一交谈对象的声纹特征B1,因此,所获取的声音信息也不会符合已经储存于储存单元13的声纹特征B1。
这些情形下,处理单元12会驱动显示单元15在显示画面上呈现出提示分类讯息(步骤S110),具体而言,请搭配参阅图1的组件符号,并一并参阅图4所示,图4为本发明第一实施例的通过显示画面显示一提示分类讯息151A的显示画面示意图。处理单元12可以通过显示画面显示一提示讯息151A,以提醒用户装置D并未侦测到声音,而向使用者确认是否进行分类的提示分类讯息;或者是,请搭配参阅图1的组件符号,并一并参阅图5所示,图5为本发明第一实施例的通过显示画面显示一提示新增对象讯息151B的显示画面示意图。处理单元12可以在侦测到的声音与已储存的声纹特征B1不符合时,提示用户装置D接收到未定义的声音,以向使用者确认是否要新增对象,并于用户新增对象后,请搭配参阅图1的组件符号,并一并参阅图6所示,图6为本发明第一实施例的通过显示画面显示另一提示分类讯息151C的显示画面示意图。处理单元12提醒用户将新增的对象进行分类。如此,倘若用户选择要新增对象数据O到储存单元13(例如新增「绘画」的对象数据O),驱动显示单元15会进一步显示类别选项(步骤S112),以便使用者能将新增的对象数据O归类到储存于储存单元13的一个类别中(例如将有关「绘画」的对象数据O储存到第七类别C7的托情类)。
如此,即使侦测模块11并没有记录到用户与他人交谈的声音,仍然可以有效地记录下用户从事这些活动的时间,通过这些纪录过程,用户不但可以得知自己在从事那些活动时会感受到快乐的情绪,甚至可以在长期的追踪下,了解自己嗜好的变化,进而成为一种人生历程的特别纪录。此外,每当用户与不同的对象(尤其指原先未被记录的对象)互动时,就能够通过新增对象数据O丰富储存于储存单元13内的数据内容,因此,在长期使用后,互动对象的对象数据O会越来越丰富,而能够忠实地反映出使用者人生中真实的人际互动关系。
以上描述的是声音信息不符合已储存的声纹特征B1的情形,以下回到一般情形。通常,在长久使用本发明的装置D后,储存单元13会储存用户生活上会接触的大部分对象的声纹特征B1,因此,能够根据已经储存于储存单元13的声纹特征B1,判断出对应于声音信息的对象数据O(换句话说,通过声纹比对判断交谈对象),并且因为用户已经预先将对象数据O归类到适当的类别中(例如第六类别C6),因此也会同时判断出对象数据O所属的类别。为了能够供用户确认装置D所判断的结果,显示单元15会显示分类结果提示讯息,以供用户确认对应声纹特征A1的对象以及类别(步骤S114)。此一作法除了能让用户确认装置D所执行的所有判断皆正确无误,还可以让使用者有思考是否要变更类别的机会。举例来说,当使用者与同事王小明的感情越来越深厚,使用者可能会想把王小明的对象数据O从原来归类的第六类别C6(媒情,同事间的情谊),移动至第二类别C2(友情,知心好友间的情谊),因此,请搭配参阅图1的组件符号,并一并参阅图7所示,图7为本发明第一实施例的通过显示画面显示一分类结果151D的显示画面示意图。通过将装置D的判断结果显示在显示单元15的显示画面上,若用户想要变更类别,就可以通过输入单元16输入类别变更指令,以执行类别变更操作。更具体地说,处理单元12会判断是否接收到变更类别设定操作(步骤S116),且在判断接收到类别变更指令时,处理单元12会驱动显示单元15显示类别选单,请搭配参阅图1的组件符号,并一并参阅图8所示,图8为本发明第一实施例的显示画面显示一类别选单的画面示意图。处理单元12通过驱动显示单元15显示类别选单,以供用户选择欲将对象数据O移动至哪一个目的类别,并根据类别选择指令将对象数据O自原先所属的类别移动至对应于类别选择指令的另一类别中。
在此顺带说明此类别选单151E的设计。类别选单151E包括多个类别选项X1~X8,每一个类别选项分别对应于一个类别,各类别选项的显示方式具备至少两个类别特征,且每一个类别特征至少包括两个特征状态显示方式。在本发明的第一实施例中,特征状态显示方式至少包括单向箭头图标以及双向箭头图目标显示方式、实线图标以及虚线图目标显示方式及/或第一色彩图标以及第二色彩图目标显示方式。换句话说,此第一实施例中包括三组类别特征,而单向箭头图标以及双向箭头图标属于同一组类别特征中的两种特征状态显示方式,其余依此类推。如此,通过单向箭头图标以及双向箭头图目标显示方式,用户可以轻易地了解到某些愉悦的感受是因为用户与对应类别的对象间发生互动(双向箭头图标)而产生的,而某些愉悦的感受则仅仅是使用者自身情感的寄托(单向箭头图标),例如绘画、音乐或阅读等其他嗜好;又,通过实线图标以及虚线图目标显示方式,用户可以了解到,某些互动对象一般是会较深入交心的对象(实线图标),而某些对象间的互动则通常较为表面、浅层(虚线图标);另外,通过第一色彩图标以及第二色彩图标甚至地色彩图目标显示方式,用户可以判断某些对象间的互动原则上是有益而无害的,但有些对象间的互动虽然可以带来愉悦的感受,却有可能潜藏负面的效果。举例而言,亲情、友情、仁情或托情原则上不会带来负面的效果,但爱情可能使人痛苦、乡情也可能产生乡愁,更不说畸情。因此,可以将亲情、友情、仁情与托情以蓝色表示,将其他以红色表示,甚至区分不同程度的红色。据此,使用者可以适度的调整自己与不同对象间的互动时间,以充分掌握自己的生活主控权。
回到本发明的流程,倘若处理单元12在显示分类结果提示讯息后超过一预定时间(例如15秒)而未接收到任何指令,处理单元12便会驱动显示单元15停止显示分类结果提示讯息。因为倘若使用者并没有意愿变更类别,表示原本归类的类别是妥适的,因此,停止显示分类结果提示讯息,除了能节省执行功能所需的运算资源外,也可以避免使用者不经意的误触导致错误操作。
承前所述,假如前述判断流程都顺利进行,装置D确实判断出用户与特定对象间的沟通过程,为使用者带来了愉快的情绪,此时,为了记录与管理这些情绪反应,处理单元12根据侦测模块11所获取的侦测讯号以及声音信息来获取一互动时间,且将互动时间记录于对应声音信息的对象数据O中(步骤S118)。如此,通过上述的流程,不但可以忠实的记录用户与他人互动时的情绪变化,且这些情绪纪录所针对的互动对象也被非常明确地记录在储存单元13中,因此用户可以通过后续分析有效地管理这些信息,并安排、调整与不同对象间互动时间的比重。
最后,请参阅图9所示,图9为本发明第一实施例的显示画面显示一统计结果显示画面的画面示意图。为了便于用户参考所记录的互动时间,显示画面还进一步包括统计结果显示画面151F,统计结果显示画面151F的画面配置方式对应于类别选单151E,换言之,统计结果显示画面151F的类别Y1~Y8分别对应类别选项X1~X8,以便使用者能以最直观的方式参照统计的结果。此外,统计结果显示画面151F根据每一个类别中对象数据O的互动时间的总值,以显示对应于每一个类别的统计结果。使用者可以从面积大小直接看出花费在人际交流上的时间。
如此,用户可以通过统计结果显示画面轻易地了解,自己与不同类别对象互动的时间分配比重,且通过此等可视化的统计画面呈现,也能使相关信息的呈现更一目了然,非常清楚明确。
简单地说,在使用本发明的装置D纪录并管理情绪反应时,主要是藉由处理单元12通过接收侦测讯号以读取储存于储存单元13中的多个判别条件,且使得处理单元12能根据至少一判别条件以判别侦测讯号是否对应于情绪反应特征(例如愉悦的情绪,但并不以此为限)。在处理单元12判断侦测讯号对应于预先设定的情绪反应特征时,处理单元12会通过接收侦测讯号以读取储存于储存单元13中的多个声纹特征,且根据侦测模块所接收的声音信息执行声纹比对功能,以判断对应于声音信息的对象数据O以及判断对象数据O所属的类别(例如第六类别C6)。此时,计时单元14通过处理单元12的驱动,以根据侦测模块11所获取的侦测讯号以及声音信息来获取一互动时间,且互动时间将会被记录于对应声音信息的对象数据O中。通过这些步骤完成情绪的纪录工作。
第二实施例
请参阅图10所示,图10为本发明第二实施例的系统功能方块图。本发明第二实施例提供一种基于声音辨识的情绪纪录与管理系统S,在此第二实施例中,系统S包括侦测端T1、输入输出终端T2以及服务器端T3。侦测端T1可以是各种穿戴式装置或用户一般会随身携带的电子装置,甚至在未来科技发展下,制作成植入式的生理参数侦测装置。侦测端T1包括用于接收一声音的音频接收单元T11以及用以撷取一个体生理参数的生理参数侦测单元T12,其中,音频接收单元T11根据所接收到的声音以产生声音信息,生理参数侦测单元T12根据所撷取的个体生理参数以产生生理参数侦测信息,侦测端T1根据所接收到的侦测结果以产生包括声音信息以及生理参数侦测信息的侦测讯号。如同在本发明第一实施例中所说,在完全通过声音纪录判断用户情绪的实施方式中,也可以省略生理参数侦测单元T12,换句话说,在这种实施方式中,侦测讯号就不会包含有生理参数侦测信息。
输入输出终端T2与侦测端T1讯号连接,以接收侦测讯号,实际施作时,输入输出终端T2可以通过短距离的讯号传输手段与侦测端T1互相传输信息,例如蓝牙、红外线或者局域性的无线网络,然而,输入输出终端T2也可以通过因特网W与侦测端T1互相传输信息。输入输出终端T2储存有多个判别条件、多个声纹特征以及多个类别,且每一个类别分别储存有对象数据,每一个声纹特征分别对应于一个对象数据。输入输出终端T2通过接收侦测讯号以根据至少一判别条件判别侦测讯号是否对应于情绪反应特征,在此第二实施例中,输入输出终端T2是根据至少一判别条件以判别侦测讯号中的生理参数侦测信息是否对应于情绪反应特征。在输入输出终端T2判断侦测讯号中的生理参数侦测信息对应于情绪反应特征后,输入输出终端T2通过接收侦测讯号的声音信息以执行声纹比对功能,并判断对应于声音信息的对象数据以及判断对象数据所属的类别。进一步,输入输出终端T2根据侦测端T1所获取的侦测讯号以及声音信息来获取互动时间,并将互动时间记录于对应声音信息的对象数据中。
在此第二实施例中,比较特别的是,输入输出终端T2可以是使用者的一般手机、平板计算机甚至是个人计算机这一类的装置,虽然这些输入输出终端T2本身可能没有能供侦测生理信息的硬件零件,但可以搭配具备对应功能的侦测端T1,并在输入输出终端T2中安装必要的软件,以完成本发明所欲达成的整体功能。输入输出终端T2可以进一步包括输入单元T21以及输出单元T22。输入单元T21原则上与前述图1的输入单元16功能类似,在此不另行赘述;输出单元T22根据每一个类别中对象数据的互动时间的总值,以输出对应于每一个类别的统计结果。输出单元T22可以是输入输出终端T2的屏幕,甚至可以是打印机,因此,用户可以通过打印机把统计结果输出成纸本的窗体,以提供给专业的人员(如心理医师或社工师等等)参考,以便能听取专业人员经过分析后所提出的建议。
在此第二实施例中,另外一个比较特别的点是,系统S还包括服务器端T3,服务器端T3通过因特网W与输入输出终端T2讯号连接,也可以与侦测端T1讯号连接。服务器端T3接收输入输出终端T2根据纪录的互动时间所发送的纪录信息后,能够根据所接收的纪录信息向输入输出终端T2发送一建议信息。如此,不仅可以将输入输出终端T2的纪录信息发送至服务器端,以储存于服务器端T3,甚至能够在服务器端T3进行较复杂的运算分析,再由服务器端T3根据运算分析的结果向输入输出终端T2发送建议信息,以令用户能够参考经过严谨分析所得出的建议信息。更进一步来说,服务器端T3也可以向输入输出终端T2提供韧体(firmware)或软件更新等服务,或者,倘若服务器端T3尚提供一个放置电子书的平台,使用者也可以随时通过输入输出终端T2连接服务器端T3,进而随时获取服务器端T3所提供的及时新知信息,因此,每当有新的人际或情绪管理理论被研究出来时,使用者就能够第一时间参考到最先进的理论,时时刻刻调整自己的生活步调与方式,而达到最完满的人生。
实施例的有益效果
本发明的有益效果在于,本发明的基于声音辨识的情绪纪录与管理装置D、系统S以及方法,能够有效地协助用户纪录并管理与他人互动下所产生的情绪反应,甚至使用者个人从事嗜好休闲活动时产生的愉悦情绪,进而能够在充分了解自己与不同对象互动下的情绪反应的前提下,调整与不同对象互动的时间,而能够有效改善使用者的生活步调与人际关系,真正成为自己人生的主人。
需要特别说明的是,虽然在前述实施例中多以愉悦的、快乐的或高兴等情绪为例,说明本发明的并用情形,但实际施作时,本发明并不以此为限,本发明的目的既然在于提供基于声音辨识的情绪纪录与管理装置D、系统S以及方法,理所当然,也可以被应用至其他各种情绪的纪录与管理,例如悲伤、痛苦或愤怒等情绪的管理。上列各个实施例统一以愉悦的情绪作为说明,其目的只是要便于参阅本说明书的读者了解内容,而保持前后的一贯性,并非要用以限制本发明的专利范围,特此指明。
以上所公开的内容仅为本发明的优选可行实施例,并非因此局限本发明的申请专利范围,所以凡是运用本发明说明书及附图内容所做的等效技术变化,均包含于本发明的申请专利范围内。

Claims (19)

1.一种基于声音辨识的情绪纪录与管理装置,其特征在于,所述情绪纪录与管理装置包括:
一侦测模块,所述侦测模块包括一用于接收一声音的音频接收单元,其中,所述音频接收单元根据所接收到的所述声音以产生一声音信息,且所述侦测模块根据所接收到的侦测结果以产生包括所述声音信息的一侦测讯号;
一处理单元,所述处理单元与所述侦测模块讯号连接,以接收所述侦测讯号;
一储存单元,所述储存单元与所述处理单元讯号连接,其中,所述储存单元储存有多个判别条件、多个声纹特征以及多个类别,每一个所述类别分别储存有一对象数据,且每一个所述声纹特征分别对应于一个所述对象数据;以及
一计时单元,所述计时单元与所述处理单元讯号连接;
其中,所述处理单元通过接收所述侦测讯号以读取储存于所述储存单元中的多个所述判别条件,且所述处理单元根据至少一所述判别条件以判别所述侦测讯号是否对应于一情绪反应特征;
其中,所述处理单元通过接收所述侦测讯号以读取储存于所述储存单元中的多个所述声纹特征,且所述处理单元根据所述侦测模块所接收的所述声音信息执行一声纹比对功能,以判断对应于所述声音信息的一对象数据以及判断所述对象数据所属的一类别;
其中,所述计时单元通过所述处理单元的驱动,以根据所述侦测模块所获取的所述侦测讯号以及所述声音信息来获取一互动时间,且所述互动时间被记录于对应所述声音信息的所述对象数据中。
2.根据权利要求1所述的装置,其特征在于,所述侦测模块还进一步包括:
一用于撷取一个体生理参数的生理参数侦测单元,所述生理参数侦测单元根据所撷取的所述个体生理参数以产生所述侦测讯号中的一生理参数侦测信息,且所述处理单元根据至少一所述判别条件以判别所述生理参数侦测信息是否对应于所述情绪反应特征。
3.根据权利要求1所述的装置,其特征在于,所述装置还进一步包括:
一显示单元,所述显示单元与所述处理单元讯号连接,以接收所述处理单元所发送的一显示讯号,且所述显示单元根据所述显示讯号显示至少一显示画面。
4.根据权利要求3所述的装置,其特征在于,至少一所述显示画面还进一步包括:
一类别选单,所述类别选单包括多个类别选项,每一个所述类别选项分别对应于一个所述类别,所述各类别选项的显示方式具备至少两个类别特征,且每一个所述类别特征至少包括两个特征状态显示方式。
5.根据权利要求4所述的装置,其特征在于,所述特征状态显示方式至少包括一单向箭头图标以及一双向箭头图标。
6.根据权利要求4所述的装置,其特征在于,所述特征状态显示方式至少包括一实线图标以及一虚线图标。
7.根据权利要求4所述的装置,其特征在于,所述特征状态显示方式至少包括一第一色彩图标以及一第二色彩图标。
8.根据权利要求4所述的装置,其特征在于,至少一所述显示画面还进一步包括:
一统计结果显示画面,所述统计结果显示画面的画面配置方式对应于所述类别选单,且所述统计结果显示画面根据每一个所述类别中所述对象数据的所述互动时间的总值,以显示对应于每一个所述类别的一统计结果。
9.根据权利要求8所述的装置,其特征在于,所述装置还进一步包括:
一输入单元,所述输入单元与所述处理单元讯号连接,且所述输入单元根据一输入操作以发送相对应的一预定指令给所述处理单元;
其中,当所述预定指令为一判别条件设定指令时,所述处理单元根据所述判别条件设定指令,以将所述侦测模块所接收的至少一侦测讯号新增为一判别条件;
其中,当所述预定指令为一对象数据新增指令时,所述处理单元根据所述对象数据新增指令,以在所述类别中新增一对象数据;
其中,当所述预定指令为一类别变更指令时,所述处理单元驱动所述显示单元显示所述类别选单;
其中,当所述预定指令为一类别选择指令时,所述处理单元将所述对象数据自原先所属的所述类别移动至对应于所述类别选择指令的另一所述类别中;以及
其中,当所述预定指令为一统计结果显示指令时,所述处理单元驱动所述显示单元显示所述统计结果显示画面。
10.一种基于声音辨识的情绪纪录与管理系统,其特征在于,所述系统包括:
一侦测端,所述侦测端包括一用于接收一声音的音频接收单元,其中,所述音频接收单元根据所接收到的所述声音以产生一声音信息,且所述侦测端根据所接收到的侦测结果以产生包括所述声音信息的一侦测讯号;以及
一输入输出终端,所述输入输出终端与所述侦测端讯号连接,以接收所述侦测讯号,所述输入输出终端储存有多个判别条件、多个声纹特征以及多个类别,每一个所述类别分别储存有一对象数据,且每一个所述声纹特征分别对应于一个所述对象数据;
其中,所述输入输出终端通过接收所述侦测讯号以根据至少一所述判别条件判别所述侦测讯号是否对应于一情绪反应特征;
其中,所述输入输出终端通过接收所述侦测讯号的一声音信息以执行一声纹比对功能,以判断对应于所述声音信息的一对象数据以及判断所述对象数据所属的一类别;
其中,所述输入输出终端根据所述侦测端所获取的所述侦测讯号以及所述声音信息来获取一互动时间,且所述互动时间被记录于对应所述声音信息的所述对象数据中。
11.根据权利要求10所述的系统,其特征在于,所述侦测端还进一步包括:
一用以撷取一个体生理参数的生理参数侦测单元,所述生理参数侦测单元根据所撷取的所述个体生理参数以产生所述侦测讯号中的一生理参数侦测信息,且所述输入输出终端根据至少一所述判别条件以判别所述生理参数侦测信息是否对应于所述情绪反应特征。
12.根据权利要求10所述的系统,其特征在于,所述输入输出终端还进一步包括:
一输出单元,所述输出单元根据每一个所述类别中所述对象数据的所述互动时间的总值,以输出对应于每一个所述类别的一统计结果。
13.根据权利要求10所述的系统,其特征在于,所述系统还进一步包括:
一服务器端,所述服务器端与所述输入输出终端讯号连接;
其中,所述服务器端接收所述输入输出终端根据纪录的所述互动时间所发送的一纪录信息;
其中,所述服务器端根据所接收的所述纪录信息向所述输入输出终端发送一建议信息。
14.一种基于声音辨识的情绪纪录与管理方法,其特征在于,所述方法包括下列步骤:
从一侦测模块接收一侦测讯号以根据至少一判别条件,以判别所述侦测讯号是否对应于一情绪反应特征;
当所述侦测讯号对应于任一所述情绪反应特征的状态下,根据所述侦测模块所接收的一声音信息执行一声纹比对功能,且根据一声纹特征判断对应于所述声音信息的一对象数据以及判断所述对象数据所属的一类别;以及
根据所述侦测模块所获取的所述侦测讯号以及所述声音信息来获取一互动时间,且所述互动时间被记录于对应所述声音信息的所述对象数据中。
15.根据权利要求14所述的方法,其特征在于,所述方法还进一步包括:
根据一判别条件设定指令,将所述侦测模块所接收的至少一所述侦测讯号,新增为所述判别条件。
16.根据权利要求14所述的方法,其特征在于,当所述侦测讯号所包含的声音信息不具有声纹特征时,还进一步包括:
显示一分类提示讯息;
根据一类别选择指令,以开启对应所述类别的一对象数据选单;
根据一对象数据选择指令,以选择所述类别中的所述对象数据;
根据一对象数据新增指令,以在所述类别中新增另一对象数据;以及
根据所述侦测模块所获取的所述侦测讯号获取一互动时间,并将所述互动时间记录于对应所述对象数据选择指令的所述对象数据中或者将所述互动时间记录于对应所述对象数据新增指令的所述对象数据中。
17.根据权利要求14所述的方法,其特征在于,当所述侦测模块接收到的所述声音信息并未对应于已储存的任一所述对象数据时,还进一步包括:
显示一新增对象提示讯息;
根据一对象数据新增指令,以新增一对象数据;
显示一分类提示讯息;以及
根据一类别选择指令,将所述对象数据储存至对应于所述类别选择指令的所述类别中,并将所述互动时间记录于所述对象数据中。
18.根据权利要求14所述的方法,其特征在于,在判断所述对象数据所属的所述类别后,还进一步包括:
显示一分类结果提示讯息;
在接收到一类别变更指令的状态下,显示一类别选单;以及
根据一类别选择指令,将所述对象数据自原先所属的所述类别移动至对应于所述类别选择指令的另一所述类别中。
19.根据权利要求18所述的方法,其特征在于,在显示所述分类结果提示讯息后,还进一步包括:
在超过一预定时间而未接收到任何指令时,停止显示所述分类结果提示讯息。
CN201611226957.3A 2016-12-27 2016-12-27 基于声音辨识的情绪纪录与管理装置、系统以及方法 Pending CN108241410A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611226957.3A CN108241410A (zh) 2016-12-27 2016-12-27 基于声音辨识的情绪纪录与管理装置、系统以及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611226957.3A CN108241410A (zh) 2016-12-27 2016-12-27 基于声音辨识的情绪纪录与管理装置、系统以及方法

Publications (1)

Publication Number Publication Date
CN108241410A true CN108241410A (zh) 2018-07-03

Family

ID=62702784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611226957.3A Pending CN108241410A (zh) 2016-12-27 2016-12-27 基于声音辨识的情绪纪录与管理装置、系统以及方法

Country Status (1)

Country Link
CN (1) CN108241410A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2720359C1 (ru) * 2019-04-16 2020-04-29 Хуавэй Текнолоджиз Ко., Лтд. Способ и оборудование распознавания эмоций в речи

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101201980A (zh) * 2007-12-19 2008-06-18 北京交通大学 一种基于语音情感识别的远程汉语教学系统
TW201322045A (zh) * 2011-11-16 2013-06-01 Pixart Imaging Inc 生理反饋控制系統及方法
TW201606760A (zh) * 2014-07-21 2016-02-16 微軟技術授權有限責任公司 從音頻訊號的即時情緒辨識
TWM517877U (zh) * 2015-10-15 2016-02-21 昌泰科醫股份有限公司 用於感測寵物生理狀態之感測設備
JP2016118575A (ja) * 2014-12-18 2016-06-30 Kddi株式会社 脳内知的活動状態を推定可能な装置、システム、プログラム及び方法
CN105844101A (zh) * 2016-03-25 2016-08-10 惠州Tcl移动通信有限公司 一种基于智能手表的情绪数据处理方法、系统及智能手表
CN106060572A (zh) * 2016-06-08 2016-10-26 乐视控股(北京)有限公司 视频播放方法及装置
CN106203332A (zh) * 2016-07-08 2016-12-07 北京光年无限科技有限公司 基于智能机器人视觉识别人脸面部表情变化的方法及系统
CN106175727A (zh) * 2016-07-25 2016-12-07 广东小天才科技有限公司 一种应用于可穿戴设备的表情推送方法及可穿戴设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101201980A (zh) * 2007-12-19 2008-06-18 北京交通大学 一种基于语音情感识别的远程汉语教学系统
TW201322045A (zh) * 2011-11-16 2013-06-01 Pixart Imaging Inc 生理反饋控制系統及方法
TW201606760A (zh) * 2014-07-21 2016-02-16 微軟技術授權有限責任公司 從音頻訊號的即時情緒辨識
JP2016118575A (ja) * 2014-12-18 2016-06-30 Kddi株式会社 脳内知的活動状態を推定可能な装置、システム、プログラム及び方法
TWM517877U (zh) * 2015-10-15 2016-02-21 昌泰科醫股份有限公司 用於感測寵物生理狀態之感測設備
CN105844101A (zh) * 2016-03-25 2016-08-10 惠州Tcl移动通信有限公司 一种基于智能手表的情绪数据处理方法、系统及智能手表
CN106060572A (zh) * 2016-06-08 2016-10-26 乐视控股(北京)有限公司 视频播放方法及装置
CN106203332A (zh) * 2016-07-08 2016-12-07 北京光年无限科技有限公司 基于智能机器人视觉识别人脸面部表情变化的方法及系统
CN106175727A (zh) * 2016-07-25 2016-12-07 广东小天才科技有限公司 一种应用于可穿戴设备的表情推送方法及可穿戴设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2720359C1 (ru) * 2019-04-16 2020-04-29 Хуавэй Текнолоджиз Ко., Лтд. Способ и оборудование распознавания эмоций в речи

Similar Documents

Publication Publication Date Title
Heitmayer et al. Why are smartphones disruptive? An empirical study of smartphone use in real-life contexts
JP6610661B2 (ja) 情報処理装置、制御方法、およびプログラム
KR102444165B1 (ko) 적응적으로 회의를 제공하기 위한 장치 및 방법
CN103561652B (zh) 用于辅助患者的方法和系统
Kim et al. Meeting mediator: enhancing group collaborationusing sociometric feedback
Eaton et al. The creation and consequences of the social world: An interactional analysis of extraversion
US8670018B2 (en) Detecting reactions and providing feedback to an interaction
Boehner et al. How emotion is made and measured
US20190147367A1 (en) Detecting interaction during meetings
CN110313153A (zh) 智能数字助理系统
US20140229866A1 (en) Systems and methods for grouping participants of multi-user events
CN109599161A (zh) 身体活动和健身监视器
US20110292162A1 (en) Non-linguistic signal detection and feedback
WO2016178329A1 (ja) 情報処理システム、制御方法、および記憶媒体
CN109460752A (zh) 一种情绪分析方法、装置、电子设备及存储介质
US10292585B1 (en) Mental state measurement using sensors attached to non-wearable objects
JP6933076B2 (ja) 制御装置、制御方法、プログラム及び制御システム
JP6930277B2 (ja) 提示装置、提示方法、通信制御装置、通信制御方法及び通信制御システム
US9262539B2 (en) Mobile device and system for recording, reviewing, and analyzing human relationship
CN108139988A (zh) 信息处理系统和信息处理方法
US20230336694A1 (en) Tagging Characteristics of an Interpersonal Encounter Based on Vocal Features
JP2018139087A (ja) 感情推定サーバ装置、感情推定方法、提示装置及び感情推定システム
Lee et al. User perception and self-disclosure towards an AI psychotherapy chatbot according to the anthropomorphism of its profile picture
Woznowski et al. Talk, text or tag?
Han et al. DataHalo: A Customizable Notification Visualization System for Personalized and Longitudinal Interactions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180703