CN113112991A - 健康量表的形成方法、装置、设备及存储介质 - Google Patents

健康量表的形成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113112991A
CN113112991A CN202110378755.5A CN202110378755A CN113112991A CN 113112991 A CN113112991 A CN 113112991A CN 202110378755 A CN202110378755 A CN 202110378755A CN 113112991 A CN113112991 A CN 113112991A
Authority
CN
China
Prior art keywords
information
specified
health
voice
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110378755.5A
Other languages
English (en)
Inventor
刘恩泽
王广新
杨汉丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Youjie Zhixin Technology Co ltd
Original Assignee
Shenzhen Youjie Zhixin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Youjie Zhixin Technology Co ltd filed Critical Shenzhen Youjie Zhixin Technology Co ltd
Priority to CN202110378755.5A priority Critical patent/CN113112991A/zh
Publication of CN113112991A publication Critical patent/CN113112991A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/005—Language recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及智能健康管理领域，揭示了健康量表的形成方法，包括：获取当前用户选择的指定量表中的指定项目，指定项目为健康量表中的任一项目；判断指定项目所属的信息类别；调取与信息类别对应的信息采集方式；通过信息采集方式获取当前用户的录入信息；根据录入信息填充指定项目对应的健康信息；根据指定项目对应的健康信息的填充过程，填充健康量表中所有项目。通过语音识别、语音合成以及动作评估等交互技术，结合预设的实体识别规则实现量表的自动测量和填充过程，释放人力提高测量效率，且避免了人为介入导致量表信息失真、难标准统一化评价的弊端。

Description

健康量表的形成方法、装置、设备及存储介质
技术领域
本申请涉及智能健康管理领域，特别是涉及到健康量表的形成方法、装置、设备及存储介质。
背景技术
随着生活水平的提高以及智能技术的发展，智能健康技术渗透到老年生活的方方面面，特别是在智能护理和智能健康管理方面，应用更为突出和迫切。为了对老年人提供有针对性的健康管理服务，对其健康状况进行准确把握是首先要做好的必要且重要的环节。目前大多数的健康状况通过问卷、量表并参考体检报告等方式，得到相关的健康状况的信息，然后再根据健康状况对老年人进行针对性的健康管理或进行分类分流式管理。但发明人意识到当前的问卷、量表多是通过人工问答的方式实现，耗费大量的人力，且由于人力的介入，会使问卷、量表参入人为客观因素，无法实现标准统一化评价。
发明内容
本申请的主要目的为提供一种健康量表的形成方法，旨在解决人工参与量表制作，造成人力浪费且无法实现标准统一化评价的技术问题。
本申请提出一种健康量表的形成方法，包括：
获取当前用户选择的指定量表中的指定项目，其中，所述指定项目为所述健康量表中的任一项目；
识别所述指定项目所属的信息类别；
调取与所述信息类别对应的信息采集方式；
通过所述信息采集方式获取所述当前用户的录入信息；
根据所述录入信息填充所述指定项目对应的健康信息；
根据所述指定项目对应的健康信息的填充过程，填充所述健康量表中所有项目。
优选地，所述信息类别包括语音交互信息，所述通过所述信息采集方式获取所述当前用户的录入信息的步骤，包括：
启动麦克风拾取所述当前用户反馈第一语音问题的指定语音信息；
将所述指定语音信息输入语音识别模型，得到关键词识别结果；
根据所述关键词识别结果，填充所述第一语音问题对应的第一答案。
优选地，将所述指定语音信息输入语音识别模型，得到关键词识别结果的步骤之前，包括：
判断所述指定语音信息是否为标准语言；
若否，则获取所述指定语音信息对应的音素特征；
根据所述音素特征确定所述指定语音信息所属的方言体系；
选择与所述指定语音信息所属的方言体系的指定转译系统；
通过所述指定转译系统将所述指定语音信息转译为所述标准语言。
优选地，所述信息类别包括语音动作交互信息，所述通过所述信息采集方式获取所述当前用户的录入信息的步骤，包括：
拾取所述当前用户反馈第二语音问题的指定动作信息；
将所述指定动作信息输入图像识别模型，得到动作识别结果；
根据所述动作识别结果，填充所述第二语音问题对应的第二答案。
优选地，所述指定动作信息为图片信息，所述将所述指定动作信息输入图像识别模型，得到动作识别结果的步骤，包括：
将所述当前用户指定时间段内的肢体动作图片按照时序帧次序，排列成所述指定动作信息，其中，所述指定时间段为所述第二语音问题结束后的预设时间段；
将所述指定动作信息依次输入至所述图像识别模型；
获取所述图像识别模型对各所述动作图片中的实体类别识别；
将各所述实体类别的位置关系作为所述识别结果。
优选地，所述获取所述图像识别模型对各所述动作图片中的实体类别识别步骤之后，包括：
获取指定实体在各所述动作图片中位置信息，其中，所述指定实体为所述当前用户肢体的指定部分；
将各所述位置信息按照所述时序排列次序，组合成所述指定时间段内所述指定实体的运动轮廓；
将所述运动轮廓作为所述识别结果。
优选地，所述根据所述指定项目对应的健康信息的填充过程，填充所述健康量表中所有项目的步骤之后，包括：
分别计算所述健康量表中所有项目的填充信息与各自对应的标准信息的差异度；
根据所述差异度对应的评分，确定所述健康量表中所有项目分别对应的评分；
汇总所述健康量表中所有项目分别对应的评分，得到评分信息；
将所述评分信息返回至所述当前用户所在终端。
本申请还提供了一种健康量表的形成装置，包括：
第一获取模块，用于获取当前用户选择的指定量表中的指定项目，其中，所述指定项目为所述健康量表中的任一项目；
识别模块，用于识别所述指定项目所属的信息类别；
调取模块，用于调取与所述信息类别对应的信息采集方式；
第二获取模块，用于通过所述信息采集方式获取所述当前用户的录入信息；
第一填充模块，用于根据所述录入信息填充所述指定项目对应的健康信息；
第二填充模块，用于根据所述指定项目对应的健康信息的填充过程，填充所述健康量表中所有项目。
本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
本申请通过语音识别、语音合成以及动作评估等交互技术，结合预设的实体识别规则实现量表的自动测量和填充过程，释放人力提高测量效率，且避免了人为介入导致量表信息失真、难标准统一化评价的弊端。
附图说明
图1本申请一实施例的健康量表的形成方法流程示意图；
图2本申请一实施例的健康量表的形成装置结构示意图；
图3本申请一实施例的计算机设备内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请一实施例的健康量表的形成方法，包括：
S1：获取当前用户选择的指定量表中的指定项目，其中，所述指定项目为所述健康量表中的任一项目；
S2：识别所述指定项目所属的信息类别；
S3：调取与所述信息类别对应的信息采集方式；
S4：通过所述信息采集方式获取所述当前用户的录入信息；
S5：根据所述录入信息填充所述指定项目对应的健康信息；
S6：根据所述指定项目对应的健康信息的填充过程，填充所述健康量表中所有项目。
本申请的量表为养老机构、健康管理机构、社康中心以及医院的老年专科门诊，对老年人各方面能力的评估的测量表。上述量表根据测量内容的不同，分为老年人的《个人基本信息采集表》、《简易智力状态检查量表》、《老年抑郁量表》、《老年生活自理能力评估表》、《烟瘾程度问卷》等，分别从不同方面对老人的健康进行评估。每个量表中有多个项目组成，比如《简易智力状态检查量表》中包括项目时间定向力、地点定向力、即刻回忆记录词、注意力与计算力、语言重复、理解力、阅读、写与画等。
本申请的量表，由语音助手通过智能语音对话技术，全程主导与用户的以语音为主，多模态融合的交互，推动调查问卷/量表的完成，确保用户信息的准确获取，并针对不同信息类别的问题，采用不同的交互设计。交互设计中以语音为主，需要对用户的语音反馈，有鲁棒的识别效果。量表的语音交互设计按照量表的目标要求设计语音助手的语音内容，并且为用户每一轮对话中的语音进行识别、理解，根据是否完成量表信息获取的要求适时判断是否需要发起下一轮对话，或者如何发起下一轮对话。量表的行为交互设计按照量表的目标要求，设计语音助手需要用户实施的动作指令，并且通过影像录入设备捕获用户的动作，并将用户的动作与目标期望的动作进行对比分析，但所有交互过程通过语音助手主导推动项目完成。
量表中的信息类别包括但不限于：语音交互信息和语音动作交互信息，语音交互信息对应的项目包括有限选择问答和开放表述问答等。语音动作交互信息包括命令响应问题和运动能力测试等，交互设计中需要用户通过动作反馈的语音信息时，可通过触摸屏、摄像头等捕获用户手或身体其他肢体部位的运动特征。上述信息类别可通过识别预设标签进行区分，或者通过实体识别技术识别各信息类别对应的关键词实现。
针对不同的信息类别，对应的信息采集方式不同，比如时间定向力、地点定向力两个项目属于有限选择问答中的有限选择不提供选项问题，有限选择问答通过识别回答者语句中的关键词实现；理解力项目属于开放表述问答，通过记载回答者语句，并根据语句表述语义转换成标准文本而实现；即刻回忆记录词、注意力与计算力、语言重复、理解力、阅读等项目属于命令响应问题，通过捕捉命令语句结束的指定时间内的肢体动作，并解读肢体动作特征而实现，等等。
本申请的健康量表的形成方法，可以APP的形式部署于老年人智能设备终端，上述老年人智能终端包括但不限于手机、电脑、pad等便携式设备以及智能手表等智能穿戴设备。上述老年人智能终端包括语音识别部件、语音合成部件、动作评价部件、麦克风、扬声器、触摸屏、摄像头以及中央预处理器。上述的语音识别部件、语音合成部件、动作评价部件、麦克风、扬声器、触摸屏、摄像头分别与中央预处理器相连。
本申请通过语音识别、语音合成以及动作评估等交互技术，结合预设的实体识别规则实现量表的自动测量和填充过程，释放人力提高测量效率，且避免了人为介入导致量表信息失真、难标准统一化评价的弊端。
进一步地，所述信息类别包括语音交互信息，所述通过所述信息采集方式获取所述当前用户的录入信息的步骤S4，包括：
S41：启动麦克风拾取所述当前用户反馈第一语音问题的指定语音信息；
S42：将所述指定语音信息输入语音识别模型，得到关键词识别结果；
S43：根据所述关键词识别结果，填充所述第一语音问题对应的第一答案。
本申请中有限选择问答和开放表述问答属于语音交互信息，语音交互信息通过麦克风采集，通常情况下，麦克风处于未启动状态，以节省耗电，当识别到语音交互信息的标签或对应关键词时，会即时启动麦克风，并反馈已启动。
扬声器播放语音信息后的指定时间段内，比如2分钟内，通过将麦克风采集的语音反馈信息传输至语音识别模型进行关键词识别，并将识别到的关键词作为答案填充至对应问题的答案处。比如地点定向力项目的问题为“我们现在在哪里？”答案因子包括：“国家”、“城市”、“区/街道”、“建筑物”等，然后麦克风采集到反馈信息为“我现在在中国的深圳市福田区某某大厦的12楼”，识别到的关键字分别为“中国”、“深圳”、“福田”、“某某大厦”，然后根据因子标签一一对应填充相应的答案。
进一步地，将所述指定语音信息输入语音识别模型，得到关键词识别结果的步骤S42之前，包括：
S421：判断所述指定语音信息是否为标准语言；
S422：若否，则获取所述指定语音信息对应的音素特征；
S423：根据所述音素特征确定所述指定语音信息所属的方言体系；
S424：选择与所述指定语音信息所属的方言体系的指定转译系统；
S425：通过所述指定转译系统将所述指定语音信息转译为所述标准语言。
本申请实施例中，在进行关键词识别之前设置了方言转译功能，以提高关键词识别的精准性。上述音素特征包括识别方言的特定语气词、特有的专有词、特有的音调等。通过识别方言类型并转接对应的方言转译系统，使采集的语音信息更标准，提高关键词识别和抓取的正确性。
进一步地，所述信息类别包括语音动作交互信息，所述通过所述信息采集方式获取所述当前用户的录入信息的步骤S4，包括：
S401：拾取所述当前用户反馈第二语音问题的指定动作信息；
S402：将所述指定动作信息输入图像识别模型，得到动作识别结果；
S403：根据所述动作识别结果，填充所述第二语音问题对应的第二答案。
本申请实施例中，当识别到当前进行中的量表项目为语音动作交互信息，会启动摄像头，采集当前用户根据语音指令做出的动作反馈，上述第二语音问题即为语音指令，上述指定动作信息即为动作反馈。上述指定动作信息为摄像头拍摄到的动作图片或动作视频。动作视频以多帧连续图片的方式存放并输入图像识别模型，以通过图像识别模型得到动作识别结果。上述动作识别结果包括图像中识别到的运动轮廓或运动轨迹。运动轮廓包括运动后呈现的整体痕迹，比如一个字、一个图形、一幅画等。运动轨迹为根据时序依次采集到的位置信息，比如肢体某部分的动作轨迹，抬起胳膊、举起手等动作执行过程留下的痕迹。
上述填充第二答案时，需要先获取第二语音问题中的关键词，根据关键中涉及到的肢体部位区别动作识别结果的类型，若关键词中涉及到手、写、画等，则为运动轮廓，则获取该运动轮廓，并将获取的运动轮廓直接作为第二答案进行填充。比如第二语音问题为“描画显示的五边形图形”，则摄像头收集手的端部运动后显示的轮廓，即用户手画的五边形图形作为第二答案进行填充。再比如第二语音问题为“请将右手食指，放在右侧耳垂上”，然后通过摄像头采集用户右手的运动轨迹，并判断右手食指的运动终点位置是否为其右侧耳垂所在位置区域，并将判定结果作为第二答案进行填充，上述判定结果包括动作达标、动作基本达标、动作不达标。上述运动终点的定位过程包括捕获用户面部轮廓确定右侧耳垂特征；捕获用户右手食指特征；判断右手食指特征是否到达右侧耳垂特征所在空间位置范围内，若未达到，则判定结果为动作不达标，若右手食指特征到达右侧耳垂特征所在空间位置范围内，则计算上述两部分特征在空间位置上的偏差度，偏差度小于预设阈值时，判定结果为动作达标；偏差度大于预设阈值时，判定结果为动作基本达标。
进一步地，所述指定动作信息为图片信息，所述将所述指定动作信息输入图像识别模型，得到动作识别结果的步骤S402，包括：
S4021：将所述当前用户指定时间段内的肢体动作图片按照时序帧次序，排列成所述指定动作信息，其中，所述指定时间段为所述第二语音问题结束后的预设时间段；
S4022：将所述指定动作信息依次输入至所述图像识别模型；
S4023：获取所述图像识别模型对各所述动作图片中的实体类别识别；
S4024：将各所述实体类别的位置关系作为所述识别结果。
本实施例以运动轨迹为例。上述指定时间段为第二语音问题结束后的预设时间段，比如为第二语音问题结束后的2至5分钟内，上述肢体动作图片为肢体运动过程中的过程采集图片，比如第二语音问题为“请将右手食指，放在右侧耳垂上”肢体动作图片为右手的运动过程中的图片，即逐步抬起靠近右耳垂的过程，上述实体类别识别包括手的识别、手指的识别、面部轮廓的识别、右耳垂的识别等。
上述实体类别之间的位置关系，通过实体边缘识别实现位置关系判断，比如识别第一实体类别的边缘组成的第一轮廓范围，识别第二实体类别的边缘组成的第二轮廓范围，通过比较第一轮廓范围和第二轮廓范围的重合或相交的位置关系，作为识别结果。
在上述轮廓范围的计算过程中，通过轮廓平滑提高计算精准度。轮廓平滑的过程如下：对每个轮廓点Γ(x(μ)，y(μ))进行平滑处理的公式为，
Figure BDA0003011951450000081
Figure BDA0003011951450000082
其中Γ(x(μ)，y(μ))为当前坐标点至初始轮廓点的弧长为μ的轮廓点，x(μ)和y(μ)分别表示当前坐标点的横坐标和纵坐标，σ为归一化处理相关的参数，X(μ，σ)、Y(μ，σ)分别代表平滑后当前坐标点的横坐标和纵坐标，x(v+μ)表示弧长偏移距离为v的横坐标，v为一个距离变量，μ表示弧长，且0≤μ≤L，L为轮廓周长。
进一步地，所述获取所述图像识别模型对各所述动作图片中的实体类别识别步骤S4023之后，包括：
S4025：获取指定实体在各所述动作图片中位置信息，其中，所述指定实体为所述当前用户肢体的指定部分；
S4026：将各所述位置信息按照所述时序排列次序，组合成所述指定时间段内所述指定实体的运动轮廓；
S4027：将所述运动轮廓作为所述识别结果。
本申请实施例以运动轮廓为例。实时通过内置摄像头或触控屏的点触位置信息获取指定实体的实时位置信息，并将获取的位置信息依据时序依次连接形成运动轮廓。本申实施例的指定实体优选手或手指。
进一步地，所述根据所述指定项目对应的健康信息的填充过程，填充所述健康量表中所有项目的步骤S6之后，包括：
S7：分别计算所述健康量表中所有项目的填充信息与各自对应的标准信息的差异度；
S8：根据所述差异度对应的评分，确定所述健康量表中所有项目分别对应的评分；
S9：汇总所述健康量表中所有项目分别对应的评分，得到评分信息；
S10：将所述评分信息返回至所述当前用户所在终端。
本申请的量表不仅可实现自动测量和信息填充，还可根据填充内容生成对应的评分。将上述通过不同信息采集方式对应获取的信息，自动填充的相应问题的答案处，并根据填充的信息内容进行自动评分，实现对老年人健康评估的自动测量。上述自动评分的方式，包括根据注册信息、上下文信息确定填充内容的正确性，或根据语音指令对应的标准动作与用户当前动作的差异比较得到评分，或根据语音语义的连贯性、流畅性进行评分等等，可通过识别当前的信息类别，自动调取对应的评分规则进行评分。
比如在语音交互信息中，语音问题为“我们现在在哪里？”答案因子包括：“国家”、“城市”、“区/街道”、“建筑物”等，采集到反馈信息为“我现在在中国的深圳市福田区某某大厦的12楼”，根据答案因子将识别到的关键字“中国”、“深圳”、“福田”、“某某大厦”，根据因子标签一一对应填充相应的答案处，然后获取当前的定位系统的定位信息，对上述答案进行核实评分。
再比如在语音动作交互信息中，语音问题为“描画显示的五边形图形”，通过触控屏或内置摄像头采集手指的运动轮廓得到用户手画的五边形轮廓，并根据用户手画的五边形轮廓和标准五边形轮廓的重合状态进行打分，以评估用户的运动能力。
再比如，语音问题为“请将右手食指，放在右侧耳垂上”，通过摄像头采集用户右手的运动轨迹，以及右侧耳垂所在空间位置范围，若右手食指特征到达右侧耳垂特征所在空间位置范围内，则计算上述两部分特征在空间位置上的偏差度，根据偏差度进行显示评价结果并同时给出不同评价等级对应的评分。
参照图2，本申请一实施例的健康量表的形成装置，包括：
第一获取模块1，用于获取当前用户选择的指定量表中的指定项目，其中，所述指定项目为所述健康量表中的任一项目；
识别模块2，用于识别所述指定项目所属的信息类别；
调取模块3，用于调取与所述信息类别对应的信息采集方式；
第二获取模块4，用于通过所述信息采集方式获取所述当前用户的录入信息；
第一填充模块5，用于根据所述录入信息填充所述指定项目对应的健康信息；
第二填充模块6，用于根据所述指定项目对应的健康信息的填充过程，填充所述健康量表中所有项目。
本申请的量表为养老机构、健康管理机构、社康中心以及医院的老年专科门诊，对老年人各方面能力的评估的测量表。上述量表根据测量内容的不同，分为老年人的《个人基本信息采集表》、《简易智力状态检查量表》、《老年抑郁量表》、《老年生活自理能力评估表》、《烟瘾程度问卷》等，分别从不同方面对老人的健康进行评估。每个量表中有多个项目组成，比如《简易智力状态检查量表》中包括项目时间定向力、地点定向力、即刻回忆记录词、注意力与计算力、语言重复、理解力、阅读、写与画等。
本申请的量表，由语音助手通过智能语音对话技术，全程主导与用户的以语音为主，多模态融合的交互，推动调查问卷/量表的完成，确保用户信息的准确获取，并针对不同信息类别的问题，采用不同的交互设计。交互设计中以语音为主，需要对用户的语音反馈，有鲁棒的识别效果。量表的语音交互设计按照量表的目标要求设计语音助手的语音内容，并且为用户每一轮对话中的语音进行识别、理解，根据是否完成量表信息获取的要求适时判断是否需要发起下一轮对话，或者如何发起下一轮对话。量表的行为交互设计按照量表的目标要求，设计语音助手需要用户实施的动作指令，并且通过影像录入设备捕获用户的动作，并将用户的动作与目标期望的动作进行对比分析，但所有交互过程通过语音助手主导推动项目完成。
量表中的信息类别包括但不限于：语音交互信息和语音动作交互信息，语音交互信息对应的项目包括有限选择问答和开放表述问答等。语音动作交互信息包括命令响应问题和运动能力测试等，交互设计中需要用户通过动作反馈的语音信息时，可通过触摸屏、摄像头等捕获用户手或身体其他肢体部位的运动特征。上述信息类别可通过识别预设标签进行区分，或者通过实体识别技术识别各信息类别对应的关键词实现。
针对不同的信息类别，对应的信息采集方式不同，比如时间定向力、地点定向力两个项目属于有限选择问答中的有限选择不提供选项问题，有限选择问答通过识别回答者语句中的关键词实现；理解力项目属于开放表述问答，通过记载回答者语句，并根据语句表述语义转换成标准文本而实现；即刻回忆记录词、注意力与计算力、语言重复、理解力、阅读等项目属于命令响应问题，通过捕捉命令语句结束的指定时间内的肢体动作，并解读肢体动作特征而实现，等等。
本申请的健康量表的形成方法，可以APP的形式部署于老年人智能设备终端，上述老年人智能终端包括但不限于手机、电脑、pad等便携式设备以及智能手表等智能穿戴设备。上述老年人智能终端包括语音识别部件、语音合成部件、动作评价部件、麦克风、扬声器、触摸屏、摄像头以及中央预处理器。上述的语音识别部件、语音合成部件、动作评价部件、麦克风、扬声器、触摸屏、摄像头分别与中央预处理器相连。
本申请通过语音识别、语音合成以及动作评估等交互技术，结合预设的实体识别规则实现量表的自动测量和填充过程，释放人力提高测量效率，且避免了人为介入导致量表信息失真、难标准统一化评价的弊端。
进一步地，所述信息类别包括语音交互信息，第二获取模块4，包括：
启动单元，用于启动麦克风拾取所述当前用户反馈第一语音问题的指定语音信息；
第一输入单元，用于将所述指定语音信息输入语音识别模型，得到关键词识别结果；
第一填充单元，用于根据所述关键词识别结果，填充所述第一语音问题对应的第一答案。
本申请中有限选择问答和开放表述问答属于语音交互信息，语音交互信息通过麦克风采集，通常情况下，麦克风处于未启动状态，以节省耗电，当识别到语音交互信息的标签或对应关键词时，会即时启动麦克风，并反馈已启动。
扬声器播放语音信息后的指定时间段内，比如2分钟内，通过将麦克风采集的语音反馈信息传输至语音识别模型进行关键词识别，并将识别到的关键词作为答案填充至对应问题的答案处。比如地点定向力项目的问题为“我们现在在哪里？”答案因子包括：“国家”、“城市”、“区/街道”、“建筑物”等，然后麦克风采集到反馈信息为“我现在在中国的深圳市福田区某某大厦的12楼”，识别到的关键字分别为“中国”、“深圳”、“福田”、“某某大厦”，然后根据因子标签一一对应填充相应的答案。
进一步地，第二获取模块4包括：
判断单元，用于判断所述指定语音信息是否为标准语言；
获取单元，用于若不为标准语言，则获取所述指定语音信息对应的音素特征；
确定单元，用于根据所述音素特征确定所述指定语音信息所属的方言体系；
选择单元，用于选择与所述指定语音信息所属的方言体系的指定转译系统；
转译单元，用于通过所述指定转译系统将所述指定语音信息转译为所述标准语言。
本申请实施例中，在进行关键词识别之前设置了方言转译功能，以提高关键词识别的精准性。上述音素特征包括识别方言的特定语气词、特有的专有词、特有的音调等。通过识别方言类型并转接对应的方言转译系统，使采集的语音信息更标准，提高关键词识别和抓取的正确性。
进一步地，所述信息类别包括语音动作交互信息，第二获取模块4，包括：
拾取单元，用于拾取所述当前用户反馈第二语音问题的指定动作信息；
第二输入单元，用于将所述指定动作信息输入图像识别模型，得到动作识别结果；
第二填充单元，用于根据所述动作识别结果，填充所述第二语音问题对应的第二答案。
本申请实施例中，当识别到当前进行中的量表项目为语音动作交互信息，会启动摄像头，采集当前用户根据语音指令做出的动作反馈，上述第二语音问题即为语音指令，上述指定动作信息即为动作反馈。上述指定动作信息为摄像头拍摄到的动作图片或动作视频。动作视频以多帧连续图片的方式存放并输入图像识别模型，以通过图像识别模型得到动作识别结果。上述动作识别结果包括图像中识别到的运动轮廓或运动轨迹。运动轮廓包括运动后呈现的整体痕迹，比如一个字、一个图形、一幅画等。运动轨迹为根据时序依次采集到的位置信息，比如肢体某部分的动作轨迹，抬起胳膊、举起手等动作执行过程留下的痕迹。
上述填充第二答案时，需要先获取第二语音问题中的关键词，根据关键中涉及到的肢体部位区别动作识别结果的类型，若关键词中涉及到手、写、画等，则为运动轮廓，则获取该运动轮廓，并将获取的运动轮廓直接作为第二答案进行填充。比如第二语音问题为“描画显示的五边形图形”，则摄像头收集手的端部运动后显示的轮廓，即用户手画的五边形图形作为第二答案进行填充。再比如第二语音问题为“请将右手食指，放在右侧耳垂上”，然后通过摄像头采集用户右手的运动轨迹，并判断右手食指的运动终点位置是否为其右侧耳垂所在位置区域，并将判定结果作为第二答案进行填充，上述判定结果包括动作达标、动作基本达标、动作不达标。上述运动终点的定位过程包括捕获用户面部轮廓确定右侧耳垂特征；捕获用户右手食指特征；判断右手食指特征是否到达右侧耳垂特征所在空间位置范围内，若未达到，则判定结果为动作不达标，若右手食指特征到达右侧耳垂特征所在空间位置范围内，则计算上述两部分特征在空间位置上的偏差度，偏差度小于预设阈值时，判定结果为动作达标；偏差度大于预设阈值时，判定结果为动作基本达标。
进一步地，所述指定动作信息为图片信息，第二输入单元，包括：
排列子单元，用于将所述当前用户指定时间段内的肢体动作图片按照时序帧次序，排列成所述指定动作信息，其中，所述指定时间段为所述第二语音问题结束后的预设时间段；
输入子单元，用于将所述指定动作信息依次输入至所述图像识别模型；
第一获取子单元，用于获取所述图像识别模型对各所述动作图片中的实体类别识别；
第一作为子单元，用于将各所述实体类别的位置关系作为所述识别结果。
本实施例以运动轨迹为例。上述指定时间段为第二语音问题结束后的预设时间段，比如为第二语音问题结束后的2至5分钟内，上述肢体动作图片为肢体运动过程中的过程采集图片，比如第二语音问题为“请将右手食指，放在右侧耳垂上”肢体动作图片为右手的运动过程中的图片，即逐步抬起靠近右耳垂的过程，上述实体类别识别包括手的识别、手指的识别、面部轮廓的识别、右耳垂的识别等。
上述实体类别之间的位置关系，通过实体边缘识别实现位置关系判断，比如识别第一实体类别的边缘组成的第一轮廓范围，识别第二实体类别的边缘组成的第二轮廓范围，通过比较第一轮廓范围和第二轮廓范围的重合或相交的位置关系，作为识别结果。
在上述轮廓范围的计算过程中，通过轮廓平滑提高计算精准度。轮廓平滑的过程如下：对每个轮廓点Γ(x(μ)，y(μ))进行平滑处理的公式为，
Figure BDA0003011951450000141
Figure BDA0003011951450000142
其中Γ(x(μ)，y(μ))为当前坐标点至初始轮廓点的弧长为μ的轮廓点，x(μ)和y(μ)分别表示当前坐标点的横坐标和纵坐标，σ为归一化处理相关的参数，X(μ，σ)、Y(μ，σ)分别代表平滑后当前坐标点的横坐标和纵坐标，x(v+μ)表示弧长偏移距离为v的横坐标，v为一个距离变量，μ表示弧长，且0≤μ≤L，L为轮廓周长。
进一步地，第二输入单元，包括：
第二获取子单元，用于获取指定实体在各所述动作图片中位置信息，其中，所述指定实体为所述当前用户肢体的指定部分；
组合子单元，用于将各所述位置信息按照所述时序排列次序，组合成所述指定时间段内所述指定实体的运动轮廓；
第二作为子单元，用于将所述运动轮廓作为所述识别结果。
本申请实施例以运动轮廓为例。实时通过内置摄像头或触控屏的点触位置信息获取指定实体的实时位置信息，并将获取的位置信息依据时序依次连接形成运动轮廓。本申实施例的指定实体优选手或手指。
进一步地，健康量表的形成装置，包括：
计算模块，用于分别计算所述健康量表中所有项目的填充信息与各自对应的标准信息的差异度；
确定模块，用于根据所述差异度对应的评分，确定所述健康量表中所有项目分别对应的评分；
汇总米快，用于汇总所述健康量表中所有项目分别对应的评分，得到评分信息；
返回模块，用于将所述评分信息返回至所述当前用户所在终端。
本申请的量表不仅可实现自动测量和信息填充，还可根据填充内容生成对应的评分。将上述通过不同信息采集方式对应获取的信息，自动填充的相应问题的答案处，并根据填充的信息内容进行自动评分，实现对老年人健康评估的自动测量。上述自动评分的方式，包括根据注册信息、上下文信息确定填充内容的正确性，或根据语音指令对应的标准动作与用户当前动作的差异比较得到评分，或根据语音语义的连贯性、流畅性进行评分等等，可通过识别当前的信息类别，自动调取对应的评分规则进行评分。
比如在语音交互信息中，语音问题为“我们现在在哪里？”答案因子包括：“国家”、“城市”、“区/街道”、“建筑物”等，采集到反馈信息为“我现在在中国的深圳市福田区某某大厦的12楼”，根据答案因子将识别到的关键字“中国”、“深圳”、“福田”、“某某大厦”，根据因子标签一一对应填充相应的答案处，然后获取当前的定位系统的定位信息，对上述答案进行核实评分。
再比如在语音动作交互信息中，语音问题为“描画显示的五边形图形”，通过触控屏或内置摄像头采集手指的运动轮廓得到用户手画的五边形轮廓，并根据用户手画的五边形轮廓和标准五边形轮廓的重合状态进行打分，以评估用户的运动能力。
再比如，语音问题为“请将右手食指，放在右侧耳垂上”，通过摄像头采集用户右手的运动轨迹，以及右侧耳垂所在空间位置范围，若右手食指特征到达右侧耳垂特征所在空间位置范围内，则计算上述两部分特征在空间位置上的偏差度，根据偏差度进行显示评价结果并同时给出不同评价等级对应的评分。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储健康量表的形成过程需要的所有数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现健康量表的形成方法。
上述处理器执行上述健康量表的形成方法，包括：获取当前用户选择的指定量表中的指定项目，其中，所述指定项目为所述健康量表中的任一项目；识别所述指定项目所属的信息类别；调取与所述信息类别对应的信息采集方式；通过所述信息采集方式获取所述当前用户的录入信息；根据所述录入信息填充所述指定项目对应的健康信息；根据所述指定项目对应的健康信息的填充过程，填充所述健康量表中所有项目。
上述计算机设备，通过语音识别、语音合成以及动作评估等交互技术，结合预设的实体识别规则实现量表的自动测量和填充过程，释放人力提高测量效率，且避免了人为介入导致量表信息失真、难标准统一化评价的弊端。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现健康量表的形成方法，包括：获取当前用户选择的指定量表中的指定项目，其中，所述指定项目为所述健康量表中的任一项目；识别所述指定项目所属的信息类别；调取与所述信息类别对应的信息采集方式；通过所述信息采集方式获取所述当前用户的录入信息；根据所述录入信息填充所述指定项目对应的健康信息；根据所述指定项目对应的健康信息的填充过程，填充所述健康量表中所有项目。
上述计算机可读存储介质，通过语音识别、语音合成以及动作评估等交互技术，结合预设的实体识别规则实现量表的自动测量和填充过程，释放人力提高测量效率，且避免了人为介入导致量表信息失真、难标准统一化评价的弊端。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种健康量表的形成方法，其特征在于，包括：
获取当前用户选择的指定量表中的指定项目，其中，所述指定项目为所述健康量表中的任一项目；
识别所述指定项目所属的信息类别；
调取与所述信息类别对应的信息采集方式；
通过所述信息采集方式获取所述当前用户的录入信息；
根据所述录入信息填充所述指定项目对应的健康信息；
根据所述指定项目对应的健康信息的填充过程，填充所述健康量表中所有项目。
2.根据权利要求1所述的健康量表的形成方法，其特征在于，所述信息类别包括语音交互信息，所述通过所述信息采集方式获取所述当前用户的录入信息的步骤，包括：
启动麦克风拾取所述当前用户反馈第一语音问题的指定语音信息；
将所述指定语音信息输入语音识别模型，得到关键词识别结果；
根据所述关键词识别结果，填充所述第一语音问题对应的第一答案。
3.根据权利要求2所述的健康量表的形成方法，其特征在于，将所述指定语音信息输入语音识别模型，得到关键词识别结果的步骤之前，包括：
判断所述指定语音信息是否为标准语言；
若否，则获取所述指定语音信息对应的音素特征；
根据所述音素特征确定所述指定语音信息所属的方言体系；
选择与所述指定语音信息所属的方言体系的指定转译系统；
通过所述指定转译系统将所述指定语音信息转译为所述标准语言。
4.根据权利要求1所述的健康量表的形成方法，其特征在于，所述信息类别包括语音动作交互信息，所述通过所述信息采集方式获取所述当前用户的录入信息的步骤，包括：
拾取所述当前用户反馈第二语音问题的指定动作信息；
将所述指定动作信息输入图像识别模型，得到动作识别结果；
根据所述动作识别结果，填充所述第二语音问题对应的第二答案。
5.根据权利要求4所述的健康量表的形成方法，其特征在于，所述指定动作信息为图片信息，所述将所述指定动作信息输入图像识别模型，得到动作识别结果的步骤，包括：
将所述当前用户指定时间段内的肢体动作图片按照时序帧次序，排列成所述指定动作信息，其中，所述指定时间段为所述第二语音问题结束后的预设时间段；
将所述指定动作信息依次输入至所述图像识别模型；
获取所述图像识别模型对各所述动作图片中的实体类别识别；
将各所述实体类别的位置关系作为所述识别结果。
6.根据权利要求5所述的健康量表的形成方法，其特征在于，所述获取所述图像识别模型对各所述动作图片中的实体类别识别步骤之后，包括：
获取指定实体在各所述动作图片中位置信息，其中，所述指定实体为所述当前用户肢体的指定部分；
将各所述位置信息按照所述时序排列次序，组合成所述指定时间段内所述指定实体的运动轮廓；
将所述运动轮廓作为所述识别结果。
7.根据权利要求1所述的健康量表的形成方法，其特征在于，所述根据所述指定项目对应的健康信息的填充过程，填充所述健康量表中所有项目的步骤之后，包括：
分别计算所述健康量表中所有项目的填充信息与各自对应的标准信息的差异度；
根据所述差异度对应的评分，确定所述健康量表中所有项目分别对应的评分；
汇总所述健康量表中所有项目分别对应的评分，得到评分信息；
将所述评分信息返回至所述当前用户所在终端。
8.一种健康量表的形成装置，其特征在于，包括：
第一获取模块，用于获取当前用户选择的指定量表中的指定项目，其中，所述指定项目为所述健康量表中的任一项目；
识别模块，用于识别所述指定项目所属的信息类别；
调取模块，用于调取与所述信息类别对应的信息采集方式；
第二获取模块，用于通过所述信息采集方式获取所述当前用户的录入信息；
第一填充模块，用于根据所述录入信息填充所述指定项目对应的健康信息；
第二填充模块，用于根据所述指定项目对应的健康信息的填充过程，填充所述健康量表中所有项目。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110378755.5A 2021-04-08 2021-04-08 健康量表的形成方法、装置、设备及存储介质 Pending CN113112991A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110378755.5A CN113112991A (zh) 2021-04-08 2021-04-08 健康量表的形成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110378755.5A CN113112991A (zh) 2021-04-08 2021-04-08 健康量表的形成方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113112991A true CN113112991A (zh) 2021-07-13

Family

ID=76714585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110378755.5A Pending CN113112991A (zh) 2021-04-08 2021-04-08 健康量表的形成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113112991A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102781320A (zh) * 2009-10-30 2012-11-14 医学运动有限公司 综合人体运动分析的系统和方法
CN106250697A (zh) * 2016-08-03 2016-12-21 董碧蓉 老年自助健康管理设备
JP2017033578A (ja) * 2016-09-09 2017-02-09 株式会社ＦｉＮＣ 健康管理サーバおよび健康管理サーバ制御方法並びに健康管理プログラム
CN110047574A (zh) * 2019-03-15 2019-07-23 格品医疗科技(上海)有限公司 神经心理评估量表的电子智能化方法、装置、终端、及存储介质
CN111861768A (zh) * 2020-07-31 2020-10-30 中国平安人寿保险股份有限公司 基于人工智能的业务处理方法、装置、计算机设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102781320A (zh) * 2009-10-30 2012-11-14 医学运动有限公司 综合人体运动分析的系统和方法
CN106250697A (zh) * 2016-08-03 2016-12-21 董碧蓉 老年自助健康管理设备
JP2017033578A (ja) * 2016-09-09 2017-02-09 株式会社ＦｉＮＣ 健康管理サーバおよび健康管理サーバ制御方法並びに健康管理プログラム
CN110047574A (zh) * 2019-03-15 2019-07-23 格品医疗科技(上海)有限公司 神经心理评估量表的电子智能化方法、装置、终端、及存储介质
CN111861768A (zh) * 2020-07-31 2020-10-30 中国平安人寿保险股份有限公司 基于人工智能的业务处理方法、装置、计算机设备及介质

Similar Documents

Publication Publication Date Title
EP3607478A1 (en) Assisting psychological cure in automated chatting
CN110457432A (zh) 面试评分方法、装置、设备及存储介质
CN109461073A (zh) 智能识别的风险管理方法、装置、计算机设备及存储介质
CN113835522A (zh) 手语视频生成、翻译、客服方法、设备和可读介质
CN111833853A (zh) 语音处理方法及装置、电子设备、计算机可读存储介质
CN109101663A (zh) 一种基于互联网的机器人对话系统
CN112016367A (zh) 一种情绪识别系统、方法及电子设备
EP4075411A1 (en) Device and method for providing interactive audience simulation
KR20130086971A (ko) 음성인식 질의응답 시스템 및 그것의 운용방법
KR20140123369A (ko) 음성인식 질의응답 시스템 및 그것의 운용방법
KR20150135688A (ko) 시청 데이터를 이용한 기억 보조 방법
CN113255323B (zh) 一种描述数据处理方法、系统、电子设备及介质
CN113035232B (zh) 一种基于语音识别的心理状态预测系统、方法及装置
CN113822187A (zh) 手语翻译、客服、通信方法、设备和可读介质
US11547345B2 (en) Dynamic neuropsychological assessment tool
CN110136743A (zh) 基于声音采集的健康状态监控方法、装置及存储介质
KR20170086233A (ko) 라이프 음성 로그 및 라이프 영상 로그를 이용한 점증적 음향 모델 및 언어 모델 학습 방법
CN110705523B (zh) 一种基于神经网络的创业者路演能力测评方法及其测评系统
JP7273563B2 (ja) 情報処理装置、情報処理方法、および、プログラム
US20230148945A1 (en) Dynamic neuropsychological assessment tool
CN113112991A (zh) 健康量表的形成方法、装置、设备及存储介质
CN111714140B (zh) 被测谎人员反应信息获取方法、装置、系统及存储介质
CN114462376A (zh) 基于rpa和ai的庭审笔录生成方法、装置、设备及介质
CN111081252A (zh) 语音数据处理方法、装置、计算机设备和存储介质
JP2013109575A (ja) メンタルケア装置、メンタルケア方法及びメンタルケアプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination