CN112528797B - 一种问题推荐方法、装置及电子设备 - Google Patents

一种问题推荐方法、装置及电子设备 Download PDF

Info

Publication number
CN112528797B
CN112528797B CN202011399761.0A CN202011399761A CN112528797B CN 112528797 B CN112528797 B CN 112528797B CN 202011399761 A CN202011399761 A CN 202011399761A CN 112528797 B CN112528797 B CN 112528797B
Authority
CN
China
Prior art keywords
question
video
sample
respondent
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011399761.0A
Other languages
English (en)
Other versions
CN112528797A (zh
Inventor
任亦立
陈锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202011399761.0A priority Critical patent/CN112528797B/zh
Publication of CN112528797A publication Critical patent/CN112528797A/zh
Application granted granted Critical
Publication of CN112528797B publication Critical patent/CN112528797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03—Credit; Loans; Processing thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Technology Law (AREA)
  • Geometry (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种问题推荐方法、装置及电子设备。其中，所述方法包括：获取当前问题提出后采集回答者的人体和/或人脸得到的待识别视频；对所述待识别视频进行动作识别，得到识别结果，所述识别结果用于表示所述当前问题提出后所述回答者存在的应激性动作；按照预先建立的关联规则，确定与所述识别结果和所述当前问题关联性最高的候选问题，作为推荐问题，所述关联规则用于表示应激性动作、当前问题与候选问题之间的关联性。可以使得提问者更有效的从回答者处获取信息。

Description

一种问题推荐方法、装置及电子设备
技术领域
本发明涉及智能视频监控技术领域，特别是涉及一种问题推荐方法、装置及电子设备。
背景技术
在一些应用场景中，相关人员(下文称提问者)可以通过提问的方式从目标人员(下文称回答者)处获取信息。例如，在银行提供贷款前，银行工作人员可以向贷款者提问，并根据贷款人的回答判断贷款人是否具备贷款资质。
但是回答者在回答时可能撒谎，如贷款人可能为成功贷款对自身的情报进行谎报。此时，提问者难以从回答者的回答中获取有效信息。因此，如何有效地提问从而从回答者处获取信息，成为亟待解决的技术问题。
发明内容
本发明实施例的目的在于提供一种问题推荐方法、装置及电子设备，以实现使得提问者可以从回答者处更有效的获取信息。具体技术方案如下：
在本发明实施例的第一方面，提供了一种问题推荐方法，所述方法包括：
获取当前问题提出后采集回答者的人体和/或人脸得到的待识别视频；
对所述待识别视频进行动作识别，得到识别结果，所述识别结果用于表示所述当前问题提出后所述回答者存在的应激性动作；
按照预先建立的关联规则，确定与所述识别结果和所述当前问题关联性最高的候选问题，作为推荐问题，所述关联规则用于表示应激性动作、当前问题与候选问题之间的关联性。
在一种可能的实施例中，所述关联规则为预先根据样本问答视频构建得到的，所述样本问答视频为预设提问者与预设回答者进行问答的视频。
在一种可能的实施例中，所述关联规则预先通过以下方式构建得到：
对样本问答视频进行动作识别，确定在样本提问者提出第一问题后样本回答者存在的应激性动作；
根据所述样本问答视频，确定所述样本回答者回答第二问题的答案中包含的有效信息的信息量，所述第二问题为所述样本提问者在所述第一问题后提出的问题；
根据所述信息量，构建所述第一问题、所确定的应激性动作与所述第二问题之间的关联关系，所述关联关系所表示的关联性与所述信息量正相关。
在一种可能的实施例中，所述按照预先建立的关联规则，确定与所述识别结果和所述当前问题关联性最高的候选问题，作为推荐问题，包括：
对识别结果和当前问题进行特征提取，得到应激性动作特征和问题特征；
融合所述应激性动作特征和所述问题特征，得到融合特征；
按照预先建立的关联关系，确定与所述融合特征关联性最高的候选问题，作为推荐问题。
在一种可能的实施例中，所述对所述待识别视频进行动作识别，得到识别结果，包括：
对所述待识别视频进行关键点检测，得到关键点信息，所述关键点信息用于表示所述回答者的位姿；
根据所述关键点信息所表示的位姿，识别所述当前问题提出后所述回答者存在的应激性动作，得到识别结果。
在本发明实施例的第二方面，提供了一种问题推荐装置，所述装置包括：
视频采集模块，用于获取当前问题提出后采集回答者的人体和/或人脸得到的待识别视频；
动作识别模块，用于对所述待识别视频进行动作识别，得到识别结果，所述识别结果用于表示所述当前问题提出后所述回答者存在的应激性动作；
问题推荐模块，用于按照预先建立的关联规则，确定与所述识别结果和所述当前问题关联性最高的候选问题，作为推荐问题，所述关联规则用于表示应激性动作、当前问题与候选问题之间的关联性。
在一种可能的实施例中，所述关联规则为预先根据样本问答视频构建得到的，所述样本问答视频为预设提问者与预设回答者进行问答的视频。
在一种可能的实施例中，所述关联规则预先通过以下方式构建得到：
对样本问答视频进行动作识别，确定在样本提问者提出第一问题后样本回答者存在的应激性动作；
根据所述样本问答视频，确定所述样本回答者回答第二问题的答案中包含的有效信息的信息量，所述第二问题为所述样本提问者在所述第一问题后提出的问题；
根据所述信息量，构建所述第一问题、所确定的应激性动作与所述第二问题之间的关联关系，所述关联关系所表示的关联性与所述信息量正相关。
在一种可能的实施例中，所述问题推荐模块按照预先建立的关联规则，确定与所述识别结果和所述当前问题关联性最高的候选问题，作为推荐问题，包括：
对识别结果和当前问题进行特征提取，得到应激性动作特征和问题特征；
融合所述应激性动作特征和所述问题特征，得到融合特征；
按照预先建立的关联关系，确定与所述融合特征关联性最高的候选问题，作为推荐问题。
在一种可能的实施例中，所述动作识别模块对所述待识别视频进行动作识别，得到识别结果，包括：
对所述待识别视频进行关键点检测，得到关键点信息，所述关键点信息用于表示所述回答者的位姿；
根据所述关键点信息所表示的位姿，识别所述当前问题提出后所述回答者存在的应激性动作，得到识别结果。
在本发明实施例的第三方面，提供了一种电子设备，包括：
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的方法步骤。
在本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。
本发明实施例有益效果：
本发明实施例提供的问题推荐方法、装置及电子设备，可以根据回答者存在应激性动作判断回答者在回答当前问题时是否撒谎，由于应激性动作持续时间短而且往往是下意识的动作，回答者自身甚至难以察觉和控制，因此即使回答者心理素质过硬也可以相对准确的判断出回答者是否撒谎，同时结合预设的关联规则向提问者推荐下一个问题，以使得提问者能够从回答者处获取更多信息。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的问题推荐方法的一种流程示意图；
图2为本发明实施例提供的关联规则构建方法的一种流程示意图；
图3为本发明实施例提供的问题推荐系统的一种结构示意图；
图4为本发明实施例提供的问题推荐装置的一种结构示意图；
图5为本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了更清楚的对本发明实施例提供的问题推荐方法进行说明，下面将对本发明实施例提供的问题推荐方法的可能的应用场景进行示例性说明。以下示例仅是本发明实施例提供的问题推荐方法的一种可能的应用场景，在其他可能的实施例中，本发明实施例提供的问题推荐方法也可以应用于除该示例以外的其他应用场景，以下示例对此不作任何限制。
在面试过程中，面试官可以通过提问的方式获取面试者的相关信息，从而评判该面试者是否能过通过面试。但是面试者在回答问题时可能没有如实回答，造成面试官无法准确掌握面试者的相关信息，可能错误地让原本无法通过面试的面试者通过面试。
相关技术中，可以根据面试者的微表情、心率、呼吸、体温判断面试者是否如实回答面试官的问题。然而对于心理素质过硬的面试者可以较好的管控自己的微表情、心率、呼吸以及体温，使得自己在撒谎时微表情、心率、呼吸以及体温不会发生明显变化。
因此，相关技术中难以有效辨别这些心理素质过硬的面试者是否在撒谎，面试官仍然难以从这些心理素质过硬的面试者处准确获取信息。
基于此，本发明实施例提供了一种问题推荐方法，方法可以如图1所示，包括：
S101，获取当前问题提出后采集回答者的人体和/或人脸得到的待识别视频。
S102，对待识别视频进行动作识别，得到识别结果，识别结果用于表示当前问题提出后回答者存在的应激性动作。
S103，按照预先建立的关联规则，确定与识别结果和当前问题关联性最高的候选问题，作为推荐问题。
选用该实施例，可以根据回答者存在应激性动作判断回答者在回答当前问题时是否撒谎，由于应激性动作持续时间短而且往往是下意识的动作，回答者自身甚至难以察觉和控制，因此即使回答者心理素质过硬也可以相对准确的判断出回答者是否撒谎，同时结合预设的关联规则向提问者推荐下一个问题，以使得提问者能够从回答者处获取更多信息。
其中，在S101中，待识别视频可以只包括当前问题提出后采集回答者人体得到的人体待识别视频，也可以只包括当前问题提出后采集回答者人脸得到的人脸待识别视频，还可以同时包括人体待识别视频和人脸待识别视频。
在一种可能的实施例中，可以是通过设置于回答者前上方的摄像装置拍摄回答者的人脸、头部、肩部、脚步得到待识别视频的。可以理解的是，待识别视频可以是一个视频采集设备采集得到的，也可以是由多个视频采集设备采集得到的。
在S102中，在不同应用场景中应激性动作所包括的动作可以不同。应激性动作应当为回答者下意识的动作，例如应激性动作可以包括摸头、摸鼻子、耸肩、摸耳朵、把玩物件、抖脚等。对待识别视频进行动作识别，可以是指对待识别视频中的一个视频帧进行动作识别，也可以是指对待识别视频中的多个视频帧进行动作识别。关于如何进行动作识别将在下文进行详细说明，在此不再赘述。
在S103中，关联规则用于表示应激性动作、当前问题与候选问题之间的关联性。关联规则可以是由经验丰富的提问者，如经验丰富的银行工作人员、经验丰富的面试官根据实际经验和/或需求预先建立的。
示例性的，以面试的应用场景为例，假设经验丰富的面试官根据自身的经验发现当向面试者提问“请简述你的工作经历”，且面试者存在耸肩的应激性动作时，则面试者回答的工作经历很可能为面试者自己编造的工作经历，此时应当继续提问“请详细说明你参与过的项目经历”以验证面试者所说的工作经历是否准确。则该经验丰富的面试官可以根据该经验总结，预先建立应激性动作“耸肩”和当前问题“请简述你的工作经历”与候选问题“请详细说明你参与过的项目经历”之见的关联关系，并且“耸肩”和“请简述你的工作经历”与“请详细说明你参与过的项目经历”之间的关联性较高。
在其他可能的实施例中，关联规则也可以是预先根据样本问答视频构建得到的，其中，样本问答视频为预设提问者与预设回答者进行问答的视频。预设提问者可以是经验丰富的提问者，如前述经验丰富的银行工作人员、经验丰富的面试官等。
为了更清楚的对本发明实施例提供的问题推荐方法进行说明，下面将对关联规则的构建方式进行说明，可以参见图2，图2所示为本发明实施例提供的关联规则构建方法的一种流程示意图，可以包括：
S201，对样本问答视频进行动作识别，确定在样本提问者提出第一问题后样本回答者存在的应激性动作。
对样本问答视频进行动作识别的方式应当与对待识别视频进行动作识别的方式相同。
S202，根据样本问答视频，确定样本回答者回答第二问题的答案中包含的有效信息的信息量。
其中，第二问题为样本提问者在第一问题后提出的。样本回答者回答第二问题的答案中包含的有效信息的信息量可以是经过人工评定后输入至用于构建关联规则的电子设备中的。
示例性的，可以是由相关工作人员通过观看样本问答视频后，对样本回答者回答第二问题的答案进行评价，并将评价结果输入至用于构建关联关系的电子设备中，作为样本回答者回答第二问题的答案中包含的有效信息的信息量。
S203，根据信息量，构建第一问题、所确定的应激性动作与第二问题之间的关联关系。
其中，所构建的关联关系所表示的关联性与信息量正相关。可以理解的是，信息量越高则表示提问者通过提出该问题能够从回答者处获取的信息越多，因此如果信息量越多，则提问者越应当向回答者提出该问题，因此关联性与信息量应当正相关。
示例性的，假设如果根据样本视频数据确定在当样本提问者提出问题A且样本回答者存在应激性动作1后，如果样本提问者继续提出问题B时样本回答者回答问题B的答案中包含有效信息的信息量为10个单位，而如果样本提问者继续提出问题C时样本回答者回答问题C的答案中包含有效信息的信息量为1个单位，则当提问者提出问题A且回答者存在应激性动作1后，为获取更多的有效信息提问者应当继续提出问题B。因此在所构建的关联关系中，问题A、应激性动作1与问题B的关联性较高，而问题A、应激性动作1与问题C的关联性较低。在识别到提问者提出问题A且回答者存在应激性动作1时，按照本申请提供的问题推荐方法将向提问者推荐问题B。
当前问题和识别结果的表示形式根据应用场景的不同可以不同。在一种可能的实施例中，可以是以问题特征的形式表示当前问题，并且以应激性动作特征表示识别结果。其中，问题特征为当前问题的一种数字化表示形式，应激性动作特征为识别结果所表示的应激性动作的一种数字化表示形式。可以是通过对当前问题和识别结果分别进行特征提取，得到问题特征与应激性动作特征的。
当前问题可以是由相关人员通过人体学输入设备输入的，例如可以是相关人员通过键盘以文本的形式输入的，也可以是通过对采集提问者发出的声音得到的语音信号进行语音识别得到当前问题的。语音识别的方法根据应用场景的不同可以不同，本实施例对此不作任何限制。
示例性的，可以是预先收集问答过程中出现频率较高的词汇语音，将这些词汇语音转化为特征矢量的形式，并将转化得到的特征矢量作为模板保存在模板库中。在语音识别时，提取语音信号的特征矢量，并将提取到的特征矢量与模板库中的模板进行匹配，将相似度最高的模板对应的语音词汇作为语音识别结果。
下面将对动作识别进行示例性说明，在一种可能的实施例中，可以是根据单个视频帧中的关键点进行动作识别，在另一种可能的实施例中，也可以是根据多个视频帧中的关键点共同进行动作识别。
为描述方便假设待识别视频中包括人体待识别视频和人脸待识别视频，并且假设是根据单个视频帧中的关键点进行动作识别的。对于待识别视频中只包括人体待识别视频或人体待识别视频的情况，原理是相同的，因此在此不再赘述。
在一种可能的实施例中，可以是分别对人脸待识别视频和人体待识别视频进行关键点检测，得到人脸关键点信息和人体关键点信息。根据人脸关键点信息对人脸进行对齐，并进行归一化操作，得到人脸图像的仿射变换因子，按照人脸图像的仿射变换因子对人脸的关键点信息进行仿射变换，得到仿射变换后的人脸关键点信息。并按照人脸图像的仿射变换因子对人体的关键点信息进行仿射变换，得到仿射变换后的人体关键点信息。
将仿射变换后的人脸关键点信息和仿射变换后的人体关键点信息输入至预先经过训练的用于应激性动作识别的神经网络中进行识别，得到识别结果。
可以理解的是，对于根据多个视频帧中的关键点共同进行动作识别，与前述根据单个视频帧中的关键进行动作识别的原理是相近的，区别仅在于在根据多个视频帧中的关键点共同进行动作识别时还可以将上下文信息作为动作识别的判据，其中，上下文信息用于表示各视频帧之间关键点的变化情况。
在其他可能的实施例中也可以通过神经网络以外的方式进行动作识别，示例性的，可以是根据各关键点之间的位置关系识别存在的应激性动作。例如，如果手腕处的关键点和鼻子处的关键点之间的欧式距离小于预设第一距离阈值，则可以确定存在摸鼻子的应激性动作，又例如如果手腕处的关键点和头部上沿的关键点之间的欧式距离小于预设第二距离阈值，则可以确定存在摸头的应激性动作，还例如如果脚部关键点的位移超过第一位移阈值，则可以确定存在抖脚的应激性动作，又例如如果肩旁处的关键点的位移超过第二位移阈值，则可以确定存在耸肩的应激性动作。其中，第一距离阈值、第二距离阈值、第一位移阈值、第二位移阈值可以是根据相关人员的经验或者实际需求设置的，本实施例对此不做任何限制。
参见图3，图3所示为本发明实施例提供的问题推荐系统的一种结构示意图，可以包括：提问单元301、语音识别单元302、视频采集单元303、应激性动作识别单元304以及问题推荐单元305。下面将对各单元的业务逻辑进行说明：
其中，提问单元301用于对回答者进行提问，提问单元301可以自动对回答者者进行提问，也可以是在提问者的操控下对回答者进行提问。语音识别单元302用于接收提问单元301输出的语音信号，并对语音信号进行识别，从而得到提问单元301所提出的问题。
语音识别单元302可以是通过语音识别模型对语音信号进行识别，语音识别模型可以是通过预先训练得到的，训练方式可以参见前述相关说明，在此不再赘述。
视频采集单元303用于拍摄回答者，得到待识别视频。视频采集单元303可以设置于回答者所处位置的上前方，并且朝向回答者，其中前方是指回答者面向的方向。视频采集单元303可以只拍摄回答者的人脸或人体区域，也可以是同时拍摄回答者的人脸和人体区域。
应激性动作识别单元304用于对待识别视频进行动作识别，得到识别结果。关于识别方式可以参见前述相关描述，在此不再赘述。问题推荐单元305用于按照预先建立的关联规则，确定与识别结果和当前问题关联性最高的候选问题，作为推荐问题，并将推荐问题发送至提问单元301，以便于提问单元301根据推荐问题对回答者进行提问。
参见图4，图4所示为本发明实施例提供的问题推荐装置的一种结构示意图，可以包括：
视频采集模块401，用于获取当前问题提出后采集回答者的人体和/或人脸得到的待识别视频；
动作识别模块402，用于对所述待识别视频进行动作识别，得到识别结果，所述识别结果用于表示所述当前问题提出后所述回答者存在的应激性动作；
问题推荐模块403，用于按照预先建立的关联规则，确定与所述识别结果和所述当前问题关联性最高的候选问题，作为推荐问题，所述关联规则用于表示应激性动作、当前问题与候选问题之间的关联性。
在一种可能的实施例中，所述关联规则为预先根据样本问答视频构建得到的，所述样本问答视频为预设提问者与预设回答者进行问答的视频。
在一种可能的实施例中，所述关联规则预先通过以下方式构建得到：
对样本问答视频进行动作识别，确定在样本提问者提出第一问题后样本回答者存在的应激性动作；
根据所述样本问答视频，确定所述样本回答者回答第二问题的答案中包含的有效信息的信息量，所述第二问题为所述样本提问者在所述第一问题后提出的问题；
根据所述信息量，构建所述第一问题、所确定的应激性动作与所述第二问题之间的关联关系，所述关联关系所表示的关联性与所述信息量正相关。
在一种可能的实施例中，所述问题推荐模块403按照预先建立的关联规则，确定与所述识别结果和所述当前问题关联性最高的候选问题，作为推荐问题，包括：
对识别结果和当前问题进行特征提取，得到应激性动作特征和问题特征；
融合所述应激性动作特征和所述问题特征，得到融合特征；
按照预先建立的关联关系，确定与所述融合特征关联性最高的候选问题，作为推荐问题。
在一种可能的实施例中，所述动作识别模块402对所述待识别视频进行动作识别，得到识别结果，包括：
对所述待识别视频进行关键点检测，得到关键点信息，所述关键点信息用于表示所述回答者的位姿；
根据所述关键点信息所表示的位姿，识别所述当前问题提出后所述回答者存在的应激性动作，得到识别结果。
本发明实施例还提供了一种电子设备，如图5所示，包括：
存储器501，用于存放计算机程序；
处理器502，用于执行存储器501上所存放的程序时，实现如下步骤：
获取当前问题提出后采集回答者的人体和/或人脸得到的待识别视频；
对所述待识别视频进行动作识别，得到识别结果，所述识别结果用于表示所述当前问题提出后所述回答者存在的应激性动作；
按照预先建立的关联规则，确定与所述识别结果和所述当前问题关联性最高的候选问题，作为推荐问题，所述关联规则用于表示应激性动作、当前问题与候选问题之间的关联性。
在一种可能的实施例中，所述关联规则为预先根据样本问答视频构建得到的，所述样本问答视频为预设提问者与预设回答者进行问答的视频。
在一种可能的实施例中，所述关联规则预先通过以下方式构建得到：
对样本问答视频进行动作识别，确定在样本提问者提出第一问题后样本回答者存在的应激性动作；
根据所述样本问答视频，确定所述样本回答者回答第二问题的答案中包含的有效信息的信息量，所述第二问题为所述样本提问者在所述第一问题后提出的问题；
根据所述信息量，构建所述第一问题、所确定的应激性动作与所述第二问题之间的关联关系，所述关联关系所表示的关联性与所述信息量正相关。
在一种可能的实施例中，所述按照预先建立的关联规则，确定与所述识别结果和所述当前问题关联性最高的候选问题，作为推荐问题，包括：
对识别结果和当前问题进行特征提取，得到应激性动作特征和问题特征；
融合所述应激性动作特征和所述问题特征，得到融合特征；
按照预先建立的关联关系，确定与所述融合特征关联性最高的候选问题，作为推荐问题。
在一种可能的实施例中，所述对所述待识别视频进行动作识别，得到识别结果，包括：
对所述待识别视频进行关键点检测，得到关键点信息，所述关键点信息用于表示所述回答者的位姿；
根据所述关键点信息所表示的位姿，识别所述当前问题提出后所述回答者存在的应激性动作，得到识别结果。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一问题推荐方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一问题推荐方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质以及计算机程序产品的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (6)

1.一种问题推荐方法，其特征在于，所述方法包括：
获取当前问题提出后采集回答者的人体和/或人脸得到的待识别视频；
对所述待识别视频进行动作识别，得到识别结果，所述识别结果用于表示所述当前问题提出后所述回答者存在的应激性动作；
按照预先建立的关联规则，确定与所述识别结果和所述当前问题关联性最高的候选问题，作为推荐问题，所述关联规则用于表示应激性动作、当前问题与候选问题之间的关联性；
所述关联规则预先通过以下方式构建得到：
对样本问答视频进行动作识别，确定在样本提问者提出第一问题后样本回答者存在的应激性动作；
根据所述样本问答视频，确定所述样本回答者回答第二问题的答案中包含的有效信息的信息量，所述第二问题为所述样本提问者在所述第一问题后提出的问题；
根据所述信息量，构建所述第一问题、所确定的应激性动作与所述第二问题之间的关联关系，所述关联关系所表示的关联性与所述信息量正相关。
2.根据权利要求1所述的方法，其特征在于，所述按照预先建立的关联规则，确定与所述识别结果和所述当前问题关联性最高的候选问题，作为推荐问题，包括：
对识别结果和当前问题进行特征提取，得到应激性动作特征和问题特征；
融合所述应激性动作特征和所述问题特征，得到融合特征；
按照预先建立的关联关系，确定与所述融合特征关联性最高的候选问题，作为推荐问题。
3.根据权利要求1所述的方法，其特征在于，所述对所述待识别视频进行动作识别，得到识别结果，包括：
对所述待识别视频进行关键点检测，得到关键点信息，所述关键点信息用于表示所述回答者的位姿；
根据所述关键点信息所表示的位姿，识别所述当前问题提出后所述回答者存在的应激性动作，得到识别结果。
4.一种问题推荐装置，其特征在于，所述装置包括：
视频采集模块，用于获取当前问题提出后采集回答者的人体和/或人脸得到的待识别视频；
动作识别模块，用于对所述待识别视频进行动作识别，得到识别结果，所述识别结果用于表示所述当前问题提出后所述回答者存在的应激性动作；
问题推荐模块，用于按照预先建立的关联规则，确定与所述识别结果和所述当前问题关联性最高的候选问题，作为推荐问题，所述关联规则用于表示应激性动作、当前问题与候选问题之间的关联性；
所述关联规则预先通过以下方式构建得到：
对样本问答视频进行动作识别，确定在样本提问者提出第一问题后样本回答者存在的应激性动作；
根据所述样本问答视频，确定所述样本回答者回答第二问题的答案中包含的有效信息的信息量，所述第二问题为所述样本提问者在所述第一问题后提出的问题；
根据所述信息量，构建所述第一问题、所确定的应激性动作与所述第二问题之间的关联关系，所述关联关系所表示的关联性与所述信息量正相关。
5.一种电子设备，其特征在于，包括：
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-3任一所述的方法步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-3任一所述的方法步骤。
CN202011399761.0A 2020-12-02 2020-12-02 一种问题推荐方法、装置及电子设备 Active CN112528797B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011399761.0A CN112528797B (zh) 2020-12-02 2020-12-02 一种问题推荐方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011399761.0A CN112528797B (zh) 2020-12-02 2020-12-02 一种问题推荐方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112528797A CN112528797A (zh) 2021-03-19
CN112528797B true CN112528797B (zh) 2023-11-03

Family

ID=74996683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011399761.0A Active CN112528797B (zh) 2020-12-02 2020-12-02 一种问题推荐方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112528797B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822645A (zh) * 2021-09-07 2021-12-21 广州网才信息技术有限公司 一种面试管理系统、设备及计算机介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1462982A1 (en) * 2003-03-28 2004-09-29 Canon Kabushiki Kaisha System for administering readout contents, image reader device, and method for administering contents
JP2018036932A (ja) * 2016-09-01 2018-03-08 学校法人神奈川大学 質問回答システム及び質問回答管理装置
CN109767321A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 问答过程优化方法、装置、计算机设备和存储介质
CN109829358A (zh) * 2018-12-14 2019-05-31 深圳壹账通智能科技有限公司 微表情贷款控制方法、装置、计算机设备及存储介质
CN110457432A (zh) * 2019-07-04 2019-11-15 平安科技（深圳）有限公司 面试评分方法、装置、设备及存储介质
JP2019200713A (ja) * 2018-05-18 2019-11-21 ヤフー株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1462982A1 (en) * 2003-03-28 2004-09-29 Canon Kabushiki Kaisha System for administering readout contents, image reader device, and method for administering contents
JP2018036932A (ja) * 2016-09-01 2018-03-08 学校法人神奈川大学 質問回答システム及び質問回答管理装置
JP2019200713A (ja) * 2018-05-18 2019-11-21 ヤフー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
CN109829358A (zh) * 2018-12-14 2019-05-31 深圳壹账通智能科技有限公司 微表情贷款控制方法、装置、计算机设备及存储介质
CN109767321A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 问答过程优化方法、装置、计算机设备和存储介质
CN110457432A (zh) * 2019-07-04 2019-11-15 平安科技（深圳）有限公司 面试评分方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Affective question answering on video;Nelson Ruwa等;Neurocomputing;第363卷;125-139 *
即时交互式问答系统的设计与实现;呼大为;陈恩红;刘文印;;小型微型计算机系统;第30卷(第09期);1761-1766 *
多维特征下社会化问答社区答案排序研究;易明等;图书情报工作;第64卷(第17期);103-113 *

Also Published As

Publication number Publication date
CN112528797A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN109522815B (zh) 一种专注度评估方法、装置及电子设备
CN107818798B (zh) 客服服务质量评价方法、装置、设备及存储介质
CN108021934B (zh) 多要素识别的方法及装置
CN111046819B (zh) 一种行为识别处理方法及装置
CN108810642B (zh) 一种弹幕显示方法、装置及电子设备
CN109034069B (zh) 用于生成信息的方法和装置
CN112464809A (zh) 一种人脸关键点检测方法、装置、电子设备及存储介质
JP5061382B2 (ja) 時系列データの識別装置および動画像への人物メタ情報付与装置
CN111325082B (zh) 一种人员专注度分析方法及装置
CN111241883A (zh) 防止远程被测人员作弊的方法和装置
CN110580516A (zh) 一种基于智能机器人的交互方法及装置
CN112528797B (zh) 一种问题推荐方法、装置及电子设备
CN114299546A (zh) 识别宠物身份的方法、装置、存储介质及电子设备
CN116822633B (zh) 基于自我认知的模型推理方法、装置及电子设备
CN110148234B (zh) 校园刷脸接送交互方法、存储介质及系统
CN116541711A (zh) 模型训练方法、课程推荐方法、装置、设备及介质
CN113327212B (zh) 人脸驱动、模型的训练方法、装置、电子设备及存储介质
CN113409822B (zh) 对象状态的确定方法、装置、存储介质及电子装置
CN115937971A (zh) 一种举手投票识别方法及装置
CN115171042A (zh) 一种学生课堂行为的识别方法、装置、终端设备及介质
CN115098794A (zh) 一种舆论制造群体识别方法、装置、设备及存储介质
CN113948089B (zh) 声纹模型训练和声纹识别方法、装置、设备及介质
CN110415688B (zh) 一种信息交互方法及机器人
CN117708391B (zh) 一种数据处理方法、装置、设备及存储介质
CN112497217B (zh) 一种机器人的交互方法、装置、终端设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant