CN112383593B - 基于线下陪访的智能内容推送方法、装置及计算机设备 - Google Patents

基于线下陪访的智能内容推送方法、装置及计算机设备 Download PDF

Info

Publication number
CN112383593B
CN112383593B CN202011188490.4A CN202011188490A CN112383593B CN 112383593 B CN112383593 B CN 112383593B CN 202011188490 A CN202011188490 A CN 202011188490A CN 112383593 B CN112383593 B CN 112383593B
Authority
CN
China
Prior art keywords
information
image
difference
client
video information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011188490.4A
Other languages
English (en)
Other versions
CN112383593A (zh
Inventor
满园园
侯晓龙
陈闽
章淑婷
宋思宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN202011188490.4A priority Critical patent/CN112383593B/zh
Publication of CN112383593A publication Critical patent/CN112383593A/zh
Application granted granted Critical
Publication of CN112383593B publication Critical patent/CN112383593B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Library & Information Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于线下陪访的智能内容推送方法、装置及计算机设备，方法包括：从陪访视频信息中获取客户视频信息及语言答复信息，对客户视频信息进行情绪识别得到对应的情绪类别，分别对客户视频信息及语音答复信息进行语音识别得到第一文字信息及第二文字信息，从问答数据库中获取第二文字信息相对于第一文字信息的答复差异信息，从内容集合中获取与情绪类别及答复差异信息相匹配的目标推荐内容推送至用户终端。本发明基于语音交互技术，属于人工智能领域，基于答复差异信息获取目标推送内容，可避免目标推送内容与第二文字信息相冲突或相重复，并且基于客户的情绪类别针对性获取目标推送内容，可大幅提高获取目标推送内容的准确性及全面性。

Description

基于线下陪访的智能内容推送方法、装置及计算机设备
技术领域
本发明涉及人工智能技术领域，属于智慧城市中在线下陪访时智能获取内容并进行推送的应用场景，尤其涉及一种基于线下陪访的智能内容推送方法、装置及计算机设备。
背景技术
在与客户进行线下沟通过程中，企业通常会安排一位或多位服务人员作为客户的对接人并为客户提供线下服务，由于在进行线下沟通过程中需要服务人员在与客户进行沟通的过程中灵活应变，因此服务人员必须具有丰富的经验及较强的综合能力，然而企业新入职的服务人员通常由于经验不足而无法胜任与客户进行线下沟通。在实际应用场景中为解决相应问题，可选择经验丰富的主管与新服务人员一起线下拜访客户，通过主管的帮带以辅助新服务人员完成与客户进行线下沟通的过程，然而当前所采用的这一方法需占用主管大量精力，导致主管无法兼顾所有新服务人员，部分新服务人员由于没有主管陪同且经验不足，与客户进行线下沟通过程中难以确保沟通质量，导致影响了与客户进行线下沟通的效果。传统技术方法会基于客户的提问信息获取答复信息以辅助服务人员与客户进行线下沟通，然而这一技术方法在应用过程中难以与服务人员的答复内容进行结合，且答复信息存在与服务人员的答复内容相重复或相冲突的问题，导致客户难以准确理解，因而现有技术方法存在难以对客户的提问信息进行准确、全面解答的问题。
发明内容
本发明实施例提供了一种基于线下陪访的智能内容推送方法、装置、计算机设备及存储介质，旨在解决现有技术方法中进行线下拜访时无法准确、全面地对客户的提问信息进行解答的问题。
第一方面，本发明实施例提供了一种基于线下陪访的智能内容推送方法，其包括：
实时接收来自所述用户终端的陪访视频信息，根据预置的拆分规则从陪访视频信息中拆分得到客户视频信息及语言答复信息；
根据预置的情绪识别模型对所述客户视频信息进行情绪识别以获取对应的情绪类别；
根据预置的语音识别模型获取与所述客户视频信息及所述语言答复信息对应的第一文字信息及第二文字信息；
根据预存的问答数据库获取所述第二文字信息相对于所述第一文字信息的答复差异信息；
根据预存的内容集合获取与所述情绪类别及所述答复差异信息相匹配的推荐内容作为目标推荐内容并推送至所述用户终端进行播放。
第二方面，本发明实施例提供了一种基于线下陪访的智能内容推送装置，其包括：
陪访视频信息拆分单元，用于实时接收来自所述用户终端的陪访视频信息，根据预置的拆分规则从陪访视频信息中拆分得到客户视频信息及语言答复信息；
情绪类别获取单元，用于根据预置的情绪识别模型对所述客户视频信息进行情绪识别以获取对应的情绪类别；
文字信息获取单元，用于根据预置的语音识别模型获取与所述客户视频信息及所述语言答复信息对应的第一文字信息及第二文字信息；
答复差异信息获取单元，用于根据预存的问答数据库获取所述第二文字信息相对于所述第一文字信息的答复差异信息；
目标推荐内容推送单元，用于根据预存的内容集合获取与所述情绪类别及所述答复差异信息相匹配的推荐内容作为目标推荐内容并推送至所述用户终端进行播放。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于线下陪访的智能内容推送方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于线下陪访的智能内容推送方法。
本发明实施例提供了一种基于线下陪访的智能内容推送方法、装置、计算机设备及存储介质。从陪访视频信息中获取客户视频信息及语言答复信息，对客户视频信息进行情绪识别得到对应的情绪类别，分别对客户视频信息及语音答复信息进行语音识别得到第一文字信息及第二文字信息，从问答数据库中获取第二文字信息相对于第一文字信息的答复差异信息，从内容集合中获取与情绪类别及答复差异信息相匹配的目标推荐内容推送至用户终端。通过上述方法，基于第二文字信息相对应第一文字信息的答复差异信息获取目标推送内容，可避免目标推送内容与第二文字信息相冲突或相重复，并且基于客户的情绪类别针对性获取目标推送内容，可大幅提高获取目标推送内容的准确性，并实现对客户的提问信息进行准确、全面的解答。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于线下陪访的智能内容推送方法的流程示意图；
图2为本发明实施例提供的基于线下陪访的智能内容推送方法的应用场景示意图；
图3为本发明实施例提供的基于线下陪访的智能内容推送方法的子流程示意图；
图4为本发明实施例提供的基于线下陪访的智能内容推送方法的另一子流程示意图；
图5为本发明实施例提供的基于线下陪访的智能内容推送方法的另一子流程示意图；
图6为本发明实施例提供的基于线下陪访的智能内容推送方法的另一子流程示意图；
图7为本发明实施例提供的基于线下陪访的智能内容推送方法的另一流程示意图；
图8为本发明实施例提供的基于线下陪访的智能内容推送方法的另一子流程示意图；
图9为本发明实施例提供的基于线下陪访的智能内容推送装置的示意性框图；
图10为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1及图2，图1是本发明实施例提供的基于线下陪访的智能内容推送方法的流程示意图，图2为本发明实施例提供的基于线下陪访的智能内容推送方法的应用场景示意图，该基于线下陪访的智能内容推送方法应用于管理服务器10中，该方法通过安装于管理服务器10中的应用软件进行执行，管理服务器10与至少一台用户终端20进行通信，用户终端20可将服务人员与客户进行线下沟通的陪访视频信息传输至管理服务器10，管理服务器10接收陪访视频信息并反馈对应的推荐内容至用户终端20。管理服务器10即是用于执行基于线下陪访的智能内容推送方法以推送推荐内容至相应用户终端20的服务器端，管理服务器10可以是企业所设置的服务器端，用户终端20即是可用于与管理服务器10进行通信的终端设备，例如笔记本电脑、平板电脑或手机等。图2中仅仅示意出一台用户终端20与管理服务器10进行信息传输，在实际应用中，该管理服务器10也可与多台用户终端20同时进行信息传输。如图1所示，该方法包括步骤S110～S150。
S110、实时接收来自所述用户终端的陪访视频信息，根据预置的拆分规则从陪访视频信息中拆分得到客户视频信息及语言答复信息。
实时接收来自所述用户终端的陪访视频信息，根据预置的拆分规则从陪访视频信息中拆分得到客户视频信息及语言答复信息。服务人员携带用户终端对客户进行线下拜访，用户终端可以是企业为该服务人员配发的手机、平板电脑、笔记本电脑等便携式终端设备，用户终端与管理服务器建立网络连接，且用户终端的摄像装置正对客户；客户与服务人员进行沟通过程中，客户提出提问信息，服务人员对应进行答复，由于用户终端无需正对该服务人员也能够采集得到该服务人员的语音答复信息，则此时用户终端可采集得到客户视频信息及服务人员的语音答复信息，其中，客户视频信息中包含客户图像信息及客户音频信息。则管理服务器可实时接收来自用户终端的陪访视频信息，则陪访视频信息中包括客户视频信息及语言答复信息，其中拆分规则即是用于对陪访视频信息进行拆分以得到客户视频信息及语言答复信息的规则信息，从陪访视频信息中对服务人员进行答复的音频进行拆分即可得到语言答复信息，陪访视频信息除去语言答复信息所剩余的视频内容即为客户视频信息。具体的，拆分规则包括图像获取时间点、图像裁剪规则及差异信息判断规则。
在一实施例中，如图3所示，步骤S110包括子步骤S111、S112、S113和S114。
S111、根据所述图像获取时间点从所述陪访视频信息中获取对应的多张客户图像。
可根据图像获取时间点从陪访视频信息中获取与图像获取时间点相匹配的多张客户图像。例如，图像获取时间点为从陪访视频信息开始时起每间隔0.5s获取一张客户图像，则可获取陪访视频信息中时间为“0s”、“0.5s”、“1.0s”……的图像作为客户图像。
S112、根据所述图像裁剪规则对每一所述客户图像分别进行裁剪以获取每一客户图像的唇形特征图像。
图像裁剪规则中包括像素值区间及裁剪模板集合，首先对客户图像进行像素叠加处理得到叠加图像，通过像素值区间获取叠加图像中对应的唇部像素区域，通过获取裁剪模板集合中与该唇部像素区域相匹配的一个裁剪模板对每一客户图像进行裁剪，得到每一客户图像的唇形特征图像。具体的，获取所有客户图像在每一像素点的平均像素值得到叠加图像，客户图像中每一像素点均对应一个RGB颜色，计算一个像素点在多张客户图像中RGB颜色的平均值即可得到该像素点的平均像素值，根据像素值区间获取叠加图像中对应的唇部像素区域，获取叠加图像中RGB颜色处于像素值区间内的像素点进行组合得到唇部像素区域，其中，像素值区间即为嘴唇颜色所对应的一个RGB颜色区间；获取唇部像素区域的尺寸特征并确定唇部像素区域在叠加图像中的中心点位置，尺寸特征包括唇部像素区域的长度、宽度，根据尺寸特征获取裁剪模板集合中与该尺寸特征相匹配的一个裁剪模板，以及中心点位置对所有客户图像进行裁剪，得到每一客户图像的唇形特征图像。
S113、根据所述差异信息判断规则判断任一所述唇形特征图像与相邻的唇形特征图像之间是否存在差异以得到差异判断信息。
根据所述差异信息判断规则判断任一所述唇形特征图像与相邻的唇形特征图像之间是否存在差异以得到差异判断信息；若唇形特征图像为第一张客户图像或最后一张客户图像所对应的唇形特征图像，则与该唇形特征图像相邻的其它唇形特征图像只有一张；否则与该唇形特征图像相邻的其它唇形特征图像有两张。具体的，差异信息判断规则即是用于对两张图像之间是否存在差异进行判断的，差异信息判断规则中包括图像方差计算公式、差异计算公式及差异阈值，通过图像方差计算公式可分别计算得到两个图像的图像方差值，根据差异信息计算公式及两个图像的图像方差值可计算得到两个图像之间的逐行差异值，判断该逐行差异值是否大于差异阈值，若大于则差异判断信息为不相似，否则差异判断信息为相似。
在一实施例中，如图4所示，步骤S113包括子步骤S1131、S1132、S1133和S1134。也即是对一个唇形特征图像与相邻的另一唇形特征图像之间进行差异判断得到相应差异判断信息的具体步骤为S1131至S1134。
S1131、对所述唇形特征图像及所述相邻的唇形特征图像进行灰度处理分别得到对应的第一灰度图像及第二灰度图像。
唇形特征图像及相邻唇形特征图像所包含的像素行数量和像素列数量均相等，灰度处理后得到的灰度图像中包含多个像素，第一灰度图像及第二灰度图像所包含的像素行数量和像素列数量均相等，每一像素对应一个灰度值，通过灰度值即可将灰度图像中的每一个像素采用数值进行表示。具体的，灰度值采用非负整数进行表示，像素对应灰度值的取值范围为[0，255]，灰度值为0则表示该像素点为黑色，灰度值为255则表示该像素点为白色，灰度值为其他数值则表明该像素点为介于白色与黑色之间的一个具体灰度。
S1132、根据所述图像方差计算公式分别计算所述第一灰度图像及所述第二灰度图像的第一图像方差值及第二图像方差值。
根据所述图像方差计算公式
Figure GDA0003979401600000071
计算得到第一灰度图像的第一图像方差值及第二灰度图像的第二图像方差值，第一图像方差值可表示为
Figure GDA0003979401600000072
其中，/>
Figure GDA0003979401600000073
为所述灰度图像第m行的方差值，Am为所述灰度图像第m行所有像素点的灰度平均值，B为所述灰度图像所有像素点的灰度平均值，N为所述灰度图像所包含的总行数。以第一灰度图像为例，/>
Figure GDA0003979401600000074
为第一灰度图像第m行的方差值，则第一图像方差值中包含第一灰度图像逐行的方差值，Am为第一灰度图像第m行所有像素点的灰度平均值，B为第一灰度图像所有像素点的灰度平均值，N为第一灰度图像所包含的总行数。其中，N也可以为第一灰度图像所包含的总列数，则像方差值中包含第一灰度图像逐列的方差值，相应的
Figure GDA0003979401600000075
为第一灰度图像第m列的方差值，Am为第一灰度图像第m列所有像素点的灰度平均值。计算第二灰度图像的第二图像方差值的方式与上述方式相同。
S1133、根据所述差异计算公式计算得到所述第一图像方差值与所述第二图像方差值之间的逐行差异值。
根据所述差异计算公式
Figure GDA0003979401600000076
计算得到所述第一灰度图像与所述第二灰度图像之间的逐行差异值/>
Figure GDA0003979401600000077
为所述第一灰度图像与所述第二灰度图像第m行的差异值，/>
Figure GDA0003979401600000078
为所述第一灰度图像第m行的方差值，/>
Figure GDA0003979401600000079
为所述第二灰度图像第m行的方差值。将第一灰度图像的图像方差值及第二灰度图像的图像方差值输入上述差异计算公式，即可计算得到两个灰度图像的逐行差异值，若两个图像的图像方差值均为逐列的方差值，则对应计算得到两个灰度图像之间的逐列差异值。
S1134、判断所述逐行差异值中最大的差异值是否不小于所述差异阈值以获取所述唇形特征图像与相邻的唇形特征图像之间是否存在差异的差异判断信息。
逐行差异值中包含两个灰度图像之间每一行的差异值，可获取逐行差异值中最大的差异值，并判断最大的差异值是否不小于差异阈值，若最大的差异值不小于差异阈值，得到差异判断信息为存在差异；若最大的差异值小于差异阈值，得到差异判断信息为不存在差异。
S114、根据每一所述唇形特征图像的差异判断信息确定拆分时间点并对所述陪访视频信息进行拆分以得到所述客户视频信息及所述语言答复信息。
根据每一唇形特征图像的差异判断信息即可确定拆分时间点，具体的，若某一唇形特征图像与相邻的其他唇形之间均不相似，则表明此时客户正在发言，此时陪访视频信息中的音频信息来自于该客户，若某一唇形特征图像与相邻的其他唇形之间均相似，则表明此时客户并未发言，此时陪访视频信息中的音频信息来自于服务人员，获取客户开始发言及结束发言的时点作为拆分时点，根据拆分时点对陪访视频信息中的音频信息进行拆分，即可得到仅包含服务人员发言内容的语言答复信息，陪访视频信息除去语言答复信息所剩余的视频内容即为客户视频信息。
S120、根据预置的情绪识别模型对所述客户视频信息进行情绪识别以获取对应的情绪类别。
根据预置的情绪识别模型对所述客户视频信息进行情绪识别以获取对应的情绪类别。具体的，所述情绪识别模型包括眼部图像截取模板、梯度计算公式、虹膜特征提取公式及情绪识别神经网络，可通过情绪识别模型对客户视频信息中客户的情绪进行识别以得到相应情绪类别，情绪识别模型可基于客户的虹膜图像进行情绪识别，其中，眼部图像截取模板即为对客户视频信息中客户的眼部图像进行截取的模板，虹膜特征提取公式即为对客户眼部图像进行特征提取的计算公式，可通过计算得到的虹膜特征信息对客户眼部图像的特征进行量化表示，情绪识别神经网络即是用于对虹膜特征信息进行情绪识别的神经网络，情绪识别神经网络中可将客户的情绪分类至积极、平静或消极三个情绪类别。
在一实施例中，如图5所示，步骤S120包括子步骤S121、S122、S123、S124和S125。
S121、根据所述眼部图像截取模板从所述客户视频信息中截取多张客户眼部图像；S122、对每一所述客户眼部图像进行去色处理得到去色眼部图像。
可通过眼部图像截取模板从客户视频信息中对应获取得到多张客户眼部图像，首先可根据预置的截取时间点获取客户视频信息对应的多张客户图像，并根据眼部图像截取模板从多张客户图像中分别截取得到对应的多张客户眼部图像，获取客户眼部图像的方式与获取唇形特征图像的方式相同，在此不做赘述。对所得到的客户眼部图像进行去色处理，也即是将客户眼部图像中的像素点的RGB值转换为灰度值，得到仅包含灰度值的去色眼部图像。
S123、根据所述梯度计算公式对所述去色眼部图像中的像素点进行计算以获取与每一所述去色眼部图像相匹配的虹膜中心像素点。
由于左眼图像或右眼图像中瞳孔的几何中心点并不一定与用户虹膜的中心点重合，因此需通过梯度计算公式对去色眼部图像进行计算以获取对应的虹膜中心像素点。去色眼部图像中虹膜中心像素点的灰度值最大，其他像素点的灰度值与虹膜中心像素点的距离成反比，可根据这一原理计算去色眼部图像中每一像素点的梯度值，并根据计算结果获取对应的虹膜中心像素点。
在一实施例中，步骤S123包括子步骤：根据所述梯度计算公式计算所述左眼图像或右眼图像中每一像素点的梯度值；统计每一所述像素点中梯度值大于零的数量以得到每一所述像素点的正向梯度数；将正向梯度数最大的所述像素点确定为所述左眼图像或右眼图像的虹膜中心像素点。
去色眼部图像包括左眼图像及右眼图像，则可通过梯度计算公式分别计算左眼图像或右眼图像中每一像素点的梯度值，梯度计算公式可对一个像素点在多个不同方向的梯度值进行计算，
例如，若计算与某一像素点与相邻2格像素点之间的梯度值，则可对应计算得到该像素点在16个方向的梯度值，其中，该像素点在某一方向的梯度值可表示为：d1(x,y)＝I(x,y)-I(x+2,y)，其中，x，y为该像素点的坐标值，I(x,y)为图像坐标值(x,y)这一像素点的灰度值。
对计算得到的每一像素点的梯度值是否大于零进行判断，若某一像素点在一个方向的梯度值大于零，则表明图像中像素点的灰度值沿该梯度方向下降。分别计算得到左眼图像中每一像素点的正向梯度数，及右眼图像中每一像素点的正向梯度数，将每一图像中正向梯度数最大的像素点确定为该图像的虹膜中心像素点，由于虹膜中心像素点的灰度值最大，因此虹膜中心像素点在任一方向的梯度值均大于零，而图像中非虹膜中心的其他像素点包含至少一个不大于零的梯度值，即可获取图像中正向梯度数最大的像素点作为该图像的虹膜中心像素点，获取虹膜中心像素点的坐标值，由于输入的图像包括左眼图像及右眼图像，因此对应得到左眼图像的虹膜中心像素点及右眼图像的虹膜中心像素点。
S124、根据所述虹膜特征提取公式及所述虹膜中心像素点对每一去色眼部图像进行计算以得到对应的虹膜特征信息。
每一去色眼部图像对应得到左眼图像及右眼图像，左眼图像及右眼图像均对应一个虹膜中心像素点，且左眼图像及右眼图像的尺寸相同，可对左眼图像及右眼图像进行逐像素叠加后输入虹膜特征提取公式进行计算。获取左眼图像与右眼图像进行叠加后图像的中心点，并将叠加图像中所包含的像素点作为像素集合输入虹膜特征提取公式，以计算得到像素集合中每一像素点对应的计算值。具体的，虹膜特征提取公式可表示为:
Figure GDA0003979401600000101
Figure GDA0003979401600000102
其中，(x0,y0)为该叠加图像的中心点的坐标值，α、β及u0为公式中的参数值，具体的，α为虹膜特征提取公式的滤波有效宽度，β为虹膜特征提取公式的滤波有效长度，u0决定了公式中调制项的频率；j是虚数，也即是/>
Figure GDA0003979401600000103
(x,y)为包含每一像素点的像素集合，G(x,y)为对像素集合所包含的像素点进行计算所得的计算值，G(x,y)中包含每一像素点的计算值，所得的计算值为一个包含实部及虚部的虚数。对一张去色眼部图像中每一像素点的计算值进行转换，也即是将该虚数的极性进行量化得到一个2位二进制数，具体的，当计算值中的实部和虚部均为正时，特征值为11；当实部为正虚部为负时，特征值为10；当实部为负虚部为正时，特征值为01；当实部和虚部均为负时，特征值为00。根据上述规则对每一像素点的计算值进行转换即可得到每一像素点的特征值，也即是该去色眼部图像的虹膜特征信息。
S125、将所得到的所述虹膜特征信息输入所述情绪识别神经网络以获取与所述客户视频信息对应的情绪类别。
情绪识别神经网络即为由一个输入层、多个中间层及一个输出层组成的神经网络，输入节点即是神经网络中用于对虹膜特征信息进行输入的节点，输入节点的具体数值即为输入节点值，则每一输入节点的输出节点值即与一张去色眼部图像的虹膜特征信息相对应；输出节点的具体数值即为输出节点值，三个输出节点值分别对应与积极、平静及消极三个情绪类别相匹配的匹配度，将三个输出节点值进行softmax归一化操作得到对应的三个数值，则归一化操作后所得到的三个数值相加即为1；获取进行归一化操作后数值最高的一个情绪类别作为与客户视频信息对应的情绪类别，全连接隐层中包含多个特征单元，每一个特征单元均与所有输入节点和所有输出节点进行关联，每一特征单元均对应一个特征单元值，特征单元值即为全连接隐层中的特征单元的计算值，特征单元可用于反映虹膜特征信息与相应情绪类别之间的关联关系，关联关系可通过特征单元与输入节点或输出节点之间的关联公式进行体现，关联公式中包含多个参数，每一参数对应一个参数值。
在一实施例中，步骤S125之前还包括：若接收到所输入的训练数据集，根据预置的梯度下降训练模型及所述训练数据集对所述情绪识别神经网络进行迭代训练以得到训练后的情绪识别神经网络。
输入训练数据集的可以是管理服务器的管理员，为使情绪识别神经网络在进行情绪识别时可以有更高的准确率，可在使用之前对情绪识别神经网络进行迭代训练，也即是对上述情绪识别神经网络的关联公式中的参数值进行调整，训练后所得到的情绪识别神经网络可以对客户视频信息进行更精准的情绪识别。梯度下降训练模型即为对情绪识别神经网络进行训练的模型，梯度下降训练模型中包括损失值计算公式及梯度计算公式，训练数据集中包含多条训练数据，每一条训练数据对应一个客户，每一训练数据中均包含一个客户的样本虹膜特征信息以及该客户的情绪类别标签；将某一客户的样本虹膜特征信息输入情绪识别神经网络得到三个输出节点对应的匹配度，根据损失值计算公式及情绪类别标签对三个输出节点对应的匹配度进行计算即可得到对应的损失值，根据损失值及梯度计算公式即可计算得到关联公式中每一参数对应的更新值，通过更新值即可对每一参数对应的参数值进行更新，这一对参数值进行更新的过程即为对情绪识别神经网络进行训练的具体过程。
具体的，损失值计算公式可表示为
Figure GDA0003979401600000111
其中，fs为与情绪类别标签对应的一个输出节点的匹配度，f1、f2及f3分别为第一个、第二个及第三个输出节点的匹配度，f1、f2及f3的取值范围均为[0，1]。
根据所述梯度计算公式、所述损失值及所述情绪识别神经网络的计算值计算得到所述情绪识别神经网络中每一参数的更新值。具体的，将情绪识别神经网络中一个参数对某一客户的样本虹膜特征信息进行计算所得到的计算值输入梯度计算公式，并结合上述损失值，即可计算得到与该参数对应的更新值，这一计算过程也即为梯度下降计算。
具体的，梯度计算公式可表示为：
Figure GDA0003979401600000112
其中，/>
Figure GDA0003979401600000113
为计算得到的参数x的更新值，ωx为参数x的原始参数值，η为梯度计算公式中预置的学习率，/>
Figure GDA0003979401600000114
为基于损失值及参数x对应的计算值对该参数x的偏导值(这一计算过程中需使用参数对应的计算值)。
根据每一所述参数的更新值对所述情绪识别神经网络中对应参数的参数值进行更新，以对所述情绪识别神经网络进行训练。基于所计算得到更新值对情绪识别神经网络中每一参数的参数值对应更新，即完成对情绪识别神经网络的一次训练过程。基于一次训练后所得到的情绪识别神经网络对训练数据集中另一条训练数据再次进行计算处理，并重复上述训练过程，即可实现对情绪识别神经网络进行迭代训练；当所计算得到的损失值小于预设的损失阈值或训练数据集中条训练数据均被用于训练后，即终止训练过程得到训练后的情绪识别神经网络。
S130、根据预置的语音识别模型获取与所述客户视频信息及所述语言答复信息对应的第一文字信息及第二文字信息。
根据预置的语音识别模型获取与所述语言答复信息对应的文字答复信息。具体的，语音识别模型即为对客户视频信息中的音频信息及语音答复信息进行语音识别的模型，对客户视频信息中的音频信息进行识别可得到第一文字信息，对语音答复信息进行识别可得到第二文字信息。具体的，语音识别模型中包括声学模型、特征词典及语音解析词典。
在一实施例中，如图6所示，步骤S130包括子步骤S131、S132和S133。
S131、根据所述声学模型对所述客户视频信息中的音频信息及所述语音答复信息分别进行切分以得到所述音频信息包含的音素及所述语音答复信息包含的音素。
具体的，客户视频信息中的音频信息或语音答复信息均是由多个字符发音的音素而组成，一个字符的音素包括该字符发音的频率和音色。声学模型中包含所有字符发音的音素，通过将一段音频信息中包含的音素与声学模型中所有的音素进行匹配，即可对该段音频信息中单个字符的音素进行切分，通过切分最终得到该段音频信息中所包含的多个音素。
S132、根据所述特征词典分别对所述音频信息包含的音素及所述语音答复信息包含的音素进行匹配转换得到对应的第一拼音信息及第二拼音信息。
特征词典中包含所有字符拼音对应的音素信息，通过将所得到的音素与字符拼音对应的音素信息进行匹配，即可将单个字符的音素转换为特征词典中与该音素相匹配的字符拼音，每一音素所对应的拼音信息中均包含拼音字母及声调，对音频信息包含的音素进行转换可得到对应的第一拼音信息，将语音答复信息包含的音素进行转换可得到对应的第二拼音信息。
S133、根据所述语音解析词典对所述第一拼音信息及第二拼音信息分别进行语义解析以得到对应的第一文字信息及第二文字信息。
语义解析模型中包含拼音信息与文字信息之间所对应的映射关系，通过语义解析模型中所包含的映射关系即可对所得到的第一拼音信息及第二拼音信息分别进行语义解析，即可得到与第一拼音信息对应的第一文字信息，以及与第二拼音信息对应的第二文字信息。
S140、根据预存的问答数据库获取所述第二文字信息相对于所述第一文字信息的答复差异信息。
问答数据库即为管理服务器中预存的用于记录提问信息及答复信息的数据库，可基于第一文字信息获取问答数据库中与之相匹配的一条答复信息作为目标答复信息，并获取第二文字信息与目标答复信息之间的差异，得到对应的答复差异信息。
在一实施例中，如图7所示，步骤S140之前还包括步骤S1410。
S1410、判断所述第一文字信息是否满足预置的推送条件；若所述第一文字信息满足所述推送条件，执行所述根据预存的问答数据库获取所述第二文字信息相对于所述第一文字信息的答复差异信息的步骤，也即是继续执行步骤S140。
在对第一文字信息及第二文字信息进行处理并获取推荐内容推送至用户终端之前，还可判断第一文字信息是否满足预置的推送条件，若不满足推送条件，则不对第一文字信息进行处理，若满足推送条件，则对第一文字信息进行处理并获取相应推荐信息推送至该客户端。具体的，推送条件中包括推送关键字及推送间隔阈值，可依次判断第一文字信息是否满足推送关键字及推送间隔阈值的要求，得到第一文字信息是否满足该推送条件。
具体的，S1410可包括以下步骤：判断第一文字信息中是否包含所述推送关键字；若所述第一文字信息中包含所述推送关键字，判断所述第一文字信息与上次推送的间隔值是否大于推送间隔阈值；若第一文字信息与上次推送的间隔值大于推送间隔阈值，则得到第一文字信息满足推送条件；若第一文字信息中不包含推送关键字或第一文字信息与上次推送的间隔值不大于推送间隔预置，得到第一文字信息不满足推送条件。
例如，推送关键字可以是“了解、解释、请问”等，若第一文字信息与任一推送关键字相匹配，则可得到第一文字信息中包含推送关键字；若第一文字信息不与任一推送关键字相匹配，得到第一文字信息中不包含推送关键字。间隔值可以是当前时间与上次进行推荐信息推送的间隔时间，推送间隔阈值为预设间隔时间，则可判断间隔是否大于预设间隔时间，间隔值还可以是本轮问答与上次进行推荐信息推送间隔的问答轮次，推送间隔阈值即为预设间隔轮次，则可判断间隔的问答轮次是否大于预设间隔轮次，得到第一文字信息与上次推送的间隔值是否大于推送间隔阈值的判断结果。
在一实施例中，步骤S140包括子步骤：获取所述问答数据库中与所述第一文字信息相匹配的目标答复信息；将所述目标答复信息中不包含于所述第二文字信息的部分内容确定为答复差异信息。
问答数据库中包含多条提问信息及多条答复信息，提问信息及答复信息均以文字形式进行记载，一条提问信息对应一条答复信息，具体的，可计算得到第一文字信息与问答数据库中每一提问信息之间的关联度，可获取第一文字信息与一条提问信息之间相匹配的字符数除以该提问信息的字符总数，作为第一文字信息与该提问信息之间的关联度，选择关联度最高的一条提问信息所关联的一条答复信息作为目标答复信息，目标答复信息中可包含若干个答复关键字。判断目标答复信息中每一答复关键字是否均包含于第二文字信息中，获取不包含于第二文字信息中的部分答复关键字作为答复差异信息。
S150、根据预存的内容集合获取与所述情绪类别及所述答复差异信息相匹配的推荐内容作为目标推荐内容并推送至所述用户终端进行播放。
内容集合中包含预先存储的多条推荐内容，推荐内容可以是知识卡片、语音推荐信息或视频推荐信息，一个答复关键字可与内容集合中的多条推荐内容相关联，则与答复关键字相关联的推荐内容即包含对与该答复关键字相对应的知识点进行详细介绍的具体内容，可获取内容集合中与答复差异信息对应的推荐内容，并从中选择与情绪类别相匹配的一条推荐内容作为目标推荐内容推送至用户终端，客户可通过用户终端接收目标推荐内容并进行播放，以实现对客户进行引导、推荐等使用效果。
在一实施例中，如图8所示，步骤S150包括子步骤S151和S152。
S151、获取所述内容集合中与所述答复差异信息相匹配的推荐内容作为备选推荐内容。
答复差异信息中包含答复关键字，内容集合中的推荐内容均包含相应推荐标签，可获取推荐标签与答复关键字相匹配的推荐内容作为备选推荐内容。
S152、根据所述情绪类别选择所述备选推荐内容中与所述情绪类别相匹配的一条推荐内容作为所述目标推荐内容。
备选推荐内容中包含与积极、平静、消极三个情绪类别对应的推荐内容，则可根据情绪类别选择相匹配的一条备选推荐内容作为目标推荐内容。
例如，客户的情绪类别为积极，则对应选择备选推荐内容中对相关内容进行详细介绍引导的推荐内容作为目标推荐内容；客户的情绪类别为平静，则可选择备选推荐内容中用于活跃气氛的推荐内容作为目标推荐内容，以活跃气氛；若客户的情绪类别为消极，则可选择备选推荐内容中轻松活泼的推荐内容(如动画演示内容)作为目标推荐内容，以通过另一种其它展示形式引起客户兴趣。
其中，目标差异信息可以为空，若目标差异信息为空，则表明第二文字信息包含与目标答复信息相匹配的答复内容。具体的，若目标差异信息为空，根据所述内容集合获取与所述情绪类别及所述第一文字信息相匹配的推荐内容作为目标推荐内容。可获取与第一文字信息相关的概念介绍的推荐内容作为目标推荐内容，以对客户进行观念引导、话题引导。
本申请中的技术方法可应用于智慧政务/智慧城管/智慧社区/智慧安防/智慧物流/智慧医疗/智慧教育/智慧环保/智慧交通等包含在线下陪访时智能获取内容并进行推送的应用场景中，从而推动智慧城市的建设。
在本发明实施例所提供的基于线下陪访的智能内容推送方法中，从陪访视频信息中获取客户视频信息及语言答复信息，对客户视频信息进行情绪识别得到对应的情绪类别，分别对客户视频信息及语音答复信息进行语音识别得到第一文字信息及第二文字信息，从问答数据库中获取第二文字信息相对于第一文字信息的答复差异信息，从内容集合中获取与情绪类别及答复差异信息相匹配的目标推荐内容推送至用户终端。通过上述方法，基于第二文字信息相对应第一文字信息的答复差异信息获取目标推送内容，可避免目标推送内容与第二文字信息相冲突或相重复，并且基于客户的情绪类别针对性获取目标推送内容，可大幅提高获取目标推送内容的准确性，并实现对客户的提问信息进行准确、全面的解答。
本发明实施例还提供一种基于线下陪访的智能内容推送装置，该基于线下陪访的智能内容推送装置用于执行前述基于线下陪访的智能内容推送方法的任一实施例。具体地，请参阅图9，图9是本发明实施例提供的基于线下陪访的智能内容推送装置的示意性框图。该基于线下陪访的智能内容推送装置可配置于管理服务器10中。
如图9所示，基于线下陪访的智能内容推送装置100包括陪访视频信息拆分单元110、情绪类别获取单元120、文字信息获取单元130、答复差异信息获取单元140和目标推荐内容推送单元150。
陪访视频信息拆分单元110，用于实时接收来自所述用户终端的陪访视频信息，根据预置的拆分规则从陪访视频信息中拆分得到客户视频信息及语言答复信息。
在一实施例中，所述陪访视频信息拆分单元110包括子单元：客户图像获取单元、唇形特征图像获取单元、差异判断信息获取单元和拆分处理单元。
客户图像获取单元，用于根据所述图像获取时间点从所述陪访视频信息中获取对应的多张客户图像；唇形特征图像获取单元，用于根据所述图像裁剪规则对每一所述客户图像分别进行裁剪以获取每一客户图像的唇形特征图像；差异判断信息获取单元，用于根据所述差异信息判断规则判断任一所述唇形特征图像与相邻的唇形特征图像之间是否存在差异以得到差异判断信息；拆分处理单元，用于根据每一所述唇形特征图像的差异判断信息确定拆分时间点并对所述陪访视频信息进行拆分以得到所述客户视频信息及所述语言答复信息。
在一实施例中，所述差异判断信息获取单元包括子单元：特征图像灰度处理单元、图像方差值计算单元、逐行差异值计算单元和差异值判断单元。
特征图像灰度处理单元，用于对所述唇形特征图像及所述相邻的唇形特征图像进行灰度处理分别得到对应的第一灰度图像及第二灰度图像；图像方差值计算单元，用于根据所述图像方差计算公式分别计算所述第一灰度图像及所述第二灰度图像的第一图像方差值及第二图像方差值；逐行差异值计算单元，用于根据所述差异计算公式计算得到所述第一图像方差值与所述第二图像方差值之间的逐行差异值；差异值判断单元，用于判断所述逐行差异值中最大的差异值是否不小于所述差异阈值以获取所述唇形特征图像与相邻的唇形特征图像之间是否存在差异的差异判断信息。
情绪类别获取单元120，用于根据预置的情绪识别模型对所述客户视频信息进行情绪识别以获取对应的情绪类别。
在一实施例中，所述情绪类别获取单元120包括子单元：眼部图像截取单元、眼部图像去色单元、虹膜中心像素点获取单元、虹膜特征信息获取单元和情绪分类单元。
眼部图像截取单元，用于根据所述眼部图像截取模板从所述客户视频信息中截取多张客户眼部图像；眼部图像去色单元，用于对每一所述客户眼部图像进行去色处理得到去色眼部图像；虹膜中心像素点获取单元，用于根据所述梯度计算公式对所述去色眼部图像中的像素点进行计算以获取与每一所述去色眼部图像相匹配的虹膜中心像素点；虹膜特征信息获取单元，用于根据所述虹膜特征提取公式及所述虹膜中心像素点对每一去色眼部图像进行计算以得到对应的虹膜特征信息；情绪分类单元，用于将所得到的所述虹膜特征信息输入所述情绪识别神经网络以获取与所述客户视频信息对应的情绪类别。
在一实施例中，所述情绪类别获取单元120还包括子单元：神经网络训练单元，用于若接收到所输入的训练数据集，根据预置的梯度下降训练模型及所述训练数据集对所述情绪识别神经网络进行迭代训练以得到训练后的情绪识别神经网络。
文字信息获取单元130，用于根据预置的语音识别模型获取与所述客户视频信息及所述语言答复信息对应的第一文字信息及第二文字信息。
在一实施例中，所述文字信息获取单元130包括子单元：音素获取单元、转换处理单元和语义解析处理单元。
音素获取单元，用于根据所述声学模型对所述客户视频信息中的音频信息及所述语音答复信息分别进行切分以得到所述音频信息包含的音素及所述语音答复信息包含的音素；转换处理单元，用于根据所述特征词典分别对所述音频信息包含的音素及所述语音答复信息包含的音素进行匹配转换得到对应的第一拼音信息及第二拼音信息；语义解析处理单元，用于根据所述语音解析词典对所述第一拼音信息及第二拼音信息分别进行语义解析以得到对应的第一文字信息及第二文字信息。
答复差异信息获取单元140，用于根据预存的问答数据库获取所述第二文字信息相对于所述第一文字信息的答复差异信息。
在一实施例中，所述基于线下陪访的智能内容推送装置100还包括：推送判断单元。
推送判断单元，用于判断所述第一文字信息是否满足预置的推送条件；若所述第一文字信息满足所述推送条件，执行所述根据预存的问答数据库获取所述第二文字信息相对于所述第一文字信息的答复差异信息的步骤，也即是执行答复差异信息获取单元140对应的步骤。
在一实施例中，所述推送判断单元包括：推送关键字判断单元、间隔值判断单元及判断结果获取单元。
推送关键字判断单元，用于判断第一文字信息中是否包含所述推送关键字；间隔值判断单元，用于若所述第一文字信息中包含所述推送关键字，判断所述第一文字信息与上次推送的间隔值是否大于推送间隔阈值；判断结果获取单元，用于若第一文字信息与上次推送的间隔值大于推送间隔阈值，则得到第一文字信息满足推送条件的判断结果。
在一实施例中，所述答复差异信息获取单元140包括：目标答复信息获取单元和答复差异信息确定单元。
目标答复信息获取单元，用于获取所述问答数据库中与所述第一文字信息相匹配的目标答复信息；答复差异信息确定单元，用于将所述目标答复信息中不包含于所述第二文字信息的部分内容确定为答复差异信息。
目标推荐内容推送单元150，用于根据预存的内容集合获取与所述情绪类别及所述答复差异信息相匹配的推荐内容作为目标推荐内容并推送至所述用户终端进行播放。
在一实施例中，所述目标推荐内容推送单元150包括：备选推荐内容获取单元和情绪类别匹配单元
备选推荐内容获取单元，用于获取所述内容集合中与所述答复差异信息相匹配的推荐内容作为备选推荐内容；情绪类别匹配单元，用于根据所述情绪类别选择所述备选推荐内容中与所述情绪类别相匹配的一条推荐内容作为所述目标推荐内容。
在本发明实施例所提供的基于线下陪访的智能内容推送装置应用上述基于线下陪访的智能内容推送方法，从陪访视频信息中获取客户视频信息及语言答复信息，对客户视频信息进行情绪识别得到对应的情绪类别，分别对客户视频信息及语音答复信息进行语音识别得到第一文字信息及第二文字信息，从问答数据库中获取第二文字信息相对于第一文字信息的答复差异信息，从内容集合中获取与情绪类别及答复差异信息相匹配的目标推荐内容推送至用户终端。通过上述方法，基于第二文字信息相对应第一文字信息的答复差异信息获取目标推送内容，可避免目标推送内容与第二文字信息相冲突或相重复，并且基于客户的情绪类别针对性获取目标推送内容，可大幅提高获取目标推送内容的准确性，并实现对客户的提问信息进行准确、全面的解答。
上述基于线下陪访的智能内容推送装置可以实现为计算机程序的形式，该计算机程序可以在如图10所示的计算机设备上运行。
请参阅图10，图10是本发明实施例提供的计算机设备的示意性框图。该计算机设备可以是用于执行基于线下陪访的智能内容推送方法以在线下陪访时智能获取内容并进行推送的管理服务器10。
参阅图10，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行基于线下陪访的智能内容推送方法。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行基于线下陪访的智能内容推送方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图10中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现上述的基于线下陪访的智能内容推送方法中对应的功能。
本领域技术人员可以理解，图10中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图10所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现上述的基于线下陪访的智能内容推送方法中所包含的步骤。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种基于线下陪访的智能内容推送方法，应用于管理服务器，所述管理服务器与至少一台用户终端通过网络连接实现数据信息的传输，其特征在于，所述方法包括：
实时接收来自所述用户终端的陪访视频信息，根据预置的拆分规则从陪访视频信息中拆分得到客户视频信息及语言答复信息；
根据预置的情绪识别模型对所述客户视频信息进行情绪识别以获取对应的情绪类别；
根据预置的语音识别模型获取与所述客户视频信息及所述语言答复信息对应的第一文字信息及第二文字信息；
根据预存的问答数据库获取所述第二文字信息相对于所述第一文字信息的答复差异信息；
根据预存的内容集合获取与所述情绪类别及所述答复差异信息相匹配的推荐内容作为目标推荐内容并推送至所述用户终端进行播放；
所述拆分规则包括图像获取时间点、图像裁剪规则及差异信息判断规则，所述根据预置的拆分规则从陪访视频信息中拆分得到客户视频信息及语言答复信息，包括：
根据所述图像获取时间点从所述陪访视频信息中获取对应的多张客户图像；
根据所述图像裁剪规则对每一所述客户图像分别进行裁剪以获取每一客户图像的唇形特征图像；
根据所述差异信息判断规则判断任一所述唇形特征图像与相邻的唇形特征图像之间是否存在差异以得到差异判断信息；
根据每一所述唇形特征图像的差异判断信息确定拆分时间点并对所述陪访视频信息进行拆分以得到所述客户视频信息及所述语言答复信息。
2.根据权利要求1所述的基于线下陪访的智能内容推送方法，其特征在于，所述差异信息判断规则包括图像方差计算公式、差异计算公式及差异阈值，所述根据所述差异信息判断规则判断任一所述唇形特征图像与相邻的唇形特征图像之间是否存在差异以得到差异判断信息，包括：
对所述唇形特征图像及所述相邻的唇形特征图像进行灰度处理分别得到对应的第一灰度图像及第二灰度图像；
根据所述图像方差计算公式分别计算所述第一灰度图像及所述第二灰度图像的第一图像方差值及第二图像方差值；
根据所述差异计算公式计算得到所述第一图像方差值与所述第二图像方差值之间的逐行差异值；
判断所述逐行差异值中最大的差异值是否不小于所述差异阈值以获取所述唇形特征图像与相邻的唇形特征图像之间是否存在差异的差异判断信息。
3.根据权利要求1所述的基于线下陪访的智能内容推送方法，其特征在于，所述情绪识别模型包括眼部图像截取模板、梯度计算公式、虹膜特征提取公式及情绪识别神经网络，所述根据预置的情绪识别模型对所述客户视频信息进行情绪识别以获取对应的情绪类别，包括：
根据所述眼部图像截取模板从所述客户视频信息中截取多张客户眼部图像；
对每一所述客户眼部图像进行去色处理得到去色眼部图像；
根据所述梯度计算公式对所述去色眼部图像中的像素点进行计算以获取与每一所述去色眼部图像相匹配的虹膜中心像素点；
根据所述虹膜特征提取公式及所述虹膜中心像素点对每一去色眼部图像进行计算以得到对应的虹膜特征信息；
将所得到的所述虹膜特征信息输入所述情绪识别神经网络以获取与所述客户视频信息对应的情绪类别。
4.根据权利要求1所述的基于线下陪访的智能内容推送方法，其特征在于，所述语音识别模型中包括声学模型、特征词典及语音解析词典，所述根据预置的语音识别模型获取与所述客户视频信息及所述语言答复信息对应的第一文字信息及第二文字信息，包括：
根据所述声学模型对所述客户视频信息中的音频信息及语音答复信息分别进行切分以得到所述音频信息包含的音素及所述语音答复信息包含的音素；
根据所述特征词典分别对所述音频信息包含的音素及所述语音答复信息包含的音素进行匹配转换得到对应的第一拼音信息及第二拼音信息；
根据所述语音解析词典对所述第一拼音信息及第二拼音信息分别进行语义解析以得到对应的第一文字信息及第二文字信息。
5.根据权利要求1所述的基于线下陪访的智能内容推送方法，其特征在于，所述根据预存的问答数据库获取所述第二文字信息相对于所述第一文字信息的答复差异信息之前，还包括：
判断所述第一文字信息是否满足预置的推送条件；
若所述第一文字信息满足所述推送条件，执行所述根据预存的问答数据库获取所述第二文字信息相对于所述第一文字信息的答复差异信息的步骤。
6.根据权利要求1所述的基于线下陪访的智能内容推送方法，其特征在于，所述根据预存的内容集合获取与所述情绪类别及所述答复差异信息相匹配的推荐内容作为目标推荐内容并推送至所述用户终端进行播放，包括：
获取所述内容集合中与所述答复差异信息相匹配的推荐内容作为备选推荐内容；
根据所述情绪类别选择所述备选推荐内容中与所述情绪类别相匹配的一条推荐内容作为所述目标推荐内容。
7.一种基于线下陪访的智能内容推送装置，其特征在于，包括：
陪访视频信息拆分单元，用于实时接收来自用户终端的陪访视频信息，根据预置的拆分规则从陪访视频信息中拆分得到客户视频信息及语言答复信息；
情绪类别获取单元，用于根据预置的情绪识别模型对所述客户视频信息进行情绪识别以获取对应的情绪类别；
文字信息获取单元，用于根据预置的语音识别模型获取与所述客户视频信息及所述语言答复信息对应的第一文字信息及第二文字信息；
答复差异信息获取单元，用于根据预存的问答数据库获取所述第二文字信息相对于所述第一文字信息的答复差异信息；
目标推荐内容推送单元，用于根据预存的内容集合获取与所述情绪类别及所述答复差异信息相匹配的推荐内容作为目标推荐内容并推送至所述用户终端进行播放；
所述拆分规则包括图像获取时间点、图像裁剪规则及差异信息判断规则，所述陪访视频信息拆分单元包括子单元：客户图像获取单元，用于根据所述图像获取时间点从所述陪访视频信息中获取对应的多张客户图像；唇形特征图像获取单元，用于根据所述图像裁剪规则对每一所述客户图像分别进行裁剪以获取每一客户图像的唇形特征图像；差异判断信息获取单元，用于根据所述差异信息判断规则判断任一所述唇形特征图像与相邻的唇形特征图像之间是否存在差异以得到差异判断信息；拆分处理单元，用于根据每一所述唇形特征图像的差异判断信息确定拆分时间点并对所述陪访视频信息进行拆分以得到所述客户视频信息及所述语言答复信息。
8.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的基于线下陪访的智能内容推送方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至6中任一项所述的基于线下陪访的智能内容推送方法。
CN202011188490.4A 2020-10-30 2020-10-30 基于线下陪访的智能内容推送方法、装置及计算机设备 Active CN112383593B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011188490.4A CN112383593B (zh) 2020-10-30 2020-10-30 基于线下陪访的智能内容推送方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011188490.4A CN112383593B (zh) 2020-10-30 2020-10-30 基于线下陪访的智能内容推送方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN112383593A CN112383593A (zh) 2021-02-19
CN112383593B true CN112383593B (zh) 2023-06-02

Family

ID=74577010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011188490.4A Active CN112383593B (zh) 2020-10-30 2020-10-30 基于线下陪访的智能内容推送方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN112383593B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020147395A1 (zh) * 2019-01-17 2020-07-23 平安科技（深圳）有限公司 基于情感的文本分类处理方法、装置和计算机设备
CN111680142A (zh) * 2020-05-29 2020-09-18 平安普惠企业管理有限公司 基于文本识别的自动答复方法、装置、计算机设备
CN111694938A (zh) * 2020-04-27 2020-09-22 平安科技（深圳）有限公司 基于情绪识别的答复方法、装置、计算机设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107705807B (zh) * 2017-08-24 2019-08-27 平安科技（深圳）有限公司 基于情绪识别的语音质检方法、装置、设备及存储介质
CN110570879A (zh) * 2019-09-11 2019-12-13 深圳壹账通智能科技有限公司 基于情绪识别的智能会话方法、装置及计算机设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020147395A1 (zh) * 2019-01-17 2020-07-23 平安科技（深圳）有限公司 基于情感的文本分类处理方法、装置和计算机设备
CN111694938A (zh) * 2020-04-27 2020-09-22 平安科技（深圳）有限公司 基于情绪识别的答复方法、装置、计算机设备及存储介质
CN111680142A (zh) * 2020-05-29 2020-09-18 平安普惠企业管理有限公司 基于文本识别的自动答复方法、装置、计算机设备

Also Published As

Publication number Publication date
CN112383593A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
CN112346567B (zh) 基于ai的虚拟交互模型生成方法、装置及计算机设备
CN112328742B (zh) 基于人工智能的培训方法、装置、计算机设备及存储介质
AU2019222819A1 (en) Method for scaling object detection to a very large number of categories
CN111046133A (zh) 基于图谱化知识库的问答方法、设备、存储介质及装置
CN107203953A (zh) 一种基于互联网、表情识别和语音识别的教学系统及其实现方法
CN111767366A (zh) 问答资源挖掘方法、装置、计算机设备及存储介质
CN111143530B (zh) 一种智能答复方法及装置
CN110580516B (zh) 一种基于智能机器人的交互方法及装置
CN112417158A (zh) 文本数据分类模型的训练方法、分类方法、装置和设备
CN112233698A (zh) 人物情绪识别方法、装置、终端设备及存储介质
CN112163637B (zh) 基于非平衡数据的图像分类模型训练方法、装置
CN116824278B (zh) 图像内容分析方法、装置、设备和介质
WO2013163522A1 (en) Cluster analysis of participant responses for test generation or teaching
CN113094478B (zh) 表情回复方法、装置、设备及存储介质
CN113703585A (zh) 交互方法、装置、电子设备及存储介质
CN114783421A (zh) 智能推荐方法和装置、设备、介质
CN114490961A (zh) 一种基于多轮对话的客服方法、系统、装置及存储介质
CN112383593B (zh) 基于线下陪访的智能内容推送方法、装置及计算机设备
CN114186048A (zh) 基于人工智能的问答回复方法、装置、计算机设备及介质
CN112232166B (zh) 基于人工智能的讲师动态评价方法、装置、计算机设备
CN113010664A (zh) 一种数据处理方法、装置及计算机设备
CN111723752A (zh) 基于情绪识别的驾驶员上岗驾驶检测方法及装置
CN112884083A (zh) 智能外呼处理方法和装置
CN112367494A (zh) 基于ai的在线会议通讯方法、装置及计算机设备
CN114399821B (zh) 策略推荐方法、装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant