CN111737669A - 显示装置的控制方法、装置、电子设备及存储介质 - Google Patents

显示装置的控制方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111737669A
CN111737669A CN201910224192.7A CN201910224192A CN111737669A CN 111737669 A CN111737669 A CN 111737669A CN 201910224192 A CN201910224192 A CN 201910224192A CN 111737669 A CN111737669 A CN 111737669A
Authority
CN
China
Prior art keywords
user
processor
display device
information
video information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910224192.7A
Other languages
English (en)
Inventor
徐友江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Hisense Smart Home Systems Co ltd
Original Assignee
Qingdao Hisense Smart Home Systems Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Smart Home Systems Co ltd filed Critical Qingdao Hisense Smart Home Systems Co ltd
Priority to CN201910224192.7A priority Critical patent/CN111737669A/zh
Publication of CN111737669A publication Critical patent/CN111737669A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4432—Powering on the client, e.g. bootstrap loading using setup parameters being stored locally or received from the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4436—Power management, e.g. shutting down unused components of the receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4753—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for user identification, e.g. by entering a PIN or password
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Social Psychology (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例公开一种显示装置的控制方法、装置、电子设备及存储介质，该方法利用处理器对人机交互装置发送的视频信息中的用户进行验证，如果用户是已授权用户，则判断用户的行为特征和预设行为特征是否匹配，如果用户的行为特征和预设行为特征相匹配，则处理器控制显示装置开机或关机；本申请通过验证用户的身份，识别用户的行为特征，将用户行为与智能家居系统中显示装置的应用场景之间建立联动关系，以此来控制显示装置的开机或关机，显著提升智能家居的智能化和用户体验。

Description

显示装置的控制方法、装置、电子设备及存储介质
技术领域
本申请涉及智能家居技术领域，尤其涉及一种显示装置的控制方法、装置、电子设备及存储介质。
背景技术
近年来，智能家居技术发展迅速。智能家居系统实现的基础是对大量智能设备的控制，其中，显示装置是智能家居系统中常见的智能设备。
智能家居系统通常采用以下方法实现对显示装置的控制。例如，用户可通过智能终端的App来控制显示装置的开关机。具体方式如下：智能终端作为发送端发送控制命令到网关设备，网关设备接收到控制命令后转发控制命令到智能插座，从而通过智能插座来控制显示装置的开关机。
然而，采用上述方法控制显示装置的开机的过程中，需要用户先通过智能终端的App进行手动操作，无法将用户行为与显示装置的应用场景之间建立联动关系，因此对显示装置控制的智能化程度较低，用户体验有待改善。
发明内容
本申请提供一种显示装置的控制方法、装置、电子设备及存储介质，能够将用户行为与显示装置的应用场景之间建立联动关系，提升智能家居的智能化和用户体验。
第一方面，本申请提供一种显示装置的控制方法，应用于智能家居系统，所述智能家居系统包括：处理器、人机交互装置以及显示装置，人机交互装置和显示装置分别与处理器通信连接，所述方法包括：
处理器接收人机交互装置发送的视频信息；
处理器验证所述视频信息中的用户是否是已授权用户；
如果所述视频信息中的用户是已授权用户，处理器判断所述用户的行为特征和预设行为特征是否匹配；
如果所述用户的行为特征和预设行为特征相匹配，处理器控制显示装置开机或关机。
结合第一方面，在第一方面的第一种可实现方式中，所述智能家居系统还包括智能插座，所述智能插座与处理器通信连接，处理器控制显示装置开机或关机包括：
处理器将语音提示信息发送至人机交互装置；
人机交互装置播报所述语音提示信息；
人机交互装置接收用户反馈的音频信息；
人机交互装置将用户反馈的音频信息发送至处理器；
处理器对用户反馈的音频信息进行解析，得到对应的用户行为解析信息；
处理器生成与所述用户行为解析信息对应的控制指令；
处理器将所述控制指令发送至显示装置或者智能插座。
结合第一方面，在第一方面的第二种可实现方式中，处理器对用户反馈的音频信息进行解析，得到对应的用户行为解析信息包括：
处理器将用户反馈的音频信息发送至云端语音引擎；
处理器接收所述云端语音引擎识别出的文本信息；
处理器对所述文本信息进行语义解析，得到对应的用户行为解析信息。
结合第一方面，在第一方面的第三种可实现方式中，处理器验证所述视频信息中的用户是否是已授权用户包括：
处理器捕捉所述视频信息中用户的面部图像；
处理器提取所述面部图像的面部关键点；
处理器依据所述面部关键点校正所述面部图像；
处理器利用预先训练的深度学习模型，计算所述用户的面部图像与已授权用户面部图像的相似度；
如果所述相似度大于或等于预设阈值，处理器输出所述视频信息中的用户是已授权用户；
如果所述相似度小于预设阈值，处理器输出所述视频信息中的用户是未授权用户。
结合第一方面，在第一方面的第四种可实现方式中，所述方法还包括：
处理器响应于显示装置发送的开机信号，向显示装置发送所述用户的用户信息，以使所述显示装置显示与所述用户信息相匹配的收藏信息或历史信息。
结合第一方面，在第一方面的第五种可实现方式中，所述方法还包括：
处理器响应于显示装置发送的开机信号，查找与所述用户的用户信息相匹配的场景氛围模式；
处理器生成与所述场景氛围模式相对应的氛围灯控制指令；
处理器发送所述氛围灯控制指令至氛围灯。
第二方面，本申请提供一种显示器控制装置，包括：
接收单元，用于接收人机交互装置发送的视频信息；
验证单元，用于验证所述视频信息中的用户是否是已授权用户；
判断单元，用于在所述视频信息中的用户是已授权用户时，判断所述用户的行为特征和预设行为特征是否匹配；
控制单元，用于在所述用户的行为特征和预设行为特征相匹配时，控制显示装置开机或关机。
第三方面，本申请提供一种电子设备，包括：
存储器，用于存储程序指令；
处理器，用于调用并执行所述存储器中的程序指令，以实现上述显示装置的控制方法。
第四方面，本申请一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述显示装置的控制方法。
本申请实施例中，利用处理器对人机交互装置发送的视频信息中的用户进行验证，如果用户是已授权用户，则判断用户的行为特征和预设行为特征是否匹配，并在用户的行为特征和预设行为特征相匹配的情况下，控制显示装置开机或关机；本申请通过验证用户的身份，识别用户的行为特征，将用户行为与智能家居系统中显示装置的应用场景之间建立联动关系，以此来对显示装置进行控制，显著提升了智能家居的智能化和用户体验。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的应用场景的示意图。
图2为本申请实施例提供的显示装置的控制方法的流程图。
图3为本申请实施例提供的显示装置的控制方法步骤S202的流程图。
图4为本申请实施例提供的显示装置的控制方法步骤S203的流程图。
图5为本申请实施例提供的显示装置的控制方法步骤S204的流程图。
图6为本申请实施例提供的显示装置的控制方法步骤S505的流程图。
图7为本申请实施例提供的显示装置的控制方法步骤的另一种实施方式的流程图。
图8为本申请实施例提供的显示器控制装置的结构示意图。
图9为本申请实施例提供的显示器控制装置的控制单元的结构示意图。
图10为本申请实施例提供的显示器控制装置的验证单元的结构示意图。
图11为本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。以下结合附图，详细说明本发明各实施例提供的技术方案。
请参阅图1，图1为本申请实施例的应用场景的示意图，本申请的显示装置的控制方法可用于对智能家居系统中的显示装置的开关机进行智能化控制，所述智能家居系统可以包括处理器100、人机交互装置200以及显示装置300。人机交互装置200可以设置在显示装置300上方，人机交互装置200和显示装置300分别与处理器100通信连接。
请参阅图2，图2为本申请实施例提供的显示装置的控制方法的流程图，该方法的执行主体可以是图1中的处理器100，处理器100是智能家居系统的中控设备，相当于“家庭大脑”，负责对智能家居系统中其他设备传输的信息进行处理。人机交互装置200具备音视频采集以及语音播放等功能。显示装置300具体可以是电视机，也可以是具备运动、听音乐、唱歌、看电影或者玩游戏等功能的显示装置。
本实施例的显示装置的控制方法可以包括如下步骤：
步骤S201，处理器接收人机交互装置发送的视频信息。
人机交互装置可以实时地对周边环境进行音频采集，以及对显示装置周边的场景进行视频采集，并将采集到的音频信息和视频信息传输到处理器。
步骤S202，处理器验证所述视频信息中的用户是否是已授权用户。
处理器接收到人机交互装置发送的视频信息后，可以对视频信息中的用户的身份进行验证，以此判断出该用户是否是已授权用户。可预先对特定用户，如家庭成员等赋予权限，具备该权限的用户即为已授权用户。
请参阅图3，在本实施例中，可以采用人脸识别的方法验证所述视频信息中的用户是否是已授权用户，步骤S202具体包括如下步骤：
步骤S301，处理器捕捉所述视频信息中用户的面部图像。
所述视频信息可能采集到的是用户的半身或者全身图像，为了进行人脸识别，需要检测视频信息中用户的面部图像的位置。
步骤S302，处理器提取所述面部图像的面部关键点。
在本实施例中，所述面部关键点具体可以是用户面目的一些重要的特征点，例如：瞳孔位置、鼻子左侧、鼻孔下侧、上嘴唇下侧等等。
步骤S303，处理器依据所述面部关键点校正所述面部图像。
由于用户姿态的不同，所采集到的可能是某个角度下用户的面部图像，该步骤通过对用户的面部图像进行姿态的校正，使其用户的面部可能的摆正，从而可以提高人脸识别的精度。提取到这些面部关键点的位置后，对面部关键点的位置进行驱动变形，以完成对面部图像的校正。
步骤S304，处理器利用预先训练的深度学习模型，计算所述用户的面部图像与已授权用户面部图像的相似度。
步骤S305，如果所述相似度大于或等于预设阈值，处理器输出所述视频信息中的用户是已授权用户。
步骤S306，如果所述相似度小于预设阈值，处理器输出所述视频信息中的用户是未授权用户。
本申请采用人脸识别技术，利用预先训练的深度学习模型，计算用户的面部图像与已授权用户面部图像的相似度，并对相似度设定一个预设阈值，在该用户的面部图像信息中的特征数据与某个已授权用户的特征数据之间的相似度超过所述预设阈值，则输出所述视频信息中的用户是已授权用户。
步骤S203，如果所述视频信息中的用户是已授权用户，处理器判断所述用户的行为特征和预设行为特征是否匹配。
处理器在验证视频信息中的用户是已授权用户之后，需要进一步识别该用户的行为特征，以判断该用户的实际意图。在本实施例中，预设行为特征可以是“坐下”、“站起”、“手里拿着书/笔记本/麦克风/零食/手柄”等动作。
请参阅图4，在本实施例中，以显示装置300为电视机，预设行为特征包括“坐下”、“站起”为例，步骤S203具体可以包括如下步骤：
步骤S401，处理器周期性计算所述视频信息中多帧图像的用户高度数据。
处理器可以每隔预设时间间隔，计算一次当前帧图像中用户的高度，并记录下多帧图像中的人体高度数据。本实施例中的人体高度数据指的是人体在图像中的相对高度数据。
步骤S402，处理器根据所述用户高度数据，分析所述用户的高度变化趋势。
处理器具体可以通过图像中的人体高度数据，综合判断用户高度的变化，从而得出变化趋势，比如变化趋势可以是由高至低，或者由低至高。
步骤S403，处理器判断所述用户的高度变化趋势是否符合预设行为特征下的高度变化趋势。
本实施例中的高度变化趋势，用于表示在人机交互装置的视场内，用户的头部最高点的高度变化趋势。“坐下”这一预设行为特征对应的高度变化趋势是由高至低，而“站立”这一预设行为特征对应的高度变化趋势是由低至高。
如果用户的高度变化趋势是由高至低，说明用户可能是由在电视机前站立的姿态，切换为在电视机前坐下的状态，则可以认为所述用户的高度变化趋势符合“坐下”这一预设行为特征下的高度变化趋势。如果用户的高度变化趋势是由低至高，说明用户可能是由在电视机前坐下的姿态，切换为在电视机前站立的状态，则可以认为所述用户的高度变化趋势符合“站立”这一预设行为特征下的高度变化趋势。
以识别出人体在电视机前“坐下”这一预设行为特征为例，以下为一种可选的具体识别方式。测量人体距离电视机不同距离时，所采集到的图像中人体身高的相对高度数据，该过程中采集的是人体的全身图像。根据图像中人体身高的相对高度数据设定相应的阈值，该阈值可以是图像中人体身高的相对高度数据的百分比。
例如，人体与电视机的距离为L时，图像中人体身高的相对高度数据为A，所述阈值可以设定为A×20％。处理器可以通过图像进行人体识别，并计算出人体在图像中的相对高度数据Bn。处理器通过跟踪比较多帧图像中人体的相对高度数据，如B1，B2，B3等等。当检测到人体在图像中的相对高度数据达到设定阈值时，如检测到B3小于或等于A×20％，则可据此识别出人体坐下的行为。
需要说明的是，上述方法仅为以电视机为例，判断用户的行为特征是否与“坐下”、“站起”这两个预设行为特征相匹配的一种可选的方式。具体实现中，预设行为特征可以根据显示装置的具体类型而进行灵活设置，例如，当显示装置为具有运动功能的器械时，预设行为特征可以设置为相应的运动准备姿势。当显示装置为具有唱歌功能的娱乐装置时，预设行为特征可以设置为用户拿起麦克风等姿势。当显示装置为具有游戏功能的游戏装置时，预设行为特征可以设置为用户拿起游戏手柄的姿势等等。
在本申请另一种可行的实施方式中，显示装置300可以是具有运动功能的器械上的显示器，如跑步机上的显示器。相应的预设行为特征可以设置为用户准备跑步所作出的运动准备姿势，例如：人体端起手臂的姿势。识别出人体在跑步机上的显示装置前“端起手臂”这一预设行为特征，具体可通过以下方式实现。
测量人体距离跑步机上的显示装置不同距离时所采集到的图像中，人体手部自然下垂状态下，手部相对于头顶的相对高度数据。该过程中采集的可以是人体的半身图像。根据该相对高度数据设定相应的阈值，该阈值可以是图像中人体手部自然下垂时，手部相对于头顶的相对高度数据的百分比。
例如，人体与跑步机上的显示装置的距离为S时，图像中人体手部自然下垂状态下相对于头顶的相对高度数据为C，所述阈值可以设定为C×70％。处理器可以通过图像进行人体识别，并计算出人体手部在图像中相对于头顶的相对高度Dn。处理器通过跟踪比较多帧图像中人体手部相对于头顶的相对高度，如D1，D2，D3等等。
当检测到人体手部在图像中相对于头顶的相对高度达到设定阈值时，如检测到D3小于或等于C×70％，则可据此识别出用户在步机上的显示装置前“端起手臂”这一运动准备姿势，从而识别出用户想要开始跑步的意图。
步骤S204，如果所述用户的行为特征和预设行为特征相匹配，处理器控制显示装置开机或关机。
如图1所示，在一种可选的实施方式中，所述智能家居系统还可以包括智能插座400，所述智能插座400与处理器100通信连接，则参阅图5，步骤S204具体可以包括：
步骤S501，处理器将语音提示信息发送至人机交互装置。
例如，处理器识别出用户的行为特征符合坐下这一行为动作，则说明用户可能存在观看电视机的意图。因此，处理器向人机交互装置发送预先设置的语音提示信息，如“是否打开电视机？”。
步骤S502，人机交互装置播报所述语音提示信息。
步骤S503，人机交互装置接收用户反馈的音频信息。
步骤S504，人机交互装置将用户反馈的音频信息发送至处理器。
人机交互装置接收到处理器发送的语音提示信息后，可以向外界播放。例如，向用户播放“是否打开电视机？”语音提示。用户听到该语音提示后，如果给予回应，比如回答“是”，则人机交互装置可以将用户反馈的音频信息进行采集，并转发至处理器。
步骤S505，处理器对用户反馈的音频信息进行解析，得到对应的用户行为解析信息。
处理器接收到人机交互装置发送过来的音频信息后，根据用户反馈的音频信息，解析用户想要作出的行为，例如“打开电视机”或者“关闭电视机”。
请参阅图6，在本实施例中，步骤S505具体可以包括：
步骤S601，处理器将用户反馈的音频信息发送至云端语音引擎。
例如，用户对人机交互装置回复的用户音频信息为“是”，或者“打开电视机”等时，处理器可以将该象音频信息发送至云端语音引擎，利用云端语音引擎对所述用户音频信息进行识别。
步骤S602，处理器接收所述云端语音引擎识别出的文本信息。
云端语音引擎识别出用户音频信息的含义，可以将用户音频信息以文本信息的形式发送给处理器。
步骤S603，处理器对所述文本信息进行语义解析，得到对应的用户行为解析信息。
处理器可以利用语义解析技术对文本信息的含义进行理解，以确定文本信息表达的用户行为解析信息。
步骤S506，处理器生成与所述用户行为解析信息对应的控制指令。
例如，用户行为解析信息为“打开电视机”，则处理器生成电视机开机指令。同理，如果解析的到用户行为解析信息为“关闭电视机”则处理器生成电视机关机指令。
步骤S507，处理器将所述控制指令发送至显示装置或者智能插座。
处理器生成控制指令后，可通过zigbee(中文：紫蜂协议)模块将控制指令发送给智能插座。智能插座具体可以采用上电的方式，使显示装置开机。此外，处理器也可以采用与显示装置的待机模块直接交互的方式，通过局域网将控制指令发送至显示装置的待机模块，从而通过显示装置的待机模块控制显示装置的开机和关机。
在本申请一可选实施例中，所述显示装置的控制方法还可以包括以下步骤：
处理器响应于显示装置发送的开机信号，向显示装置发送所述用户的用户信息，以使所述显示装置显示与所述用户信息相匹配的收藏信息或历史信息。
以显示装置为电视机为例，电视机开机之后，电视机向处理器发送开机信号，处理器接收到电视机发送的开机信号后，可以将之前采集到的用户的用户信息发送给电视机。之前用户在观影过程中，可以对喜爱的节目或者频道等进行收藏，因此处理器可以在电视机开机后，将用户信息发送给电视机，使得电视机根据用户信息，查找并显示出该用户的观影收藏信息，从而为用户的观影提供便利。电视机也可根据处理器发送的用户信息，查找该用户的观影记录，以显示该用户历史观影信息，从而为用户的观影提供便利。
如图7所示，在本申请一可选实施例中，所述显示装置的控制方法还可以包括以下步骤：
步骤S701，处理器响应于显示装置发送的开机信号，查找与所述用户的用户信息相匹配的氛围模式。
在本实施例中，以显示装置为电视机为例，智能家居系统中还可以设置有观影氛围灯，处理器接收到电视机发送的开机信号，确认电视机已经开机后，处理器还可以查找与该用户的用户信息相匹配的氛围模式，该氛围模式可以由用户根据自身喜好自行设置。
步骤S702，处理器生成与所述氛围模式相对应的氛围灯控制指令。
处理器查找到与该用户的用户信息相匹配的氛围模式后，可以生成用于控制氛围灯的氛围灯控制指令。
步骤S703，处理器发送所述氛围灯控制指令至氛围灯。
处理器可以通过zigbee模块将控制指令发送给氛围灯，以调节氛围灯的氛围模式。
本申请实施例提供的显示装置的控制方法，通过验证用户的身份，识别用户的行为特征，并解析用户音频信息，将用户行为与智能家居系统中显示装置的应用场景之间建立联动关系，以此来控制显示装置的开机或关机，显著提升了智能家居的智能化和用户体验。
请参阅图8，图8为本申请实施例提供的显示器控制装置的结构框图，包括：
接收单元801，用于接收人机交互装置发送的视频信息。
验证单元802，用于验证所述视频信息中的用户是否是已授权用户。
判断单元803，用于在所述视频信息中的用户是已授权用户时，判断所述用户的行为特征和预设行为特征是否匹配。
控制单元804，用于在所述用户的行为特征和预设行为特征相匹配时，控制显示装置开机或关机。
请参阅图9，在一种可选的实施方式中，本申请的显示器控制装置的控制单元804具体可以包括：
发送子单元901，用于将语音提示信息发送至人机交互装置，以使得人机交互装置播报所述语音提示信息，并在接收用户反馈的音频信息后，将用户反馈的音频信息发送至处理器。
所述接收单元801，还用于接收用户反馈的音频信息。
解析子单元902，用于对用户反馈的音频信息进行解析，得到对应的用户行为解析信息。
生成子单元903，用于生成与所述用户行为解析信息对应的控制指令。
所述发送子单元901，还用于将所述控制指令发送至显示装置或者智能插座。
参阅图8和图9，在一种可选的实施方式中，所述发送子单元901，还用于将用户反馈的音频信息发送至云端语音引擎。
所述接收单元801，还用于接收所述云端语音引擎识别出的文本信息。
解析子单元902，还用于对所述文本信息进行语义解析，得到对应的用户行为解析信息。
请参阅图10，在一种可选的实施方式中，本申请的显示器控制装置的验证单元802具体可以包括：
捕捉子单元1001，用于捕捉所述视频信息中用户的面部图像。
提取子单元1002，用于提取所述面部图像的面部关键点。
校正子单元1003，用于依据所述面部关键点校正所述面部图像。
第一计算子单元1004，用于利用预先训练的深度学习模型，计算所述用户的面部图像与已授权用户面部图像的相似度。
输出子单元1005，用于在所述相似度大于或等于预设阈值时，输出所述视频信息中的用户是已授权用户。以及，在所述相似度小于预设阈时，输出所述视频信息中的用户是未授权用户。
在一种可选的实施方式中，所述控制单元804，还用于响应于显示器发送的开机信号，向显示器发送所述用户的用户信息，以使所述显示器显示与所述用户信息相匹配的收藏信息或者历史信息。
在一种可选的实施方式中，控制单元804还用于响应于显示器发送的开机信号，查找与所述用户的用户信息相匹配的氛围模式，生成与所述观影氛围模式相对应的氛围灯控制指令，发送所述氛围灯控制指令至氛围灯。
请参阅图11，为本申请提供的一种电子设备的硬件结构示意图。该电子设备包括存储器1101和处理器1102。存储器1101用于存储程序指令，处理器1102用于调用并执行所述存储器中的程序指令，以实现以上任一方法实施例所提供的显示装置的控制方法。
本发明实施例还提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现本发明提供的显示装置的控制方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：Read-Only Memory，简称：ROM)或随机存储记忆体(英文：Random Access Memory，简称：RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于显示器控制装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (9)

1.一种显示装置的控制方法，应用于智能家居系统，其特征在于，所述智能家居系统包括：处理器、人机交互装置以及显示装置，人机交互装置和显示装置分别与处理器通信连接，所述方法包括：
处理器接收人机交互装置发送的视频信息；
处理器验证所述视频信息中的用户是否是已授权用户；
如果所述视频信息中的用户是已授权用户，处理器判断所述用户的行为特征和预设行为特征是否匹配；
如果所述用户的行为特征和预设行为特征相匹配，处理器控制显示装置开机或关机。
2.如权利要求1所述的方法，其特征在于，所述智能家居系统还包括智能插座，所述智能插座与处理器通信连接，处理器控制显示装置开机或关机包括：
处理器将语音提示信息发送至人机交互装置；
人机交互装置播报所述语音提示信息；
人机交互装置接收用户反馈的音频信息；
人机交互装置将用户反馈的音频信息发送至处理器；
处理器对用户反馈的音频信息进行解析，得到对应的用户行为解析信息；
处理器生成与所述用户行为解析信息对应的控制指令；
处理器将所述控制指令发送至显示装置或者智能插座。
3.如权利要求2所述的方法，其特征在于，处理器对用户反馈的音频信息进行解析，得到对应的用户行为解析信息包括：
处理器将用户反馈的音频信息发送至云端语音引擎；
处理器接收所述云端语音引擎识别出的文本信息；
处理器对所述文本信息进行语义解析，得到对应的用户行为解析信息。
4.如权利要求1所述的方法，其特征在于，处理器验证所述视频信息中的用户是否是已授权用户包括：
处理器捕捉所述视频信息中用户的面部图像；
处理器提取所述面部图像的面部关键点；
处理器依据所述面部关键点校正所述面部图像；
处理器利用预先训练的深度学习模型，计算所述用户的面部图像与已授权用户面部图像的相似度；
如果所述相似度大于或等于预设阈值，处理器输出所述视频信息中的用户是已授权用户；
如果所述相似度小于预设阈值，处理器输出所述视频信息中的用户是未授权用户。
5.如权利要求1所述的方法，其特征在于，所述方法还包括：
处理器响应于显示装置发送的开机信号，向显示装置发送所述用户的用户信息，以使所述显示装置显示与所述用户信息相匹配的收藏信息或历史信息。
6.如权利要求1所述的方法，其特征在于，所述方法还包括：
处理器响应于显示装置发送的开机信号，查找与所述用户的用户信息相匹配的场景氛围模式；
处理器生成与所述场景氛围模式相对应的氛围灯控制指令；
处理器发送所述氛围灯控制指令至氛围灯。
7.一种显示器控制装置，其特征在于，包括：
接收单元，用于接收人机交互装置发送的视频信息；
验证单元，用于验证所述视频信息中的用户是否是已授权用户；
判断单元，用于在所述视频信息中的用户是已授权用户时，判断所述用户的行为特征和预设行为特征是否匹配；
控制单元，用于在所述用户的行为特征和预设行为特征相匹配时，控制显示装置开机或关机。
8.一种电子设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用并执行所述存储器中的程序指令，以实现权利要求1～6任一项所述的方法。
9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1～6任一项所述的方法。
CN201910224192.7A 2019-03-22 2019-03-22 显示装置的控制方法、装置、电子设备及存储介质 Pending CN111737669A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910224192.7A CN111737669A (zh) 2019-03-22 2019-03-22 显示装置的控制方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910224192.7A CN111737669A (zh) 2019-03-22 2019-03-22 显示装置的控制方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111737669A true CN111737669A (zh) 2020-10-02

Family

ID=72646209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910224192.7A Pending CN111737669A (zh) 2019-03-22 2019-03-22 显示装置的控制方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111737669A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104102181A (zh) * 2013-04-10 2014-10-15 海尔集团公司 智能家居控制方法、装置及系统
CN105045140A (zh) * 2015-05-26 2015-11-11 深圳创维－Rgb电子有限公司 智能控制受控设备的方法和装置
CN204904540U (zh) * 2015-08-20 2015-12-23 深圳市云动创想科技有限公司 有屏智能遥控器
CN105607504A (zh) * 2016-03-15 2016-05-25 美的集团股份有限公司 智能家居系统、智能家居控制的装置和方法
CN107330450A (zh) * 2017-06-15 2017-11-07 珠海格力电器股份有限公司 一种终端设备控制方法和装置
CN107678287A (zh) * 2017-09-18 2018-02-09 广东美的制冷设备有限公司 设备控制方法、装置及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104102181A (zh) * 2013-04-10 2014-10-15 海尔集团公司 智能家居控制方法、装置及系统
CN105045140A (zh) * 2015-05-26 2015-11-11 深圳创维－Rgb电子有限公司 智能控制受控设备的方法和装置
CN204904540U (zh) * 2015-08-20 2015-12-23 深圳市云动创想科技有限公司 有屏智能遥控器
CN105607504A (zh) * 2016-03-15 2016-05-25 美的集团股份有限公司 智能家居系统、智能家居控制的装置和方法
CN107330450A (zh) * 2017-06-15 2017-11-07 珠海格力电器股份有限公司 一种终端设备控制方法和装置
CN107678287A (zh) * 2017-09-18 2018-02-09 广东美的制冷设备有限公司 设备控制方法、装置及计算机可读存储介质

Similar Documents

Publication Publication Date Title
US11380316B2 (en) Speech interaction method and apparatus
US20110157009A1 (en) Display device and control method thereof
CN108346427A (zh) 一种语音识别方法、装置、设备及存储介质
WO2021135685A1 (zh) 身份认证的方法以及装置
CN110109541B (zh) 一种多模态交互的方法
KR101884291B1 (ko) 디스플레이장치 및 그 제어방법
US11380131B2 (en) Method and device for face recognition, storage medium, and electronic device
CN109819167B (zh) 一种图像处理方法、装置和移动终端
CN107809654A (zh) 电视机系统及电视机控制方法
KR20200076169A (ko) 놀이 컨텐츠를 추천하는 전자 장치 및 그의 동작 방법
KR20200077775A (ko) 전자 장치 및 그의 정보 제공 방법
CN111179923B (zh) 一种基于可穿戴设备的音频播放方法及可穿戴设备
WO2019062347A1 (zh) 人脸识别方法及相关产品
KR101698212B1 (ko) 그래픽 유저 인터페이스（ｇｕｉ）표시 방법 및 그를 이용한 휴대용 단말기
US20120264095A1 (en) Emotion abreaction device and using method of emotion abreaction device
CN109657099B (zh) 一种学习互动方法及学习客户端
CN111951629A (zh) 一种发音纠正系统、方法、介质和计算设备
CN111442464B (zh) 空调器及其控制方法
CN114257824B (zh) 直播显示方法、装置、存储介质及计算机设备
CN110286771B (zh) 交互方法、装置、智能机器人、电子设备及存储介质
CN111223549A (zh) 一种基于姿态矫正的疾病预防的移动端系统及方法
US20220284738A1 (en) Target user locking method and electronic device
US20220323848A1 (en) Intelligent Voice Playing Method and Device
CN111737669A (zh) 显示装置的控制方法、装置、电子设备及存储介质
CN109670393B (zh) 人脸数据采集方法、设备、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination