CN110087131B - 电视系统中的电视控制方法及主控终端 - Google Patents

电视系统中的电视控制方法及主控终端 Download PDF

Info

Publication number
CN110087131B
CN110087131B CN201910452907.4A CN201910452907A CN110087131B CN 110087131 B CN110087131 B CN 110087131B CN 201910452907 A CN201910452907 A CN 201910452907A CN 110087131 B CN110087131 B CN 110087131B
Authority
CN
China
Prior art keywords
television
video
family member
program
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910452907.4A
Other languages
English (en)
Other versions
CN110087131A (zh
Inventor
高伟杰
张斌
高雪松
陈维强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Co Ltd
Original Assignee
Hisense Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Co Ltd filed Critical Hisense Co Ltd
Priority to CN201910452907.4A priority Critical patent/CN110087131B/zh
Publication of CN110087131A publication Critical patent/CN110087131A/zh
Application granted granted Critical
Publication of CN110087131B publication Critical patent/CN110087131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4432—Powering on the client, e.g. bootstrap loading using setup parameters being stored locally or received from the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4436—Power management, e.g. shutting down unused components of the receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4661—Deriving a combined profile for a plurality of end-users of the same client, e.g. for family members within a home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开提供了一种电视系统中的电视控制方法及主控终端，所述方法包括：当检测到电视处于非唤醒状态、且从摄像头接收的采集视频中检测到家庭成员时，向电视发送唤醒指令，使得唤醒后的电视能够进行音像输出；获取所述家庭成员的历史节目暂停信息，所述历史节目暂停信息包括所述历史节目的暂停时间点；获取所述历史节目于所述历史节目暂停时间点之后的视频流；将所述视频流传输给电视，使得电视播放所述历史节目于所述历史节目暂停时间点之后的视频。本公开实施例能够提高控制电视的灵活度与便捷度。

Description

电视系统中的电视控制方法及主控终端
技术领域
本公开涉及电视控制领域，具体涉及一种电视系统中的电视控制方法及主控终端。
背景技术
日常生活中，当用户想打开电视观看自己的节目时，常常找不到电视控制器，或者需要花费很长时间才能找到电视控制器，而且用户找到电视控制器按下开机键后，需要等待电视开机，电视开机后再使用电视控制器打开喜欢的节目......以及更多的需要用户使用电视控制器控制电视的过程,均过于死板、繁琐，不够灵活、便捷。
发明内容
本公开的一个目的在于提出一种电视系统中的电视控制方法及主控终端，能够提高控制电视的灵活度与便捷度。
根据本公开实施例的一方面，公开了一种电视系统中的电视控制方法，所述电视系统包括作为所述电视系统控制中心的主控终端、进行音像输出的电视、采集采集视频的摄像头，其中，摄像头可与电视独立工作，摄像头将采集到的采集视频实时传输到主控终端中，所述方法由所述主控终端执行，所述方法包括：当检测到电视处于非唤醒状态、且从摄像头接收的采集视频中检测到家庭成员时，向电视发送唤醒指令，使得唤醒后的电视能够进行音像输出；获取所述家庭成员的历史节目暂停信息，所述历史节目暂停信息包括所述历史节目的暂停时间点；获取所述历史节目于所述历史节目暂停时间点之后的视频流；将所述视频流传输给电视，使得电视播放所述历史节目于所述历史节目暂停时间点之后的视频。
根据本公开实施例的一方面，公开了一种电视系统中的主控终端，所述主控终端包括：唤醒模块，用于当检测到电视处于非唤醒状态、且从摄像头接收的采集视频中检测到家庭成员时，向电视发送唤醒指令，使得唤醒后的电视能够进行音像输出；第一获取模块，用于获取所述家庭成员的历史节目暂停信息，所述历史节目暂停信息包括所述历史节目的暂停时间点；第二获取模块，用于获取所述历史节目于所述历史节目暂停时间点之后的视频流；传输模块，用于将所述视频流传输给电视，使得电视播放所述历史节目于所述暂停时间点之后的视频。
根据本公开实施例的一方面，公开了一种电视系统，包括：电视，配置为进行音像输出；摄像头，配置为采集电视观看区域的采集视频，摄像头可与电视独立工作；主控终端，配置为执行如上所述的方法以控制电视进行音像输出，其中，摄像头将采集的采集视频实时传输到主控终端中，以供主控终端控制电视进行音像输出。
现有技术中，均是由用户主动去做出控制行为才能够对电视进行相应的控制，例如：用户通过操作电视控制器控制电视、或者用户通过语音控制电视，这些方法在一定程度上不够灵活、便捷。因此，本公开实施例提出了一种电视系统中的电视控制方法。在该方法中，无需用户主动做出控制行为，主控终端即可自动为用户对电视进行相应的控制，提高了控制电视的灵活度与便捷度。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
通过参照附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。
图1示出了根据本公开一个实施例的电视系统中的体系构架图。
图2示出了根据本公开一个实施例的电视系统中的电视控制方法的流程图。
图3示出了根据本公开一个实施例的从摄像头接收的采集视频中检测到家庭成员时，向电视发送唤醒指令的流程图。
图4示出了根据本公开一个实施例的对从摄像头接收的采集视频进行图像识别，将所述采集视频中的用户与预设家庭成员人脸特征库进行对比，确定所述采集视频中的用户是否为家庭成员的流程图。
图5示出了根据本公开一个实施例的对从摄像头接收的采集视频进行图像识别，确定所述采集视频中的用户是否为家庭成员，并进行人体跟踪的流程图。
图6示出了根据本公开一个实施例的对从摄像头接收的采集视频进行图像识别，确定所述采集视频中的用户是否做出预设的电视观看动作的流程图。
图7示出了根据本公开一个实施例的电视系统中的电视控制方法的流程图。
图8示出了根据本公开一个实施例的电视系统中的电视控制方法的流程图。
图9示出了根据本公开一个实施例的电视系统中的主控终端的模块图。
图10示出了根据本公开一个实施例的电视系统中的主控终端的硬件结构图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些示例实施方式使得本公开的描述将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多示例实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的示例实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、步骤等。在其它情况下，不详细示出或描述公知结构、方法、实现或者操作以避免喧宾夺主而使得本公开的各方面变得模糊。
附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
下面首先参考图1描述本公开实施例应用的电视系统的体系架构。
图1示出本公开实施例应用的电视系统的体系架构。该电视系统包括：光猫、主控终端、电视、摄像头。主控终端作为该电视系统的控制中心，通过网线与光猫相连，从而能够从光猫接收网络数据，并将网络数据中的音视频数据解析出来；主控终端通过网线或者无线局域网与摄像头相连，从而能够接收摄像头传输的视频；主控终端通过HDMI(HighDefinition Multimedia Interface，高清多媒体接口)线或者无线局域网与电视相连，从而能够通过HDMI线将音视频数据传输给电视，使得电视能够进行音像输出，例如：显示静态画面、播放音视频(在本公开的后续描述中，在不影响理解本公开的前提下，为了简要描述，将音视频统称为视频)，通过无线局域网将对电视的控制指令发送给电视，控制电视的运行状态(例如：控制电视开机/关机、控制电视暂停/继续播放视频)。
在一实施例中，主控终端与摄像头进行通讯的方式包括但不限于：网线、Wi-Fi(Wireless Fidelity，无线保真)、蓝牙、5G通讯。
在一实施例中，主控终端与电视进行通讯的方式包括但不限于：网线、Wi-Fi、蓝牙、5G通讯。
在一实施例中，摄像头是通过机械连接，安装在电视顶部中央位置的，用于采集电视正前方区域的视频画面。
在一实施例中，多个摄像头安装在电视周围，通过设置每个摄像头的拍摄角度，以及每个摄像头的间隔距离、分布位置，使得采集到的视频画面更为全面、区域范围更大。
在一实施例中，主控终端连接电视控制器，将对电视的控制指令发送给电视控制器，再由电视控制器将控制指令发送给电视。
该实施例的优点在于，当主控终端与电视之间网络连接不稳定时，通过电视控制器将控制指令发送给电视，提高了控制指令的传输稳定性。
在一实施例中，主控终端连接云端服务器，云端服务器同时连接着电视。主控终端将对电视的控制指令发送给云端服务器，在由云端服务器将控制指令发送给电视。
该实施例的优点在于，控制指令可经由云端服务器进行云端控制(例如：权限判定、安全控制)后再发送给电视，降低了非法控制指令的传输可能，从而提高了控制指令的传输安全性。
在一实施例中，主控终端通过以下方式(包括但不限于)：网线、Wi-Fi蓝牙、5G通讯，与电视处于同一个网络中。该实施例中，主控终端将对电视的控制指令直接发送给电视。
该实施例的优点在于，主控终端将控制指令直接发送给电视，缩短了控制指令的传输时间，从而使得电视能够更快地响应控制指令。
在一实施例中，主控终端将控制指令发送给电视后，如果一直没有得到电视的回应，则继续发送控制指令。当发送到控制指令的数量达到预定阈值(例如：10)时，则向云端服务器上报电视故障，并停止发送指令。
该实施的优点在于，当电视出现故障而无法响应主控终端的控制指令时，使得主控终端能够及时停止发送控制指令，并上报电视故障，从而减轻主控终端的处理负担。
下面在上述图1所示的电视系统构架的基础上，对本公开实施例的具体实施过程进行描述。
如图2所示，根据本公开一个实施例，提供了一种电视系统中的电视控制方法，所述电视系统包括作为所述电视系统控制中心的主控终端、进行音像输出的电视、采集采集视频的摄像头，其中，摄像头可与电视独立工作，摄像头可与电视独立工作是指：在电视未进行音像输出时，摄像头可正常工作。摄像头将采集到的采集视频实时传输到主控终端中，所述方法由所述主控终端执行，所述方法包括：
步骤310：当检测到电视处于非唤醒状态、且从摄像头接收的采集视频中检测到家庭成员时，向电视发送唤醒指令，使得唤醒后的电视能够进行音像输出；
步骤320：获取所述家庭成员的历史节目暂停信息，所述历史节目暂停信息包括所述历史节目的暂停时间点；
步骤330：获取所述历史节目于所述历史节目暂停时间点之后的视频流；
步骤340：将所述视频流传输给电视，使得电视播放所述历史节目于所述历史节目暂停时间点之后的视频。
采集视频区别于电视所播放的视频，是指摄像头所采集到的视频。
在一实施例中，主控终端通过与电视之间的网络连接(例如：网线、无线局域网)，实时检测电视的状态，从而确定电视是否处于唤醒状态。
在一实施例中，摄像头全天一直在工作，实时地将采集到的采集视频传输到主控终端中，同时主控终端对从摄像头接收到的采集视频实时进行图像识别。
在一实施例中，当检测到电视处于非唤醒状态(例如：关机状态、待机状态)时，若主控终端从摄像头接收的采集视频中检测到了一家庭成员，则可以认为该家庭成员想要打开电视观看节目。因此，主控终端向电视发送唤醒指令(例如：将处于关机状态的电视开机、开启处于待机状态的电视的屏幕)，使得唤醒后的电视在接收到视频流后能够即时播放视频。
主控终端获取该家庭成员的历史节目暂停信息，从中确定该家庭成员历史上观看的节目视频的暂停信息，从而确定该家庭成员上一次观看了哪一个节目视频、以及该节目视频的暂停时间点。主控终端获取该节目视频于该暂停时间点之后的视频流，并将该视频流发送给电视，使得电视能够继续播放该节目视频。
例如：主控终端从该家庭成员的历史节目暂停信息中，确定该家庭成员上一次观看到了节目05第一集的25分04秒处。主控终端获取节目05第一集25分04秒之后的视频流，并将该视频流发送给电视，使得电视能够继续播放节目05第一集25分04秒之后的视频。
通过实时检测采集视频中的家庭成员，从而自动为家庭成员唤醒电视，同时控制电视继续播放该家庭成员上次暂停观看的节目视频，使得家庭成员不必对电视进行手动控制即可继续观看节目视频，提高了控制电视的灵活度与便捷度。
在一实施例中，历史节目暂停信息中还包括历史节目的频道信息，系统会判断历史节目是直播节目还是点播节目，对于点播节目可以直接执行上述逻辑；对于直播节目而言，电视在重新唤醒后无法直接从节目源获取暂停时间点后的节目内容数据，但可以根据频道信息继续播放该频道的节目。
该实施例的优点在于，能够根据历史节目的放送类型，灵活地为家庭成员继续播放节目。
下面对本公开实施例各步骤的具体实施过程进行详细描述。
在步骤310中，当检测到电视处于非唤醒状态、且从摄像头接收的采集视频中检测到家庭成员时，向电视发送唤醒指令，使得唤醒后的电视能够进行音像输出。
非唤醒状态是指未正在进行音像输出的状态，例如：关机状态、待机状态。
唤醒电视是指将电视从未唤醒状态转变为能够即时播放视频的状态的这一过程，例如：将处于关机状态的电视开机、开启处于待机状态的电视的屏幕。
家庭成员是指经过事先注册、能够被主控终端识别出其身份的用户。对于不是家庭成员的用户，即使主控终端检测到了该用户，也不会为其自动唤醒电视。
在一实施例中，如图3所示，步骤310包括：
步骤3101：对从摄像头接收的采集视频进行图像识别，将所述采集视频中的用户与预设家庭成员人脸特征库进行对比，确定所述采集视频中的用户是否为家庭成员；
步骤3102：对从摄像头接收的采集视频进行图像识别，确定所述采集视频中的用户是否做出预设的电视观看动作；
步骤3103：若所述用户为家庭成员、且所述用户做出预设的电视观看动作，向电视发送唤醒指令。
在一实施例中，摄像头全天一直工作，并将采集到的采集视频实时传输给主控终端。主控终端实时对接收到的采集视频进行图像识别(例如：每隔5秒，抽取接收到的采集视频在当前时间点的单帧图像，对该单帧图像进行图像识别)，从而确定采集视频中是否存在用户。若采集视频中存在用户，基于图像识别确定该用户是否为家庭成员、该用户是否做出预设的电视观看动作(例如：坐下并面朝电视)。
若采集视频中的用户是家庭成员、且该用户做出预设的电视观看动作，则向电视发送唤醒指令以唤醒电视，从而准备为该家庭成员自动播放视频。
该实施例通过对采集视频进行图像识别，能够自动识别出家庭成员、以及该家庭成员观看电视的意图，从而由主控终端唤醒电视，提高了控制电视的便捷度。
本公开实施例中，主控终端确定采集视频中的用户是否为家庭成员、以及主控终端确定采集视频中的用户是否做出预设的电视观看动作这两个步骤的执行顺序可以不分前后。例如：主控终端可以先确定采集视频中的用户是否为家庭成员，再确定该用户是否做出预设的电视观看动作；主控终端也可以先确定采集视频中的用户是否做出预设的电视观看动作，再确定该用户是否为家庭成员。
在一实施例中，预设的电视观看动作可以为一单一动作，例如：面朝电视；也可以为多个动作的组合，例如：坐下并面朝电视。
该实施例中，若预设的电视观看动作为多个动作的组合，例如：坐下并面朝电视。则主控终端确定采集视频中的用户是否做出预设的电视观看动作时，是分别确定该用户是否做出各个动作的，其中，确定各个动作的顺序也是不分先后的。例如：主控终端可以先确定该用户是否做出了坐下这一动作，再确定该用户是否做出了面朝电视这一动作，从而确定该用户是否做出了预设的电视观看动作；主控终端也可以先确定该用户是否做出了面朝电视这一动作，再确定该用户是否做出了坐下这一动作，从而确定该用户是否做出了预设的电视观看动作。
在一实施例中，预设的电视观看动作可以为主控终端出厂时默认的动作；也可以由家庭成员自己录制该电视观看动作，并保存在主控终端的设置中。
下面对步骤3101所示的确定采集视频中的用户是否为家庭成员的过程进行具体描述。
在一实施例中，如图4所示，步骤3101包括：
步骤31011：每隔预设帧数，从所述采集视频中抽取一单帧图像；
步骤31012：对所述单帧图像进行人体检测，确定所述单帧图像中是否包含人体；
步骤31013：若所述单帧图像中包含人体，在所述人体的人体框范围内对所述单帧图像进行人脸检测，确定所述人体框范围内是否包含人脸；
步骤31014：若所述人体框范围内包含人脸，对所述人脸进行特征提取，得到所述采集视频中的用户的人脸特征；
步骤31015：将所述采集视频中的用户的人脸特征与预设的家庭成员人脸特征库进行比对，确定所述采集视频中的用户是否为家庭成员。
在一实施例中，主控终端对从摄像头接收到的采集视频，每隔预设帧数(例如：每隔90帧)从采集视频中抽取一单帧图像。应用图像识别技术中的人体检测算法(例如：卷积姿态机器Convolutional Pose Machine，检测出人体的各个关节点，再将这些关节点组成的范围确定为该人体的人体框)，对该单帧图像进行人体检测，确定该单帧图像中是否包含人体。
若该单帧图像中包含人体，应用人脸检测算法(例如：可变形的组件模型Deformable Part Model)，在检测出的人体框范围内对该单帧图像进行人脸检测，确定人体框范围内是否包含人脸。
若人体框范围内包含人脸，对该人脸进行特征提取，得到该用户的人脸特征。将该用户的人脸特征与家庭成员人脸特征库进行比对，确定该用户是否为家庭成员。
由于摄像头所拍摄的区域是电视观看区，该实施例通过对采集视频的图像识别，能够检测到电视观看区中是否有家庭成员，从而能够根据检测结果做出进一步的响应。
在一实施例中，家庭成员人脸特征库中存储着各家庭成员的人脸特征以及对应的家庭成员标识，所述将所述采集视频中的用户的人脸特征与预设的家庭成员人脸特征库进行比对，确定所述采集视频中的用户是否为家庭成员，包括：
确定所述采集视频中的用户的人脸特征与各家庭成员的人脸特征的相似度；
若所述采集视频中的用户的人脸特征与一家庭成员的人脸特征的相似度大于预定相似度阈值，将所述采集视频中的用户确定为家庭成员。
在一实施例中，家庭成员人脸特征库中存储着各家庭成员的人脸特征以及对应的家庭成员标识。其中，家庭成员的人脸特征存储着该家庭成员的各个人脸特征点的坐标。如下表1所示：家庭成员03的右眼角的坐标为(10，0)、左眼角的坐标为(-10，0)、右嘴角的坐标为(5，-10)、左嘴角的坐标为(-5，-10)......；家庭成员04的右眼角的坐标为(9，0)、左眼角的坐标为(-9，0)、右嘴角的坐标为(4，-9)、左嘴角的坐标为(-4，-9)......
表1
Figure BDA0002075699240000101
Figure BDA0002075699240000111
需要注意的是，该实施例只是示例性的说明，并不对本公开实施例的功能和使用范围带来任何限制。
在一实施例中，按照预定连线规则(例如：将左眼角与右眉心连线，再将右眉心与左眉心连线，再将左眉心与左眼角连线......)，将采集视频中的用户的各人脸特征点顺序连接起来，从而得到该用户的人脸边缘图。同理，得到各家庭成员的人脸边缘图。
对一家庭成员，通过连线的角度，来确定该用户的人脸边缘图各连线与该家庭成员的人脸边缘图对应连线的相似度。例如：对家庭成员A，用户的人脸边缘图中由左眼角与左眉心连成的线的角度为27度；家庭成员A的人脸边缘图中由左眼角与左眉心练成的线的角度为30度。则用户的人脸边缘图的该连线、与家庭成员A的人脸边缘图的该连线的相似度为1-(|27-30|/30)＝0.9。
确定了该用户的人脸边缘图各连线与该家庭成员的人脸边缘图对应连线的相似度之后，将该用户的人脸边缘图各连线与该家庭成员的人脸边缘图对应连线的相似度的均值，确定为该用户的人脸特征与该家庭成员的人脸特征的相似度。
该实施例中，通过人脸特征点连线的角度，能够准确衡量用户的人脸特征与对应家庭成员的人脸特征的相似度。
需要注意的是，该实施例只是示例性的说明，并不对本公开实施例的功能和使用范围带来任何限制。
在一实施例中，若采集视频中的用户的人脸特征与一家庭成员的人脸特征的相似度大于预定相似度阈值，将该用户确定为家庭成员。例如：预定相似度阈值为0.95，采集视频中的用户人脸特征与家庭成员01的人脸特征的相似度为0.87、与家庭成员02的人脸特征的相似度为0.70、与家庭成员03的人脸特征的相似度为0.97。由于0.97大于0.95，将该用户确定为家庭成员。
在一实施例中，在所述将所述采集视频中的用户确定为家庭成员之后，包括：获取所述家庭成员的家庭成员标识。例如：采集视频中的用户的人脸特征与家庭成员03的人脸特征的相似度大于预定相似度阈值，则说明该用户与家庭成员03为同一人。因此，在将该用户确定为家庭成员后，获取其家庭成员标识——03，以使得主控终端后续能够根据家庭成员标识为该家庭成员提供服务。
以上描述了步骤3101所示的确定采集视频中的用户是否为家庭成员的具体过程，下面具体描述步骤3102所示的确定采集视频中的用户是否做出预设的电视观看动作的过程。
在一实施例中，如图5所示，步骤3102包括：
步骤31021：每隔预设帧数，从所述采集视频中抽取一帧图像；
步骤31022：对所述帧图像进行人体检测，确定所述图像中是否包含人体；
步骤31023：若所述帧图像中包含人体，对所述人体进行人体跟踪，确定所述采集视频中的用户是否做出预设的电视观看动作。
在一实施例中，主控终端对从摄像头接收到的采集视频，每隔预设帧数(例如：每隔90帧)从采集视频中抽取一单帧图像。应用图像识别技术中的人体检测算法(例如：卷积姿态机器Convolutional Pose Machine，检测出人体的各个关节点，再将这些关节点组成的范围确定为该人体的人体框)，对该单帧图像进行人体检测，确定该单帧图像中是否包含人体。
若该单帧图像中包含人体，应用人体跟踪算法(例如：Camshift算法和卡尔曼率滤波算法)对该人体进行人体跟踪，从而确定该用户是否做出预设的电视观看动作(例如：坐下并面朝电视)。
该实施例通过对采集视频中的用户进行人体跟踪，从而准确确定出该用户是否做出预设的电视观看动作。
进一步地参考图6，下面将步骤3101与步骤3102作为一个整体进行描述，以从整体展现出这两个步骤的实施过程。
在一实施例中，如图6所示：接收视频流；对视频流中的图像进行人体检测，确定是否有人体；若没有人体，则返回对视频流中的图像进行人体检测这一步骤，直到检测到人体；检测到人体后，则在该人体的人体框范围内检测人脸，确定是否有人脸；若没有人脸，则返回对视频流中的图像进行人体检测这一步骤，直到检测到人脸；检测到人脸后，提取人脸特征，与家庭成员人脸特征库进行比对，确定采集视频中的用户是否为家庭成员；若不是家庭成员，则返回对视频流中的图像进行人体检测这一步骤，直到确定采集视频中的用户为家庭成员；对该家庭成员进行人体跟踪，并返回家庭成员身份标识。
需要注意的是，由于确定采集视频中的用户是否为家庭成员、与对采集视频中的用户进行人体跟踪是没有固定的前后顺序的。该实施例只是示例性的说明，并不对本公开实施例的功能和使用范围带来任何限制。
下面具体描述步骤3103所示的若所述用户为家庭成员、且所述用户做出预设的电视观看动作，向电视发送唤醒指令的过程。
在一实施例中，若所述用户为家庭成员、且所述用户做出预设的电视观看动作，向电视发送唤醒指令。例如：电视当前为关机状态，主控终端通过对从摄像头接收的采集视频进行图像识别，确定了采集视频中的用户为家庭成员，且做出了预设的电视观看动作，则主控终端向电视发送开机指令，使得开机的电视能够在接收到视频流后即时播放视频。
该实施例中，主控终端主动为家庭成员唤醒电视，省去了家庭成员寻找电视控制器发送唤醒电视指令、或者以其他方式发送唤醒电视指令(例如：家庭成员通过语音发送唤醒电视指令)的过程。
以上描述了主控终端为做出预设电视观看动作的家庭成员唤醒电视的过程，下面具体描述为该家庭成员继续播放节目视频的过程。
在步骤320中，获取所述家庭成员的历史节目暂停信息，所述历史节目暂停信息包括所述历史节目的暂停时间点。
历史节目暂停信息是指对应的家庭成员观看过的节目视频的暂停信息，包括：该家庭成员观看过的节目视频的标识、以及对应的节目视频暂停时间点信息。
例如：如下表2所示，家庭成员A的历史节目暂停信息中，描述了家庭成员A观看过的节目视频的暂停信息：“于2/11日，观看了节目03第二集，并于节目03第二集的12分05秒处停止观看；于3/23日，观看了节目05第一集，并于节目05第一集的25分40秒处停止观看。”
表2
观看日期 节目视频标识 暂停时间点
... ... ...
2/11 节目03第二集 12分05秒
3/23 节目05第一集 25分40秒
在用户观看电视的过程中，暂停节目的播放可以有以下触发方式：通过电视控制器控制或检测到用户离开电视观看区域的时间超过预设时间时触发节目的暂停操作。每当一家庭成员触发节目的暂停操作，主控终端将节目的暂停信息与该家庭成员的家庭成员标识对应存储在历史节目暂停信息库中，其中，节目的暂停信息包括暂停的节目源、节目频道、播放进度、暂停时间点中的至少一个。
通过对每一次家庭成员触发节目的暂停操作进行记录、存储，使得主控终端能够快速确定各个家庭成员的历史节目暂停信息。
在一实施例中，每一家庭成员对应一家庭成员标识，获取所述家庭成员的历史节目暂停信息，包括：
从历史节目暂停信息库中获取与所述家庭成员标识对应的历史节目暂停信息，将所述与所述家庭成员标识对应的历史节目暂停信息确定为所述家庭成员的历史节目暂停信息，其中，所述历史节目暂停信息库中存储着历史节目暂停信息以及和所述历史节目暂停信息对应的家庭成员标识。
该实施例中，历史节目暂停信息库存储着各家庭成员的历史节目暂停信息，其可以为在主控终端中单独开辟出的一块专门用于存储历史节目暂停信息的内存；也可以为主控终端内存中如表2所示的一张存储着各家庭成员的历史节目暂停信息的表。
通过获取家庭成员的历史节目暂停信息，使得主控终端可以确定该家庭成员暂停观看过的节目视频，从而能够为该家庭成员继续播放该节目视频。
在一实施例中，历史节目暂停信息只存储对应家庭成员距当前时间点最近一次观看的节目视频的暂停信息。每当该家庭成员观看完毕一次节目视频，主控终端都会使用该次节目视频暂停信息覆盖上一次节目视频暂停信息，从而更新历史节目暂停信息。
例如：在2月到4月间，家庭成员A只观看了两次节目视频：于2/11日，观看了节目03第二集，并于节目03第二集的12分05秒处停止观看；于3/23日，观看了节目05第一集，并于节目05第一集的25分40秒处停止观看。
则在停止3/23日观看的节目视频之前，家庭成员A的历史节目暂停信息存储的内容为：“于2/11日，观看了节目03第二集，并于节目03第二集的12分05秒处停止观看。”在停止3/23日观看的节目视频之后，家庭用户A于2/11日观看的节目视频的节目暂停信息，被家庭用户A于3/23日观看的节目视频的节目暂停信息覆盖掉，家庭成员A的历史节目暂停信息存储的内容被更新为：“于3/23日，观看了节目05第一集，并于节目05第一集的25分40秒处停止观看。”
该实施例的优点在于，历史节目暂停信息库中存储的信息量小，能够快速确定对应家庭成员最近一次观看过的节目视频的暂停信息。
在获取到该家庭成员的历史节目暂停信息之后，在步骤330中，获取所述历史节目于所述历史节目暂停时间点之后的视频流。
在一实施例中，步骤330包括：
从账号信息数据库中，获取所述家庭成员用于获取视频服务的账号信息；
使用所述家庭成员的账号信息，登录提供所述历史节目视频流的服务平台；
向所述服务平台发送获取所述历史节目于所述历史节目暂停时间点之后的视频流的请求；
获取所述服务平台发送的所述历史节目于所述历史节目暂停时间点之后的视频流。
账号信息数据库是指存储着家庭成员用于获取视频服务的账号信息的数据库。
本公开实施例中，家庭成员所观看的节目视频是由位于云服务器中的服务平台提供的。家庭成员在服务平台上完成注册后，得到能够登录该服务平台的账号信息。服务平台只有确认了使用该账号信息的主控终端的登录后，才会将节目的视频流发送给主控终端。进而主控终端才能将视频流传输给电视，使得电视能够播放出家庭成员所要观看的节目视频。
在一实施例中，主控终端获取家庭成员的历史节目暂停信息后，从中可以确定该家庭成员上一次观看了哪个节目视频，以及看到了该节目视频的哪一时间点。为了使电视能够继续播放该节目视频，主控终端从账号信息数据库中获取该家庭成员用于获取视频服务的账号信息，并使用该账号信息登录提供该历史节目视频流的服务平台。登录成功后，主控终端向该服务平台发送获取该历史节目于该历史节目暂停时间点之后的视频流的请求。主控终端在该服务平台确认该请求后，接收该服务平台发送的该历史节目于该历史节目暂停时间点之后的视频流。
下面具体描述主控终端获取历史节目于该历史节目暂停时间点之后的视频流之后的过程。
在步骤340中，将所述视频流传输给电视，使得电视播放所述历史节目于所述历史节目暂停时间点之后的视频。
本公开实施例中，主控终端获取历史节目于该历史节目暂停时间点之后的视频流之后，将该视频流传输给电视，使得电视能够继续播放该家庭成员上一次暂停观看的节目视频，从而使得即使该家庭成员忘记了上一次观看了哪一个节目视频、以及看到了该节目视频的哪一部分，也能够从上一次节目视频的暂停时间点处，继续观看上一次暂停观看的节目视频。
通过以上对处于非唤醒状态的电视的控制方法的描述，可以看出本公开实施例能够自动检测家庭成员的动作，无需家庭成员手动控制，即可为该家庭成员唤醒电视，并为其继续播放该家庭成员上一次暂停观看的节目视频。使得整个控制电视的过程，家庭成员都不必进行诸如下发控制指令、回想/查找历史节目观看记录的过程，提高了控制电视的便捷度。
以上描述了本公开实施例中对处于非唤醒状态的电视，控制其继续播放该家庭成员上一次暂停观看的节目视频的过程，下面具体描述能够进一步提高控制电视的灵活度与便捷度，对处于非唤醒状态的电视进行控制的更多过程。
在一实施例中，摄像头将采集到的采集视频实时传输到主控终端中，所述电视系统中的电视控制方法还包括：
当检测到电视处于非唤醒状态、且从摄像头接收的采集视频中检测到家庭成员时，向电视发送唤醒指令，使得唤醒后的电视能够进行音像输出；
获取预定时间段内所有用户观看过的节目的历史信息；
基于所述历史信息，确定出预定数目个的喜好节目；
将所述喜好节目推荐给所述家庭成员。
喜好节目是指在用户间较受欢迎的节目。
该实施例中，主控终端在检测到家庭成员，并将电视唤醒后，从历史信息数据库中调取预定时间段内(例如：当前时间点前3个月内)所有用户观看过的节目的历史信息。从历史信息中，确定出预定数目个(例如：3个)的喜好节目。
例如：推荐的喜好节目的预定数目为3，即，将3个喜好节目推荐给该家庭成员。从所有用户观看节目的历史信息中，主控终端确定节目01被观看过9次，节目02被观看过3次，节目03被观看过17次，节目04被观看过12次，节目05被观看过2次。按照节目被观看次数从高到低的顺序，将被观看次数前3的节目确定为喜好节目，并依次推荐给该家庭成员。即：将节目03、节目04、节目01作为喜好节目，依次推荐给该家庭成员。
该实施例的优点在于，根据所有用户观看节目的历史信息，确定出在所有用户间普遍较受欢迎的喜好节目，将喜好节目推荐给家庭成员，从而使得家庭成员能够更快速地选择要观看的节目，提高了控制电视的便捷度与灵活度。
在一实施例中，主控终端将每个用户观看节目的历史信息存储在历史信息数据库中(对于非家庭成员观看的节目，主控终端只会将节目标识以及对应的观看日期记录下来)。主控终端在检测到家庭成员做出预设的电视观看动作，并将电视唤醒后，先获取该家庭成员的历史节目暂停信息。若不存在该家庭成员的历史节目暂停信息，则从历史信息数据库中存储的历史信息确定出预定数目个的喜好节目，并推荐给该家庭成员。
在一实施例中，主控终端将每个家庭成员观看节目的历史信息存储在历史信息数据库中。主控终端在检测到家庭成员做出预设的电视观看动作，并将电视唤醒后，先获取该家庭成员的历史节目暂停信息。若从该家庭成员的历史节目暂停信息中确定：该家庭成员上一次观看节目的日期距当前日期间隔大于预定日期间隔(例如：预定日期间隔为3个月，该家庭成员上一次观看节目是在2/11日，当前日期为9/11日，二者之间间隔了7个月，大于预定日期间隔)，则从历史信息数据库中存储的历史信息确定出预定数目个的喜好节目，并推荐给该家庭成员。
这样做的原因在于：如果观看日期间隔过大，家庭成员很可能已经忘记了上一次观看的节目的内容，这时再继续播放其上一次观看的节目，该家庭成员很有可能再自己手动调换到自己喜好的节目。因此，在这种情况下，直接向该家庭成员推荐其很有可能喜好的节目，提高了电视控制的灵活度与便捷度。
以上描述了根据所有用户观看节目的历史信息，为家庭成员推荐喜好节目的过程。
在另一实施例中，则是根据该家庭成员观看节目的历史信息，为该家庭成员推荐喜好节目。
摄像头将采集到的采集视频实时传输到主控终端中，所述电视系统中的电视控制方法还包括：
当检测到电视处于非唤醒状态、且从摄像头接收的采集视频中检测到家庭成员时，向电视发送唤醒指令，使得唤醒后的电视能够进行音像输出；
获取所述家庭成员的家庭成员标识；
基于所述家庭成员标识，获取预定时间段内所述家庭成员观看过的节目的历史信息；
基于所述历史信息，确定出预定数目个的喜好节目；
将所述喜好节目推荐给所述家庭成员。
该实施例中，主控终端检测到家庭成员，唤醒电视后，获取该家庭成员的家庭成员标识。从历史信息数据库中提取出预定时间段内该家庭成员标识对应的历史信息，即，该家庭成员观看过的节目的历史信息。再从该家庭成员观看过的节目的历史信息中，确定出预定数目个的、该家庭成员的喜好节目，将这些喜好节目推荐给该家庭成员。
例如：主控终端检测到了家庭成员A，唤醒电视后，根据家庭成员A的家庭成员标识，从历史信息数据库中提取出预定时间段内家庭成员A观看过的节目的历史信息。在此基础上，确定出预定数目个的、针对家庭成员A的喜好节目，将这些喜好节目推荐给家庭成员A。
该实施例的优点在于，所述喜好节目是在该家庭成员观看过的节目的历史信息上确定出的，对该家庭成员而言更具有针对性，推荐的效果更优异。
显而易见，该实施例的其它具体实施过程与上述根据所有用户观看节目的历史信息，为家庭成员推荐喜好节目的过程同理，故在此不再赘述。
在一实施例中，在向家庭成员推荐喜好节目之后，根据家庭成员对喜好节目的选择，获取其选择的喜好节目的视频流，并传输给电视，使得电视能够播放该家庭成员选择的喜好节目。
在一实施例中，家庭成员通过电视控制器选择喜好节目。
在一实施例中，电视系统中还包括话筒，能够采集家庭成员的语音。该实施例中，在向家庭成员推荐喜好节目之后，家庭成员可以通过语音选择喜好节目。例如：家庭成员说“我要看节目03”、或者“节目03”，主控终端通过对话筒传输的语音进行解析，将语音转换为文本，并提取出其中的关键词——“节目03”。则根据该关键词，主控终端可确定该家庭成员选择的喜好节目为节目03。
该实施例的优点在于，使得家庭成员免去寻找电视控制器的过程，提高了控制电视的便捷度。
下面具体描述本公开实施例中，对处于视频播放状态的电视的控制的过程。
需要说明的是，对处于视频播放状态的电视的控制，是针对观看者。其中，观看者包括家庭成员与非家庭成员。也就是说，只有家庭成员才能触发主控终端为其唤醒电视的过程；但只要有观看者在观看电视，无论该观看者是否为家庭成员(例如：该观看者不是家庭成员，但其通过电视控制器使电视处于视频播放状态)，本公开实施例都会针对该观看者进行如下所述的控制电视的过程。
很多情况下，观看者在观看节目视频的中途，可能需要离开电视观看区域去做其它事，例如：开门、开空调、做饭、出门。其中，有一些情况观看者只会短暂离开，例如：开门、开空调；有一些情况观看者会离开很长的时间，例如：做饭、出门，在这种情况下如果电视仍旧一直播放视频将会造成电力的大量浪费，这时就需要将电视关机；而还有一些情况观看者会离开一小段时间，例如：收衣服，这种情况下还不至于要将电视关机，但也需要暂停电视的播放，以使得在离开的这段时间观看者不会遗漏过多的节目视频内容。
在一实施例中，当电视在播放当前节目视频时，主控终端对从摄像头接收的采集视频中的所述观看者进行实时监控，本公开的电视控制方法还包括：
设置一计时器，将所述计时器的值置为0；
当所述观看者从所述采集视频中消失时，启动所述计时器开始计时，直到所述观看者再次出现在所述采集视频中，将所述计时器的值置为0；
基于所述计时器的计时过程，对电视进行控制。
需要说明的是，当前节目视频是指电视正在播放的节目视频，与历史节目视频的区别在于：历史节目视频是电视曾经播放的、但当前未播放的节目视频。如果电视继续播放一历史节目视频，则该历史节目视频在被电视播放的那一刻起，就成为了当前节目视频。
因此，本公开实施例中，当电视在播放当前节目视频时，主控终端也会对从摄像头接收的采集视频进行图像检测，从而对采集视频中的观看者进行实时监控。设置一初始值为0的计时器，一旦观看者从采集视频中消失，即说明该观看者离开了电视观看区域。则启动该计时器开始计时，并基于计时器的计时过程对电视进行控制。
下面具体描述对主控终端基于计时器的计时过程，对电视进行控制的过程。
在一实施例中，基于所述计时器的计时过程，对电视进行控制，包括：
所述计时器开始计时后，继续向电视传输当前节目视频流，直到当所述计时器的值超过预设第一时间阈值时，向电视发送暂停视频播放指令，暂停向电视传输当前节目视频流，并暂存当前节目的暂停信息，所述当前节目的暂停信息包括当前节目的暂停时间点；
当所述观看者再次出现在所述采集视频中、且所述计时器的值超过预设第一时间阈值而未超过第二时间阈值时，向电视发送继续视频播放指令，并向电视传输所述当前节目于所述当前节目暂停时间点之后的视频流，使得电视继续播放当前节目；
当所述计时器的值超过预设第二时间阈值时，向电视发送终止视频播放指令，使得电视进入非唤醒状态，并使用所述当前节目暂停信息更新所述观看者的历史节目暂停信息。
在一实施例中，当观看者从采集视频中消失后，启动计时器进行计时。当计时器的值小于第一时间阈值(例如：30秒)时，则说明该观看者离开的时间较短，还不必将电视暂停或者关机。
当计时器的值超过第一时间阈值(例如：30秒)时，则向电视发送暂停视频播放指令，并暂停向电视传输当前节目视频流，并暂存当前节目的暂停信息，使得观看者回来后，能够根据当前节目的暂停信息为该观看者继续播放该节目视频；如果该观看者在计时器的值未超过第二时间阈值(例如：10分钟)时又重新回来，出现在采集视频中，主控终端向电视发送继续视频播放指令，并向电视传输当前节目于当前节目暂停时间点之后的视频流，使得该观看者能够继续观看当前节目。
当计时器的值超过第二时间阈值(例如：10分钟)时，则说明该观看者很有可能在之后的较长时间内也不会回来。由于电视在暂停播放节目的情况下，仍保持当前节目的视频画面，也会消耗电力资源。在这种情况下，向电视发送终止视频播放指令，使得电视进入非唤醒状态，从而节省电力资源。其中，若该观看者为家庭成员，使用当前节目暂停信息更新该家庭成员的历史节目暂停信息，以便该家庭成员下一次观看电视时，能为其继续播放当前节目；若该观看者为非家庭成员，则不保留当前节目暂停信息，只向电视发送终止视频播放指令。
通过这种方法，当观看者中途不再观看节目时，使得主控终端能够适应不同的情况，自动对电视进行相应的控制，提高了控制电视的便捷度与灵活度，也能够节省电力资源。
在一实施例中，第一时间阈值与第二时间阈值可以为主控终端在出厂时就默认设置的；也可以由家庭成员自己设置第一时间阈值与第二时间阈值，并保存在主控终端的设置中。
下面参考图7，将上述为家庭成员推荐喜好节目的过程、以及上述对处于播放状态的电视进行控制的过程作为一个整体进行描述，以更全面地展示出本公开实施例的具体实施过程。
在一实施例中，参考图7：摄像头实时采集电视前区域视频，并将采集的视频传输给主控终端；当电视处于关机或待机状态，主体终端识别到视频中的用户是家庭成员并且有坐下面朝电视的动作时，主体终端控制电视开机(对家庭成员来说，相当于电视自动开机)，并根据家庭成员标识播放该家庭成员的喜好节目；当电视处于开机状态，主控终端检测到该家庭成员离开时，开始计时；当计时t达到t1时，若该家庭成员仍未回到摄像头画面中，主控终端控制电视暂停播放，电视进入暂停状态，于此同时继续计时；当计时t大于t1且小于t2时，电视处于暂停状态，若在这期间识别到该家庭成员回到摄像头画面中，主体终端控制电视继续播放，并取消计时；当计时t达到t2(t2>t1)时，若该家庭成员仍未回到摄像头画面中，主控终端控制电视进入待机或关机状态，并取消计时。
该实施例通过检测家庭成员的动作，为该家庭成员自动唤醒电视，并未该家庭成员自动播放喜好节目，且能够根据电视播放中途该家庭成员的离开时间，对电视进行相应的暂停/关机/待机控制，提高了控制电视的灵活度与便捷度。
需要说明的是，该实施例仅仅是示例性的说明，并不对本公开实施例的功能和使用范围带来任何限制。
下面参考图8，将上述电视系统中的电视控制的各个过程作为一个整体进行描述，以完整地展现出本公开实施例的主要过程。
在一实施例中，参考图8：摄像头实时采集电视前区域视频，将采集到的视频传输给主控终端；主控终端获取电视状态，判断电视是否为开机状态。
若电视不是开机状态，主控终端实时分析采集视频流，判断视频画面中的用户是否为家庭成员；如果不是家庭成员，则返回分析采集视频流；如果是家庭成员，则判断该家庭成员是否有坐下行为；如果没有坐下行为，则返回分析采集视频流；如果有坐下行为，则判断该家庭成员是否面朝电视；如果没有面朝电视，则返回分析采集视频流；如果面朝电视，则控制电视开机，使电视进入开机状态；确定对该家庭成员，是否有历史节目暂停信息；如果没有历史节目暂停信息，则根据历史信息推荐喜好节目，播放该家庭成员从中选择的一个喜好节目，返回判断电视是否为开机状态；如果有历史节目暂停信息，根据历史节目暂停信息继续播放该家庭成员上次观看的节目，返回判断电视是否为开机状态。
若电视是开机状态，主控终端实时分析采集视频流，确定观看者是否离开；若观看者没有离开，则保持电视当前状态；若观看者离开，则开始计时t；当t未大于t1时，若观看者没有回来，则继续计时；当t未大于t1时，观看者回来，则停止计时并归零；当t大于t1时，主控终端控制电视暂停，继续计时；当t大于t1且小于t2时，若观看者未回来，则保持当前状态(电视暂停状态)，继续计时；当t大于t1且小于t2时，若观看者回来，则继续播放节目，停止计时并归零，返回判断电视是否为开机状态；当t不小于t2时，即当t达到t2时，主控终端保存观看者及节目暂停信息，控制电视待机或关机，停止计时，返回判断电视是否为开机状态。
由此可见，本公开实施例公开的电视系统中的电视控制方法，能够免去家庭成员手动唤醒电视的过程，并能够为该家庭成员继续播放上一次观看的节目视频；而且当观看者(包括家庭成员与非家庭成员)在电视观看中途离开时，能够进行相应的电视控制(例如：暂停/待机/关机电视)，省去观看者手动控制的过程的同时节省电力，提高了电视控制的灵活度与便捷度。
需要说明的是，该实施例仅仅是示例性的说明，并不对本公开实施例的功能和使用范围带来任何限制。
根据本公开实施例，如图9所示，还提供了一种电视系统中的主控终端，所述主控终端包括：
唤醒模块410，用于当检测到电视处于非唤醒状态、且从摄像头接收的采集视频中检测到家庭成员时，向电视发送唤醒指令，使得唤醒后的电视能够进行音像输出；
第一获取模块420，用于获取所述家庭成员的历史节目暂停信息，所述历史节目暂停信息包括所述历史节目的暂停时间点；
第二获取模块430，用于获取所述历史节目于所述历史节目暂停时间点之后的视频流；
传输模块440，用于将所述视频流传输给电视，使得电视播放所述历史节目于所述暂停时间点之后的视频。
在一实施例中，所述从摄像头接收的采集视频中检测到家庭成员时，向电视发送唤醒指令，包括：
对从摄像头接收的采集视频进行图像识别，将所述采集视频中的用户与预设家庭成员人脸特征库进行对比，确定所述采集视频中的用户是否为家庭成员；
对从摄像头接收的采集视频进行图像识别，确定所述采集视频中的用户是否做出预设的电视观看动作；
若所述用户为家庭成员、且所述用户做出预设的电视观看动作，向电视发送唤醒指令。
在一实施例中，所述对从摄像头接收到采集视频进行图像识别，将所述采集视频中的用户与预设家庭成员人脸特征库进行对比，确定所述采集视频中的用户是否为家庭成员，包括：
每隔预设帧数，从所述采集视频中抽取一单帧图像；
对所述单帧图像进行人体检测，确定所述单帧图像中是否包含人体；
若所述单帧图像中包含人体，在所述人体的人体框范围内对所述单帧图像进行人脸检测，确定所述人体框范围内是否包含人脸；
若所述人体框范围内包含人脸，对所述人脸进行特征提取，得到所述采集视频中的用户的人脸特征；
将所述采集视频中的用户的人脸特征与预设的家庭成员人脸特征库进行比对，确定所述采集视频中的用户是否为家庭成员。
在一实施例中，所述家庭成员人脸特征库中存储着各家庭成员的人脸特征以及对应的家庭成员标识，所述将所述采集视频中的用户的人脸特征与预设的家庭成员人脸特征库进行比对，确定所述采集视频中的用户是否为家庭成员，包括：
确定所述采集视频中的用户的人脸特征与各家庭成员的人脸特征的相似度；
若所述采集视频中的用户的人脸特征与一家庭成员的人脸特征的相似度大于预定相似度阈值，将所述采集视频中的用户确定为家庭成员。
在一实施例中，在所述将所述采集视频中的用户确定为家庭成员之后，包括：获取所述家庭成员的家庭成员标识。
在一实施例中，所述对从摄像头接收到采集视频进行图像识别，确定所述采集视频中的用户是否做出预设的电视观看动作，包括：
每隔预设帧数，从所述采集视频中抽取一帧图像；
对所述帧图像进行人体检测，确定所述图像中是否包含人体；
若所述帧图像中包含人体，对所述人体进行人体跟踪，确定所述采集视频中的用户是否做出预设的电视观看动作。
在一实施例中，所述获取所述家庭成员的历史节目暂停信息，包括：
从历史节目暂停信息库中获取与所述家庭成员标识对应的历史节目暂停信息，将所述历史节目暂停信息确定为所述家庭成员的历史节目暂停信息，其中，所述历史节目暂停信息库中存储着各家庭成员的历史节目暂停信息以及对应的家庭成员标识。
在一实施例中，通过以下方法将所述家庭成员的历史节目暂停信息存储在历史节目暂停信息库中：
每当一家庭成员触发暂停观看节目，将所述节目的暂停信息与所述家庭成员标识对应存储在历史节目暂停信息库中。
本公开实施例的电视系统中的电视控制方法可以由图1所示的主控终端实现。下面参考图10来描述根据本公开实施例的主控终端。图10显示的主控终端仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图10所示，主控终端以通用计算设备的形式表现。主控终端的组件可以包括但不限于：上述至少一个处理单元510、上述至少一个存储单元520、连接不同系统组件(包括存储单元520和处理单元510)的总线530。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元510执行，使得所述处理单元510执行本说明书上述示例性方法的描述部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元510可以执行如图3中所示的各个步骤。
存储单元520可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)5201和/或高速缓存存储单元5202，还可以进一步包括只读存储单元(ROM)5203。
存储单元520还可以包括具有一组(至少一个)程序模块5205的程序/实用工具5204，这样的程序模块5205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线530可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
主控终端也可以与一个或多个外部设备600(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该主控终端交互的设备通信，和/或与使得该主控终端能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口550进行。并且，主控终端还可以通过网络适配器560与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器560通过总线530与主控终端的其它模块通信。应当明白，尽管图中未示出，可以结合主控终端使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机程序介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行上述方法实施例部分描述的方法。
根据本公开的一个实施例，还提供了一种用于实现上述方法实施例中的方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (10)

1.一种电视系统中的电视控制方法，其特征在于，所述电视系统包括作为所述电视系统控制中心的主控终端、进行音像输出的电视、采集采集视频的摄像头，其中，所述主控终端具备电视开机控制功能，摄像头可与电视独立工作，摄像头将采集到的采集视频实时传输到主控终端中，所述方法由所述主控终端执行，所述方法包括：
当检测到电视处于非唤醒状态、且从摄像头接收的采集视频中检测到家庭成员时，向电视发送唤醒指令，使得唤醒后的电视能够进行音像输出，其中，所述非唤醒状态包括关机状态、待机状态；
获取所述家庭成员的历史节目暂停信息，所述历史节目暂停信息包括所述历史节目的暂停时间点；
获取所述历史节目于所述历史节目暂停时间点之后的视频流；
将所述视频流传输给电视，使得电视播放所述历史节目于所述历史节目暂停时间点之后的视频。
2.根据权利要求1所述的方法，其特征在于，所述从摄像头接收的采集视频中检测到家庭成员时，向电视发送唤醒指令，包括：
对从摄像头接收的采集视频进行图像识别，将所述采集视频中的用户与预设家庭成员人脸特征库进行对比，确定所述采集视频中的用户是否为家庭成员；
对从摄像头接收的采集视频进行图像识别，确定所述采集视频中的用户是否做出预设的电视观看动作；
若所述用户为家庭成员、且所述用户做出预设的电视观看动作，向电视发送唤醒指令。
3.根据权利要求2所述的方法，其特征在于，所述对从摄像头接收的采集视频进行图像识别，将所述采集视频中的用户与预设家庭成员人脸特征库进行对比，确定所述采集视频中的用户是否为家庭成员，包括：
每隔预设帧数，从所述采集视频中抽取一单帧图像；
对所述单帧图像进行人体检测，确定所述单帧图像中是否包含人体；
若所述单帧图像中包含人体，在所述人体的人体框范围内对所述单帧图像进行人脸检测，确定所述人体框范围内是否包含人脸；
若所述人体框范围内包含人脸，对所述人脸进行特征提取，得到所述采集视频中的用户的人脸特征；
将所述采集视频中的用户的人脸特征与预设的家庭成员人脸特征库进行比对，确定所述采集视频中的用户是否为家庭成员。
4.根据权利要求3所述的方法，其特征在于，所述家庭成员人脸特征库中存储着各家庭成员的人脸特征以及对应的家庭成员标识，所述将所述采集视频中的用户的人脸特征与预设的家庭成员人脸特征库进行比对，确定所述采集视频中的用户是否为家庭成员，包括：
确定所述采集视频中的用户的人脸特征与各家庭成员的人脸特征的相似度；
若所述采集视频中的用户的人脸特征与一家庭成员的人脸特征的相似度大于预定相似度阈值，将所述采集视频中的用户确定为家庭成员。
5.根据权利要求4所述的方法，其特征在于，在所述将所述采集视频中的用户确定为家庭成员之后，包括：获取所述家庭成员的家庭成员标识。
6.根据权利要求2所述的方法，其特征在于，所述对从摄像头接收到采集视频进行图像识别，确定所述采集视频中的用户是否做出预设的电视观看动作，包括：
每隔预设帧数，从所述采集视频中抽取一帧图像；
对所述帧图像进行人体检测，确定所述图像中是否包含人体；
若所述帧图像中包含人体，对所述人体进行人体跟踪，确定所述采集视频中的用户是否做出预设的电视观看动作。
7.根据权利要求1-6任意一项所述的方法，其特征在于，每一家庭成员对应一家庭成员标识，所述获取所述家庭成员的历史节目暂停信息，包括：
从历史节目暂停信息库中获取与所述家庭成员标识对应的历史节目暂停信息，将所述与所述家庭成员标识对应的历史节目暂停信息确定为所述家庭成员的历史节目暂停信息，其中，所述历史节目暂停信息库中存储着历史节目暂停信息以及和所述历史节目暂停信息对应的家庭成员标识。
8.根据权利要求7所述的方法，其特征在于，通过以下方法将所述家庭成员的历史节目暂停信息存储在历史节目暂停信息库中：
每当一家庭成员触发节目暂停操作，将所述节目的暂停信息与所述家庭成员标识对应存储在历史节目暂停信息库中。
9.一种电视系统中的主控终端，其特征在于，所述主控终端包括：
唤醒模块，用于当检测到电视处于非唤醒状态、且从摄像头接收的采集视频中检测到家庭成员时，向电视发送唤醒指令，使得唤醒后的电视能够进行音像输出，其中，所述非唤醒状态包括关机状态、待机状态；
第一获取模块，用于获取所述家庭成员的历史节目暂停信息，所述历史节目暂停信息包括所述历史节目的暂停时间点；
第二获取模块，用于获取所述历史节目于所述历史节目暂停时间点之后的视频流；
传输模块，用于将所述视频流传输给电视，使得电视播放所述历史节目于所述暂停时间点之后的视频。
10.一种电视系统，其特征在于，所述电视系统包括：
电视，配置为进行音像输出；
摄像头，配置为采集电视观看区域的采集视频，摄像头可与电视独立工作；
主控终端，配置为执行权利要求1-8中的任一个所述的方法以控制电视进行音像输出，其中，摄像头将采集的采集视频实时传输到主控终端中，以供主控终端控制电视进行音像输出。
CN201910452907.4A 2019-05-28 2019-05-28 电视系统中的电视控制方法及主控终端 Active CN110087131B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910452907.4A CN110087131B (zh) 2019-05-28 2019-05-28 电视系统中的电视控制方法及主控终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910452907.4A CN110087131B (zh) 2019-05-28 2019-05-28 电视系统中的电视控制方法及主控终端

Publications (2)

Publication Number Publication Date
CN110087131A CN110087131A (zh) 2019-08-02
CN110087131B true CN110087131B (zh) 2021-08-24

Family

ID=67422260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910452907.4A Active CN110087131B (zh) 2019-05-28 2019-05-28 电视系统中的电视控制方法及主控终端

Country Status (1)

Country Link
CN (1) CN110087131B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110412885A (zh) * 2019-08-30 2019-11-05 北京青岳科技有限公司 一种基于计算机视觉的家居智能控制系统
CN112825560B (zh) * 2019-11-20 2021-12-24 海信集团有限公司 显示设备及视频图像显示方法
CN113542878B (zh) * 2020-04-13 2023-05-09 海信视像科技股份有限公司 一种基于人脸识别与手势检测的唤醒方法及显示设备
CN112261454A (zh) * 2020-10-22 2021-01-22 深圳创维－Rgb电子有限公司 电视智能控制方法、装置、系统、电视和可读存储介质
CN113486210A (zh) * 2021-06-30 2021-10-08 宁波星巡智能科技有限公司 电池相机唤醒时的视频播放方法、装置、设备及介质
CN114401425A (zh) * 2022-02-08 2022-04-26 湖南快乐阳光互动娱乐传媒有限公司 一种视频播放方法及装置
WO2024037384A1 (zh) * 2022-08-15 2024-02-22 华为技术有限公司 一种电子设备的显示方法以及电子设备
CN115866337A (zh) * 2022-11-23 2023-03-28 深圳康佳电子科技有限公司 一种终端设备的保养方法、装置、终端设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106375855A (zh) * 2015-12-30 2017-02-01 深圳市美贝壳科技有限公司 一种家用智能设备休眠的方法
CN107948711A (zh) * 2017-11-21 2018-04-20 深圳创维－Rgb电子有限公司 电视时移控制方法、系统及计算机可读存储介质
CN208540068U (zh) * 2018-08-24 2019-02-22 云南思启瑞科技有限公司 具有语音唤醒功能的图像识别系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7493646B2 (en) * 2003-01-30 2009-02-17 United Video Properties, Inc. Interactive television systems with digital video recording and adjustable reminders

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106375855A (zh) * 2015-12-30 2017-02-01 深圳市美贝壳科技有限公司 一种家用智能设备休眠的方法
CN107948711A (zh) * 2017-11-21 2018-04-20 深圳创维－Rgb电子有限公司 电视时移控制方法、系统及计算机可读存储介质
CN208540068U (zh) * 2018-08-24 2019-02-22 云南思启瑞科技有限公司 具有语音唤醒功能的图像识别系统

Also Published As

Publication number Publication date
CN110087131A (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
CN110087131B (zh) 电视系统中的电视控制方法及主控终端
US11902626B2 (en) Control method of playing content and content playing apparatus performing the same
CN102119530B (zh) 图像显示设备、控制方法
CN101860704B (zh) 自动关闭图像显示的显示装置及其实现方法
WO2017166972A1 (zh) 一种视频播放控制方法、装置及机顶盒、存储介质
US10820040B2 (en) Television time shifting control method, system and computer-readable storage medium
CN109729429B (zh) 视频播放方法、装置、设备和介质
CN111147808B (zh) 网络装置、影像处理方法及电脑可读媒体
CN110971948A (zh) 一种智能电视的控制方法、装置、智能电视及介质
CN101169897A (zh) 多媒体系统的脸部检测的遥控系统及其方法及多媒体系统
US20150271570A1 (en) Audio/video system with interest-based ad selection and methods for use therewith
JP5755483B2 (ja) 自動録画機能を有する映像表示装置および録画装置並びに自動録画方法
CN111274449B (zh) 视频播放方法、装置、电子设备和存储介质
US20150271465A1 (en) Audio/video system with user analysis and methods for use therewith
CN110598644B (zh) 多媒体播放控制方法、装置及电子设备
US10798459B2 (en) Audio/video system with social media generation and methods for use therewith
US10740624B2 (en) Method for monitoring consumption of content
US20150271553A1 (en) Audio/video system with user interest processing and methods for use therewith
EP3026923A1 (en) Method for accessing media data and corresponding device and system
US20140081748A1 (en) Customized television commercials
CN108632662B (zh) 电视截屏方法、装置及包括电视截屏装置的设备
CN111781843A (zh) 用于控制智能家居装置的设备和方法
JP6055535B1 (ja) 集中度処理システム
US10951933B2 (en) Media stream resumption
US20240176408A1 (en) Standby modes to minimise consumption and startup time

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant