CN112653864B - 一种智慧家庭陪伴方法、系统及智能终端 - Google Patents
一种智慧家庭陪伴方法、系统及智能终端 Download PDFInfo
- Publication number
- CN112653864B CN112653864B CN202011521329.4A CN202011521329A CN112653864B CN 112653864 B CN112653864 B CN 112653864B CN 202011521329 A CN202011521329 A CN 202011521329A CN 112653864 B CN112653864 B CN 112653864B
- Authority
- CN
- China
- Prior art keywords
- camera
- companion
- intelligent
- television
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明公开了一种智慧家庭陪伴方法、系统及智能终端,所述方法包括:开启预设应用访问智能电视的智慧家庭陪伴服务,获取所述智能电视的摄像头的当前状态,判断所述摄像头是否处于被占用状态;若所述摄像头当前处于空闲状态,则获取所述摄像头拍摄的视频流,通过所述预设应用查看根据分析维度生成的人脸数据;若所述摄像头当前处于占用状态,则获取所述摄像头的应用用户场景,根据所述应用用户场景的类型选择对应的陪伴策略。本发明通过智慧家庭陪伴服务判断智能电视的摄像头的占用状态,根据占用摄像头的应用类型不同给予用户不同的陪伴策略,便于用户根据家庭中的场景进行对应的陪伴服务,为用户提供智能化的远程陪伴服务。
Description
技术领域
本发明涉及计算机应用技术领域,尤其涉及一种智慧家庭陪伴方法、系统及智能终端。
背景技术
随着科学技术的发展,网络摄像头作为一种安全防护设备已经走入部分用户的家庭,用户通过网络摄像头远程查看家庭的情况,以便处理家庭突发状况等。然而网络摄像头作为一个独立的硬件设备,无论是安装维护还是使用都具备一定的入门门槛,智能电视搭载摄像头,让电视提供家庭防护的能力,已经成为智能电视的发展趋势。
不同于网络摄像头,网络摄像头是专用设备,而搭载电视的摄像头除了用户远程访问之外,用户家庭成员还可以通过摄像头进行视频通话、拍照、视频秀、AI运动等等,用户在远程访问电视摄像头的时候,有可能会出现家庭成员正在使用摄像头进行其他的产品功能,导致摄像头被别的应用占用,无法获取到摄像的视频及图片。
因此,现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种智慧家庭陪伴方法、系统及智能终端,旨在解决现有技术中无法根据电视上摄像头的占用状态提供针对性的远程陪伴服务的问题。
为实现上述目的,本发明提供一种智慧家庭陪伴方法,所述智慧家庭陪伴方法包括如下步骤:
开启预设应用访问智能电视的智慧家庭陪伴服务,获取所述智能电视的摄像头的当前状态,判断所述摄像头是否处于被占用状态;
若所述摄像头当前处于空闲状态,则获取所述摄像头拍摄的视频流,通过所述预设应用查看根据分析维度生成的人脸数据;
若所述摄像头当前处于占用状态,则获取所述摄像头的应用用户场景,根据所述应用用户场景的类型选择对应的陪伴策略。
可选地,所述的智慧家庭陪伴方法,其中,所述预设应用为智慧家庭陪伴应用;
所述开启预设应用访问智能电视的智慧家庭陪伴服务,获取所述智能电视的摄像头的当前状态,判断所述摄像头是否处于被占用状态,之前还包括:
所述智慧家庭陪伴应用接收用户的操作指令,并通过所述智慧家庭陪伴服务在所述智能电视上进行人脸账户注册,并接收智慧家庭陪伴服务器授权所述用户访问所述摄像头的授权信息。
可选地,所述的智慧家庭陪伴方法,其中,所述开启预设应用访问智能电视的智慧家庭陪伴服务,获取所述智能电视的摄像头的当前状态,判断所述摄像头是否处于被占用状态,具体包括:
开启所述智慧家庭陪伴应用,通过所述智慧家庭陪伴应用访问所述智能电视的所述智慧家庭陪伴服务;
接收所述智慧家庭陪伴服务器发送的所述智能电视的摄像头的当前状态的信息,并确认所述摄像头的当前状态;
所述摄像头的状态包括空闲状态和占用状态。
可选地,所述的智慧家庭陪伴方法,其中,所述开启预设应用访问智能电视的智慧家庭陪伴服务,获取所述智能电视的摄像头的当前状态,判断所述摄像头是否处于被占用状态,之前还包括:
接收用户通过所述智慧家庭陪伴应用发送的访问所述摄像头的访问请求时,判断所述用户是否被授权;
若是,则表示授权通过,并提供智慧家庭陪伴服务;
若否,则表示授权不通过,并接收所述智慧家庭陪伴服务器发送的未授权信息,以提示所述用户。
可选地,所述的智慧家庭陪伴方法,其中,所述若所述摄像头当前处于空闲状态,则获取所述摄像头拍摄的视频流,通过所述预设应用查看根据分析维度生成的人脸数据,之前还包括:
将人脸识别功能的开关开启,以控制所述摄像头在工作过程中,通过人脸识别检测到不属于已注册的人脸账户中的人脸时,将当前人脸标注为陌生人脸,并将所述陌生人脸的数据信息上传到智慧家庭陪伴服务器的陌生人脸数据库和智能终端;
或者将人脸识别功能的开关开启,以所述摄像头在工作过程中,通过人脸识别检测到属于已注册的人脸账户中的人脸时,将当前人脸标注为用户人脸,并将所述用户人脸的数据信息上传到智慧家庭陪伴服务器的用户行为数据库和智能终端。
可选地,所述的智慧家庭陪伴方法,其中,所述陌生人脸和所述用户人脸的数据信息包括:人脸图片、收录时间、当前的视频片段和智能电视当前的应用状态。
可选地,所述的智慧家庭陪伴方法,其中,所述若所述摄像头当前处于空闲状态,则获取所述摄像头拍摄的视频流,通过所述预设应用查看根据分析维度生成的人脸数据,具体包括:
若确认所述摄像头的当前状态处于所述空闲状态,则通过所述智慧家庭陪伴服务器接收所述摄像头拍摄的视频流,以供所述用户通过所述智慧家庭陪伴应用查看所述视频流;
根据所述摄像头使用记录和时长、所述陌生人脸和所述用户人脸的数据信息进行统计分析生成所述人脸数据,通过所述智慧家庭陪伴应用查看所述人脸数据。
可选地,所述的智慧家庭陪伴方法,其中,所述若所述摄像头当前处于占用状态,则获取所述摄像头的应用用户场景,根据所述应用用户场景的类型选择对应的陪伴策略,具体包括:
若所述摄像头的当前状态处于所述占用状态,则获取所述摄像头的所述应用用户场景,分析所述摄像头被占用的应用的信息,并返回用户场景数据给所述智慧家庭陪伴服务;
接收所述智慧家庭陪伴服务根据所述摄像头被占用的状态发送的陪伴策略;
所述陪伴策略包括:无扰模式、视频通话模式和留言模式。
可选地,所述的智慧家庭陪伴方法,其中,所述无扰模式为所述摄像头正在被应用使用,接收所述智慧家庭陪伴服务发送的电视画面,对所述电视画面进行人脸识别,得出所述智能电视当前界面前的人脸和当前正在使用的应用;
所述视频通话模式为所述摄像头正在被进行电视视频通话,接收所述智慧家庭陪伴服务发送的电视画面,对所述电视画面进行人脸识别,点击请求加入电视视频通话,建立电视视频通话连接;
所述留言模式为所述摄像头未捕捉到家庭成员的人脸信息,点击家庭成员的人脸头像进行视频或者语音留言,并通过所述智慧家庭陪伴服务器发送给所述智能电视,当所述摄像头再次捕捉到被留言的用户时,控制所述智能电视播放视频或者语音留言。
此外,为实现上述目的,本发明还提供一种智能终端,其中,所述智能终端包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的智慧家庭陪伴程序,所述智慧家庭陪伴程序被所述处理器执行时实现如上所述的智慧家庭陪伴方法的步骤。
此外,为实现上述目的,本发明还提供一种智慧家庭陪伴系统,其中,所述智慧家庭陪伴系统包括如上所述的智能终端,所述智慧家庭陪伴系统还包括:
智能电视和智慧家庭陪伴服务器;
所述智能终端、所述智慧家庭陪伴服务器和所述智能电视依次建立通信连接;
所述智能终端通过所述智慧家庭陪伴服务器访问所述智能电视的智慧家庭陪伴服务,获取所述智能电视的摄像头的当前状态,判断所述摄像头是否处于被占用状态;若所述摄像头当前处于空闲状态,则获取所述摄像头拍摄的视频流,通过智慧家庭陪伴应用查看根据分析维度生成的人脸数据;若所述摄像头当前处于占用状态,则获取所述摄像头的应用用户场景,根据所述应用用户场景的类型选择对应的陪伴策略。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,其中,所述计算机可读存储介质存储有智慧家庭陪伴程序,所述智慧家庭陪伴程序被处理器执行时实现如上所述的智慧家庭陪伴方法的步骤。
本发明通过开启预设应用访问智能电视的智慧家庭陪伴服务,获取所述智能电视的摄像头的当前状态,判断所述摄像头是否处于被占用状态;若所述摄像头当前处于空闲状态,则获取所述摄像头拍摄的视频流,通过所述预设应用查看根据分析维度生成的人脸数据;若所述摄像头当前处于占用状态,则获取所述摄像头的应用用户场景,根据所述应用用户场景的类型选择对应的陪伴策略。本发明通过智慧家庭陪伴服务判断智能电视的摄像头的占用状态,根据占用摄像头的应用类型不同给予用户不同的陪伴策略,便于用户根据家庭中的场景进行对应的陪伴服务,为用户提供智能化的远程陪伴服务。
附图说明
图1是本发明智慧家庭陪伴方法的较佳实施例的流程图;
图2是本发明智慧家庭陪伴方法的较佳实施例中步骤S10的流程图;
图3是本发明智慧家庭陪伴方法的较佳实施例中步骤S20的流程图;
图4是本发明智慧家庭陪伴方法的较佳实施例中步骤S30的流程图;
图5是本发明智慧家庭陪伴方法的较佳实施例中整个执行过程的示意图;
图6为本发明智能终端的较佳实施例的运行环境示意图;
图7是本发明智慧家庭陪伴系统的较佳实施例的原理示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明较佳实施例所述的智慧家庭陪伴方法,如图1所示,所述智慧家庭陪伴方法包括以下步骤:
步骤S10、开启预设应用访问智能电视的智慧家庭陪伴服务,获取所述智能电视的摄像头的当前状态,判断所述摄像头是否处于被占用状态。
具体地,本发明中,所述智慧家庭陪伴方法应用于智能终端中,所述智能终端可以是智能手机、平板电脑、个人电脑等智能化电子设备,本发明优先为用户可以先随身携带的智能手机。
本发明中,所述预设应用为智慧家庭陪伴应用,即专门针对智慧家庭陪伴方法所开发的一个专用APP,可以通过这一应用完成智慧家庭陪伴的各种操作;在所述步骤S10之前还包括:所述智慧家庭陪伴应用接收用户的操作指令,并通过所述智慧家庭陪伴服务在所述智能电视上进行人脸账户注册,并接收智慧家庭陪伴服务器(智慧家庭陪伴服务器分别与所述智能终端和所述智能电视连接)授权所述用户访问所述摄像头的授权信息。例如在所述智能手机上已下载并安装的智慧家庭陪伴应用,用户可以打开所述智慧家庭陪伴应用,在所述智慧家庭陪伴应用的界面上进行相关操作,然后所述摄像头获取当前需要进行注册的人脸信息,进行人脸识别,所述智慧家庭陪伴服务根据所述智慧家庭陪伴应用的操作指令完成当前用户的人脸账户注册,并且所述智慧家庭陪伴服务器对已经完成注册的用户授权其可以访问所述智能电视的摄像头。
其中,授权用户的所述智能终端(智能手机)可以访问所述智能电视的摄像头权限(用户可以通过所述智能电视的智慧家庭陪伴服务设置的授权管理解除授权和进行授权限制),用户可以通过所述智能电视的智慧家庭陪伴服务设置的授权管理入口,取消某一个手机的授权,取消授权后手机APP将不能访问摄像头,权限限制可以理解为分情况对用户的访问摄像头权限进行设置,某些时段、某些场景禁止访问摄像头,例如视频通话时拒绝访问摄像头。
其中,若家庭成员中存在多个用户时,每一个家庭成员的用户都需要注册一个人脸账户,便于后期对相关用户进行人脸识别。
具体的过程请参阅图2,其为本发明提供的智慧家庭陪伴方法中步骤S10的流程图。
如图2所示,所述步骤S10包括:
S11、开启所述智慧家庭陪伴应用,通过所述智慧家庭陪伴应用访问所述智能电视的所述智慧家庭陪伴服务;
S12、接收所述智慧家庭陪伴服务器发送的所述智能电视的摄像头的当前状态的信息,并确认所述摄像头的当前状态。
其中,所述摄像头的状态包括空闲状态和占用状态,所述空闲状态指的是所述摄像头未被应用占用,所述占用状态指的是所述摄像头当前正在被相关应用所占用。
进一步地,在所述步骤S10之前还包括:所述智能终端接收用户(这个用户可以是已注册人脸账户的用户,也可以是新用户)通过所述智慧家庭陪伴应用发送的访问所述摄像头的访问请求时,也就是用户通过所述智能终端通过所述智慧家庭陪伴应用(还可以是具备同样功能的小程序)访问所述智能电视的所述摄像头,然后所述智能终端判断当前请求访问所述用户是否被授权;若是,则表示授权通过,并提供智慧家庭陪伴服务;若否,则表示授权不通过,并接收所述智慧家庭陪伴服务器发送的未授权信息,以提示所述用户(例如通过智慧家庭陪伴服务器发送应用消息到用户的智能手机APP的界面进行提示)。
进一步地,用户通过智慧家庭陪伴服务可以设置收集陌生人脸信息,将开关设置为开(默认为关),这里的开关指的是用户家庭智能电视的人脸识别的识别陌生人功能的开关,如果开启则摄像头获取到陌生人的人脸则将信息(人脸、获取时间、摄像头捕获视频信息)存储到智慧家庭陪伴服务器,并将识别到陌生人的信息(人脸、时间、摄像头视频段)发送给所述智能终端,在所述智能终端用户认为需要进行陌生人识别的时候,可以设置为开,比如说家里无人的情况下,智能电视摄像头处于监控模式,可以设置为开,此时摄像头捕获陌生人。
也就是说,将人脸识别功能的开关开启,以控制所述摄像头在工作过程中,通过人脸识别检测到不属于已注册的人脸账户中的人脸时,将当前人脸标注为陌生人脸,并将所述陌生人脸的数据信息上传到智慧家庭陪伴服务器的陌生人脸数据库和智能终端;或者将人脸识别功能的开关开启,以所述摄像头在工作过程中,通过人脸识别检测到属于已注册的人脸账户中的人脸时,将当前人脸标注为用户人脸,并将所述用户人脸的数据信息上传到智慧家庭陪伴服务器的用户行为数据库和智能终端。所述陌生人脸和所述用户人脸的数据信息包括:人脸图片、收录时间、当前的视频片段(实时录制)和智能电视当前的应用状态。
步骤S20、若所述摄像头当前处于空闲状态,则获取所述摄像头拍摄的视频流,通过所述预设应用查看根据分析维度生成的人脸数据。
具体过程请参阅图3,其为本发明提供的智慧家庭陪伴方法中步骤S20的流程图。
如图3所示,所述步骤S20包括:
S21、若确认所述摄像头的当前状态处于所述空闲状态,则通过所述智慧家庭陪伴服务器接收所述摄像头拍摄的视频流,以供所述用户通过所述智慧家庭陪伴应用查看所述视频流;
S22、根据所述摄像头使用记录和时长、所述陌生人脸和所述用户人脸的数据信息进行统计分析生成所述人脸数据,通过所述智慧家庭陪伴应用查看所述人脸数据。
具体地,所述用户确认通过所述智慧家庭陪伴服务器授权后,且所述智能终端确认所述摄像头的当前状态处于所述空闲状态时,通过所述智慧家庭陪伴服务器接收所述摄像头拍摄的视频流(即通过所述智慧家庭陪伴服务器获取所述摄像头拍摄的所述视频流后发送至所述智能终端),以供所述用户通过所述智慧家庭陪伴应用查看所述视频流,那么所述用户就可以通过所述视频流进行相关数据分析,例如根据所述摄像头使用记录和时长、所述陌生人脸和所述用户人脸的数据信息、人脸注册用户、应用、时长等数据进行统计分析生成所述人脸数据,通过所述智慧家庭陪伴应用查看所述人脸数据;可以便于知道所述摄像头记录到了哪些人脸,这些人脸做了哪些事情,人脸和人脸之间的互动关系等,便于陪伴者进行数据的统计分析。
步骤S30、若所述摄像头当前处于占用状态,则获取所述摄像头的应用用户场景,根据所述应用用户场景的类型选择对应的陪伴策略。
具体过程请参阅图4,其为本发明提供的智慧家庭陪伴方法中步骤S30的流程图。
如图4所示,所述步骤S30包括:
S31、若所述摄像头的当前状态处于所述占用状态,则获取所述摄像头的所述应用用户场景,分析所述摄像头被占用的应用的信息,并返回用户场景数据给所述智慧家庭陪伴服务;
S32、接收所述智慧家庭陪伴服务根据所述摄像头被占用的状态发送的陪伴策略。
其中,所述应用用户场景指的是所述摄像头的应用软硬件环境,摄像头应用场景指的是当前摄像头硬件处于一个什么状态、摄像头软件处于一个什么状态、智能电视正在使用什么功能。例如摄像头处于开启状态,视频通话正在使用试用摄像头;如摄像头处于开启状态,无摄像头应用使用摄像头,用户正在进行在线视频;陪伴策略正是根据这些场景进行对应的。
其中,所述陪伴策略包括:无扰模式、视频通话模式和留言模式。所述无扰模式为所述摄像头正在被应用使用,接收所述智慧家庭陪伴服务发送的电视画面,对所述电视画面进行人脸识别,得出所述智能电视当前界面前的人脸和当前正在使用的应用;所述视频通话模式为所述摄像头正在被进行电视视频通话,接收所述智慧家庭陪伴服务发送的电视画面,对所述电视画面进行人脸识别,点击请求加入电视视频通话,建立电视视频通话连接;所述留言模式为所述摄像头未捕捉到家庭成员的人脸信息,点击家庭成员的人脸头像进行视频或者语音留言,并通过所述智慧家庭陪伴服务器发送给所述智能电视,当所述摄像头再次捕捉到被留言的用户时,控制所述智能电视播放视频或者语音留言。
具体地,例如所述无扰模式,提示用户所述摄像头正被XX应用使用,是否需要将所述智能电视的画面传回所述智能终端(例如智能手机),如果用户选择是,则智慧家庭陪伴服务开启电视传屏服务,将所述智能电视的画面传回用户所述智能终端,并进行画面的人脸识别,识别当前界面是否具备人脸,人脸是谁(注册用户或陌生人等),正在用什么应用等,用户可以通过这些数据完成用户在无扰模式下的用户陪伴,知道智能电视用户正在用电视干什么,以便制定对应的陪伴策略,供智能终端APP的用户使用。
具体地,例如所述视频通话模式,如果检测到用户正在进行电视视频通话(智能电视有一个应用叫视频通话),通过人脸数据,分析捕获通话的人物信息(谁和谁在通话),可以点击请求加入视频通话的按钮加入视频通话,应用发送视频通话请求给智能电视的视频通话,提醒有新的成员(成员用户信息,头像+姓名)请求加入视频通话,当某一个用户点击接受时,用户加入通话,用户可以在智能电视开启情况下,发送视频通话请求建立通话连接。
具体地,例如所述留言模式,用户通过电视传屏并没有看到想要陪护的家庭成员,或在一定时间内并没有查询到家庭人员的人脸信息(如最近5分钟、10分钟,并没有捕捉到家庭成员的人脸信息等),可以点击家庭人员的人脸头像进行视频或者语音留言(录制视频,视频上传到智慧家庭陪伴服务器),当智能电视再次捕捉到家庭成员的人脸时,从智慧家庭陪伴服务器获取留言视频或语音,在智能电视上进行播放,将视频或语音的播放记录上传到智慧家庭陪伴服务器,用户通过智慧家庭陪伴服务获取到留言阅读的消息。
进一步地,如图5所示,所述用户可以通过所述智能终端在智慧家庭陪伴应用或者小程序或者电脑端的WEB链接来访问所述智能电视的智慧家庭陪伴服务,所述智慧家庭陪伴服务器获取所述智能电视的摄像头的当前状态的信息,并判断所述智能电视的摄像头的当前状态的信息是否被占用,并将判断结果发送给所述智能终端,若所述摄像头的当前状态处于空闲状态,则通过所述智慧家庭陪伴服务器接收所述摄像头拍摄的视频流,以供所述用户通过所述智慧家庭陪伴应用查看所述视频流,并据所述摄像头使用记录和时长、所述陌生人脸和所述用户人脸的数据信息进行统计分析生成所述人脸数据,通过所述智慧家庭陪伴应用查看所述人脸数据;若所述摄像头的当前状态处于所述占用状态,则获取所述摄像头的所述应用用户场景,分析所述摄像头被占用的应用的信息,并返回用户场景数据给所述智慧家庭陪伴服务,然后根据所述摄像头被占用的状态发送的陪伴策略,所述陪伴策略包括:无扰模式(即图5中的电视传屏)、视频通话模式(棘突5中的视频通话)和留言模式(即图5中的人脸识别视频、语音留言)。
本发明中,智慧家庭陪伴服务的类型包括:摄像头监控(陌生人识别、视频监控);儿童陪伴(指定儿童的人脸及儿童的行为,制定儿童电视界面,远程布置作业及语音视频留言等);老人陪伴(摔倒行为识别、定时视频通话等);家庭陪伴,可以方便远程用户通过智能终端发起远程陪伴服务,为用户在家庭陪伴中带来更多的方便。
本发明中,当用户通过智慧家庭陪伴应用远程访问智能电视的智慧家庭陪伴服务时,智慧家庭陪伴服务判断摄像头的状态,如果摄像头正在被别的应用占用,暂时无法提供实时的摄像头视频信息,则判断被占用应用的状态,智慧家庭陪伴服务根据占用摄像头的应用类型不同给予用户不同的处理方式。
进一步地,如图6所示,基于上述智慧家庭陪伴方法,本发明还相应提供了一种智能终端,所述智能终端包括处理器10、存储器20及显示器30。图6仅示出了智能终端的部分组件,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述智能终端的内部存储单元,例如智能终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述智能终端的外部存储设备,例如所述智能终端上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器20还可以既包括所述智能终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述智能终端的应用软件及各类数据,例如所述安装智能终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中,存储器20上存储有智慧家庭陪伴程序40,该智慧家庭陪伴程序40可被处理器10所执行,从而实现本申请中智慧家庭陪伴方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU),微处理器或其他数据处理芯片,用于运行所述存储器20中存储的程序代码或处理数据,例如执行所述智慧家庭陪伴方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。所述显示器30用于显示在所述智能终端的信息以及用于显示可视化的用户界面。所述智能终端的部件10-30通过系统总线相互通信。
在一实施例中,当处理器10执行所述存储器20中智慧家庭陪伴程序40时实现以下步骤:
开启预设应用访问智能电视的智慧家庭陪伴服务,获取所述智能电视的摄像头的当前状态,判断所述摄像头是否处于被占用状态;
若所述摄像头当前处于空闲状态,则获取所述摄像头拍摄的视频流,通过所述预设应用查看根据分析维度生成的人脸数据;
若所述摄像头当前处于占用状态,则获取所述摄像头的应用用户场景,根据所述应用用户场景的类型选择对应的陪伴策略。
其中,所述预设应用为智慧家庭陪伴应用;
所述开启预设应用访问智能电视的智慧家庭陪伴服务,获取所述智能电视的摄像头的当前状态,判断所述摄像头是否处于被占用状态,之前还包括:
所述智慧家庭陪伴应用接收用户的操作指令,并通过所述智慧家庭陪伴服务在所述智能电视上进行人脸账户注册,并接收智慧家庭陪伴服务器授权所述用户访问所述摄像头的授权信息。
其中,所述开启预设应用访问智能电视的智慧家庭陪伴服务,获取所述智能电视的摄像头的当前状态,判断所述摄像头是否处于被占用状态,具体包括:
开启所述智慧家庭陪伴应用,通过所述智慧家庭陪伴应用访问所述智能电视的所述智慧家庭陪伴服务;
接收所述智慧家庭陪伴服务器发送的所述智能电视的摄像头的当前状态的信息,并确认所述摄像头的当前状态;
所述摄像头的状态包括空闲状态和占用状态。
其中,所述开启预设应用访问智能电视的智慧家庭陪伴服务,获取所述智能电视的摄像头的当前状态,判断所述摄像头是否处于被占用状态,之前还包括:
接收用户通过所述智慧家庭陪伴应用发送的访问所述摄像头的访问请求时,判断所述用户是否被授权;
若是,则表示授权通过,并提供智慧家庭陪伴服务;
若否,则表示授权不通过,并接收所述智慧家庭陪伴服务器发送的未授权信息,以提示所述用户。
其中,所述若所述摄像头当前处于空闲状态,则获取所述摄像头拍摄的视频流,通过所述预设应用查看根据分析维度生成的人脸数据,之前还包括:
将人脸识别功能的开关开启,以控制所述摄像头在工作过程中,通过人脸识别检测到不属于已注册的人脸账户中的人脸时,将当前人脸标注为陌生人脸,并将所述陌生人脸的数据信息上传到智慧家庭陪伴服务器的陌生人脸数据库和智能终端;
或者将人脸识别功能的开关开启,以所述摄像头在工作过程中,通过人脸识别检测到属于已注册的人脸账户中的人脸时,将当前人脸标注为用户人脸,并将所述用户人脸的数据信息上传到智慧家庭陪伴服务器的用户行为数据库和智能终端。
其中,所述陌生人脸和所述用户人脸的数据信息包括:人脸图片、收录时间、当前的视频片段和智能电视当前的应用状态。
其中,所述若所述摄像头当前处于空闲状态,则获取所述摄像头拍摄的视频流,通过所述预设应用查看根据分析维度生成的人脸数据,具体包括:
若确认所述摄像头的当前状态处于所述空闲状态,则通过所述智慧家庭陪伴服务器接收所述摄像头拍摄的视频流,以供所述用户通过所述智慧家庭陪伴应用查看所述视频流;
根据所述摄像头使用记录和时长、所述陌生人脸和所述用户人脸的数据信息进行统计分析生成所述人脸数据,通过所述智慧家庭陪伴应用查看所述人脸数据。
其中,所述若所述摄像头当前处于占用状态,则获取所述摄像头的应用用户场景,根据所述应用用户场景的类型选择对应的陪伴策略,具体包括:
若所述摄像头的当前状态处于所述占用状态,则获取所述摄像头的所述应用用户场景,分析所述摄像头被占用的应用的信息,并返回用户场景数据给所述智慧家庭陪伴服务;
接收所述智慧家庭陪伴服务根据所述摄像头被占用的状态发送的陪伴策略;
所述陪伴策略包括:无扰模式、视频通话模式和留言模式。
其中,所述无扰模式为所述摄像头正在被应用使用,接收所述智慧家庭陪伴服务发送的电视画面,对所述电视画面进行人脸识别,得出所述智能电视当前界面前的人脸和当前正在使用的应用;
所述视频通话模式为所述摄像头正在被进行电视视频通话,接收所述智慧家庭陪伴服务发送的电视画面,对所述电视画面进行人脸识别,点击请求加入电视视频通话,建立电视视频通话连接;
所述留言模式为所述摄像头未捕捉到家庭成员的人脸信息,点击家庭成员的人脸头像进行视频或者语音留言,并通过所述智慧家庭陪伴服务器发送给所述智能电视,当所述摄像头再次捕捉到被留言的用户时,控制所述智能电视播放视频或者语音留言。
进一步地,基于上述智慧家庭陪伴方法和智能终端,本发明还提供一种智慧家庭陪伴系统,如图7所示,所述智慧家庭陪伴系统包括智能终端、智能电视(所述智能电视包括摄像头)和智慧家庭陪伴服务器;所述智能终端、所述智慧家庭陪伴服务器和所述智能电视依次建立通信连接。
所述智慧家庭陪伴服务器用于提供所述智能电视与所述智能终端APP的信息存储(用户注册、人脸)、服务(识别陌生人、摄像头权限授权)、数据存储传输(视频存储、传输)的能力;所述智能电视收集到的人脸信息、应用信息、各种视频数据都是通过所述智慧家庭陪伴服务器提供给所述智能终端APP,所述智能终端APP发送给所述智能电视的信息也是通过所述智慧家庭陪伴服务器进行存储发送的。
所述智能终端通过所述智慧家庭陪伴服务器访问所述智能电视的智慧家庭陪伴服务,获取所述智能电视的摄像头的当前状态,判断所述摄像头是否处于被占用状态;若所述摄像头当前处于空闲状态,则获取所述摄像头拍摄的视频流,通过智慧家庭陪伴应用查看根据分析维度生成的人脸数据;若所述摄像头当前处于占用状态,则获取所述摄像头的应用用户场景,根据所述应用用户场景的类型选择对应的陪伴策略。
进一步地,本发明还提供一种计算机可读存储介质,其中,所述计算机可读存储介质存储有智慧家庭陪伴程序,所述智慧家庭陪伴程序被处理器执行时实现如上所述的智慧家庭陪伴方法的步骤。
综上所述,本发明提供一种智慧家庭陪伴方法、系统及智能终端,所述方法包括:开启预设应用访问智能电视的智慧家庭陪伴服务,获取所述智能电视的摄像头的当前状态,判断所述摄像头是否处于被占用状态;若所述摄像头当前处于空闲状态,则获取所述摄像头拍摄的视频流,通过所述预设应用查看根据分析维度生成的人脸数据;若所述摄像头当前处于占用状态,则获取所述摄像头的应用用户场景,根据所述应用用户场景的类型选择对应的陪伴策略。本发明通过智慧家庭陪伴服务判断智能电视的摄像头的占用状态,根据占用摄像头的应用类型不同给予用户不同的陪伴策略,便于用户根据家庭中的场景进行对应的陪伴服务,为用户提供智能化的远程陪伴服务。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
当然,本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关硬件(如处理器,控制器等)来完成,所述的程序可存储于一计算机可读取的计算机可读存储介质中,所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。
应当理解的是,本发明的应用不限于上述的举例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (11)
1.一种智慧家庭陪伴方法,其特征在于,所述智慧家庭陪伴方法包括:
开启预设应用访问智能电视的智慧家庭陪伴服务,获取所述智能电视的摄像头的当前状态,判断所述摄像头是否处于被占用状态;
若所述摄像头当前处于空闲状态,则获取所述摄像头拍摄的视频流,通过所述预设应用查看根据分析维度生成的人脸数据;
若所述摄像头当前处于占用状态,则获取所述摄像头的应用用户场景,根据所述应用用户场景的类型选择对应的陪伴策略;
所述陪伴策略包括:无扰模式、视频通话模式和留言模式;
所述无扰模式为所述摄像头正在被应用使用,接收所述智慧家庭陪伴服务发送的电视画面,对所述电视画面进行人脸识别,得出所述智能电视当前界面前的人脸和当前正在使用的应用;
所述视频通话模式为所述摄像头正在被进行电视视频通话,接收所述智慧家庭陪伴服务发送的电视画面,对所述电视画面进行人脸识别,点击请求加入电视视频通话,建立电视视频通话连接;
所述留言模式为所述摄像头未捕捉到家庭成员的人脸信息,点击家庭成员的人脸头像进行视频或者语音留言,并通过所述智慧家庭陪伴服务器发送给所述智能电视,当所述摄像头再次捕捉到被留言的用户时,控制所述智能电视播放视频或者语音留言。
2.根据权利要求1所述的智慧家庭陪伴方法,其特征在于,所述预设应用为智慧家庭陪伴应用;
所述开启预设应用访问智能电视的智慧家庭陪伴服务,获取所述智能电视的摄像头的当前状态,判断所述摄像头是否处于被占用状态,之前还包括:
所述智慧家庭陪伴应用接收用户的操作指令,并通过所述智慧家庭陪伴服务在所述智能电视上进行人脸账户注册,并接收智慧家庭陪伴服务器授权所述用户访问所述摄像头的授权信息。
3.根据权利要求2所述的智慧家庭陪伴方法,其特征在于,所述开启预设应用访问智能电视的智慧家庭陪伴服务,获取所述智能电视的摄像头的当前状态,判断所述摄像头是否处于被占用状态,具体包括:
开启所述智慧家庭陪伴应用,通过所述智慧家庭陪伴应用访问所述智能电视的所述智慧家庭陪伴服务;
接收所述智慧家庭陪伴服务器发送的所述智能电视的摄像头的当前状态的信息,并确认所述摄像头的当前状态;
所述摄像头的状态包括空闲状态和占用状态。
4.根据权利要求2所述的智慧家庭陪伴方法,其特征在于,所述开启预设应用访问智能电视的智慧家庭陪伴服务,获取所述智能电视的摄像头的当前状态,判断所述摄像头是否处于被占用状态,之前还包括:
接收用户通过所述智慧家庭陪伴应用发送的访问所述摄像头的访问请求时,判断所述用户是否被授权;
若是,则表示授权通过,并提供智慧家庭陪伴服务;
若否,则表示授权不通过,并接收所述智慧家庭陪伴服务器发送的未授权信息,以提示所述用户。
5.根据权利要求3所述的智慧家庭陪伴方法,其特征在于,所述若所述摄像头当前处于空闲状态,则获取所述摄像头拍摄的视频流,通过所述预设应用查看根据分析维度生成的人脸数据,之前还包括:
将人脸识别功能的开关开启,以控制所述摄像头在工作过程中,通过人脸识别检测到不属于已注册的人脸账户中的人脸时,将当前人脸标注为陌生人脸,并将所述陌生人脸的数据信息上传到智慧家庭陪伴服务器的陌生人脸数据库和智能终端;
或者将人脸识别功能的开关开启,以所述摄像头在工作过程中,通过人脸识别检测到属于已注册的人脸账户中的人脸时,将当前人脸标注为用户人脸,并将所述用户人脸的数据信息上传到智慧家庭陪伴服务器的用户行为数据库和智能终端。
6.根据权利要求5所述的智慧家庭陪伴方法,其特征在于,所述陌生人脸和所述用户人脸的数据信息包括:人脸图片、收录时间、当前的视频片段和智能电视当前的应用状态。
7.根据权利要求6所述的智慧家庭陪伴方法,其特征在于,所述若所述摄像头当前处于空闲状态,则获取所述摄像头拍摄的视频流,通过所述预设应用查看根据分析维度生成的人脸数据,具体包括:
若确认所述摄像头的当前状态处于所述空闲状态,则通过所述智慧家庭陪伴服务器接收所述摄像头拍摄的视频流,以供所述用户通过所述智慧家庭陪伴应用查看所述视频流;
根据所述摄像头使用记录和时长、所述陌生人脸和所述用户人脸的数据信息进行统计分析生成所述人脸数据,通过所述智慧家庭陪伴应用查看所述人脸数据。
8.根据权利要求7所述的智慧家庭陪伴方法,其特征在于,所述若所述摄像头当前处于占用状态,则获取所述摄像头的应用用户场景,根据所述应用用户场景的类型选择对应的陪伴策略,具体包括:
若所述摄像头的当前状态处于所述占用状态,则获取所述摄像头的所述应用用户场景,分析所述摄像头被占用的应用的信息,并返回用户场景数据给所述智慧家庭陪伴服务;
接收所述智慧家庭陪伴服务根据所述摄像头被占用的状态发送的陪伴策略。
9.一种智能终端,其特征在于,所述智能终端包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的智慧家庭陪伴程序,所述智慧家庭陪伴程序被所述处理器执行时实现如权利要求1-8任一项所述的智慧家庭陪伴方法的步骤。
10.一种智慧家庭陪伴系统,其特征在于,所述智慧家庭陪伴系统包括如权利要求9所述的智能终端,所述智慧家庭陪伴系统还包括:
智能电视和智慧家庭陪伴服务器;
所述智能终端、所述智慧家庭陪伴服务器和所述智能电视依次建立通信连接;
所述智能终端通过所述智慧家庭陪伴服务器访问所述智能电视的智慧家庭陪伴服务,获取所述智能电视的摄像头的当前状态,判断所述摄像头是否处于被占用状态;若所述摄像头当前处于空闲状态,则获取所述摄像头拍摄的视频流,通过智慧家庭陪伴应用查看根据分析维度生成的人脸数据;若所述摄像头当前处于占用状态,则获取所述摄像头的应用用户场景,根据所述应用用户场景的类型选择对应的陪伴策略;
所述陪伴策略包括:无扰模式、视频通话模式和留言模式;
所述无扰模式为所述摄像头正在被应用使用,接收所述智慧家庭陪伴服务发送的电视画面,对所述电视画面进行人脸识别,得出所述智能电视当前界面前的人脸和当前正在使用的应用;
所述视频通话模式为所述摄像头正在被进行电视视频通话,接收所述智慧家庭陪伴服务发送的电视画面,对所述电视画面进行人脸识别,点击请求加入电视视频通话,建立电视视频通话连接;
所述留言模式为所述摄像头未捕捉到家庭成员的人脸信息,点击家庭成员的人脸头像进行视频或者语音留言,并通过所述智慧家庭陪伴服务器发送给所述智能电视,当所述摄像头再次捕捉到被留言的用户时,控制所述智能电视播放视频或者语音留言。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有智慧家庭陪伴程序,所述智慧家庭陪伴程序被处理器执行时实现如权利要求1-8任一项所述的智慧家庭陪伴方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011521329.4A CN112653864B (zh) | 2020-12-21 | 2020-12-21 | 一种智慧家庭陪伴方法、系统及智能终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011521329.4A CN112653864B (zh) | 2020-12-21 | 2020-12-21 | 一种智慧家庭陪伴方法、系统及智能终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112653864A CN112653864A (zh) | 2021-04-13 |
CN112653864B true CN112653864B (zh) | 2023-07-21 |
Family
ID=75359027
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011521329.4A Active CN112653864B (zh) | 2020-12-21 | 2020-12-21 | 一种智慧家庭陪伴方法、系统及智能终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112653864B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107659608A (zh) * | 2017-07-24 | 2018-02-02 | 北京小豆儿机器人科技有限公司 | 一种基于养老机器人的亲情关怀系统 |
US10531039B1 (en) * | 2018-11-13 | 2020-01-07 | International Business Machines Corporation | Dynamically switching cameras in web conference |
CN110933478A (zh) * | 2019-12-19 | 2020-03-27 | 深圳创维-Rgb电子有限公司 | 一种安防系统 |
CN111491190A (zh) * | 2020-04-03 | 2020-08-04 | 海信视像科技股份有限公司 | 一种双系统摄像头切换控制方法及显示设备 |
CN111815884A (zh) * | 2020-06-17 | 2020-10-23 | 广东以诺通讯有限公司 | 一种移动终端自动拨号报警方法 |
CN112073638A (zh) * | 2020-09-10 | 2020-12-11 | 深圳创维-Rgb电子有限公司 | 摄像头角度控制方法、装置、设备及计算机存储介质 |
CN112073662A (zh) * | 2019-06-10 | 2020-12-11 | 海信视像科技股份有限公司 | 一种显示设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10230880B2 (en) * | 2011-11-14 | 2019-03-12 | Tseng-Lu Chien | LED light has built-in camera-assembly for colorful digital-data under dark environment |
-
2020
- 2020-12-21 CN CN202011521329.4A patent/CN112653864B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107659608A (zh) * | 2017-07-24 | 2018-02-02 | 北京小豆儿机器人科技有限公司 | 一种基于养老机器人的亲情关怀系统 |
US10531039B1 (en) * | 2018-11-13 | 2020-01-07 | International Business Machines Corporation | Dynamically switching cameras in web conference |
CN112073662A (zh) * | 2019-06-10 | 2020-12-11 | 海信视像科技股份有限公司 | 一种显示设备 |
CN110933478A (zh) * | 2019-12-19 | 2020-03-27 | 深圳创维-Rgb电子有限公司 | 一种安防系统 |
CN111491190A (zh) * | 2020-04-03 | 2020-08-04 | 海信视像科技股份有限公司 | 一种双系统摄像头切换控制方法及显示设备 |
CN111815884A (zh) * | 2020-06-17 | 2020-10-23 | 广东以诺通讯有限公司 | 一种移动终端自动拨号报警方法 |
CN112073638A (zh) * | 2020-09-10 | 2020-12-11 | 深圳创维-Rgb电子有限公司 | 摄像头角度控制方法、装置、设备及计算机存储介质 |
Non-Patent Citations (1)
Title |
---|
高清人像抓拍检索系统的设计与实现;顾志松等;《控制工程》;20150720;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112653864A (zh) | 2021-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106231259B (zh) | 监控画面的显示方法、视频播放器及服务器 | |
CN109600519B (zh) | 手机控制方法及系统 | |
WO2018058373A1 (zh) | 用于电子设备的控制方法、装置及电子设备 | |
JP6442751B2 (ja) | 情報処理装置、情報処理システム、制御方法、及びプログラム | |
CN105678872A (zh) | 一种门禁管理系统及其授权方法和门禁终端设备 | |
US20110244829A1 (en) | Device registration method and device registration system | |
KR102237086B1 (ko) | 안면인식 기능에 기초하여 5g 이동통신망의 이용이 가능한 통신 단말기를 통해 영상감시가 가능한 로비폰 제어 장치 및 방법 | |
US20140208340A1 (en) | Dynamic content rating management across a variety of television input sources | |
CN103365957A (zh) | 基于邻近度和连接的照片共享 | |
JP2007158421A (ja) | 監視カメラシステム及び顔画像追跡記録方法 | |
CN107786487B (zh) | 一种信息认证处理方法、系统以及相关设备 | |
CN106022114A (zh) | 应用锁解锁界面的显示方法及装置 | |
CN111935400A (zh) | 执法记录仪的远程管控系统及其工作方法 | |
CN111260833A (zh) | 一种门禁卡的绑定与管理方法及装置 | |
CN113268211B (zh) | 图像获取方法、装置、电子设备及存储介质 | |
JP2008165614A (ja) | 訪問者監視システム | |
CN112653864B (zh) | 一种智慧家庭陪伴方法、系统及智能终端 | |
US20200334356A1 (en) | Apparatus and method for monitoring use history | |
JP2010066990A (ja) | 本人認証サーバ及び本人認証方法 | |
JP2001195446A (ja) | 小型情報機器貸出管理システムおよび小型情報機器、並びに貸出予約方法 | |
CN111667602A (zh) | 一种行车记录仪图像共享方法及系统 | |
CN106095781A (zh) | 恶意网站识别方法及装置 | |
CN106921617A (zh) | 公共设备预约控制方法和装置 | |
JP2004158950A (ja) | 記録映像自動生成システム,記録映像自動生成方法,記録映像自動生成プログラムおよび記録映像自動生成プログラムの記録媒体 | |
JP2004234543A (ja) | 人物の身分確認方法、情報機器、及び人物の身分確認システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |