CN106774797B - 机器人自动节电方法、装置和机器人 - Google Patents
机器人自动节电方法、装置和机器人 Download PDFInfo
- Publication number
- CN106774797B CN106774797B CN201611101458.1A CN201611101458A CN106774797B CN 106774797 B CN106774797 B CN 106774797B CN 201611101458 A CN201611101458 A CN 201611101458A CN 106774797 B CN106774797 B CN 106774797B
- Authority
- CN
- China
- Prior art keywords
- audio
- user
- robot
- power consumption
- behavior pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000006399 behavior Effects 0.000 claims abstract description 249
- 230000000694 effects Effects 0.000 claims abstract description 77
- 230000008859 change Effects 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 26
- 238000013507 mapping Methods 0.000 claims description 23
- 230000009471 action Effects 0.000 claims description 22
- 230000033001 locomotion Effects 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 230000002035 prolonged effect Effects 0.000 abstract description 2
- 206010063385 Intellectualisation Diseases 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 43
- 230000006870 function Effects 0.000 description 12
- 210000003128 head Anatomy 0.000 description 12
- 230000002452 interceptive effect Effects 0.000 description 9
- 230000003542 behavioural effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000001276 controlling effect Effects 0.000 description 6
- 230000007958 sleep Effects 0.000 description 6
- 230000000737 periodic effect Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010411 cooking Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000004851 dishwashing Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/325—Power saving in peripheral device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/329—Power saving characterised by the action undertaken by task scheduling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Toys (AREA)
Abstract
本发明公开了一种机器人自动节电方法、装置和机器人。其中,该方法包括如下步骤:获取本机采集的表征用户行为的音视频流;从所述音视频流的图像流和/或音频流中识别出所述用户的活动行为样式,依据多个所述活动行为样式确定用户的行为规律模型;依据所述行为规律模型确定出预定义的用户在未来预定时间段内的将来行为样式;当所述将来行为样式满足预定的节电控制条件时,调用该节电控制条件所规范的配置信息修改本机耗电配置,以降低本机在单位时间内的耗电量。本发明依据用户的行为样式以调整机器人的耗电配置,从而可节省机器人的电能,延长其续航时间,同时,无需用户主动操作,提升了产品的智能化,用户体验更高。
Description
技术领域
本发明涉及互联网技术领域,更具体地,涉及一种机器人自动节电方法、装置和机器人。
背景技术
智能机器人自诞生以来就深受科学工作者的关注,随着研究工作的开展,智能机器人的应用领域也逐渐拓展。在一种大众化的应用中,智能机器人用作陪护儿童的儿童机器人,这种儿童机器人具有陪儿童聊天、为儿童讲故事、解答儿童的问题等功能,已成为未来人工智能的一种发展趋势。
在使用儿童机器人时,儿童机器人通常是全天候工作,其续航问题一直为业界困扰。然而,孩子与儿童机器人的互动并非是全天候的,孩子也会进行看电视、游戏等其他与儿童机器人无关的活动,此时,儿童机器人并不需要工作,或者可以进行待机工作。而该机器人的摄像头、拾音器通常是实时开启工作的,因此,如何例如上述摄像头或拾音器以确定儿童的行为,并根据儿童的行为调整儿童机器人的工作状态以节省其电力是现有技术亟待解决的技术问题。
发明内容
鉴于上述问题,本发明提出了一种机器人自动节电方法、装置和机器人,可通过识别用户的行为调整机器人的工作状态,进而节省机器人的电能。
根据本发明的第一方面,本发明提供一种机器人自动节电方法,包括如下步骤:获取本机采集的表征用户行为的音视频流;从所述音视频流的图像流和/或音频流中识别出所述用户的活动行为样式,依据多个所述活动行为样式确定用户的行为规律模型;依据所述行为规律模型确定出预定义的用户在未来预定时间段内的将来行为样式;当所述将来行为样式满足预定的节电控制条件时,调用该节电控制条件所规范的配置信息修改本机耗电配置,以降低本机在单位时间内的耗电量。
优选的,所述行为规律模型建立有多个所述的活动行为样式到至少一个所述的将来行为样式之间的映射关系,使得所述将来行为样式的确定,同时取决于多个所述的活动行为样式。
优选的,从所述音视频流的图像流和/或音频流中识别出所述用户的活动行为样式的过程包括如下具体步骤:按照预设时间段从所述图像流和/或音频流中对应提取出图像活动区域的动作特征信息和/或特定频率范围内的关键词信息;对于每个所述的预设时间段,对应依据所述动作特征信息和/或关键词信息查找预构建的映射关系表格,以确定与之相应的所述活动行为样式;以此类推为音视频流确定出多个所述的活动行为样式。
优选的,所述动作特征信息表征人体特定部位的运动规律,所述按照预设时间段从所述图像流提取出图像活动区域的动作特征信息的步骤,具体包括:识别所述图像流中人体特定部位,依据图像流中人体特定部位的像素在所述预设时间段内的位置变化确定该人体特定部位的运动规律。
优选的,所述按照预设时间段从所述音频流中提取出特定频率范围内的关键词信息的步骤,具体包括:对所述音频流进行语义识别,统计所有具有相同含义的词语的出现次数,确定出现次数大于预定次数的具有相同含义的词语为关键词。
优选的,所述节电控制条件规范了符合该条件的将来行为样式及其相对应的用于修改本机耗电配置的配置信息。
优选的,存在多个所述节电控制条件,分别对应于不同的将来行为样式而提供相互独立的所述配置信息,各节电控制条件的配置信息的具体内容彼此不同,以为不同将来行为样式提供不同程度的耗电控制效果的配置。
优选的,还包括后续步骤:定义执行了所述的本机耗电配置的情形为本机的节电模式,在节电模式下,循环执行本方法的各步骤,并控制本机以间断性的方式获取所述的音视频流以节约本机功耗。
优选的,还包括如下步骤:当将来行为样式满足预定的正常运行条件,退出节电模式,循环执行本方法的各个步骤,控制本机实时获取所述音视频流,以回归正常运行模式。
优选的,所述正常运行条件规范了符合该条件的正常行为样式及其相对应的用于修改本机耗电配置的配置信息。
优选的,所述退出节电模式的步骤,具体包括:依据所述正常运行条件所规范的配置信息修改本机耗电配置,以使本机退出所述节电模式。
根据本发明的第二方面,本发明提供一种机器人自动节电装置,包括:获取模块,用于获取本机采集的表征用户行为的音视频流;识别模块,用于从所述音视频流的图像流和/或音频流中识别出所述用户的活动行为样式,依据多个所述活动行为样式确定用户的行为规律模型;确定模块,用于依据所述行为规律模型确定出预定义的用户在未来预定时间段内的将来行为样式;修改模块,用于当所述将来行为样式满足预定的节电控制条件时,调用该节电控制条件所规范的配置信息修改本机耗电配置,以降低本机在单位时间内的耗电量。
优选的,所述行为规律模型建立有多个所述的活动行为样式到至少一个所述的将来行为样式之间的映射关系,使得所述将来行为样式的确定,同时取决于多个所述的活动行为样式。
优选的,所述识别模块包括:音视频提取模块,用于按照预设时间段从所述图像流和/或音频流中对应提取出图像活动区域的动作特征信息和/或特定频率范围内的关键词信息;样式确定模块,用于对于每个所述的预设时间段,对应依据所述动作特征信息和/或关键词信息查找预构建的映射关系表格,以确定与之相应的所述活动行为样式;所述样式确定模块以此类推为音视频流确定出多个所述的活动行为样式。
优选的,所述动作特征信息表征人体特定部位的运动规律;所述音视频提取模块用于识别所述图像流中人体特定部位,依据图像流中人体特定部位的像素在所述预设时间段内的位置变化确定该人体特定部位的运动规律。
优选的,所述音视频提取模块用于对所述音频流进行语义识别,统计所有具有相同含义的词语的出现次数,确定出现次数大于预定次数的具有相同含义的词语为关键词。
优选的,所述节电控制条件规范了符合该条件的将来行为样式及其相对应的用于修改本机耗电配置的配置信息。
优选的,存在多个所述节电控制条件,分别对应于不同的将来行为样式而提供相互独立的所述配置信息,各节电控制条件的配置信息的具体内容彼此不同,以为不同将来行为样式提供不同程度的耗电控制效果的配置。
优选的,还包括:执行模块,用于定义执行了所述的本机耗电配置的情形为本机的节电模式,在节电模式下,循环执行本装置的各步骤,并控制本机以间断性的方式获取所述的音视频流以节约本机功耗。
优选的,还包括:运行模块,用于当将来行为样式满足预定的正常运行条件时,退出节电模式,循环执行本装置的各个步骤,控制本机实时获取所述音视频流,以回归正常运行模式。
优选的,所述正常运行条件规范了符合该条件的正常行为样式及其相对应的用于修改本机耗电配置的配置信息。
优选的,所述运行模块用于依据所述正常运行条件所规范的配置信息修改本机耗电配置,以使本机退出所述节电模式。
根据本发明的第三方面,本发明提供一种机器人,其包括显示屏、存储器和一个或多个处理器,还包括摄像头和/或拾音器,所述一个或多个处理器被配置用于执行上述机器人自动节电方法中的步骤。
相对于现有技术,本发明具有如下技术效果:
1.本发明通过确定用户的将来行为样式以调整机器人的耗电配置,当用户的行为不涉及机器人或者不具有使用机器人的趋势时,控制机器人修改其耗电配置以降低机器人在单位时间内的耗电量。从而可节省机器人的电能,延长其续航时间;
2.本发明通过识别用户的行为以自动调整机器人的耗电配置,无需用户主动操作,提升了产品的智能化,用户体验更高。
本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种实施例的机器人自动节电方法的流程图;
图2为本发明一种实施例的机器人自动节电装置的结构示意图;
图3为本发明一种实施例的机器人的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种机器人自动节电方法,如图1所示,其包括如下步骤:
S101:获取本机采集的表征用户行为的音视频流。
机器人上设有摄像头和拾音器,通过上述摄像头可以采集到包含用户的视频流,通过拾音器采集到包含用户的音频流。上述音视频流记录了用户的行为动作和讲话内容。为了保证所述视频流中包含用户的图像以及所述音频流中包含用户的声音,该机器人具有相应的驱动部件,以驱使机器人可以随用户的移动而移动位置或者转动。
在一种实现方式中,机器人后台运行有预设的监听程序,该监听程序可以监听预设互动进程的运行状态,该互动进程可以是预设的应用程序进程或者系统进程,例如预设的游戏程序进程、视频播放器进程或者系统的语音识别进程。通过监听互动进程对内存的占用量及其改变量或者互动进程的CUP使用率及其改变率可以判断该互动进程的运行状态。通常,互动进程对内存的占用量达到其在被使用时的参考占用量或者其内存占用量的变动大于预定变动范围时,往往说明该进程正在被用户使用,此状态下,互动进程处于使用状态。相应的,互动进程对内存的占用量未达到其在被使用时的参考占用量或者其内存占用量的变动小于预定变动范围时,往往说明该进程未被用户使用,在后台进行闲置运行,此状态下,互动进程处于空闲状态。当监听程序监听到互动进程的运行状态为闲置状态时,处理器发出控制指令,依据该控制指令机器人将启用摄像头和拾音器,以使摄像头和拾音器开启工作,从而对用户(通常是儿童)实施监测,进而获取到相应的音视频流数据。
在另一种实现方式中,机器人的摄像头和拾音器将实时开启工作,而不受处理器的控制指令触发,从而实时对用户的行为进行监测,以获得相应的音视频流数据。可以将上述音视频流数据缓存至机器人的存储器中,当获取条件满足时,可直接从存储器中读取预定时段内的音视频流数据,该预定时段可以是以当前时间为终点的预定时间段。此种实施方式可以减少系统的响应时间,无需传感器即时工作,而是获取已存的行为数据,可提升响应速度。为了减少存储空间的占用,存储器仅存储预定时段内的行为数据,例如仅存储一个小时内的行为数据。当时间超过该预定时段,所存储的上一时段的行为数据将会被删除,转而开始存储下一时段内的行为数据。当然,上述音视频流数据也可以上传至云端服务器,当需要获取相应时段的音视频流数据时,可从该云端服务器中下载获得。
机器人还可以配置红外线传感器、距离传感器、温度计以及其他传感器。具体地,红外线传感器可以感知物体表面温度,进而将物体表面的温度分布相应的包含人体的图像。距离传感器可以检测距离特定物体对象的距离;至于机器人还可配置的陀螺仪、气压计、湿度计等其他传感器,在此不再赘述。上述传感器在摄像头和拾音器工作时,也可以同时协调工作,从而获取更多的表征用户行为或讲话内容的数据。
S102:从所述音视频流的图像流和/或音频流中识别出所述用户的活动行为样式,依据多个所述活动行为样式确定用户的行为规律模型。
基于视觉的行为动作按特征的性质大致可以分为两类,一类是基于三维特征,另一类是二维图像特征。通常而言,三维模型的参数多,训练复杂,计算量大,不太适用于本实施例的家用机器人。相比之下,基于二维图像特征的表示计算相对简单,但其适用于视角相对固定的情况。为了提升数据计算的准确性,机器人应跟随用户的行为动作而改变位置或转动,以调整摄像头的摄像角度,保证用户在图像中的视角相对固定。
鉴于人体的行为活动主要体现在人体的四肢、躯干和头部等部位的动作上,可识别图像流中人体的轮廓,并依照预定的识别算法识别出相应的人体部位,例如手臂、腿、胸、腹、头等部位。每一个部位在图像流中的每一帧图像中都具有相应的像素区域,随着人体行为活动的变化,不同像素区域也在发生不同变化,一定时期内的变化可以反映其变化规律。为此,截取预定时段内的图像流,计算该图像流中各人体部位所对应的像素区域随时间变化时该像素区域在图像中的位置,以依据其位置变化建立相应的位置变化拟合函数,通过该拟合函数,可以确定该人体部位的变化规律。例如,当用户处于站立姿势并同他人讲话时,其腿部、躯干往往处于相对固定的状态,其腿部和躯干的位置变化不明显,因此其呈现位置固定的变化规律。再例如,当用户正坐在沙发上看书时,其腿部、躯干往往处于相对固定的状态,但头部可能周期地转动,手会有周期性地翻动书页的动作,为此,其手臂会呈现周期性摆动的变化规律。
依据上述方式,获得用户所有部位的变化规律,即表征其行为活动特征的行为特征。在一种实现方式中,可预先设定行为特征与活动行为样式的映射关系列表,在该映射关系列表中,同一活动行为样式具有与之相对应的多个行为特征组,同一行为特征组又具有多个行为特征,其中的每一个行为特征组均映射于该活动行为样式。将所确定的各行为特征匹配至该映射关系列表中,即可确定映射于该行为特征的活动行为样式。在一种示例中,用户头部的特征表征用户的面部表情为闭眼,腿部、手、躯体等部位呈相对固定的变化规律,且头部、腿部、手、躯体等部位的像素位置基本处于同一高度,依据上述映射关系列表,可确定用户的活动行为样式为睡觉。在另一种示例中,用户头部的行为特征为周期性转动,手部行为特征为周期性摆动,其躯体和腿处于相对静止的状态,依据映射关系列表中,上述行为数据对应的行为是用户在看书。
在另一些实施例中,也可从音频流中识别出所述用户的活动行为样式。对所述音频流进行语义识别,识别用户的语音内容,并统计所有具有相同含义的词语的出现次数,将出现次数大于预定次数的具有相同含义的词语为确定为关键词。为了提升所确定关键词的准确性,可依据语音的语境,分辨出相应的主语、谓语和宾语等,进而确定语句的主体思想,将该主体思想作为确定关键词的基础。例如,用户的语音信息如下“我们来下棋吧,这是我前天刚买的棋盘,棋子都是木头做的,摸起来很舒服,我们可以下好几盘”。其中,我、我们两个主语具有相同含义,出现了多次,属于关键词之一,棋子、棋盘以及下好几盘都与下棋相关,也反复出现了多次,因而下棋属于关键词之一。
机器人也可预先设定关键词与活动行为样式的映射关系列表,在该映射关系列表中,同一活动行为样式具有与之相对应的多个关键词组,同一关键词组又具有多个关键词,其中的每一个关键词组均映射于该活动行为样式。将所确定的各关键词匹配至该映射关系列表中,即可确定映射于该关键词的活动行为样式。如上例,依据“我们”、“下棋”两个关键词,可以确定用户的活动行为样式为下棋。
在另一个示例中,用户的语音中并未包含其活动行为样式本身,但具有执行该活动行为样式相关的关键词。延续上例,当用户在下象棋时,其语言往往包含有对棋子或走棋的语言描述,例如,“出车”、“跳马”、“将军”等,当上述与活动行为样式相关的专业术语反复出现时,可确定用户的活动行为样式为相应专业术语所针对的活动行为样式。
当然,在另一些实施例中,从所述图像流和音频流中识别出所述用户的活动行为样式,即确定用户的活动行为样式时,结合用户的图像流数据和音频流数据。例如,从所述图像流中确定用户的行为特征为用户的姿势为躺卧,从所述音频流数据中确定当前的环境很安静,没有相应的关键词。从而可以确定用户的活动行为样式为睡觉。本领域技术人员应理解,可结合具体应用场景,从图像流和/或音频流中识别出所述用户的活动行为样式,在此不做赘述。
上述仅确定了用户在预定时间段内的一个活动行为样式,沿用上述方式,确定用户在多个预定时间段内的多个活动行为样式,并依据该多个所述活动行为样式确定用户的行为规律模型。当用户在多个预定时间段内的活动行为样式相同时,确定其行为规律为活动行为样式保持,在将来的预定时间段内,用户将保持当前的活动行为样式。当用户在部分预定时间段内具有第一活动行为样式,从某一时间段开始具有第二活动行为样式,且在余下的时间段内仍然保持该第二活动行为样式,则确定其行为规律为第二活动行为样式保持,在将来的预定时间段内,用户将仍然保持当前的第二活动行为样式。当用户在多预定时间段内的活动行为样式反复多变,且没有变动规律,可确定其行为规律为活动行为样式待定。
S103:依据所述行为规律模型确定出预定义的用户在未来预定时间段内的将来行为样式。
该行为规律模型建立了多个所述的活动行为样式到至少一个所述的将来行为样式之间的映射关系,因而依据该多个所述的活动行为样式,确定所述将来行为样式。当行为规律为活动行为样式保持时,用户的将来行为样式即为当前活动行为样式。当行为规律为第二活动行为样式保持时,用户的将来行为样式即为该第二活动行为样式。其中,多个活动行为样式与将来行为样式之间的映射关系,可以依据多个活动行为样式之间的关联性或连贯性确定,还可以依据用户的历史行为习惯确定。
例如,用户的多个活动行为样式分别是煮饭、炒菜和吃饭,依据上述活动的连贯性,用户的将来行为样式应该是洗碗。再例如,在用户的历史行为中,用户习惯于在睡觉前看书,当用户进行了吃饭、看电视、读书等多个行为活动时,上述行为彼此的关联性不强,但依据用户睡觉前看书的习惯,可以确定用户的将来行为样式为睡觉。
S104:当所述将来行为样式满足预定的节电控制条件时,调用该节电控制条件所规范的配置信息修改本机耗电配置,以降低本机在单位时间内的耗电量。
在确定了用户的将来行为样式后,判断该将来行为样式是否满足预定的节电控制条件,该节电控制条件规范了符合该条件的将来行为样式及其相对应的用于修改本机耗电配置的配置信息。该节电控制条件所规范的将来行为样式具有多个,上述将来行为样式是用户无需使用机器人或用户无需与机器人互动的行为。例如,用户睡觉、看书、看电视、吃饭等,在进行上述行为时,用户不会使用到机器人,此时应让机器人进行节电。
将所确定的将来行为样式与节电控制条件规范的将来行为样式进行比对,判定所确定的用户的将来行为样式是否属于节电控制条件规范的将来行为样式之一,若属于,则需要对机器人进行节电控制,可调用该节电控制条件所规范的配置信息修改本机耗电配置,以降低本机在单位时间内的耗电量。其中,修改耗电配置的方式主要包括调整硬件层面和软件层面的配置。
对于硬件层面的耗电配置,机器人可以降低对显示屏、扬声器、键盘等部件的供电电压,从而降低显示屏亮度、减小扬声器的增益,使得机器人整体硬件处于低功耗状态,从硬件层面的减少机器人的耗电量。对于具有多个CPU或多个显卡的机器人而言,可以转换为使用性能较差、耗电量较低的CPU或显卡。
对于软件层面的耗电配置,由于应用程序的运行需要相应处理器、存储器和/或显卡的运算处理,处理器、存储器和/或显卡的运算过程中会消耗机器人的电量。因此,可以关闭预设应用程序或者清理系统内存。其中,可以关闭的应用程序可以是除系统程序外的其他任意程序,从而在关闭预设应用程序或者清理系统内存时,仅保留系统的最原始功能,可大大减少因应用程序运行而损耗的电量。当然此方式过于绝对,没有考虑用户的使用习惯,对于用户需保留的应用程序,应不做清理。鉴于此,可建立相应的应用程序白名单,该白名单存储了免于清理的应用程序信息。该白名单可由系统建立或者由用户自定义。在关闭预设应用程序或者清理系统内存时,属于该白名单的应用程序将免于清理,仅清理不属于该白名单的应用程序,从而保留了用户需要保留运行的应用程序,提升了用户体验。
通过上述方式降低机器人在单位时间内的耗电量后,将使机器人进入预设的节电模式。该节电模式包括用户自定义的模式,例如用户设定了在降低机器人的耗电配置时仅降低机器人的屏幕亮度,使机器人进入低亮度的使用模式,或者用户仅设定关闭预设应用程序或者清理系统内存,而不降低机器人的屏幕亮度。该节电模式还包括系统预设的待机模式、休眠模式或关机模式。在待机模式下,系统将当前状态保存于内存中,然后退出系统,此时电源消耗降低,仅维持CPU、内存和硬盘等部件的最低限度运行。在休眠模式下,内存中的内容会保存在磁盘上,监视器和硬盘会关闭,同时配置CPU、内存和硬盘等部件以更节能方式运行,以进一步降低机器人的电能消耗。在关机模式下,机器人将自动关机。
当所述将来行为样式不满足预定的节电控制条件,即所确定的将来行为样式与节电控制条件规范的将来行为样式不匹配时,机器人将保持当前的运行状态,不做耗电配置的修改。
在一种实施例中,所述节电控制条件存在多个,分别对应于不同的将来行为样式而提供相互独立的所述配置信息,各节电控制条件的配置信息的具体内容彼此不同,以为不同将来行为样式提供不同程度的耗电控制效果的配置。
由于节电控制条件存在多个,将所确定的用户将来行为样式分别与该多个节电控制条件进行比对,以确定用户将来行为样式满足何种节电控制条件,当用户将来行为样式满足其中一个节电控制条件时,调用该节电控制条件所规范的配置信息以修改本机耗电配置。由于不同节电控制条件具有不同配置信息,因此,如果用户将来行为样式满足节电控制条件,则不同的用户将来行为样式将对应不同的耗电配置。如上述实施例所述,耗电配置主要包括硬件层面和软件层面的配置。
对于硬件层面的耗电配置,不同的耗电配置可以规范对显示屏、扬声器、键盘等部件的不同供电电压,使得上述硬件具有不同的耗电功率,该不同耗电配置还可以规范显示屏、扬声器、键盘等部件的不同放大增益,以改变上述硬件在单位时间内的耗电量。
对于软件层面的耗电配置,不同的耗电配置可以规范不同的需清理的应用程序。例如,一种耗电配置规范了可以关闭的应用程序是除系统程序外的其他任意程序,另一种耗电配置规范了可以关闭的应用程序可以是系统程序和白名单程序之外的应用程序,另一种耗电配置规范了可以关闭的应用程序可以是系统程序和常用程序之外的应用程序。
其中,可依据节电控制条件所规范的行为样式的潜在持续时间确定其耗电配置,行为样式的潜在持续时间越长,耗电配置所对应的耗电量较低,依据耗电配置修改后机器人在单位时间内耗电量越低,行为样式的潜在持续时间越短,耗电配置所对应的耗电量较高,依据耗电配置修改后机器人在单位时间内耗电量相对越高。其中,诸如睡觉、看电视等行为样式,其潜在持续时间相对较长,用户在较长时间内均会保持该行为样式。对于吃饭、运动等行为样式,其潜在持续时间相对较短,用户在将来的时间可能改变该行为样式。可建立节电控制条件所规范的行为样式与耗电配置映射关系表,当用户的行为样式与节电控制条件所规范的行为样式相匹配时,调用该节电控制条件所规范的行为样式所映射的耗电配置,以调整机器人的耗电量。因此,本实施例依据用户的将来行为样式确定不同的耗电配置,进一步丰富了机器人的节电方式,更符合实际需求。
当然,鉴于不同用户的行为习惯有差异,应考虑用户的实际行为习惯以确定节电控制条件所规范的行为样式与耗电配置的映射关系。对于上述节电控制条件所规范的行为样式与耗电配置映射关系表,可设定多个级别的行为样式,每个级别的行为样式具有相应的潜在持续时间范围,且每个级别的行为样式所映射的耗电配置不同。浏览用户的历史行为记录,当用户的某一行为样式的持续时间处于相应的潜在持续时间范围,则该行为样式为潜在持续时间范围所对应的级别。当所确定的用户将来行为样式与某一级别的行为样式相匹配时,则调用该级别所对应的耗电配置。此方式考虑了用户的行为习惯,提升了用户体验,产品更智能化。
在一种实施例中,定义执行了所述的本机耗电配置的情形为本机的节电模式,在节电模式下,循环执行本方法的各步骤,并控制本机以间断性的方式获取所述的音视频流以节约本机功耗。
在进入节电模式后,机器人循环执行上述方法的各步骤,从而实时确定用户的将来行为样式,以调整机器人的耗电配置。当用户的将来行为样式发生变化时,对应修改机器人的耗电配置,以使机器人的耗电配置与用户的行为样式相匹配,从而更符合用户的实际需要。同时,上述摄像头和拾音器并非实时开启工作,而是在特定时间开启工作,其中,上述特定时间具有周期性的时间间隔,从而使摄像头和拾音器周期性仅在特定时间地获取音视频流,例如,每一小时工作5分钟,间隔55分钟后,再工作5分钟,以此循环。因而,摄像头和拾音器将不实时工作,可以减少摄像头和拾音器对机器人电量的消耗。且在获取音视频流之后,执行上述实施例的步骤S102及其后续步骤。
进一步的,还包括如下步骤:当将来行为样式满足预定的正常运行条件,退出节电模式,循环执行本方法的各个步骤,控制本机实时获取所述音视频流,以回归正常运行模式。
摄像头和拾音器周期性地在特定时间获取音视频流,之后,执行上述实施例的步骤S102及其后续步骤,以确定用户的将来行为样式,并判断该将来行为样式是否满足预定的正常运行条件,该正常运行条件规范了符合该条件的正常行为样式及其相对应的用于修改本机耗电配置的配置信息。该正常运行条件所规范的将来行为样式具有多个,上述将来行为样式是用户需使用机器人或用户需与机器人互动的行为。例如,用户将走向机器人或者用户的语音中包含表征其将使用机器人的信息,当上述行为发生时,用户将使用到机器人,此时应让机器人退出节电模式。当将来行为样式与正常运行条件所规范的行为样式相匹配时,退出节电模式,循环执行上述实施例的各步骤。在执行上述步骤时,控制本机实时获取所述音视频流,以使机器人回归正常运行模式。
其中,上述退出节电模式的步骤,具体包括:依据所述正常运行条件所规范的配置信息修改本机耗电配置,以使本机退出所述节电模式。通过正常运行条件所规范的配置信息修改本机耗电配置,以使本机硬件的耗电配置恢复最初的设置,例如,对显示屏、扬声器、键盘等部件的供电电压恢复到原有电压,对于具有多个CPU或多个显卡的机器人而言,恢复使用原有CPU或显卡。当机器人处于待机模式时,读取内存中保留的数据,使系统恢复原有状态。当机器人处于休眠模式时,读取磁盘上相应的缓存数据,开启监视器和硬盘,同时配置CPU、内存和硬盘等部件以正常方式运行,从而使机器人回归正常模式。
在一种实施例中,步骤S104之后,还包括如下步骤:接收用户的操作指令,调整本机的耗电配置以使本机脱离节电模式。
在机器人进入节电模式后,若用户需要继续使用机器人,可以对机器人实施相应的操作指令,进而触发机器人调整自身的耗电配置,使自身耗电配置恢复至原有配置,从而脱离节电模式。上述的操作指令可以是对预设物理按键或虚拟按键的触压操作,例如,长按机器人上的某一数字键。该操作指令还可以是预设的头部动作或手势,具体而言,在进入节电模式后,距离传感器仍然开启工作,当其检测到人体靠近时,触发摄像头开启指令,以使机器人的摄像头开启,用户可作出预定的头部动作或手势,例如摇摇头或者摆摆手,机器人可以识别该头部动作或手势,当该头部动作或手势与预定的头部动作或手势相匹配时,触发机器人脱离当前节电模式。该操作指令还可以是用户的语音关键字,具体而言,在进入节电模式后,拾音器仍然开启工作,用户可靠近机器人,对机器人讲话,例如用户说出“我要使用机器人”,拾音器可采集到用户的语音数据,机器人对用户的语音进行语义识别,提取出相应的关键字,当该关键字与预定的关键字相匹配时,触发机器人脱离当前节电模式。
通过上述实施方式,可以使机器人快速脱离节电模式,以供用户使用。同时,简化了用户的操作方式,可进一步提升用体验。
本发明还提供一种机器人自动节电装置,如图2所示,其包括:
获取模块201,用于获取本机采集的表征用户行为的音视频流;
识别模块202,用于从所述音视频流的图像流和/或音频流中识别出所述用户的活动行为样式,依据多个所述活动行为样式确定用户的行为规律模型;
确定模块203,用于依据所述行为规律模型确定出预定义的用户在未来预定时间段内的将来行为样式;
修改模块204,用于当所述将来行为样式满足预定的节电控制条件时,调用该节电控制条件所规范的配置信息修改本机耗电配置,以降低本机在单位时间内的耗电量。
在一种实施例中,所述行为规律模型建立有多个所述的活动行为样式到至少一个所述的将来行为样式之间的映射关系,使得所述将来行为样式的确定,同时取决于多个所述的活动行为样式。
在一种实施例中,所述识别模块202包括:
音视频提取模块,用于按照预设时间段从所述图像流和/或音频流中对应提取出图像活动区域的动作特征信息和/或特定频率范围内的关键词信息;
样式确定模块,用于对于每个所述的预设时间段,对应依据所述动作特征信息和/或关键词信息查找预构建的映射关系表格,以确定与之相应的所述活动行为样式;
所述样式确定模块以此类推为音视频流确定出多个所述的活动行为样式。
在一种实施例中,所述动作特征信息表征人体特定部位的运动规律;所述音视频提取模块用于识别所述图像流中人体特定部位,依据图像流中人体特定部位的像素在所述预设时间段内的位置变化确定该人体特定部位的运动规律。
在一种实施例中,所述音视频提取模块用于对所述音频流进行语义识别,统计所有具有相同含义的词语的出现次数,确定出现次数大于预定次数的具有相同含义的词语为关键词。
在一种实施例中,所述节电控制条件规范了符合该条件的将来行为样式及其相对应的用于修改本机耗电配置的配置信息。
在一种实施例中,存在多个所述节电控制条件,分别对应于不同的将来行为样式而提供相互独立的所述配置信息,各节电控制条件的配置信息的具体内容彼此不同,以为不同将来行为样式提供不同程度的耗电控制效果的配置。
在一种实施例中,还包括:执行模块,用于定义执行了所述的本机耗电配置的情形为本机的节电模式,在节电模式下,循环执行本装置的各步骤,并控制本机以间断性的方式获取所述的音视频流以节约本机功耗。
在一种实施例中,还包括:运行模块,用于当将来行为样式满足预定的正常运行条件时,退出节电模式,循环执行本装置的各个步骤,控制本机实时获取所述音视频流,以回归正常运行模式。
在一种实施例中,所述正常运行条件规范了符合该条件的正常行为样式及其相对应的用于修改本机耗电配置的配置信息。
在一种实施例中,所述运行模块用于依据所述正常运行条件所规范的配置信息修改本机耗电配置,以使本机退出所述节电模式。
有关上述机器人自动节电装置实施例的具体说明,可以参见上述机器人自动节电方法部分的实施例,在此不做赘述。
本发明实施例还提供本发明实施例的机器人的结构如图3所示,该机器人包括:射频(Radio Frequency,RF)电路110、存储器120、输入单元130、显示单元140、传感器150、音频电路160、无线保真(wireless fidelity,Wi-Fi)模块170、处理器180、以及电源190等部件。本领域技术人员可以理解,图3中示出的机器人的结构并不构成对机器人的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图3对机器人的各个构成部件进行具体的介绍:
RF电路110可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器180处理;另外,将设计上行的数据发送给基站。通常,RF电路110包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier,LNA)、双工器等。此外,RF电路110还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication,GSM)、通用分组无线服务(General Packet RadioService,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
存储器120可用于存储软件程序以及模块,处理器180通过运行存储在存储器120的软件程序以及模块,从而执行机器人的各种功能应用以及数据处理。存储器120可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据机器人的使用所创建的数据(比如音频数据、图像数据)等。此外,存储器120可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元130可用于接收输入的数字或字符信息,以及产生与机器人的用户设置以及功能控制有关的键信号输入。具体地,输入单元130可包括触控面板131以及其他输入设备132。触控面板131,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板131上或在触控面板131附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板131可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器180,并能接收处理器180发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板131。除了触控面板131,输入单元130还可以包括其他输入设备132。具体地,其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元140可用于显示由用户输入的信息或提供给用户的信息以及机器人的各种菜单。显示单元140可包括显示面板141,可选的,可以采用液晶显示器(Liquid CrystalDisplay,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板141。进一步的,触控面板131可覆盖显示面板141,当触控面板131检测到在其上或附近的触摸操作后,传送给处理器180以确定触摸事件的类型,随后处理器180根据触摸事件的类型在显示面板141上提供相应的视觉输出。虽然在图3中,触控面板131与显示面板141是作为两个独立的部件来实现机器人的输入和输入功能,但是在某些实施例中,可以将触控面板131与显示面板141集成而实现机器人的输入和输出功能。
音频电路160、扬声器161,传声器162可提供用户与机器人之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号,传输到扬声器161,由扬声器161转换为声音信号输出;另一方面,传声器162将收集的声音信号转换为电信号,由音频电路160接收后转换为音频数据,再将音频数据输出处理器180处理后,经RF电路110以发送给比如另一机器人,或者将音频数据输出至存储器120以便进一步处理。
Wi-Fi属于短距离无线传输技术,机器人通过Wi-Fi模块170可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图3示出了Wi-Fi模块170,但是可以理解的是,其并不属于机器人的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器180是机器人的控制中心,利用各种接口和线路连接整个机器人的各个部分,通过运行或执行存储在存储器120内的软件程序和/或模块,以及调用存储在存储器120内的数据,执行机器人的各种功能和处理数据,从而对机器人进行整体监控。可选的,处理器180可包括一个或多个处理单元;优选的,处理器180可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器180中。
机器人还可包括至少一种传感器150,比如光传感器、声音传感器、红外线传感器、距离传感器、温度计以及其他传感器。具体地,光传感器可包括图像传感器,如CCD(电荷耦合器件)等,其用于感知周围的光信号,把光学影像转化为电信号,经编码转化后形成图像。声音传感器可以感知周围声音,并将模拟的语音信号转换为语音数据。红外线传感器可以感知物体表面温度,进而将物体表面的温度分布转换成人眼可见的图像。距离传感器可以检测距离特定物体对象的距离;至于机器人还可配置的陀螺仪、气压计、湿度计等其他传感器。上述光传感器具体可以是摄像头,声音传感器可以是拾音器等。
处理器180被配置用于执行上述机器人自动节电方法部分实施例中的各步骤,其具体实现过程可参考机器人自动节电方法部分的实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁盘或光盘等。
以上对本发明所提供的一种机器人进行了详细介绍,对于本领域的一般技术人员,依据本发明实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (21)
1.一种机器人自动节电方法,其特征在于,包括如下步骤:
获取本机采集的表征用户行为的音视频流,其中,所述音视频流包括音频流和图像流,所述音频流中包括用户的声音,所述图像流中包括用户的图像;
从所述音视频流的图像流和/或音频流中识别出所述用户的活动行为样式,依据多个所述活动行为样式确定用户的行为规律模型;其中,所述行为规律模型建立有多个所述的活动行为样式到至少一个将来行为样式之间的映射关系,使得所述将来行为样式的确定,同时取决于多个所述的活动行为样式;
依据所述行为规律模型确定出预定义的用户在未来预定时间段内的将来行为样式;
当所述将来行为样式满足预定的节电控制条件时,调用该节电控制条件所规范的配置信息修改本机耗电配置,以降低本机在单位时间内的耗电量。
2.根据权利要求1所述的方法,其特征在于:
从所述音视频流的图像流和/或音频流中识别出所述用户的活动行为样式的过程包括如下具体步骤:
按照预设时间段从所述图像流和/或音频流中对应提取出图像活动区域的动作特征信息和/或特定频率范围内的关键词信息;
对于每个所述的预设时间段,对应依据所述动作特征信息和/或关键词信息查找预构建的映射关系表格,以确定与之相应的所述活动行为样式;
以此类推为音视频流确定出多个所述的活动行为样式。
3.根据权利要求2所述的方法,其特征在于:
所述动作特征信息表征人体特定部位的运动规律,所述按照预设时间段从所述图像流提取出图像活动区域的动作特征信息的步骤,具体包括:
识别所述图像流中人体特定部位,依据图像流中人体特定部位的像素在所述预设时间段内的位置变化确定该人体特定部位的运动规律。
4.根据权利要求2所述的方法,其特征在于:
所述按照预设时间段从所述音频流中提取出特定频率范围内的关键词信息的步骤,具体包括:
对所述音频流进行语义识别,统计所有具有相同含义的词语的出现次数,确定出现次数大于预定次数的具有相同含义的词语为关键词。
5.根据权利要求1所述的方法,其特征在于:
所述节电控制条件规范了符合该条件的将来行为样式及其相对应的用于修改本机耗电配置的配置信息。
6.根据权利要求5所述的方法,其特征在于:
存在多个所述节电控制条件,分别对应于不同的将来行为样式而提供相互独立的所述配置信息,各节电控制条件的配置信息的具体内容彼此不同,以为不同将来行为样式提供不同程度的耗电控制效果的配置。
7.根据权利要求1所述的方法,其特征在于,还包括后续步骤:
定义执行了所述的本机耗电配置的情形为本机的节电模式,在节电模式下,循环执行本方法的各步骤,并控制本机以间断性的方式获取所述的音视频流以节约本机功耗。
8.根据权利要求7所述的方法,其特征在于,还包括如下步骤:
当将来行为样式满足预定的正常运行条件,退出节电模式,循环执行本方法的各个步骤,控制本机实时获取所述音视频流,以回归正常运行模式。
9.根据权利要求8所述的方法,其特征在于:
所述正常运行条件规范了符合该条件的正常行为样式及其相对应的用于修改本机耗电配置的配置信息。
10.根据权利要求9所述的方法,其特征在于:
所述退出节电模式的步骤,具体包括:依据所述正常运行条件所规范的配置信息修改本机耗电配置,以使本机退出所述节电模式。
11.一种机器人自动节电装置,其特征在于,包括:
获取模块,用于获取本机采集的表征用户行为的音视频流,其中,所述音视频流包括音频流和图像流,所述音频流中包括用户的声音,所述图像流中包括用户的图像;
识别模块,用于从所述音视频流的图像流和/或音频流中识别出所述用户的活动行为样式,依据多个所述活动行为样式确定用户的行为规律模型;其中,所述行为规律模型建立有多个所述的活动行为样式到至少一个将来行为样式之间的映射关系,使得所述将来行为样式的确定,同时取决于多个所述的活动行为样式;
确定模块,用于依据所述行为规律模型确定出预定义的用户在未来预定时间段内的将来行为样式;
修改模块,用于当所述将来行为样式满足预定的节电控制条件时,调用该节电控制条件所规范的配置信息修改本机耗电配置,以降低本机在单位时间内的耗电量。
12.根据权利要求11所述的装置,其特征在于,所述识别模块包括:
音视频提取模块,用于按照预设时间段从所述图像流和/或音频流中对应提取出图像活动区域的动作特征信息和/或特定频率范围内的关键词信息;
样式确定模块,用于对于每个所述的预设时间段,对应依据所述动作特征信息和/或关键词信息查找预构建的映射关系表格,以确定与之相应的所述活动行为样式;
所述样式确定模块以此类推为音视频流确定出多个所述的活动行为样式。
13.根据权利要求12所述的装置,其特征在于:
所述动作特征信息表征人体特定部位的运动规律;
所述音视频提取模块用于识别所述图像流中人体特定部位,依据图像流中人体特定部位的像素在所述预设时间段内的位置变化确定该人体特定部位的运动规律。
14.根据权利要求12所述的装置,其特征在于:
所述音视频提取模块用于对所述音频流进行语义识别,统计所有具有相同含义的词语的出现次数,确定出现次数大于预定次数的具有相同含义的词语为关键词。
15.根据权利要求11所述的装置,其特征在于:
所述节电控制条件规范了符合该条件的将来行为样式及其相对应的用于修改本机耗电配置的配置信息。
16.根据权利要求15所述的装置,其特征在于:
存在多个所述节电控制条件,分别对应于不同的将来行为样式而提供相互独立的所述配置信息,各节电控制条件的配置信息的具体内容彼此不同,以为不同将来行为样式提供不同程度的耗电控制效果的配置。
17.根据权利要求11所述的装置,其特征在于,还包括:
执行模块,用于定义执行了所述的本机耗电配置的情形为本机的节电模式,在节电模式下,循环执行本装置的各步骤,并控制本机以间断性的方式获取所述的音视频流以节约本机功耗。
18.根据权利要求17所述的装置,其特征在于,还包括:
运行模块,用于当将来行为样式满足预定的正常运行条件时,退出节电模式,循环执行本装置的各个步骤,控制本机实时获取所述音视频流,以回归正常运行模式。
19.根据权利要求18所述的装置,其特征在于:
所述正常运行条件规范了符合该条件的正常行为样式及其相对应的用于修改本机耗电配置的配置信息。
20.根据权利要求19所述的装置,其特征在于:
所述运行模块用于依据所述正常运行条件所规范的配置信息修改本机耗电配置,以使本机退出所述节电模式。
21.一种机器人,其特征在于:
包括显示屏、存储器和一个或多个处理器,还包括摄像头和/或拾音器,所述一个或多个处理器被配置用于执行权利要求1-10任意一项所述的机器人自动节电方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611101458.1A CN106774797B (zh) | 2016-12-02 | 2016-12-02 | 机器人自动节电方法、装置和机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611101458.1A CN106774797B (zh) | 2016-12-02 | 2016-12-02 | 机器人自动节电方法、装置和机器人 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106774797A CN106774797A (zh) | 2017-05-31 |
CN106774797B true CN106774797B (zh) | 2021-01-12 |
Family
ID=58883530
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611101458.1A Active CN106774797B (zh) | 2016-12-02 | 2016-12-02 | 机器人自动节电方法、装置和机器人 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106774797B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107486863B (zh) * | 2017-08-18 | 2020-04-17 | 南京阿凡达机器人科技有限公司 | 一种基于感知的机器人主动交互方法 |
CN108717525A (zh) * | 2018-05-09 | 2018-10-30 | 北京学之途网络科技有限公司 | 一种信息处理方法、装置、计算机存储介质及终端 |
CN108804598A (zh) * | 2018-05-29 | 2018-11-13 | 王妃 | 云图分布式视频分类方法 |
CN108762176B (zh) * | 2018-06-11 | 2020-06-19 | 深圳市百创网络科技有限公司 | 智能家装巡检机器人节能调控方法及系统 |
CN109522799A (zh) * | 2018-10-16 | 2019-03-26 | 深圳壹账通智能科技有限公司 | 信息提示方法、装置、计算机设备和存储介质 |
CN110989831B (zh) * | 2019-11-15 | 2021-04-27 | 歌尔股份有限公司 | 音频设备的控制方法、音频设备及存储介质 |
CN117329454B (zh) * | 2023-09-11 | 2024-09-24 | 深圳市博铭维技术股份有限公司 | 管网检测方法、装置、终端设备以及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1487871A (zh) * | 2001-10-22 | 2004-04-07 | 索尼公司 | 机器人装置及其控制方法 |
CN105353631A (zh) * | 2015-11-25 | 2016-02-24 | 小米科技有限责任公司 | 调整工作模式的方法及装置 |
CN106022294A (zh) * | 2016-06-01 | 2016-10-12 | 北京光年无限科技有限公司 | 一种面向智能机器人的人机交互方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI564791B (zh) * | 2015-05-19 | 2017-01-01 | 卡訊電子股份有限公司 | 播音控制系統、方法、電腦程式產品及電腦可讀取紀錄媒體 |
-
2016
- 2016-12-02 CN CN201611101458.1A patent/CN106774797B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1487871A (zh) * | 2001-10-22 | 2004-04-07 | 索尼公司 | 机器人装置及其控制方法 |
CN105353631A (zh) * | 2015-11-25 | 2016-02-24 | 小米科技有限责任公司 | 调整工作模式的方法及装置 |
CN106022294A (zh) * | 2016-06-01 | 2016-10-12 | 北京光年无限科技有限公司 | 一种面向智能机器人的人机交互方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN106774797A (zh) | 2017-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106774797B (zh) | 机器人自动节电方法、装置和机器人 | |
CN106303029B (zh) | 一种画面的旋转控制方法、装置及移动终端 | |
US20150141150A1 (en) | Task execution method, apparatus and system | |
CN111025922B (zh) | 一种目标设备控制方法及电子设备 | |
CN107767839B (zh) | 亮度调节方法及相关产品 | |
CN108876878B (zh) | 头像生成方法及装置 | |
CN109712621A (zh) | 一种语音交互控制方法及终端 | |
CN109358923A (zh) | 一种虚拟机器人形象的呈现方法及装置 | |
CN106558088B (zh) | 生成gif文件的方法及装置 | |
WO2018108174A1 (zh) | 界面互动组件控制方法、装置及可穿戴设备 | |
CN108009288B (zh) | 食谱推送方法及装置 | |
CN110174993A (zh) | 一种显示控制方法、终端设备及计算机可读存储介质 | |
CN108319329A (zh) | 一种显示控制方法、柔性屏终端及计算机可读存储介质 | |
CN107577332A (zh) | 一种耗电控制方法、移动终端及计算机可读存储介质 | |
WO2018149213A1 (zh) | 拼图式任务实施控制方法和装置 | |
CN109324837A (zh) | 一种游戏运行方法、终端及计算机可读存储介质 | |
CN108600544A (zh) | 一种单手控制方法及终端 | |
CN109819167A (zh) | 一种图像处理方法、装置和移动终端 | |
CN110362185B (zh) | 屏幕亮度调节的控制方法、终端及计算机可读存储介质 | |
CN111515970B (zh) | 一种互动方法、拟态机器人和相关装置 | |
CN109545321A (zh) | 一种策略推荐方法及装置 | |
CN109547633A (zh) | 一种提醒方法、终端及计算机可读存储介质 | |
CN109862172A (zh) | 一种屏幕参数的调节方法及终端 | |
CN112060080A (zh) | 一种机器人的控制方法、装置、终端设备及存储介质 | |
CN109166164A (zh) | 一种表情图片的生成方法及终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240115 Address after: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park) Patentee after: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park) Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Patentee before: Qizhi software (Beijing) Co.,Ltd. |
|
TR01 | Transfer of patent right |