CN111416759A - 智能家居设备及控制方法 - Google Patents
智能家居设备及控制方法 Download PDFInfo
- Publication number
- CN111416759A CN111416759A CN202010230358.9A CN202010230358A CN111416759A CN 111416759 A CN111416759 A CN 111416759A CN 202010230358 A CN202010230358 A CN 202010230358A CN 111416759 A CN111416759 A CN 111416759A
- Authority
- CN
- China
- Prior art keywords
- image
- system load
- load level
- image processing
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例提供了一种智能家居设备及控制方法,智能家居设备包括:摄像模组,用于拍摄图像;控制器,用于根据系统负载水平调整图像处理算法,根据调整后的图像处理算法从图像中识别出被测对象。智能家居设备还可包括:摄像模组,用于拍摄图像;控制器,用于根据系统负载水平调整摄像模组的图像拍摄质量,通过图像处理算法从图像拍摄质量调整后拍摄的图像中识别出被测对象。智能家居设备的控制方法包括:通过摄像模组拍摄图像;获取系统负载水平;根据系统负载水平对图像处理算法进行调整;根据调整后的图像处理算法从图像中识别出被测对象。本申请提高了系统方案与系统性能的匹配性。
Description
技术领域
本申请涉及智能家居技术领域,尤其涉及一种智能家居设备及控制方法。
背景技术
随着家电智能化越来越普及,各种基于机器视觉和人工智能技术的智能应用场景已经非常普遍。一种常见的智能应用场景如老人儿童看护场景下,通过具有摄像功能的智能家居设备拍摄室内图像,基于机器视觉领域的AI技术如人脸识别技术,从室内图像中识别出被看护的老人或儿童。相关技术中,智能家居设备内的系统方案,如摄像头、控制器、内存等硬件方案和图像处理算法如人脸识别算法等软件方案,通常是经过系统联调和适配确定的整体方案,一旦系统方案中的某项技术性能指标发生变动,如控制器升级为性能更好的元件,或者更改为成本更低、性能略差的元件,则原先的整体方案将无法达到较为理想的系统性能,需要重新对整体方案进行评估和改造,而整体方案改造存在难度大、周期长、成本高等问题,不利于智能家居设备的升级换代。
发明内容
在智能家居设备的设计阶段,智能家居设备内的系统方案达到的技术效果是设计阶段确定的技术效果。当智能家居设备上市后,硬件方案或软件方案可能会随着用户需求变化等原因需要进行变动,此时,设计阶段确定的系统方案往往需要技术人员重新评估和改造。
为解决上述技术问题,本申请提供了一种智能家居设备及控制方法。
本发明的第一实施例中提供的智能家居设备,包括:摄像模组,用于拍摄图像;控制器,与所述摄像模组连接,用于根据系统负载水平调整图像处理算法,根据调整后的图像处理算法从所述图像中识别出被测对象。
本发明的第一实施例中提供的智能家居设备中,控制器被配置为:采集系统负载参数;将系统负载参数与负载因子阈值范围进行比较,得到负载因子评估系数;根据负载参数权重将所述负载因子系数进行加权,得到综合因子评估系数;将所述综合因子评估系数与综合因子阈值范围进行比较,得到系统负载水平。
本发明的第一实施例中提供的智能家居设备,其中,控制器根据系统负载水平调整图像处理算法,包括:根据系统负载水平高于预设负载水平,降低图像处理性能;根据系统负载水平低于所述预设负载水平,增强所述图像处理性能。
本发明的第一实施例中提供的智能家居设备,其中,控制器降低图像处理性能,包括:判断所述图像处理算法的图像数据帧采集频率是否高于第一容忍度限值;如果所述图像处理算法的图像数据帧采集频率高于所述第一容忍度限值,降低所述图像数据帧采集频率。
本发明的第一实施例中提供的智能家居设备,其中,控制器降低所述图像数据帧采集频率,包括:获取所述图像数据帧采集频率的下一级频率;将所述图像数据帧采集频率设置为所述下一级频率。
本发明的第二实施例中提供的智能家居设备,包括:摄像模组,用于拍摄图像;控制器,与所述摄像模组连接,用于根据系统负载水平调整所述摄像模组的图像拍摄质量,通过图像处理算法从图像拍摄质量调整后拍摄的图像中识别出被测对象。
本发明的第二实施例中提供的智能家居设备,其中,控制器根据系统负载水平调整所述摄像模组的图像拍摄质量,包括:根据系统负载水平高于预设负载水平,降低所述图像拍摄质量;根据系统负载水平低于所述预设负载水平,提高所述图像拍摄质量。
本发明的第二实施例中提供的智能家居设备,其中,控制器降低所述图像拍摄质量,包括:判断所述摄像模组的图像拍摄质量是否高于第二容忍度限值;如果所述摄像模组的图像拍摄质量高于所述第二容忍度限值,降低所述摄像模组的图像拍摄质量。
本发明的第二实施例中提供的智能家居设备,其中,控制器降低所述图像拍摄质量,包括:所述控制器降低图像分辨率、图像码流和图像压缩率中的任意一种或多种。
本发明的第三实施例中提供的智能家居设备的控制方法,用于智能家居设备,所述智能家居设备包括摄像模组和控制器,包括:通过摄像模组拍摄图像;获取系统负载水平;根据所述系统负载水平对图像处理算法进行调整;根据调整后的图像处理算法从所述图像中识别出被测对象。
本发明的第四实施例中提供的智能家居设备的控制方法,用于智能家居设备,所述智能家居设备包括摄像模组和控制器,包括:通过摄像模组拍摄图像;获取系统负载水平;根据系统负载水平调整摄像模组的图像拍摄质量;从图像拍摄质量调整后拍摄的图像中识别出被测对象。
本申请提供的应用于智能家居设备的控制方法及系统的有益效果包括:
本申请实施例根据智能家居设备的硬件方案和软件方案不匹配时系统负载水平通常会偏高或偏低的技术原理,通过对摄像模组拍摄图像后的系统负载水平进行分析,根据系统负载水平调整图像处理算法或摄像模组的图像拍摄质量,使智能家居设备的软件方案自动适配当前的硬件方案,解决了软件方案与硬件方案不适配导致系统方案无法达到较佳的系统性能的问题,有利于达到系统性能、算法效能、硬件平台能力的最大化。本申请通过自动调整系统方案,解决了智能家居设备升级换代后需要重新设计整体方案的问题,有利于后续对智能家居设备的扩展维护,降低了维护成本、缩减了二次开发周期。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种智能看护设备的应用场景示意图;
图2为本申请实施例提供的一种自适应及适配调节机制的系统架构示意图;
图3为本申请实施例提供的一种智能家居设备的控制方法的流程示意图;
图4为本申请实施例提供的一种系统负载水平的获取方法的流程示意图;
图5为本申请实施例提供的另一种智能家居设备的控制方法的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
第一方面,本实施例提供了一种智能家居设备,智能家居设备基于机器视觉技术,能够拍摄图像,通过AI算法进行图像处理,识别出图像中的物体或人体,以实现相应的功能。例如,在用户家中这一智能应用场景下,智能家居设备如智能冰箱,可拍摄冰箱内部的图像,从图像中识别出食材,进而可进行食材管理;智能家居设备如智能看护设备,可拍摄室内的图像,从图像中识别出老人或儿童,进而可实现对老人或儿童的看护;智能家居设备如智能电视,可拍摄室内的图像,从图像中识别出用户,进而可实现对智能电视的体感控制等操作。
本实施例以智能看护设备为例对本申请技术方案进行介绍,需要说明的是,本申请技术方案也可应用于其他智能家居设备如智能冰箱、智能电视等。图1示出了一种智能看护设备的应用场景示意图,如图1所示,智能看护设备100设置有摄像模组和控制器103,摄像模组为双目摄像模组,其中一个摄像头为彩色摄像头101,能够拍摄室内的RGB图像,另一个摄像头为深度摄像头102,能够拍摄与RGB图像对应的深度图像。控制器103与双目摄像模组连接,控制器103可基于人脸识别算法对RGB图像进行AI人脸识别,得出RGB图像中需要被看护的老人或儿童,结合深度图像测量老人或儿童与智能看护设备100之间的距离,从而实现对老人或儿童在室内的定位,进一步的,智能看护设备100还可基于其他AI算法实现相应功能,如基于危险品识别算法识别RGB图像中可能对被看护对象带来安全隐患的危险品的功能,本实施例以人脸识别算法为例进行介绍,针对的被测对象是人体。
控制器103可将根据双目摄像模组得到的图像处理结果通过消息推送的方式发送到云平台200,云平台200与智能通信终端300通信连接,用户可通过智能通信终端300上的在云平台200上注册账号,并将账号与智能看护设备100进行绑定。云平台200可将图像处理结果发送到对应账号的智能通信终端300,供用户查看,进而实现智能场景控制。在一些实施例中,智能看护设备100还可与智能通信终端300通信连接,使用户能够直接通过智能通信终端300获取智能看护设备100的数据。
由于智能看护设备100的硬件方案如双目摄像模组的图像采集指标,智能看护设备100的软件方案如控制器103的图像处理方法需要适配成一个匹配的整体方案才能稳定运行,因此,相关技术中,智能看护设备100的整体方案为固化的方案,这将导致无论智能看护设备100的设计厂家将硬件方案和软件方案中的任一方案进行更改,都需要重新设计一整体方案,而整体方案存在设计难度大、周期长、成本高的技术问题,如果不更换整体方案,将会使智能看护设备100无法发挥出新更换的硬件方案或软件方案的技术优势。在一些实施例中,控制器103还可将RGB图像和深度图像上传到云平台200,通过云平台200进行图像处理,得到图像处理结果,在该实施例中,智能看护设备100和云平台200组成的看护系统同样存在上述技术问题。
为解决上述技术问题,本实施例通过对控制器103或云平台设置自适应及适配调节机制,使智能看护设备100或看护系统在优化后能够达到系统性能、算法效能、硬件平台能力达到最大化,且方便后续扩展维护,降低了成本、缩减了二次开发周期。
以控制器103进行图像分析为例,自适应及适配调节机制的系统架构如图2所示,包括硬件层、图像处理层、云平台和智能通信终端,其中,图像处理层包括AI场景及算法应用模块、负载评估模块、算法自适配调节模块、数据采集反馈控制模块、云平台和智能通信终端。
硬件层包括摄像模组,可按照一定帧率,如30fps拍摄图像,得到连续的图像数据帧。
设备控制驱动层,与硬件层连接,可根据控制器103调节硬件层的图像拍摄质量。
负载评估模块,可获取系统负载参数,根据系统负载参数评估系统负载水平。系统负载参数可包括GPU占用率、内存占用率和IO占用率。负载评估模块内设置有单项指标负载评级算法和综合加权算法,其中,单项指标负载评级算法能够对每项负载参数进行评级,分别确定每项负载参数的负载水平;综合加权算法能够对多项负载参数的负载水平进行加权计算,以确定系统负载水平。
AI场景及算法应用模块,分别与负载评估模块、设备控制驱动层、算法自适配调节模块、数据采集反馈控制模块和云平台连接。AI场景及算法应用模块可从负载评估模块获取系统负载水平。AI场景及算法应用模块内设置有AI算法,如人脸识别算法,可从图像中识别出人脸。AI场景及算法应用模块可将系统负载水平发送到算法自适配调节模块和数据采集反馈控制模块。
算法自适配调节模块可根据系统负载水平对AI算法进行调整,调整方法包括数据降帧模式管理,降帧模式管理可降低图像数据帧的采集频率,如将连续获取图像数据帧调整为间隔一定数量的图像数据帧获取图像数据帧。算法自适配调节模块还可进行容忍度边界管理,避免图像数据帧的获取帧率过低。
数据采集反馈控制模块可根据系统负载水平对摄像模组的图像拍摄质量进行调整,调整方法包括分辨率、画质管理,如将摄像模组拍摄图像的尺寸设置为低分辨率,码率、压缩率等画质因素设置为较低水平。数据采集反馈控制模块也可进行容忍度边界管理,避免图像拍摄质量过低。数据采集反馈控制模块可与算法自适配调节模块相配合,共同调节系统负载水平。
可见,自适应及适配调节机制通过分析系统负载水平,根据系统负载水平对图像处理过程和/或图像拍摄进行调节,避免系统负载水平过高或过低。系统负载水平过高的原因可能是硬件方案达不到软件方案的要求,过低的原因可能是软件方案不能发挥出硬件方案的性能,可见,本申请通过分析系统负载水平,对图像处理和/或图像采集进行调节,使软件方案能够与硬件方案自适应及适配。
为对自适应及适配调节机制做进一步描述,第二方面,本实施例示出了一种应用于智能家居设备的控制方法,如图3所示,该方法包括以下步骤:
步骤S110:通过摄像模组拍摄图像。
摄像模组可在控制器的控制下拍摄室内的图像,得到连续的图像数据帧。
步骤S120:获取系统负载水平。
摄像模组在拍摄图像后,控制器会根据当前的图像处理算法对图像进行处理,如果图像处理算法性能较差,处理图像将对导致系统负载水平大幅升高,甚至会使智能家居设备出现系统卡顿、无响应的问题;如果图像处理算法性能较优,处理图像不会导致系统负载水平的明显升高,此时的系统负载水平可能与处理图像之前的系统负载水平相近,均为较低的负载水平。根据上述技术原理,可获取系统负载水平,进而判断系统的软件方案与硬件方案是否相适应。
系统负载水平基于系统负载参数确定,控制器在获取各项系统负载参数后,可通过单项指标负载评级算法评估每项系统负载参数,再利用综合加权算法评估系统负载水平。图4示出了一种系统负载水平的获取方法的流程示意图,包括步骤S210-S230。
步骤S210:将系统负载参数与负载因子阈值范围进行比较,得到负载因子评估系数。
如果智能看护设备内设置的控制器能够执行进行基于AI人脸识别的图像处理算法,则通过控制器采集智能看护设备的系统负载参数,如GPU并发数及负荷程度、内存占用率、IO负载等;如果智能看护设备内设置的控制器不能够执行基于AI人脸识别的图像处理算法,需要将双目摄像模组采集的图像数据帧发送到云平台,通过云平台执行基于AI人脸识别的图像处理算法,则通过控制器和云平台分别采集各自的系统负载参数,本实施例以智能看护设备的控制器能够执行图像处理算法为例进行介绍,对于需要云平台执行图像处理算法的情况,可参考该实施例对后续步骤做出适应性调整。
负载因子阈值范围可为占用比例范围,不同的占用比例范围设置为不同的参数等级,不同系统负载参数可设置为相同的各参数等级,也可设置为不同的各参数等级,各参数等级分别对应一个负载因子评估系数。
例如,对于使用Nvida Xavier平台开发板作为控制器的智能看护设备,可预先设置其中的一个系统负载参数为GPU占用率,设置GPU占用率的负载因子阈值范围分别为0~19%,20%~59%,60%~79%,80%~100%,对应的参数等级依次为轻负荷、一般负荷、中度负荷、超负荷,对应的负载因子评估系数依次为0.4、0.6、0.8、1。其中,GPU占用率可为多核占用率,例如,轻负荷、一般负荷、中度负荷、超负荷对应的多核占用率依次为8核GPU中的4核GPU占用率为0~19%、8核GPU中的4核GPU占用率为20~59%、8核GPU中的4核GPU占用率为60%~79%、8核GPU中的6核GPU占用率为80%~100%。当然,GPU占用率也可为总占用率,具体可根据智能看护设备控制器的GPU架构进行设置。
同理,对其他负载参数也可预先设置负载因子阈值范围、参数等级和负载因子评估系数。
分别采集智能看护设备的各项系统负载参数,对于每一项系统负载参数,将其与该项系统负载参数的各负载因子阈值范围分别进行比较,确定该项系统负载参数所属的负载因子阈值范围,进而得到该项系统负载参数的负载因子评估系数。
步骤S220:根据负载参数权重将负载因子系数进行加权,得到综合因子评估系数。
负载参数权重是指各项负载参数所占的权重,由于不同的图像处理算法依赖的硬件可能不同,因此,可对不同的图像处理算法设置不同的负载参数权重,对于同一种图像处理算法,对硬件的依赖程度可能也会随着图像处理算法的升级等原因发生变化,因此,也可对负载参数权重进行调整,以适应图像处理算法的升级。
例如,对于人脸识别算法这一图像处理算法,其识别算法的模型训练及运算严重依赖于GPU浮点运算能力,且该算法用到的原始视频采集数据占用系统内存非常大,容易导致系统内存占用比率过高,系统内存占用比率过高会对系统的整体性能产生负面影响,例如会导致系统级服务任务被阻塞、外部设备终端的响应即时性变差、系统的核心部件长时间高负载水平运行进而导致温升迅速增加等问题,但该识别算法模型对IO部分依赖程度较小,过高的IO负载并不会影响人脸识别算法的性能,基于此分析,可对GPU占用、内存、IO辅助以5、4、1的权重比例进行综合评级。以标识GPU因子系数,β标识内存因子系数,θ标识IO因子系数,则综合因子评估系数Δ的加权公式为:
控制器将系统的各项负载因子系数按照加权公式,如(1)式进行加权,可得到综合因子评估系数。
步骤S230:将综合因子评估系数与综合因子阈值范围进行比较,得到系统负载评级。
综合因子阈值范围是针对图像处理算法设置的系统负载水平的参考范围,例如,对于人脸识别算法,可设置综合因子阈值范围对应的系统性能水平如下:
表1
综合加权系数 | >0.8 | 0.8~0.6 | 0.6~0.4 | <0.4 |
负载评级 | 超负荷 | 中度负荷 | 一般负荷 | 轻负荷 |
表1中,综合加权系数大于0.8代表当前的系统负载评级为超负荷,综合加权系数为0.8~0.6代表当前的系统负载评级为中度负荷,综合加权系数为0.6~0.4代表当前的系统负载评级为一般负荷,综合加权系数小于0.4代表当前的系统负载评级为轻负荷。进一步的,可将一般负荷或轻负荷设置为正常负载等级。
计算出综合因子评估系数后,根据表1可得到当前的系统负载评级为正常负载等级还是大于正常负载等级还是小于正常负载等级。
步骤S130:根据系统负载水平对图像处理算法进行调整。
在一种情况下,当前的系统负载评级高于正常负载等级,为保障系统正常运行,需要使系统调节到合理的负载水平。
根据系统负载评级高于正常负载等级,可降低图像处理性能,使人脸识别算法的计算能力降低,从而使系统负载降低。降低图像处理性能的方式包括降低图像数据帧采集频率,例如,通过数据降帧模式管理,将AI算法由连续帧运算模式调节为跳帧运算模式,其中,连续帧运算模式是指对每一图像数据帧都进行分析,跳帧运算模式是指间隔一定数量的图像数据帧进行分析,即每隔一定数量的图像数据帧采集一图像数据帧进行分析,将这一定数量的图像数据帧进行丢弃,从而减轻图像处理算法的计算能力。例如,一种连续帧运算模式对应的图像数据帧是30fps,则每一秒处理30帧数据,一种跳帧运算模式是间隔6帧进行分析,则每一秒处理5帧数据。
如果在跳帧运算模式下,系统负载评级仍然高于正常负载等级,则可增大图像数据帧的丢弃数量,以继续降低负载水平。预先可设置跳帧运算模式对应多级依次降低的图像数据帧采集频率,当需要降低图像数据帧采集频率时,获取当前图像数据帧采集频率的下一级频率,将当前图像数据帧采集频率设置为下一级频率,其中,下一级频率小于上一级频率。例如,连续帧运算模式对应的下一级频率为5帧/秒,如果每一秒处理5帧数据的情况下系统负载评级仍然高于正常负载等级,则将图像数据帧采集频率设置为5帧/秒的下一级频率,如2.5帧/秒,即间隔12帧进行分析。
通常情况下,图像数据帧的采集超过30fps,对应的图像数据帧的处理间隔,即图像处理时延约为30ms,这个数量级下的图像处理时延,对于图像处理算法,如人脸识别算法的响应时间及准确度不产生明显影响。但是,当数据帧采集频率过低时,会使丢弃的图像数据帧过多,则可能带来识别响应不及时、不准确,导致用户体验变差的问题。例如当每一秒仅保留一帧时,图像处理时延的数量级可能是秒级的,会导致用户体验非常差。对于图像处理时延过大带来的问题,可通过容忍度边界管理来避免,例如,预先根据联调得到的用户体验数据限定一个最大可以容忍的时延,从而确定丢弃数据帧级别,以达到一个符合用户体验的图像数据帧采集频率,将其确定为容忍度边界,该容忍度边界称为第一容忍度限值,当控制器判定图像数据帧采集频率高于第一容忍度限值时,可增大图像数据帧的丢弃数量;当控制器判定图像数据帧采集频率低于或等于第一容忍度限值时,则不再增大图像数据帧的丢弃数量,而是采用其他方式降低负载水平,以保障用户体验。
在另一种情况下,当前的系统负载评级低于正常负载等级,为发挥出智能看护设备硬件的性能,可通过增强图像处理性能的方式增强图像处理算法的计算能力,从而得到更好的图像处理效果。
根据系统负载评级低于正常负载等级,可增强图像处理性能,如增强图像数据帧采集频率,例如,控制器可将AI算法由跳帧运算模式调节为连续帧运算模式,为避免连续帧运算模式可能会导致系统负载过高,可逐级提高图像数据帧采集频率,如果系统负载一直未达到正常负载等级,再提至连续帧运算模式对应的图像数据帧采集频率。
当AI算法的模式处于连续帧运算模式时,如果系统负载仍然未达到正常负载等级,控制器可采用其他方式提高负载水平,以发挥出智能看护设备硬件的性能。
步骤S140:根据调整后的图像处理算法从所述图像中识别出被测对象。
调整后的图像处理算法,如调整后的人脸识别算法,能够将系统负载水平调整至较为理想的水平,在此负载水平下,能够充分发挥AI算法和硬件层的性能,获得良好的被测对象识别效果。
在一些实施例中,本申请提供了自适应及适配调节机制的另一种实现方式,如图5所示,该应用于智能家居设备的控制方法包括以下步骤:
步骤S310:通过摄像模组拍摄图像。
该步骤可参见步骤S210,在此不再赘述。
步骤S320:获取系统负载水平。
系统负载水平的获取方法可参见图4,在此不再赘述。
步骤S330:根据系统负载水平调整摄像模组的图像拍摄质量。
在一种情况下,当前的系统负载评级高于正常负载等级,可降低图像拍摄质量。
通过调整图像处理算法依赖的因素也可使系统负载降低,例如,图像处理算法依赖的因素包括图像拍摄质量,图像拍摄质量越高,则图像处理算法的工作量越大,系统负载越高,图像拍摄质量越低,则图像处理算法的工作量越小,系统负载越低。
降低图像拍摄质量的方式包括降低图像分辨率、降低图像码流、降低图像压缩率等,通过控制图像数据帧采集端的图像拍摄质量,使得图像数据帧的图像数据占用系统内存变小,从而降低系统负载。图像拍摄质量可设置为多个级别,可逐级降低图像拍摄质量。
例如,当用户设置或默认的图像拍摄质量分辨率为1080P,当控制器检测到系统负载处于超负载状态时,可对图像数据帧采集端进行图像分辨率的调整,将视频分辨率从1080P降低到下一级尺寸,如720P,以减小系统负载。
当图像拍摄质量较差时,如视频分辨率为480P或更低尺寸,将会影响到图像处理算法的准确性,影响用户体验。通过设置图像拍摄质量的容忍度边界,可避免图像拍摄质量过差,该容忍度边界称为第二容忍度限值。还是以视频分辨率为率,可设置第二容忍度限值为480P,如果图像拍摄质量为480P,则不再继续降低图像拍摄质量,而是采用其他方式降低负载水平,以保障用户体验。
在另一种情况下,当前的系统负载评级低于正常负载等级,可提高图像拍摄质量。
如果当前的系统负载评级低于正常负载等级,为发挥出智能看护设备硬件的性能,控制器可通过提高图像拍摄质量得到更好的图像处理效果。
提高图像拍摄质量的方式包括提高图像分辨率、提高图像码流、提高图像压缩率等,通过控制图像数据帧采集端的图像拍摄质量,使得人脸识别算法的准确性更高。图像拍摄质量可设置为多个级别,可逐级提高图像拍摄质量。
当图像拍摄质量达到最高级别时,如果系统负载仍然未达到正常负载等级,控制器可采用其他方式提高负载水平,以发挥出智能看护设备硬件的性能。
步骤S340:从图像拍摄质量调整后拍摄的图像中识别出被测对象。
在摄像模组的图像拍摄质量调整后,可获取调整后的摄像模组拍摄的图像,再根据AI算法从该图像中识别出被测物体。
在一些实施例中,可结合图4和图5示出的两种方法调整系统负载水平,例如,在系统负载评级高于正常负载等级时,可先按照步骤S130降低图像处理性能,如果图像数据帧采集频率低于或等于第一容忍度限值时,系统负载评级仍然高于正常负载等级,可再按照步骤S330降低图像拍摄质量。反之,在系统负载评级低于正常负载等级时,可先按照步骤S130提高图像处理性能,如果在连续帧模式下,系统负载评级仍然低于正常负载等级,可再按照步骤S330提高图像拍摄质量。
第三方面,本实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,所述计算机程序被执行时实现第二方面所述的智能家居设备的控制方法。
由上述实施例可见,本申请实施例根据智能家居设备的硬件方案和软件方案不匹配时系统负载水平通常会偏高或偏低的技术原理,通过对摄像模组拍摄图像后的系统负载水平进行分析,根据系统负载水平调整图像处理算法或摄像模组的图像拍摄质量,使智能家居设备的软件方案自动适配当前的硬件方案,解决了软件方案与硬件方案不适配导致系统方案无法达到较佳的系统性能的问题,有利于达到系统性能、算法效能、硬件平台能力的最大化。本申请通过自动调整系统方案,解决了智能家居设备升级换代后需要重新设计整体方案的问题,有利于后续对智能家居设备的扩展维护,降低了维护成本、缩减了二次开发周期。
由于以上实施方式均是在其他方式之上引用结合进行说明,不同实施例之间均具有相同的部分,本说明书中各个实施例之间相同、相似的部分互相参见即可。在此不再详细阐述。
需要说明的是,在本说明书中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或暗示这些实体或操作之间存在任何这种实际的关系或顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的电路结构、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种电路结构、物品或者设备所固有的要素。在没有更多限制的情况下,有语句“包括一个……”限定的要素,并不排除在包括所述要素的电路结构、物品或者设备中还存在另外的相同要素。
本领域技术人员在考虑说明书及实践这里发明的公开后,将容易想到本申请的其他实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由权利要求的内容指出。
以上所述的本申请实施方式并不构成对本申请保护范围的限定。
Claims (10)
1.一种智能家居设备,其特征在于,包括:
摄像模组,用于拍摄图像;
控制器,与所述摄像模组连接,用于根据系统负载水平调整图像处理算法,根据调整后的图像处理算法从所述图像中识别出被测对象。
2.根据权利要求1所述的智能家居设备,其特征在于,所述控制器被配置为:
采集系统负载参数;
将系统负载参数与负载因子阈值范围进行比较,得到负载因子评估系数;
根据负载参数权重将所述负载因子系数进行加权,得到综合因子评估系数;
将所述综合因子评估系数与综合因子阈值范围进行比较,得到系统负载水平。
3.根据权利要求1所述的智能家居设备,其特征在于,所述控制器根据系统负载水平调整图像处理算法,包括:
根据系统负载水平高于预设负载水平,降低图像处理性能;
根据系统负载水平低于所述预设负载水平,增强所述图像处理性能。
4.根据权利要求3所述的智能家居设备,其特征在于,所述控制器降低图像处理性能,包括:
判断所述图像处理算法的图像数据帧采集频率是否高于第一容忍度限值;
如果所述图像处理算法的图像数据帧采集频率高于所述第一容忍度限值,降低所述图像数据帧采集频率。
5.根据权利要求4所述的智能家居设备,其特征在于,所述控制器降低所述图像数据帧采集频率,包括:
获取所述图像数据帧采集频率的下一级频率;
将所述图像数据帧采集频率设置为所述下一级频率。
6.一种智能家居设备,其特征在于,包括:
摄像模组,用于拍摄图像;
控制器,与所述摄像模组连接,用于根据系统负载水平调整所述摄像模组的图像拍摄质量,通过图像处理算法从图像拍摄质量调整后拍摄的图像中识别出被测对象。
7.根据权利要求6所述的智能家居设备,其特征在于,所述控制器根据系统负载水平调整所述摄像模组的图像拍摄质量,包括:
根据系统负载水平高于预设负载水平,降低所述图像拍摄质量;
根据系统负载水平低于所述预设负载水平,提高所述图像拍摄质量。
8.根据权利要求7所述的智能家居设备,其特征在于,所述控制器降低所述图像拍摄质量,包括:
判断所述摄像模组的图像拍摄质量是否高于第二容忍度限值;
如果所述摄像模组的图像拍摄质量高于所述第二容忍度限值,降低所述摄像模组的图像拍摄质量。
9.根据权利要求8所述的智能家居设备,其特征在于,所述控制器降低所述图像拍摄质量,包括:所述控制器降低图像分辨率、图像码流和图像压缩率中的任意一种或多种。
10.一种智能家居设备的控制方法,用于智能家居设备,所述智能家居设备包括摄像模组和控制器,其特征在于,包括:
通过摄像模组拍摄图像;
获取系统负载水平;
根据所述系统负载水平对图像处理算法进行调整;
根据调整后的图像处理算法从所述图像中识别出被测对象。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010230358.9A CN111416759A (zh) | 2020-03-27 | 2020-03-27 | 智能家居设备及控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010230358.9A CN111416759A (zh) | 2020-03-27 | 2020-03-27 | 智能家居设备及控制方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111416759A true CN111416759A (zh) | 2020-07-14 |
Family
ID=71493366
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010230358.9A Pending CN111416759A (zh) | 2020-03-27 | 2020-03-27 | 智能家居设备及控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111416759A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113568742A (zh) * | 2021-07-22 | 2021-10-29 | 四川英得赛克科技有限公司 | 一种文件压缩方法、装置、系统、电子设备及存储介质 |
CN116055897A (zh) * | 2022-08-25 | 2023-05-02 | 荣耀终端有限公司 | 拍照方法及其相关设备 |
CN116347229A (zh) * | 2022-12-21 | 2023-06-27 | 荣耀终端有限公司 | 图像拍摄的方法及电子设备 |
CN117956264A (zh) * | 2024-03-26 | 2024-04-30 | 荣耀终端有限公司 | 拍摄方法、电子设备、存储介质和程序产品 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170104980A1 (en) * | 2015-02-24 | 2017-04-13 | HypeVR | Lidar stereo fusion live action 3d model video reconstruction for six degrees of freedom 360° volumetric virtual reality video |
CN107509025A (zh) * | 2017-07-26 | 2017-12-22 | 维沃移动通信有限公司 | 一种拍照控制方法及移动终端 |
CN110769257A (zh) * | 2018-07-25 | 2020-02-07 | 北京深鉴智能科技有限公司 | 智能视频结构化分析装置、方法和系统 |
-
2020
- 2020-03-27 CN CN202010230358.9A patent/CN111416759A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170104980A1 (en) * | 2015-02-24 | 2017-04-13 | HypeVR | Lidar stereo fusion live action 3d model video reconstruction for six degrees of freedom 360° volumetric virtual reality video |
CN107509025A (zh) * | 2017-07-26 | 2017-12-22 | 维沃移动通信有限公司 | 一种拍照控制方法及移动终端 |
CN110769257A (zh) * | 2018-07-25 | 2020-02-07 | 北京深鉴智能科技有限公司 | 智能视频结构化分析装置、方法和系统 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113568742A (zh) * | 2021-07-22 | 2021-10-29 | 四川英得赛克科技有限公司 | 一种文件压缩方法、装置、系统、电子设备及存储介质 |
CN113568742B (zh) * | 2021-07-22 | 2024-04-19 | 四川英得赛克科技有限公司 | 一种文件压缩方法、装置、系统、电子设备及存储介质 |
CN116055897A (zh) * | 2022-08-25 | 2023-05-02 | 荣耀终端有限公司 | 拍照方法及其相关设备 |
CN116055897B (zh) * | 2022-08-25 | 2024-02-27 | 荣耀终端有限公司 | 拍照方法及其相关设备 |
CN118175436A (zh) * | 2022-08-25 | 2024-06-11 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
CN116347229A (zh) * | 2022-12-21 | 2023-06-27 | 荣耀终端有限公司 | 图像拍摄的方法及电子设备 |
CN116347229B (zh) * | 2022-12-21 | 2024-03-15 | 荣耀终端有限公司 | 图像拍摄的方法及电子设备 |
CN117956264A (zh) * | 2024-03-26 | 2024-04-30 | 荣耀终端有限公司 | 拍摄方法、电子设备、存储介质和程序产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111416759A (zh) | 智能家居设备及控制方法 | |
US10878543B2 (en) | Group management method, terminal, and storage medium | |
CN110136071B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
US9142032B2 (en) | Method and apparatus for implementing motion detection | |
CN109905711B (zh) | 一种图像的处理方法、系统及终端设备 | |
JP5555221B2 (ja) | 着目物の適応的な色モデル・パラメータ推定に係る方法および装置 | |
CN105516720B (zh) | 一种监控摄像机码流的自适应控制方法 | |
WO2021244440A1 (zh) | 电视画质调整方法、装置和系统及电视机设备 | |
CN111182352B (zh) | 一种视频播放的自适应码流控制装置及方法 | |
CN105100637A (zh) | 一种图像处理方法及电子设备 | |
CN105078407A (zh) | 用以取得主体的生命体征的装置与方法 | |
CN115145525A (zh) | 屏幕亮度调节模型训练方法及装置、存储介质及电子设备 | |
CN115239578A (zh) | 图像处理方法及装置、计算机可读存储介质、终端设备 | |
CN111385571B (zh) | 一种超长图像组码率控制方法及装置 | |
CN108966005B (zh) | 一种视频分辨率的调节方法、装置、存储介质及终端 | |
CN113727085B (zh) | 一种白平衡处理方法、电子设备、芯片系统和存储介质 | |
US11716541B2 (en) | Image capturing apparatus, method of controlling image capturing apparatus, system, and non-transitory computer-readable storage medium | |
CN110312074A (zh) | 图像采集方法及电子设备 | |
US8503822B2 (en) | Image quality evaluation system, method, and program utilizing increased difference weighting of an area of focus | |
CN111970501A (zh) | 纯色场景ae色彩处理方法、装置、电子设备及存储介质 | |
CN109672829B (zh) | 图像亮度的调整方法、装置、存储介质及终端 | |
US20220191507A1 (en) | Method and circuit system for compressing video signals based on adaptive compression rate | |
CN115379128A (zh) | 曝光控制方法及装置、计算机可读介质和电子设备 | |
CN112788364B (zh) | 码流动态调整装置、方法及计算机可读存储介质 | |
JP5110161B2 (ja) | 画像補正装置、画像補正プログラムおよび画像補正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200714 |
|
RJ01 | Rejection of invention patent application after publication |