CN111414885A - 智能家居设备、服务器及图像处理方法 - Google Patents

智能家居设备、服务器及图像处理方法 Download PDF

Info

Publication number
CN111414885A
CN111414885A CN202010231729.5A CN202010231729A CN111414885A CN 111414885 A CN111414885 A CN 111414885A CN 202010231729 A CN202010231729 A CN 202010231729A CN 111414885 A CN111414885 A CN 111414885A
Authority
CN
China
Prior art keywords
algorithm library
controller
image
algorithm
library
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010231729.5A
Other languages
English (en)
Inventor
刘波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Group Co Ltd
Hisense Co Ltd
Original Assignee
Hisense Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Co Ltd filed Critical Hisense Co Ltd
Priority to CN202010231729.5A priority Critical patent/CN111414885A/zh
Publication of CN111414885A publication Critical patent/CN111414885A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供了一种智能家居设备、服务器及图像处理方法，智能家居设备包括：摄像模组，用于拍摄图像；控制器，用于根据用户的图像处理目标，从多个AI算法库中确定目标算法库，根据目标算法库的能力集，对图像进行AI处理，得到处理结果，其中，AI算法库由控制器从服务器下载并根据预设规范进行算法库配置。本申请实施例可根据服务器中发布了新算法库，对智能家居设备内的AI算法库进行更新和配置，控制器可直接调用新算法库对摄像模组拍摄的图像进行处理，而不需对原AI算法库和系统架构进行改造，避免了改造难度大、周期长、成本高等问题，极大的提升了系统的兼容性和维护成本、缩减了二次开发周期。

Description

智能家居设备、服务器及图像处理方法
技术领域
本申请涉及智能家居技术领域，尤其涉及一种智能家居设备、服务器及图像处理方法。
背景技术
随着家电智能化越来越普及，各种基于机器视觉和人工智能技术的智能应用场景已经非常普遍。一种常见的智能应用场景如老人儿童看护场景下，通过具有摄像功能的智能家居设备拍摄室内图像，基于机器视觉领域的AI技术如人脸识别技术，从室内图像中识别出被看护的老人或儿童。相关技术中，智能家居设备内的AI算法库基于硬编码的系统架构进行设计，扩展能力差，一旦智能家居设备需要增加或删除智能化应用场景时，需要对原AI算法库进行修改，或对系统架构进行改造，以引入新的算法库。无论是对原AI算法库进行修改还是对系统架构进行改造，都将容易引入新的系统漏洞，降低原AI算法库的功能稳定性，使很多原有功能需要重新调试，需要耗费巨大的人力和时间重新进行系统评估和立项设计，以改造原有的智能家居设备，改造难度大、周期长、成本高。
发明内容
在智能家居设备的设计阶段，智能家居设备内的AI算法库达到的技术效果是设计阶段确定的技术效果。当智能家居设备上市一段时间后，智能家居设备内的AI算法库可能无法继续满足用户需求。
为解决上述技术问题，本申请提供了一种智能家居设备、服务器及图像处理方法。
本发明的第一实施例中提供的智能家居设备，包括：摄像模组，用于拍摄图像；控制器，与所述摄像模组连接，用于根据用户的图像处理目标，从多个AI算法库中确定目标算法库，根据所述目标算法库的能力集，对所述图像进行AI处理，得到处理结果，其中，所述AI算法库由所述控制器从服务器下载并根据预设规范进行算法库配置。
本发明的第一实施例中提供的智能家居设备中，控制器被配置为：判断所述服务器中是否存在区别于所述控制器的新算法库；
如果所述服务器中存在区别于所述控制器的新算法库，将所述新算法库下载到所述控制器的预设算法库存储路径下；
将所述新算法库存储路径下的新算法库进行算法库配置。
本发明的第一实施例中提供的智能家居设备，其中，控制器将所述新算法库存储路径下的新算法库进行算法库配置，包括：
遍历所述存储路径下的全部算法库，得到所述新算法库；
判断所述新算法库是否符合预设规范；
如果所述新算法库符合预设规范，获取所述新算法库的配置信息，所述配置信息包括属性信息、版本号信息和能力集信息；
根据所述配置信息进行算法库配置，所述算法库配置包括能力集配置和使能状态配置。
本发明的第一实施例中提供的智能家居设备，其中，控制器还被配置为：
对所述图像进行预处理；
通过统一算法库集成接口获取预处理后的图像；
对所述预处理后的图像进行图像校验。
本发明的第一实施例中提供的智能家居设备，其中，所述控制器根据用户的图像处理目标，从多个算法库中确定目标算法库，包括：
将用户的图像处理目标对应的算法库设置为使能状态；
将所述控制器内使能状态的算法库确定为目标算法库。
本发明的第一实施例中提供的智能家居设备，其中，所述控制器还被配置为：将所述处理结果通过统一云端对接接口发送到所述服务器。
本发明的第一实施例中提供的智能家居设备，其中，所述服务器根据所述处理结果对智能拍摄设备进行控制。
本发明的第一实施例中提供的智能家居设备，其中，控制器还被配置为：所述服务器将所述处理结果发送到移动通信终端。
本发明的第二实施例中提供的服务器，设置有算法库云服务和业务云平台，所述算法库云服务用于存储对应第一实施例所述智能家居设备的算法库，所述业务云平台用于接收所述智能家居设备的处理结果，或根据所述处理结果生成控制信号，向所述智能家居设备发送所述控制信号。
本发明的第三实施例中提供的智能家居设备的图像处理方法，用于智能家居设备，所述智能家居设备包括摄像模组和控制器，包括：
通过摄像模组拍摄图像；
根据用户的图像处理目标，从多个算法库中确定目标算法库；
根据所述目标算法库的能力集，对所述图像进行处理，得到处理结果；
其中，所述算法库由所述控制器从服务器下载并根据预设规范进行算法库配置，所述算法库配置包括配置所述算法库的能力集。
本申请提供智能家居设备、服务器及图像处理方法的有益效果包括：
本申请实施例通过设置智能家居设备可根据服务器中发布了新算法库，对控制器内的AI算法库进行更新和配置，控制器可直接调用新算法库对摄像模组拍摄的图像进行处理，而不需对原AI算法库和系统架构进行改造，避免了改造难度大、周期长、成本高等问题，极大的提升了系统的兼容性和维护成本、缩减了二次开发周期。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种智能看护设备的应用场景示意图；
图2为本申请实施例提供的一种组件化系统架构示意图；
图3为本申请实施例提供的一种智能家居设备的图像处理方法的流程示意图；
图4为本申请实施例提供的另一种智能家居设备的图像处理方法的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
第一方面，本实施例提供了一种智能家居设备，具有AI功能，能够基于AI算法进行数据处理。例如，一种基于机器视觉技术的智能家居设备，能够拍摄图像，通过AI算法进行图像处理，识别出图像中的物体或人体，以实现相应的功能。例如，在用户家中这一智能应用场景下，智能家居设备如智能冰箱，可拍摄冰箱内部的图像，从图像中识别出食材，进而可进行食材管理；智能家居设备如智能看护设备，可拍摄室内的图像，从图像中识别出老人或儿童，进而可实现对老人或儿童的看护；智能家居设备如智能电视，可拍摄室内的图像，从图像中识别出用户，进而可实现对智能电视的体感控制等操作。一种智能家居设备如智能音频设备，能够采集用户音频，通过AI算法进行音频处理，如变声处理等。
本实施例以智能摄像设备为例对本申请技术方案进行介绍，需要说明的是，本申请技术方案也可应用于其他智能家居设备如智能冰箱、智能电视等。图1示出了一种智能摄像设备的应用场景示意图，如图1所示，智能摄像设备100设置有摄像模组101和控制器102，摄像模组101能够拍摄室内的图像。控制器102与摄像模组101连接，控制器102内部可设置有多个AI算法库，如人脸识别算法库和行为识别算法库，其中，人脸识别算法库可对图像进行AI人脸识别，从而判断图像中的人体是否是用户的家庭成员，行为识别算法库可对图像进行AI行为识别，从而判断图像中的人体的姿态，如站立、躺卧等。
控制器102可将根据摄像模组101得到的图像处理结果通过消息推送的方式发送到服务器200，服务器200与智能通信终端300通信连接，用户可通过智能通信终端300上的APP在服务器200上注册账号，并将账号与智能摄像设备100进行绑定。服务器200可将图像处理结果发送到对应账号的智能通信终端300，供用户查看，进而实现智能场景控制。在一些实施例中，智能摄像设备100还可与智能通信终端300通信连接，使用户能够直接通过智能通信终端300获取智能摄像设备100的数据。
随着人们对智能家居生活的场景需求日渐多样化，智能摄像设备100内设置的算法库将无法满足人们新的场景需求，传统技术中，由于智能摄像设备100和服务器200组成的系统采用硬编码形式的集成式架构，导致一旦智能化场景需求发生变化需要增加新的AI算法能力时，需要对原系统进行改造并集成新的AI算法库，在保证原AI能力集功能稳定的基础上，扩展集成新的AI算法库，需要耗费巨大的人力，而对于复杂智能场景的应用甚至需要重新立项进行系统的开发，这必然导致新bug(系统漏洞)引入，引起系统稳定性差、已有功能需要重新调试，或者重新立项并设计方案，重新开发联调等问题，需要重复投入、研发周期长；而且智能家居设备一旦上线，再进行增加或删除智能化应用场景时，必须重新进行系统评估和重新立项，改造难度大、周期长、成本高。
为解决上述技术问题，本实施例通过将控制器102和服务器200之间的系统架构设置为组件化架构，使控制器102内的算法库可进行增添，便于将智能摄像设备100扩展新的AI功能，方便后续扩展维护，降低了成本、缩减了二次开发周期。
参见图2，为本实施例提供的一种组件化系统架构示意图，如图2所示，包括硬件层、图像处理层、服务器和智能通信终端，其中，图像处理层包括AI场景及算法应用模块、算法库嗅探模块和算法库管理模块，AI场景及算法应用模块包括云对接协议模块、AI算法总线模块和图像预处理模块，服务器设置有AI算法库云服务和业务云平台。
AI算法库云服务可存储多个对应智能摄像设备100的AI算法库。在AI算法库云服务中发布AI算法库时要求为AI算法库创建global_symbols()静态函数及进行属性声明和能力集声明，其中，global_symbols()静态函数用于提供能力集的调用接口，属性声明用于提供AI算法库的属性信息，能力集声明用于提供算法库的功能。
算法库管理模块可通信连接至AI算法库云服务，查询AI算法库云服务内的AI算法库，判断AI算法库云服务中是否存在区别于控制器102的新算法库；如果所述服务器中存在区别于所述控制器的新算法库，算法库管理模块主动发送下拉请求到AI算法库云服务，获取新算法库，将所述新算法库下载到所述控制器的预设算法库存储路径下，如：/usr/local/ai_algorithm/lib/，以完成对控制器102内AI算法库的物理管理和维护，从而能够动态调整控制器102内的AI算法库。除了将新算法库下载到控制器102内，算法库管理模块还可将控制器102内存在、AI算法库云服务中不存在的AI算法库进行删除，以对智能摄像设备100中需要淘汰的功能进行删除。
例如，控制器102当前的算法库包括AI算法库1和AI算法库2，AI算法库云服务中还存在AI算法库3，则对于控制器102，AI算法库3为新算法库，算法库管理模块将AI算法库3存储到预设算法库存储路径下。
算法库管理模块在对预设算法库存储路径下的AI算法库进行更新后，发送通知消息到算法库嗅探模块，由算法库嗅探模块对AI算法库的配置进行更新。
算法库嗅探模块在系统服务启动时按照协议规范进行AI算法库的嗅探和发现，对预设算法库存储路径(/usr/local/ai_algorithm/lib/)下的全部AI算法库进行遍历，得到新算法库，判断所述新算法库是否符合预设规范；如果所述新算法库符合预设规范，则对该新算法库进行配置建库管理。预设规范包括global_symbols()静态函数规范和属性声明规范及能力集声明规范，一种预设规范的校验示例如下：
Global_algo_name算法库名称(供建立配置库引用)
FaceAI，ObjectAI，MotionDectect…
Global_algo_version算法库版本信息，例如3.12.0.1
Global_algo_mac进行规范符合性校验,如下：
校验数据构建规则：平台名称_算法库名称_FeatureCode_version,
校验数据Sample：SmartHome_FaceAI_DetectMUN_3.12(仅保留主版本号)
Global_algo_methods算法库能力集函数指针列表
Bool Algo_face_detect()
Bool Algo_face_recognize()
Bool Algo_face_compare()
…
通过上述校验过程，可获得属性、版本号、能力集等配置信息，如果不能成功获取上述信息，则认为校验失败。
算法库嗅探模块在获取配置信息后，可对AI算法库进行算法库配置，即进行配置建库管理，如对AI算法库3进行AI算法3配置，配置建库管理包括能力集配置和使能状态配置，能力集配置包括将AI算法库的能力集与AI算法总线模块通过API接口进行连接，使AI算法总线模块可通过API接口查询AI算法库的能力集；使能状态配置包括设置AI算法总线模块可通过API接口将AI算法库配置为使能状态或去使能状态，以及查询AI算法库是否处于使能状态。
硬件层包括摄像模组，可按照一定帧率，如30fps拍摄图像，得到需要进行AI分析的图像。
设备控制驱动层，与硬件层连接，可根据控制器102调节硬件层的图像拍摄。
AI场景及算法应用模块用于在AI场景下调用AI算法库进行AI处理。其中，图像预处理模块用于对摄像模组拍摄的图像进行预处理，预处理包括图像画质处理和图像数据处理，图像画质处理包括ISP(Image Signal Processor，图像处理)如将图像进行去马赛克、降噪、白平衡调节等处理，以提高图像画质，得到有利于提高AI分析准确性的图像；图像数据处理包括适配AI算法所需的处理，如数据格式转换(例如由RAW原始采集图像格式转换为YUV格式)、尺寸裁剪、图像压缩、翻转等，其中，一种数据格式转换的方式为将图像由RAW的原始采集图像格式转换为YUV格式，图像数据处理可将图像转换为AI算法支持的数据格式，并进行必要的数据转换，以达到系统预期的功能和性能目标，例如，尺寸裁剪、图像压缩实现对原始采集图像进行一定程度的降低尺寸的处理，能够兼顾性能，避免不必要的算力浪费。预处理后的图像可通过统一算法库集成接口，如SDK接口供AI算法总线模块调用。
AI算法总线模块通过统一算法库集成接口获取预处理后的图像，对预处理后的图像进行图像校验，以增强系统的鲁棒性。图像校验可包括数据格式校验和数据校验，其中，数据格式校验是对输入数据的格式是否为AI图像算法所支持图像格式，如YUV420SP格式进行校验；数据校验是根据声明的输入格式，校验输入数据是否符合该格式，例如对预处理后的数据帧第一帧，校验其对应分辨率的单帧数据字节数是否为YUV420SP对应的字节数。
AI算法总线模块对预处理后的图像校验通过后，根据用户对AI算法库的使能配置，查询使能的AI算法库以及该AI算法库的能力集，调用使能的AI算法库对预处理后的图像进行AI处理，得到处理结果。AI算法总线模块可将处理结果通过消息推送的形式发送到云对接协议模块。
云对接协议模块可获取AI算法库的处理结果，将处理结果发送到业务云平台。业务云平台可接收云对接协议模块推送的消息，也可对控制器102进行智能场景控制，如抓拍、录像、语音告警等。业务云平台还可将智能通信终端300推送的消息或对控制器102的控制命令发送到智能通信终端300，供用户查看。
可见，在组件化系统架构下，控制器102可根据AI算法库云服务中发布了新算法库，对控制器102内的AI算法库进行更新和配置，控制器102可直接调用新算法库对摄像模组拍摄的图像进行处理，而不需对原AI算法库和系统架构进行改造，避免了改造难度大、周期长、成本高等问题，极大的提升了系统的兼容性和维护成本、缩减了二次开发周期。
为对上述组件化系统架构下，智能家居设备的AI处理过程做进一步描述，第二方面，本实施例示出了一种应用于智能家居设备的图像处理方法，如图3所示，在一些实施例中，该方法可包括以下步骤：
步骤S110：通过摄像模组拍摄图像。
摄像模组可在控制器的控制下拍摄室内的图像，得到需要进行AI分析的图像。
步骤S120：根据用户的图像处理目标，从多个算法库中确定目标算法库。
硬件层的摄像模组在拍摄图像后，可接收用户的图像处理目标，将用户的图像处理目标对应的算法库设置为使能状态；将所述控制器内使能状态的算法库确定为目标算法库。
例如，图像处理目标可为人脸识别，人脸识别需要人脸识别算法库这一种AI算法库来识别图像中的人脸.以用户的图像处理目标为人脸识别为例，当用户通过智能通信终端上设置的APP手动发出人脸识别命令，或用户通过预先设置自动进行人脸识别后，控制器通过AI算法总线模块将人脸识别算法库这一AI算法库设置为使能状态，将该使能状态的AI算法库确定为图像处理目标的目标算法库。
步骤S130：根据所述目标算法库的能力集，对所述图像进行处理，得到处理结果。
AI算法总线模块在接收到摄像模组拍摄的图像后，将图像送入算法库管理模块中的目标算法库。目标算法库根据输入的图像进行AI处理，将处理结果反馈给AI算法总线模块。
例如，AI算法总线模块将摄像模组拍摄的图像发送到人脸识别算法库，人脸识别算法库对图像进行AI处理，得到处理结果：图像中的人体为张三。
在另一些实施例中，如图4所示，应用于智能家居设备的图像处理方法还可包括以下步骤：
步骤S210：智能家居设备通过摄像模组拍摄图像。
摄像模组可在控制器的控制下拍摄室内的图像，得到需要进行AI分析的图像。
步骤S220：智能家居设备对所述图像进行预处理。
控制器内设置的预处理模块可对摄像模组拍摄的图像进行预处理，预处理包括图像画质处理和图像数据处理，图像画质处理包括将图像进行降噪、白平衡调节、翻转处理等，以获取有利于提高AI分析准确性的图像；图像数据处理包括格式处理，以使预处理后的图像可通过统一算法库集成接口，如SDK接口发送到AI算法总线模块。
步骤S230：智能家居设备通过统一算法库集成接口获取预处理后的图像。
控制器内设置的AI算法总线模块可通过SDK接口接收预处理后的图像。
步骤S240：智能家居设备对所述预处理后的图像进行图像校验。
控制器内设置的AI算法总线模块通过对预处理后的图像进行图像校验，以使预处理后的图像能够被AI算法库进行处理。
步骤S250：智能家居设备根据用户的图像处理目标，从多个算法库中确定目标算法库。
硬件层的摄像模组在拍摄图像后，可接收用户的图像处理目标，将用户的图像处理目标对应的算法库设置为使能状态；将所述控制器内使能状态的算法库确定为目标算法库。
例如，图像处理目标可为目标对象姿态识别，目标对象姿态识别需要人脸识别算法库和姿态识别算法库这两种AI算法库来进行处理，姿态识别算法库可识别人体姿态，如站立、躺卧等。以用户的图像处理目标为目标对象姿态识别为例，当用户通过智能通信终端上设置的APP手动发出目标对象姿态识别命令，或用户通过预先设置自动进行目标对象姿态识别后，控制器通过AI算法总线模块将人脸识别算法库和姿态识别算法库这两个AI算法库设置为使能状态，将这两个使能状态的AI算法库确定为图像处理目标的目标算法库。
步骤S260：智能家居设备根据所述目标算法库的能力集，对所述图像进行处理，得到处理结果。
AI算法总线模块在接收到摄像模组拍摄的图像后，将图像送入算法库管理模块中的目标算法库。目标算法库根据输入的图像进行AI处理，将处理结果反馈给AI算法总线模块。
例如，AI算法总线模块将预处理后的图像发送到人脸识别算法库和姿态识别算法库，人脸识别算法库对图像进行AI处理，得到人脸识别结果，姿态识别算法库对图像进行AI处理，得到姿态识别结果，AI算法总线模块可根据人脸识别结果和姿态识别结果生成处理结果，如：图像中张三为躺卧状态。
步骤S270：智能家居设备将所述处理结果通过统一云端对接接口发送到所述服务器。
AI算法总线模块将处理结果通过统一云端对接接口法发送到服务器中的业务云平台。
步骤S280：所述服务器根据所述处理结果对智能拍摄设备进行控制。
服务器中的业务云平台可预设有对处理结果的控制命令，在接收到处理结果后，可向智能拍摄设备发送对应的控制命令。
例如，与处理结果“图像中张三为躺卧状态”对应的控制命令为抓拍，可向智能拍摄设备发送抓拍命令，智能拍摄设备接收到抓拍命令后，可拍摄一张照片并保存。
步骤S290：所述服务器将所述处理结果发送到移动通信终端。
服务器中的业务云平台还可将所述处理结果发送到移动通信终端，使用户可通过移动通信终端上的APP查看处理结果。
第三方面，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，所述计算机程序被执行时实现第二方面所述的智能家居设备的图像处理方法。
由上述实施例可见，本申请实施例通过设置智能家居设备可根据服务器中发布了新算法库，对控制器102内的AI算法库进行更新和配置，控制器102可直接调用新算法库对摄像模组拍摄的图像进行处理，而不需对原AI算法库和系统架构进行改造，避免了改造难度大、周期长、成本高等问题，极大的提升了系统的兼容性和维护成本、缩减了二次开发周期。
由于以上实施方式均是在其他方式之上引用结合进行说明，不同实施例之间均具有相同的部分，本说明书中各个实施例之间相同、相似的部分互相参见即可。在此不再详细阐述。
需要说明的是，在本说明书中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或暗示这些实体或操作之间存在任何这种实际的关系或顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的电路结构、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种电路结构、物品或者设备所固有的要素。在没有更多限制的情况下，有语句“包括一个……”限定的要素，并不排除在包括所述要素的电路结构、物品或者设备中还存在另外的相同要素。
本领域技术人员在考虑说明书及实践这里发明的公开后，将容易想到本申请的其他实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求的内容指出。以上所述的本申请实施方式并不构成对本申请保护范围的限定。

Claims (10)

1.一种智能家居设备，其特征在于，包括：
摄像模组，用于拍摄图像；
控制器，与所述摄像模组连接，用于根据用户的图像处理目标，从多个AI算法库中确定目标算法库，根据所述目标算法库的能力集，对所述图像进行AI处理，得到处理结果，其中，所述AI算法库由所述控制器从服务器下载并根据预设规范进行算法库配置。
2.根据权利要求1所述的智能家居设备，其特征在于，所述控制器被配置为：
判断所述服务器中是否存在区别于所述控制器的新算法库；
如果所述服务器中存在区别于所述控制器的新算法库，将所述新算法库下载到所述控制器的预设算法库存储路径下；
将所述新算法库存储路径下的新算法库进行算法库配置。
3.根据权利要求2所述的智能家居设备，其特征在于，所述控制器将所述新算法库存储路径下的新算法库进行算法库配置，包括：
遍历所述存储路径下的全部算法库，得到所述新算法库；
判断所述新算法库是否符合预设规范；
如果所述新算法库符合预设规范，获取所述新算法库的配置信息，所述配置信息包括属性信息、版本号信息和能力集信息；
根据所述配置信息进行算法库配置，所述算法库配置包括能力集配置和使能状态配置。
4.根据权利要求1所述的智能家居设备，其特征在于，所述控制器还被配置为：
对所述图像进行预处理；
通过统一算法库集成接口获取预处理后的图像；
对所述预处理后的图像进行图像校验。
5.根据权利要求1所述的智能家居设备，其特征在于，所述控制器根据用户的图像处理目标，从多个算法库中确定目标算法库，包括：
将用户的图像处理目标对应的算法库设置为使能状态；
将所述控制器内使能状态的算法库确定为目标算法库。
6.根据权利要求4所述的智能家居设备，其特征在于，所述控制器还被配置为：将所述处理结果通过统一云端对接接口发送到所述服务器。
7.根据权利要求6所述的智能家居设备，其特征在于，所述控制器还被配置为：所述服务器根据所述处理结果对智能拍摄设备进行控制。
8.根据权利要求7所述的智能家居设备，其特征在于，所述控制器还被配置为：所述服务器将所述处理结果发送到移动通信终端。
9.一种服务器，其特征在于，所述服务器设置有算法库云服务和业务云平台，所述算法库云服务用于存储对应权利要求1-8任一所述智能家居设备的算法库，所述业务云平台用于接收所述智能家居设备的处理结果，或根据所述处理结果生成控制信号，向所述智能家居设备发送所述控制信号。
10.一种智能家居设备的图像处理方法，用于智能家居设备，所述智能家居设备包括摄像模组和控制器，其特征在于，包括：
通过摄像模组拍摄图像；
根据用户的图像处理目标，从多个算法库中确定目标算法库；
根据所述目标算法库的能力集，对所述图像进行处理，得到处理结果；
其中，所述算法库由所述控制器从服务器下载并根据预设规范进行算法库配置，所述算法库配置包括配置所述算法库的能力集。
CN202010231729.5A 2020-03-27 2020-03-27 智能家居设备、服务器及图像处理方法 Pending CN111414885A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010231729.5A CN111414885A (zh) 2020-03-27 2020-03-27 智能家居设备、服务器及图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010231729.5A CN111414885A (zh) 2020-03-27 2020-03-27 智能家居设备、服务器及图像处理方法

Publications (1)

Publication Number Publication Date
CN111414885A true CN111414885A (zh) 2020-07-14

Family

ID=71491514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010231729.5A Pending CN111414885A (zh) 2020-03-27 2020-03-27 智能家居设备、服务器及图像处理方法

Country Status (1)

Country Link
CN (1) CN111414885A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112491968A (zh) * 2020-11-05 2021-03-12 深圳供电局有限公司 一种电网中ai摄像头的边端运行方法
CN114745268A (zh) * 2022-03-31 2022-07-12 杭州视洞科技有限公司 一种网络摄像头在线更新加载算法库的方法
WO2023045719A1 (zh) * 2021-09-27 2023-03-30 荣耀终端有限公司 算法调用方法与算法调用装置
WO2023050418A1 (zh) * 2021-09-30 2023-04-06 深圳传音控股股份有限公司 数据处理方法、数据处理系统、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013185570A1 (zh) * 2012-06-13 2013-12-19 腾讯科技（深圳）有限公司 软件更新方法、软件更新系统及计算机存储介质
CN106130773A (zh) * 2016-07-07 2016-11-16 苏州大学 一种基于MQX_Lite的WSN节点远程代码更新系统
WO2018133666A1 (zh) * 2017-01-17 2018-07-26 腾讯科技（深圳）有限公司 视频目标跟踪方法和装置
CN108919680A (zh) * 2018-07-10 2018-11-30 北京贞宇科技有限公司 用于智能机器人的更新辅助装置
CN108958929A (zh) * 2018-06-15 2018-12-07 Oppo（重庆）智能科技有限公司 应用算法库的方法、装置、存储介质及电子设备
CN110750291A (zh) * 2019-10-30 2020-02-04 苏州科达科技股份有限公司 边缘设备算法更新方法、系统、设备及存储介质
WO2020024749A1 (zh) * 2018-08-01 2020-02-06 华为技术有限公司 一种基于多机协作的图像处理方法和视频监控系统
CN110784628A (zh) * 2019-08-14 2020-02-11 腾讯科技（深圳）有限公司 图像数据的采集处理方法、系统及智能摄像头、服务器

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013185570A1 (zh) * 2012-06-13 2013-12-19 腾讯科技（深圳）有限公司 软件更新方法、软件更新系统及计算机存储介质
CN106130773A (zh) * 2016-07-07 2016-11-16 苏州大学 一种基于MQX_Lite的WSN节点远程代码更新系统
WO2018133666A1 (zh) * 2017-01-17 2018-07-26 腾讯科技（深圳）有限公司 视频目标跟踪方法和装置
CN108958929A (zh) * 2018-06-15 2018-12-07 Oppo（重庆）智能科技有限公司 应用算法库的方法、装置、存储介质及电子设备
CN108919680A (zh) * 2018-07-10 2018-11-30 北京贞宇科技有限公司 用于智能机器人的更新辅助装置
WO2020024749A1 (zh) * 2018-08-01 2020-02-06 华为技术有限公司 一种基于多机协作的图像处理方法和视频监控系统
CN110784628A (zh) * 2019-08-14 2020-02-11 腾讯科技（深圳）有限公司 图像数据的采集处理方法、系统及智能摄像头、服务器
CN110750291A (zh) * 2019-10-30 2020-02-04 苏州科达科技股份有限公司 边缘设备算法更新方法、系统、设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112491968A (zh) * 2020-11-05 2021-03-12 深圳供电局有限公司 一种电网中ai摄像头的边端运行方法
WO2023045719A1 (zh) * 2021-09-27 2023-03-30 荣耀终端有限公司 算法调用方法与算法调用装置
WO2023050418A1 (zh) * 2021-09-30 2023-04-06 深圳传音控股股份有限公司 数据处理方法、数据处理系统、电子设备及存储介质
CN114745268A (zh) * 2022-03-31 2022-07-12 杭州视洞科技有限公司 一种网络摄像头在线更新加载算法库的方法

Similar Documents

Publication Publication Date Title
CN111414885A (zh) 智能家居设备、服务器及图像处理方法
WO2021233032A1 (zh) 视频处理方法、视频处理装置和电子设备
CN111464402B (zh) 一种智能家居设备的控制方法、终端设备及介质
CN111240620A (zh) 智能终端投屏处理方法及装置、计算机设备、介质
WO2020228040A1 (zh) 智能家居系统的控制方法、装置、电子设备及存储介质
CN111522250B (zh) 智能家居系统及其控制方法与装置
CN107071551B (zh) 应用于智能电视系统中的多屏互动屏幕响应方法
CN107682752B (zh) 视频画面显示的方法、装置、系统、终端设备及存储介质
CN109195201B (zh) 连接网络的方法、装置、存储介质及用户终端
CN112188277B (zh) 投屏控制方法、装置、电子设备和计算机程序介质
CN112289279B (zh) 屏幕亮度调整方法、装置、存储介质与电子设备
CN112331202B (zh) 一种语音投屏方法及装置、电子设备和计算机可读存储介质
CN104424073A (zh) 一种信息处理的方法及电子设备
CN111641829A (zh) 视频处理方法及装置、系统、存储介质和电子设备
CN105516638A (zh) 一种视频通话方法、装置和系统
CN109495769B (zh) 视频通信方法、终端、智能电视、服务器及存储介质
CN114217759A (zh) 投屏方法、装置、存储介质及电子设备
CN111290751B (zh) 特效生成方法、装置、系统、设备和存储介质
CN111372107B (zh) 音频传输方法、装置、系统和计算机可读存储介质
CN211429329U (zh) 一种智能设备的配网系统
CN112929854B (zh) 事件订阅方法及电子设备
CN113099199A (zh) 一种新型影音娱乐系统
KR20210056733A (ko) 스트리밍 데이터를 제공하는 전자 장치 및 그 작동 방법
CN113996058B (zh) 信息处理方法、装置、电子设备和计算机可读存储介质
CN114500854B (zh) 摄像头模组、摄像头模组的控制方法及摄像头通信系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination