CN112351194A - 一种业务处理方法及设备 - Google Patents

一种业务处理方法及设备 Download PDF

Info

Publication number
CN112351194A
CN112351194A CN202011003490.2A CN202011003490A CN112351194A CN 112351194 A CN112351194 A CN 112351194A CN 202011003490 A CN202011003490 A CN 202011003490A CN 112351194 A CN112351194 A CN 112351194A
Authority
CN
China
Prior art keywords
image
sub
processing
map
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011003490.2A
Other languages
English (en)
Inventor
齐胜旺
吴义镇
勾军委
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010901750.1 priority Critical
Priority to CN202011003490.2A priority patent/CN112351194A/zh
Publication of CN112351194A publication Critical patent/CN112351194A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23241Control of camera operation in relation to power supply
    • H04N5/232411Control of camera operation in relation to power supply where power supply is reduced or conserved by affecting camera operations, e.g. sleep mode, hibernation mode, power off or turning off selective parts of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23216Control of parameters, e.g. field or angle of view of camera via graphical user interface, e.g. touchscreen

Abstract

本申请实施例提供一种业务处理方法及设备,涉及人工智能(AI)智能感知领域,能复用已有摄像头实现第一低功耗感知传感器的功能(功能如:通过图像或雷达信号感知用户的手势、人脸或姿态,或通过图像感知电子设备当前所处的环境),无需额外新增第一低功耗感知传感器硬件,可降低电子设备成本及设计和制作难度。方法包括:电子设备开启目标摄像头后以第一出图规格采集图像,以第一出图规格采集的图像用于处理第一业务;在第二业务启动后采用目标摄像头以第二出图规格采集图像,第二出图规格高于第一出图规格,以第二出图规格采集的图像用于处理第二业务,第二业务包括拍照、录像或视频通话,第一业务不同于第二业务。

Description

一种业务处理方法及设备
技术领域
本申请实施例涉及终端人工智能(artificial intelligence,AI)智能感知领域,尤其涉及一种业务处理方法及设备。
背景技术
随着电子技术的发展,手机、平板电脑或手表等电子设备的功能越来越强大。为了支持低功耗业务感知功能,越来越多的电子设备开始集成第一低功耗感知传感器来捕获人体和/或环境信息等感知信息,从而进行低功耗感知业务(如,检测手势或人脸)处理。
现有技术中,如图1所示,电子设备通过在顶部添加第一低功耗感知传感器(例如姿态传感器(gesture sensor)或雷达传感器)来实时捕获感知信息。这样,电子设备的硬件成本较高,而且电子设备的顶部本身就有摄像头等器件,第一低功耗感知传感器的增加会影响电子设备的美观和屏占比,并且会增加电子设备的设计和制作难度。
发明内容
本申请实施例提供一种业务处理方法及设备,能够复用电子设备已有的摄像头实现第一低功耗感知传感器的功能,无需额外新增第一低功耗感知传感器硬件,因而可以降低电子设备的成本以及对产品美观和屏占比造成的影响,降低电子设备的设计和制作难度。
为达到上述目的,本申请实施例采用如下技术方案:
一方面,本申请实施例提供了一种业务处理方法,应用于电子设备,该电子设备包括目标摄像头,该方法包括:电子设备在目标摄像头开启后,采用目标摄像头以第一出图规格采集图像,以第一出图规格采集的图像用于处理第一业务。电子设备在第二业务启动后采用目标摄像头以第二出图规格采集图像。其中,第二出图规格高于第一出图规格,以第二出图规格采集的图像用于处理第二业务,第二业务包括拍照、录像或视频通话,第一业务不同于第二业务。
在该方案中,在目标摄像头开启后,电子设备可以默认采用目标摄像头以较低的第一出图规格低功耗采集图像,以便根据该图像处理第一业务(该第一业务可以是一些低功耗常开的业务,比如在电子设备上一直以较低的功耗进行人脸或手势检测(会涉及到以较低的出图规格拍照,区别于用户日常的拍照操作),在检测到有人脸或特定手势后电子设备再启动其他的业务)。在拍照(如用户日常的拍照操作)、录像或视频通话等相机类业务启动后,电子设备才采用目标摄像头以较高的第二出图规格高功耗采集图像,以便处理相机类业务。也就是说,电子设备默认低功耗采集图像,在有相机类业务时才高功耗采集图像,因而可以尽量降低电子设备的功耗,节省电子设备的电量。
并且,电子设备可以复用电子设备已有的目标摄像头实现第一低功低耗感知传感器的功能,而不需要新增一个第一低功耗感知传感器硬件,从而可以降低电子设备的成本以及对产品美观和屏占比造成的影响,降低电子设备的设计和制作难度。
例如,第一业务可以为低功耗感知业务,是指在低功耗状态下处理的感知业务,例如通过在低功耗状态下感知用户不同的隔空手势来进行不同的响应,如,感应到用户向左挥手的手势将屏幕内容进行向后翻页处理。
在一种可能的设计中,该方法还包括:电子设备在第二业务结束后,采用目标摄像头以第一出图规格采集图像。
也就是说,在第二业务结束后,目标摄像头可以继续恢复到以第一出图规格低功耗采集图像,从而尽量降低电子设备的功耗,节省电子设备的电量。
在另一种可能的设计中,该方法还包括:电子设备在第二业务启动后,对以第二出图规格采集的图像进行处理得到符合第三出图规格的图像,第三出图规格的图像用于处理第一业务,第二出图规格高于第三出图规格。
在该方案中,电子设备在处理第二业务的同时,还可以对目标摄像头采集的图像进行处理得到更低规格的图像以便用于处理第一业务。即,电子设备可以在处理第二业务的同时,兼顾第一业务。
在另一种可能的设计中,该第三出图规格与第一出图规格相同。
也就是说,在第二业务启动后,电子设备对以第二出图规格采集的图像进行处理得到的图像的规格,与第二业务未启动情况下电子设备采集的图像的规格相同,且该相同规格的图像均用于处理第一业务。
在另一种可能的设计中,第一出图规格包括子规格1和子规格2,子规格2高于子规格1,电子设备采用目标摄像头以第一出图规格采集图像,包括:电子设备采用目标摄像头以子规格1采集图像。若电子设备基于以子规格1采集的图像确定满足第一条件,则采用目标摄像头以子规格2采集图像。
也就是说,电子设备可以默认以第一出图规格中最低规格的子规格1采集图像,以尽量降低电子设备的功耗;在满足第一条件后才切换到以第一出图规格中较高规格的子规格2采集图像。
在另一种可能的设计中,该第一条件包括图像亮度变化大于或者等于预设阈值。
其中,电子设备判断图像亮度变化是否大于或者等于预设阈值不需要启动图像识别算法,因而电子设备的功耗较低。并且,在该方案中,电子设备默认以第一出图规格中最低规格的子规格1采集图像,以尽量降低电子设备的功耗。电子设备在图像亮度变化大于或者等于预设阈值后才切换到以第一出图规格中较高规格的子规格2采集图像。
在另一种可能的设计中,第一出图规格还包括子规格3,子规格3高于子规格2,该方法还包括:若电子设备基于以子规格2采集的图像确定满足第二条件,则采用目标摄像头以子规格3采集图像。或者,若电子设备基于以子规格2采集的图像确定不满足第二条件,则采用目标摄像头以子规格1采集图像。
也就是说,电子设备可以根据条件确定是否切换到更高的子规格或最低的子规格采集图像。
在另一种可能的设计中,第二条件包括从图像中识别到第一目标对象。
在该方案中,若从图像中识别到第一目标对象,则可以表明当前为第一业务所关注的场景,用户可能想要使用电子设备处理第一业务,因而目标摄像头可以切换到更高的子规格,从而频繁地采集图像以更快、更准地进行图像识别,以便根据识别结果确定是否触发第一业务。若从图像中未识别到第一目标对象,则可以认为当前并非第一业务所关注的场景,因而目标摄像头可以切换到最低的子规格采集图像,以降低电子设备的功耗。例如,第一目标对象包括人脸、手、景点或物体。
在另一种可能的设计中,该方法还包括:若电子设备基于以子规格3采集的图像确定满足第三条件,则继续采用目标摄像头以子规格3采集图像。或者,若电子设备基于以子规格3采集的图像确定不满足第三条件,则采用目标摄像头以子规格2或子规格1采集图像。
也就是说,电子设备可以根据条件确定是否切换到较低的子规格或最低的子规格采集图像。
在另一种可能的设计中,第三条件包括从图像中识别到第二目标对象。
在该方案中,若从图像中识别到第二目标对象,则可以表明当前已出现第一业务所关注的对象,目标摄像头以当前子规格保持高规格出图,以便进行第一业务处理。若从图像中未识别到第二目标对象,则可以认为当前并未出现第一业务所关注的对象,用户可能并不想触发第一业务,因而目标摄像头可以切换到较低或最低的子规格采集图像,以降低电子设备的功耗。例如,第二目标对象包括预设手势或用户注视。
在另一种可能的设计中,第三出图规格包括子规格4和子规格5,子规格5高于子规格4。电子设备对以第二出图规格采集的图像进行处理得到符合第三出图规格的图像,包括:电子设备对以第二出图规格采集的图像进行第一处理得到符合子规格4的图像。若电子设备基于符合子规格4的图像确定满足第一条件,则对接下来以第二出图规格采集的图像进行第二处理得到符合子规格5的图像。
也就是说,电子设备可以默认对以第二出图规格采集的图像进行处理得到符合最低规格的子规格4的图像,以尽量降低电子设备的功耗;在满足第一条件后才切换到对以第二出图规格采集的图像进行处理得到符合较高规格的子规格5的图像。
在另一种可能的设计中,第一条件包括图像亮度变化大于或者等于预设阈值。
其中,电子设备判断图像亮度变化是否大于或者等于预设阈值不需要启动图像识别算法,因而电子设备的功耗较低。并且,在该方案中,电子设备默认对以第二出图规格采集的图像进行处理得到满足最低规格的子规格4的图像,以尽量降低电子设备的功耗;电子设备在图像亮度变化大于或者等于预设阈值后,才切换到对以第二出图规格采集的图像进行处理得到满足较高规格的子规格5的图像。
在另一种可能的设计中,第三出图规格还包括子规格6,子规格6高于子规格5。电子设备对以第二出图规格采集的图像进行处理得到符合第三出图规格的图像还包括:若电子设备基于符合子规格5的图像确定满足第二条件,则对接下来以第二出图规格采集的图像进行第三处理得到符合子规格6的图像。或者,若电子设备基于符合子规格5的图像确定不满足第二条件,则对接下来以第二出图规格采集的图像进行第一处理得到符合子规格4的图像。
也就是说,电子设备可以根据条件确定是否对接下来以第二出图规格采集的图像进行处理得到满足更高的子规格或最低的子规格的图像。
在另一种可能的设计中,第二条件包括从图像中识别到第一目标对象。
在该方案中,若从图像中识别到第一目标对象,则可以表明当前为第一业务所关注的场景,用户可能想要使用电子设备处理第一业务,因而第三出图规格可以切换到更高的子规格,从而更快、更准地进行图像识别,以便根据识别结果确定是否触发第一业务。若从图像中未识别到第一目标对象,则可以认为当前并非第一业务所关注的场景,因而第三出图规格可以切换到最低的子规格,以降低电子设备的功耗。例如,第一目标对象包括人脸、手、景点或物体。
在另一种可能的设计中,电子设备对以第二出图规格采集的图像进行处理得到第三出图规格的图像还包括:若电子设备基于符合子规格6的图像确定满足第三条件,则对接下来以第二出图规格采集的图像继续进行第三处理得到符合子规格6的图像。或者,若电子设备基于符合子规格6的图像确定不满足第三条件,则对接下来以第二出图规格采集的图像进行第二处理得到符合子规格5的图像或进行第一处理得到符合子规格4的图像。
也就是说,电子设备可以根据条件确定是否对接下来以第二出图规格采集的图像进行处理得到满足较低的子规格或最低的子规格的图像。
在另一种可能的设计中,第三条件包括从图像中识别到第二目标对象。在该方案中,若从图像中识别到第二目标对象,则可以表明当前已出现第一业务所关注的对象,第三出图规格可以保持为当前的子规格保持高规格出图,以便进行第一业务处理。若从图像中未识别到第二目标对象,则可以认为当前并未出现第一业务所关注的对象,用户可能并不想触发第一业务,因而第三出图规格可以切换到较低或最低的子规格,以降低电子设备的功耗。例如,第二目标对象包括预设手势或用户注视。
在另一种可能的设计中,子规格4与子规格1相同,子规格5与子规格2相同,子规格6与子规格3相同。
在另一种可能的设计中,出图规格涉及的参数包括图像的帧率、分辨率或通道数这些参数中的一种或多种。
也就是说,不同出图规格或不同子规格的图像,图像的帧率、分辨率或通道数这些参数中的一种或多种不同。
在另一种可能的设计中,第一业务包括隔空手势检测。
也就是说,电子设备可以根据第一出图规格或第三出图规格的图像进行隔空手势检测。
另一方面,本申请实施例提供了一种电子设备,包括:目标摄像头和第一处理模块,第一处理模块运行有第一业务的应用程序和第二业务的应用程序。目标摄像头用于,在开启后以第一出图规格采集图像,以第一出图规格采集的图像用于处理第一业务。目标摄像头还用于,在第二业务启动后以第二出图规格采集图像,第二出图规格高于第一出图规格,以第二出图规格采集的图像用于处理第二业务,第二业务包括拍照、录像或视频通话,第一业务不同于第二业务。
在一种可能的设计中,目标摄像头还用于:在第二业务结束后,以第一出图规格采集图像。
在另一种可能的设计中,电子设备还包括第一图像信号处理器ISP。目标摄像头还用于,在第二业务启动后,将以第二出图规格采集的图像发送给第一ISP。第一ISP用于:将以第二出图规格采集的图像发送给所述第一处理模块,对以第二出图规格采集的图像进行处理得到符合第三出图规格的图像,第三出图规格的图像用于处理第一业务,第二出图规格高于第三出图规格。第一ISP得到符合第三出图规格的图像后可以发送给第二处理模块。其中,第一ISP和第二处理模块可以在经过安全认证后进行通信,从而交互符合第三出图规格的图像。
在另一种可能的设计中,第三出图规格与第一出图规格相同。
在另一种可能的设计中,电子设备还包括第二处理模块,第一出图规格包括子规格1和子规格2,子规格2高于子规格1。目标摄像头用于以第一出图规格采集图像包括用于:以子规格1采集图像;将以子规格1采集的图像发送给第二处理模块;若第二处理模块基于以子规格1采集的图像确定满足第一条件,则目标摄像头以子规格2采集图像。
在另一种可能的设计中,第一出图规格还包括子规格3,子规格3高于子规格2;目标摄像头用于以第一出图规格采集图像还包括用于:将以子规格2采集的图像发送给第二处理模块;若第二处理模块基于以子规格2采集的图像确定满足第二条件,则目标摄像头以子规格3采集图像;或者若第二处理模块基于以子规格2采集的图像确定不满足第二条件,则目标摄像头以子规格1采集图像。
在另一种可能的设计中,目标摄像头用于以第一出图规格采集图像还包括用于:将以子规格3采集的图像发送给第二处理模块;若第二处理模块基于以子规格3采集的图像确定满足第三条件,则目标摄像头继续以子规格3采集图像;或者若第二处理模块基于以子规格3采集的图像确定不满足第三条件,则目标摄像头以子规格2或子规格1采集图像。
在另一种可能的设计中,电子设备还包括第二处理模块,第三出图规格包括子规格4和子规格5,子规格5高于子规格4。第一ISP用于对所述以第二出图规格采集的图像进行处理得到符合第三出图规格的图像包括用于:对以第二出图规格采集的图像进行第一处理得到符合子规格4的图像;将符合子规格4的图像发送给第二处理模块;若第二处理模块基于符合子规格4的图像确定满足第一条件,则第一ISP对接下来以第二出图规格采集的图像进行第二处理得到符合子规格5的图像。
在另一种可能的设计中,第三出图规格还包括子规格6,子规格6高于子规格5;第一ISP用于对所述以第二出图规格采集的图像进行处理得到符合第三出图规格的图像还包括用于:将符合子规格5的图像发送给第二处理模块;若第二处理模块基于符合子规格5的图像确定满足第二条件,则第一ISP对接下来以第二出图规格采集的图像进行第三处理得到符合子规格6的图像;或者若第二处理模块基于符合子规格5的图像确定不满足第二条件,则第一ISP对接下来以第二出图规格采集的图像进行第一处理得到符合子规格4的图像。
在另一种可能的设计中,第一ISP用于对所述以第二出图规格采集的图像进行处理得到符合第三出图规格的图像还包括用于:将符合子规格6的图像发送给第二处理模块;若第二处理模块基于符合子规格6的图像确定满足第三条件,则第一ISP对接下来以第二出图规格采集的图像继续进行第三处理得到符合子规格6的图像;或者若第二处理模块基于符合子规格6的图像确定不满足第三条件,则第一ISP对接下来以第二出图规格采集的图像进行第二处理得到符合子规格5的图像或进行第一处理得到符合子规格4的图像。
在另一种可能的设计中,第一条件包括图像亮度变化大于或者等于预设阈值。
在另一种可能的设计中,第二处理模块包括第二ISP;第二ISP用于,确定是否满足图像亮度变化大于或者等于预设阈值。
在另一种可能的设计中,第二条件包括从图像中识别到第一目标对象。
在另一种可能的设计中,第一目标对象包括人脸、手、景点或物体。
在另一种可能的设计中,第二处理模块包括处理器;处理器用于,确定是否从图像中识别到第一目标对象。
在另一种可能的设计中,第三条件包括从图像中识别到第二目标对象。
在另一种可能的设计中,第二目标对象包括预设手势或用户注视。
在另一种可能的设计中,处理模块包括处理器;处理器用于,确定是否从图像中识别到第二目标对象。
在另一种可能的设计中,出图规格涉及的参数包括图像的帧率、分辨率或通道数这些参数中的一种或多种。
在另一种可能的设计中,第一业务包括隔空手势检测。
另一方面,本申请实施例提供了一种业务处理装置,该装置包含在电子设备中。该装置具有实现上述方面及可能的设计中任一方法中电子设备行为的功能,使得电子设备执行上述方面任一项可能的设计中电子设备执行的业务处理方法。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括至少一个与上述功能相对应的模块或单元。例如,该装置可以包括采集单元、处理单元和确定单元等。
又一方面,本申请实施例提供了一种电子设备,包括:一个或多个摄像头,用于采集图像;一个或多个处理器;存储器,以及一个或多个计算机程序,其中一个或多个计算机程序被存储在存储器中,一个或多个计算机程序包括指令,当指令被电子设备执行时,使得电子设备执行上述方面任一项可能的设计中电子设备执行的业务处理方法。
又一方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;以及存储器,存储器中存储有代码。当代码被电子设备执行时,使得电子设备执行上述方面任一项可能的设计中电子设备执行的业务处理方法。
另一方面,本申请实施例提供了一种计算机可读存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行上述方面任一项可能的设计中的业务处理方法。
又一方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述方面任一项可能的设计中电子设备执行的业务处理方法。
上述其他方面对应的有益效果,可以参见关于方法方面的有益效果的描述,此处不予赘述。
附图说明
图1为现有技术提供的一种电子设备的第一低功耗感知传感器的位置示意图;
图2为本申请实施例提供的一种手机的结构示意图;
图3为本申请实施例提供的一种低功耗业务感知系统的架构图;
图4A为本申请实施例提供的一种低功耗业务感知系统的架构图;
图4B为本申请实施例提供的一种电子设备的目标摄像头的位置示意图;
图5A为本申请实施例提供的一种业务处理方法流程图;
图5B为本申请实施例提供的一种目标摄像头的模式转换示意图;
图5C为本申请实施例提供的另一种低功耗业务感知系统的架构图;
图6A为本申请实施例提供的另一种低功耗业务感知系统的架构图;
图6B为本申请实施例提供的另一种业务处理方法流程图;
图6C为本申请实施例提供的目标摄像头的一种模式分类示意图;
图6D为本申请实施例提供的目标摄像头的另一种模式分类示意图;
图6E为本申请实施例提供的一种图像块的划分示意图;
图7为本申请实施例提供的另一种低功耗业务感知系统的架构图;
图8为本申请实施例提供的一种低功耗模式下子模式间的切换示意图;
图9A为本申请实施例提供的另一种低功耗业务感知系统的架构图;
图9B为本申请实施例提供的一种正常模式下的数据流向示意图;
图9C为本申请实施例提供的另一种正常模式下的数据流向示意图;
图10为本申请实施例提供的另一种业务处理方法流程图;
图11为本申请实施例提供的另一种低功耗业务感知系统的架构图;
图12为本申请实施例提供的一种界面提示示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
本文中所涉及的“第一”、“第二”……之类的描述仅仅用来将一个对象或者操作与另一个对象或操作区分开来,而不一定要求或者暗示这些对象或操作之间存在任何这种实际的关系或者顺序,也不一定要求或者暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本申请实施例提供了一种业务处理方法及电子设备,能够复用电子设备已有的摄像头实现第一低功耗感知传感器的功能,无需额外新增第一低功耗感知传感器硬件,因而可以降低电子设备的成本以及对产品美观和屏占比造成的影响,降低电子设备的设计和制作难度。
其中,第一低功耗感知传感器可以是工作在低功耗下能对电子设备周围情况进行特定感知的传感器,如能够通过图像或雷达信号感知用户的手势、人脸或姿态,或通过图像感知电子设备当前所处的环境等。例如,第一低功耗感知传感器可以是低功耗摄像头或雷达传感器等。在一些实施例中,所述第一低功耗感知传感器可以是设置在电子设备正面的传感器,如前置的低功耗摄像头。
例如,该电子设备可以是手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personaldigital assistant,PDA)等移动终端,也可以是相机等设备,本申请实施例对电子设备的具体类型不作任何限制。
示例性的,当电子设备为手机时,图2示出了手机100的一种结构示意图。手机100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universalserial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
其中,处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口,例如集成电路(inter-integrated circuit,I2C)接口。I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。
手机100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,手机100可以包括1个或N个显示屏194,N为大于1的正整数。
手机100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。在本申请的实施例中,ISP可以通过I2C接口耦合摄像头193,使ISP与摄像头193通过I2C总线接口通信,实现摄像头193正常模式与低功耗模式之间的切换。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,手机100可以包括1个或N个摄像头193,N为大于1的正整数。
其中,摄像头193可以包括前置摄像头和/或后置摄像头。前置摄像头和后置摄像头可以分别包括以下一种或多种摄像头:长焦摄像头、广角摄像头、超广角摄像头、变焦摄像头或深度摄像头等。其中,长焦摄像头的拍摄范围小,适用于拍摄远处的景物;广角摄像头的拍摄范围较大;超广角摄像头的拍摄范围大于广角摄像头,适用于拍摄全景等较大画面的景物。深度摄像头可以用于测量被拍摄对象的物距,即测量被拍摄对象的深度信息,例如可以包括三维(3dimensions,3D)深感摄像头、飞行时间(time of flight,TOF)深度摄像头或双目深度摄像头等。
摄像头193所包括的摄像头可以划分为主摄和副摄。主摄可以用于拍摄图像,例如可以包括长焦摄像头、广角摄像头、超广角摄像头或变焦摄像头等中的一种或多种。副摄可以用于测距或其他辅助功能,例如可以包括深度摄像头。
在本申请的实施例中,摄像头193中的一个或多个可以作为目标摄像头(本申请各实施例中所述的目标摄像头仅为一种指代,也可以用其他名称,如可以称之为第一摄像头),从而用于在正常模式(如正常工作状态下)下采集图像以进行相机类业务(如拍照或摄影)的处理;并在低功耗模式下采集图像以进行低功耗感知业务的处理。元器件如摄像头可以分别工作于低功耗模式和正常模式,当元器件工作于低功耗模式时,相比工作于正常模式,元器件工作的功耗降低,如工作频率降低、和/或采集数据规格降低等。电子设备会让一些元器件工作于低功耗模式以进行一些低功耗业务,如检测屏幕前是否有手势、人脸等。目标摄像头可以是一个或多个摄像头。在一种可能的实现方式中,目标摄像头有多个,在正常模式下被用来协作采集图像,当目标摄像头用于在低功耗模式下采集图像时,可以是使用了目标摄像头中的一个摄像头。或者,目标摄像头可以是一个摄像头,如,可以是用于在正常模式下采集图像的多个摄像头中的一个,该摄像头还会用于在低功耗模式下采集图像。在一些实施例中,目标摄像头可以是一个前置的摄像头。在一些实施例中,在正常模式下,目标摄像头采集的图像经过处理后,还可以同时用于低功耗感知业务的处理。其中,低功耗感知业务是指在低功耗状态下处理的感知业务,例如通过在低功耗状态下感知用户不同的隔空手势(在屏幕前做手势)来进行不同的响应,如,感应到用户向左挥手的手势将屏幕内容进行向后翻页处理。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当手机100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。手机100可以支持一种或多种视频编解码器。这样,手机100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现手机100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
内部存储器121可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行手机100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能(比如声音播放功能,图像播放功能等)所需的应用程序等。存储数据区可存储手机100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
处理器110可以运行有第一处理模块运行有应用程序层和框架层。处理器110还可以运行其他一些软件模块,例如本地库(Native Libraries)层、安卓运行时(AndroidRuntime)、硬件抽象(hardware abstraction layer,HAL)层或内核(kernel)层等。其中,应用程序层包括一系列的应用程序包,比如相机,图库,日历,通话,社交,视频通话,地图,导航,WLAN,蓝牙,音乐,视频,或短信息等应用程序。
在本申请的实施例中,手机100还可以包括安全区和传感器控制单元。其中,传感器控制单元用于连接多种传感器并处理传感器输出的数据。安全区由处理器和存储器等部件组成,用于存储和处理用户的私密信息或重要信息,且安全区与其他模块是隔离的,其他模块难以从安全区获取到用户的私密信息或重要信息。例如,安全区可以接收摄像头发送的图像数据进行亮度检测或图像识别等处理,而后经过传感器控制单元的处理后发送给上层低功耗感知业务。
可以理解的是,本申请实施例示意的结构并不构成对手机100的具体限定。在本申请另一些实施例中,手机100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
以下将以电子设备为手机为例,来阐述业务处理方法。
在目前现有的一种低功耗感知方案中,手机通过新增一个第一低功耗感知传感器来实现低功耗业务感知功能。例如,在该方案中,手机的低功耗业务感知系统的架构图可以参见图3。如图3所示,手机包括处理模块A和处理模块B。其中,处理模块A运行有应用程序层和框架层等软件模块。应用程序层包括多个应用程序,例如相机类应用程序或低功耗感知业务应用程序等。在本申请的实施例中,应用程序也可简称为应用。相机类应用可以包括相机应用或视频通话应用等需要使用摄像头采集图像的应用。处理模块B包括第一低功耗感知传感器、安全区和传感器控制单元。手机通过处理模块B执行低功耗感知业务(例如亮屏)。其中,处理模块B中的第一低功耗感知传感器将采集到的灰度图像的图像数据发送给安全区进行图像识别等处理;安全区将处理后的结果发送给传感器控制单元;传感器控制单元进行后处理后将结果发送给处理模块A中的低功耗感知业务应用,从而执行相应的低功耗感知业务。
此外,在图3所示的方案中,手机还包括处理模块C。处理模块C包括摄像头和ISP,以及ISP与摄像头之间的控制通路300,ISP通过控制通路300控制摄像头启动。手机通过处理模块C执行相机类应用对应的相机类业务,例如拍照、录像或视频通话等需要使用摄像头采集图像的业务。在手机启动相机类业务时,摄像头将采集到的彩色图像的图像数据发送给ISP进行处理,ISP将处理后的数据发送给处理模块A中的相机类应用,从而执行相应的相机类业务。
在本申请以下实施例提供的方案中,手机通过添加低功耗通路(可以理解成是新的信号通路,比如原来没有通信的两个对象之间现在可以进行通信了),可以复用手机已有的目标摄像头实现第一低功低耗感知传感器的功能,而不需要新增一个第一低功耗感知传感器硬件,从而可以降低手机的成本以及对产品美观和屏占比造成的影响,降低手机的设计和制作难度。
以下将从软件、硬件相结合的角度,对本申请实施例提供的业务处理方法进行阐述。
例如,本申请实施例提供的一种低功耗业务感知系统的架构图可以参见图4A。如图4A所示,手机包括第一处理模块、第一ISP、第二处理模块和目标摄像头。该目标摄像头可以用于执行相机类业务,还可以被复用以执行低功耗感知业务。
其中,被复用的目标摄像头是手机已有的摄像头,具体可以是一个或多个摄像头。并且,被复用的目标摄像头可以是前置摄像头和/或后置摄像头,可以用于实现手势识别、人脸识别、用户姿态识别或环境等感知功能。例如,当目标摄像头为前置摄像头时,可以用于实现手势识别、人脸识别或用户姿态识别等感知功能;当目标摄像头为后置摄像头时可以用于实现环境识别等感知功能。示例性的,参见图4B,被复用的目标摄像头400为前置主摄。并且,被复用的目标摄像头还可以切换为手机的其他已有摄像头。例如,上层业务层或安全区可以在特定场景下或者在满足预设条件时下发指令,以指示被复用的目标摄像头切换为手机的其他摄像头。
在图4A所示的低功耗业务感知系统的架构图中,第一处理模块与图3所示的处理模块A有相似之处,也可以有不同之处(比如在对ISP的控制上可能有不同之处,具体地,如可以给ISP发送的控制信号与图3中不同,该信号控制ISP来执行的操作与图3中ISP执行的操作不同)。与图3所示的处理模块A类似,第一处理模块也运行有多个软件模块,且不同操作系统中第一处理模块运行的软件模块可以不同。例如,在安卓系统中,第一处理模块运行有应用程序层和框架层,还运行有本地库(Native Libraries)层、安卓运行时(AndroidRuntime)、硬件抽象(hardware abstraction layer,HAL)层和内核(kernel)层等软件模块。其中,应用程序层包括多个应用程序,例如相机类应用(包括相机应用或视频通话应用等)以及低功耗感知业务应用等。第一处理模块可以通过上述图2所示的处理器110或处理器110中的一个处理核(例如大核)实现。第二处理模块与图3所示的处理模块B有相似之处也有不同之处。与图3所示的处理模块B类似,第二处理模块包括安全区和传感器控制单元等部件。其中,安全区可以存储或处理用户的私密信息或重要信息,且安全区与手机的其他模块是隔离的,手机的其他模块难以从安全区获取到用户的私密信息或重要信息。在本申请的实施例中,安全区可以对目标摄像头输出的数据进行图像识别等处理。传感器控制单元用于连接多种传感器(比如摄像头)并处理传感器输出的数据。在本申请的实施例中,传感器控制单元可以对安全区输出的图像处理结果进行进一步处理,并将获得的处理结果发送给低功耗感知业务应用进行业务处理。其中,第一处理模块、第二处理模块和传感控制单元可以为软硬件结合的模块,具体可以分别通过不同的处理芯片来实现,也可以集成在同一处理芯片上,本申请实施例不予限定。
在本申请的实施例中,手机的目标摄像头可以在手机开机后常开,或者在满足预设条件后(例如手机屏幕亮屏后)再开启,或者在手机未启动目标摄像头处理相机类业务的情况下间歇性开启。目标摄像头开启后,默认处于低功耗模式。不同于图3所示的处理模块B,图4A所示的第二处理模块中的安全区与目标摄像头之间具有第一数据传输通路401,用于在低功耗模式下将目标摄像头采集第一图像所获得的第一图像数据发送给安全区。并且,如图4A所示,目标摄像头与第一ISP之间具有第二数据传输通路402,用于在正常模式下将目标摄像头采集第二图像所获得的第二图像数据发送给第一ISP。第一ISP与目标摄像头之间具有第一控制通路(例如为I2C控制通路)403,用于控制目标摄像头在低功耗模式和正常模式之间进行切换(第一控制通路403还可以用于控制所述目标摄像头启动),不同于图3所示的现有技术中的控制通路300那样仅用于控制摄像头启动。其中,通过第二数据传输通路发送给第一ISP的第二图像数据可以是出图规格较高、质量较好的图像的数据,例如分辨率较高的彩色图像的数据;通过第一数据传输通路发送给安全区的第一图像数据可以是出图规格较低的图像的数据,例如分辨率较低的灰度图像的数据。其中,该出图规格涉及的参数包括图像的帧率和/或质量等,图像的质量包括图像的分辨率(或称尺寸)和/或通道数等。其中,图像的通道数用于表示图像为彩色图像或灰度图像。一幅RGB彩色图像由红(Red)、绿(Green)和蓝(Blue)这三个通道构成;其他格式的彩色图像可以转换为RGB彩色图像,从而用三个通道来表示。而一幅灰度图像只有灰度值一个通道。
基于图4A所示的系统架构,本申请实施例提供了一种业务处理方法,参见图5A-5B,该方法包括:
500、在手机开机时,第一处理模块通知第一ISP启动目标摄像头。
手机在开机初始化时,可以启动目标摄像头以使用目标摄像头执行低功耗业务感知功能。第一处理模块可以在手机开机时通知第一ISP启动目标摄像头。
501、第一ISP通知目标摄像头设置为低功耗模式。
在一些实施例中,第一ISP向目标摄像头发送第一配置参数,该第一配置参数与低功耗模式相对应。第一ISP向目标摄像头发送第一配置参数,即为通知目标摄像头设置为低功耗模式。
其中,第一配置参数用于指示目标摄像头在低功耗模式下采集图像时所需的参数。例如,第一配置参数可以包括图像的采集帧率,图像的分辨率,色度类型,或曝光参数等。此外,该第一配置参数还可以包括第一目标地址,该第一目标地址为安全区的地址。第一目标地址用于指示目标摄像头将采集第一图像所获得的第一图像数据发送给安全区。
在另一些实施例中,该第一配置参数还包括第一模式标识,该第一模式标识用于指示将目标摄像头设置为低功耗模式。
可以理解的是,第一配置参数中不同种类的数据可以在一条或多条指令中,由第一ISP发送给目标摄像头。
在其他一些实施例中,目标摄像头中存储有低功耗模式对应的第一配置参数,第一ISP并不向目标摄像头发送第一配置参数,而仅发送低功耗模式对应的第一模式标识。
需要说明的是,在其他一些实施例中,手机可以不用执行步骤500-501,目标摄像头在手机开机后默认处于低功耗模式,默认使用预先配置的第一配置参数,以第一出图规格采集第一图像。
或者,手机可以在首次开机时执行步骤500-501,并将第一配置参数配置在目标摄像头中。后续,手机再次开机后,目标摄像头默认处于低功耗模式,默认使用预先配置的第一配置参数,以第一出图规格采集第一图像。
还需要说明的是,本申请实施例中的第一图像可以是指低功耗模式下目标摄像头以第一出图规格采集的一系列的图像,而不单指某一帧图像。在低功耗模式下的不同时刻,目标摄像头采集的第一图像不同。
502、目标摄像头在低功耗模式下以第一出图规格采集第一图像,并将第一图像对应的第一图像数据发送给安全区。
目标摄像头接收到第一配置参数后,根据第一配置参数采集图像从而获得第一图像数据。其中,第一配置参数与第一出图规格相对应,目标摄像头根据第一配置参数采集图像,即为目标摄像头以第一出图规格采集图像。当目标摄像头根据第一配置参数采集图像时,目标摄像头处于第一配置参数对应的低功耗模式。或者,目标摄像头接收到第一模式标识后可以确认当前处于低功耗模式,根据第一配置参数采集图像从而获得第一图像数据。也就是说,在目标摄像头启动后,目标摄像头默认处于低功耗模式。
在低功耗模式下,目标摄像头通过第一数据传输通路,将第一图像数据发送给第一目标地址对应的安全区。由于安全区的处理能力有限,因而该第一图像数据可以是质量较差的图像的数据,例如帧率和分辨率较低的灰度图像的数据。
503、安全区对第一图像数据进行图像处理后,将第一处理结果发送给传感器控制单元。
安全区中运行有多种图像处理算法,例如亮度检测算法或图像识别算法等。示例性的,图像识别算法包括手势识别、人脸识别、用户姿态识别或环境识别等算法,安全区对第一图像数据进行图像处理后,可以将第一处理结果发送给传感器控制单元。
504、传感器控制单元对一个或多个第一图像数据的第一处理结果进行处理后,将获得的第二处理结果发送给第一处理模块中的低功耗感知业务应用,以便执行相应的低功耗感知业务。
传感器控制单元可以对一个或多个第一图像数据,针对一种或多种图像处理算法获得的第一处理结果进行算法后处理,从而将获得的第二处理结果发送给低功耗感知业务应用,以执行相应的低功耗感知业务。
例如,低功耗感知业务可以包括隔空手势(例如向左挥手、向右挥手或握拳等)响应,屏幕自动旋转或亮屏等。举例来说,在亮屏状态下,若手机检测到向左挥手的隔空手势,则执行向后翻页的低功耗感知业务。再例如,用户侧躺着观看手机视频时,手机根据重力传感器的数据可能将屏幕状态设置为竖屏,但手机根据采集到的用户侧躺时的用户图像和环境图像会自动将屏幕旋转为横屏状态,以与用户的侧躺状态相匹配。
其中,传感器控制单元可以每次都把第二处理结果发送给第一处理模块中的低功耗感知业务应用。或者,传感器控制单元可以按照预设周期把第二处理结果定时发送给第一处理模块中的低功耗感知业务应用。或者,传感器控制单元可以在确定本次的第二处理结果与上一次的第二处理结果不同时,将本次的第二处理结果上报给第一处理模块中的低功耗感知业务应用。或者,传感器控制单元在满足低功耗感知业务触发条件后,才将第二处理结果发送给低功耗感知业务应用。举例来说,第二处理结果为检测到手,传感器控制单元不会将第二处理结果上报;第二处理结果为检测到向左挥手,满足隔空手势的低功耗感知业务触发条件,因而将第二处理结果上报给低功耗感知业务应用。针对不同的低功耗感知业务应用或第二处理结果,传感器控制单元的上报方式可以不同。
505、当手机有相机类业务时,第一处理模块中的相机类应用通知第一ISP相机类业务启动。
例如,当用户想要拍照、录制视频或进行视频通话时,相机类业务启动,相机类应用可以通知第一ISP相机类业务启动。
506、第一ISP通知目标摄像头切换为正常模式。
在一些实施例中,第一ISP向目标摄像头发送第二配置参数。该第二配置参数与正常模式相对应。第一ISP向目标摄像头发送第二配置参数,即为通知目标摄像头设置为正常模式。
其中,第二配置参数用于指示目标摄像头在正常模式下采集图像时所需的参数。例如,第二配置参数可以包括图像的采集帧率,图像的分辨率,色度类型,或曝光参数等。此外,该第二配置参数还包括第二目标地址,该第二目标地址为第一ISP的地址。第二目标地址用于指示目标摄像头将采集第二图像所获得的第二图像数据发送给第一ISP。
在另一些实施例中,该第二配置参数还包括第二模式标识,该第二模式标识用于指示将目标摄像头设置为正常模式。
可以理解的是,第二配置参数中不同种类的数据可以在一条或多条指令中,由第一ISP发送给目标摄像头。
在其他一些实施例中,目标摄像头中存储有正常模式对应的第二配置参数,第一ISP不并不向目标摄像头发送第二配置参数,而仅发送正常模式对应的第二模式标识。
507、目标摄像头在正常模式下以第二出图规格采集第二图像,并将第二图像对应的第二图像数据发送给第一ISP。
目标摄像头接收到第二配置参数后,根据第二配置参数采集图像从而获得第二图像数据。其中,第二配置参数与第二出图规格相对应,目标摄像头根据第二配置参数采集图像,即为目标摄像头以第二出图规格采集图像。当目标摄像头根据第二配置参数采集图像时,目标摄像头处于第二配置参数对应的正常模式。或者,目标摄像头接收到第二模式标识后可以确认当前处于正常模式,根据第二配置参数采集图像从而获得第二图像数据。也就是说,目标摄像头由低功耗模式切换为正常模式。
在正常模式下,目标摄像头将根据第二配置参数采集第二图像所获得的第二图像数据,通过第二数据传输通路发送给第二目标地址对应的第一ISP。该第二图像数据可以是质量较好的图像的数据,例如帧率和分辨率较高的彩色图像的数据。也就是说,第二出图规格高于第一出图规格。
需要说明的是,本申请实施例中的第二图像是指正常模式下目标摄像头以第二出图规格采集的一系列的图像,而不单指某一帧图像。在正常模式下的不同时刻,目标摄像头采集的第二图像不同。
508、第一ISP对第二图像数据进行处理后,将处理结果发送给第一处理模块中的相机类应用,以便执行相机类业务。
例如,相机类应用可以执行拍照、录制视频或视频通话等相机类业务。
也就是说,手机默认在低功耗模式下以第一出图规格低功耗采集图像,在有相机类业务时才切换到正常模式以第二出图规格高功耗采集图像,因而可以尽量降低手机的功耗,节省手机的电量。
509、当相机类业务结束时,相机类应用通知第一ISP相机类业务停止。
例如,在用户关闭视频通话后,相机类业务结束,视频通话应用可以通知第一ISP视频通话业务结束。
510、第一ISP通知目标摄像头切换为低功耗模式,而后循环执行上述步骤502-510。
在一些实施例中,第一ISP可以将低功耗模式下对应的第一配置参数发送给目标摄像头,以指示目标摄像头采用第一配置参数在低功耗模式下采集第一图像。
在另一些实施例中,目标摄像头之前保存了第一ISP发送的第一配置参数,第一ISP向目标摄像头发送的配置参数为空,以指示目标摄像头采用默认的低功耗模式下的第一配置参数采集第一图像。
在其他一些实施例中,目标摄像头之前保存了第一ISP发送的第一配置参数,第一ISP仅将第一模式标识发送给目标摄像头,而不再发送第一配置参数,以指示目标摄像头采用第一配置参数在低功耗模式下采集第一图像。
也就是说,在相机类业务结束后,目标摄像头可以继续回到低功耗模式以第一出图规格低功耗采集图像,从而尽量降低手机的功耗,节省手机的电量。
在上述步骤500-510描述的方案中,第一ISP可以运行相应的控制代码来控制目标摄像头在正常模式和低功耗模式之间进行切换。
与图3所示的方案相比,在图4A所示的低功耗业务感知系统的架构图中,手机未增加第一低功耗感知传感器,而是通过在手机已有的目标摄像头与安全区之间增加第一数据传输通路(为低功耗通路中的一部分),来复用已有的目标摄像头实现第一低功耗感知传感器的功能。这样,同一目标摄像头可以有两种模式,即正常模式和低功耗模式。用户使用目标摄像头处理相机类业务时,目标摄像头切换为正常模式进行正常的拍照、录像或视频通话等;用户不使用目标摄像头处理相机类业务时,目标摄像头切换到低功耗模式以供低功耗感知业务使用。
在上述步骤500-510描述的方案中,通过复用手机已有的目标摄像头可以同时实现相机类业务和低功耗感知业务,无需额外新增第一低功耗感知传感器硬件,从而可以降低成本以及对产品的美观和屏占比所造成影响,降低手机的设计和制作难度。
并且,手机默认以第一出图规格低功耗采集图像,在有相机类业务时才以第二出图规格高功耗采集图像,因而可以尽量降低手机的功耗,节省手机的电量。
另外,为了实现上述业务处理功能,手机包含了执行各个功能相应的硬件和/或软件模块。在本申请实施例提供的一种模块划分方式中,参见图5C,安全区可以包括第二ISP、处理器和存储器。安全区可以是一个软、硬件结合的系统,处理器和第二ISP可以是运行有软件的处理器,传感器控制单元可以是一个运行有软件的芯片。其中,该第二ISP可以为轻量型的迷你mini-ISP。该处理器可以为低功耗处理器比如Tiny芯片等,可以用于运行手势识别、人脸识别、用户姿态识别或环境识别等图像识别算法,该存储器用于存储程序、图像数据或图像识别结果等数据。其中,第二ISP可以常开;安全区中的处理器可以不常开,而在需要运行图像识别算法时才开启。
如图5C所示,传感器控制单元(例如可以是sensorhub)包括第三处理模块,该第三处理模块用于对来自安全区的图像处理结果进行进一步的处理,例如对来自安全区的多个处理结果进行融合处理以获得另一处理结果。第三处理模块也可以称为算法后处理模块。此外,传感器控制单元还可以包括管理模块以及传感器驱动模块等。其中,管理模块用于管理处理器,例如负责处理器的加载和上电等控制。传感器驱动模块用于驱动与传感器控制单元相连的传感器(例如摄像头等)。
基于上述图5C所示的模块,在上述实施例的步骤502中,目标摄像头可以将第一图像数据发送给安全区中的第二ISP。在上述步骤503中,安全区中的第二ISP对第一图像数据进行图像处理后,或者第二ISP将第一图像数据存储到存储器以便处理器对第一图像数据进行图像处理后,将第一处理结果发送给传感器控制单元中的第三处理模块。在上述步骤504中,第三处理模块对一个或多个第一图像数据的第一处理结果进行处理后,将获得的第二处理结果发送给第一处理模块中的低功耗感知业务应用。
在本申请的一些实施例中,低功耗模式可以包括多种子模式,不同子模式对应的手机功耗不同。不同子模式之间可以根据场景需求进行切换,从而使得手机的功耗与当前的场景需求相匹配,减少不必要的功耗,尽量节省手机的电量。参见图6A,传感器控制单元与目标摄像头之间还具有第二控制通路(例如为I2C控制通路)404,第二控制通路也属于上述低功耗通路中的一部分,用于控制目标摄像头在低功耗模式的不同子模式之间进行切换。其中,安全区通过运行相应的控制代码来控制目标摄像头,在低功耗模式的不同子模式之间进行切换。
在低功耗模式下,手机可以通过降低目标摄像头的出图规格来降低功耗。如前所述,该出图规格涉及的参数包括图像的帧率和/或质量等,图像的质量包括图像的分辨率和/或通道数等。比如,手机可以通过修改目标摄像头对应的出图配置寄存器,来修改出图规格。示例性的,该出图配置寄存器可以为移动行业处理器接口(Mobile IndustryProcessor Interface,MIPI)协议规定的物理(PHY)寄存器。
在低功耗模式包括多种子模式的情况下,第一配置参数也包括各子模式分别对应的子配置参数,不同子配置参数对应第一出图规格中的不同子规格。参见图6B,上述步骤502具体包括:
502a、目标摄像头在低功耗模式的第一子模式下,根据对应的第一子配置参数以子规格
1采集第一图像,并将第一图像对应的第一图像数据发送给安全区。
而后,在上述步骤504之后且步骤505之前,该方法还包括:
504a、传感器控制单元根据第二处理结果,通知目标摄像头切换为低功耗模式的第二子模式。
504b、目标摄像头在低功耗模式的第二子模式下,根据对应的第二子配置参数以子规格2采集第一图像,并将第一图像对应的第一图像数据发送给安全区。
504c、安全区对第一图像数据进行图像处理后,将第三处理结果发送给传感器控制单元。
504d、传感器控制单元对一个或多个第一图像数据的第三处理结果进行处理后,将获得的第四处理结果发送给第一处理模块中的低功耗感知业务应用,以便执行相应的低功耗感知业务。
可以理解的是,这里的第一图像是指低功耗模式下目标摄像头以第一出图规格中的不同子规格采集的一系列的图像,而不单指某一帧图像。在低功耗模式下的不同时刻,目标摄像头采集的第一图像不同。
在一些实施例中,参见图6C,目标摄像头包括正常模式和低功耗模式,低功耗模式可以包括两种子模式:低规格出图模式和高规格出图模式。
例如,在低规格出图模式下,目标摄像头的出图规格为图像分辨率320*240且为灰度图像,出图帧率为2fps。与低规格出图模式相比,目标摄像头在高规格出图模式下的出图帧率和/或出图质量较高。例如,高规格出图模式下目标摄像头的出图规格为图像分辨率640*320且为灰度图像,出图帧率为10fps。
低功耗模式下不同出图规格的子模式对应的功耗不同,例如高规格出图模式的功耗高于低规格出图模式。例如,手机可以默认处于低规格出图模式,当手机检测到手或人脸时认为可能将要触发低功耗感知业务,从而可以切换到高规格模式来进行图像采集和识别,以更快、更准地进行图像识别以便根据识别结果确定是否触发低功耗感知业务。
在其他一些实施例中,参见图6D,低功耗模式还包括另一种子模式,即环境光感应(ambient light sensing,ALS)模式。在ALS模式下,目标摄像头中的感光元件被划分为M*N个区域块。相应地,如图6E所示,目标摄像头输出的图像也划分为M*N个图像块,且出图帧率较低例如为1fps或2fps等。手机可以持续监测各区域块的光线变化,即持续监测各图像块的亮度变化。当图像块的亮度变化程度大于预设阈值后,手机切换为低功耗模式下的其他子模式。
与其他子模式相比,ALS模式下手机的功耗低且不运行手势识别、人脸识别、用户姿态识别或环境识别等图像识别算法,可以避免手机在低功耗模式下长时间地持续运行图像识别算法,从而降低手机功耗。在低功耗模式下,传感器默认处于ALS模式,ALS模式与其他子模式之间可以根据场景需求进行切换,从而使得手机的功耗与当前的场景需求相匹配,减少不必要的功耗,尽量节省手机的功耗。
手机在满足对应的预设条件后,切换采用低功耗模式下第一配置参数中的不同子配置参数,以不同的子规格采集第一图像。举例来说,低功耗模式包括ALS模式、低规格出图模式和高规格出图模式3种子模式,每种子模式分别对应不同的子配置参数和第一出图规格中的不同子规格。目标摄像头默认处于ALS模式,在满足一些预设条件时由ALS模式切换为低规格出图模式,后续还可以根据预设条件由低规格出图模式切换为高规格出图模式,以逐渐提高出图质量或出图帧率,提高算法准确度。在满足另一些预设条件时,高规格出图模式也可以切换为低规格出图模式或ALS模式,低规格出图模式也可以切换回ALS模式,从而逐渐降低出图质量或出图帧率,降低手机功耗。这样,手机可以根据实际场景需求来确定要进入的子模式,从而按需运行相关算法,尽量降低手机功耗,节省手机电量。
在本申请的一些实施例中,本申请实施涉及的安全区中的第二ISP,可以用于在ALS模式下判断图像亮度的变化。安全区中的处理器可以用于在低规格出图模式或高规格出图模式下,运行手势识别、人脸识别、用户姿态识别或环境识别等图像识别算法。其中,第二ISP可以常开;安全区中的处理器不常开,而在低规格出图模式或高规格出图模式下才开启。参见图7,本申请实施例涉及的传感器控制单元还可以包括第四处理模块,用于根据第三处理模块中的第二处理结果来决策和控制低功耗模式下不同子模式间的切换,并通知目标摄像头进行相应子模式的切换。
以下将从图7所示的各模块的角度,以低功耗模式包括ALS模式、低规格出图模式和高规格出图模式为例,来说明低功耗模式下各子模式间基于预设条件的切换过程。参见图8,子模式间的切换过程可以包括:
801、目标摄像头默认处于ALS模式,采用ALS模式对应的子配置参数以子规格1采集第一图像。
在低功耗模式的ALS模式下,目标摄像头采用ALS模式对应的子配置参数采集第一图像,第一图像对应子规格1。目标摄像头通过第一数据传输通路,将第一图像对应的第一图像数据发送给安全区中的第二ISP,第二ISP确定图像亮度变化是否大于或者等于预设阈值。安全区的处理器中的图像识别算法暂不运行。
802、在低功耗模式下,第二ISP检测图像亮度变化是否大于或者等于预设阈值;若是,则执行步骤803,若否,则目标摄像头保持为ALS模式。
在低功耗模式下,第二ISP可以判断是否满足图像亮度变化大于或者等于预设阈值这一条件;而后根据不同的判断结果分别执行相应的步骤。
803、若图像亮度变化是否大于或者等于预设阈值,则目标摄像头切换到低规格出图模式,采用低规格出图模式对应的子配置参数以子规格2采集后续的第一图像。
当第二ISP确定来自目标摄像头的图像的亮度变化大于或者等于预设阈值时,通过第二控制通路通知目标摄像头切换到低规格出图模式,并采用低规格出图模式对应的子配置参数采集第一图像,第一图像对应子规格2,且子规格2高于子规格1。
其中,图像亮度变化大于或者等于预设阈值可以有多种情况,例如亮度大于或者等于预设值1的图像块的数据大于或者等于预设数量值1,再例如亮度变化阈值大于或者等于预设值2的图像块的数量大于或者等于预设数量值2等。
804、在低规格出图模式下,安全区和传感器控制单元检测图像上是否出现第一目标对象;若是,则执行步骤805;若否,则目标摄像头切换为ALS模式。
在低功耗模式下,安全区和传感器控制单元可以判断是否满足从图像中识别到第一目标对象这一条件;而后根据不同的判断结果分别执行相应的步骤。
805、目标摄像头切换到高规格出图模式,采用高规格出图模式对应的子配置参数以子规格3采集后续的第一图像。
其中,该第一目标对象可以是人脸、手、景点或物体(比如飞机、火车或水杯)等预设的对象,本申请实施例对第一目标对象的具体类型不予限定。
在低规格出图模式下,安全区中的处理器开启运行图像识别算法。目标摄像头按照低规格出图模式对应的出图规格输出第一图像数据,该第一图像数据通过第二ISP到达安全区中的处理器。安全区中的处理器运行图像识别算法,以检测图像上是否出现第一目标对象。处理器将图像识别结果发送给第三处理模块。
在低规格出图模式下,若第三处理模块确定图像上未出现第一目标对象,则可以认为当前并非低功耗感知业务所关注的场景,因而第四处理模块通过第二控制通路通知目标摄像头切换为ALS模式,以降低手机功耗。
在低规格出图模式下,若第三处理模块确定图像上出现第一目标对象,则可以表明当前为低功耗感知业务所关注的场景,用户可能想要使用手机处理一些低功耗感知业务,目标摄像头可以频繁地采集图像以更快、更准地进行图像识别,以便根据识别结果确定是否触发低功耗感知业务。因而,第四处理模块通过第二控制通路通知目标摄像头切换到高规格出图模式,从而采用高规格出图模式对应的子配置参数采集第一图像,第一图像对应子规格3,且子规格3高于子规格2。
806、在高规格出图模式下,安全区和传感器控制单元检测图像上是否出现第二目标对象;若是,则执行步骤807;若否,则目标摄像头切换为低规格出图模式或ALS模式。
在低功耗模式下,安全区和传感器控制单元可以判断是否满足从图像中识别到第二目标对象这一条件;而后根据不同的判断结果分别执行相应的步骤。
807、目标摄像头保持高规格出图模式,且第三处理模块将处理结果发送给第一处理模块中的低功耗感知业务应用,以进行低功耗感知业务处理。
其中,该第二目标对象可以是预设的用户感兴趣的对象或预设的设备需要关注的用户输入,例如预设手势或用户注视等,本申请实施例对第二目标对象的具体类型不予限定。
在高规格出图模式下,目标摄像头按照高规格出图模式对应的出图规格输出第一图像数据,该第一图像数据通过第二ISP到达安全区中的处理器。安全区中的处理器运行图像识别算法,以检测图像上是否出现第二目标对象。处理器将图像识别结果发送给第三处理模块。
在高规格出图模式下,若第三处理模块确定图像上未出现第二目标对象,则可以认为当前并未出现低功耗感知业务所关注的对象,用户可能并不想触发低功耗感知业务,因而第四处理模块通过第二控制通路通知目标摄像头切换为低规格出图模式,以降低手机功耗。
在高帧率出图模式下,若第三处理模块确定图像上出现第二目标对象,则可以表明当前已出现低功耗感知业务所关注的对象,目标摄像头保持高帧率出图模式,且第三处理模块将处理结果发送给第一处理模块中的低功耗感知业务应用进行业务处理。
可以理解的是,这里的第一图像是指低功耗模式下目标摄像头以第一出图规格中的不同子规格(例如子规格1、子规格2或子规格3)采集的一系列的图像,而不单指某一帧图像。在低功耗模式下的不同时刻,目标摄像头采集的第一图像不同。
此外,在本申请的一些实施例中,手机还可以通过界面显示、语音播报、振动或指示灯等方式,将目标摄像头的当前工作模式提示给用户。比如,目标摄像头为前置主摄,手机可以在界面上显示文字提示信息“前置主摄已进入低功耗模式”,“前置主摄已进入ALS模式”,“前置主摄已进入低规格出图模式”,或“前置主摄已进入高规格出图模式”等。
在本申请的其他一些实施例中,参见图9A所示的另一种低功耗业务感知系统的架构图,第一ISP和安全区之间通过安全认证后彼此之间建立了一条安全的信号通路405。在第一ISP和安全区之间通过安全认证后,在目标摄像头的正常模式下,第一ISP将来自目标摄像头的第二图像数据发送给相机类应用进行处理;同时,第一ISP还可以将来自目标摄像头的第二图像进行处理后获得第三图像,并将第三图像对应的第三图像数据(也可以理解为第一ISP将第二图像数据进行处理后获得第三图像数据)通过该信号通路发送到安全区,从而实现正常模式下目标摄像头获取的图像数据的传输通道的通路复用。这样,在正常模式下,在用户使用目标摄像头进行拍照、录像或视频通话等相机类业务的同时,手机仍可以基于目标摄像头采集的图像,通过安全区和传感器控制单元来实现第一低功耗感知传感器的功能。
需要说明的是,由于第二图像并不单指一帧图像,而是基于第二出图规格采集的一系列图像,因而第三图像也不单指一帧图像,而包括针对不同第二图像分别进行处理获得的图像。
而在图4A所示的正常模式下,在用户使用目标摄像头进行拍照、录像或视频通话等相机类业务的同时,由于目标摄像头被占用,手机仍无法基于目标摄像头获得的图像数据通过安全区和传感器控制单元实现第一低功耗感知传感器的功能。需要说明的是,手机在图9A所示情况下的低功耗模式下的处理流程以及低功耗模式和正常模式的切换流程,与图4A所示情况下的处理流程一致,此处不予赘述。
在图9A所示情况的正常模式下,参见图9B-9C所示的数据流向示意图,目标摄像头采集第二图像所获得的第二图像数据发送给第一ISP,第一ISP与安全区之间进行核间通信,从而将获取的第二图像进行处理后发送给第一处理模块中的相机类应用,以执行拍照、录像或视频通话等相机类业务。如图9B-9C所示,第一ISP还对来自目标摄像头的第二图像进行处理后得到第三出图规格的第三图像后,将第三图像对应的第三图像数据发送给安全区,以便安全区进行图像处理后发送传感器控制单元,进而发送给上层低功耗感知业务应用,从而进行低功耗感知业务处理。也可以理解为,第一ISP将第二图像数据进行处理后获得第三图像数据,并将第三图像数据发送给安全区,且第三图像数据对应第三出图规格。
其中,鉴于安全区的处理能力有限,且考虑到降低功耗的问题,第一ISP可以将来自目标摄像头的图像降低规格后发送给安全区,例如可以对来自目标摄像头的图像进行抽图以降低图像帧率,进行下采样以降低图像分辨率,进行裁剪以减小图像画幅,或将彩色图像转换成灰度图像等处理。第二图像数据为来自目标摄像头的较高规格的图像的数据,第三图像数据为降低质量后的图像的数据。也就是说,第三出图规格低于第二出图规格。
也就是说,在图9A所示的情况下,在进入正常模式之后且在步骤509-510之前,参见图10,该方法还包括:
508a、第一ISP将第二图像进行处理获得第三出图规格的第三图像,并将第三图像对应的第三图像数据发送给安全区。
例如,第三出图规格可以与低功耗模式下的子规格3相同,以便第二处理模块可以根据出图规格较高(高于子规格2和子规格1)但相对于第二出图规格又较低的子规格3,来获得第三图像数据,以便根据第三图像数据进行低功耗感知业务处理。
508b、安全区对第三图像数据进行图像处理后,获得第五处理结果并发送给传感器控制单元。
508c、传感器控制单元对一个或多个第三图像数据的第五处理结果进行处理后,将获得的第六处理结果发送给第一处理模块中的低功耗感知业务应用,以便执行相应的低功耗感知业务。
在上述实施例中,在图9A所示的正常模式下,第三图像数据可以是预设规格的图像的数据。例如,第三图像数据可以是低功耗模式下某个子模式对应的出图规格的图像的数据。示例性的,第三图像数据可以是高规格出图模式对应的出图规格的图像的数据,以尽量符合低功耗模式下各场景对出图规格的需求。
与图5所示情况类似,在其他一些实施例中,在图6B或图10所示的情况下,手机可以不用执行步骤500-501,目标摄像头在手机开机后默认处于低功耗模式,默认使用预先配置的第一配置参数,以第一出图规格采集第一图像。或者,手机可以在首次开机时执行步骤500-501,并将第一配置参数配置在目标摄像头中。后续,手机再次开机后,目标摄像头默认处于低功耗模式,默认使用预先配置的第一配置参数,以第一出图规格采集第一图像。
在本申请的其他一些实施例中,参见图11,传感器控制单元与第一ISP之间还包括第三控制通路406,用于在正常模式下切换第一ISP向安全区发送的第三图像数据对应的第三出图规格中的不同子规格,第三出图规格低于第二出图规格。比如,第三出图规格包括子规格4、子规格5和子规格6。这样,在目标摄像头工作在正常模式的情况下,仍可以根据实际场景需求为低功耗感知业务提供出图规格较低的不同子规格的第三图像数据,从而使得实际功耗与实际场景需求相匹配,尽量降低正常模式下的手机功耗,节省手机电量。尤其地,长时间在正常模式下使用目标摄像头时,图11所示的方案的功耗收益更为明显。
其中,第三出图规格可以与第一出图规格相同或不同。例如,在目标摄像头工作在正常模式的情况下,第三出图规格与第一出图规格相同,第三出图规格也包括ALS模式、低规格出图模式和高规格出图模式分别对应的子规格1、子规格2和子规格3。其中,子规格4与子规格1相同,子规格5与子规格2相同,子规格6与子规格3相同。在目标摄像头工作在正常模式的情况下,当第一ISP将第三图像数据发送给第二处理模块后,第二处理模块中的传感器控制单元可以确定是否切换子规格。若需要切换子规格,则传感器控制单元可以通知第一ISP。第一ISP对后续根据第二出图规格采集的第二图像进行处理,从而获得满足切换后的子规格的第三图像和第三图像数据。
举例来说,在目标摄像头工作在正常模式的情况下,第一ISP向安全区发送的第三图像数据对应的第三出图规格,默认为低功耗模式中的ALS模式对应的子规格1以降低手机功耗。安全区对第三图像数据进行处理后,将处理结果发送给传感器控制单元中的第三处理模块,第三处理模块将处理结果发送给传感器控制单元中的第四处理模块。第四处理模块根据第三模块的处理结果确定需要提高出图规格时,通过第三控制通路通知第一ISP向安全区发送低功耗模式中的低规格出图模式的子规格2对应的第三图像数据。后续,第三出图规格还可以在子规格1、子规格2和子规格3之间相互切换,该过程类似于低功耗模式下不同子模式及对应的子规格1、子规格2和子规格3之间的切换,这里不予赘述。例如,第三出图规格中不同子规格的一种切换流程可以参见图8所示的子模式及子规格的切换流程。
这样,在目标摄像头工作在正常模式的情况下,仍可以根据实际场景需求为低功耗感知业务提供低功耗模式中的ALS模式对应的第三图像数据、低功耗模式中的低规格模式对应的第三图像数据或低功耗模式中的高规格模式对应的第三图像数据,从而使得实际功耗与实际场景需求相匹配,尽量降低正常模式下的手机功耗,节省手机电量。
在一些实施例中,在图9A或图11所示的架构图中,手机还可以通过界面显示、语音播报、振动或指示灯等方式提示用户,在正常模式下手机可以基于目标摄像头同时实现相机类业务和低功耗感知业务。示例性的,参见图12,手机每次进入正常模式后,或者手机首次进入正常模式后,或者手机首次开机后引导用户使用时,或者其他情况下手机可以显示文字信息:手机在使用摄像头执行相机类业务的同时还可以执行低功耗感知业务。
在一些实施例中,第一ISP可以运行相应的控制代码,以在正常模式下将第三图像数据发送给安全区。在另一些实施中,第一处理模块中运行有摄像头守护进程。摄像头守护进程可以运行相应的控制代码,以通知第一ISP在正常模式下将第三图像数据发送给安全区。
这样,在第一低功耗感知传感器与目标摄像头合一后,手机在正常模式下使用目标摄像头正常处理拍照、录像或视频通话等业务时,还可以同时基于目标摄像头正常执行低功耗感知业务。
此外,由于安全区可能存放有用户的一些私密数据,因而应该是重要的、需要被保护的、安全可靠的区域。安全认证就是为了使得第一ISP和安全区双方确认彼此是安全的,这样安全区才会从第一ISP接收数据,避免安全区被强灌数据,遭受攻击而崩溃,从而无法正常工作。
其中,第一ISP和安全区之间的安全认证方式可以有多种,例如基于公私钥的安全认证,基于令牌的认证或基于鉴权的认证等,本申请实施例对此不予限定。其中,第一ISP和安全区之间可以在首次进入目标摄像头的正常模式后进行一次安全认证即可;也可以在每次进入正常模式后均进行一次安全认证,或者周期性地进行安全认证,本申请实施例对安全认证的时机不予限定。
以上是电子设备为手机为例对本申请实施例提供的业务处理方法进行阐述的。当电子设备为平板电脑或手表等其他设备时,仍可以采用上述方法来节省电子设备自身的功耗,此处不予赘述。
可以理解的是,为了实现上述功能,电子设备包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本实施例可以根据上述方法示例对电子设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是,本实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
本申请实施例还提供一种电子设备,包括:一个或多个摄像头,用于采集图像;一个或多个处理器;存储器,以及一个或多个计算机程序,其中一个或多个计算机程序被存储在存储器中,一个或多个计算机程序包括指令,当指令被电子设备执行时,使得电子设备执行上述相关方法步骤实现上述实施例中的业务处理方法。
本申请实施例还提供一种电子设备,包括一个或多个处理器以及一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,使得电子设备执行上述相关方法步骤实现上述实施例中的业务处理方法。
本申请的实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的业务处理方法。
本申请的实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中电子设备执行的业务处理方法。
另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中电子设备执行的业务处理方法。
其中,本实施例提供的电子设备、计算机可读存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (31)

1.一种业务处理方法,应用于电子设备,所述电子设备包括目标摄像头,其特征在于,所述方法包括:
在所述目标摄像头开启后,采用所述目标摄像头以第一出图规格采集图像,所述以第一出图规格采集的图像用于处理第一业务;
在第二业务启动后采用所述目标摄像头以第二出图规格采集图像,所述第二出图规格高于所述第一出图规格,所述以所述第二出图规格采集的图像用于处理所述第二业务,所述第二业务包括拍照、录像或视频通话,所述第一业务不同于所述第二业务。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述第二业务结束后,采用所述目标摄像头以所述第一出图规格采集图像。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
在所述第二业务启动后,对所述以第二出图规格采集的图像进行处理得到符合第三出图规格的图像,所述符合第三出图规格的图像用于处理所述第一业务,所述第二出图规格高于所述第三出图规格。
4.根据权利要求3所述的方法,其特征在于,所述第三出图规格与所述第一出图规格相同。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述第一出图规格包括子规格1和子规格2,所述子规格2高于所述子规格1,所述采用所述目标摄像头以第一出图规格采集图像,包括:
采用所述目标摄像头以所述子规格1采集图像;
若基于所述以所述子规格1采集的图像确定满足第一条件,则采用所述目标摄像头以所述子规格2采集图像。
6.根据权利要求5所述的方法,其特征在于,所述第一出图规格还包括子规格3,所述子规格3高于所述子规格2,所述采用所述目标摄像头以第一出图规格采集图像还包括:
若基于以所述子规格2采集的图像确定满足第二条件,则采用所述目标摄像头以所述子规格3采集图像;或者
若基于以所述子规格2采集的图像确定不满足所述第二条件,则采用所述目标摄像头以所述子规格1采集图像。
7.根据权利要求6所述的方法,其特征在于,所述采用所述目标摄像头以第一出图规格采集图像还包括:
若基于所述以所述子规格3采集的图像确定满足第三条件,则继续采用所述目标摄像头以所述子规格3采集图像;或者
若基于所述以所述子规格3采集的图像确定不满足所述第三条件,则采用所述目标摄像头以所述子规格2或所述子规格1采集图像。
8.根据权利要求3或4所述的方法,其特征在于,所述第三出图规格包括子规格4和子规格5,所述子规格5高于所述子规格4,所述对所述以第二出图规格采集的图像进行处理得到符合第三出图规格的图像,包括:
对所述以第二出图规格采集的图像进行第一处理得到符合所述子规格4的图像;
若基于所述符合所述子规格4的图像确定满足第一条件,则对接下来以所述第二出图规格采集的图像进行第二处理得到符合所述子规格5的图像。
9.根据权利要求8所述的方法,其特征在于,所述第三出图规格还包括子规格6,所述子规格6高于所述子规格5,所述对所述以第二出图规格采集的图像进行处理得到符合第三出图规格的图像还包括:
若基于所述符合所述子规格5的图像确定满足第二条件,则对接下来以所述第二出图规格采集的图像进行第三处理得到符合所述子规格6的图像;或者
若基于所述符合所述子规格5的图像确定不满足所述第二条件,则对接下来以所述第二出图规格采集的图像进行所述第一处理得到符合所述子规格4的图像。
10.根据权利要求9所述的方法,其特征在于,所述对所述以第二出图规格采集的图像进行处理得到第三出图规格的图像还包括:
若基于所述符合所述子规格6的图像确定满足第三条件,则对接下来以所述第二出图规格采集的图像继续进行所述第三处理得到符合所述子规格6的图像;或者
若基于所述符合所述子规格6的图像确定不满足所述第三条件,则对接下来以所述第二出图规格采集的图像进行所述第二处理得到符合所述子规格5的图像或进行所述第一处理得到符合所述子规格4的图像。
11.根据权利要求1-10任一项所述的方法,其特征在于,所述方法还包括以下中的至少一项:所述第一条件包括图像亮度变化大于或者等于预设阈值;
所述第二条件包括从图像中识别到第一目标对象;
所述第一目标对象包括人脸、手、景点或物体;
所述第三条件包括从图像中识别到第二目标对象;
所述第二目标对象包括预设手势或用户注视;
所述出图规格涉及的参数包括图像的帧率、分辨率或通道数这些参数中的一种或多种;
所述第一业务包括隔空手势检测;
所述电子设备为手机、平板电脑、可穿戴设备或车载设备。
12.一种电子设备,其特征在于,包括:目标摄像头和第一处理模块,所述第一处理模块运行有第一业务的应用程序和第二业务的应用程序;
所述目标摄像头用于,在开启后以第一出图规格采集图像,所述以第一出图规格采集的图像用于处理所述第一业务;
所述目标摄像头还用于,在所述第二业务启动后以第二出图规格采集图像,所述第二出图规格高于所述第一出图规格,所述以所述第二出图规格采集的图像用于处理所述第二业务,所述第二业务包括拍照、录像或视频通话,所述第一业务不同于所述第二业务。
13.根据权利要求12所述的电子设备,其特征在于,所述目标摄像头还用于:
在所述第二业务结束后,以所述第一出图规格采集图像。
14.根据权利要求12或13所述的电子设备,其特征在于,所述电子设备还包括第一图像信号处理器ISP;
所述目标摄像头还用于,在所述第二业务启动后,将以所述第二出图规格采集的图像发送给所述第一ISP;
所述第一ISP用于:将所述以所述第二出图规格采集的图像发送给所述第一处理模块,对所述以所述第二出图规格采集的图像进行处理得到符合第三出图规格的图像,所述符合第三出图规格的图像用于处理所述第一业务,所述第二出图规格高于所述第三出图规格。
15.根据权利要求14所述的电子设备,其特征在于,所述第三出图规格与所述第一出图规格相同。
16.根据权利要求12-15任一项所述的电子设备,其特征在于,所述电子设备还包括第二处理模块,所述第一出图规格包括子规格1和子规格2,所述子规格2高于所述子规格1;所述目标摄像头用于以第一出图规格采集图像包括用于:
以所述子规格1采集图像;
将以所述子规格1采集的图像发送给所述第二处理模块;
若所述第二处理模块基于所述以所述子规格1采集的图像确定满足第一条件,则所述目标摄像头以所述子规格2采集图像。
17.根据权利要求16所述的电子设备,其特征在于,所述第一出图规格还包括子规格3,所述子规格3高于所述子规格2;所述目标摄像头用于以第一出图规格采集图像还包括用于:
将以所述子规格2采集的图像发送给所述第二处理模块;
若所述第二处理模块基于以所述子规格2采集的图像确定满足第二条件,则所述目标摄像头以所述子规格3采集图像;或者
若所述第二处理模块基于以所述子规格2采集的图像确定不满足所述第二条件,则所述目标摄像头以所述子规格1采集图像。
18.根据权利要求17所述的电子设备,其特征在于,所述目标摄像头用于以第一出图规格采集图像还包括用于:
将以所述子规格3采集的图像发送给所述第二处理模块;
若所述第二处理模块基于所述以所述子规格3采集的图像确定满足第三条件,则所述目标摄像头继续以所述子规格3采集图像;或者
若所述第二处理模块基于所述以所述子规格3采集的图像确定不满足所述第三条件,则所述目标摄像头以所述子规格2或所述子规格1采集图像。
19.根据权利要求14或15所述的电子设备,其特征在于,所述电子设备还包括第二处理模块,所述第三出图规格包括子规格4和子规格5,所述子规格5高于所述子规格4;所述第一ISP用于对所述以第二出图规格采集的图像进行处理得到符合第三出图规格的图像包括用于:
对所述以第二出图规格采集的图像进行第一处理得到符合所述子规格4的图像;
将符合所述子规格4的图像发送给所述第二处理模块;
若所述第二处理模块基于所述符合所述子规格4的图像确定满足第一条件,则所述第一ISP对接下来以所述第二出图规格采集的图像进行第二处理得到符合所述子规格5的图像。
20.根据权利要求19所述的电子设备,其特征在于,所述第三出图规格还包括子规格6,所述子规格6高于所述子规格5;所述第一ISP用于对所述以第二出图规格采集的图像进行处理得到符合第三出图规格的图像还包括用于:
将符合所述子规格5的图像发送给所述第二处理模块;
若所述第二处理模块基于所述符合所述子规格5的图像确定满足第二条件,则所述第一ISP对接下来以所述第二出图规格采集的图像进行第三处理得到符合所述子规格6的图像;或者
若所述第二处理模块基于所述符合所述子规格5的图像确定不满足所述第二条件,则所述第一ISP对接下来以所述第二出图规格采集的图像进行所述第一处理得到符合所述子规格4的图像。
21.根据权利要求20所述的电子设备,其特征在于,所述第一ISP用于对所述以第二出图规格采集的图像进行处理得到符合第三出图规格的图像还包括用于:
将符合所述子规格6的图像发送给所述第二处理模块;
若所述第二处理模块基于所述符合所述子规格6的图像确定满足第三条件,则所述第一ISP对接下来以所述第二出图规格采集的图像继续进行所述第三处理得到符合所述子规格6的图像;或者
若所述第二处理模块基于所述符合所述子规格6的图像确定不满足所述第三条件,则所述第一ISP对接下来以所述第二出图规格采集的图像进行所述第二处理得到符合所述子规格5的图像或进行所述第一处理得到符合所述子规格4的图像。
22.根据权利要求16-18任一项或19-21任一项所述的电子设备,其特征在于,所述第一条件包括图像亮度变化大于或者等于预设阈值。
23.根据权利要求17、18、20、21或22任一项所述的电子设备,其特征在于,所述第二条件包括从图像中识别到第一目标对象。
24.根据权利要求23所述的电子设备,其特征在于,所述第一目标对象包括人脸、手、景点或物体。
25.根据权利要求18或21-24任一项所述的电子设备,其特征在于,所述第三条件包括从图像中识别到第二目标对象。
26.根据权利要求25所述的电子设备,其特征在于,所述第二目标对象包括预设手势或用户注视。
27.根据权利要求12-26任一项所述的电子设备,其特征在于,所述出图规格涉及的参数包括图像的帧率、分辨率或通道数这些参数中的一种或多种。
28.根据权利要求12-27任一项所述的电子设备,其特征在于,所述第一业务包括隔空手势检测。
29.一种电子设备,其特征在于,包括:
一个或多个摄像头,用于采集图像;
一个或多个处理器;
存储器;
以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述电子设备执行时,使得所述电子设备执行如权利要求1-11任一所述的业务处理方法。
30.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在计算机上运行时,使得所述计算机执行如权利要求1-11任一所述的业务处理方法。
31.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1-11任一所述的业务处理方法。
CN202011003490.2A 2020-08-31 2020-08-31 一种业务处理方法及设备 Pending CN112351194A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010901750.1 2020-08-31
CN202011003490.2A CN112351194A (zh) 2020-08-31 2020-08-31 一种业务处理方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011003490.2A CN112351194A (zh) 2020-08-31 2020-08-31 一种业务处理方法及设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202010901750.1 Division 2020-08-31

Publications (1)

Publication Number Publication Date
CN112351194A true CN112351194A (zh) 2021-02-09

Family

ID=74491449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011003490.2A Pending CN112351194A (zh) 2020-08-31 2020-08-31 一种业务处理方法及设备

Country Status (1)

Country Link
CN (1) CN112351194A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160205321A1 (en) * 2015-01-14 2016-07-14 Wisconsin Alumni Research Foundation Signal Processing Circuit with Multiple Power Modes
CN107172345A (zh) * 2017-04-07 2017-09-15 深圳市金立通信设备有限公司 一种图像处理方法及终端
CN107657167A (zh) * 2017-11-02 2018-02-02 广东欧珀移动通信有限公司 人脸解锁的方法、装置、计算机可读存储介质和电子设备
US20180332224A1 (en) * 2015-09-28 2018-11-15 Google Llc Integrated Solutions For Smart Imaging
CN110121031A (zh) * 2019-06-11 2019-08-13 Oppo广东移动通信有限公司 图像采集方法和装置、电子设备、计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160205321A1 (en) * 2015-01-14 2016-07-14 Wisconsin Alumni Research Foundation Signal Processing Circuit with Multiple Power Modes
US20180332224A1 (en) * 2015-09-28 2018-11-15 Google Llc Integrated Solutions For Smart Imaging
CN107172345A (zh) * 2017-04-07 2017-09-15 深圳市金立通信设备有限公司 一种图像处理方法及终端
CN107657167A (zh) * 2017-11-02 2018-02-02 广东欧珀移动通信有限公司 人脸解锁的方法、装置、计算机可读存储介质和电子设备
CN110121031A (zh) * 2019-06-11 2019-08-13 Oppo广东移动通信有限公司 图像采集方法和装置、电子设备、计算机可读存储介质

Similar Documents

Publication Publication Date Title
EP3869462A1 (en) Method for obtaining depth information and electronic device
CN211791829U (zh) 3d显示设备
WO2020259674A1 (zh) 一种曲面屏的防误触方法及电子设备
CN110673694A (zh) 一种应用打开方法和电子设备
WO2021018070A1 (zh) 一种图像显示的方法及电子设备
CN111339513A (zh) 数据分享的方法和装置
CN112351194A (zh) 一种业务处理方法及设备
CN110795187A (zh) 一种图像显示方法及电子设备
CN112437341A (zh) 一种视频流处理方法及电子设备
WO2021104104A1 (zh) 一种高能效的显示处理方法及设备
WO2021110034A1 (zh) 眼部定位装置、方法及3d显示设备、方法
TW202123692A (zh) 眼部定位裝置、方法及3d顯示裝置、方法
WO2021104485A1 (zh) 一种拍摄方法及电子设备
WO2021164387A1 (zh) 目标物体的预警方法、装置和电子设备
EP3872658A1 (en) Face recognition method and electronic device
CN111492678B (zh) 一种文件传输方法及电子设备
WO2021170129A1 (zh) 一种位姿确定方法以及相关设备
CN111107292B (zh) 一种录像帧率的控制方法、移动终端及计算机存储介质
CN112672076A (zh) 一种图像的显示方法和电子设备
WO2021073183A1 (zh) 始终显示方法及移动设备
WO2020192209A1 (zh) 一种基于Dual Camera+TOF的大光圈虚化方法
CN111835530A (zh) 群组加入方法及装置
CN111553846A (zh) 超分辨率处理方法及装置
CN111768416A (zh) 照片裁剪方法及装置
CN111555825A (zh) 射频资源分配方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination