CN116828295A - 数据处理方法、图像处理芯片及计算机可读存储介质 - Google Patents
数据处理方法、图像处理芯片及计算机可读存储介质 Download PDFInfo
- Publication number
- CN116828295A CN116828295A CN202210265606.2A CN202210265606A CN116828295A CN 116828295 A CN116828295 A CN 116828295A CN 202210265606 A CN202210265606 A CN 202210265606A CN 116828295 A CN116828295 A CN 116828295A
- Authority
- CN
- China
- Prior art keywords
- chip
- image processing
- image
- processing chip
- power consumption
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 42
- 230000008569 process Effects 0.000 claims abstract description 18
- 230000004044 response Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 description 36
- 230000006399 behavior Effects 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002618 waking effect Effects 0.000 description 2
- 238000003705 background correction Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Studio Devices (AREA)
Abstract
本申请实施例提供了一种数据处理方法、图像处理芯片及计算机可读存储介质,所述方法应用于图像处理芯片,所述图像处理芯片与第一摄像单元连接,所述第一摄像单元处于常开状态,所述方法包括:获取所述第一摄像单元采集的第一帧图像数据;控制所述图像处理芯片以第一功耗对所述第一帧图像数据进行处理,以确定所述第一帧图像数据的处理状态;当所述第一帧图像数据处理完成时,控制所述图像处理芯片以第二功耗运行,其中所述第二功耗低于所述第一功耗。本申请实施例中通过当第一帧图像数据处理完成后,控制图像处理芯片进入低功耗模式,基于此来实现AON功能,能够降低终端设备的功耗。
Description
技术领域
本申请涉及芯片技术领域,并且更为具体地,涉及一种数据处理方法、图像处理芯片及计算机可读存储介质。
背景技术
近年来随着摄像头技术成熟和成本的降低,摄像头的应用越来越广泛。为能够改善终端设备在使用过程中的体验,终端设备可以通过常开(always on,AON)式的摄像头方案,以捕获用户的行为和用户关注信息,来实现AON场景下的预设功能,即AON功能,比如:解锁终端、页面切换等。
目前,在AON功能的实现过程中,图像处理芯片仍会产生不必要的功耗,导致终端设备功耗过高。
发明内容
针对上述问题,本申请提供一种数据处理方法、图像处理芯片及计算机可读存储介质,以降低AON功能实现过程中的终端功耗。
第一方面,提供一种数据处理方法,所述方法应用于图像处理芯片,所述图像处理芯片与第一摄像单元连接,所述第一摄像单元处于常开状态,所述方法包括:获取所述第一摄像单元采集的第一帧图像数据;控制所述图像处理芯片以第一功耗对所述第一帧图像数据进行处理,以确定所述第一帧图像数据的处理状态;当所述第一帧图像数据处理完成时,控制所述图像处理芯片以第二功耗运行,其中所述第二功耗低于所述第一功耗。
作为一种可能的实现方式,所述图像处理芯片与第一摄像单元通过MIPI总线连接,所述当所述第一帧图像数据处理完成时,控制所述图像处理芯片以第二功耗运行,包括:响应于所述MIPI总线的ULPS特性,当所述第一帧图像数据处理完成时,控制所述图像处理芯片以第二功耗运行。
作为一种可能的实现方式,所述图像处理芯片包括图像信号处理单元、第一处理单元和第二处理单元,所述当所述第一帧图像数据处理完成时,控制所述图像处理芯片以第二功耗运行,包括:当所述第一帧图像数据处理完成时,控制所述图像信号处理单元、所述第一处理单元和所述第二处理单元中的至少一个为关闭状态或低功耗状态。
作为一种可能的实现方式,所述图像处理芯片与应用芯片连接,所述方法还包括:响应于所述应用芯片发出的关闭所述图像处理芯片的指令,控制所述图像处理芯片关闭。
作为一种可能的实现方式,在获取所述第一摄像单元采集的第一帧图像数据之前,所述方法还包括:控制所述图像处理芯片对所述第一摄像单元进行参数配置。
第二方面,提供一种图像处理芯片,所述图像处理芯片与第一摄像单元连接,所述第一摄像单元处于常开状态;所述第一摄像单元用于采集第一帧图像数据;所述图像处理芯片用于以第一功耗对所述第一帧图像数据进行处理,以确定所述第一帧图像数据的处理状态;当所述第一帧图像数据处理完成时,控制所述图像处理芯片以第二功耗运行,其中所述第二功耗低于所述第一功耗。
作为一种可能的实现方式,所述图像处理芯片与第一摄像单元通过MIPI总线连接,所述图像处理芯片还用于:响应于所述MIPI总线的ULPS特性,当所述第一帧图像数据处理完成时,控制所述图像处理芯片以第二功耗运行。
作为一种可能的实现方式,所述图像处理芯片包括图像信号处理单元、第一处理单元和第二处理单元,所述当所述第一帧图像数据处理完成时,控制所述图像处理芯片以第二功耗运行,包括:当所述第一帧图像数据处理完成时,控制所述图像信号处理单元、所述第一处理单元和所述第二处理单元中的至少一个为关闭状态或低功耗状态。
作为一种可能的实现方式,所述图像处理芯片与应用芯片连接,所述图像处理芯片还用于:响应于所述应用芯片发出的关闭所述图像处理芯片的指令,控制所述图像处理芯片关闭。
作为一种可能的实现方式,在获取所述第一摄像单元采集的第一帧图像数据之前,所述图像处理芯片还用于:对所述第一摄像单元进行参数配置。
第三方面,提供一种计算机可读存储介质,其上存储有可执行代码,当所述可执行代码被执行时,能够实现如第一方面或第一方面中任一实现方式所述的方法。
第四方面,提供一种计算机程序产品,包括可执行代码,当所述可执行代码被执行时,能够实现如第一方面或第一方面中任一实现方式所述的方法。
本申请实施例提供一种数据处理方法,当第一帧图像数据处理完成后,控制图像处理芯片进入低功耗模式,基于此来实现AON功能,能够降低终端设备的功耗。
附图说明
图1为本申请一实施例提供的数据处理系统的示意图。
图2为本申请另一实施例提供的数据处理系统的示意图。
图3为本申请一实施例提供的数据处理方法的示意性流程图。
图4为本申请另一实施例提供的数据处理方法的示意性流程图。
图5为本申请又一实施例提供的数据处理系统的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。
在介绍本申请技术方案之前,下面将对AON摄像头、应用场景以及AON功能进行阐述。
AON摄像头
所谓AON摄像头指的是处于常开状态的摄像头,这种摄像头一般是终端设备的前置摄像头。可以理解的是,AON摄像头也可以是终端设备的后置摄像头,还可以是单独设置的低功耗摄像头。本申请实施例对此不作具体限制。
AON摄像头的应用场景
AON摄像头的应用场景可以如下,但不限于此:
(1)解锁场景:AON摄像头需要采集图像数据,以得到用户行为信息,例如:人脸信息、手势信息等,终端设备可以根据该用户的行为信息确定是否进行解锁。
(2)隐私保护场景:AON摄像头需要采集图像数据,以得到用户行为信息,例如:人脸信息、手势信息等,终端设备可以根据该用户的行为信息确定是否显示社交应用(application,APP)中的新消息、银行发来的账户信息等。
(3)注视不灭屏场景:AON摄像头需要采集图像数据,以得到用户行为信息,例如:人脸信息、手势信息等,终端设备可以根据该用户的行为信息确定是否自动灭屏。比如:通过AON摄像头采集到的图像数据,确定用户当前正在注视某一个页面达到预设时长,这时说明用户不希望自动灭屏,因此,终端设备在这种情况下,可以控制屏幕处于常亮状态。
AON功能
AON功能与AON场景对应,例如:在解锁场景下,该AON功能即为通过AON摄像头实现的解锁功能。再例如:在隐私保护场景下,该AON功能即为通过AON摄像头实现的隐私保护功能。又例如:在注视不灭屏场景下,该AON功能即为通过AON摄像头实现的注视不灭屏功能。
需要说明的是,本申请实施例中的终端设备可以是移动终端,如智能手机、平板电脑、可穿戴设备等,也可以不是移动终端,如可以是网络设备。本申请实施例对此不作具体限制。
为了便于理解本申请,先结合图1介绍相关技术中的一种图像数据处理系统。图1是传统的数据处理系统的示意图。图1所示的数据处理系统100包括第一摄像单元110和应用芯片(application processor,AP)130。第一摄像单元110与应用芯片130例如可以通过移动行业处理器接口(mobile industry processor interface,MIPI)连接。
在一些实施例中,第一摄像单元110处于常开状态,即是AON摄像头,第一摄像单元110可用于采集图像数据。
在一些实施例中,应用芯片130可以包括,但不限于:图像信号处理器(imagesignal processing,ISP)、中央处理器(central process unit,CPU)、神经网络处理器(neural-network processing unit,NPU)、数字信号处理器(digital signal processor,DSP)和双倍速率同步动态随机存取内存(double data rate synchronous dynamicrandom-access memory,DDRSDRAM)等。
作为一个示例,第一摄像单元110可以通过MIPI总线与应用芯片130中的MIPI RX连接,并通过该MIPI总线传输采集到的图像数据,MIPI RX可以将该图像数据传输给图像信号处理ISP进行处理。例如图像信号处理ISP可以对图像数据做基础的算法预处理(如坏点补充、降噪等),并可以将预处理后的图像数据存储在DDR SDRAM中。接着,将基于AON功能实现的算法部署在CPU、或DSP、NPU上,并处理DDR SDRAM中存储的预处理数据,以实现AON功能。
实际上,由于AON摄像头的帧率和分辨率都比较低,在实现AON功能的过程中,对图像数据的处理要求也比较简单。而应用芯片的软硬件都要求以较高的功率来运行,以提高用户体验。也就是说,在实现AON功能的过程中,如果AON的图像数据全部由应用芯片来处理的话,会导致终端设备的功耗较高。
为了解决上述问题,本申请实施例中提出了另一种数据处理系统。图2为本申请实施例提供的数据处理系统200的示意图,如图2所示,该系统200包括:第一摄像单元210、图像处理芯片220和应用芯片230,图像处理芯片220的两端分别与第一摄像单元210和应用芯片230连接。
应理解的是,第一摄像单元210处于常开状态,即是AON摄像头,第一摄像单元210用于采集图像数据。第一摄像单元210拍摄的图像例如可以是Bayer或者YUV等格式的图像,本申请实施例对此不作具体限制。
在一些实施例中,图像处理芯片220可以包括图像信号处理单元2201、第一处理单元2202、第二处理单元2203。图像信号处理单元2201可用于对图像数据进行预处理,得到预处理后的图像数据。第一处理单元2202可用于获取预处理后的图像数据,并对预处理后的图像数据进行当前场景下的处理操作,得到处理后的图像数据。第二处理单元2203可用于获取处理后的图像数据,并根据处理后的图像数据进行用户行为的初步分析,根据用户行为的初步分析结果判断是否唤醒应用芯片230,若满足预设条件可以通过中断源对应用芯片230进行唤醒。作为一个示例,如果AON功能是基于人脸识别实现的,那么用户行为的初步分析可以是根据处理后的数据判断是否存在真实的人脸图像,若为真实的人脸,且满足唤醒的预设条件,则可以通过中断源唤醒应用芯片230,以实现预设的AON功能,如解锁终端、页面切换等。作为另一个示例,如果AON功能是基于手势识别实现的,那么用户行为的初步分析可以是根据处理后的数据判断是否存在真实的手势图像。若检测到手势图像为有效触发手势,则可以通过中断源唤醒应用芯片230,以实现预设的AON功能,如解锁终端、页面切换等。
可选地,第一摄像单元210可以通过MIPI总线与图像处理芯片220中的MIPIRX2207连接,并通过该MIPI总线传输采集到的图像数据,MIPI RX2207可以将该图像数据传输给图像信号处理单元2201进行预处理。
可选地,图像信号处理单元2201可以包括一个或者多个图像信号处理ISP,本申请实施例对此不作具体限制。
可选地,图像信号处理单元2201对图像数据(例如可以是Bayer数据)进行的预处理操作包括以下至少一项,但不限于:黑电平补偿(black level compensation,BLC)、镜头矫正(lens shading correction,LSC)、坏像素矫正(bad pixel correction,BPC)、颜色插值(demosaic)、Bayer噪声去除、白平衡(AWB)矫正、色彩矫正(color correction)、gamma矫正、色彩空间转换等。
可选地,第一处理单元2202可以包括一个或者多个神经网络处理器NPU。第一处理单元2202可以对预处理后的图像数据进行AON功能对应的处理操作包括,但不限于:用于处理AON实现的神经网络算法,该第一处理单元2202主要定制化实现AON功能的算子,从而实现低功耗和高效率。应理解的是,所谓定制化实现AON功能的算子,指的是针对不同的AON场景,实现该场景下的AON功能的算子。
可选地,图像处理芯片220还可以包括第一存储单元2204,用于存储处理后的图像数据。第一存储单元2204例如可以是静态随机存取存储器(static random accessmemory,SRAM)或者动态随机存取存储器(dynamic random access memory,DRAM)等,本申请实施例对此不做限制。
可选地,第二处理单元2203包括一个或者多个中央处理器CPU。
可选地,图像处理芯片220还可以包括第一接口2205,该第一接口2205例如可以是通用输入/输出口(general purpose input output,GPIO)。第一接口2205的两端分别与第二处理单元2203和应用芯片230的一个中断源连接。该中断源用于唤醒应用芯片230。第二处理单元2203在确定唤醒应用芯片230时会产生中断请求,并通过第一接口2205唤醒应用芯片230。这种通过第一接口2205直接连接到应用芯片230的中断源的方式,可以快速唤醒应用芯片230。第二处理单元2203在确定不唤醒应用芯片230时,可以继续按照预设帧率获取第一摄像单元210采集的图像数据。
可选地,图像处理芯片220还可以包括串行外设接口(serial peripheralinterface,SPI)2206,其中,第二处理单元2203可以通过串行外设接口2206将图像数据的关键信息发送给应用芯片230,用于判断是否执行当前场景下的预设操作。该图像数据的关键信息例如可以是处理后的图像数据的多个关键点的坐标以及关键点的属性等,应用芯片230可以根据关键信息判断是否执行当前场景下的预设操作,例如:在解锁场景下,应用芯片230根据该关键信息可以判断是否进行屏幕解锁。在隐私保护场景下,应用芯片230根据该关键信息可以判断是否显示用户隐私信息。在注视不灭屏场景下,应用芯片230根据该关键信息可以判断是否灭屏。本申请对此不做限制。
在本申请实施例中,在AON功能的实现过程中,先通过图像处理芯片对图像数据进行预处理,然后根据对用户行为的初步分析结果确定是否唤醒应用芯片,当需要唤醒应用芯片时,则唤醒应用芯片,并向该应用芯片发送关键信息,以判断是否执行当前场景下的预设操作。针对较为简单的AON功能,本申请实施例中的方案无需应用芯片来完全处理图像数据实现,可以释放应用芯片的资源空间,从而能够降低终端设备的功耗。
但是,由于AON摄像头的帧率和分辨率比较低,这就导致在每帧图像之间具有一段相对较长的时间间隔,但图像处理芯片在每一帧图像数据处理完之后,仍然按照当前的功耗运行,等待处理下一帧的图像数据,对系统资源存在无效调用的情况,从而导致图像处理芯片会产生不必要的功耗,进而导致终端设备仍然存在功耗过高的问题。
为了解决上述技术问题,本申请实施例提供一种数据处理方法,当第一帧图像数据处理完成后,控制图像处理芯片进入低功耗模式,基于此来实现AON功能,可以是实现最大化有效利用,释放相关资源,避免对系统资源的无效调用,从而可以降低终端设备的功耗。
下面将结合图2和图3对本申请实施例提供的数据处理方法进行详细阐述。
如图2和图3所示,本申请实施例中的数据处理方法300可以应用于图像处理芯片220,图像处理芯片220与第一摄像单元210连接,第一摄像单元210处于常开状态。数据处理方法300包括步骤S320~步骤S360。
本申请实施例为了方便描述图像处理芯片的功耗状态(也称功耗模式),引入了第一功耗和第二功耗,本申请所提及的第一功耗和第二功耗均可以指终端设备中的图像处理芯片(或终端设备)运行所消耗的功耗。示例性地,第一功耗例如可以是指在处理图像数据的过程中,图像处理芯片运行的功耗状态。第二功耗例如可以是指响应于数据处理完成,图像处理芯片进行休眠或部分休眠时的功耗状态。其中,第二功耗是低于第一功耗的。
在步骤S320,获取第一摄像单元采集的第一帧图像数据。
继续参见图2,第一摄像单元210处于常开状态,即是AON摄像头,第一摄像单元210用于采集图像数据。第一摄像单元210拍摄的图像例如可以是Bayer或者YUV等格式的图像,本申请对此不做限制。
需要说明的是,第一帧图像数据可以是指第一摄像单元210采集的任意一帧图像数据,本申请实施例对此不做具体限制。
在步骤S340,控制图像处理芯片以第一功耗对第一帧图像数据进行处理,以确定第一帧图像数据的处理状态。
继续参见图2,图像处理芯片220对第一帧图像数据的处理状态可以分为两种,一种状态是未处理完成,需要图像处理芯片220继续对第一帧图像数据进行处理。另一种状态是已处理完成。也就是说,当第一帧图像数据处理完成时,到下一帧图像数据到来之前,图像处理芯片220可以是处于没有处理任务的空闲态。
在步骤S360,当第一帧图像数据处理完成时,控制图像处理芯片以第二功耗运行。
继续参见图2,在一些实施例中,图像处理芯片220与第一摄像单元210可以通过MIPI总线连接。示例性地,第一摄像单元210可以通过MIPI总线与图像处理芯片220中的MIPI RX2207连接,并通过该MIPI总线传输采集到的图像数据,MIPI RX 2207可以将该图像数据传输给图像信号处理单元2201。当第一帧图像数据处理完成时,由于会存在空闲态,因此可以控制图像处理芯片220进入低功耗模式,即休眠状态。
在一些实施例中,图像处理芯片220进入低功耗模式可以是指图像处理芯片220中的部分或全部的单元模块进入休眠状态或关闭状态,本申请实施例对此不作具体限制。当第一帧图像数据处理完成时,例如可以控制图像信号处理单元2201、第一处理单元2202、第二处理单元2203、第一存储单元2204等图像处理芯片220中的部分或全部单元进入休眠或关闭状态。作为一个示例,当图像处理芯片220进入休眠状态时,可以关闭图像信号处理单元2201和第一处理单元2202。作为另一个示例,当图像处理芯片220进入休眠状态时,可以控制第二处理芯片2203进入低功耗模式,该低功耗模式例如可以是指第二处理芯片2203的电源状态C-State为非C0状态。应理解,当图像处理芯片220进入休眠状态时,可以关闭图像信号处理单元2201和第一处理单元2202,同时控制第二处理芯片2203进入低功耗模式。
需要说明的是,图像处理芯片220可以包括更多的单元模块,本申请实施例对此不作具体限制。
在一些实施例中,图像处理芯片220与第一摄像单元210之间可以通过MIPI总线连接,当第一帧图像数据处理完成时,可以利用MIPI协议的(ultra-low power state,ULPS)特性来设计,当第一摄像单元210采集的每一帧图像数据处理后,根据ULPS特性来控制图像处理芯片220进入低功耗模式。即,响应于MIPI总线的超低功耗ULPS特性,当所述第一帧图像数据处理完成时,可以控制图像处理芯片220以第二功耗运行。利用MIPI协议的ULPS特性来设计AON功能的每一帧图像数据处理后,控制图像处理芯片220进入低功耗模式,可以实现最大化有效利用,降低终端设备功耗。
在一些实施例中,图像处理芯片220可与应用芯片230连接,根据当前的应用场景,当应用芯片判断不需要实现AON功能时,应用芯片230可以下发关闭图像处理芯片220的指令,响应于应用芯片发出的关闭图像处理芯片220的指令,可以控制图像处理芯片220关闭。由此可以进一步降低终端设备的功耗。以第一摄像单元210为终端设备的前置摄像头为例,当用户在进行自拍的场景时,终端设备无需开启AON功能,此时可以控制图像处理芯片220关闭。
在一些实施例中,在获取第一摄像单元210采集的第一帧图像数据之前,一般还需要对第一摄像单元210的参数进行配置,例如根据不同的应用场景配置不同的帧率,如设置为5fps。相关技术中,一般是由应用芯片230进行场景判断,并对第一摄像单元210的参数进行配置,这样会增加终端设备的功耗。本申请实施例中,将由图像处理芯片220对第一摄像单元210的参数进行配置,这样能进一步释放应用芯片230的资源,从而降低了终端设备的功耗。
可选地,图像处理芯片220在系统启动后处于低功耗模式,例如:在终端设备开机后,图像处理芯片220默认进入低功耗模式。
应理解的是,图像处理芯片220的低功耗模式指的是图像处理芯片中的部分或者全部单元处理休眠状态。
应理解的是,应用芯片在系统启动后默认进行工作模式,但是应用芯片可以判断自己是否可以进入休眠状态,例如:当终端设备在预设时长内未被使用时,则应用芯片可以确定需要进入休眠状态,为了不影响AON功能,在应用芯片确定需要进行休眠状态之前,可以先唤醒图像处理芯片,在唤醒图像处理芯片之后,应用芯片可以进入休眠状态。
在本申请实施例中,这种图像处理芯片和应用芯片不断的切换进入低功耗模式或者休眠状态的方式,可以降低终端设备的功耗。
图4为本申请实施例的提供的一种数据处理方法的流程示意图。该方法涉及的执行主体包括第一摄像单元、图像处理芯片和应用芯片。如图4所示,该方法400包括步骤S401~步骤S420。
在步骤S401,系统启动后,图像处理芯片可以通过SPI或者其他通信方式加载固件。需要说明的是,这里的固件可以是图2中所提供的图像处理芯片中任意单元的软件模块或者配置信息等,例如:固件可以是图像处理芯片中的NPU的神经网络模型、NPU、MIPI、CPU等的配置信息,本申请对此不做限制。
在步骤S402,图像处理芯片启动后,初始化其内部的各个单元。需要说明的是,这里的各个单元可以是图2中所提供的图像处理芯片中的任意单元,例如NPU、CPU、ISP、MIPI等单元,本申请对此不做限制。应理解,图像处理芯片中还可以包括比上文提及的更多的单元模块。
在步骤S403,应用芯片向图像处理芯片发送设置信息。示例性地,该设置信息可用于设置图像处理芯片进入低功耗模式。
在步骤S404,图像处理芯片根据上述的设置信息进入低功耗模式。
在步骤S405,应用芯片确定其是否需要进入休眠模式,若确定需要进入休眠模式,则执行步骤S406,否则,则执行步骤S416。
可选地,当应用芯片确定终端设备在预设时长内未被使用时,可以确定其需要进入休眠状态。该预设时长可以是预先设置的,本申请对此不做限制。
在步骤S406,应用芯片通过SPI或者其他方式向图像处理芯片发送唤醒请求。应理解,该唤醒请求用于唤醒图像处理芯片。
在步骤S407,图像处理芯片根据上述唤醒请求进入唤醒模式。
在步骤S408,图像处理芯片向第一摄像单元发送配置信息。应理解,该配置信息可用于初始化第一摄像单元,并且配置第一摄像单元的图像采集帧率。
在步骤S409,图像处理芯片可以通过SPI向应用芯片发送通知消息。
可选地,该通知消息用于向应用芯片通知图像处理芯片已进入工作模式。
在步骤S410,应用芯片进入休眠模式。
在步骤S411,图像处理芯片再次进入休眠模式。应理解,当图像处理芯片向第一摄像单元发送配置信息之后,可以进入休眠模式,以释放资源,降低终端设备的功耗。
在步骤S412,图像处理芯片接收第一摄像单元采集的图像数据;例如第一摄像单元可以通过MIPI总线与图像处理芯片中的MIPI RX连接,并通过该MIPI总线传输采集到的图像数据。
在步骤S413,MIPI中传输的图像数据触发ULPS中断,中断唤醒图像处理芯片。图像处理芯片的CPU在收到MIPI的ULPS中断后,给ISP、NPU等需要工作的单元模块上电,并接受MIPI数据。
在步骤S414,图像处理芯片对图像数据进行预处理,得到预处理后的图像数据。并对预处理后的图像数据进行当前场景下的处理操作,得到处理后的图像数据。
可选地,图像处理芯片可以根据处理后的图像数据进行用户行为的初步分析,然后根据用户行为的初步分析结果可以判断是否唤醒应用芯片。若需要唤醒应用芯片,则执行步骤S415,否则,执行步骤S416.
在步骤S415,发送唤醒请求,以唤醒应用芯片。
在步骤S416,应用芯片进入工作模式。
在步骤S417,图像处理芯片需要判断当前图像数据是否处理完成,若已处理完成,则执行步骤S418,否则,继续执行步骤S414。
在步骤S418,图像处理芯片设置MIPI进入ULPS状态。响应于ULPS状态,图像处理芯片进入休眠模式(即低功耗模式),例如可以关闭ISP、NPU等单元。等待MIPI中断或应用芯片关闭该图像处理芯片。
在步骤S419,应用芯片根据当前应用场景,判断是否主动关闭图像处理芯片。若主动关闭图像处理芯片,则执行步骤S420,否则,执行步骤S405。
在步骤S420,关闭图像处理芯片,图像处理芯片停止图像处理工作。
应理解的是,上述数据处理方法可以应用于任何AON场景,本申请对此不做限制。
根据上述内容可以看出,这种图像处理芯片和应用芯片不断的切换进入低功耗模式或者休眠状态的方式,可以降低终端设备的功耗。
上文结合图1至图4,详细描述了本申请的图像处理系统和方法实施例,下面结合图5,详细描述本申请的装置实施例。应理解,方法实施例的描述与装置实施例的描述相互对应,因此,未详细描述的部分可以参见前面方法实施例。
图5是本申请实施例提供的又一种数据处理系统的结构示意图。该系统包括第一摄像单元510、图像处理芯片520,图像处理芯片520可以与第一摄像单元510连接,第一摄像单元510处于常开状态。
所述第一摄像单元510可用于采集第一帧图像数据。
所述图像处理芯片520可用于以第一功耗对所述第一帧图像数据进行处理,以确定所述第一帧图像数据的处理状态;当所述第一帧图像数据处理完成时,控制所述图像处理芯片以第二功耗运行,其中所述第二功耗低于所述第一功耗。
作为一种可能的实现方式,所述图像处理芯片与第一摄像单元通过MIPI总线连接,所述图像处理芯片还用于:响应于所述MIPI总线的ULPS特性,当所述第一帧图像数据处理完成时,控制所述图像处理芯片以第二功耗运行。
作为一种可能的实现方式,所述图像处理芯片包括图像信号处理单元、第一处理单元和第二处理单元,所述当所述第一帧图像数据处理完成时,控制所述图像处理芯片以第二功耗运行,包括:当所述第一帧图像数据处理完成时,控制所述图像信号处理单元、所述第一处理单元和所述第二处理单元中的至少一个为关闭状态或低功耗状态。
作为一种可能的实现方式,所述图像处理芯片与应用芯片连接,所述图像处理芯片还用于:响应于所述应用芯片发出的关闭所述图像处理芯片的指令,控制所述图像处理芯片关闭。
作为一种可能的实现方式,在获取所述第一摄像单元采集的第一帧图像数据之前,所述图像处理芯片还用于:对所述第一摄像单元进行参数配置。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够读取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字通用光盘(digital video disc,DVD))或者半导体介质(例如,固态硬盘(solid state disk,SSD))等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (11)
1.一种数据处理方法,其特征在于,所述方法应用于图像处理芯片,所述图像处理芯片与第一摄像单元连接,所述第一摄像单元处于常开状态,所述方法包括:
获取所述第一摄像单元采集的第一帧图像数据;
控制所述图像处理芯片以第一功耗对所述第一帧图像数据进行处理,以确定所述第一帧图像数据的处理状态;
当所述第一帧图像数据处理完成时,控制所述图像处理芯片以第二功耗运行,其中所述第二功耗低于所述第一功耗。
2.根据权利要求1所述的方法,其特征在于,所述图像处理芯片与第一摄像单元通过MIPI总线连接,所述当所述第一帧图像数据处理完成时,控制所述图像处理芯片以第二功耗运行,包括:
响应于所述MIPI总线的ULPS特性,当所述第一帧图像数据处理完成时,控制所述图像处理芯片以第二功耗运行。
3.根据权利要求1或2所述的方法,其特征在于,所述图像处理芯片包括图像信号处理单元、第一处理单元和第二处理单元,所述当所述第一帧图像数据处理完成时,控制所述图像处理芯片以第二功耗运行,包括:
当所述第一帧图像数据处理完成时,控制所述图像信号处理单元、所述第一处理单元和所述第二处理单元中的至少一个为关闭状态或低功耗状态。
4.根据权利要求1所述的方法,其特征在于,所述图像处理芯片与应用芯片连接,所述方法还包括:
响应于所述应用芯片发出的关闭所述图像处理芯片的指令,控制所述图像处理芯片关闭。
5.根据权利要求1所述的方法,其特征在于,在获取所述第一摄像单元采集的第一帧图像数据之前,所述方法还包括:
控制所述图像处理芯片对所述第一摄像单元进行参数配置。
6.一种图像处理芯片,其特征在于,所述图像处理芯片与第一摄像单元连接,所述第一摄像单元处于常开状态;
所述第一摄像单元用于采集第一帧图像数据;
所述图像处理芯片用于以第一功耗对所述第一帧图像数据进行处理,以确定所述第一帧图像数据的处理状态;当所述第一帧图像数据处理完成时,控制所述图像处理芯片以第二功耗运行,其中所述第二功耗低于所述第一功耗。
7.根据权利要求6所述的芯片,其特征在于,所述图像处理芯片与第一摄像单元通过MIPI总线连接,所述图像处理芯片还用于:
响应于所述MIPI总线的ULPS特性,当所述第一帧图像数据处理完成时,控制所述图像处理芯片以第二功耗运行。
8.根据权利要求6或7所述的芯片,其特征在于,所述图像处理芯片包括图像信号处理单元、第一处理单元和第二处理单元,所述当所述第一帧图像数据处理完成时,控制所述图像处理芯片以第二功耗运行,包括:
当所述第一帧图像数据处理完成时,控制所述图像信号处理单元、所述第一处理单元和所述第二处理单元中的至少一个为关闭状态或低功耗状态。
9.根据权利要求6所述的芯片,其特征在于,所述图像处理芯片与应用芯片连接,所述图像处理芯片还用于:
响应于所述应用芯片发出的关闭所述图像处理芯片的指令,控制所述图像处理芯片关闭。
10.根据权利要求6所述的芯片,其特征在于,在获取所述第一摄像单元采集的第一帧图像数据之前,所述图像处理芯片还用于:
对所述第一摄像单元进行参数配置。
11.一种计算机可读存储介质,其上存储有可执行代码,其特征在于,当所述可执行代码被执行时,能够实现权利要求1-5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210265606.2A CN116828295A (zh) | 2022-03-17 | 2022-03-17 | 数据处理方法、图像处理芯片及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210265606.2A CN116828295A (zh) | 2022-03-17 | 2022-03-17 | 数据处理方法、图像处理芯片及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116828295A true CN116828295A (zh) | 2023-09-29 |
Family
ID=88124453
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210265606.2A Pending CN116828295A (zh) | 2022-03-17 | 2022-03-17 | 数据处理方法、图像处理芯片及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116828295A (zh) |
-
2022
- 2022-03-17 CN CN202210265606.2A patent/CN116828295A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220342475A1 (en) | Terminal control method and terminal | |
US11467646B2 (en) | Context data sharing | |
US10372208B2 (en) | Power efficient image sensing apparatus, method of operating the same and eye/gaze tracking system | |
CN106686305B (zh) | 电子设备的图像处理方法及电子设备 | |
US20220044043A1 (en) | Integrated circuit and sensor data processing method | |
US20220408020A1 (en) | Image Processing Method, Electronic Device, and Cloud Server | |
TW201019216A (en) | Apparatus and methods for controlling image sensors and computer-readable medium thereof | |
CN111026254A (zh) | 温度控制方法、装置、存储介质及电子设备 | |
CN113014804A (zh) | 图像处理方法、装置、电子设备和可读存储介质 | |
US20180368074A1 (en) | Terminal device, network device, frame format configuration method, and system | |
CN107180417B (zh) | 照片处理方法、装置、计算机可读存储介质及电子设备 | |
US20230214955A1 (en) | Electronic apparatus and image processing method of electronic apparatus | |
CN116828295A (zh) | 数据处理方法、图像处理芯片及计算机可读存储介质 | |
US20220301278A1 (en) | Image processing method and apparatus, storage medium, and electronic device | |
CN117014720A (zh) | 图像拍摄方法、装置、终端、存储介质及产品 | |
CN114299014A (zh) | 图像处理架构、方法、电子设备及存储介质 | |
CN113132535B (zh) | 一种屏幕状态控制方法、装置、存储介质及移动终端 | |
CN112578893A (zh) | 数据处理系统、芯片、方法及存储介质 | |
CN109379449B (zh) | 数据连接方法、装置、终端及存储介质 | |
CN113590204A (zh) | 边缘计算设备控制方法、系统、电子设备及存储介质 | |
CN115278829B (zh) | 一种协同唤醒第一电子设备的方法及通信系统 | |
CN112218008B (zh) | 设备控制方法、装置、存储介质和电子设备 | |
WO2023000776A1 (zh) | 命令的发送方法、存储介质和设备 | |
CN114168065B (zh) | 调整内存配置参数的方法和装置 | |
WO2023227075A1 (zh) | 一种资源管控方法、电子设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |