CN115714908B - 工作模式的切换控制方法、电子设备及可读存储介质 - Google Patents

工作模式的切换控制方法、电子设备及可读存储介质 Download PDF

Info

Publication number
CN115714908B
CN115714908B CN202210099723.6A CN202210099723A CN115714908B CN 115714908 B CN115714908 B CN 115714908B CN 202210099723 A CN202210099723 A CN 202210099723A CN 115714908 B CN115714908 B CN 115714908B
Authority
CN
China
Prior art keywords
image sensor
image
mode
working mode
address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210099723.6A
Other languages
English (en)
Other versions
CN115714908A (zh
Inventor
叶凌
陈国乔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to US18/547,641 priority Critical patent/US20240236485A9/en
Priority to PCT/CN2022/089195 priority patent/WO2023019999A1/zh
Priority to EP22857317.6A priority patent/EP4287605A4/en
Publication of CN115714908A publication Critical patent/CN115714908A/zh
Application granted granted Critical
Publication of CN115714908B publication Critical patent/CN115714908B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • H04N23/651Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/42Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
    • G06F13/4291Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus using a clocked protocol
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供了一种工作模式的切换控制方法、电子设备及存储介质,电子设备包括处理器和摄像头,摄像头中的图像传感器包括至少两种工作模式,工作模式的切换控制方法包括:处理器通过I2C接口向图像传感器发送信号,其中,信号用于控制图像传感器以信号对应的工作模式运行。由上述内容可以看出:处理器通过I2C接口向图像传感器发送信号,控制图像传感器以信号对应的工作模式运行,实现了处理器采用通过I2C接口发送的信号控制图像传感器的工作模式的切换,不需要处理器生成高低电平来切换图像传感器的工作模式,解决处理器因采用高低电平来切换图像传感器的工作模式出现的控制逻辑复杂的问题。

Description

工作模式的切换控制方法、电子设备及可读存储介质
本申请要求于2021年8月20日提交中国专利局、申请号为202110971250.X、发明名称为“工作模式的切换方法、电子设备及介质”,中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及数据处理技术领域,尤其涉及一种工作模式的切换控制方法、电子设备及可读存储介质。
背景技术
电子设备,例如手机,其摄像头包括图像传感器,图像传感器包括两种工作模式,以适配不同的功耗要求。图像传感器的工作模式的切换过程中,存在下述问题:
图像传感器的两个工作模式的互相切换,需要处理器生成高电平或者低电平,作用于图像传感器的切换引脚,处理器的控制逻辑较为复杂。
发明内容
本申请提供了一种工作模式的切换控制方法、电子设备、程序产品及存储介质,目的在于解决切换图像传感器的工作模式时存在的控制逻辑复杂的问题。
为了实现上述目的,本申请提供了以下技术方案:
第一方面,本申请提供了一种工作模式的切换控制方法,应用于电子设备,电子设备包括处理器和摄像头,摄像头中的图像传感器包括至少两种工作模式,工作模式的切换控制方法包括:处理器通过I2C接口向图像传感器发送信号,其中,信号用于控制图像传感器以信号对应的工作模式运行。
由上述内容可以看出:处理器通过I2C接口向图像传感器发送信号,控制图像传感器以信号对应的工作模式运行,实现了处理器采用通过I2C接口发送的信号控制图像传感器的工作模式的切换,不需要处理器生成高低电平来切换图像传感器的工作模式,解决处理器因采用高低电平来切换图像传感器的工作模式出现的控制逻辑复杂的问题。
在一个可能的实施方式中,信号为I2C地址。
在一个可能的实施方式中,图像传感器包括I2C控制模块,处理器通过I2C接口向图像传感器发送信号,包括:处理器通过I2C接口向图像传感器发送I2C地址,触发I2C地址对应的I2C控制模块运行,以控制图像传感器以I2C地址对应的工作模式运行。
在一个可能的实施方式中,一个I2C控制模块对应两个I2C地址,一个I2C地址对应图像传感器的至少一种工作模式。
在一个可能的实施方式中,图像传感器包括与图像传感器的工作模式的数量相同的I2C控制模块,且每一个I2C控制模块对应一个I2C地址,一个I2C地址对应图像传感器的一种工作模式。
在一个可能的实施方式中,一个I2C地址对应图像传感器的至少两种工作模式,工作模式的切换控制方法还包括:图像传感器响应切换信号,控制图像传感器以对应同一个I2C地址的工作模式中的一种工作模式运行,切换信号由处理器向图像传感器发送,或由图像传感器生成。
在一个可能的实施方式中,图像传感器的工作模式包括:第一工作模式和第二工作模式,第二工作模式比第一工作模式功耗低;第一工作模式也可以称为正常工作模式或normal模式,在第一工作模式下生成的图像的分辨率为第一图像分辨率;第二工作模式也可以称为较低功耗模式,在第二工作模式下生成的图像的分辨率为第二图像分辨率;第一图像分辨率>第二图像分辨率。图像传感器的第一工作模式对应第一I2C地址,图像传感器的第二工作模式对应第二I2C地址;其中:处理器通过I2C接口向图像传感器发送信号,包括:处理器确定摄像头被启动,向图像传感器发送第一I2C地址,控制图像传感器以第一工作模式运行;处理器确定摄像头被关闭,向图像传感器发送第二I2C地址,控制图像传感器以第二工作模式运行;处理器确定电子设备的显示屏被灭屏,向图像传感器发送第二I2C地址,控制图像传感器以第二工作模式运行。
在一个可能的实施方式中,图像传感器的工作模式包括:第一工作模式,第二工作模式和第三工作模式,第二工作模式比第一工作模式功耗低,第三工作模式比第二工作模式功耗低,图像传感器的第一工作模式对应第一I2C地址,图像传感器的第二工作模式对应第二I2C地址,图像传感器的第三工作模式对应第三I2C地址;第一工作模式也可以称为正常工作模式或normal模式,在第一工作模式下生成的图像的分辨率为第一图像分辨率;第二工作模式也可以称为较低功耗模式,在第二工作模式下生成的图像的分辨率为第二图像分辨率;第三工作模式也可以称为超低功耗模式,在第三工作模式下生成的图像的分辨率为第三图像分辨率;第一图像分辨率>第二图像分辨率>第三图像分辨率。其中:处理器通过I2C接口向图像传感器发送信号,包括:处理器确定摄像头被启动,向图像传感器发送第一I2C地址,控制图像传感器以第一工作模式运行;处理器确定摄像头被关闭,向图像传感器发送第二I2C地址,控制图像传感器以第二工作模式运行,或者向图像传感器发送第三I2C地址,控制图像传感器以第三工作模式运行;处理器确定电子设备的显示屏被灭屏,向图像传感器发送第二I2C地址,控制图像传感器以第二工作模式运行,或者向图像传感器发送第三I2C地址,控制图像传感器以第三工作模式运行;处理器利用光影变化的检测结果,确定摄像头检测到光影变化,向图像传感器发送第二I2C地址,控制图像传感器以第二工作模式运行,光影变化的检测结果,由处于第三工作模式的图像传感器,利用超低分辨率图像的图像数据,进行光影变化的检测得到;处理器利用较低分辨率图像的图像数据,确定电子设备满足第二工作模式的退出条件,向图像传感器发送第三I2C地址,控制图像传感器以第三工作模式运行,较低分辨率图像由处于第二工作模式的图像传感器生成。
在本可能的实施方式中,由于图像传感器设置了超低功耗模式,超低功耗模式的功耗比较低功耗模式低,在电子设备未被使用时,图像传感器是以超低功耗模式运行,可以降低功耗。其中,电子设备未被使用可以理解成:电子设备待机,显示屏处于灭屏状态,或者电子设备处于锁屏状态。
在一个可能的实施方式中,图像传感器的工作模式包括:第一工作模式,第二工作模式和第三工作模式,第二工作模式比第一工作模式功耗低,第三工作模式比第二工作模式功耗低,图像传感器的第一工作模式对应第一I2C地址,图像传感器的第二工作模式和第三工作模式对应第二I2C地址;第一工作模式也可以称为正常工作模式或normal模式,在第一工作模式下生成的图像的分辨率为第一图像分辨率;第二工作模式也可以称为较低功耗模式,在第二工作模式下生成的图像的分辨率为第二图像分辨率;第三工作模式也可以称为超低功耗模式,在第三工作模式下生成的图像的分辨率为第三图像分辨率;第一图像分辨率>第二图像分辨率>第三图像分辨率。其中:处理器通过I2C接口向图像传感器发送信号,包括:处理器确定摄像头被启动,向图像传感器发送第一I2C地址,控制图像传感器以第一工作模式运行;处理器确定摄像头被关闭,向图像传感器发送第二I2C地址,控制图像传感器以第二工作模式或第三工作模式运行;处理器确定电子设备的显示屏被灭屏,向图像传感器发送第二I2C地址,控制图像传感器以第二工作模式或第三工作模式运行。
在本可能的实施方式中,由于图像传感器设置了超低功耗模式,超低功耗模式的功耗比较低功耗模式低,在电子设备未被使用时,图像传感器是以超低功耗模式运行,可以降低功耗。其中,电子设备未被使用可以理解成:电子设备待机,显示屏处于灭屏状态,或者电子设备处于锁屏状态。并且,图像传感器的第二工作模式和第三工作模式对应第二I2C地址,可以实现分时复用第二I2C地址。
在一个可能的实施方式中,图像传感器响应切换信号,控制图像传感器以对应同一个I2C地址的工作模式中的一种工作模式运行,包括:图像传感器响应第一切换信号,控制图像传感器以第二工作模式运行,第一切换信号由处理器或图像传感器利用光影变化的检测结果,确定摄像头检测到光影变化时生成,光影变化的检测结果,由处于第三工作模式的图像传感器,利用超低分辨率图像的图像数据,进行光影变化的检测得到;图像传感器响应第二切换信号,控制图像传感器以第三工作模式运行,第二切换信号由处理器或图像传感器,利用较低分辨率图像的图像数据,确定电子设备满足第二工作模式的退出条件而生成,较低分辨率图像由处于第二工作模式的图像传感器生成。
在一个可能的实施方式中,图像传感器响应切换信号,控制图像传感器以对应同一个I2C地址的工作模式中的一种工作模式运行,包括:图像传感器接收第二I2C地址对应的I2C控制模块传输的控制信号,并控制图像传感器以控制信号指定的工作模式运行,控制信号用于指定第三工作模式或第二工作模式。
在一个可能的实施方式中,图像传感器的工作模式包括:第一工作模式,第二工作模式,第三工作模式和第四工作模式,第二工作模式比第一工作模式功耗低,第四工作模式比第二工作模式功耗低,第三工作模式比第四工作模式功耗低,第一工作模式对应第一I2C地址,第二工作模式对应第二I2C地址,第四工作模式对应第三I2C地址,第三工作模式对应第四I2C地址;第一工作模式也可以称为正常工作模式或normal模式,在第一工作模式下生成的图像的分辨率为第一图像分辨率;第二工作模式也可以称为较低功耗模式,在第二工作模式下生成的图像的分辨率为第二图像分辨率;第三工作模式也可以称为超低功耗模式,在第三工作模式下生成的图像的分辨率为第三图像分辨率;第四工作模式可以称为低功耗模式,第四工作模式下生成的图像的分辨率为第四图像分辨率;第一图像分辨率>第二图像分辨率>第四图像分辨率>第三图像分辨率;其中:处理器通过I2C接口向图像传感器发送信号,包括:处理器确定摄像头被启动,向图像传感器发送第一I2C地址,控制图像传感器以第一工作模式运行;处理器确定摄像头被关闭,向图像传感器发送第二I2C地址,控制图像传感器以第二工作模式运行,或者向图像传感器发送第三I2C地址,控制图像传感器以第四工作模式运行;或者向图像传感器发送第四I2C地址,控制图像传感器以第三工作模式运行;处理器确定电子设备的显示屏被灭屏,向图像传感器发送第三I2C地址,控制图像传感器以第四工作模式运行,或者向图像传感器发送第四I2C地址,控制图像传感器以第三工作模式运行;处理器利用光影变化的检测结果,确定摄像头检测到光影变化,向图像传感器发送第三I2C地址,控制图像传感器以第四工作模式运行,光影变化的检测结果,由处于第三工作模式的图像传感器,利用超低分辨率图像的图像数据,进行光影变化的检测得到;处理器根据人脸和/或手势检测结果,确定出摄像头拍摄的图像出现人脸和/或手势,向图像传感器发送第二I2C地址,控制图像传感器以第二工作模式运行,人脸和/或手势检测结果,由处于第四工作模式的图像传感器,利用低分辨率图像的图像数据,进行人脸和/或手势检测得到;处理器根据人脸和/或手势检测结果,确定出摄像头拍摄的图像未出现人脸和/或手势,向图像传感器发送第四I2C地址,控制图像传感器以第三工作模式运行;处理器利用较低分辨率图像的图像数据,确定电子设备满足第二工作模式的退出条件,向图像传感器发送第四I2C地址,控制图像传感器以第三工作模式运行,较低分辨率图像由处于第二工作模式的图像传感器生成。
在本可能的实施方式中,图像传感器额外设置低功耗模式和超低功耗模式,超低功耗模式的功耗比低功耗模式低,低功耗模式的功耗比较低功耗模式低,可以保证电子设备控制图像传感器在四种工作模式中运行,进一步可以保证电子设备控制图像传感器选择合适功耗的模式运行,降低电子设备的功耗。
在一个可能的实施方式中,图像传感器的工作模式包括:第一工作模式,第二工作模式,第三工作模式和第四工作模式,第二工作模式比第一工作模式功耗低,第四工作模式比第二工作模式功耗低,第三工作模式比第四工作模式功耗低,第一工作模式和第二工作模式对应第一I2C地址,第四工作模式和第三工作模式对应第二I2C地址;第一工作模式也可以称为正常工作模式或normal模式,在第一工作模式下生成的图像的分辨率为第一图像分辨率;第二工作模式也可以称为较低功耗模式,在第二工作模式下生成的图像的分辨率为第二图像分辨率;第三工作模式也可以称为超低功耗模式,在第三工作模式下生成的图像的分辨率为第三图像分辨率;第四工作模式可以称为低功耗模式,第四工作模式下生成的图像的分辨率为第四图像分辨率;第一图像分辨率>第二图像分辨率>第四图像分辨率>第三图像分辨率;其中:处理器通过I2C接口向图像传感器发送信号,包括:处理器确定摄像头被启动,向图像传感器发送第一I2C地址,控制图像传感器以第一工作模式运行;处理器确定摄像头被关闭,向图像传感器发送第二I2C地址,控制图像传感器以第三工作模式运行;处理器确定显示屏被灭屏,向图像传感器发送第二I2C地址,控制图像传感器以第三工作模式运行;处理器根据人脸和/或手势检测结果,确定出摄像头拍摄的图像未出现人脸和/或手势时,向图像传感器发送第二I2C地址,控制图像传感器以第三工作模式运行,人脸和/或手势检测结果,由处于第四工作模式的图像传感器,利用低分辨率图像的图像数据,进行人脸和/或手势检测得到。
在一个可能的实施方式中,图像传感器响应切换信号,控制图像传感器以对应同一个I2C地址的工作模式中的一种工作模式运行包括:图像传感器响应第一切换信号,控制图像传感器以第四工作模式运行,第一切换信号由处理器或图像传感器利用光影变化的检测结果,确定摄像头检测到光影变化时生成,光影变化的检测结果,由处于第三工作模式的图像传感器,利用超低分辨率图像的图像数据,进行光影变化的检测得到;图像传感器响应第二切换信号,控制图像传感器以第二工作模式运行,第二切换信号由处理器根据人脸和/或手势检测结果,确定出摄像头拍摄的图像出现人脸和/或手势时生成,人脸和/或手势检测结果,由处于第四工作模式的图像传感器,利用低分辨率图像的图像数据,进行人脸和/或手势检测得到。
在一个可能的实施方式中,一个I2C地址对应图像传感器的至少两种工作模式,处理器通过I2C接口向图像传感器发送信号,包括:处理器向图像传感器发送I2C地址和切换信号,控制图像传感器以I2C地址和切换信号对应的工作模式运行。
在一个可能的实施方式中,图像传感器的工作模式包括:第一工作模式,第二工作模式,第三工作模式和第四工作模式,第二工作模式比第一工作模式功耗低,第四工作模式比第二工作模式功耗低,第三工作模式比第四工作模式功耗低,第一工作模式和第二工作模式对应第一I2C地址,第四工作模式和第三工作模式对应第二I2C地址;第一工作模式也可以称为正常工作模式或normal模式,在第一工作模式下生成的图像的分辨率为第一图像分辨率;第二工作模式也可以称为较低功耗模式,在第二工作模式下生成的图像的分辨率为第二图像分辨率;第三工作模式也可以称为超低功耗模式,在第三工作模式下生成的图像的分辨率为第三图像分辨率;第四工作模式可以称为低功耗模式,第四工作模式下生成的图像的分辨率为第四图像分辨率;第一图像分辨率>第二图像分辨率>第四图像分辨率>第三图像分辨率;其中:处理器向图像传感器发送I2C地址和切换信号,控制图像传感器以I2C地址和切换信号对应的工作模式运行,包括:处理器确定摄像头被启动,向图像传感器发送第一I2C地址和第一切换信号,控制图像传感器以第一工作模式运行;处理器确定摄像头被关闭,向图像传感器发送第一I2C地址和第二切换信号,控制图像传感器以第二工作模式运行,或者向图像传感器发送第二I2C地址和第三切换信号,控制图像传感器以第四工作模式运行,或者向图像传感器发送第二I2C地址和第四切换信号,控制图像传感器以第三工作模式运行;处理器确定电子设备的显示屏被灭屏,向图像传感器发送第二I2C地址和第三切换信号,控制图像传感器以第四工作模式运行;或者向图像传感器发送第二I2C地址和第四切换信号,控制图像传感器以第三工作模式运行;处理器利用光影变化的检测结果,确定摄像头检测到光影变化,向图像传感器发送第二I2C地址和第三切换信号,控制图像传感器以第四工作模式运行,光影变化的检测结果,由处于第三工作模式的图像传感器,利用超低分辨率图像的图像数据,进行光影变化的检测得到;处理器根据人脸和/或手势检测结果,确定出摄像头拍摄的图像出现人脸和/或手势,向图像传感器发送第一I2C地址和第二切换信号,控制图像传感器以第二工作模式运行,人脸和/或手势检测结果,由处于第四工作模式的图像传感器,利用低分辨率图像的图像数据,进行人脸和/或手势检测得到;所处理器根据人脸和/或手势检测结果,确定出摄像头拍摄的图像未出现人脸和/或手势,向图像传感器发送第二I2C地址和第四切换信号,控制图像传感器以第三工作模式运行;处理器利用较低分辨率图像的图像数据,确定电子设备满足第二工作模式的退出条件,向图像传感器发送第二I2C地址和第四切换信号,控制图像传感器以第三工作模式运行,较低分辨率图像由处于第二工作模式的图像传感器生成。
在一个可能的实施方式中,图像传感器的工作模式包括:第一工作模式,第二工作模式,第三工作模式和第四工作模式,第二工作模式比第一工作模式功耗低,第四工作模式比第二工作模式功耗低,第三工作模式比第四工作模式功耗低,第一工作模式对应第一I2C地址,第二工作模式,第四工作模式和第三工作模式对应第二I2C地址;第一工作模式也可以称为正常工作模式或normal模式,在第一工作模式下生成的图像的分辨率为第一图像分辨率;第二工作模式也可以称为较低功耗模式,在第二工作模式下生成的图像的分辨率为第二图像分辨率;第三工作模式也可以称为超低功耗模式,在第三工作模式下生成的图像的分辨率为第三图像分辨率;第四工作模式可以称为低功耗模式,第四工作模式下生成的图像的分辨率为第四图像分辨率;第一图像分辨率>第二图像分辨率>第四图像分辨率>第三图像分辨率;其中:处理器通过I2C接口向图像传感器发送信号,包括:处理器确定摄像头被启动,向图像传感器发送第一I2C地址,控制图像传感器以第一工作模式运行。
在一个可能的实施方式中,图像传感器响应切换信号,控制图像传感器以对应同一个I2C地址的工作模式中的一种工作模式运行,包括:图像传感器接收第二I2C地址对应的I2C控制模块传输的控制信号,并控制图像传感器以控制信号指定的工作模式运行,控制信号用于指定第三工作模式,第二工作模式或第四工作模式。
在一个可能的实施方式中,第二I2C地址对应的I2C控制模块传输的控制信号包括:第一控制信号,第二控制信号和第三控制信号;其中:第一控制信号指定的工作模式为第三工作模式,由处理器确定摄像头被关闭时生成,或者由处理器确定电子设备的显示屏被灭屏时生成,或者由所处理器根据人脸和/或手势检测结果,确定出摄像头拍摄的图像未出现人脸和/或手势时生成,或者由处理器利用较低分辨率图像的图像数据,确定电子设备满足第二工作模式的退出条件时生成;第二控制信号指定的工作模式为第四工作模式,由处理器确定摄像头被关闭时生成,或者由处理器确定电子设备的显示屏被灭屏时生成,或者由处理器利用光影变化的检测结果,确定摄像头检测到光影变化时生成,光影变化的检测结果,由处于第三工作模式的图像传感器,利用超低分辨率图像的图像数据,进行光影变化的检测得到;第三控制信号指定的工作模式为第二工作模式,由处理器确定摄像头被关闭时生成,或者,由处理器根据人脸和/或手势检测结果,确定出摄像头拍摄的图像出现人脸和/或手势时生成。
在一个可能的实施方式中,图像传感器的工作模式包括:第一工作模式,第三工作模式和第四工作模式,第四工作模式比第一工作模式功耗低,第三工作模式比第四工作模式功耗低,图像传感器的第一工作模式对应第一I2C地址,图像传感器的第四工作模式对应第二I2C地址,图像传感器的第三工作模式对应第三I2C地址;第一工作模式也可以称为正常工作模式或normal模式,在第一工作模式下生成的图像的分辨率为第一图像分辨率;第三工作模式也可以称为超低功耗模式,在第三工作模式下生成的图像的分辨率为第三图像分辨率;第四工作模式可以称为低功耗模式,第四工作模式下生成的图像的分辨率为第四图像分辨率;第一图像分辨率>第四图像分辨率>第三图像分辨率;其中:处理器通过I2C接口向图像传感器发送信号,包括:处理器确定摄像头被启动,向图像传感器发送第一I2C地址,控制图像传感器以第一工作模式运行;处理器确定摄像头被关闭,向图像传感器发送第二I2C地址,控制图像传感器以第四工作模式运行,或者向图像传感器发送第三I2C地址,控制图像传感器以第三工作模式运行;处理器确定电子设备的显示屏被灭屏,向图像传感器发送第二I2C地址,控制图像传感器以第四工作模式运行,或者向图像传感器发送第三I2C地址,控制图像传感器以第三工作模式运行;处理器利用光影变化的检测结果,确定摄像头检测到光影变化,向图像传感器发送第二I2C地址,控制图像传感器以第四工作模式运行,光影变化的检测结果,由处于第三工作模式的图像传感器,利用超低分辨率图像的图像数据,进行光影变化的检测得到;处理器利用人脸和/或手势检测结果,确定出摄像头拍摄的图像未出现人脸和/或手势,向图像传感器发送第三I2C地址,控制图像传感器以第三工作模式运行,人脸和/或手势检测结果,由处于第四工作模式的图像传感器,利用低分辨率图像的图像数据,进行人脸和/或手势检测得到。
在一个可能的实施方式中,图像传感器的工作模式包括:第一工作模式,第三工作模式和第四工作模式,第四工作模式比第一工作模式功耗低,第三工作模式比第四工作模式功耗低,图像传感器的第一工作模式对应第一I2C地址,图像传感器的第四工作模式和第三工作模式对应第二I2C地址;第一工作模式也可以称为正常工作模式或normal模式,在第一工作模式下生成的图像的分辨率为第一图像分辨率;第三工作模式也可以称为超低功耗模式,在第三工作模式下生成的图像的分辨率为第三图像分辨率;第四工作模式可以称为低功耗模式,第四工作模式下生成的图像的分辨率为第四图像分辨率;第一图像分辨率>第四图像分辨率>第三图像分辨率;其中:处理器通过I2C接口向图像传感器发送信号,包括:处理器确定摄像头被启动,向图像传感器发送第一I2C地址,控制图像传感器以第一工作模式运行;处理器确定摄像头被关闭,向图像传感器发送第二I2C地址,控制图像传感器以第四工作模式或第三工作模式运行;处理器确定电子设备的显示屏被灭屏,向图像传感器发送第二I2C地址,控制图像传感器以第四工作模式或第三工作模式运行。
在一个可能的实施方式中,图像传感器响应切换信号,控制图像传感器以对应同一个I2C地址的工作模式中的一种工作模式运行包括:图像传感器响应第一切换信号,控制图像传感器以第四工作模式运行,第一切换信号由处理器或图像传感器利用光影变化的检测结果,确定摄像头检测到光影变化时生成,光影变化的检测结果,由处于第三工作模式的图像传感器,利用超低分辨率图像的图像数据,进行光影变化的检测得到;图像传感器响应第二切换信号,控制图像传感器以第三工作模式运行,第二切换信号由处理器或图像传感器,利用人脸和/或手势检测结果,确定出摄像头拍摄的图像未出现人脸和/或手势而生成,人脸和/或手势检测结果,由处于第四工作模式的图像传感器,利用低分辨率图像的图像数据,进行人脸和/或手势检测得到。
在一个可能的实施方式中,图像传感器响应切换信号,控制图像传感器以对应同一个I2C地址的工作模式中的一种工作模式运行,包括:图像传感器接收第二I2C地址对应的I2C控制模块传输的控制信号,并控制图像传感器以控制信号指定的工作模式运行,控制信号用于指定第三工作模式或第四工作模式。
在一个可能的实施方式中,发送信号的对象,包括:处理器的摄像头驱动,或处理器的图像信号处理器中的最简图像前端或图像前端,或处理器的应用处理器,或处理器的智能传感集线器。
在一个可能的实施方式中,切换信号由处理器的图像信号处理器中的最简图像前端或图像前端,或处理器的应用处理器,或智能传感集线器,向图像传感器发送。
在本可能的实施方式中,智能传感集线器因功耗较低,因此,由智能传感集线器生成并发送切换信号,具有功耗低的优点。
第二方面,本申请提供了一种电子设备,包括:显示屏;摄像头,摄像头包括图像传感器,图像传感器包括至少两种工作模式;一个或多个处理器;存储器,其上存储有程序;当程序被一个或多个处理器执行时,使得电子设备执行如第一方面中任意实施方式的工作模式的切换控制方法。
第三方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,其中,计算机程序被处理器执行时实现如第一方面中任意实施方式的工作模式的切换控制方法。
第四方面,本申请提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行如第一方面中任意实施方式的工作模式的切换控制方法。
附图说明
图1a和图1b为本申请提供的电子设备的一种应用场景图;
图2为本申请提供的电子设备的图像传感器和处理器的连接示意图;
图3a为本申请提供的电子设备的结构示意图;
图3b为本申请提供的电子设备中的逻辑单元的运行过程展示图;
图4a为本申请实施例提供的一种电子设备的结构示意图;
图4b为本申请实施例提供的一种电子设备的软件结构示例图;
图5a和图5b为本申请实施例一提供的电子设备的图像传感器和处理器的连接示意图;
图5c本申请实施例一提供的工作模式的切换控制方法的时序图;
图6为本申请实施例一提供的电子设备的工作状态的展示图;
图7a为本申请实施例二提供的电子设备的图像传感器和处理器的连接示意图;
图7b为本申请实施例二提供的图像传感器的工作模式的切换示意图;
图8a为本申请实施例三提供的电子设备的图像传感器和处理器的连接示意图;
图8b为本申请实施例三提供的电子设备的图像传感器和处理器的连接示意图图9a和图9b为本申请实施例四提供的电子设备的图像传感器和处理器的连接示意图;
图9c和图9d为本申请实施例四提供的图像传感器的工作模式的切换示意图;
图10a为本申请实施例四提供的电子设备的图像传感器和处理器的连接示意图;
图10b为本申请实施例四提供的图像传感器的工作模式的切换示意图;
图11a,图11b,图11c和图11d为本申请实施例四提供的电子设备的图像传感器和处理器的连接示意图;
图12a为本申请实施例五提供的电子设备的图像传感器和处理器的连接示意图;
图12b和图12c为本申请实施例五提供的图像传感器的工作模式的切换示意图;
图12d本申请实施例五提供的工作模式的切换控制方法的时序图;
图13a和图13b为本申请实施例五提供的电子设备的图像传感器和处理器的连接示意图;
图14为本申请实施例六提供的电子设备的图像传感器和处理器的连接示意图。
具体实施方式
本申请说明书和权利要求书及附图说明中的术语“第一”、“第二”和“第三”等是用于区别不同对象,而不是用于限定特定顺序。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
用户可以通过电子设备拍照或自拍,也可以通过电子设备查阅网页、新闻、文章等,还可以通过电子设备玩游戏,看视频。用户通过电子设备查阅网页、新闻、文章,玩游戏或看视频时,用户会长时间注视电子设备的显示屏,为配合用户长时间注视显示屏,电子设备的前置摄像头会对用户进行拍照,在利用前置摄像头拍摄的图像,检测到用户长时间注视显示屏后可执行多种对应事件,例如显示屏不熄屏、铃声音量降低等。
图1a展示了用户通过电子设备的前置摄像头进行自拍的场景。图1b展示了用户通过电子设备查阅网页的场景。以下以此两种场景为例进行方案介绍。并且,因在此两种场景均涉及到电子设备的前置摄像头,所以以电子设备的前置摄像头为例进行说明。但这些均不构成对方案应用场景的限定。
参见图2,电子设备的前置摄像头中的图像传感器,一般设置有normal模式和较低功耗模式两种工作模式,较低功耗模式比normal模式功耗低。normal模式也可以称为正常工作模式,属于普通成像模式。电子设备采用前置摄像头进行摄像,图像传感器以normal模式运行。
电子设备上电,前置摄像头(图中以图像传感器来代替展示,以下用图像传感器代替前置摄像头进行介绍)也上电,前置摄像头上电后,可在摄像头驱动的控制下进入较低功耗模式。
处于较低功耗模式的图像传感器,会每隔一个时间间隔,生成较低分辨率图像,通常为640*480,并将较低分辨率图像的图像数据,通过移动产业处理器接口(mobileindustry processor interface,MIPI)发送到最简图像前端(Image Front End lite,IFElite)单元。IFE lite输出的较低分辨率图像的图像数据可用于存储于内存的安全buffer。
参见图3a,最简图像前端(Image Front End lite,IFE lite)单元,是图像信号处理器(image signal processor,ISP)中的集成单元,电子设备的每个摄像头输出的低分辨率图像的图像数据,可到达IFE lite,由其将摄像头输出的图像存储于内存的安全buffer。
处理器的控制器利用较低分辨率图像的图像数据,可执行多种事件,如人眼注视显示屏的检测(也称AO方案)。
控制器执行AO方案涉及到自动曝光模块、AO(always on)模块和摄像头驱动三个逻辑单元,以下先对三个逻辑单元进行介绍。
自动曝光模块属于控制器的一个逻辑单元,由控制器运行自动曝光(automaticexposure,AE)算法得到。
AO(always on)模块也属于控制器的一个逻辑单元,由控制器运行AO(always on)方案得到。AO方案,是指基于AO camera(always on camera)实现的智慧感知的解决方案,通常包含人眼注视识别、机主识别、手势识别等功能,典型特征为长时间低功耗运行。
摄像头驱动也属于控制器的一个逻辑单元,用于对摄像头配置参数、工作模式等,还用于打开或关闭摄像头等。
处理器的控制器利用较低分辨率图像的图像数据,执行AO方案的具体方式如下:
电子设备的显示屏显示网页,用户注视电子设备的显示屏查阅网页。如图3a所示,电子设备发送指令,电子设备的前置摄像头响应指令后运行,执行步骤S1、拍摄用户的人脸图像。最简图像前端单元执行步骤S2读取人脸图像,基于安全机制将人脸图像存储于内存的安全buffer。AO模块执行步骤S3-1、获取内存的安全buffer存储的人脸图像的图像数据,通过分析图像数据,确定用户人眼是否注视显示屏。在AO模块确定用户人眼注视显示屏时,执行步骤S4、控制电子设备的显示屏不熄屏。
摄像头拍摄的人脸图像的图像质量高低,制约着AO模块确定用户人眼是否注视显示屏的准确性。尤其是摄像头拍摄的人脸图像的图像亮度较高或者较低时,AO模块确定用户人眼是否注视显示屏的误差较大。为此,自动曝光模块执行步骤S3-2,获取内存存储的人脸图像的图像数据;利用图像数据,计算人脸图像的图像亮度,将计算得到的图像亮度与标准亮度做比对,得到比对结果;依据比对结果调整摄像头的曝光参数,一般为曝光时长和增益,得到曝光时长调整值和增益调整值。自动曝光模块还执行步骤S5、将计算得到的曝光时长调整值和增益调整值,传输至AO模块,AO模块再按照图3a中步骤S6所示,将曝光时长调整值和增益调整值发送至摄像头驱动,摄像头驱动按照图3a中步骤S7所示,配置摄像头以曝光时长调整值和增益调整值运行。电子设备可再发送指令,摄像头响应电子设备的指令,以曝光时长调整值和增益调整值运行拍摄图像。
以下结合图3b,对AO模块分析图像数据,确定用户人眼是否注视显示屏,以及自动曝光模块调整摄像头的曝光参数的具体方式进行说明。
参见图3b,图像序列包括摄像头拍摄的多帧图像,比如图像帧1,2,3,4…n,其中,摄像头开始以通用的曝光时长和增益运行。通常来讲,通用的曝光时长和增益可以是预先设定的。自动曝光模块按照图像的存储顺序,依次获取图像序列的每一帧图像的图像数据。针对第一帧图像(也称图像帧1),自动曝光模块利用图像帧1的图像数据,计算图像帧1的图像亮度,将图像帧1的图像亮度与标准亮度做比对,得到比对结果。若比对结果反映出图像帧1的图像亮度与标准亮度的差值小于预设值(如±10%),自动曝光模块则不执行操作,摄像头还是以原始曝光时长和增益运行,该原始曝光时长和增益是指前述通用的曝光时长和增益。若比对结果反映出图像帧1的图像亮度与标准亮度的差值不小于预设值,自动曝光模块依据比对结果调整摄像头的曝光时长和增益,得到曝光时长1调整值和增益1调整值。自动曝光模块将曝光时长1调整值和增益1调整值,经AO模块向摄像头驱动传输。摄像头驱动配置摄像头以曝光时长1调整值和增益1调整值运行拍摄图像。
受自动曝光模块和摄像头驱动执行一次流程,滞后摄像头拍摄一帧图像的影响,假设图像帧2和图像帧3,是摄像头以原始曝光时长和增益运行拍摄得到,自动曝光模块按照上述处理方式,利用图像帧2和图像帧3的图像数据,计算得到曝光时长1调整值和增益1调整值;摄像头驱动配置摄像头以曝光时长1调整值和增益1调整值运行拍摄图像。图像帧4为摄像头被配置以曝光时长1调整值和增益1调整值拍摄得到。自动曝光模块也采样上述处理方式,利用图像帧4的图像数据,计算得到曝光时长2调整值和增益2调整值;摄像头驱动配置摄像头以曝光时长2调整值和增益2调整值运行拍摄图像。如此反复,直到自动曝光模块比对出图像帧的图像亮度和标准亮度的差值小于预设值,如±10%停止。
AO模块也按照图像的存储顺序,依次获取图像序列的每一帧图像的图像数据。针对AO模块获取的每一帧图像的图像数据,AO模块均执行下述流程,得到每一帧图像中人眼注视显示屏的判断结果。以下以AO模块处理图像帧1的图像数据为例说明。
AO模块比对图像帧1的图像数据和样本特征库,根据图像帧1的图像数据和样本特征库的比对结果,对图像帧1配置置信度,该置信度用于表征图像帧1中的人眼注视显示屏的概率。AO模块判断图像帧1的置信度是否小于门限值,图像帧1的置信度不小于门限值,则确定图像帧1中的人眼注视显示屏,图像帧1的置信度小于门限值,则确定图像帧1中的人眼未注视显示屏。
一些实施例中,样本特征库中包括人眼注视显示屏图像的特征数据。该特征数据的确定方式为:获取大量的样本图像,样本图像包括人眼注视显示屏的样本图像和人眼未注视显示屏的样本图像,利用每一个样本图像的图像数据进行学习,得到表征人眼注视显示屏图像的特征数据。人眼注视显示屏的样本图像和人眼未注视显示屏的样本图像,均指代电子设备的前置摄像头拍摄人脸图像。
AO模块确定一定时长内的图像存在一帧人眼注视显示屏的图像,则执行控制电子设备的显示屏不熄屏、铃声音量降低等对应事件。
在一些实施例中,AO模块确定连续多帧图像有一帧图像,这一帧图像中的人眼注视显示屏,则执行控制电子设备的显示屏不熄屏,与按照电子设备的显示屏被设定的屏幕熄灭时间来控制显示屏熄屏的方案进行结合,结合的方式如下。
假设电子设备被设定的屏幕熄灭时间为15秒。在电子设备的显示屏被启动显示数据时刻起启动计时,计时满规定时间,如7秒后,电子设备的前置摄像头拍摄图像,AO模块依次获取图像,并针对获取的每一帧图像,执行下述操作:
比对图像的图像数据和样本特征库,根据图像的图像数据和样本特征库的比对结果,对图像配置置信度。判断图像被配置的置信度是否小于筛查出的置信度门限值,若图像被配置的置信度不小于置信度门限值,则确定图像中人眼注视显示屏;若图像被配置的置信度小于置信度门限值,则确定图像中人眼未注视显示屏。
在计时满7秒到计时满15秒的这段时间内,AO模块确定有一帧图像中人眼注视显示屏,则控制显示屏不熄屏。若AO模块持续确定图像中人眼均未注视显示屏,则在计时满15秒的时刻,控制显示屏熄屏。
需要说明的是,以上内容是以屏幕熄灭时间为15秒为示例对AO模块的处理流程进行介绍,但这并不构成对其的限定。
在用户注视显示屏,电子设备的控制器执行前述的AO方案过程中,若用户启动电子设备的前置摄像头,进入图1a展示的利用前置摄像头进行自拍的场景,电子设备会响应用户操作,前置摄像头拍照得到图像,并由显示屏显示拍摄的图像。
具体的,图2展示的处理器中,应用处理器(application processor,AP)发送低电平的上电切换信号到图像传感器的切换引脚,图像传感器的工作模式由较低功耗模式切换为normal模式。
处于normal模式的图像传感器,每隔一个时间间隔,生成标准分辨率图像,并将标准分辨率图像的图像数据,通过MIPI接口发送到ISP的图像前端(Image Front End,IFE)。图像前端IFE对标准分辨率图像的图像数据进行处理,并由显示屏显示处理后的图像数据。
若用户关闭前置摄像头,电子设备响应用户的操作,执行对应流程。具体的,图2展示的AP会发送高电平的上电切换信号到图像传感器的切换引脚,图像传感器从normal模式切换为较低功耗模式。
由上述内容可以看出:图像传感器的工作模式的切换过程中,存在下述问题:
1、图像传感器处于较低功耗模式,图像传感器生成较低分辨率图像,处理器根据较低分辨率图像,可执行如AO方案等多种事件。在图像传感器利用较低分辨率图像,执行如AO方案等多种事件,存在有功耗高的问题。
需要说明的是,在用户并没有使用电子设备,但电子设备的图像传感器也会进入较低功耗模式,且处理器配合执行如AO方案等多种事件,如此会造成处理器的功耗较大。
2、图像传感器的较低功耗模式和normal模式的互相切换,需要处理器生成高电平或者低电平,作用于图像传感器的切换引脚,控制逻辑较为复杂。
具体的,对于一个图像传感器,采用高电平或者低电平的上电切换信号切换图像传感器的工作模式时,电子设备的处理器需要针对图像传感器的两种工作模式,在控制逻辑上将图像传感器虚拟为两个器件,即配置虚拟图像传感器的两种控制逻辑,通过控制两个虚拟图像传感器的切换运行,来实现上电切换信号的发送,以实现图像传感器的工作模式的切换,如此控制逻辑较为复杂。
3、为了配合图像传感器的较低功耗模式的运行,电子设备的处理器需要配置有最简图像前端(Image Front End lite,IFE lite)单元,如此对处理器的使用就形成了限定,配置有最简图像前端单元的处理器,才可配合图像传感器在功耗比较低的工作模式下运行。
基于上述技术方案中存在的问题,本申请通过下述实施例提出方案。
本申请实施例提供的方案,均可以适用于手机,平板电脑,桌面型、膝上型、笔记本电脑,超级移动个人计算机(Ultra-mobile Personal Computer,UMPC),手持计算机,上网本,个人数字助理(Personal Digital Assistant,PDA),可穿戴电子设备,智能手表等电子设备。
图4a为本申请实施例提供的一种电子设备的组成示例。以手机为例,电子设备400可以包括处理器410,外部存储器接口420,内部存储器421,显示屏430,摄像头440,天线1,天线2,移动通信模块450,以及无线通信模块460等。
可以理解的是,本实施例示意的结构并不构成对该电子设备的具体限定。在另一些实施例中,该电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器410可以包括一个或多个处理单元,例如:处理器410可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备400的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
视频编解码器用于对数字视频压缩或解压缩。电子设备可以支持一种或多种视频编解码器。这样,电子设备可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
处理器410中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器410中的存储器为高速缓冲存储器。该存储器可以保存处理器410刚用过或循环使用的指令或数据。如果处理器410需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器410的等待时间,因而提高了系统的效率。
在一些实施例中,处理器410可以包括一个或多个接口。接口可以包括集成电路总线(Inter-Integrated Circuit,I2C)接口,集成电路内置音频(inter-integratedcircuit sound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(serial clock line,SCL)。在一些实施例中,处理器410可以包含多组I2C总线。处理器410可以通过不同的I2C总线接口分别耦合摄像头440等。
I2S接口可以用于音频通信。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。
MIPI接口可以被用于连接处理器410与显示屏430,摄像头440等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器410和摄像头440通过CSI接口通信,实现电子设备400的拍摄功能。处理器410和显示屏430通过DSI接口通信,实现电子设备400的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器410与摄像头440,显示屏430,无线通信模块460等。
可以理解的是,本实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备400的结构限定。在本申请另一些实施例中,电子设备400也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
外部存储器接口420可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备的存储能力。外部存储卡通过外部存储器接口420与处理器410通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器421可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器410通过运行存储在内部存储器421的指令,从而执行电子设备400的各种功能应用以及数据处理。内部存储器421可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器421可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器410通过运行存储在内部存储器421的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备的各种功能应用以及数据处理。
电子设备通过GPU,显示屏430,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏430和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器410可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏430用于显示图像,视频等。显示屏430包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oled,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备可以包括1个或N个显示屏430,N为大于1的正整数。
电子设备的显示屏430上可以显示一系列图形用户界面(graphical userinterface,GUI),这些GUI都是该电子设备的主屏幕。一般来说,电子设备的显示屏430的尺寸是固定的,只能在该电子设备的显示屏430中显示有限的控件。控件是一种GUI元素,它是一种软件组件,包含在应用程序中,控制着该应用程序处理的所有数据以及关于这些数据的交互操作,用户可以通过直接操作(direct manipulation)来与控件交互,从而对应用程序的有关信息进行读取或者编辑。一般而言,控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
电子设备可以通过ISP,摄像头440,视频编解码器,GPU,显示屏430以及应用处理器等实现拍摄功能。
ISP用于处理摄像头440反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头图像传感器上,光信号转换为电信号,摄像头图像传感器将电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头440中。
摄像头440包含镜头和图像传感器。摄像头440用于捕获静态图像或视频。物体通过镜头生成光学图像投射到图像传感器。图像传感器可以是电荷耦合器件(chargecoupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。图像传感器把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备可以包括1个或N个摄像头440,N为大于1的正整数。
DSP用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
电子设备的无线通信功能可以通过天线1,天线2,移动通信模块450,无线通信模块460,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块450可以提供应用在电子设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块450可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块450可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块450还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块450的至少部分功能模块可以被设置于处理器410中。在一些实施例中,移动通信模块450的至少部分功能模块可以与处理器410的至少部分模块被设置在同一个器件中。
无线通信模块460可以提供应用在电子设备上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块460可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块460经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器410。无线通信模块460还可以从处理器410接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
另外,在上述部件之上,运行有操作系统。例如iOS操作系统,Android操作系统,Windows操作系统等。在操作系统上可以安装运行应用程序。
图4b是本申请实施例的电子设备的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。如图4b所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,显示,音乐,铃声,以及短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。如图4b所示,应用程序框架层可以包括窗口管理器,内容提供器,电话管理器,资源管理器,通知管理器,视图系统等,在本申请的一些实施例中,应用程序框架层还可以包括感知服务。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
电话管理器用于提供电子设备的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
感知服务用于执行前述提出的AO方案。感知服务执行AO方案过程中,若检测到一帧图像中人眼注视显示屏,则控制应用程序层的显示采用不熄屏方式进行显示,铃声在需要输出响铃时,以降低音量的方式进行输出。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。在本申请一些实施例中,应用冷启动会在Android runtime中运行,Android runtime由此获取到应用的优化文件状态参数,进而Android runtime可以通过优化文件状态参数判断优化文件是否因系统升级而导致过时,并将判断结果返回给应用管控模块。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),二维图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染、合成和图层处理等。
二维图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。摄像头驱动用于对摄像头配置参数,打开或关闭摄像头。
需要说明的是,本申请实施例虽然以Android系统为例进行说明,但是其基本原理同样适用于基于iOS、Windows等操作系统的电子设备。
实施例一
针对前述功耗高的问题1,本申请实施例提供了一种电子设备,该电子设备包括处理器以及可与处理器进行交互的图像传感器,该图像传感器一般设置于电子设备的前置摄像头。电子设备的硬件结构和软件架构,可如前述内容,此处不展开说明。
参见图5a,本实施例提供的电子设备中,处理器包括控制器、图像信号处理器ISP和应用处理器AP,ISP至少包括图像前端IFE和最简图像前端IFE lite两个集成单元。控制器可以包括AO模块、自动曝光模块和摄像头驱动三个逻辑单元。AO模块、自动曝光模块和摄像头驱动的功能可如前述内容。
图像传感器,设置的工作模式包括第一工作模式,第二工作模式,以及第三工作模式。第一工作模式也可以称为正常工作模式或normal模式,在第一工作模式下生成的图像的分辨率为第一图像分辨率,例如可以为4208*3120。第二工作模式也可以称为较低功耗模式,第二工作模式的功耗比第一工作模式功耗低,且在第二工作模式下生成的图像的分辨率为第二图像分辨率,通常可为320*240、520*392、640*480、720*540、800*600、960*720、1040*784。第三工作模式也可以称为超低功耗模式,第三种工作模式的功耗最低,在第三工作模式下生成的图像的分辨率为第三图像分辨率,通常为16*12。因此,可以看出:第一图像分辨率>第二图像分辨率>第三图像分辨率。
图像传感器和处理器上分别设置有MIPI接口,引脚1和引脚2。
图像传感器的MIPI接口,可传输图像传感器生成图像的图像数据。该图像数据可经处理器的MIPI接口,传输到处理器的ISP。一些实施例中,ISP中的图像前端IFE获取处理器的MIPI接口接收的图像数据;另一些实施例中,ISP中的最简图像前端IFE lite获取处理器的MIPI接口接收的图像数据。
图像传感器的引脚1,用于传输一位电平信号。同理,处理器的引脚1也用于传输一位电平信号。在一些实施例中,图像传感器需对外发送的电平信号,如由高电平或低电平所指示的检测结果,可通过引脚1向外传输,经处理器的引脚1传输到处理器的ISP。一些实施例中,ISP中的最简图像前端IFE lite获取处理器的引脚1接收的电平信号。
在一些示例中,图像传感器的引脚1可称之为GPO引脚,INT引脚。
图像传感器的引脚2也用于传输一位电平信号。同理,处理器的引脚2也用于传输一位电平信号。在一些实施例中,图像传感器的引脚2属于切换引脚,用于接收切换图像传感器的工作模式的切换信号。
一些实施例中,处理器的ISP中的IFE lite或IFE,或处理器的AP生成切换信号,通过处理器的引脚2发送切换信号,该切换信号再经图像传感器的引脚2传输到图像传感器,图像传感器根据切换信号进行工作模式的切换。
需要说明的是,IFE lite,IFE或AP均具有生成切换信号的能力,但采用IFE lite,IFE或AP生成切换信号,功耗依次增加,控制复杂性依次降低。
在一些示例中,图像传感器的引脚2可称之为PONV引脚,Xshutdown2引脚。
结合图5b(为了绘图简单,图5b未绘示处理器的引脚1和MIPI接口)和图5c,本实施例提供的工作模式的切换控制方法,应用于前述提出的电子设备,电子设备上电,图像传感器默认进入超低功耗模式,或者在摄像头驱动的控制下通常进入超低功耗模式。本实施例提供的工作模式的切换控制方法,包括下述步骤:
S501、处于超低功耗模式的图像传感器,每隔一个时间间隔,生成超低分辨率图像。
一些实施例中,电子设备开机上电,显示屏亮屏并输出如图6中的(a)所示的锁屏界面,图像传感器以超低功耗模式运行,以被配置的时间间隔,生成超低分辨率图像。
另一些实施例中,电子设备待机,显示屏处于灭屏状态时,图像传感器也会以超低功耗模式运行,以配置的时间间隔,生成超低分辨率图像。
S502、处于超低功耗模式的图像传感器,利用超低分辨率图像的图像数据,进行光影变化的检测,得到光影变化的检测结果。
其中,图像传感器利用超低分辨率图像的图像数据,进行光影变化的检测,用于确定电子设备的前置摄像头前是否有光影变化。
S503、图像传感器向最简图像前端IFE lite发送光影变化的检测结果。
其中,图像传感器可将光影变化的检测结果通过引脚1输入到最简图像前端IFElite。
S504、最简图像前端IFE lite,利用光影变化的检测结果,确定电子设备的前置摄像头检测到光影变化,则生成切换信号。
最简图像前端IFE lite确定电子设备的前置摄像头检测到光影变化,说明用户可能在使用电子设备,需要切换图像传感器的工作模式,因此IFE lite生成切换信号,控制图像传感器由超低功耗模式切换到较低功耗模式。
一些实施例中,切换信号包括高、低电平。在一个示例中,高电平的切换信号,用于控制图像传感器进入超低功耗模式,低电平的切换信号,用于控制图像传感器进入较低功耗模式。当然,也可以由高电平的切换信号控制图像传感器切换到较低功耗模式,低电平的切换信号,控制图像传感器切换到超低功耗模式。
一些实施例中,切换信号也可由IFE或者AP生成。具体的,IFE或者AP与最简图像前端IFE lite交互,在最简图像前端IFE lite,利用光影变化的检测结果,确定电子设备的前置摄像头检测到光影变化,由IFE或者AP生成切换信号。或者,IFE或者AP接收光影变化的检测结果,利用光影变化的检测结果,确定电子设备的前置摄像头检测到光影变化,生成切换信号。
参见图6中的(b),电子设备的显示屏输出网页,用户阅读网页而长时间注视显示屏。基于此,图像传感器利用超低分辨率图像的图像数据,进行光影变化的检测时,会检测到光影变化,最简图像前端IFE lite需要生成切换信号。
需要说明的是,最简图像前端IFE lite可利用光影变化的检测结果,执行一些低功耗事件,如若检测到前置摄像头检测到光影变化,则执行显示屏不熄屏,铃声音量降低,控制显示屏根据人脸方向自动旋转、触发截屏/播放暂停、翻页等功能。
还需要说明的是,最简图像前端IFE lite确定电子设备的前置摄像头未检测到光影变化,则控制图像传感器持续处于超低功耗模式。
S505、最简图像前端IFE lite向图像传感器发送切换信号。
最简图像前端IFE lite可通过引脚2向图像传感器发送切换信号,图像传感器响应切换信号,切换工作模式由超低功耗模式到较低功耗模式。
S506、处于较低功耗模式的图像传感器,每隔一个时间间隔,生成较低分辨率图像。
S507、处于较低功耗模式的图像传感器,向最简图像前端IFE lite发送较低分辨率图像的图像数据。
其中,图像传感器将较低分辨率图像的图像数据,通过MIPI引脚发送到最简图像前端IFE lite。
一些实施例中,最简图像前端IFE lite可将较低分辨率图像的图像数据存储于内存的安全buffer。在最简图像前端IFE lite将低分辨率图像的图像数据存储于内存的安全buffer后,处理器的控制器可利用较低分辨率图像的图像数据,可执行多种事件,如人眼注视显示屏的检测(也称AO方案),控制显示屏根据人脸方向自动旋转、触发截屏/播放暂停、翻页等功能。
还需要说明的是,控制器利用较低分辨率图像的图像数据,执行多种事件过程中,若利用较低分辨率图像的图像数据,确定出电子设备满足被执行事件的退出条件,如执行AO方案,控制器如前述内容,持续确定图像中人眼均未注视显示屏,则电子设备可不继续执行被执行事件。并且,图像传感器可持续以较低功耗模式运行,或者控制图像传感器切换到超低功耗模式。
一些实施例中,最简图像前端IFE lite生成切换信号,控制图像传感器切换到超低功耗模式。
S508、图像前端IFE生成低电平的上电切换信号。
用户启动电子设备的前置摄像头,电子设备的显示屏如图6中的(c),展示前置摄像头的拍摄模式。电子设备会响应用户操作,前置摄像头拍照得到图像,并由显示屏显示拍摄的图像。
具体的,电子设备的前置摄像头被控制指令触发而启动,图像传感器需进入normal模式。一些实施例中,在电子设备的前置摄像头被启动后,图像前端IFE会生成低电平的上电切换信号,控制图像传感器进入normal模式。另一些实施例中,也可以由IFE lite或者AP生成低电平的上电切换信号,控制图像传感器进入normal模式。本实施例以图像前端IFE生成低电平的上电切换信号为例进行说明。
上电切换信号,包括高、低电平。一些实施例中,低电平的上电切换信号,用于控制图像传感器切换到normal模式,高电平的上电切换信号,用于控制图像传感器退出normal模式。当然,也可以由高电平的上电切换信号控制图像传感器切换到normal模式,低电平的上电切换信号,控制图像传感器退出normal模式。本实施例中,是以低电平的上电切换信号控制图像传感器切换到normal模式,高电平的上电切换信号控制图像传感器退出normal模式为例进行说明。
还需要说明的是,步骤S508的执行位置,并不限定于图5c展示。在图像传感器以超低功耗模式下运行时,若前置摄像头被触发启动,图像前端IFE也会生成低电平的上电切换信号,切换图像传感器以normal模式运行。
S509、图像前端IFE向图像传感器发送低电平的上电切换信号。
图像前端IFE通过引脚2,将低电平的上电切换信号发送到图像传感器,图像传感器接收到低电平的上电切换信号,切换为normal模式。
S510、处于normal模式的图像传感器,生成标准分辨率图像。
一些实施例中,图像传感器也可以配置的时间间隔为周期,生成标准分辨率图像。
S511、处于normal模式的图像传感器,向图像前端IFE发送标准分辨率图像的图像数据。
一些实施例中,处于normal模式的图像传感器可将标准分辨率图像的图像数据,通过MIPI引脚发送到图像前端IFE。图像前端IFE对标准分辨率图像的图像数据进行处理,并由显示屏显示处理后的图像数据。
S512、图像前端IFE生成高电平的上电切换信号。
若用户关闭前置摄像头,电子设备响应用户的操作,执行对应流程。
具体的,电子设备的前置摄像头被控制指令触发而关闭,图像传感器需退出normal模式。图像前端IFE生成高电平的上电切换信号,控制图像传感器退出normal模式。
一些实施例中,图像前端IFE生成高电平的上电切换信号,可控制图像传感器由normal模式退出,并切换到超低功耗模式或较低功耗模式。
一些实施例中,电子设备的前置摄像头被控制指令触发而关闭,也可以由IFElite或者AP生成高电平的上电切换信号,控制图像传感器进入超低功耗模式或较低功耗模式。本实施例以图像前端IFE生成高电平的上电切换信号为例进行说明。
S513、图像前端IFE向图像传感器发送高电平的上电切换信号。
其中,图像前端IFE可通过引脚2,将高电平的上电切换信号发送到图像传感器。
一些实施例中,图像传感器接收到高电平的上电切换信号,可直接切换到超低功耗模式。
另一些实施例中,图像传感器接收到高电平的上电切换信号,可根据显示屏的状态控制自身处于较低功耗模式还是超低功耗模式。一些实施例中,电子设备的前置摄像头被控制指令触发而关闭,且电子设备如图6中的(d)所示,处于灭屏状态,图像传感器接收图像前端IFE发送的高电平的上电切换信号后,图像传感器切换到超低功耗模式。一些实施例中,电子设备的前置摄像头被控制指令触发而关闭,电子设备如图6中的(e)所示,显示屏还处于亮屏状态,图像传感器接收图像前端IFE发送的高电平的上电切换信号后,图像传感器切换到较低功耗模式。
还需要说明的是,图像传感器以超低功耗模式运行,返回执行步骤S501,图像传感器以较低功耗模式运行,返回执行步骤S506。
还需要说明的是,图像传感器从normal模式切换到其他工作模式,还可采用下述实现方式:
图像前端IFE生成并发送高电平的上电切换信号到图像传感器,并且,AP,或者IFE,或者IFE lite,可根据电子设备的当前状态,如显示屏的状态,生成并向图像传感器发送切换信号。图像传感器接收高电平的上电切换信号以及切换信号,结合高电平的上电切换信号以及切换信号,将normal模式切换到较低功耗模式或超低功耗模式。在一个示例中,图像传感器接收到高电平的上电切换信号以及第一种切换信号(如高电平),图像传感器将normal模式切换到较低功耗模式;图像传感器接收到高电平的上电切换信号以及第二种切换信号(如低电平),图像传感器将normal模式切换到超低功耗模式。
一些实施例中,图像传感器接收切换信号的引脚,也可以为图5b绘示的引脚2。基于此,图像传感器的引脚2可分时接收上电切换信号和切换信号,结合高电平的上电切换信号以及切换信号,切换到较低功耗模式或超低功耗模式。
另一实施例中,图像传感器还可采用不同的引脚,接收切换信号和上电切换信号。图像传感器根据两个引脚接收的切换信号和上电切换信号,切换到较低功耗模式或超低功耗模式。
本实施例中,由于图像传感器设置了超低功耗模式,超低功耗模式的功耗比较低功耗模式低,在电子设备未被使用时,图像传感器是以超低功耗模式运行,可以降低功耗。其中,电子设备未被使用可以理解成:电子设备待机,显示屏处于灭屏状态,或者电子设备处于锁屏状态。
需要说明的是,图像传感器位于超低功耗模式或较低功耗模式,均可由图像传感器的自动曝光控制模块或者控制器的自动曝光模块,根据图像传感器生成图像的明暗调整曝光参数使得图像传感器生成亮度达到要求的图像。
还需要说明的是,在图像传感器设置超低功耗模式,且处理器以高、低电平完成图像传感器在超低功耗模式或较低功耗模式进行切换的应用场景下,处理器需要针对图像传感器的超低功耗模式,配置出虚拟图像传感器的控制逻辑,可以理解成超低功耗模式下的虚拟图像传感器,通过控制超低功耗模式下的虚拟图像传感器的切换运行,来实现切换信号的发送,以实现图像传感器切换到超低功耗模式。
还需要说明的是,前述内容提出的由IFE lite,IFE或者AP生成切换信号,控制图像传感器在超低功耗模式和较低功耗模式切换运行,属于图像传感器在超低功耗模式和较低功耗模式的被动切换。被动切换可以理解成:图像传感器的工作模式的切换,需要受控于是否接收到IFE lite,IFE或者AP发送的切换信号,在接收到切换信号时,图像传感器依据切换信号进行工作模式的切换。当然,图像传感器在超低功耗模式和较低功耗模式两种工作模式切换,还可以采用图像传感器主动切换的控制方式。主动切换可以理解成图像传感器主动在超低功耗模式和较低功耗模式两种工作模式切换,不用受限于IFE lite,IFE或者AP发送的切换信号,具体如下:
图像传感器利用超低分辨率图像的图像数据,进行光影变化的检测,得到光影变化的检测结果。图像传感器利用光影变化的检测结果,确定电子设备的前置摄像头检测到光影变化,则切换图像传感器以较低功耗模式运行。
图像传感器确定电子设备的前置摄像头未检测到光影变化,则控制图像传感器持续处于超低功耗模式。
图像传感器位于较低功耗模式,生成较低分辨率图像,图像传感器也可以利用较低分辨率图像的图像数据,确定出满足被处理器执行事件的退出条件,如执行AO方案,图像传感器,持续确定图像中人眼均未注视显示屏,则图像传感器可持续以较低功耗模式运行,或者控制图像传感器切换到超低功耗模式。
实施例二
为解决前述功耗高的问题1,本申请另一实施例还提供了一种电子设备,与前述实施例不同的是,本实施例的电子设备,如图7a所示,处理器包括控制器、图像信号处理器ISP、应用处理器AP和智能传感集线器(sensor hub)。
其中,智能传感集线器,提供一种基于低功耗MCU和轻量级RTOS操作系统之上的软硬件结合的解决方案,其主要功能是连接并处理来自各种传感器设备的数据。并且,智能传感集线器是处理器中的常规部件,常见的处理器均设置有智能传感集线器。
sensor hub可连接引脚1和引脚2,通过引脚1接收图像传感器发送的如由高电平或低电平所指示的检测结果,也可生成切换信号或上电切换信号,并通过引脚2发送切换信号或上电切换信号到图像传感器。
还需要说明的是,sensor hub因功耗较低,因此,由sensor hub生成切换信号或上电切换信号,具有功耗低的优点。
本实施例中,电子设备上电,图像传感器默认进入超低功耗模式,或者在摄像头驱动的控制下通常进入超低功耗模式。或者,电子设备待机,显示屏处于灭屏状态,图像传感器也会以超低功耗模式运行。
图7a展示了电子设备的处理器包括的部件,以及图像传感器的三种工作模式。图像传感器受处理器中部件生成的信号驱动,在三种工作模式进行切换的具体方式,由图7b展示。参见图7b,处于超低功耗模式的图像传感器,执行前述步骤S501和步骤S502,得到光影变化的检测结果,并将光影变化的检测结果,向sensor hub传输。
sensor hub接收到光影变化的检测结果后,可利用光影变化的检测结果,确定电子设备的前置摄像头是否检测到光影变化。若确定电子设备的前置摄像头检测到光影变化,则生成切换信号,并发送到图像传感器。图像传感器响应切换信号,切换到较低功耗模式。
一些实施例中,sensor hub确定电子设备的前置摄像头检测到光影变化,也可由AP,或者IFE,或者IFE lite生成切换信号。本实施例以sensor hub生成切换信号为例进行说明。
处于较低功耗模式的图像传感器,执行前述步骤S506和步骤S507,将较低分辨率图像的图像数据发送到最简图像前端IFE lite。
若电子设备的前置摄像头被启动,sensor hub可生成低电平的上电切换信号,并通过引脚2将低电平的上电切换信号向图像传感器,控制图像传感器的工作模式切换到normal模式。
处于normal模式的图像传感器,可执行前述步骤S510和步骤S512。
若电子设备的前置摄像头被关闭,sensor hub可生成高电平的上电切换信号,并通过引脚2将高电平的上电切换信号向图像传感器,控制图像传感器的工作模式切换到超低功耗模式或较低功耗模式。
一些实施例中,图像传感器接收到高电平的上电切换信号,可直接切换到超低功耗模式。另一些实施例中,图像传感器接收到高电平的上电切换信号,可根据显示屏的状态控制自身处于较低功耗模式还是超低功耗模式。一些实施例中,电子设备的前置摄像头被控制指令触发而关闭,且电子设备处于灭屏状态,图像传感器接收sensor hub发送的高电平的上电切换信号后,图像传感器切换到超低功耗模式。一些实施例中,电子设备的前置摄像头被控制指令触发而关闭,电子设备处于亮屏状态,图像传感器接收sensor hub发送的高电平的上电切换信号后,图像传感器切换到较低功耗模式。
还需要说明的是,sensor hub发送高电平的上电切换信号到图像传感器,图像传感器可从normal模式切换到其他工作模式时,AP,或者IFE,或者IFE lite,或者sensorhub,可根据电子设备的当前状态,如显示屏的状态,生成切换信号。图像传感器接收高电平的上电切换信号以及切换信号,结合高电平的上电切换信号以及切换信号,切换到较低功耗模式或超低功耗模式。
还需要说明的是,前述提出的高电平或低电平的上电切换信号,也可由AP,或者IFE,或者IFE lite生成,并发送到图像传感器。
一些实施例中,在电子设备出现错误时,sensor hub还可以实现对图像传感器的复位,即控制图像传感器初始化为超低功耗模式。
实施例三
针对前述处理器的控制逻辑复杂的问题2,本申请实施例提供了一种电子设备,该电子设备包括处理器以及可与处理器进行交互的图像传感器,该图像传感器一般设置于电子设备的前置摄像头。电子设备的硬件结构和软件架构,可如前述内容,此处不展开说明。
参见图8a,本实施例提供的电子设备中,处理器包括控制器、图像信号处理器ISP和应用处理器AP,ISP至少包括图像前端IFE和最简图像前端IFE lite两个集成单元。控制器可以包括AO模块、自动曝光模块和摄像头驱动三个逻辑单元。AO模块、自动曝光模块和摄像头驱动功能如前述内容,此处不展开说明。
图像传感器,设置有normal模式和较低功耗模式两种工作模式,normal模式属于图像传感器的正常工作模式,该模式下生成的图像的分辨率为图像传感器配置的分辨率,例如可以为4208*3120,较低功耗模式比normal模式功耗低,图像传感器处于较低功耗模式,可生成较低分辨率图像,通常可为320*240、520*392、640*480、720*540、800*600、960*720、1040*784。
其中,normal模式也可以如实施例一所述,称为第一工作模式,较低功耗模式也可以称为第二工作模式,具体参见前述实施例一内容,此处不再展开说明。
图像传感器和处理器上分别设置有MIPI接口和I2C接口。图像传感器设置有连接I2C接口的I2C控制模块,该I2C控制模块可通过I2C接口与处理器进行交互。其中,I2C控制模块可以理解设置于图像传感器的逻辑模块,也可以理解成图像传感器的硬件部件。
一些实施例中,控制器的摄像头驱动,或处理器的ISP中的IFE lite或IFE,或处理器的AP生成I2C地址,通过处理器的I2C接口发送I2C地址,该I2C地址再经图像传感器的I2C接口传输到图像传感器,图像传感器根据I2C地址进行工作模式的切换。本实施例以AP生成I2C地址为例进行说明。
需要说明的是,AP下发不同的I2C地址控制图像传感器进入不同的工作模式。
在一个可能的实施方式中,参见图8a,AP通过I2C总线连接图像传感器,图像传感器设置两个I2C控制模块,且两个I2C控制模块的地址设定不同,AP下发I2C地址,地址设定为AP下发的I2C地址的I2C控制模块被触发,可传输控制信号到图像传感器,图像传感器检测传输控制信号的I2C控制模块,进入对应的工作模式。
在一个示例中:一个I2C控制模块的地址设定为1,另一个I2C控制模块的地址设定为2。AP下发I2C地址为1,地址设定为1的I2C控制模块传输控制信号到图像传感器,图像传感器进入normal模式。AP下发I2C地址为2,地址设定为2的I2C控制模块传输控制信号到图像传感器,图像传感器进入较低功耗模式。
在另一个可能的实施方式中,参见图8b,AP通过I2C总线连接图像传感器,图像传感器设置一个I2C控制模块,且一个I2C控制模块设置有两个地址,两个地址分时复用。AP下发一个I2C地址,I2C控制模块被触发,可传输控制信号到图像传感器,图像传感器检测传输控制信号的I2C控制模块,进入地址对应的工作模式。
还需要说明的是,上述提出的示例中,I2C控制模块的地址是为了方便说明,采用数值1和数值2来表示。通常情况下,I2C控制模块的地址可采用一个字节的二进制数据来表示,该一个字节的二进制数据中,前7位数值可用于指示I2C控制模块的地址。
图像传感器的MIPI接口,可传输图像传感器生成图像的图像数据。该图像数据可经处理器的MIPI接口,传输到处理器的ISP。一些实施例中,ISP中的图像前端IFE获取处理器的MIPI接口接收的图像数据;另一些实施例中,ISP中的最简图像前端IFE lite获取处理器的MIPI接口接收的图像数据。
本实施例中,处于normal模式和较低功耗模式的图像传感器的功能,以及与处理器的交互流程,可参见前述实施例一内容,此处不展开说明。
还需要说明的是,本实施例中,处理器采用下发不同I2C地址的方式,替换采用上电切换信号,控制图像传感器切换工作模式,控制逻辑简单。
实施例四
针对前述问题功耗高的1和控制逻辑复杂的问题2,本申请实施例提供了另一种电子设备,该电子设备包括处理器以及可与处理器进行交互的图像传感器,该图像传感器一般设置于电子设备的前置摄像头。电子设备的硬件结构和软件架构,可如前述内容,此处不展开说明。
本实施例提供的电子设备中,处理器包括控制器、图像信号处理器ISP和应用处理器AP,ISP至少包括图像前端IFE和最简图像前端IFE lite两个集成单元。控制器可以包括AO模块、自动曝光模块和摄像头驱动三个逻辑单元。AO模块、自动曝光模块和摄像头驱动功能如前述内容,此处不展开说明。
图像传感器,设置有normal模式、较低功耗模式和超低功耗模式三种工作模式,具体如前述实施例一内容,此处不展开说明。超低功耗模式和较低功耗模式,可以统称为低功耗感知模式。本实施例,图像传感器需要在normal模式、较低功耗模式和超低功耗模式三个工作模式之间进行切换,以下进行具体说明。
在一个可能的实施方式中,参见图9a,图像传感器和处理器上分别设置有MIPI接口,引脚1,引脚2和I2C接口。图像传感器和处理器设置的MIPI接口和引脚1的功能,可如前述实施例一内容,此处不展开说明。
normal模式对应一个I2C地址,低功耗感知模式对应另一个I2C地址。处理器和图像传感器的I2C接口,用于传输切换图像传感器以normal模式运行的I2C地址,或者以低功耗感知模式运行的I2C地址。
并且,图像传感器设置有连接I2C接口的I2C控制模块,该I2C控制模块可通过I2C接口与处理器进行交互。其中,I2C控制模块可以理解设置于图像传感器的逻辑模块,也可以理解成图像传感器的硬件部件。
一些实施例中,控制器的摄像头驱动,或处理器的ISP中的IFE lite或IFE,或处理器的AP生成I2C地址,通过处理器的I2C接口发送I2C地址,该I2C地址再经图像传感器的I2C接口传输到图像传感器,图像传感器根据I2C地址进行低功耗感知模式或normal模式的切换。本实施例以AP生成I2C地址为例进行说明。
如图9c所示,AP下发不同的I2C地址,来实现控制图像传感器进入低功耗感知模式或normal模式。
一个实施方式中,如图9a所示,AP通过I2C总线连接图像传感器,图像传感器设置两个I2C控制模块,两个I2C控制模块的地址设定不同,AP下发I2C地址,地址设定为AP下发的I2C地址的I2C控制模块被触发,可传输控制信号到图像传感器,图像传感器检测传输控制信号的I2C控制模块,进入对应的工作模式。
如在一个示例中:一个I2C控制模块的地址设定为1,另一个I2C控制模块的地址设定为2。AP下发I2C地址为1,地址设定为1的I2C控制模块传输控制信号到图像传感器,图像传感器进入normal模式。AP下发I2C地址为2,地址设定为2的I2C控制模块传输控制信号到图像传感器,图像传感器进入低功耗感知模式。以下以该示例为例进行说明。
另一个实施方式中,AP通过I2C总线连接图像传感器,图像传感器设置一个I2C控制模块,且一个I2C控制模块设置有两个地址,两个地址分时复用。AP下发一个I2C地址,I2C控制模块被触发,可传输控制信号到图像传感器,图像传感器检测传输控制信号的I2C控制模块,进入地址对应的工作模式。
图像传感器的引脚2用于传输一位电平信号。同理,处理器的引脚2也用于传输一位电平信号。在一些实施例中,图像传感器的引脚2属于切换引脚,用于接收切换图像传感器以较低功耗模式或超低功耗模式运行的切换信号。在一些示例中,图像传感器的引脚2可称之为PONV引脚,Xshutdown2引脚。
一些实施例中,处理器的ISP中的IFE lite或IFE,或处理器的AP可生成切换信号,通过处理器的引脚2发送切换信号,该切换信号再经图像传感器的引脚2传输到图像传感器,图像传感器根据切换信号在较低功耗模式和超低功耗模式两种工作模式之间切换。
在另一个可能的实施方式中,参见图9b,图像传感器和处理器上分别设置有MIPI接口,引脚1和I2C接口。图像传感器和处理器设置的MIPI接口和引脚1的功能,可如前述实施例一内容,此处不展开说明。I2C接口的功能可如前述实施方式内容,此处也不再展开说明。
本可能的实施方式中,图像传感器的超低功耗模式和较低功耗模式,采用主动切换的方式,具体如下:
图像传感器处于超低功耗模式运行,利用超低分辨率图像的图像数据,进行光影变化的检测,得到光影变化的检测结果。图像传感器利用光影变化的检测结果,确定电子设备的前置摄像头检测到光影变化,则切换图像传感器以较低功耗模式运行。
图像传感器确定电子设备的前置摄像头未检测到光影变化,则控制图像传感器持续处于超低功耗模式。
图像传感器位于较低功耗模式,生成较低分辨率图像,图像传感器也可以利用较低分辨率图像的图像数据,确定出满足被处理器执行事件的退出条件,如执行AO方案,图像传感器,持续确定图像中人眼均未注视显示屏,则图像传感器可持续以较低功耗模式运行,或者控制图像传感器切换到超低功耗模式。
本可能的实施方式中,图像传感器的超低功耗模式和较低功耗模式,由图像传感器根据光影变化的检测结果来进行切换,图像传感器的normal模式和低功耗感知模式,由处理器利用不同的I2C地址进行切换,如此可以实现采用简单的控制逻辑完成图像传感器的工作模式的切换。以下以本可能的实施方式为例,展开说明。
图9d展示了图像传感器受处理器中部件生成的信号驱动,在normal模式、超低功耗模式和较低功耗模式三种工作模式进行切换的具体方式。参见图9d(为了绘图简单,图9d未绘示处理器的引脚1,引脚2,MIPI接口和I2C接口,图像传感器也未绘示I2C接口和引脚2,且将I2C控制模块绘示在图像传感器外,但并不构成对处理器和图像传感器内部结构的限定),电子设备上电,图像传感器默认进入超低功耗模式,或在摄像头驱动控制下进入超低功耗模式。或者,电子设备待机,显示屏处于灭屏状态,图像传感器以超低功耗模式运行。
处于超低功耗模式的图像传感器,会每隔一个时间间隔,生成超低分辨率图像,并利用超低分辨率图像的图像数据,进行光影变化的检测,并将光影变化的检测结果通过引脚1输入到IFE lite。IFE lite可利用光影变化的检测结果,执行一些低功耗事件,如若检测到前置摄像头检测到光影变化,则执行显示屏不熄屏,铃声音量降低,控制显示屏根据人脸方向自动旋转、触发截屏/播放暂停、翻页等功能。
图像传感器利用光影变化的检测结果,确定电子设备的前置摄像头检测到光影变化,则生成并向图像传感器发送切换信号,将图像传感器的模式由超低功耗模式切换为较低功耗模式。
处于较低功耗模式的图像传感器,也会每隔一个时间间隔,生成较低分辨率图像,并将较低分辨率图像的图像数据,通过MIPI引脚发送到IFE lite。IFE lite输出的较低分辨率图像的图像数据存储于内存的安全buffer。
处理器利用较低分辨率图像的图像数据,可执行多种事件,如由控制器执行前述内容提出的人眼注视显示屏的检测(也称AO方案),或者,控制显示屏根据人脸方向自动旋转、触发截屏/播放暂停、翻页等功能。
若电子设备的前置摄像头被启动,AP下发I2C地址1,地址设定为1的I2C控制模块传输控制信号到图像传感器,图像传感器进入normal模式。
处于normal模式的图像传感器,每隔一个时间间隔,生成标准分辨率图像,并将标准分辨率图像的图像数据,通过MIPI引脚发送到IFE。IFE对标准分辨率图像的图像数据进行处理,并由显示屏显示处理后的图像数据。
若电子设备的前置摄像头被关闭,AP下发I2C地址2,控制图像传感器从normal模式切换为低功耗感知模式。其中,图像传感器接收I2C地址2,地址设定为2的I2C控制模块传输控制信号到图像传感器,控制图像传感器进入较低功耗模式或超低功耗模式,可有下述三种实施方式:
一个实施方式中,地址设定为2的I2C控制模块传输控制信号到图像传感器,图像传感器直接切换到超低功耗模式。
另一个实施方式中,图像传感器结合AP下发的I2C地址和显示屏的状态,控制自身切换到较低功耗模式或超低功耗模式,一般情况下,若显示屏灭屏,图像传感器切换到超低功耗模式,若显示屏亮屏,图像传感器可切换到较低功耗模式,也可切换到超低功耗模式。
另一个实施方式中,图像传感器结合AP下发的I2C地址和引脚2传输的切换信号,控制自身切换到较低功耗模式或超低功耗模式。引脚2传输的切换信号,可由处理器的ISP中的IFE lite或IFE,或处理器的AP,根据电子设备的当前状态,如显示屏的状态生成。若显示屏处于灭屏状态,生成的切换信号用于将图像传感器切换到超低功耗模式。
与前述实施例三相同,采用数值1和数值2来表示I2C控制模块的地址,是为了表达方便,并不构成对I2C控制模块的地址的具体实现方式的限定。通常情况下,I2C控制模块的地址可采用一个字节的二进制数据来表示,该一个字节的二进制数据中,前7位数值可用于指示I2C控制模块的地址。并且,下述内容提出的I2C控制模块的地址,也会以数值为示例进行说明,同样下述内容中提出的数值不构成对I2C控制模块的地址的具体实现方式的限定。
还需要说明的是,在考虑到降低功耗的要求下,本实施例提供的电子设备,也可如图10a所示,采用处理器中的sensor hub接收图像传感器处于超低功耗模式时发送的光影变化的检测结果。
图10b展示图10a中绘示的图像传感器在normal模式、较低功耗模式和超低功耗模式下的切换实现方式。具体的,参见图10b(为了绘图简单,图10b未绘示处理器的引脚1,引脚2,MIPI接口和I2C接口,图像传感器也未绘示I2C接口和引脚2,且将I2C控制模块绘示在图像传感器外,但并不构成对处理器和图像传感器内部结构的限定),sensor hub接收到光影变化的检测结果后,可利用光影变化的检测结果,确定电子设备的前置摄像头是否检测到光影变化。若确定电子设备的前置摄像头检测到光影变化,则生成切换信号,并发送到图像传感器。图像传感器响应切换信号,将超低功耗模式切换为较低功耗模式。
一些实施例中,sensor hub确定电子设备的前置摄像头检测到光影变化,也可由AP,或者IFE,或者IFE lite生成切换信号。
sensor hub也可用于下发不同的I2C地址来实现发送上电切换信号,控制图像传感器进入低功耗感知模式或normal模式。
电子设备的前置摄像头被启动,sensor hub可下发I2C地址1,地址设定为1的I2C控制模块传输控制信号到图像传感器,图像传感器进入normal模式。
电子设备的前置摄像头被关闭,sensor hub可下发I2C地址2,控制图像传感器从normal模式切换为低功耗感知模式。其中,图像传感器接收到I2C地址2,地址设定为2的I2C控制模块传输控制信号到图像传感器,控制图像传感器进入较低功耗模式或超低功耗模式的方式,可如前述提出的三种实施方式,此处不再展开说明。
还需要说明的是,图像传感器和处理器上分别设置有MIPI接口,引脚1,引脚2和I2C接口。引脚1和MIPI接口的功能与前述内容相同,此处不展开说明。
与前述内容不同的是,引脚2可以传输图像传感器的低功耗感知模式和normal模式之间切换的切换信号,该切换信号包括高、低电平。一个示例中,处理器通过自身的引脚2和图像传感器的引脚2传输高电平,图像传感器以低功耗感知模式运行,处理器通过自身的引脚2和图像传感器的引脚2传输低电平,图像传感器以normal模式运行。
一个可能的实施方式中,I2C接口传输的不同的I2C地址,用于控制图像传感器的超低功耗模式和较低功耗模式之间切换运行,一个I2C地址对应超低功耗模式,另一个I2C地址对应较低功耗模式。对应的,图像传感器可设置两个I2C控制模块或一个I2C控制模块。
图像传感器的工作模式的具体切换方式,可如前述内容,此处不展开说明。
以高、低电平的切换信号,控制图像传感器在低功耗感知模式和normal模式之间切换,可以保证图像传感器中的全部模块仅在normal模式启动,图像传感器运行在低功耗感知模式下,仅由部分低功耗的模块运行即可,能够保证图像传感器的功耗低。
并且,采用高、低电平的切换信号,切换图像传感器进入normal模式,还具有图像传感器接收到电平信号,全部模块能够快速启动的优点,保证图像传感器的性能。
另一个可能的实施方式中,I2C接口传输I2C地址加不同的控制信号,用于控制图像传感器的超低功耗模式和较低功耗模式之间切换运行。对应的,图像传感器可设置一个I2C控制模块。在一个示例中,I2C接口传输I2C地址1加第一控制信号,控制图像传感器以较低功耗模式运行,I2C接口传输I2C地址1加第二控制信号,控制图像传感器以超低功耗模式运行。
需要说明的是,处理器发送I2C地址加控制信号,可以理解成处理器通过I2C总线,向图像传感器发送携带I2C地址和控制信号的信息。并且,控制信号可以理解成是切换命令性信号,第一控制信号用于控制图像传感器以较低功耗模式运行,第二控制信号用于控制图像传感器以超低功耗模式运行。
图像传感器的I2C接口接收I2C地址1和控制信号,地址设定为1的I2C控制模块被触发,进一步传输控制信号到图像传感器,图像传感器解析控制信号,确定控制信号指定的工作模式,切换图像传感器进入控制信号指定的工作模式。
还需要说明的是,处理器控制图像传感器以normal模式运行的方式,还可以是处理器通过引脚2传输电平值,且通过I2C接口传输I2C地址,该I2C地址可以控制超低功耗模式和较低功耗模式之间切换所用的I2C地址相同,但可将该I2C地址和常规控制信号,由处理器向图像传感器发送。
常规控制信号,可以理解成不具有控制图像传感器以某种工作模式运行功能的信号。
还需要说明的是,因为采用不同的I2C地址,控制图像传感器切换到不同的模式,控制逻辑简单。因此,控制图像传感器在超低功耗模式和较低功耗模式之间切换的切换信号,也可采用不同的I2C地址,来实现发送。
在一种可能的实施方式中,图像传感器的normal模式和低功耗感知模式运行之间的切换,可不同的利用I2C地址来实现,图像传感器的低功耗感知模式内部之间的切换,可通过同一个I2C地址加不同的控制信号来实现。
其中,可由控制器的摄像头驱动,或处理器的ISP中的IFE lite或IFE,或处理器的AP或者sensor hub生成,并向图像传感器发送I2C地址,或I2C地址加不同的控制信号。
在一个示例中,处理器生成并向图像传感器发送I2C地址1,控制图像传感器以normal模式运行;处理器生成并向图像传感器发送I2C地址2加控制信号,控制图像传感器以低功耗感知模式运行;具体的,处理器生成并向图像传感器发送I2C地址2和第一控制信号,控制图像传感器以较低功耗模式运行,处理器生成并向图像传感器发送I2C地址2和第二控制信号,控制图像传感器以超低功耗模式运行。
与前述相同,第一控制信号和第二控制信号,属于切换命令性信号,可以指定图像传感器以某种工作模式运行。
图像传感器的I2C接口接收到I2C地址1,地址设定为1的I2C控制模块被触发,控制图像传感器以normal模式运行。图像传感器的I2C接口接收I2C地址2和控制信号,地址设定为2的I2C控制模块被触发,进一步传输控制信号到图像传感器,图像传感器解析控制信号,确定控制信号指定的工作模式,切换图像传感器进入控制信号指定的工作模式。
还需要说明的是,处理器控制图像传感器以normal模式运行,也可以是采用I2C地址1加控制信号,该控制信号可以是切换命令性信号,用于指定图像传感器以normal模式运行,也可以是常规控制信号。
在另一种可能的实施方式中,针对图像传感器的三种工作模式,均对应一个I2C地址。具体的,处理器通过I2C总线连接图像传感器,图像传感器设置I2C控制模块。AP下发不同的I2C地址,地址设定为AP下发的I2C地址的I2C控制模块被触发,图像传感器被控制进入AP下发的I2C地址所对应的工作模式。
需要说明的是,不同的I2C地址也可由控制器的摄像头驱动或者或处理器的ISP中的IFE lite或IFE生成及下发。以下以AP为例进行说明。
在一些实施例中,参见图11a,图像传感器中设置两个I2C控制模块,一个I2C控制模块的地址对应图像传感器的normal模式,一个I2C控制模块的一个地址对应较低功耗模式,另一个地址对应超低功耗模式。
。AP下发I2C地址为1,地址设定为1的I2C控制模块传输控制信号到图像传感器,图像传感器进入normal模式。AP下发I2C地址为2,地址设定为2和3的I2C控制模块传输控制信号到图像传感器,图像传感器进入地址2对应的较低功耗模式。AP下发I2C地址为3,地址设定为2和3的I2C控制模块传输控制信号到图像传感器,图像传感器进入地址3对应的较低功耗模式。
在一些实施例中,参见图11b,图像传感器中设置三个I2C控制模块,一个I2C控制模块的地址对应图像传感器的normal模式,一个I2C控制模块的地址对应较低功耗模式,一个I2C控制模块的地址对应超低功耗模式。
如一个示例中,一个I2C控制模块的地址设定为1,另一个I2C控制模块的地址设定为2,另一个I2C控制模块的地址设定为3。AP下发I2C地址为1,地址设定为1的I2C控制模块传输控制信号到图像传感器,图像传感器进入normal模式。AP下发I2C地址为2,地址设定为2的I2C控制模块传输控制信号到图像传感器,图像传感器进入较低功耗模式。AP下发I2C地址为3,地址设定为3的I2C控制模块传输控制信号到图像传感器,图像传感器进入较低功耗模式。
在处理器的sensor hub连接处理器的I2C接口时,sensor hub也可用于下发不同的I2C地址,以控制对应的I2C控制模块被触发,图像传感器被控制进入下发的I2C地址所对应的工作模式。
如图11c所示,图像传感器中设置两个I2C控制模块,一个I2C控制模块的地址对应图像传感器的normal模式,一个I2C控制模块的一个地址对应较低功耗模式,另一个地址对应超低功耗模式。
一个示例中,一个I2C控制模块的地址设定为1,另一个I2C控制模块的地址设定为2和3,两个地址分时复用。sensor hub下发I2C地址为1,地址设定为1的I2C控制模块传输控制信号到图像传感器,图像传感器进入normal模式。sensor hub下发I2C地址为2,地址设定为2和3的I2C控制模块传输控制信号到图像传感器,图像传感器进入地址2对应的较低功耗模式。sensor hub下发I2C地址为3,地址设定为2和3的I2C控制模块传输控制信号到图像传感器,图像传感器进入地址3对应的较低功耗模式。
在一些实施例中,参见图11d,图像传感器中设置三个I2C控制模块,一个I2C控制模块的地址对应图像传感器的normal模式,一个I2C控制模块的地址对应较低功耗模式,一个I2C控制模块的地址对应超低功耗模式。
一个示例中,一个I2C控制模块的地址设定为1,另一个I2C控制模块的地址设定为2,另一个I2C控制模块的地址设定为3。sensor hub下发I2C地址为1,地址设定为1的I2C控制模块传输控制信号到图像传感器,图像传感器进入normal模式。sensor hub下发I2C地址为2,地址设定为2的I2C控制模块传输控制信号到图像传感器,图像传感器进入较低功耗模式。sensor hub下发I2C地址为3,地址设定为3的I2C控制模块传输控制信号到图像传感器,图像传感器进入较低功耗模式。
实施例五
本申请另一实施例还提供了一种电子设备,该电子设备包括处理器以及可与处理器进行交互的图像传感器,该图像传感器一般设置于电子设备的前置摄像头。电子设备的硬件结构和软件架构,可如前述内容,此处不展开说明。
参见图12a,本实施例提供的电子设备中,处理器包括控制器、图像信号处理器ISP、智能传感集线器sensor hub和应用处理器AP,ISP至少包括图像前端IFE和最简图像前端IFE lite两个集成单元。控制器可以包括AO模块、自动曝光模块和摄像头驱动三个逻辑单元。AO模块、自动曝光模块和摄像头驱动的功能可如前述内容。
本实施例中,图像传感器包括四种工作模式,分别为:第一工作模式,第二工作模式,第三工作模式以及第四工作模式。第一工作模式也可以称为正常工作模式或normal模式,在第一工作模式下生成的图像的分辨率为第一图像分辨率,例如可以为4208*3120。第二工作模式也可以称为较低功耗模式,第二工作模式的功耗比第一工作模式功耗低,且在第二工作模式下生成的图像的分辨率为第二图像分辨率,通常可为320*240、520*392、640*480、720*540、800*600、960*720、1040*784。第三工作模式也可以称为超低功耗模式,第三种工作模式的功耗最低,在第三工作模式下生成的图像的分辨率为第三图像分辨率,通常为16*12。第四工作模式也可以称为低功耗模式,低功耗模式比较低功耗模式功耗低,第四工作模式下生成的图像的分辨率为第四图像分辨率,通常可为:64*48、72*54、80*60、96*72、120*90、128*96。因此,可以看出:第一图像分辨率>第二图像分辨率>第四图像分辨率>第三图像分辨率。
图像传感器和处理器上分别设置有MIPI接口,引脚1,引脚2和I2C接口。图像传感器和处理器设置的MIPI接口和引脚1的功能,可如前述实施例一内容,此处不展开说明。
图像传感器的四种工作模式可分为两组,第一组包括normal模式和较低功耗模式,第二组包括低功耗模式和超低功耗模式。处理器和图像传感器的I2C接口,通过I2C总线相连接,用于传输I2C地址,该I2C地址用于控制图像传感器以第一组的一个工作模式或者第二组的一个工作模式运行。
本实施例中,控制器的摄像头驱动,或处理器的ISP中的IFE lite或IFE,或处理器的AP或者sensor hub可生成并通过处理器的I2C接口发送不同的I2C地址,该I2C地址再经图像传感器的I2C接口传输到图像传感器,图像传感器切换到I2C地址对应的工作模式。本实施例以sensor hub生成I2C地址为例进行说明。
具体的,图像传感器设置连接I2C接口的I2C控制模块,该I2C控制模块可通过I2C接口与处理器进行交互,控制图像传感器的工作模式的切换。I2C控制模块可以理解设置于图像传感器的逻辑模块,也可以理解成设置于图像传感器的硬件部件。
在图像传感器中设置I2C控制模块,可具有下述两种实施方式:
在一个可能的实施方式中,如图12a所示,图像传感器设置两个I2C控制模块,且两个I2C控制模块的地址设定不同,sensor hub下发I2C地址,地址设定为sensor hub下发的I2C地址的I2C控制模块被触发,可传输控制信号到图像传感器,图像传感器检测传输控制信号的I2C控制模块,进入对应的工作模式。
如在一个示例中:一个I2C控制模块的地址设定为1,另一个I2C控制模块的地址设定为2。参见图12b,sensor hub下发I2C地址为1,地址设定为1的I2C控制模块传输控制信号到图像传感器,图像传感器可进入normal模式或较低功耗模式。sensor hub下发I2C地址为2,地址设定为2的I2C控制模块传输控制信号到图像传感器,图像传感器可进入超低功耗模式或低功耗模式。本实施例以本示例进行说明。
在另一个可能的实施方式中,图像传感器设置一个I2C控制模块,且该I2C控制模块设置有两个地址,两个地址分时复用,一个地址对应normal模式和较低功耗模式,另一个地址对应低功耗模式和超低功耗模式。sensor hub下发I2C控制模块的一个I2C地址,I2C控制模块被触发,可传输控制信号到图像传感器,图像传感器检测传输控制信号的I2C控制模块,进入I2C地址对应的工作模式。
图像传感器的引脚2用于传输一位电平信号。同理,处理器的引脚2也用于传输一位电平信号。在一些示例中,图像传感器的引脚2可称之为PONV引脚,Xshutdown2引脚。
本实施例中,图像传感器的引脚2属于切换引脚,用于接收切换图像传感器的工作模式的切换信号1和切换信号2,切换信号1用于控制图像传感器以normal模式或较低功耗模式运行,切换信号2用于控制图像传感器的低功耗模式或超低功耗模式运行。
切换信号1包括高、低电平。在一个示例中,参见图12b,高电平的切换信号1,用于控制图像传感器进入较低功耗模式,低电平的切换信号1,用于控制图像传感器进入normal模式。当然,也可以由高电平的切换信号1控制图像传感器切换到normal模式,低电平的切换信号1,控制图像传感器进入较低功耗模式。本实施例中,是以低电平的切换信号1控制图像传感器切换到normal模式,高电平的切换信号1控制图像传感器切换到较低功耗模式为例进行说明。
切换信号2也包括高、低电平。在一个示例中,高电平的切换信号2,用于控制图像传感器进入低功耗模式,低电平的切换信号2,用于控制图像传感器进入超低功耗模式。当然,也可以由高电平的切换信号2控制图像传感器切换到超低功耗模式,低电平的切换信号2,控制图像传感器切换到低功耗模式。本实施例中,是以低电平的切换信号2控制图像传感器切换到进入低功耗模式,高电平的切换信号2控制图像传感器切换到超低功耗模式为例进行说明。
一些实施例中,处理器的ISP中的IFE lite或IFE,或处理器的AP或者sensor hub生成切换信号1和切换信号2,通过处理器的引脚2发送,再经图像传感器的引脚2传输到图像传感器,图像传感器根据切换信号1或切换信号2进行工作模式的切换。
本实施例中,以sensor hub生成切换信号2和切换信号1为例进行说明。
还需要说明的是,图像传感器接收切换信号1的引脚和接收切换信号2的引脚,也可以不同引脚。一个示例中,图像传感器的引脚2接收切换信号1,其他一个引脚接收切换信号2。下述以引脚2分别接收切换信号1和切换信号2为例进行说明。
还需要说明的是,图像传感器可被配置成:初始运行模式为超低功耗模式。基于此,电子设备开机上电,前置摄像头的图像传感器响应上电指令,以超低功耗模式运行。
若图像传感器未配置初始运行模式,电子设备开机上电,电子设备的处理器生成第一指令控制前置摄像头运行。具体的,前置摄像头的图像传感器会响应第一指令,以超低功耗模式运行。一些实施例中,第一指令可由控制器的摄像头驱动生成。
电子设备上电后运行过程中,图像传感器可根据电子设备的不同运行状态进行工作模式的切换,以下结合图12c(为了绘图简单,图12c未绘示处理器的引脚1,引脚2,MIPI接口和I2C接口,图像传感器也未绘示I2C接口和引脚2,且将I2C控制模块绘示在图像传感器外,但并不构成对处理器和图像传感器内部结构的限定)和图12d,介绍本实施例提供的工作模式的切换控制方法。
本实施例提供的工作模式的切换控制方法,应用于前述提出的电子设备,电子设备上电,图像传感器默认进入超低功耗模式,或者在摄像头驱动的控制下通常进入超低功耗模式。本实施例提供的工作模式的切换控制方法,包括下述步骤:
S1201、处于超低功耗模式的图像传感器,每隔一个时间间隔,生成超低分辨率图像。
一些实施例中,电子设备开机上电,显示屏亮屏并输出锁屏界面,图像传感器以超低功耗模式运行,以被配置的时间间隔,生成超低分辨率图像。
另一些实施例中,电子设备待机,显示屏处于灭屏状态时,图像传感器也会以超低功耗模式运行,以配置的时间间隔,生成超低分辨率图像。
S1202、处于超低功耗模式的图像传感器,利用超低分辨率图像的图像数据,进行光影变化的检测,得到光影变化的检测结果。
其中,图像传感器利用超低分辨率图像的图像数据,进行光影变化的检测,用于确定电子设备的前置摄像头前是否有光影变化。
S1203、图像传感器向sensor hub发送光影变化的检测结果。
其中,图像传感器可将光影变化的检测结果通过引脚1输入到sensor hub。
sensor hub可利用光影变化的检测结果,执行一些低功耗事件,如若检测到前置摄像头检测到光影变化,则执行显示屏不熄屏,铃声音量降低,控制显示屏根据人脸方向自动旋转、触发截屏/播放暂停、翻页等功能。
S1204、sensor hub利用光影变化的检测结果,确定电子设备的前置摄像头检测到光影变化,则生成I2C地址2和低电平的切换信号2。
sensor hub确定电子设备的前置摄像头检测到光影变化,说明用户可能在使用电子设备,需要切换图像传感器的工作模式,因此sensor hub生成I2C地址2和低电平的切换信号2,控制图像传感器由超低功耗模式切换到低功耗模式。
还需要说明的是,sensor hub确定电子设备的前置摄像头未检测到光影变化,则图像传感器持续处于超低功耗模式。
一些实施例中,I2C地址2和切换信号2也可由IFE,IFE lite或者AP生成。具体的,IFE,IFE lite或者AP与sensor hub交互,在sensor hub,利用光影变化的检测结果,确定电子设备的前置摄像头检测到光影变化,由IFE,IFE lite或者AP生成I2C地址2和低电平的切换信号2。或者,IFE,IFE lite或者AP接收光影变化的检测结果,利用光影变化的检测结果,确定电子设备的前置摄像头检测到光影变化,生成I2C地址2和低电平的切换信号2。
S1205、sensor hub向图像传感器发送I2C地址2和低电平的切换信号2。
sensor hub可通过引脚2向图像传感器发送低电平的切换信号2,通过I2C接口传输I2C地址2。图像传感器通过I2C接口接收I2C地址2,I2C地址2进一步传输到图像传感器中地址设定为2的I2C控制模块,地址设定为2的I2C控制模块被触发,可传输控制信号到图像传感器,图像传感器检测传输控制信号的I2C控制模块,可进入低功耗模式或超低功耗模式。进一步,图像传感器接收到低电平的切换信号2,响应低电平的切换信号2,切换工作模式由超低功耗模式到低功耗模式。
还需要说明的是,图像传感器的超低功耗模式和低功耗模式之间的切换,还可以采用主动切换的方式。具体的,图像传感器根据光影变化的检测结果,确定电子设备的前置摄像头检测到光影变化,则切换工作模式为低功耗模式,确定电子设备的前置摄像头未检测到光影变化,则维持超低功耗模式。
在采用主动切换超低功耗模式和低功耗模式时,前述步骤S1204和S1205,不需要执行。
S1206、处于低功耗模式的图像传感器,每隔一个时间间隔,生成低分辨率图像。
S1207、图像传感器利用低分辨率图像的图像数据,进行人脸和/或手势检测,得到人脸和/或手势检测结果。
图像传感器可利用低分辨率图像的图像数据,进行人脸检测,当检测到人脸,则可确定用户在使用电子设备。图像传感器也可利用低分辨率图像的图像数据,进行手势检测,当检测到预先配置的手势时,则也可确定用户在使用电子设备。当然,图像传感器也可以利用低分辨率图像的图像数据,进行人脸检测以及手势的检测,得到人脸和手势检测结果。
还需要说明的是,在图像传感器主动切换超低功耗模式或低功耗模式时,图像传感器还可以利用人脸和/或手势检测结果,确定出电子设备的前置摄像头拍摄的图像未出现人脸和/或手势,维持图像传感器处于低功耗模式。或者在一段时间内,如5秒,利用人脸和/或手势检测结果,持续确定电子设备的前置摄像头拍摄的图像未出现人脸和/或手势,则控制图像传感器切换到超低功耗模式。
S1208、图像传感器向sensor hub发送人脸和/或手势检测结果。
在图像传感器单独进行人脸或者手势检测时,可将人脸或者手势的检测结果,向sensor hub发送。
具体的,图像传感器可通过引脚1向sensor hub发送人脸和/或手势检测结果。
S1209、sensor hub根据人脸和/或手势检测结果,确定出电子设备的前置摄像头拍摄的图像出现人脸和/或手势,生成I2C地址1和高电平的切换信号1。
还需要说明的是,若sensor hub根据预设时间段内,如5秒,接收到的人脸和/或手势检测结果,确定电子设备的前置摄像头拍摄的图像未出现人脸和/或手势,则控制图像传感器可持续以低功耗模式运行。或者,sensor hub生成并向图像传感器发送I2C地址2和高电平的切换信号2,控制图像传感器切换到超低功耗模式运行。
S1210、sensor hub向图像传感器发送I2C地址1和高电平的切换信号1,控制图像传感器切换为较低功耗模式。
其中,图像传感器接收I2C地址1和高电平的切换信号1,结合I2C地址1和高电平的切换信号1,切换到较低功耗模式运行。
具体的,sensor hub可通过引脚2向图像传感器发送高电平的切换信号1,通过I2C接口传输I2C地址1。图像传感器通过I2C接口接收I2C地址1后,传输到图像传感器中地址设定为1的I2C控制模块,地址设定为1的I2C控制模块被触发,可传输控制信号到图像传感器,图像传感器检测传输控制信号的I2C控制模块,可进入normal模式或较低功耗模式。进一步,图像传感器接收到高电平的切换信号1,控制图像传感器进入较低功耗模式。
S1211、处于较低功耗模式的图像传感器,每隔一个时间间隔,生成较低分辨率图像。
S1212、处于较低功耗模式的图像传感器,向最简图像前端IFE lite发送较低分辨率图像的图像数据。
其中,图像传感器将较低分辨率图像的图像数据,通过MIPI引脚发送到最简图像前端IFE lite。
一些实施例中,最简图像前端IFE lite可将较低分辨率图像的图像数据存储于内存的安全buffer。在最简图像前端IFE lite将低分辨率图像的图像数据存储于内存的安全buffer后,处理器的控制器可利用较低分辨率图像的图像数据,可执行多种事件,如人眼注视显示屏的检测(也称AO方案),控制显示屏根据人脸方向自动旋转、触发截屏/播放暂停、翻页等功能。
还需要说明的是,处理器的控制器利用较低分辨率图像的图像数据,执行多种事件过程中,若利用较低分辨率图像的图像数据,确定出满足被执行事件的退出条件,如执行AO方案,控制器如前述内容,持续确定图像中人眼均未注视显示屏,则图像传感器可持续以较低功耗模式运行,或者控制图像传感器切换到功耗比较低功耗模式低的工作模式。
一些实施例中,sensor hub生成I2C地址2和低电平的切换信号2,并向图像传感器发送,控制图像传感器切换到低功耗模式。
另一些实施例中,sensor hub生成I2C地址2和高电平的切换信号2,并向图像传感器发送,控制图像传感器切换到超低功耗模式。通常情况下,在电子设备的显示屏处于灭屏状态时,sensor hub生成I2C地址2和高电平的切换信号2。
还需要说明的是,也可由控制器的摄像头驱动,IFE,IFE lite或者AP生成I2C地址2,由IFE,IFE lite或者AP生成切换信号2,或者采用不同的部件,分别生成I2C地址2和切换信号2。
图像传感器以超低功耗模式运行,则执行前述步骤S1201,图像传感器以低功耗模式运行,则执行前述步骤S1206。
S1213、sensor hub生成I2C地址1和低电平的切换信号1。
用户启动电子设备的前置摄像头,电子设备的显示屏展示前置摄像头的拍摄模式。电子设备会响应用户操作,前置摄像头拍照得到图像,并由显示屏显示拍摄的图像。
具体的,电子设备的前置摄像头被控制指令触发而启动,图像传感器需进入normal模式。一些实施例中,在电子设备的前置摄像头被启动后,sensor hub会生成I2C地址1和低电平的切换信号1,控制图像传感器进入normal模式。
还需要说明的是,步骤S1213的执行位置,并不限定于图12d展示。在图像传感器以超低功耗模式、低功耗模式运行时,若前置摄像头被触发启动,图像前端IFE也会生成低电平的切换信号1,切换图像传感器以normal模式运行。
S1214、sensor hub向图像传感器发送I2C地址1和低电平的切换信号1。
sensor hub通过引脚2,将低电平的切换信号1发送到图像传感器,通过I2C接口传输I2C地址1,图像传感器的中地址设定为1的I2C控制模块处于被触发状态,可传输控制信号到图像传感器,图像传感器检测传输控制信号的I2C控制模块,可进入normal模式或较低功耗模式。进一步的,图像传感器接收到低电平的切换信号1,切换为normal模式。
S1215、处于normal模式的图像传感器,生成标准分辨率图像。
一些实施例中,图像传感器也可以配置的时间间隔为周期,生成标准分辨率图像。
S1216、处于normal模式的图像传感器,向图像前端IFE发送标准分辨率图像的图像数据。
一些实施例中,处于normal模式的图像传感器可将标准分辨率图像的图像数据,通过MIPI引脚发送到图像前端IFE。图像前端IFE对标准分辨率图像的图像数据进行处理,并由显示屏显示处理后的图像数据。
S1217、sensor hub生成I2C地址1和高电平的切换信号1。
若用户关闭前置摄像头,电子设备响应用户的操作,执行对应流程。具体的,电子设备的前置摄像头被控制指令触发而关闭,图像传感器需从normal模式切换到其他工作模式。
一些实施例中,sensor hub可生成I2C地址1和高电平的切换信号1,控制图像传感器从normal模式切换到较低功耗模式。
S1218、sensor hub向图像传感器发送I2C地址1和高电平的切换信号1。
当然,在sensor hub生成I2C地址1和生成高电平的切换信号1时,I2C地址1会通过I2C接口传输到图像传感器,地址设定为1的I2C控制模块传输控制信号到图像传感器,图像传感器结合I2C地址1和高电平的切换信号1,切换到较低功耗模式。
图像传感器切换到较低功耗模式,以较低功耗模式运行,可执行前述步骤S1211。
还需要说明的是,电子设备的前置摄像头被控制指令触发而关闭,处理器还可根据电子设备的当前状态,切换图像传感器的工作模式。
一些实施例中,在电子设备的显示屏处于灭屏状态,sensor hub生成I2C地址2和高电平的切换信号2,控制图像传感器从normal模式切换到超低功耗模式。
一些实施例中,在电子设备的显示屏处于灭屏状态,sensor hub生成I2C地址2和低电平的切换信号2,控制图像传感器从normal模式切换到低功耗模式。
需要说明的是,图像传感器位于超低功耗模式、低功耗模式和较低功耗模式,均可由自动曝光模块或图像传感器的自动曝光控制模块,根据图像传感器生成图像的明暗调整曝光参数使得图像传感器生成亮度达到要求的图像。
还需要说明的是,在处理器采用不同的引脚发送切换信号1和切换信号2的应用场景中,I2C地址1可对应第一组工作模式的任一个,I2C地址2可对应第二组工作模式的任一个;并且,较低功耗模式,可通过切换信号1确定,或通过I2C地址和切换信号1确定,低功耗模式,可由切换信号2确定,或通过I2C地址和切换信号2确定。
在一个示例中,I2C地址1对应normal模式,I2C地址2对应超低功耗模式,较低功耗模式对应高电平的切换信号1,低功耗模式对应低电平的切换信号2。以上述示例为例展开说明方案。
具体的,前述步骤S1204中,sensor hub生成低电平的切换信号2,控制图像传感器以低功耗模式运行。
前述步骤S1209中,sensor hub还可根据人脸和/或手势检测结果,确定出电子设备的前置摄像头拍摄的图像出现人脸和/或手势,生成高电平的切换信号1,控制图像传感器以较低功耗模式运行。
前述步骤S1213中,sensor hub生成I2C地址1,控制图像传感器以normal模式运行。
前述步骤S1217中,sensor hub生成I2C地址2,控制图像传感器切换为超低功耗模式。或者sensor hub生成低电平的切换信号2,控制图像传感器切换为低功耗模式。或者,sensor hub生成高电平的切换信号1,控制图像传感器切换为较低功耗模式。
还需要说明的是,图像传感器的四种工作模式划分为两组的方式,可与前述内容不同,可以为:normal模式为第一组工作模式,较低功耗模式、低功耗模式和超低功耗模式为第二组工作模式,图像传感器在第二组工作模式运行,功耗均较低,也可以称第二组工作模式为低功耗感知模式。
在一个可能的实施方式中,图像传感器的第一组工作模式和第二组工作模式之间的切换,可利用高、低电平的切换信号来实现,图像传感器的第二组工作模式中的工作模式之间的切换,可通过不同的I2C地址来实现。高、低电平的切换信号和I2C地址可以由处理器的同一个部件生成,也可以由不同部件生成。高、低电平的切换信号可由处理器的ISP中的IFE lite或IFE,或处理器的AP或者sensor hub生成;I2C地址可由控制器的摄像头驱动,或处理器的ISP中的IFE lite或IFE,或处理器的AP或者sensor hub生成。
在一个示例中,处理器生成并向图像传感器发送低电平的切换信号,控制图像传感器以normal模式运行;处理器生成并向图像传感器发送高电平的切换信号和不同的I2C地址,控制图像传感器以第二组工作模式运行;具体的,处理器生成并向图像传感器发送I2C地址1,控制图像传感器以较低功耗模式运行,处理器生成并向图像传感器发送I2C地址2,控制图像传感器以低功耗模式运行,处理器生成并向图像传感器发送I2C地址3,控制图像传感器以超低功耗模式运行。
在另一个可能的实施方式中,图像传感器的第一组工作模式和第二组工作模式之间的切换,可利用高、低电平的切换信号来实现,图像传感器的第二组工作模式之间的切换,可通过同一个I2C地址加不同的控制信号来实现。
当然,高、低电平的切换信号,以及I2C地址加控制信号可以由处理器的同一个部件生成,也可以由不同部件生成。高、低电平的切换信号可由处理器的ISP中的IFE lite或IFE,或处理器的AP或者sensor hub生成;I2C地址加控制信号可由控制器的摄像头驱动,或处理器的ISP中的IFE lite或IFE,或处理器的AP或者sensor hub生成。
在一个示例中,处理器生成并向图像传感器发送低电平的切换信号,控制图像传感器以normal模式运行;处理器生成并向图像传感器发送高电平的切换信号,以及I2C地址加控制信号,控制图像传感器以第二组工作模式运行;具体的,处理器生成并向图像传感器发送I2C地址1和第一控制信号,控制图像传感器以较低功耗模式运行,处理器生成并向图像传感器发送I2C地址1和第二控制信号,控制图像传感器以低功耗模式运行,处理器生成并向图像传感器发送I2C地址1和第三控制信号,控制图像传感器以超低功耗模式运行。
第一控制信号,第二控制信号和第三控制信号,均可以理解为切换命令性信号。第一控制信号用于控制图像传感器以较低功耗模式运行,第二控制信号用于控制图像传感器以低功耗模式运行,第三控制信号用于控制图像传感器以超低功耗模式运行。
图像传感器的I2C接口接收I2C地址1和控制信号,地址设定为1的I2C控制模块被触发,进一步传输控制信号到图像传感器,图像传感器解析控制信号,确定控制信号指定的工作模式,切换图像传感器进入控制信号指定的工作模式。
需要说明的是,处理器发送I2C地址1加控制信号,可以理解成处理器通过I2C总线,向图像传感器发送携带I2C地址1和控制信号的信息。
还需要说明的是,本实施方式中,处理器向图像传感器发送低电平的切换信号时,也可以发送I2C地址1加控制信号,但控制信号属于常规控制信号,不具有控制图像传感器以某种工作模式运行的功能。
在另一个可能的实施方式中,图像传感器的第一组工作模式和第二组工作模式之间的切换,可利用高、低电平的切换信号来实现,在一个示例中,第一组工作模式对应高电平的切换信号,较低功耗模式对应低电平的切换信号,反之也可以。图像传感器的第二组工作模式内部之间的切换中,超低功耗模式和低功耗模式,可由图像传感器以主动切换的方式实现。
还需要说明的是,在高、低电平的切换信号中的一种对应图像传感器的第一组工作模式,另一种对应第二组工作模式的场景下,处理器还可生成I2C地址,来控制图像传感器以较低功耗模式运行。
在另一个可能的实施方式中,图像传感器的第一组工作模式和第二组工作模式之间的切换,可不同的利用I2C地址来实现,图像传感器的第二组工作模式内部之间的切换,可通过同一个I2C地址加不同的控制信号来实现。
其中,可由控制器的摄像头驱动,或处理器的ISP中的IFE lite或IFE,或处理器的AP或者sensor hub生成,并向图像传感器发送I2C地址,或I2C地址加不同的控制信号。
在一个示例中,处理器生成并向图像传感器发送I2C地址1,控制图像传感器以normal模式运行;处理器生成并向图像传感器发送I2C地址2加控制信号,控制图像传感器以第二组工作模式运行;具体的,处理器生成并向图像传感器发送I2C地址2和第一控制信号,控制图像传感器以较低功耗模式运行,处理器生成并向图像传感器发送I2C地址2和第二控制信号,控制图像传感器以低功耗模式运行,处理器生成并向图像传感器I2C发送地址2和第三控制信号,控制图像传感器以超低功耗模式运行。
与上述实施方式相同,第一控制信号,第二控制信号和第三控制信号,均可以理解为切换命令性信号。第一控制信号用于控制图像传感器以较低功耗模式运行,第二控制信号用于控制图像传感器以低功耗模式运行,第三控制信号用于控制图像传感器以超低功耗模式运行。
图像传感器的I2C接口接收到I2C地址1,地址设定为1的I2C控制模块被触发,控制图像传感以normal模式运行。图像传感器的I2C接口接收I2C地址2和控制信号,地址设定为2的I2C控制模块被触发,进一步传输控制信号到图像传感器,图像传感器解析控制信号,确定控制信号指定的工作模式,切换图像传感器进入控制信号指定的工作模式。
还需要说明的是,本实施方式中,处理器也可以向图像传感器发送I2C地址1加控制信号,且控制信号可属于常规控制信号,也可属于切换命令性信号,控制图像传感器以normal模式运行。
在另一个可能的实施方式中,图像传感器的第一组工作模式和第二组工作模式之间的切换,可不同的利用I2C地址来实现,图像传感器的第二组工作模式内部之间的切换中,超低功耗模式和低功耗模式,可由图像传感器以主动切换的方式实现。
其中,处理器可生成一个I2C地址,控制图像传感器以normal模式运行,生成另一个I2C地址,控制图像传感器以较低功耗模式运行。
前述几种可能的实施方式中,处理器和图像传感器,以实施方式提供的切换方式实现图像传感器的工作模式的具体切换流程,可参考实施例五提供的内容。
还需要说明的是,因为采用不同的I2C地址,控制图像传感器切换到不同的模式,控制逻辑简单。因此,控制图像传感器在四种工作模式之间的切换控制,可采用发送不同的I2C地址来实现。
在一些实施例中,如图13a所示,图像传感器中设置两个I2C控制模块,每个I2C控制模块均设置有两个地址,第一I2C控制模块的一个地址对应图像传感器的normal模式,另一个地址对应较低功耗模式,第二I2C控制模块的一个地址对应低功耗模式,另一个地址对应超低功耗模式。
一个示例中,一个I2C控制模块的地址设定为1和2,另一个I2C控制模块的地址设定为3和4,两个地址分时复用。sensor hub下发I2C地址为1,地址设定为1和2的I2C控制模块传输控制信号到图像传感器,图像传感器进入normal模式。sensor hub下发I2C地址为2,地址设定为1和2的I2C控制模块传输控制信号到图像传感器,图像传感器进入地址2对应的较低功耗模式。sensor hub下发I2C地址为3,地址设定为3和4的I2C控制模块传输控制信号到图像传感器,图像传感器进入地址3对应的低功耗模式。
在一些实施例中,如图13b所示,图像传感器中设置四个I2C控制模块,一个I2C控制模块的地址对应图像传感器的normal模式,一个I2C控制模块的地址对应较低功耗模式,一个I2C控制模块的地址对应低功耗模式,一个I2C控制模块的地址对应超低功耗模式。
一个示例中,一个I2C控制模块的地址设定为1,另一个I2C控制模块的地址设定为2,另一个I2C控制模块的地址设定为3,另一个I2C控制模块的地址设定为4。sensor hub下发I2C地址为1,地址设定为1的I2C控制模块传输控制信号到图像传感器,图像传感器进入normal模式。sensor hub下发I2C地址为2,地址设定为2的I2C控制模块传输控制信号到图像传感器,图像传感器进入较低功耗模式。sensor hub下发I2C地址为3,地址设定为3的I2C控制模块传输控制信号到图像传感器,图像传感器进入低功耗模式。sensor hub下发I2C地址为4,地址设定为4的I2C控制模块传输控制信号到图像传感器,图像传感器进入超低功耗模式。
实施例六
针对前述处理器使用受限的问题3,本申请另一实施例还提供了一种电子设备,该电子设备包括处理器以及可与处理器进行交互的图像传感器,该图像传感器一般设置于电子设备的前置摄像头。电子设备的硬件结构和软件架构,可如前述内容,此处不展开说明。
参见图14,本实施例提供的电子设备中,处理器包括控制器、图像信号处理器ISP、智能传感集线器sensor hub和应用处理器AP,ISP至少包括图像前端IFE。控制器可以包括AO模块、自动曝光模块和摄像头驱动三个逻辑单元。AO模块、自动曝光模块和摄像头驱动的功能可如前述内容。
因为智能传感集线器是处理器中的常规部件,常见的处理器均设置有智能传感集线器,因此,采用智能传感集线器配合图像传感器的功耗低的工作模式,可以避免采用最简图像前端IFE lite,对处理器使用的限定。
本实施例中,图像传感器包括三种工作模式,分别为:normal模式,低功耗模式和超低功耗模式,具体如前述实施例一内容,此处不展开说明。normal模式属于图像传感器的正常工作模式,该模式下生成的图像的分辨率为图像传感器配置的分辨率,例如可以为4208*3120,低功耗模式比normal模式功耗低,超低功耗模式功耗最低。超低功耗模式的图像传感器,生成的超低分辨率图像的分辨率通常为:16*12;低功耗模式的图像传感器,生成的低分辨率图像的分辨率通常可为:64*48、72*54、80*60、96*72、120*90、128*96。
图像传感器和处理器上分别设置有MIPI接口,引脚1和I2C接口。
图像传感器和处理器的引脚1,用于传输图像传感器需对外发送的电平信号,如由高电平或低电平所指示的检测结果。
图像传感器和处理器的MIPI接口,用于传输图像传感器生成图像的图像数据。
图像传感器和处理器的I2C接口,用于传输不同的I2C地址,控制图像传感器进入不同的工作模式。并且,图像传感器设置有连接I2C接口的I2C控制模块,该I2C控制模块可通过I2C接口与处理器进行交互。其中,I2C控制模块可以理解设置于图像传感器的逻辑模块,也可以理解成图像传感器的硬件部件。
一些实施例中,图像传感器的normal模式,对应高、低电平信号中的一个,图像传感器的低功耗模式和超低功耗模式对应高、低电平信号中的另一个,图像传感器的低功耗模式和超低功耗模式之间的切换,由处理器下发I2C地址加不同的控制信号来完成。
一些实施例中,图像传感器的normal模式对应一个I2C地址,图像传感器的低功耗模式和超低功耗模式,对应一个I2C地址。对应的,图像传感器可设置两个I2C控制模块,每一个I2C控制模块对应一个I2C地址。其中,图像传感器的低功耗模式和超低功耗模式可由图像传感器采用主动切换的方式完成,或者由处理器通过一个引脚下发高、低电平信号的方式来完成,或者通过I2C地址加不同的控制信号来完成。
一些实施例中,图像传感器的normal模式对应一个I2C地址,图像传感器的低功耗模式对应一个I2C地址,图像传感器的超低功耗模式,对应一个I2C地址。对应的,图像传感器可设置三个I2C控制模块,每一个I2C控制模块对应一个I2C地址。或者,图像传感器可设置两个I2C控制模块,一个I2C控制模块对应normal模式的I2C地址,一个I2C控制模块设置超低功耗模式的I2C地址和低功耗模式的I2C地址,两个I2C地址分时复用。
一些实施例中,控制器的摄像头驱动,处理器的ISP中的IFE lite或IFE,或处理器的AP生成I2C地址,通过处理器的I2C接口发送I2C地址,该I2C地址再经图像传感器的I2C接口传输到图像传感器,图像传感器根据I2C地址进行工作模式的切换。
以下以图像传感器的normal模式对应一个I2C地址,图像传感器的低功耗模式和超低功耗模式对应一个I2C地址,以sensor hub生成I2C地址切换图像传感器的工作模式,且图像传感器采用主动切换低功耗模式和超低功耗模式为例,对图像传感器的工作模式切换进行说明。
具体的,图像传感器的工作模式的切换方式,包括下述步骤:
S1301、处于超低功耗模式的图像传感器,每隔一个时间间隔,生成超低分辨率图像,并利用超低分辨率图像的图像数据,进行光影变化的检测,得到光影变化的检测结果。
S1302、处于超低功耗模式的图像传感器向sensor hub发送光影变化的检测结果。
其中,图像传感器可将光影变化的检测结果通过引脚1输入到sensor hub。
sensor hub可利用光影变化的检测结果,执行一些低功耗事件,如若检测到前置摄像头检测到光影变化,则执行显示屏不熄屏,铃声音量降低,控制显示屏根据人脸方向自动旋转、触发截屏/播放暂停、翻页等功能。
S1303、处于超低功耗模式的图像传感器根据光影变化的检测结果,确定电子设备的前置摄像头检测到光影变化,则切换工作模式为低功耗模式。
S1304、处于低功耗模式的图像传感器,每隔一个时间间隔,生成低分辨率图像。
S1305、图像传感器利用低分辨率图像的图像数据,进行人脸和/或手势检测,得到人脸和/或手势检测结果。
图像传感器可利用低分辨率图像的图像数据,进行人脸检测,当检测到人脸,则可确定用户在使用电子设备。图像传感器也可利用低分辨率图像的图像数据,进行手势检测,当检测到预先配置的手势时,则也可确定用户在使用电子设备。
当然,图像传感器也可以利用低分辨率图像的图像数据,进行人脸检测以及手势的检测,得到人脸和手势检测结果。
S1306、图像传感器向sensor hub发送人脸和/或手势检测结果。
在图像传感器单独进行人脸或者手势检测时,可将人脸或者手势的检测结果,向sensor hub发送。
具体的,图像传感器可通过引脚1向sensor hub发送人脸和/或手势检测结果。
sensor hub可利用人脸和/或手势检测结果,执行一些低功耗事件,如若检测到人脸和/或手势,则执行显示屏不熄屏,铃声音量降低,控制显示屏根据人脸方向自动旋转、触发截屏/播放暂停、翻页等功能。
S1307、电子设备的前置摄像头被控制指令触发而启动,图像传感器需进入normal模式。
一些实施例中,在电子设备的前置摄像头被启动后,sensor hub会生成I2C地址1,控制图像传感器进入normal模式。
S1308、电子设备的前置摄像头被控制指令触发而关闭,图像传感器需退出normal模式,进入超低功耗模式或低功耗模式。
一些实施例中,sensor hub会生成I2C地址2,图像传感器接收到I2C地址2,控制图像传感器进入超低功耗模式。
一些实施例中,sensor hub会生成I2C地址2,图像传感器接收到I2C地址2,根据电子设备的状态,如显示屏的状态,控制自身处于低功耗模式还是超低功耗模式。
电子设备的前置摄像头被控制指令触发而关闭,且电子设备处于灭屏状态,图像传感器接收到I2C地址2,图像传感器切换到超低功耗模式。电子设备的前置摄像头被控制指令触发而关闭,显示屏还处于亮屏状态,图像传感器接收I2C地址2,图像传感器切换到低功耗模式。
本申请另一实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机或处理器上运行时,使得计算机或处理器执行上述任一个方法中的一个或多个步骤。
本申请另一实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机或处理器上运行时,使得计算机或处理器执行上述任一个方法中的一个或多个步骤。

Claims (16)

1.一种工作模式的切换控制方法,其特征在于,应用于电子设备,所述电子设备包括处理器和摄像头,所述摄像头中的图像传感器包括至少两种工作模式,所述图像传感器的工作模式包括:第一工作模式,第二工作模式和第三工作模式,所述第二工作模式比所述第一工作模式功耗低,所述第三工作模式比所述第二工作模式功耗低,所述图像传感器的第一工作模式对应第一I2C地址,所述图像传感器的第二工作模式和第三工作模式对应第二I2C地址;所述图像传感器包括I2C控制模块,所述工作模式的切换控制方法包括:
所述处理器通过I2C接口向所述图像传感器发送I2C地址,触发I2C地址对应的I2C控制模块运行,以控制所述图像传感器以所述I2C地址对应的工作模式运行;
其中:所述处理器通过I2C接口向所述图像传感器发送I2C地址,包括:
所述处理器确定所述摄像头被启动,向所述图像传感器发送所述第一I2C地址,控制所述图像传感器以所述第一工作模式运行;
所述处理器确定所述摄像头被关闭,向所述图像传感器发送所述第二I2C地址,控制所述图像传感器以所述第二工作模式或所述第三工作模式运行;
所述处理器确定所述电子设备的显示屏被灭屏,向所述图像传感器发送所述第二I2C地址,控制所述图像传感器以所述第二工作模式或所述第三工作模式运行;
其中,所述图像传感器在以第三工作模式运行过程中,所述图像传感器响应第一切换信号,控制所述图像传感器以所述第二工作模式运行,所述第一切换信号由所述处理器或图像传感器利用光影变化的检测结果,确定所述摄像头检测到光影变化时生成,所述光影变化的检测结果,由处于所述第三工作模式的图像传感器,利用超低分辨率图像的图像数据,进行光影变化的检测得到;所述第一切换信号由所述处理器通过电平信号的传输引脚向所述图像传感器发送;
所述图像传感器在以第二工作模式运行过程中,所述图像传感器响应第二切换信号,控制所述图像传感器以所述第三工作模式运行,所述第二切换信号由所述处理器或图像传感器,利用较低分辨率图像的图像数据,确定所述电子设备满足所述第二工作模式的退出条件而生成,所述较低分辨率图像由处于第二工作模式的图像传感器生成,所述第二切换信号由所述处理器通过电平信号的传输引脚向所述图像传感器发送。
2.根据权利要求1所述的工作模式的切换控制方法,其特征在于,一个所述I2C控制模块对应两个I2C地址,一个所述I2C地址对应所述图像传感器的至少一种工作模式。
3.根据权利要求1所述的工作模式的切换控制方法,其特征在于,每一个所述I2C控制模块对应一个I2C地址,一个所述I2C地址对应所述图像传感器的至少一种工作模式。
4.根据权利要求1所述的工作模式的切换控制方法,其特征在于,还包括:
所述图像传感器接收所述第二I2C地址对应的I2C控制模块传输的控制信号,并控制所述图像传感器以所述控制信号指定的工作模式运行,所述控制信号用于指定所述第三工作模式或第二工作模式。
5.根据权利要求1至3中任意一项所述的工作模式的切换控制方法,其特征在于,发送所述I2C地址的对象,包括:
所述处理器的摄像头驱动,或所述处理器的图像信号处理器中的最简图像前端或图像前端,或所述处理器的应用处理器,或所述处理器的智能传感集线器。
6.根据权利要求1所述的工作模式的切换控制方法,其特征在于,所述第一切换信号和所述第二切换信号由所述处理器的图像信号处理器中的最简图像前端或图像前端,或所述处理器的应用处理器,或智能传感集线器,向所述图像传感器发送。
7.一种工作模式的切换控制方法,其特征在于,应用于电子设备,所述电子设备包括处理器和摄像头,所述摄像头中的图像传感器的工作模式包括:第一工作模式,第二工作模式,第三工作模式和第四工作模式,所述第二工作模式比所述第一工作模式功耗低,所述第四工作模式比所述第二工作模式功耗低,所述第三工作模式比所述第四工作模式功耗低,所述第一工作模式和所述第二工作模式对应第一I2C地址,所述第四工作模式和所述第三工作模式对应第二I2C地址;所述工作模式的切换控制方法包括:
所述处理器确定所述摄像头被启动,通过I2C接口向所述图像传感器发送所述第一I2C地址,控制所述图像传感器以所述第一工作模式运行;
所述处理器确定所述摄像头被关闭,通过I2C接口向所述图像传感器发送所述第二I2C地址,控制所述图像传感器以所述第三工作模式运行;
所述处理器确定显示屏被灭屏,通过I2C接口向所述图像传感器发送所述第二I2C地址,控制所述图像传感器以所述第三工作模式运行;
所述处理器根据人脸和/或手势检测结果,确定出所述摄像头拍摄的图像未出现人脸和/或手势时,通过I2C接口向所述图像传感器发送所述第二I2C地址,控制所述图像传感器以所述第三工作模式运行,所述人脸和/或手势检测结果,由处于所述第四工作模式的图像传感器,利用低分辨率图像的图像数据,进行人脸和/或手势检测得到;
其中,所述图像传感器在以所述第三工作模式运行过程中,所述图像传感器响应第一切换信号,控制所述图像传感器以所述第四工作模式运行,所述第一切换信号由所述处理器或图像传感器利用光影变化的检测结果,确定所述摄像头检测到光影变化时生成,所述光影变化的检测结果,由处于所述第三工作模式的图像传感器,利用超低分辨率图像的图像数据,进行光影变化的检测得到;所述第一切换信号由所述处理器通过电平信号的传输引脚向所述图像传感器发送。
8.根据权利要求7所述的工作模式的切换控制方法,其特征在于,还包括:
所述图像传感器响应所述第一I2C地址和第二切换信号,控制所述图像传感器以第二工作模式运行,所述第二切换信号由所述处理器根据人脸和/或手势检测结果,确定出所述摄像头拍摄的图像出现人脸和/或手势时生成,所述人脸和/或手势检测结果,由处于所述第四工作模式的图像传感器,利用低分辨率图像的图像数据,进行人脸和/或手势检测得到;所述第二切换信号由所述处理器通过电平信号的传输引脚向所述图像传感器发送,所述第二切换信号由所述处理器通过电平信号的传输引脚向所述图像传感器发送。
9.根据权利要求7所述的工作模式的切换控制方法,其特征在于,
所述处理器确定所述摄像头被启动,通过I2C接口向所述图像传感器发送所述第一I2C地址,控制所述图像传感器以所述第一工作模式运行,包括:所述处理器确定所述摄像头被启动,向所述图像传感器发送所述第一I2C地址和第三切换信号,控制所述图像传感器以所述第一工作模式运行;所述第三切换信号由所述处理器通过电平信号的传输引脚向所述图像传感器发送;
所述处理器确定所述摄像头被关闭,通过I2C接口向所述图像传感器发送所述第二I2C地址,控制所述图像传感器以所述第三工作模式运行,包括:向所述图像传感器发送所述第二I2C地址和第四切换信号,控制所述图像传感器以所述第三工作模式运行;所述第四切换信号由所述处理器通过电平信号的传输引脚向所述图像传感器发送;
所述处理器确定显示屏被灭屏,通过I2C接口向所述图像传感器发送所述第二I2C地址,控制所述图像传感器以所述第三工作模式运行,包括:向所述图像传感器发送所述第二I2C地址和所述第四切换信号,控制所述图像传感器以所述第三工作模式运行;
所述处理器根据人脸和/或手势检测结果,确定出所述摄像头拍摄的图像未出现人脸和/或手势时,通过I2C接口向所述图像传感器发送所述第二I2C地址,控制所述图像传感器以所述第三工作模式运行,包括:所述处理器根据人脸和/或手势检测结果,确定出所述摄像头拍摄的图像未出现人脸和/或手势,向所述图像传感器发送所述第二I2C地址和所述第四切换信号,控制所述图像传感器以所述第三工作模式运行;
所述图像传感器在以所述第三工作模式运行过程中,所述图像传感器响应第一切换信号,控制所述图像传感器以所述第四工作模式运行,包括:所述图像传感器在以所述第三工作模式运行过程中,所述图像传感器响应于第二I2C地址和所述第一切换信号,控制所述图像传感器以所述第四工作模式运行。
10.根据权利要求9所述的工作模式的切换控制方法,其特征在于,还包括:
所述处理器确定所述摄像头被关闭,向所述图像传感器发送所述第一I2C地址和第二切换信号,控制所述图像传感器以所述第二工作模式运行,或者向所述图像传感器发送所述第二I2C地址和所述第一切换信号,控制所述图像传感器以所述第四工作模式运行;
所述处理器确定所述电子设备的显示屏被灭屏,向所述图像传感器发送所述第二I2C地址和所述第一切换信号,控制所述图像传感器以所述第四工作模式运行;
所述处理器利用较低分辨率图像的图像数据,确定所述电子设备满足所述第二工作模式的退出条件,向所述图像传感器发送所述第二I2C地址和所述第四切换信号,控制所述图像传感器以所述第三工作模式运行,所述较低分辨率图像由处于第二工作模式的图像传感器生成。
11.一种工作模式的切换控制方法,其特征在于,应用于电子设备,所述电子设备包括处理器和摄像头,所述摄像头中的图像传感器的工作模式包括:第一工作模式,第二工作模式,第三工作模式和第四工作模式,所述第二工作模式比所述第一工作模式功耗低,所述第四工作模式比所述第二工作模式功耗低,所述第三工作模式比所述第四工作模式功耗低,所述第一工作模式对应第一I2C地址,所述第二工作模式,所述第四工作模式和所述第三工作模式对应第二I2C地址;所述图像传感器包括I2C控制模块,所述工作模式的切换控制方法包括:
所述处理器确定所述摄像头被启动,向所述图像传感器发送所述第一I2C地址,控制所述图像传感器以所述第一工作模式运行;
所述图像传感器接收所述第二I2C地址对应的I2C控制模块传输的控制信号,并控制所述图像传感器以所述控制信号指定的工作模式运行,所述控制信号用于指定所述第三工作模式或第二工作模式或第四工作模式。
12.根据权利要求11所述的工作模式的切换控制方法,其特征在于,所述第二I2C地址对应的I2C控制模块传输的控制信号包括:第一控制信号,第二控制信号和第三控制信号;其中:
所述第一控制信号指定的工作模式为第三工作模式,由所述处理器确定所述摄像头被关闭时生成,或者由所述处理器确定所述电子设备的显示屏被灭屏时生成,或者由所处理器根据人脸和/或手势检测结果,确定出所述摄像头拍摄的图像未出现人脸和/或手势时生成,或者由所述处理器利用较低分辨率图像的图像数据,确定所述电子设备满足所述第二工作模式的退出条件时生成;
所述第二控制信号指定的工作模式为第四工作模式,由所述处理器确定所述摄像头被关闭时生成,或者由所述处理器确定所述电子设备的显示屏被灭屏时生成,或者由所述处理器利用光影变化的检测结果,确定所述摄像头检测到光影变化时生成,所述光影变化的检测结果,由处于所述第三工作模式的图像传感器,利用超低分辨率图像的图像数据,进行光影变化的检测得到;
所述第三控制信号指定的工作模式为第二工作模式,由所述处理器确定所述摄像头被关闭时生成,或者,由所述处理器根据人脸和/或手势检测结果,确定出所述摄像头拍摄的图像出现人脸和/或手势时生成。
13.一种工作模式的切换控制方法,其特征在于,应用于电子设备,所述电子设备包括处理器和摄像头,所述摄像头中的图像传感器的工作模式包括:第一工作模式,第三工作模式和第四工作模式,所述第四工作模式比所述第一工作模式功耗低,所述第三工作模式比所述第四工作模式功耗低,所述图像传感器的第一工作模式对应第一I2C地址,所述图像传感器的第四工作模式和第三工作模式对应第二I2C地址;所述工作模式的切换控制方法包括:
所述处理器确定所述摄像头被启动,通过I2C接口向所述图像传感器发送所述第一I2C地址,控制所述图像传感器以所述第一工作模式运行;
所述处理器确定所述摄像头被关闭,通过I2C接口向所述图像传感器发送所述第二I2C地址,控制所述图像传感器以所述第四工作模式或所述第三工作模式运行;
所述处理器确定所述电子设备的显示屏被灭屏,通过I2C接口向所述图像传感器发送所述第二I2C地址,控制所述图像传感器以所述第四工作模式或所述第三工作模式运行;
其中,所述图像传感器在以第三工作模式运行过程中,所述图像传感器响应第一切换信号,控制所述图像传感器以所述第四工作模式运行,所述第一切换信号由所述处理器或图像传感器利用光影变化的检测结果,确定所述摄像头检测到光影变化时生成,所述光影变化的检测结果,由处于第三工作模式的图像传感器,利用超低分辨率图像的图像数据,进行光影变化的检测得到;所述第一切换信号由所述处理器通过电平信号的传输引脚向所述图像传感器发送;
所述图像传感器在以第四工作模式运行过程中,所述图像传感器响应第二切换信号,控制所述图像传感器以所述第三工作模式运行,所述第二切换信号由所述处理器或图像传感器,利用人脸和/或手势检测结果,确定出所述摄像头拍摄的图像未出现人脸和/或手势时而生成,所述人脸和/或手势检测结果,由所述处于第四工作模式的图像传感器,利用低分辨率图像的图像数据,进行人脸和/或手势检测得到,所述第二切换信号由所述处理器通过电平信号的传输引脚向所述图像传感器发送。
14.根据权利要求13所述的工作模式的切换控制方法,其特征在于,还包括:
所述图像传感器接收所述第二I2C地址对应的I2C控制模块传输的控制信号,并控制所述图像传感器以所述控制信号指定的工作模式运行,所述控制信号用于指定所述第三工作模式或第四工作模式。
15.一种电子设备,其特征在于,包括:
显示屏;
摄像头,所述摄像头包括图像传感器,所述图像传感器包括至少两种工作模式;
一个或多个处理器;
存储器,其上存储有程序;
当所述程序被所述一个或多个处理器执行时,使得所述电子设备执行如权利要求1至14任意一项所述的工作模式的切换控制方法。
16.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至14中任意一项所述的工作模式的切换控制方法。
CN202210099723.6A 2021-08-20 2022-01-27 工作模式的切换控制方法、电子设备及可读存储介质 Active CN115714908B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/547,641 US20240236485A9 (en) 2021-08-20 2022-04-26 Operation mode switching control method, electronic device, and readable storage medium
PCT/CN2022/089195 WO2023019999A1 (zh) 2021-08-20 2022-04-26 工作模式的切换控制方法、电子设备及可读存储介质
EP22857317.6A EP4287605A4 (en) 2021-08-20 2022-04-26 OPERATION MODE SWITCHING CONTROL METHOD, ELECTRONIC DEVICE, AND READABLE RECORDING MEDIUM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110971250X 2021-08-20
CN202110971250 2021-08-20

Publications (2)

Publication Number Publication Date
CN115714908A CN115714908A (zh) 2023-02-24
CN115714908B true CN115714908B (zh) 2024-08-13

Family

ID=85230481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210099723.6A Active CN115714908B (zh) 2021-08-20 2022-01-27 工作模式的切换控制方法、电子设备及可读存储介质

Country Status (4)

Country Link
US (1) US20240236485A9 (zh)
EP (1) EP4287605A4 (zh)
CN (1) CN115714908B (zh)
WO (1) WO2023019999A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117714834A (zh) * 2023-06-21 2024-03-15 荣耀终端有限公司 摄像头控制方法及其相关设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112351194A (zh) * 2020-08-31 2021-02-09 华为技术有限公司 一种业务处理方法及设备
WO2021038923A1 (ja) * 2019-08-23 2021-03-04 オムロン株式会社 制御装置、ユーザプログラムの実行制御方法、およびシステムプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101505434A (zh) * 2009-03-12 2009-08-12 浙江大学 具有全局同步功能的高分辨率智能网络摄像机阵列系统
CN102547158B (zh) * 2012-02-24 2014-06-25 北京思比科微电子技术股份有限公司 具有采样控制功能的图像传感器、多图像传感器系统及工作方法
CN102625170B (zh) * 2012-03-13 2015-08-19 深圳市九洲电器有限公司 一种可即插即用调谐解调器的机顶盒及方法
CN102929826B (zh) * 2012-11-16 2016-05-11 深圳市建恒测控股份有限公司 一种单一超声波信号总线传输多路超声波信号系统与方法
CN105430276A (zh) * 2015-12-18 2016-03-23 广东欧珀移动通信有限公司 成像装置和电子装置
US10033916B2 (en) * 2016-06-14 2018-07-24 Intel Corporation Transmission of image data and camera management commands
US10372663B2 (en) * 2017-07-25 2019-08-06 Qualcomm Incorporated Short address mode for communicating waveform
US10664424B2 (en) * 2017-11-02 2020-05-26 Texas Instruments Incorporated Digital bus activity monitor
US10795850B2 (en) * 2019-02-26 2020-10-06 Texas Instruments Incorporated Methods and apparatus to transition devices between operational states
CN110177199A (zh) * 2019-06-28 2019-08-27 Oppo广东移动通信有限公司 图像传感器芯片、摄像头模组、电子设备以及影像拍摄方法
TW202110144A (zh) * 2019-08-28 2021-03-01 大陸商南京深視光點科技有限公司 基於行動產業處理器介面的資料傳輸系統及資料傳輸方法
CN110532196B (zh) * 2019-08-30 2021-10-01 英业达科技有限公司 多地址响应的复杂可程序逻辑装置及运作方法
US11223762B2 (en) * 2019-12-06 2022-01-11 Samsung Electronics Co., Ltd. Device and method for processing high-resolution image
KR20210090476A (ko) * 2020-01-10 2021-07-20 삼성전자주식회사 단일 카메라로 줌 시나리오에서 화질 향상 방법과 이를 포함하는 전자장치
CN112148662B (zh) * 2020-08-17 2024-02-09 上海赛昉科技有限公司 利用i2c地址匹配唤醒的低功耗芯片架构及唤醒方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021038923A1 (ja) * 2019-08-23 2021-03-04 オムロン株式会社 制御装置、ユーザプログラムの実行制御方法、およびシステムプログラム
CN112351194A (zh) * 2020-08-31 2021-02-09 华为技术有限公司 一种业务处理方法及设备

Also Published As

Publication number Publication date
EP4287605A4 (en) 2024-09-18
US20240137649A1 (en) 2024-04-25
WO2023019999A1 (zh) 2023-02-23
EP4287605A1 (en) 2023-12-06
US20240236485A9 (en) 2024-07-11
CN115714908A (zh) 2023-02-24

Similar Documents

Publication Publication Date Title
CN112717370B (zh) 一种控制方法和电子设备
CN113596345B (zh) 参数的调整方法、显示的控制方法、电子设备及介质
EP4224831A1 (en) Image processing method and electronic device
CN114461051B (zh) 帧率切换方法、装置及存储介质
CN115048012B (zh) 数据处理方法和相关装置
CN112333397B (zh) 图像处理方法和电子设备
CN113986002B (zh) 帧处理方法、装置及存储介质
CN113986162B (zh) 图层合成方法、设备及计算机可读存储介质
WO2020155875A1 (zh) 电子设备的显示方法、图形用户界面及电子设备
WO2022262550A1 (zh) 一种拍摄视频的方法及电子设备
CN115714908B (zh) 工作模式的切换控制方法、电子设备及可读存储介质
CN116708753B (zh) 预览卡顿原因的确定方法、设备及存储介质
CN117724781A (zh) 一种应用程序启动动画的播放方法和电子设备
CN115904184B (zh) 数据处理方法和相关装置
CN116347217A (zh) 图像处理方法、设备及存储介质
CN115686403A (zh) 显示参数的调整方法、电子设备、芯片及可读存储介质
CN115484390A (zh) 一种拍摄视频的方法及电子设备
WO2024169305A1 (zh) 应用管理的方法和电子设备
CN116744106B (zh) 相机应用的控制方法和终端设备
CN116723382B (zh) 一种拍摄方法及相关设备
CN113179362B (zh) 电子设备及其图像显示方法
CN118279965A (zh) 基于人眼检测的控制方法及电子设备
CN118283415A (zh) 追焦方法及电子设备
CN118363691A (zh) 一种窗口管理方法以及电子设备
CN118368375A (zh) 一种录像方法以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant