CN112702490A - 电子设备的控制方法、电子设备及存储介质 - Google Patents

电子设备的控制方法、电子设备及存储介质 Download PDF

Info

Publication number
CN112702490A
CN112702490A CN202011563397.7A CN202011563397A CN112702490A CN 112702490 A CN112702490 A CN 112702490A CN 202011563397 A CN202011563397 A CN 202011563397A CN 112702490 A CN112702490 A CN 112702490A
Authority
CN
China
Prior art keywords
color
image
pixel values
panchromatic
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011563397.7A
Other languages
English (en)
Inventor
杨鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202011563397.7A priority Critical patent/CN112702490A/zh
Publication of CN112702490A publication Critical patent/CN112702490A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本申请公开了一种电子设备的控制方法、电子设备及计算机可读存储介质。电子设备的控制方法包括：获取图像传感器输出的图像数据，其中，图像传感器包括像素阵列，像素阵列包括全色像素和彩色像素，彩色像素具有比全色像素更窄的光谱响应；在图像传感器处于第一工作模式时，根据图像数据输出全色图像；及在图像传感器处于第二工作模式时，根据图像数据输出彩色图像。本申请实施方式的电子设备的控制方法、电子设备非易失性及计算机可读存储介质利用具有全色像素和彩色像素的图像传感器获取图像数据，并在不同的工作模式下，输出全色图像和彩色图像，相较于仅输出全色图像，实现的功能较少而言，通过获取全色图像和彩色图像能够实现更多的功能。

Description

电子设备的控制方法、电子设备及存储介质
技术领域
本申请涉及电子技术领域，更具体而言，涉及一种电子设备的控制方法、电子设备及非易失性计算机可读存储介质。
背景技术
现如今，手机、电脑、平板电脑等电子设备当中往往配有摄像头。目前，一些电子设备摄像头能够以低功耗常开运行，以实现人脸识别、拍照、隔空操作等功能。然而，常开摄像头一般为黑白摄像头，通过获取白光来实现灰度图的输出，灰度图能够实现的功能较少。
发明内容
本申请实施方式提供一种电子设备的控制方法、电子设备及非易失性计算机可读存储介质。
本申请实施方式的电子设备的控制方法：获取所述图像传感器输出的图像数据，其中，所述图像传感器包括像素阵列，所述像素阵列包括全色像素和彩色像素，所述彩色像素具有比所述全色像素更窄的光谱响应；在所述图像传感器处于第一工作模式时，根据所述图像数据输出全色图像；及在所述图像传感器处于第二工作模式时，根据所述图像数据输出彩色图像。
本申请实施方式的电子设备包括图像传感器和处理器，所述图像传感器包括像素阵列，所述像素阵列包括全色像素和彩色像素，所述彩色像素具有比所述全色像素更窄的光谱响应；所述图像传感器用于输出图像数据。所述处理器用于获取所述图像数据；在所述图像传感器处于第一工作模式时，根据所述图像数据输出全色图像；及在所述图像传感器处于第二工作模式时，根据所述图像数据输出彩色图像。
本申请实施方式的电子设备包括图像传感器、第一处理器和第二处理器。所述发射器用于发射光脉冲所述图像传感器包括像素阵列，所述像素阵列包括全色像素和彩色像素，所述彩色像素具有比所述全色像素更窄的光谱响应；所述图像传感器用于输出图像数据。所述第一处理器用于在所述图像传感器处于第一工作模式时，根据所述图像数据输出全色图像。所述第二处理器用于在所述图像传感器处于第二工作模式时，根据所述图像数据输出彩色图像。
本申请实施方式的非易失性计算机可读存储介质包含计算机程序，当所述计算机程序被一个或多个处理器执行时，使得所述处理器实现如下控制方法：获取所述图像传感器输出的图像数据，其中，所述图像传感器包括像素阵列，所述像素阵列包括全色像素和彩色像素，所述彩色像素具有比所述全色像素更窄的光谱响应；在所述图像传感器处于第一工作模式时，根据所述图像数据输出全色图像；及在所述图像传感器处于第二工作模式时，根据所述图像数据输出彩色图像。
本申请实施方式的电子设备的控制方法、电子设备及非易失性计算机可读存储介质利用具有全色像素和彩色像素的图像传感器获取图像数据，并在不同的工作模式下，输出全色图像和彩色图像，相较于仅输出全色图像(即，灰度图)，实现的功能较少而言，通过获取全色图像和彩色图像能够实现更多的功能。
本申请的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施方式的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请某些实施方式的电子设备的控制方法的流程示意图；
图2是本申请某些实施方式的电子设备的示意图；
图3是本申请某些实施方式的电子设备的图像传感器、存储器和处理器的连接示意图；
图4是本申请某些实施方式的图像传感器中像素阵列的示意图；
图5是本申请某些实施方式的电子设备的图像传感器、第一处理器和第二处理器的连接示意图；
图6到图8是本申请某些实施方式的电子设备的控制方法的流程示意图；
图9和图10是本申请某些实施方式的像素阵列的采样区域的示意图；
图11是本申请某些实施方式的电子设备的控制方法的流程示意图；
图12是本申请某些实施方式的电子设备的控制方法中采样区域输出全色图像的原理示意图；
图13是本申请某些实施方式的电子设备的控制方法的流程示意图；
图14是本申请某些实施方式的电子设备的控制方法中采样区域输出全色图像的原理示意图；
图15是本申请某些实施方式的电子设备的控制方法的流程示意图；
图16是本申请某些实施方式的电子设备的控制方法中采样区域输出全色图像的原理示意图；
图17是本申请某些实施方式的电子设备的控制方法的流程示意图；
图18是本申请某些实施方式的电子设备的控制方法中采样区域输出全色图像的原理示意图；
图19和图20是本申请某些实施方式的电子设备的控制方法的流程示意图；
图21是本申请某些实施方式的电子设备的控制方法中的像素阵列输出全色采样区域及彩色采样区域的原理示意图；
图22是本申请某些实施方式的电子设备的控制方法中的彩色采样区域输出彩色图像的原理示意图；
图23是本申请某些实施方式的电子设备的控制方法的流程示意图；
图24是本申请某些实施方式的电子设备的控制方法中彩色中间图像输出全色图像的原理示意图；
图25是本申请某些实施方式的电子设备的控制方法的流程示意图；
图26是本申请某些实施方式的非易失性计算机可读存储介质和处理器的连接状态示意图。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。
请参阅图1，本申请实施方式提供一种电子设备100(如图2所示)的控制方法，电子设备100包括图像传感器10，该控制方法包括：
01：获取图像传感器10输出的图像数据，其中，图像传感器10包括像素阵列，像素阵列包括全色像素和彩色像素，彩色像素具有比全色像素更窄的光谱响应；
02：在图像传感器10处于第一工作模式时，根据图像数据输出全色图像；及
03：在图像传感器10处于第二工作模式时，根据图像数据输出彩色图像。
请参阅图2及图3，本申请实施方式的电子设备100包括图像传感器10和处理器20。其中，图像传感器10用于输出的图像数据，处理器20用于执行01、02及03中的方法。即，处理器20用于获取图像传感器10输出的图像数据；在图像传感器10处于第一工作模式时，根据图像数据输出全色图像；及在图像传感器10处于第二工作模式时，根据图像数据输出彩色图像。
其中，电子设备100可以是手机、平板电脑、笔记本电脑、智能电视、智能手表、智能穿戴设备、音乐播放器、媒体播放器、游戏机、导航设备等具有拍摄功能的设备，在此不一一列举。电子设备100能够通过图像传感器10输出图像数据，输出的图像数据可以是拍摄彩色照片，也可以是采集用于动作检测、人形检测等功能的图像信息。
图像传感器10可以采用互补金属氧化物半导体(CMOS，Complementary MetalOxide Semiconductor)感光元件或者电荷耦合元件(CCD，Charge-coupled Device)感光元件。
处理器20可以是应用处理器(Application processor，AP)，应用处理器是电子设备100的主要处理器，可以用于控制电子设备100的屏幕的显示、音视频的播放、各类应用程序、语音通话、及数据传输等。当电子设备100开机后，处理器20自动启动运行，以使电子设备100能够被正常使用。
请参阅图4，图像传感器10包括像素阵列，像素阵列包括多个全色像素W和彩色像素(例如多个第一颜色像素A、多个第二颜色像素B和多个第三颜色像素C)，彩色像素具有比全色像素更窄的光谱响应。例如，第一颜色像素A为红色像素R、第二颜色像素B为绿色像素G及第三颜色像素C为蓝色像素Bu，彩色像素的响应光谱例如为全色像素W响应光谱中的部分。
请结合图3，图像传感器10包括第一工作模式和第二工作模式。其中，第一工作模式为一直开启模式(Always on，AON)，图像传感器10可以在第一工作模式下输出图像数据用作动作检测、人形检测等识别检测，图像传感器10输出图像数据给处理器20，处理器20则检测和识别图像数据，例如检测和识别人脸或特定的手势动作，处理器20则根据图像数据输出全色图像。第二工作模式为正常拍摄模式，图像传感器10可以在第二工作模式下拍摄彩色图片，在图像传感器10拍摄过程中，当图像数据包含预设的特征信息时，处理器20可以通过内部的AON Algorithm(一直开启模式识别程序)从图像数据中识别信息，以输出全色图像，当图像数据里未包含预设的特征信息时，处理器20则输出彩色图像。
可以理解，第一工作模式仅需采集图像的特征信息，而第二工作模式需完全采集图像的所有信息，因此，第一工作模式下采集到的图像的帧率小于第二工作模式下采集到的图像的帧率。
请参阅图2和图5，本申请实施方式还包括另一种电子设备100，电子设备100包括图像处理器20、第一处理器21和第二处理器22。其中，图像传感器10用于输出的图像数据，第一处理器21用于执行步骤01和步骤02中的方法，第二处理器22用于执行步骤01和步骤03中的方法。即，第一处理器21用于获取图像传感器10输出的图像数据、及在图像传感器10处于第一工作模式时，根据图像数据输出全色图像，第二处理器22用于获取图像传感器10输出的图像数据、及在图像传感器10处于第二工作模式时，根据图像数据输出彩色图像。
其中，第一处理器21可以是图像处理器(Image processor，IP)，第二处理器22为应用处理器(Application processor，AP)，图像处理器能够接收采集装置获取的全色图像数据并对全色图像数据做处理，例如进行AE(auto exposure自动曝光)和gamma(gammacorrection伽马校正)的简单图像处理，和深度学习模型推理运算，以识别采集的图像是否包含预设特征信息。若第一处理器21识别到预设特征信息，则第一处理器21向第二处理器22输出识别结果，使第二处理器22根据识别结果控制电子设备100执行对应的操作，例如控制电子设备100的屏幕的显示、音视频的播放、各类应用程序、语音通话、及数据传输等。若第一处理器21没有识别到预设特征信息，则第一处理器21不向第二处理器22输出数据，如此能够减轻第二处理器22的负担，减少第二处理器22控制电子设备100时出现的卡顿。
第二处理器22可以是应用处理器(Application processor，AP)，应用处理器是电子设备100的主要处理器，可以用于控制电子设备100的屏幕的显示、音视频的播放、各类应用程序、语音通话、及数据传输等。当电子设备100开机后，第二处理器22自动启动运行，以使电子设备100能够被正常使用。
在一个实施例中，图像传感器10在第一工作模式下，只输出W通道值作为全色图像数据给硬件IP，具体地，图像传感器11可通过MIPI协议(Mobile Industry ProcessorInterface)和I3C协议(Improved Inter Integrated Circuit)进行数据的传输，MIPI/I3C协议提高了数据吞吐率，同时能保持较低的逻辑复杂，降低图像采集装置10的功耗。IP硬件对图像传感器11输出的全色图像进行识别处理，并输出识别结果，AP根据识别结果控制电子设备1000执行对应的操作。AP端无需对图像数据进行处理，由IP硬件完成数据计算，可有效降低电子设备1000的功耗。
具体地，请结合图5，图像传感器10包括第一工作模式和第二工作模式。其中，第一工作模式为低功耗识别模式，图像传感器10可以在第一工作模式下输出图像数据用作动作检测、人形检测等识别检测，当图像数据包含预设的特征信息时，例如人脸或特定的手势动作，第一处理器21则可识别特征信息，以输出全色图像并向第二处理器22输出识别结果。第二工作模式为正常拍摄模式，图像传感器10可以在第二工作模式下拍摄图片，图像传感器10拍摄完成图片后，第二处理器22输出彩色图像。
可以理解，第一工作模式仅需采集图像的特征信息，而第二工作模式需完全采集图像的所有信息，因此，第一工作模式下采集到的图像的帧率小于第二工作模式下采集到的图像的帧率。
本申请实施方式的电子设备的控制方法、电子设备及非易失性计算机可读存储介质利用具有全色像素和彩色像素的图像传感器获取图像数据，并在不同的工作模式下，输出全色图像和彩色图像，相较于仅输出全色图像(即，灰度图)，实现的功能较少而言，通过获取全色图像和彩色图像能够实现更多的功能。
请参阅图6，在某些实施方式中，电子设备100的控制方法还包括：
04：在图像传感器10处于第一工作模式时，识别全色图像的特征信息以输出识别结果；
05：根据识别结果控制电子设备100执行对应的操作。
请结合图2和图3，处理器20用于执行04和05中的方法。即处理器20用于在图像传感器10处于第一工作模式时，识别全色图像的特征信息以输出识别结果；及根据识别结果控制电子设备100执行对应的操作。
具体地，图像传感器10的第一工作模式可以为一直开启(Always On，AON)的状态，图像传感器10在AON模式下采集图像并输出图像数据给处理器20，处理器20根据内的图像数据识别采集的图像是否包含预设特征信息以输出识别结果，处理器20再根据识别结果控制电子设备100执行对应的操作以实现AON功能。
预设特征信息可以是人脸信息、手势信息等，例如预设的面部图像、虹膜、手部动作、手势等预设特征信息。处理器20根据每种不同的预设特征信息对应输出不同的识别结果，每种识别结果可对应有控制指令，处理器20能够根据识别结果对应的控制指令控制电子设备100执行对应的操作。
在一个实施方式中，手机在息屏状态下，图像传感器10处于第一工作模式，若处理器20通过图像传感器10输出的图像数据识别到人脸，且人脸信息符合机主的人脸信息，则无需触碰手机，手机也能够对应地从息屏状态变为亮屏状态。
在另一个实施方式中，手机在亮屏或息屏状态且在第一工作模式时，若处理器20从图像数据中识别到特定手势，则无需触碰手机，手机也能够对应地根据识别到的手势动作打开APP，例如处理器20识别到三指从上向下滑动的手势动作，则无论手机是否处于解锁状态，手机均能够自动打开截屏功能以截取手机屏幕当前显示的页面。
请结合图2和图3，第一处理器21用于执行04中的方法，第二处理器22用于执行05中的方法。即第一处理器21用于在图像传感器10处于第一工作模式时，识别全色图像的特征信息以输出识别结果；及第二处理器22用于根据识别结果控制电子设备100执行对应的操作。
具体地，图像传感器10在AON模式下采集图像并输出图像数据给第一处理器21，第一处理器21根据图像数据识别采集的图像是否包含预设特征信息以输出识别结果，第一处理器21根据每种不同的预设特征信息对应输出不同的识别结果至第二处理器22，每种识别结果可对应有控制指令，第二处理器22能够根据识别结果对应的控制指令控制电子设备100执行对应的操作以实现AON功能。
请参阅图7，在某些实施方式中，电子设备100的控制方法还包括：
06：在图像传感器10处于第二工作模式时，根据彩色图像显示预览界面。
请结合图2和图3，处理器20用于执行06中的方法，即处理器20用于在图像传感器10处于第二工作模式时，根据彩色图像显示预览界面。
具体地，图像传感器10常保持在第一工作模式，当电子设备100主动开启拍摄功能时，图像传感器10切换至第二工作模式，第二工作模式为在保持低功耗识别模式的基础上，无需退出低功耗识别模式且无需拍照相关的应用也能够拍照获取彩色图像，同时能够使用低功耗识别模式的功能。图像传感器10采集图像并输出图像数据给处理器20，处理器20根据图像数据输出彩色图像，以显示预览界面。
在一个实施方式中，手机在亮屏状态下，图像传感器10仍继续保持工作在第一工作模式。当用户通过拍照相关的应用进入图像传感器10的第二工作模式时，例如，点击相机APP，则图像传感器10从第一工作模式切换至第二工作模式，若在图像传感器10第二工作模式下，处理器20通过图像输出的图像数据识别到特定手势，则处理器20能够对应地根据识别的手势动作打开APP。
在另一个实施方式中，手机在屏幕唤醒时，图像传感器10仍继续保持在第一工作模式。当用户通过拍照相关的应用进入图像传感器10的正常拍摄模式时，例如开启相机APP，图像传感器10将退出第一工作模式，进入第二工作模式，以输出图像数据，处理器20则根据图像数据以输出彩色图像并控制手机显示彩色图片，在完成拍摄退出拍照相关的应用后，图像传感器10重新进入第一工作模式。
请结合图2和图5，第二处理器20用于执行06中的方法，即第二处理器20用于在图像传感器10处于第二工作模式时，根据彩色图像显示预览界面。
具体地，图像传感器10常保持在第一工作模式，当电子设备100主动开启拍摄功能时，图像传感器10切换至第二工作模式，第二工作模式为正常拍摄模式。图像传感器10采集图像并输出图像数据给第二处理器22，第二处理器22根据图像数据输出彩色图像，以显示预览界面。
请参阅图8，在某些实施方式中，像素阵列包括多个最小重复单元，所述图像数据包括彩色像素值和全色像素值，02：根据图像数据输出全色图像，包括：
021：根据全色图像的预设分辨率，将像素阵列分为多个采样区域，采样区域包括一个或多个最小重复单元；
请结合图2和图3，在某些实施方式中，处理器20用于执行021中的方法。即，根据全色图像的预设分辨率，将像素阵列分为多个采样区域，采样区域包括一个或多个最小重复单元。
请结合图2和图5，在某些实施方式中，第一处理器21用于执行022中的方法。即，第一处理器21用于根据全色图像的预设分辨率，将像素阵列分为多个采样区域，采样区域包括一个或多个最小重复单元。
请继续参阅图4，像素阵列包括采样区域S，每个采样区域S包含一个或多个最小重复单元S1，例如，采样区域S包括1个最小重复单元S1、2个最小重复单元S1、3个最小重复单元、4个最小重复单元S1等。每个最小重复单元S1包括多个单颜色像素(例如多个第一颜色像素A、多个第二颜色像素B或多个第三颜色像素C)及多个全色像素W。采样区域S行和列的像素数量相等。
在某些实施方式中，采样区域S的行和列的像素数量相等。例如采样区域S包括但不限于，4行4列、6行6列、8行8列、10行10列等。
在某些实施方式中，采样区域S中的最小重复单元S1的行和列的像素数量相等。例如，最小重复单元S1包括但不限于，2行2列、3行3列、4行4列、5行5列的子单元。这种设置有助于均衡行和列方向图像的分辨率和均衡色彩表现，提高显示效果。本申请实施例中，采样区域S为4行4列16个像素，最小重复单元S1为2行2列4个像素。
例如，图9是本申请实施方式中一种采样区域S的像素排布的示意图；采样区域S为4行4列16个像素，最小重复单元S1为2行2列4个像素，排布方式为：
Figure BDA0002860996480000081
其中，W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。
如图9所示，全色像素W设置在第一对角线方向D1(即图9中左上角和右下角连接的方向)，彩色像素设置在第二对角线方向D2(例如图9中左下角和右上角连接的方向)，第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
需要说明的是，第一对角线方向D1和第二对角线方向D2并不局限于对角线，还包括平行于对角线的方向，例如图9中，全色像素设置在第一对角线方向D1、平行于方向D1的方向D3、及平行于方向D1的方向D5；第二颜色像素设置在第二对角线方向D2；第一颜色像素设置在平行于方向D2的方向D4，第三颜色像素设置在平行于方向D2的方向D6。这里的“方向”并非单一指向，可以理解为指示排布的“直线”的概念，可以有直线两端的双向指向。
又例如，图10是本申请实施方式中又一种采样区域S的像素排布的示意图。采样区域S为4行4列16个像素，最小重复单元S1为2行2列4个像素，排布方式为：
Figure BDA0002860996480000091
W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。
在某些实施方式中，全色像素W的响应波段为可见光波段(例如，400nm-760nm)。例如，全色像素W上设置有红外滤光片，以实现红外光的滤除。在一些实施例中，全色像素W的响应波段为可见光波段和近红外波段(例如，400nm-1000nm)，与图像传感器10中的光电转换元件(例如光电二极管PD)响应波段相匹配。例如，全色像素W可以不设置滤光片，全色像素W的响应波段由光电二极管的响应波段确定，即两者相匹配。本申请的实施例包括但不局限于上述波段范围。
请结合图4，预设分辨率和采样区域S内包括的最小重复单元S1的数量相关。当预设分辨率越小时，采样区域S内包括的最小重复单元S1越少。如图4右图所示，预设分辨率为2*2时，则采样区域S内至少包括4个最小重复单元S1，又例如，当语塞分辨率为4*4时，则采样区域S内至少需包括8个最小重复单元。可以理解，预设分辨率小于像素阵列分辨率。
请参阅图11，在某些实施方式中，02：根据图像数据输出全色图像，包括：
022：对采样区域内全色像素值执行间隔采样后合并成数据阵列，以输出全色图像。
请结合图2和图3，处理器20用于执行022中的方法。即，处理器20用于对采样区域内全色像素值执行间隔采样后合并成数据阵列，以输出全色图像。
请结合图2和图5，第一处理器21用于执行022中的方法。即，第一处理器21用于对采样区域内全色像素值执行间隔采样后合并成数据阵列，以用于输出全色图像。
请结合图12，采样区域S包括4个最小重复单元，处理器20或第一处理器21从每个采样区域S中提取一个全色像素值以获取多个全色像素值，再将多个全色像素值合并成数据阵列，以输出全色图像(如图12右图所示)，全色图像的分辨率小于采样区域S的分辨率。
在本实施方式中，处理器20或第一处理器21通过对采样区域S进行间隔采样后输出的全色图像的像素数量较少，能够减小后续对全色图像进行处理的计算量，从而提高图像处理速度。
请参阅图13，在某些实施方式中，02：根据图像数据输出全色图像，包括：
023：对采样区域内的至少部分全色像素值执行求和或求平均计算，并将计算后的像素值合并成数据阵列，以输出全色图像。
请结合图2和图3，在某些实施方式中，处理器20用于执行023中方法。即，处理器20用于对采样区域内的至少部分全色像素值执行求和或求平均计算，并将计算后的像素值合并成数据阵列，以输出全色图像。
请结合图2和图5，在某些实施方式中，第一处理器21用于执行023中的方法。即，第一处理器21用于对采样区域内的至少部分全色像素值执行求和或求平均计算，并将计算后的像素值合并成数据阵列，以用于输出全色图像。
请结合图14，采样区域S包括4个最小重复单元，处理器20或第一处理器21在每个采样区域S中获取至少部分全色像素值执行求和或求平均计算以获取多个计算后的全色像素值，再将多个计算后的全色像素值合并成数据阵列，处理器20或第二处理器22输出全色图像，全色图像的分辨率小于采样区域S的分辨率。
例如，每个采样区域S中像素的行数及列数均为4行4列，处理器20或第一处理器21在每个采样区域S中获取2个全色像素值，并对同一采样区域S的2个全色像素值执行求和计算以获取计算后的全色像素值，再将多个计算后的全色像素值合并成数据阵列，处理器20或第二处理器22输出全色图像。设图14所示的一个采样区域S中，获取到全色像素值W1及W2，则这个区域计算后的全色像素值W＝W1+W2。
在本实施方式中，处理器20或第一处理器21通过对采样区域S内的至少部分全色像素值W进行求和或求平均计算后输出的全色图像的像素值W的亮度信息更丰富，以提高全色图像的亮度信息。
请参阅图15，在某些实施方式中，02：根据图像数据输出全色图像，包括：
024：对采样区域内的至少部分全色像素值和彩色像素值执行求和或求平均计算，并根据第一色彩转换函数将计算后的像素值转换成亮度像素值，及合并亮度像素值成数据阵列，以输出全色图像。
请结合图2和图3，在某些实施方式中处理器20还用于执行024中的方法。即，处理器20用于对采样区域内的至少部分全色像素值和彩色像素值执行求和或求平均计算，并根据第一色彩转换函数将计算后的像素值转换成亮度像素值，及合并亮度像素值成数据阵列，以输出全色图像。
请结合图2和图5，在某些实施方式中第一处理器21还用于执行024中的方法。即，第一处理器21用于对采样区域内的至少部分全色像素值和彩色像素值执行求和或求平均计算，并根据第一色彩转换函数将计算后的像素值转换成亮度像素值，及合并亮度像素值成数据阵列，以输出全色图像。
请结合图16，采样区域S包括4个最小重复单元，处理器20或第一处理器21在每个采样区域S中获取至少部分全色像素值和彩色像素值执行求和或求平均计算以获取多个计算后的像素值，再根据第一色彩转换函数将多个计算后的像素值转换成亮度像素值，并合并亮度像素值成数据阵列，以输出全色图像，全色图像的分辨率小于采样区域S的分辨率。
例如，每个采样区域S中像素的行数及列数均为4行4列，处理器20或第一处理器21在每个采样区域S中获取2个全色像素值(W)及3个彩色像素值(A、B、C)，并对同一采样区域S的3个全色像素值及3个彩色像素值执行求和计算以获取计算后的像素值，再根据第一色彩转换函数将多个计算后的像素值转换成亮度像素值Y，并合并亮度像素值成数据阵列，以输出全色图像。其中，若一个采样区域S中彩色像素值不足3个，则获取这个采样区域S中所有的彩色像素值。亮度像素值Y＝a*W+b*A+c*B+d*C，a、b、c、d为预设的参数值。如图16所示的一个采样区域S中，获取到全色像素值W1及W2、获取到彩色像素值A1、A2、B1及C1，则采样区域S计算后的全色像素值W＝W1+W2、彩色像素值A＝A1、彩色像素值B＝B1及彩色像素值C＝C1，采样区域S的亮度像素值Y＝a*W+b*A+c*B+d*C。
在本实施方式中，处理器20或第一处理器21相对于通过全色像素值W求和或求平均而言，利用第一色彩转换函数将计算后的像素值转换成亮度像素值，以合并亮度像素值成数据阵列，能够使得输出的全色图像数据的亮度信息更加丰富。
请参阅图17，在某些实施方式中，02：根据图像数据输出全色图像，包括：
025：对采样区域内的所有彩色像素值执行插值处理得到彩色像素对应的全色像素值后合并成数据阵列，以输出全色图像。
请结合图2和图3，在某些实施方式中，处理器20还用于执行025中的方法。即，处理器20用于对采样区域内的所有彩色像素值执行插值处理得到彩色像素对应的全色像素值后合并成数据阵列，以输出全色图像。
请结合图2和图5，在某些实施方式中，第一处理器21还用于执行026中的方法。即，第一处理器21用于对采样区域内的所有彩色像素值执行插值处理得到彩色像素对应的全色像素值后合并成数据阵列，以输出全色图像。
请结合图18，采样区域S中包含彩色像素(A、B、C)，需对每个采样区域S内的所有彩色像素值执行插值处理得到彩色像素对应的全色像素值后合并成数据阵列，以输出全色图像。
例如，在采样区域S中包括多个最小重复单元S1，每个最小重复单元S1包括2个彩色像素和2个全色像素W。处理器20或第一处理器21需要将每个最小重复单元S1中的每个彩色像素均替换为全色像素W，并计算出替换后位于原彩色像素所在位置的每个全色像素W的像素值。
对于每一个彩色像素，处理器20或第一处理器20将该彩色像素替换为全色像素W，并根据与替换后的全色像素W相邻的其余全色像素W的像素值来确定该替换后的全色像素W的像素值，从而合并成数据阵列，并输出全色图像。如图18所示，一个最小重复单元S1中包括像素值为W1的全色像素P1、像素值为A2的彩色像素P2、像素值为A3的彩色像素P3、及像素值为W4的全色像素P4。则插值处理后，像素值为A2的彩色像素P2替换为全色像素P2，且全色像素P2的像素值W2＝(W1+W4)/2；像素值为A3的彩色像素P3替换为全色像素P3，且全色像素P3的像素值W3＝(W1+W4)/2。
在本实施方式中，处理器20或第一处理器21通过对采样区域S内的所有彩色像素(第一颜色像素A、第二颜色像素B或第三颜色像素C)的彩色像素值执行插值处理，得到该彩色像素对应的全色像素值W后，再合并成数据阵列后输出的全色图像具有更好的亮度和清晰度。
请参与图19，在某些实施方式中，03：所述图像数据输出彩色图像，包括：
031：根据全色像素值和彩色像素值输出彩色图像。
请结合图2和图3，在某些实施方式中，处理器20还用于执行031中的方法。即，处理器20用于根据全色像素值和彩色像素值输出彩色图像。
请结合图2和图5，在某些实施方式中，第二处理器22还用于执行031中的方法。即，第一处理器21用于根据全色像素值和彩色像素值输出彩色图像。
具体地，如图20左图所示，像素阵列中包含有4个采样单元S，每个采样单元S包含4个最小重复单元S1，每个最小重复单元S1含有2个W像素值和2个彩色像素值(A、B和C)。
在一个实施方式中，处理器20或第二处理器22直接根据像素阵列内的每个W像素值，将每个W像素值替换为彩色像素值A、彩色像素值B或彩色像素值C，以输出彩色图像。
在另一个实施方式中，请参阅图21，在某些实施方式中，031：根据全色像素值和彩色像素值输出彩色图像，包括：
0311：处理全色像素值和彩色像素值，以将每个子单元的所有像素作为子单元中单颜色对应的单色大像素，并输出单色大像素的像素值彩色中间图像；及
0312：对彩色中间图像中的每个单色大像素进行插值处理以获取除单颜色以外的另外两种颜色的像素值并输出以得到彩色图像。
请结合图2和图3，处理器20用于执行0311和0312中的方法。即，处理器20用于处理全色像素值和彩色像素值，以将每个子单元的所有像素作为子单元中单颜色对应的单色大像素，并输出单色大像素的像素值彩色中间图像；及对彩色中间图像中的每个单色大像素进行插值处理以获取除单颜色以外的另外两种颜色的像素值并输出以得到彩色图像。
请结合图2和图5，第一处理器21用于执行0311中的方法。第二处理器22用于执行0312中的方法。即，第一处理器21用于处理全色像素值和彩色像素值，以将每个子单元的所有像素作为子单元中单颜色对应的单色大像素，并输出单色大像素的像素值彩色中间图像，第二处理器22用于对彩色中间图像中的每个单色大像素进行插值处理以获取除单颜色以外的另外两种颜色的像素值并输出以得到彩色图像。
请结合图20，全色像素阵列包括多个全色像素W及多个空像素N(NULL)，其中，空像素既不为全色像素，也不为彩色像素，全色像素阵列中空像素N所处位置可视为该位置没有像素，或者可以将空像素的像素值视为零。对于像素阵列中的每一个最小重复单元S1，该最小重复单元S1包括两个全色像素W和两个彩色像素(彩色像素A、彩色像素B、或彩色像素C)。全色像素阵列中也具有与像素阵列中的最小重复单元S1对应的最小重复单元S1，全色像素阵列的最小重复单元S1包括两个全色像素W和两个空像素N，两个空像素N所处位置对应像素阵列的最小重复单元S1中的两个彩色像素所处的位置。
同样地，彩色像素阵列包括多个彩色像素及多个空像素N，其中，空像素既不为全色像素，也不为彩色像素，彩色像素阵列中空像素N所处位置可视为该位置没有像素，或者可以将空像素的像素值视为零。比较像素阵列与彩色像素阵列可知，对于像素阵列中的最小重复单元S1，该最小重复单元S1包括两个全色像素W和两个彩色像素。彩色像素阵列中也具有与像素阵列中的每一个最小重复单元S1对应的一个最小重复单元S1，彩色像素阵列的最小重复单元S1包括两个彩色像素和两个空像素N，两个空像素N所处位置对应像素阵列的最小重复单元S1中的两个全色像素W所处的位置。
请结合图22，彩色像素阵列包括多个最小重复单元S1，每个最小重复单元S1都包括多个空像素N和多个单颜色的彩色像素(也称单颜色像素)。具体地，某些最小重复单元S1包括两个空像素N和两个单颜色像素A，某些最小重复单元S1包括两个空像素N和两个单颜色像素B，某些最小重复单元S1包括两个空像素N及两个单颜色像素C。处理器20或第一处理器21可以将包括空像素N和单颜色像素A的最小重复单元S1中的所有像素作为与该最小重复单元S1中的单颜色A对应的单色大像素A，将包括空像素N和单颜色像素B的最小重复单元S1中的所有像素作为与该最小重复单元S1中的单颜色B对应的单色大像素B，将包括空像素N和单颜色像素C的最小重复单元S1中的所有像素作为与该最小重复单元S1中的单颜色C对应的单色大像素C。由此，处理器20或第一处理器21即可根据多个单色大像素A、多个单色大像素B、及多个单色大像素C输出彩色中间图像的图像数据。处理器20或第二处理器22用于对彩色中间图像的图像数据执行插值处理(即去马赛克)，以使得每个单色大像素的像素值都同时具有A、B、C三个分量。在一个实施例中，可以采用线性插值的方式来计算每个单色大像素的除该单颜色以外的另外两种颜色的像素值，处理器20或第一处理器21计算出每个单色大像素的三个分量的像素值后，即可根据三个像素值计算出该单色大像素的最终的像素值，即A+B+C，需要说明的是，此处的A+B+C并不表示直接将三个像素相加得到单色大像素最终的像素值，仅代表单色大像素包括A、B、C三个色彩分量。处理器20或第二处理器22可以根据多个单色大像素最终的像素值输出彩色图像。处理器20或第二处理器22处理彩色中间数据得到彩色图像的处理算法较为简单，处理速度较快，可有效节省电子设备100的功耗。
请继续参阅图23，在某些实施方式中，031：根据全色像素值和彩色像素值输出彩色图像，包括：
0313：基于第二色彩转换函数将彩色中间图像的像素值转换为亮度像素值，合并亮度像素值成数据阵列，以输出全色图像。
请结合图2和图3，在某些实施方式中，处理器20用于执行0313中的方法。即，处理器20用于基于第二色彩转换函数将彩色中间图像的像素值转换为亮度像素值，合并亮度像素值成数据阵列，以输出全色图像。
请结合图2和图5，在某些实施方式中，第一处理器21用于执行0313中的方法。即，第一处理器20用于基于第二色彩转换函数将彩色中间图像的像素值转换为亮度像素值，用于合并亮度像素值成数据阵列，以输出全色图像。
请结合图24，采样区域S包括4个最小重复单元，处理器20或第一处理器20基于第二色彩转换函数将彩色中间图像的像素值转换为亮度像素值，合并亮度像素值成数据阵列，并输出全色图像。全色图像的分辨率小于采样区域S的分辨率。
例如，彩色中间像素阵列中每个采样区域S中像素的行数及列数均为4行4列，处理器20或第一处理器21在每个采样区域S中获取3个彩色像素值(A、B、C)，并对同一采样区域S的3个彩色像素值执行求和计算以获取计算后的像素值，再根据第二色彩转换函数将多个计算后的像素值转换成亮度像素值Y，并合并亮度像素值成数据阵列，以输出全色图像。其中，若一个采样区域S中彩色像素值不足3个，则获取这个采样区域S中所有的彩色像素值。亮度像素值Y＝a*A+b*B+c*C，a、b、c为预设的参数值。设图24所示的一个采样区域S中，获取到彩色像素值A1、彩色像素值B1和B2及彩色像素值C1，则采样区域S计算后的彩色像素值A＝A1、彩色像素值B＝B1+B2、及彩色像素值C＝C1，采样区域S的亮度像素值Y＝a*A+b*B+c*C。
在本实施方式中，处理器20或第一处理器21利用第二色彩转换函数将计算后的彩色像素值转换成亮度像素值，以合并亮度像素值成数据阵列，能够使得输出的全色图像数据的亮度信息更加丰富。
请参阅图25，在某些实施方式中，04：识别全色图像的特征信息以输出识别结果，包括：
041：对全色图像执行图像预处理；
042：识别预处理后的全色图像的特征信息，以输出识别结果。
请结合图2和图3，在某些实施方式中，处理器20用于执行041和042中的方法。即，处理器20用于对全色图像执行图像预处理；及识别预处理后的全色图像的特征信息，以输出识别结果。
请结合图2和图5，在某些实施方式中，第一处理器20用于执行041和042中的方法。第一处理器20用于对全色图像执行图像预处理；及识别预处理后的全色图像的特征信息，以输出识别结果。
具体地，在第一工作模式下，图像传感器10采集图像，并以5fps的帧率检测动作。若没有检测到动作，则重新采集图像并继续检测动作。若图像采集检测到动作，则以5fps的帧率检测人形。若没有检测到人形，则重新采集新的图像并继续检测动作，或重新检测预定次数的人形。若检测到人形，则处理器20或第一处理器21对采集到的图像做处理，以输出全色图像的图像数据，再继续采集新的图像并继续检测动作。其中，第一处理器21以30fps的帧率识别全色图像数据中的特征信息，如识别人脸、虹膜、手势等。若第一处理器21识别到特征信息，则将识别结果输出至第二处理器22，以使第二处理器22根据识别结果对应的控制指令控制电子设备100。若第一处理器21没有识别到特征信息，则第一处理器21继续识别下一全色图像的图像数据中的特征信息，而处理器20可以同时完成第一处理器21的识别工作和第二处理器22的控制电子设备100的工作。
请参阅图26，本申请实施方式还提供一种包含计算机程序201的非易失性计算机可读存储介质200。当计算机程序201被一个或多个处理器20或21执行时，使得处理器20或21执行上述任一实施方式的控制方法。
例如，当计算机程序201被处理器20执行时，使得处理器20执行01、02、03、04、05、06、021、022、023、024、025、031、0311、0312、0313、041及042中的方法。例如执行以下控制方法：
01：获取图像传感器10输出的图像数据，其中，图像传感器10包括像素阵列，像素阵列包括全色像素和彩色像素，彩色像素具有比全色像素更窄的光谱响应；
02：在图像传感器10处于第一工作模式时，根据图像数据输出全色图像；及
03：在图像传感器10处于第二工作模式时，根据图像数据输出彩色图像。
又例如，当计算机程序201被一个或多个处理器20执行时，使得电子设备100实现如下控制方法：
01：获取图像传感器10输出的图像数据，其中，图像传感器10包括像素阵列，像素阵列包括全色像素和彩色像素，彩色像素具有比全色像素更窄的光谱响应；
04：在图像传感器10处于第一工作模式时，识别全色图像的特征信息以输出识别结果；
05：根据识别结果控制电子设备100执行对应的操作。
在本说明书的描述中，参考术语“某些实施方式”、“一个例子中”、“示例地”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (28)

1.一种电子设备的控制方法，其特征在于，所述电子设备包括图像传感器，所述控制方法包括：
获取所述图像传感器输出的图像数据，其中，所述图像传感器包括像素阵列，所述像素阵列包括全色像素和彩色像素，所述彩色像素具有比所述全色像素更窄的光谱响应；
在所述图像传感器处于第一工作模式时，根据所述图像数据输出全色图像；及
在所述图像传感器处于第二工作模式时，根据所述图像数据输出彩色图像。
2.根据权利要求1所述的电子设备，其特征在于，还包括：
在所述图像传感器处于所述第一工作模式时，识别所述全色图像的特征信息以输出识别结果；
根据所述识别结果控制所述电子设备执行对应的操作。
3.根据权利要求1所述的电子设备，其特征在于，还包括：
在所述图像传感器处于所述第二工作模式时，根据所述彩色图像显示预览界面。
4.根据权利要求1所述的电子设备，其特征在于，所述像素阵列包括多个最小重复单元，所述图像数据包括彩色像素值和全色像素值，所述根据所述图像数据输出全色图像，包括：
根据所述全色图像的预设分辨率，将所述像素阵列分为多个采样区域，所述采样区域包括一个或多个所述最小重复单元；
对所述采样区域内所述全色像素值执行间隔采样后合并成数据阵列，以输出所述全色图像；或
对所述采样区域内的至少部分全色像素值执行求和或求平均计算，并将计算后的像素值合并成数据阵列，以输出所述全色图像；或
对所述采样区域内的至少部分全色像素值和彩色像素值执行求和或求平均计算，并根据第一色彩转换函数将计算后的像素值转换成亮度像素值，及合并所述亮度像素值成数据阵列，以输出所述全色图像；或
对所述采样区域内的所有所述彩色像素值执行插值处理得到所述彩色像素对应的所述全色像素值后合并成数据阵列，以输出所述全色图像。
5.根据权利要求1所述的电子设备，其特征在于，所述图像数据包括彩色像素值和全色像素值，所述根据所述图像数据输出彩色图像，包括：
根据所述全色像素值和所述彩色像素值输出所述彩色图像。
6.根据权利要求5所述的电子设备，其特征在于，所述像素阵列包括多个最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色像素及多个全色像素；所述根据所述全色像素值和所述彩色像素值输出所述彩色图像，包括：
处理所述全色像素值和所述彩色像素值，以将每个所述子单元的所有像素作为所述子单元中单颜色对应的单色大像素，并输出所述单色大像素的像素值彩色中间图像；及
对所述彩色中间图像中的每个所述单色大像素进行插值处理以获取除所述单颜色以外的另外两种颜色的像素值并输出以得到所述彩色图像。
7.根据权利要求6所述的控制方法，其特征在于，还包括：
基于第二色彩转换函数将所述彩色中间图像的像素值转换为亮度像素值，合并所述亮度像素值成数据阵列，以输出所述全色图像。
8.根据权利要求2所述的控制方法，其特征在于，所述识别所述全色图像的特征信息以输出识别结果，包括：
对所述全色图像执行图像预处理；及
识别预处理后的所述全色图像的所述特征信息，以输出所述识别结果。
9.根据权利要求1所述的控制方法，其特征在于，所述第一工作模式的帧率小于所述第二工作模式的帧率。
10.一种电子设备，其特征在于，包括：
图像传感器，所述图像传感器包括像素阵列，所述像素阵列包括全色像素和彩色像素，所述彩色像素具有比所述全色像素更窄的光谱响应；所述图像传感器用于输出图像数据；
处理器，所述处理器用于获取所述图像数据；在所述图像传感器处于第一工作模式时，根据所述图像数据输出全色图像；及在所述图像传感器处于第二工作模式时，根据所述图像数据输出彩色图像。
11.根据权利要求10所述的电子设备，其特征在于，所述处理器还用于：
在所述图像传感器处于所述第一工作模式时，识别所述全色图像的特征信息以输出识别结果；
根据所述识别结果控制所述电子设备执行对应的操作。
12.根据权利要求10所述的电子设备，其特征在于，所述处理器还用于：
在所述图像传感器处于所述第二工作模式时，根据所述彩色图像显示预览界面。
13.根据权利要求10所述的电子设备，其特征在于，所述像素阵列包括多个最小重复单元，所述图像数据包括彩色像素值和全色像素值，所述处理器用于：
根据所述全色图像的预设分辨率，将所述像素阵列分为多个采样区域，所述采样区域包括一个或多个所述最小重复单元；
对所述采样区域内所述全色像素值执行间隔采样后合并成数据阵列，以输出所述全色图像；或
对所述采样区域内的至少部分全色像素值执行求和或求平均计算，并将计算后的像素值合并成数据阵列，以输出所述全色图像；或
对所述采样区域内的至少部分全色像素值和彩色像素值执行求和或求平均计算，并根据第一色彩转换函数将计算后的像素值转换成亮度像素值，及合并所述亮度像素值成数据阵列，以输出所述全色图像；或
对所有所述彩色像素值执行插值处理得到所述彩色像素对应的所述全色像素值后合并成数据阵列，以输出所述全色图像。
14.根据权利要求10所述的电子设备，其特征在于，所述图像数据包括彩色像素值和全色像素值，所述处理器用于根据所述全色像素值和所述彩色像素值输出所述彩色图像。
15.根据权利要求14所述的电子设备，其特征在于，所述像素阵列包括多个最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色像素及多个全色像素；所述处理器用于：
处理所述全色像素值和所述彩色像素值，以将每个所述子单元的所有像素作为所述子单元中单颜色对应的单色大像素，并输出所述单色大像素的像素值彩色中间图像；及
对所述彩色中间图像中的每个所述单色大像素进行插值处理以获取除所述单颜色以外的另外两种颜色的像素值并输出以得到所述彩色图像。
16.根据权利要求15所述的电子设备，其特征在于，所述处理器用于基于所述第二色彩转换函数将所述彩色中间图像的像素值转换为所述亮度像素值，合并所述亮度像素值成所述数据阵列，以输出所述全色图像。
17.根据权利要求11所述的电子设备，其特征在于，所述识别所述全色图像的特征信息以输出识别结果，所述处理器还用于：
对所述全色图像执行图像预处理；及
识别预处理后的所述全色图像的所述特征信息，以输出所述识别结果。
18.根据权利要求10所述的电子设备，其特征在于，所述第一工作模式的帧率小于所述第二工作模式的帧率。
19.一种电子设备，其特征在于，包括：
图像传感器，所述图像传感器包括像素阵列，所述像素阵列包括全色像素和彩色像素，所述彩色像素具有比所述全色像素更窄的光谱响应；所述图像传感器用于输出图像数据；
第一处理器，所述第一处理器用于在所述图像传感器处于第一工作模式时，根据所述图像数据输出全色图像；及
第二处理器，所述第二处理器用于在所述图像传感器处于第二工作模式时，根据所述图像数据输出彩色图像。
20.根据权利要求19所述的电子设备，其特征在于，所述第一处理器用于在所述图像传感器处于所述第一工作模式时，识别所述全色图像的特征信息以输出识别结果；
所述第二处理器用于根据所述识别结果控制所述电子设备执行对应的操作。
21.根据权利要求19所述的电子设备，其特征在于，所述第二处理器用于在所述图像传感器处于所述第二工作模式时，根据所述彩色图像显示预览界面。
22.根据权利要求19所述的电子设备，其特征在于，所述像素阵列包括多个最小重复单元，所述图像数据包括彩色像素值和全色像素值，所述第一处理器用于：
根据所述全色图像的预设分辨率，将所述像素阵列分为多个采样区域，所述采样区域包括一个或多个所述最小重复单元；
对所述采样区域内所述全色像素值执行间隔采样后合并成数据阵列，以输出所述全色图像；或
对所述采样区域内的至少部分全色像素值执行求和或求平均计算，并将计算后的像素值合并成数据阵列，以输出所述全色图像；或
对所述采样区域内的至少部分全色像素值和彩色像素值执行求和或求平均计算，并根据第一色彩转换函数将计算后的像素值转换成亮度像素值，及合并所述亮度像素值成数据阵列，以输出所述全色图像；或
对所述采样区域内的所有所述彩色像素值执行插值处理得到所述彩色像素对应的所述全色像素值后合并成数据阵列，以输出所述全色图像。
23.根据权利要求19所述的电子设备，其特征在于，所述图像数据包括彩色像素值和全色像素值，所述第二处理器用于根据所述全色像素值和所述彩色像素值输出所述彩色图像。
24.根据权利要求23所述的电子设备，其特征在于，所述像素阵列包括多个最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色像素及多个全色像素；所述第一处理器用于处理所述全色像素值和所述彩色像素值，以将每个所述子单元的所有像素作为所述子单元中单颜色对应的单色大像素，并输出所述单色大像素的像素值彩色中间图像；所述第二处理器用于对所述彩色中间图像中的每个所述单色大像素进行插值处理以获取除所述单颜色以外的另外两种颜色的像素值并输出以得到所述彩色图像。
25.根据权利要求24所述的电子设备，其特征在于，所述第一处理器用于基于第二色彩转换函数将所述彩色中间图像的像素值转换为亮度像素值，合并所述亮度像素值成数据阵列，以输出所述全色图像。
26.根据权利要求20所述的电子设备，其特征在于，所述识别所述全色图像的特征信息以输出识别结果，所述第一处理器用于：
对所述全色图像执行图像预处理；及
识别预处理后的所述全色图像的所述特征信息，以输出所述识别结果。
27.根据权利要求19所述的电子设备，其特征在于，所述第一工作模式的帧率小于所述第二工作模式的帧率。
28.一个或多个存储有计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，实现权利要求1至9任意一项所述电子设备的控制方法。
CN202011563397.7A 2020-12-25 2020-12-25 电子设备的控制方法、电子设备及存储介质 Pending CN112702490A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011563397.7A CN112702490A (zh) 2020-12-25 2020-12-25 电子设备的控制方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011563397.7A CN112702490A (zh) 2020-12-25 2020-12-25 电子设备的控制方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112702490A true CN112702490A (zh) 2021-04-23

Family

ID=75510661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011563397.7A Pending CN112702490A (zh) 2020-12-25 2020-12-25 电子设备的控制方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112702490A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113556519A (zh) * 2021-07-01 2021-10-26 Oppo广东移动通信有限公司 图像处理方法、电子设备和非易失性计算机可读存储介质
CN114466170A (zh) * 2021-08-27 2022-05-10 锐芯微电子股份有限公司 图像处理方法及系统
WO2022134744A1 (zh) * 2020-12-25 2022-06-30 Oppo广东移动通信有限公司 电子设备的控制方法、电子设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080130073A1 (en) * 2006-12-01 2008-06-05 Compton John T Light sensitivity in image sensors
CN102314840A (zh) * 2010-06-30 2012-01-11 格科微电子（上海）有限公司 图像传感器、电子设备及其背光调节方法
US20120257079A1 (en) * 2011-04-06 2012-10-11 Dolby Laboratories Licensing Corporation Multi-Field CCD Capture for HDR Imaging
CN104280803A (zh) * 2013-07-01 2015-01-14 全视科技有限公司 彩色滤光片阵列、彩色滤光片阵列设备及图像传感器
CN111050041A (zh) * 2019-11-25 2020-04-21 Oppo广东移动通信有限公司 图像传感器、控制方法、摄像头组件及移动终端
CN111654692A (zh) * 2020-06-15 2020-09-11 浙江水晶光电科技股份有限公司 摄像头检测方法、装置、摄像头及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080130073A1 (en) * 2006-12-01 2008-06-05 Compton John T Light sensitivity in image sensors
CN102314840A (zh) * 2010-06-30 2012-01-11 格科微电子（上海）有限公司 图像传感器、电子设备及其背光调节方法
US20120257079A1 (en) * 2011-04-06 2012-10-11 Dolby Laboratories Licensing Corporation Multi-Field CCD Capture for HDR Imaging
CN104280803A (zh) * 2013-07-01 2015-01-14 全视科技有限公司 彩色滤光片阵列、彩色滤光片阵列设备及图像传感器
CN111050041A (zh) * 2019-11-25 2020-04-21 Oppo广东移动通信有限公司 图像传感器、控制方法、摄像头组件及移动终端
CN111654692A (zh) * 2020-06-15 2020-09-11 浙江水晶光电科技股份有限公司 摄像头检测方法、装置、摄像头及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022134744A1 (zh) * 2020-12-25 2022-06-30 Oppo广东移动通信有限公司 电子设备的控制方法、电子设备及计算机可读存储介质
CN113556519A (zh) * 2021-07-01 2021-10-26 Oppo广东移动通信有限公司 图像处理方法、电子设备和非易失性计算机可读存储介质
CN114466170A (zh) * 2021-08-27 2022-05-10 锐芯微电子股份有限公司 图像处理方法及系统
CN114466170B (zh) * 2021-08-27 2023-10-31 锐芯微电子股份有限公司 图像处理方法及系统

Similar Documents

Publication Publication Date Title
US11356629B2 (en) Electronic apparatus, method for controlling electronic apparatus, and control program
US11196923B2 (en) Electronic apparatus, method for controlling electronic apparatus, and control program
US9077917B2 (en) Image sensor having HDR capture capability
CN112702490A (zh) 电子设备的控制方法、电子设备及存储介质
US8462220B2 (en) Method and apparatus for improving low-light performance for small pixel image sensors
CN112788320B (zh) 图像传感器、图像采集装置、电子设备及其控制方法
CN112529775A (zh) 一种图像处理的方法和装置
JP3995595B2 (ja) 携帯電話用の最適化されたカメラセンサ構造
US10095941B2 (en) Vision recognition apparatus and method
US7609291B2 (en) Device and method for producing an enhanced color image using a flash of infrared light
US12010418B2 (en) Solid-state imaging element, signal processing method thereof, and electronic device
EP2642757A2 (en) Imaging systems with clear filter pixels
US20050128509A1 (en) Image creating method and imaging device
US20150146037A1 (en) Imaging systems with broadband image pixels for generating monochrome and color images
KR20220030877A (ko) 다양한 인트라-프레임 아날로그 비닝을 사용하는 이미지 센서
CN115835025A (zh) 装置及其控制方法和存储介质
WO2021220814A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
US20030122937A1 (en) Method for processing digital CFA images, particularly for motion and still imaging
JP2023169254A (ja) 撮像素子、撮像素子の作動方法、プログラム、及び撮像システム
US20070285529A1 (en) Image input device, imaging module and solid-state imaging apparatus
JP2010109863A (ja) 撮像装置及び携帯機器
CN113676674A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN114697474B (zh) 电子设备的控制方法、电子设备及计算机可读存储介质
JP2007189639A (ja) デジタルカメラ
US11950002B2 (en) Analog resolution adjustment for CMOS image sensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210423