CN104052922B

CN104052922B - 图像数据处理方法和支持图像数据处理方法的电子设备

Info

Publication number: CN104052922B
Application number: CN201410092877.8A
Authority: CN
Inventors: 李宇镛; 朴炫在; 宋在允; 赵庠钦
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2013-03-14
Filing date: 2014-03-13
Publication date: 2018-10-09
Anticipated expiration: 2034-03-13
Also published as: US9491367B2; US20140267842A1; KR20140114501A; WO2014142495A1; CN104052922A; EP2778898A1; JP2014179991A; AU2014201365A1

Abstract

一种电子设备使用多个图像传感器和控制单元来处理图像数据。响应于从多个图像传感器中的一个图像传感器接收图像数据，所述控制单元建立单模式处理路径，用于使用对应于系统处理单元的第一处理器通过所述单模式处理路径来处理所接收图像数据。响应于从多个图像传感器中的两个或更多个传感器接收图像数据，所述控制单元建立双模式处理路径，用于使用对应于图形处理单元的第二处理器来处理图像数据，并通过所述双模式处理路径来处理所述图像数据。

Description

图像数据处理方法和支持图像数据处理方法的电子设备

技术领域

一种系统涉及处理由至少一个图像传感器收集的图像数据。

背景技术

电子设备不断减小尺寸并扩展功能，以便可应用于多个领域和日常生活。已知的便携式设备集成了不同功能。此外，通常具有图像收集功能的便携式电子设备配备了图像传感器模块。

发明内容

系统提供了一种改进的用户界面并降低在处理视频数据中的功耗。电子设备处理图像数据，并包括多个图像传感器和控制单元。控制单元配置为响应于从多个图像传感器中的一个图像传感器接收图像数据，建立单模式处理路径，用于使用对应于系统处理单元的第一处理器通过该单模式处理路径来处理所接收图像数据。响应于从多个图像传感器中的两个或更多个传感器接收图像数据，控制单元建立双模式处理路径，用于使用对应于图形处理单元的第二处理器来处理图像数据，并通过该双模式处理路径处理图像数据。

在一个方面，多个图像传感器包括电子设备的前置摄像机的第一图像传感器和电子设备的后置摄像机的第二图像传感器，第一图像传感器获取相对于第二图像传感器获取的图像具有更高分辨率的图像。控制单元响应于指示预览图像的屏幕分辨率的数据，补偿获取的低分辨率图像数据。控制单元包括：摄像机驱动器，接收由一个传感器提供的图像数据；以及以下组件中的至少一个：构成器(composer)，合并由摄像机驱动器提供的所接收图像数据和预定屏幕数据分量，媒体记录设备，用于基于由摄像机驱动器接收的图像数据来记录视频，和捕获缓冲器，用于缓冲基于该图像数据得到的捕获数据；以及联合图像专家组(JPEG)编码器。此外，控制单元分配多个缓冲器，用于缓冲与所接收图像数据一同使用的纹理数据。共用缓冲器缓冲通过合并获得的图像数据，其中共用缓冲器存储预览数据和视频数据；缓冲器缓冲图像效果数据以便应用于与图像数据的合并中。

在另一方面，控制单元发起：从使用一个图像传感器的单模式切换到用于处理来自多个图像传感器的图像数据的双模式；缓冲纹理数据，用于与使用多个图像传感器获取的图像数据一同使用；以及输出或存储使用该纹理数据得到的合并图像数据。控制单元还发起在双模式和单模式之间切换，以便保持纹理并执行逐步呈现处理。

在再一方面中，图像数据处理方法包括：响应于从多个图像传感器的一个图像传感器接收图像数据，建立单模式处理路径，用于使用对应于系统处理单元的第一处理器来处理所接收图像数据，并使用第一处理器使用该单模式处理路径来处理所接收图像数据。响应于从多个图像传感器的两个或更多个图像传感器接收图像数据，建立双模式处理路径，用于使用对应于图形处理单元的第二处理器来处理图像数据，并通过该双模式路径来处理图像数据。

在其它方面中，所述方法接收由一个传感器提供的图像数据，并进行以下操作中的至少一个：合并由摄像机驱动器提供的图像数据和预定屏幕数据分量；基于由摄像机驱动器提供的图像数据来记录视频，并缓冲基于该图像数据得到的数据。所述方法还响应于检测到对从单模式切换到双模式的请求，缓冲与图像数据相对应的纹理数据；输出或存储合并图像和纹理数据；以及响应于在双模式和单模式之间切换，保持纹理并执行逐步呈现处理。

附图说明

图1示出了根据发明原理的包括图像传感器模块的电子设备；

图2示出了根据发明原理的用于控制图像传感器操作的图1的控制单元部分；

图3示出了根据发明原理的图像数据处理方法的流程图；

图4示出了根据发明原理的电子设备控制单元的单模式数据处理部分；

图5示出了根据发明原理的电子设备控制单元的双模式数据处理部分；以及

图6示出了根据发明原理的由电子设备提供的摄像机功能相关屏幕界面的显示图像。

具体实施方式

参考附图描述了系统的示例实施例。可以省略对这里所用公知功能和结构的详细描述，以免混淆主题并省略冗余描述。在附图中，为了说明清楚，可以放大或省略或示意性描述特定元素，且并不反映元素的实际尺寸。因此，本发明不限于元素相对尺寸或元素之间的距离。这里所用术语“图形数据”包括具有确定如何解释特定比特图案的相关编码表示的数据。“图形处理单元”包括执行快速算术计算的计算机或逻辑芯片或部分芯片，主要用于再现图像、动画或视频以便计算机屏幕显示的目的，例如，进行图形计算和变换，并可以降低CPU的负担。

图1示出了电子设备100，包括通信单元110、输入单元120、音频处理单元130、显示单元140、存储单元150、控制单元160与图像传感器模块170。图像传感器模块170包括多个图像传感器171和172。尽管图1中描述了两个图像传感器171和172，然而图像传感器模块170可以包括多于两个的图像传感器。在电子设备100支持摄像机功能但是不支持任何通信功能的情况下，可以省略通信单元110。控制单元160包括用于控制摄像机功能的应用处理器(AP)，并可以包括多个处理器模块，例如，中央处理单元(CPU)和用于处理图形数据的图形处理单元(GPU)。图1中，第一和第二处理器161和162可以是用于操作电子设备100的CPU，可以是负责数据操作和比较以及解译并执行命令的计算系统控制单元。第三处理器163是除CPU之外用于图形数据操作和比较以及解译和执行命令的图形处理单元。CPU和GPU可以实现为集成多核(例如，四核)封装。CPU和GPU可以集成为片上系统(SoC)，可以是多层封装，并可以称为应用处理器(AP)。

取决于使用单模式还是使用双模式来处理由图像传感器模块170的图像传感器171和172中的至少一个收集的图像数据，电子设备100具有不同硬件操作路径。单模式包括使用图像传感器之一获取图像的操作。双模式包括使用多个图像传感器获取图像的操作模式。例如，在使用图像传感器171和172之一操作的单模式操作中，电子设备100能够使用除作为GPU的第三处理器之外的第一和第二处理器161和162之一来执行直接图像合成。在双模式操作中，设备100使用图像传感器171和172，用于使用第三GPU处理器163合并、输出并存储图像。设备100可以在单模式下使用第一处理器161处理图像数据，并可以在双模式下使用第三GPU处理器163处理图像数据。

单模式下的电子设备100通过禁用消耗相对较大量电流的GPU来降低电流消耗，并在双模式下通过图像传感器模块170的改进图像处理性能提供不同用户界面。通信单元110可以与基站或无线接入点建立通信信道，用于支持电子设备的通信功能。通信单元110可以从外部接收信息或向外部发送由电子设备100存储或收集的信息。通信单元110可以包括用于通过短程通信信道与另一电子设备交换图像的短程通信模块，并可以建立用于向另一电子设备发送由图像传感器模块170拍摄的静止或运动图像数据的通信信道。通信单元110可以在控制单元160的控制下，从另一电子设备接收运动图像数据，并在存储单元150中存储所接收的静止／运动图像数据。存储单元150所存储的数据可以包括单模式下由单个图像传感器拍摄的图像和／或双模式下由多个图像传感器拍摄的图像。

输入单元120产生对控制电子设备的操作而言所需的不同输入信号。可以使用与电子设备100兼容的键盘、键区和键按钮中的至少一个来实现输入单元120。在将显示单元140实现为触摸屏的情况下，输入单元120可以提供为呈现在触摸屏上的触摸映射的形式，并可以产生用于控制图像传感器操作的快门键输入信号和图像传感器配置信号。可以通过布置在电子设备100一侧的硬件键或呈现在触摸屏上的虚拟触摸键区或虚拟触摸映射，来产生键输入信号。输入单元120可以响应于用户输入产生用于选择单模式或双模式的输入信号。

音频处理单元130可以包括用于输出不同音频数据的扬声器，所述不同音频数据与电子设备100的操作相关地配置，从存储单元150所存储的音频文件进行解码得到，并从外部接收。音频处理单元130可以支持音频数据收集功能。为此，音频处理单元130可以包括麦克风(MIC)。由音频处理单元130输出的音频数据可以包括与图像传感器模块170的控制相关联的不同警报声和音效。例如，音频处理单元130可以输出指示单模式配置或双模式配置的音频信号。由麦克风(MIC)收集的音频数据可以与捕获动作图像同时使用。麦克风(MIC)可以获取电话通信的语音信号。

显示单元140提供对操作电子设备而言所需的不同屏幕。例如，显示单元140显示空闲屏幕和菜单屏幕，并可以提供摄像机控制屏幕、摄像机操作屏幕和摄像机配置屏幕。显示单元140可以在单模式下显示预览屏幕、图像捕获屏幕、和图像拍摄屏幕。显示单元140可以在双模式下显示预览屏幕、图像捕获屏幕、和图像拍摄屏幕。存储单元150可以存储操作系统(OS)和与电子设备的操作相关联的不同应用、数据和算法。存储单元150可以存储用于支持摄像机控制功能的图像处理程序，并存储由图像处理程序151捕获的静止或运动图像数据。

图像处理程序151可以包括对电子设备100的摄像机功能而言所需的不同可执行例程。例如，图像处理程序151可以包括用于显示由图像传感器模块170收集和发送的数据的预览输出例程。预览输出例程可以包括单模式预览支持例程和双模式预览支持例程。图像处理程序151还可以包括单模式捕获支持例程和双模式捕获支持例程。图像处理程序151还可以包括单模式运动图像处理例程和双模式运动图像处理例程。这些例程控制操作控制单元160的硬件组件，以便处理图像。

图像传感器模块170获取静止或运动图像。图像传感器171和172可以包括用于拍摄图片的镜头、光圈、光圈驱动器和镜头调整器。图像传感器171和172包括以矩阵形式布置的多个图片传感器以便通过镜头收集光学图像。图像传感器171和172向摄像机存储设备发送该光学图像。摄像机存储设备数字存储由图片传感器构成的光学图像，并包括用于读取各位置所存储的信息的多个地址线。第一图像传感器171可以布置在电子设备100前面，用于视频通信中使用，并实现为相较于第二图像传感器172获取较低分辨率的图像。第二图像传感器172可以布置在电子设备100后面，以便拍摄图像，并实现为相较于第一图像传感器171拍摄较高分辨率的图像。同时激活第一和第二图像传感器171和172。由第一和第二图像传感器171和172拍摄的图像可以同时地或分别地输出在显示单元140的屏幕上。

图2示出了图1的控制单元160部分，用于控制图像传感器操作。控制单元160包括摄像机应用80、摄像机驱动器10、摄像机框架(framework)20、双摄像机框架30、包括GPU41的OpenGL40、表面纹理缓冲器51、硬件构成器52、媒体表面纹理缓冲器61、媒体记录器62、捕获缓冲器71、联合图像专家组(JPEG)编码器21和硬件编码器63。控制单元160包括连接到摄像机框架20的CPU42。CPU42可以包括如参考图1所述的第一和第二处理器161和162中的至少一个。在单模式下，可以向CPU42提供表面纹理缓冲器51、媒体表面纹理缓冲器61、和捕获缓冲器71。CPU42可以向构成器52和媒体记录器62发送数据，而无需在缓冲器中缓冲。也就是说，CPU42可以在单模式中的预览模式下向构成器52发送预览数据。CPU42可以在单模式中的视频模式下直接向媒体记录器62发送视频数据。

如果响应于用户请求或根据预定配置产生了用于调用摄像机功能的输入信号，则向控制单元160加载摄像机应用80。如上所述摄像机应用80可以布置在应用层，并提供多个菜单，允许选择单操作模式和双操作模式之一和配置图像传感器171和172、控制是否存储捕获图像、并呈现快门输入虚拟键。如果通过输入单元120或支持输入功能的显示单元140输入了菜单选择信号，则摄像机应用80可以向物理层发送该输入信号。例如，摄像机应用80可以检测用于调用单模式或双模式预览功能、捕获功能、和运动图像拍摄功能的输入信号，并向摄像机框架20发送该信号。

在实施例中，第一图像传感器171是前置摄像机，第二图像传感器172是后置摄像机。摄像机应用80可以存储并管理状态信息，所述状态信息涉及通过前置摄像机171输入的前置预览数据和前置视频数据、通过后置摄像机172输入的后置预览数据、后置视频数据和后置捕获数据。具体地，摄像机应用80可以存储并管理显示单元140屏幕上的前后预览数据的位置和尺寸信息，以及显示单元140屏幕上的前后视频数据的位置和尺寸信息。

前预览数据是通过前置摄像机171输入的预览数据，后预览数据是通过后置摄像机172输入的预览数据。前视频数据是由前置摄像机171收集的运动图像数据，后视频数据是由后置摄像机172收集的运动图像数据。后置摄像机捕获数据可以是静止图像数据。相较于捕获数据，帧数据或视频数据可能具有较低分辨率。前后视频数据可以配置为响应于用户命令具有不同分辨率。摄像机应用80响应于关于数据的信息，管理、播放并存储该数据。

摄像机驱动器10在摄像机框架20的控制下，从图像传感器模块170接收图像并向摄像机框架20发送该图像。摄像机驱动器10可以在图像传感器的信号之间进行区分，并向摄像机框架20发送所选信号。摄像机驱动器10可以向摄像机框架20发送从前置摄像机171输入的前预览和视频数据，以及从后置摄像机172输入的后预览、视频和捕获数据。摄像机框架20选择性地从摄像机驱动器10接收前后图像数据并向双摄像机框架30发送该图像数据。摄像机框架20可以向双摄像机框架30发送从前置摄像机171输入的前预览和视频数据，以及从后置摄像机172输入的后预览、视频和捕获数据。摄像机框架20可以直接处理由前置和后置摄像机172之一提供的数据，而不需要将其发送给双摄像机框架30。

双摄像机框架30可以从摄像机框架20向OpenGL40的GPU41发送前置和后置摄像机171和172的数据，并可以向OpenGL40的GPU41发送效果图像或效果图像遮掩(effect imagemask)。双摄像机框架30可以为第一和第二图像传感器171和172准备图像，并向对应图像数据应用该效果或遮掩图像。例如，当合并由第二图像传感器172获得的第二图像数据和由第一图像传感器171获得的第一图像数据时，双摄像机框架30可以向合成区域施加效果图像，以便产生更自然图像或提供预定图案。双摄像机框架30可以提供能够选择多个效果图像之一的效果图像选择菜单。例如，双摄像机框架30可以通过摄像机应用80请求显示单元140显示表示效果图像的至少一个图标。该图标可以是效果图像的缩略图图像，或可以将图标提供为花朵符号图标、阴影符号图标、模糊符号图标和彩色符号图标，促使用户直观认知应用的效果。OpenGL40可以是用于控制GPU41的标准接口，或可以表现为包括用于控制GPU41的不同API的接口。

OpenGL40可以在应用双图像中为双预览模式分配多个缓冲器，并可以向个缓冲器写入前置和后置摄像机171和172的预览图像，以便输出给显示单元140。OpenGL40可以在应用双图像中为双捕获模式分配大小不同的多个缓冲器。OpenGL40可以分配用于从后摄像机172写入捕获数据的较大缓冲器和用于从前摄像机171写入捕获数据的较小缓冲器，并可以将前和后捕获数据写入共用缓冲器，基于此输出并存储该数据。GPU41在OpenGL40的控制下在双模式中处理数据，并可以合并来自前置和后置摄像机171和172的数据，应用效果图像。双模式下，表面纹理缓冲器51输出预览图像并可以分配多个表面纹理缓冲器。可以在双模式下为两个图像传感器171和172分配两个表面纹理缓冲器51。

构成器52可以将预览数据和显示单元140的预定用户界面(UI)层合并为预览图像，用于呈现在显示单元140上。单模式下，在摄像机框架20的控制下，构成器52还可以将由摄像机驱动器10提供的预览图像与UI合并，并向显示单元输出合并后的预览图像。构成器52可以将写入在多个表面纹理缓冲器51中的预览数据与UI层合并，以便产生到显示单元140的预览图像。媒体表面纹理缓冲器61在双模式下输出预览图像，并缓冲由图像传感器171和172提供的视频数据，所述视频数据包括从相应前置和后置摄像机获得的数据。媒体表面纹理缓冲器还可以包括共用缓冲器，用于写入前置和后置视频数据二者，并在双视频数据处理模式下，该媒体表面纹理缓冲器可以用作用于处理预览数据和视频数据的共用缓冲器。OpenGL40可以控制前视频数据和后视频数据在表面纹理缓冲器中的共同存储，使得构成器52和媒体记录器62能够同时访问写入到媒体表面纹理缓冲器中的数据。此外，预览数据可同时存储在媒体表面纹理缓冲器中并被使用。

在单模式下，媒体记录器62通过向硬件编码器63发送写入媒体表面纹理缓冲器中的视频数据，可以在摄像机框架20的控制下向硬件编码器63直接发送由摄像机驱动器10提供的视频数据。此外，媒体记录器62可以向硬件编码器63发送由写入到共用缓冲器中的根据前和后视频数据合并而获得的视频数据。捕获缓冲器71支持捕获功能，并在前置摄像机171不支持图像捕获的情况下，为后置摄像机172分配捕获缓冲器。由于后置摄像机172具有较高像素图像数据分辨率，将捕获缓冲器71分配为具有足以缓冲对应捕获数据的大小。在单模式下，捕获缓冲器71可以在摄像机框架20的控制下，直接缓冲由摄像机驱动器10提供的捕获数据，而不经过OpenGL40和GPU41，并可以向JPEG编码器21发送缓冲的捕获数据。

在双模式下，捕获缓冲器71可以缓冲前置和后置摄像机171和172的捕获数据，并响应于用户输入或预定配置数据，以不同格式存储该捕获数据。在电子设备100仅支持后捕获模式的情况下，缓冲器71缓冲后捕获数据。当设备100同时支持前后捕获模式时，捕获缓冲器71可以缓冲前捕获数据或后捕获数据，或合并的前后捕获数据。在存储合并的捕获数据中，可以将捕获缓冲器71所存储的全屏捕获数据的尺寸调整为适合后捕获数据的尺寸。例如，在所存储的后捕获数据具有13M像素的分辨率，而前捕获数据具有2M像素的分辨率的情况下，在显示单元140屏幕上以2M像素分辨率显示后预览数据。由于在所请求捕获图像和存储的图像之间像素分辨率存在非常大的差别，电子设备100可以执行对全屏捕获数据的像素扩展，以便匹配预览图像。设备100可以在全屏捕获下限制像素扩展，以免过像素扩展(over-pixel expansion)。可以根据电子设备预览图像的像素数量，有区别地确定像素扩展限制。JPEG编码器21对写入捕获缓冲器71的捕获数据进行编码，并可以将编码后的捕获数据存储在存储单元150中。硬件编码器63对由媒体记录器62提供的视频数据进行编码，还可以在存储单元150中存储编码的视频数据。

图3示出了图像数据处理方法的流程图。图4示出了电子设备控制单元的单模式数据处理部分。图5示出了电子设备控制单元的双模式数据处理部分。参考图3，在操作301控制单元160处于功能待机状态，在激活摄像机功能之前执行不同功能中的至少一个。例如，功能待机状态可以是预接通电力状态或接通电力随后的启动状态。功能待机状态可以是文件回放状态或文件搜索功能待机状态。控制单元160监控并检测事件，如果检测到事件，则在操作303确定该事件是否是图像传感器模块激活事件。如果该事件不是图像传感器模块激活事件，则在操作305控制单元执行对应于所检测事件的功能。例如，控制单元160可以根据该事件的类型，执行通信功能或图集(image gallery)应用。

如果在操作303检测到图像传感器模块激活事件，则在操作307控制单元160确定是否检测到单模式配置信号。如果检测到单模式配置信号，则在操作309控制单元160执行非GPU图像处理。控制单元160根据单模式配置激活第一和第二图像传感器171和172之一，并执行对应被激活图像传感器的功能。例如，控制单元160可以控制使用对应于前置摄像机的第一图像传感器171执行视频通信。控制单元160开始处理由第一图像传感器获得的图像数据，以便产生用于显示单元140上的输出数据，而不需要GPU处理。控制单元160发起处理使用第二图像传感器172获得的主题图像，用于在预览模式、捕获模式或视频模式下使用，以便通过显示单元140输出和／或存储在存储单元150中，而不需要GPU处理。

如果没有检测到单模式配置信号，则在操作311控制单元160确定是否检测到双模式配置。如果检测到双模式配置信号，则在操作311控制单元160执行基于GPU的图像处理。例如，控制单元160可以处理由第一和第二图像传感器171和172提供的数据，以便通过显示单元140输出，或存储为视频数据，或合并。如果图像传感器模块没有处于双模式，则在操作321控制单元160确定是否检测到设备关闭信号。如果没有设备关闭信号，则控制单元160将返回操作301。操作309或313之后，在操作315，控制单元160可以输出经处理的图像。可以将经处理的图像输出给显示单元140和存储单元150中的至少一个。在操作317控制单元160确定是否检测到模式切换信号。如果没有检测到模式切换信号，则控制单元160将返回操作303。否则，如果检测到模式切换信号，则在操作319控制单元160处理纹理。在单模式下控制单元160控制当前获得的数据进行缓冲，或开始向显示单元140输出经缓冲的数据。控制单元160可以控制在模式切换期间向由显示单元140输出的数据应用视觉效果，例如，应用渐变透明效果、渐变模糊效果、变暗效果和淡出效果。控制单元160还可以控制对模式切换处理中获取或收集的数据进行缓冲，用于淡入效果使用。这样，电子设备100去除了在模式切换处理中发生的闪烁效应。

图4示出了单模式图像数据处理中的硬件操作。可以通过以上参考图2所述的CPU处理器将来自摄像机框架20的数据发送给构成器52、媒体记录器62、和捕获缓冲器71。在以下描述中，直接针对单模式操作，不包含CPU配置过程。控制单元160响应于用户请求激活摄像机功能，且摄像机应用可以在应用层操作。控制单元160可以响应于通过输入单元120的输入或预定配置数据，控制摄像机功能在选定操作模式下操作，例如单模式或双模式。如果选择了单模式，或如果输入了单模式配置信号，则控制单元160可以从图像传感器模块170的图像传感器之一接收图像数据。例如，由图像传感器模块170的第二图像传感器172输入图像数据，当从第一图像传感器接收到图像数据时进行类似操作。

摄像机驱动器10可以接收由第二图像传感器172提供的Bayer型图像数据或从Bayer型图像数据转换的YUV型图像数据。Bayer滤波器马赛克是一种用于在光学传感器的方格网上布置RGB滤色器的滤色器阵列(CFA)。Bayer滤波器马赛克是数字摄像机、摄影机和扫描仪内的大多数单芯片数字图像传感器中使用的滤色器的特定排列。滤波器图案是50％绿、25％红和25％蓝。摄像机驱动器10可以向摄像机框架20发送所接收的图像数据。在单模式配置下，摄像机框架20可以配置为从构成器52、媒体记录器62、或捕获缓冲器71接收图像数据。摄像机驱动器10可以向摄像机框架20发送图像数据指示符而不是实际图像数据，以便跳过存储拷贝处理(零拷贝)。同时，在单模式下，摄像机驱动器10可以向构成器52发送从由第二图像传感器172提供的图像中选择的预览图像。在请求用于记录运动图像数据的视频模式的情况下，摄像机驱动器10向媒体记录器62发送视频数据。如果接收到用于存储捕获数据的请求，则摄像机驱动器10向捕获缓冲器71发送该视频数据，并向JPEG编码器21发送写入捕获缓冲器71中的图像数据。

在单模式下，图像数据处理系统可以建立单模式通道，而不需要双摄像机框架30、图形处理单元(GPU)41和对应缓冲器来支持预览模式、视频模式和捕获模式。有利地，在单模式下，图像数据处理系统通过禁用用于处理图像数据的GPU的操作，最小化GPU41的电流消耗。

图5是示出了在双模式图像数据处理过程中的硬件操作的图。参考图5，控制单元160响应于用户命令使用在应用层操作的摄像机应用来激活摄像机功能，而与操作模式(即，单模式或双模式)无关。控制单元160可以响应于通过输入单元120的输入命令或预定配置数据，控制摄像机功能在特定操作模式操作，例如单模式或双模式。控制单元160可以从图像传感器模块170的图像传感器171和172接收图像数据。设备100可以支持在图像传感器模块170包括多于两个图像传感器的情况下进行图像合成和处理。控制单元160的摄像机驱动器可以向摄像机框架20发送由第一和第二图像传感器171和172提供的视频数据。摄像机框架20可以向双摄像机框架30发送双模式操作接收的图像数据。双摄像机框架30可以分配缓冲器以便缓冲所接收的图像数据，并应用图像效果。可以默认地或响应于用户请求，执行图像效果应用，且图像效果应用可以提供为不同尺寸和位置形式，例如，立方形、心形和明信片。

双摄像机框架30可以响应于当前在双模式下执行的功能，向OpenGL40发送视频数据。在双预览模式下，双摄像机框架30可以向OpenGL40发送第一和第二图像传感器171和172的预览数据。为了处理预览数据，OpenGL40可以开始向相应表面纹理缓冲器51写入来自第一和第二图像传感器171和172的预览数据。可以通过构成器52将在表面纹理缓冲器51中写入的预览数据与UI层元素合并，以便通过显示单元140输出。在双视频模式下，双摄像机框架30可以向OpenGL40发送由第一和第二图像传感器171和172提供的视频数据，且OpenGL40可以合并来自双摄像机框架30的视频数据，并将合并的视频数据写入共用缓冲器。有利地，系统通过向构成器52和媒体记录器62发送写入共用缓冲器的视频数据，防止对预览数据和视频数据的多余处理。此外，如果第一图像传感器171的视频数据和第二图像传感器172的视频数据分辨率不同，则OpenGL40的GPU41可以执行合成，以便补偿分辨率差别。例如，OpenGL可以基于高分辨率图像(即，第二图像传感器172的分辨率)执行缓冲器分配和图像合成。

在图像数据捕获模式下，控制单元160根据预定配置数据或响应于用户请求建立特定处理路径。例如，电子设备100可以支持双捕获模式、基于第一图像传感器的单捕获模式和基于第二图像传感器的单捕获模式中的至少一个。在支持双捕获模式的状态下，控制单元160将来自第一和第二图像传感器171和172的捕获数据合并为合并后的捕获数据，并对其进行编码和存储。控制单元160可以通过响应于对高分辨率捕获数据分辨率加以指示的数据，基于显示单元140长宽比处理低分辨率捕获数据，来产生合并的捕获数据。控制单元160可以将来自第一图像传感器171数据的预览数据大小归一化为第二图像传感器172的预览数据大小，用于由显示单元140显示基于双预览模式的图像。备选地，在合并传感器数据中，单元160可以相对于来自另一传感器的数据，用范围从0到1的权重值来归一化图像传感器数据。单元160可以限制尺寸调整，以便阻止第一图像传感器171的捕获图像非自然表现，其中以实验和统计学方式计算非自然程度。可以响应于第一和第二图像传感器171和172之间的分辨率差别，针对单个电子设备调整计算出的值。设备100建立包括图形处理器的双模式处理路径，以便合并来自多个图像数据传感器的图像数据。

图6示出了由电子设备100提供的摄像机功能相关屏幕界面的显示图像。设备100可以支持以下模式中的至少一个：如示例性屏幕显示600所示的基于第一图像传感器的单模式、如示例性屏幕显示603所示的基于第一和第二图像传感器的双模式、如示例性屏幕显示604所示的效果图像应用和位置改变双模式、和基于第二图像传感器的单模式。电子设备100可以在操作模式中进行切换。尽管将效果图像603呈现在示例屏幕显示604中，然而还可以在其它屏幕图像中提供效果图像603。尽管在双模式下分别将由图像传感器提供的图像601和602呈现在主屏幕和画中画(PIP，Picture-In-Picture)窗口中，然而，例如电子设备100的显示单元140还可以通过绘制水平或垂直中心线来划分屏幕，以便分别显示由图像传感器提供的图像601和602。PIP窗口可以配置为具有预定区域，从而不遮挡主图像中的面部。

在单模式下，电子设备100可以在UI层上上覆预览图像，而不使用图形处理器(GPU)，并激活构成器52。在双模式下，电子设备100可以基于图形处理器使用支持第一和第二图像传感器171和172的图像纹理，并可以分配缓冲器以便使用该图像纹理。电子设备可以响应于用户或系统命令，通过GPU41的操作合并由第一和第二图像传感器171和172提供的图像数据，并在缓冲器中存储至少一个效果图像603。在双预览模式下，可以向显示单元缓冲器发送写入缓冲器中的纹理，以便用于预览，并向JPEG编码器提供该纹理，以便支持无缝捕获功能。

在实施例中，当从单模式切换到双模式时，电子设备可以确保第一和第二图像传感器171和172的图像数据的纹理。在双预览模式或双视频模式下，电子设备100可以通过切换到预定纹理，凭借纹理发送无缝切换背景和PIP窗口，而不产生额外纹理。在背景与PIP窗口之间切换期间，电子设备100可以通过基于GPU的操作和记录，支持不同模式之间的无缝切换。在单模式下，电子设备可以在未激活例如的第二图像传感器的状态下提前产生与第一图像传感器的图像相对应的PIP纹理，，使得响应于语音识别、UI触摸、或物理键输入，将PIP纹理应用到单模式屏幕。

在实施例中，电子设备100可以产生对应于多个效果图像603的遮掩，作为相应纹理。该纹理管理方法降低了在效果图像603之间切换时的延迟。在双视频模式下可以自由开启／关闭PIP窗口。电子设备100可以响应于预定规则，确定被应用了效果图像603的PIP窗口的位置。例如，如果在双模式下检测到触发应用效果图像603的输入信号，则在默认确定的位置处输出被应用了效果图像603的PIP窗口。如果改变了被应用了效果图像603的PIP窗口的位置，则PIP窗口可以显示在默认指定的位置处。电子设备100可以根据PIP窗口的位置应用效果图像603。为此，摄像机应用80可以管理PIP窗口的位置值和效果图像应用状态。响应于请求了新效果图像，可以将新效果图像603应用到先前PIP窗口的位置。设备100产生对应于由图像传感器提供的图像数据的纹理，基于该纹理合并图像并应用效果图像。电子设备100可以根据用户请求改变PIP窗口的尺寸和位置，并可以限制效果图像603的尺寸的范围，以便不超出屏幕。

电子设备100还可以包括不同功能模块。例如，电子设备还可以包括短程通信模块、用于电子设备无线或有线通信的数据通信接口、用于连接到互联网协议(IP)网络的互联网通信模块和用于接收并播放数字广播信号的数字广播模块。电子设备100可以包括基于不同通信协议操作的蜂窝通信终端、便携式多媒体播放器(PMP)、数字广播播放器、个人数字助手(PDA)、音乐播放器(例如，MP3播放器)、便携式游戏机、智能电话、膝上型计算机、手持型计算机、以及执行通信和多媒体处理的等同物。

有利地，所述图像数据处理系统降低图像数据处理负载和电力消耗，并提供便于用户的界面。尽管使用特定术语描述了本公开的优选实施例，然而本领域技术人员将理解在不脱离本系统广义精神和范围的前提下，可以进行不同的修改和改变。上述实施例可以实现为硬件、固件或作为存储在诸如CD ROM、数字通用盘(DVD)、磁带、RAM、软盘、硬盘或光磁软盘的记录介质上的软件或计算机代码，或在网络上下载的原始存储在远程记录介质或非暂时机器可读介质上并存储在本地记录介质上的计算机代码，使得使用通用计算机、或专用处理器或可编程或可专用硬件(例如ACIC或FPGA)将这里所述方法加载到存储在所述记录介质上的软件中。如本领域技术人员理解的，计算机、处理器、微处理器控制器或可编程硬件包括存储组件，例如，RAM、ROM、闪存等，其可以存储或接收软件或计算机代码，这些软件或计算机代码在被计算机、处理器或硬件访问和执行时实现这里所述的处理方法。此外，应该认识到，当通用计算机访问用于执行这里示出的所述处理的代码时，所述代码的执行将通用计算机转化为具体用途的计算机，用于执行这里示出的所述处理。可以自动地、或响应于用户命令全部地或部分地执行这里的功能和处理步骤。响应于可执行命令或设备操作而无需用户直接发起动作，来执行自动执行的动作(包括步骤)。

Claims

1.一种用于处理图像数据的电子设备，所述电子设备包括：

多个图像传感器；以及

控制单元：

响应于仅从多个图像传感器中的一个图像传感器接收图像数据，禁用图形处理单元并建立到输出点的单模式处理路径，以便使用对应于系统处理单元的第一处理器通过所述单模式处理路径来处理所接收图像数据；

响应于从多个图像传感器中的两个或更多个传感器接收图像数据，建立到所述输出点的双模式处理路径，以便使用对应于图形处理单元的第二处理器来处理图像数据，并通过所述双模式处理路径来处理所述图像数据；以及

响应于检测到用于从单模式切换到双模式的请求，缓冲纹理数据，所述纹理数据与使用多个图像传感器获取的图像数据一同使用，并输出或存储使用所述纹理数据得到的合并图像数据。

2.根据权利要求1所述的电子设备，其中所述控制单元包括：

摄像机驱动器，接收由一个传感器提供的图像数据；以及

以下组件中的至少一个：

构成器，将由摄像机驱动器提供的所接收图像数据与预定屏幕数据分量相合并，

媒体记录设备，用于基于由摄像机驱动器接收的图像数据来记录视频；

捕获缓冲器，用于缓冲基于所述图像数据得到的捕获数据，和

JPEG编码器。

3.根据权利要求1所述的电子设备，其中所述控制单元分配多个缓冲器，用于缓冲纹理数据，所述纹理数据要与所接收图像数据一同使用。

4.根据权利要求1所述的电子设备，还包括：共用缓冲器，用于缓冲通过合并获得的图像数据，其中共用缓冲器存储预览数据和视频数据。

5.根据权利要求1所述的电子设备，还包括：缓冲器，用于缓冲图像效果数据，所述图像效果数据用于与图像数据的合并。

6.根据权利要求1所述的电子设备，其中所述控制单元发起在双模式和单模式之间切换，以保持纹理并执行逐步呈现处理。

7.一种图像数据处理方法，包括：

响应于仅从多个图像传感器的一个图像传感器接收图像数据，禁用图形处理单元并建立到输出点的单模式处理路径，以便使用对应于系统控制单元的第一处理器来处理所接收图像数据，并使用第一处理器通过所述单模式处理路径来处理接收图像数据，

响应于从多个图像传感器的两个或更多个图像传感器接收图像数据，建立到所述输出点的双模式处理路径，以便使用对应于图形处理单元的第二处理器来处理图像数据，并通过所述双模式路径来处理图像数据；以及

8.根据权利要求7所述的方法，还包括：

接收由一个传感器提供的图像数据，以及

以下操作中的至少一个：

合并由摄像机驱动器提供的图像数据和预定屏幕数据分量；

基于由摄像机驱动器提供的图像数据来记录视频，并缓冲基于所述图像数据得到的数据。

9.根据权利要求7所述的方法，还包括：分配多个缓冲器，用于缓冲与所接收图像数据一同使用的纹理数据。

10.根据权利要求7所述的方法，还包括：

使用共用缓冲器缓冲合并的图像数据；以及

将共用缓冲器缓冲的图像数据用作预览数据和视频数据。

11.根据权利要求7所述的方法，还包括：缓冲用于与图像数据的合并的图像效果数据。

12.根据权利要求7所述的方法，还包括：响应于在双模式和单模式之间切换，保持纹理并执行逐步呈现处理。

13.一种计算机可读介质，其上存储有指令，当在电子设备上执行所述指令时使所述电子设备执行根据权利要求7所述的方法。