CN104918027B - 用于生成数字处理图片的方法、电子装置和服务器 - Google Patents

Abstract

本发明公开了用于生成数字处理图片的方法、电子装置和服务器。该用于生成数字处理图片的方法包括：从电子装置接收由电子装置的图像传感器生成的原始图像数据和由在电子装置处的辅助传感器产生的辅助传感器数据。该方法还包括在考虑所述辅助传感器数据的情况下处理所述原始图像数据以生成将数字处理图片。

Description

用于生成数字处理图片的方法、电子装置和服务器

技术领域

本公开内容一般涉及用于生成数字处理图片的方法、电子装置和服务器。电子装置可以是例如，手持相机、数码单镜头反光(DSLR)相机、或智能手机。服务器可以是互联网中提供云服务的服务器系统的一部分。

背景技术

数码摄影和数码录像通常由以下基本部分组成：光学器件、图像传感器和信号处理。光学系统将入射光聚焦到电子图像传感器上。图像传感器转换照射光用于引起可测量的电效应。由模拟至数字转换器采样可测量的电效应。信号处理组件通过转换和处理由图像传感器获得的数据来重建图像并且将数字表示转换成可视格式。重建步骤通常包括以下处理步骤：去马赛克或去拜耳(debayering)，将传感器数据转换成可以由监控器显示的RGB格式。后续处理步骤可包括伽玛校正、色度子采样、降噪和JPEG编码。所得到的图像通常存储在如闪速存储器、光盘、或硬盘驱动器等的记录介质上。

多年来，以自动聚焦传感器(AF传感器)开始，除图像传感器之外的额外传感器已集成到电子装置和相机。这些额外传感器(例如陀螺仪传感器、加速计、GPS接收器、温度传感器)或者直接用于图像处理步骤，或者他们的数据与图像数据一起被传送为元数据，用于允许用户端的更多功能，例如通过GPS，GLONASS，伽利略的定位跟踪。

存储的图像的质量取决于各个组件的质量。最近，称为“计算摄影学(CP)”的趋势已引入新设计范例，根据该设计范例核心部分(光学器件、传感器、信号处理)是共同设计的，用于允许通过计算补偿光学器件和传感器的不足。

发明内容

根据本公开的一个方面，提供一种方法包括：从电子装置接收由电子装置的图像传感器生成的原始图像数据和由在电子装置处的辅助传感器产生的辅助传感器数据，并且在考虑所述辅助传感器数据的情况下来处理所述原始图像数据以生成将数字处理图片。

根据本公开的另一方面，提供一种电子装置包括：图像传感器，用于感测图像并且用于生成表示所述图像的原始图像数据；辅助传感器，用于获取辅助传感器数据；以及发送器，用于将所述原始图像数据和所述辅助传感器数据传输至远程图像处理服务器，其中所述远程图像处理服务器被配置为在考虑所述辅助传感器数据的情况下来处理所述原始图像数据以生成将数字处理图片。

根据本公开的另一方面，提供一种服务器包括处理器，该处理器被配置为：接收原始图像数据；接收辅助传感器数据；并且在考虑所述辅助传感器数据的情况下来处理所述原始图像数据以生成将数字处理图片。

另外的方面在从属权利要求、以下描述和附图中进行阐述。

附图说明

参照附图通过示例的方式说明实施方式，其中：

图1示意性地示出一种电子装置的实施方式，这里是数码相机；

图2示意性地示出当处理原始图像数据以生成数字处理图片时执行的操作的示例性顺序；

图3示意性地示出生成数字处理图片的系统；

图4示意性地示出将数据从数码相机传输至图像处理服务器用于生成数字处理图片的两个模式；以及

图5a示意性地示出由重建部(图像处理服务器)执行的用于生成数字处理图片的方法的实施方式，以及图5b示意性地示出由获取部(电子装置)执行的用于生成数字处理图片的方法的实施方式。

具体实施方式

现在描述电子装置、云服务、服务器、和用于生成数字处理图片的方法的实施方式的实施例。

一种用于生成数字处理图片的方法可以包括：从电子装置接收由电子装置的图像传感器生成的原始图像数据和由在电子装置处的辅助传感器产生的辅助传感器数据；并且考虑辅助传感器数据的情况下处理原始图像数据以生成将数字处理图片。

电子装置可以是，例如，包括图像传感器的任何装置，如数码相机，尤其是数码袖珍相机、数码单镜头反光相机(DSLR)、或具有集成的相机的智能手机。

接收原始图像数据和辅助传感器数据以及处理所述原始图像数据以生成数字处理图片可以通过远程图像处理服务器来执行。

该方法可进一步包括：通过所述电子装置使用图像传感器生成原始图像数据；通过所述电子装置从辅助传感器获取辅助传感器数据；并且通过所述电子装置将所述原始图像数据和所述辅助传感器数据传输到远程图像处理服务器。

原始图像数据通常包括来自图像传感器的未处理的或最低程度处理的数据。最低处理可以包括：例如，包含用于解释原始传感器信号的传感器元数据，包含例如传感器的尺寸和滤色器阵列的属性及其颜色配置文件。一些原始图像数据包括具有Exif格式的数据的标准化的元数据部分。同样，为了压缩目的，原始图像数据可以是编码的数据。

原始图像数据通常需要通过所谓的原始转换器进行一些进一步处理以便获得可以在显示装置上查看的数字处理图片。在下文中使用的术语数字处理图片用于界定从原始图像数据数字处理过的图像数据。例如，为了获得数字处理图片，原始图像数据可被转换成宽色域颜色空间，其中在转换成如TIFF或JPEG的数字处理的图片的文件格式之前可以进行精确地调整。进一步处理可以包括：在设备相关颜色空间中编码数字处理图片。当将原始图像数据转换成数字处理图片的标准化的、准备将要使用的格式时，可以进行许多操作。这样的操作可以包括预处理(包括去马赛克或去拜耳)、伽马校正、颜色空间转换、YUV空间处理、和图像压缩中的至少一个。

在以下更详细描述的实施方式中，考虑了辅助传感器数据来处理原始图像数据以生成数字处理图片。

辅助传感器数据可包括音频数据、电子装置设置、操作电子装置数据、用户数据、位置数据、移动数据、温度数据、气象数据、和无线电数据中的至少一个。

该方法可以进一步包括通过所述远程图像处理服务器发送所述数字处理图片到电子装置。在可替换的实施方式中，数字处理图片被发送至与生成原始图像数据的电子装置不同的再现装置。

处理所述原始图像数据以生成数字处理图片可包括：原始图像数据的装置类型相关处理，原始图像数据的基于加速计的处理，原始图像数据的基于位置的处理，原始图像数据的温度相关处理，或者原始图像数据的装置设置相关处理。

同样公开一种服务器包括处理器，该处理器被配置为接收原始图像数据，接收辅助传感器数据，并且将所述辅助传感器数据纳入考虑来处理所述原始图像数据以生成数字处理图片。处理器可以是单个处理器或包括位于不同位置的多个处理单元的分布式处理器。

提供处理原始图像数据的云服务的云服务器系统可包括一个或多个如上所述的图像处理服务器。

现在参考附图更详细地描述电子装置、云服务、服务器、和用于生成数字处理图片的方法的实施方式。

图1示意性地示出了电子装置101的框图。电子装置101具有光学器件103、图像传感器105、GPS接收器107、陀螺仪109、加速计111、麦克风113、用于音频信号的模拟至数字转换器115、内部处理器117、和发送器119。发送器119被设置用于将原始图像数据传输至远程图像处理服务器，该远程图像处理服务器被配置用于将由图像传感器105生成的原始图像数据转换为数字处理图片。传感器107、109、111产生辅助传感器数据，该辅助传感器数据同样通过发送器119被发送到远程图像处理服务器。远程图像处理服务器可以是提供图像处理的云服务的云系统的一部分。

图2示出了由位于远程图像处理服务器的原始转换器完成的用来根据从电子装置(如参考图1描述的电子装置)接收的原始图像数据获得数字处理图片的处理的实施方式。在图2的处理中，进行许多操作。这些操作包括去马赛克201(或去拜耳)、伽马校正203、颜色空间转换205、YUV空间处理207、和图像压缩209。

在可替换的实施方式中，原始图像数据的处理还可以包括降噪、色调映射、色度子采样、白平衡等。

在图2的实施方式中，举例说明的预处理操作以通常进行这些操作的顺序列出。然而，这个顺序不受约束并且可以在可替换实施方式中改变。此外，根据特定图像传感器的要求，列出的操作的任何子集可以从操作的顺序中省去。

根据在此描述的实施方式，来源于电子装置的原始图像数据的转换是由远程图像处理服务器进行的。换言之，所述原始图像数据的所述处理步骤的全部或至少一个是由远程图像处理服务器进行的。

图3示意性地示出生成数字处理图片的系统300的实施方式。系统300包括获取部310、重建部320、和查看/再现部(部件)330。获取部310可以是如图1的实施方式中公开的电子装置，例如数码相机。与图1相似，图3的实施方式的获取部310是包括光学器件311、图像传感器312和压缩与传输单元314的电子装置。此外，图3的获取部310还包括本地存储器313。光学器件311被配置为将对象的图像形成在图像传感器312上。图像传感器312被配置为生成由图像传感器312接收的图像的原始图像数据。图像传感器312被配置为将原始图像数据发送到本地存储器313，在此暂时存储原始图像数据。此外，获取部310包括麦克风315和模拟至数字转换器316。麦克风315被配置为生成音频信号并且将音频信号提供到模拟至数字转换器316。模拟至数字转换器316被配置为将音频数据(同样可以用作辅助传感器数据)发送到本地存储器313。本地存储器313可以是闪速存储器、光盘驱动器等。本地存储器313被配置为将存储的原始图像数据和存储的辅助传感器数据发送到压缩与传输单元314。此外，获取部310包括GPS传感器317。GPS传感器317被配置为获得GPS数据并且将GPS数据(用作辅助传感器数据)发送到本地存储器313。

压缩与传输单元314被配置为将由图像传感器312获取的原始图像数据和辅助传感器数据传输至系统300的重建部320。为了节省传输带宽，在原始图像数据向重建部320传输之前，压缩与传输单元314可压缩原始图像数据。

图4示意性地示出了获取部310的压缩与传输单元314可执行的将数据发送到重建部320的两个模式。在图4的实施方式中，获取部310由数码相机401形成，并且重建部320由包括图像处理服务器403的云服务器系统405形成。根据第一模式，数码相机401通过内置系统的获取部的GSM、UMTS、或LTE发送器(例如，图3的电子装置的压缩与传输单元314，或图2的电子装置的发送器19)将原始图像数据直接发送到图像处理服务器403。根据第二模式，数码相机401通过电缆连接或WIFI连接而连接至智能手机407。这个连接被用于将原始图像数据和辅助传感器数据从数码相机401发送至智能手机407。智能手机407起到数码相机401与图像处理服务器403之间的网关的作用。智能手机将从数码相机401接收的原始图像数据和辅助数据转发到云服务器系统405。

返回到图3的实施方式。系统300的重建部320可以是位于云中的图像处理服务器。因此重建部320位于远离获取部310的位置，例如在服务供应商的中央局处。重建部320可以实现为云服务。就是说，多个图像处理服务器可以分布的方式执行重建部320的功能。

重建部320包括云处理和存储单元321，该云处理和存储单元被配置为处理从获取部310接收的原始图像数据，以便将原始图像数据转换成数字处理图片。当进行原始图像数据的处理时，重建部320考虑从获取部310接收的辅助传感器数据，这一点在以下呈现的实施方式中更详细地描述。重建部320被配置为将通过处理原始图像数据获得的数字处理图片发送至系统300的查看/再现部330。

查看/再现部330包括用于显示或再现数字处理图片和音频信息的传输、解压缩与查看/再现单元331。查看/再现部330采用显示重建的数字处理图片的显示器332。查看/再现部330进一步包括输出音频信息的扬声器333。

通常，获取部310和查看/再现部330由相同的电子装置形成，例如，如图2的实施方式所示的数码相机。然而，获取部310和查看/再现部330不一定要位于相同的电子装置中。例如，用作获取部310的数码相机的显示器(或取景器)可以通过智能手机或笔记本实现。

因为原始图像数据的处理由重建部320执行，很少或者甚至没有原始图像数据的处理需要由获取部310，即由如数码相机的电子装置执行。因此，获取部310的处理能力可以被减少到最小。

例如，重建部320可以执行图2的实施方式中描述的操作。因此，在这个实施方式中，可以将获取部310从执行原始图像数据转换的预处理步骤的负担中解放出来。这允许更高效的设计形成获取部310的电子装置。例如，对于获取部310，可以应用更具成本效益的内部处理器。这允许更简单且成本更低的电子装置被用作获取部310。

重建部320处的处理还可以包括以下操作，如：生成更大的像素密度、调整颜色平衡、调整对比度、调整伽马、调整亮度、过滤装置限制的固定模式噪声、使用维纳滤波器过滤噪声、改变变焦系数、重新裁剪、应用增强滤波器、应用平滑滤波器、应用主体相关滤波器、应用坐标变换、变形、失真、改变透视、艺术增强、以及超出手持电子装置(例如手持数码相机)的实际能力地改善获取的图像数据。

其他图像处理功能可以由重建部320执行，如：压缩图像、使用插值算法调整大小和/或缩放、在图像上执行直方图均衡、在图像上执行颜色增强算法、减少人的图像的红眼效应、执行几何变换、去模糊图像、从图像滤除噪声、动态范围扩展、校正镜头失真的影响、运动补偿以减少相机摇动和/或目标运动的效果、执行超分辨率增强技术、以及将多个图像缝合在一起以产生马赛克和全景、转码。

在系统的获取部配备麦克风(图3中的315)的情况下，由重建部进行的处理还可以包括音频处理。

处理步骤可以从低端到高端排列的特定应用要求的质量等级来执行。由于图像处理服务器或云服务潜在可用的高度可用的计算能力，由图像处理服务器或云服务完成的原始数据处理可以比在常规电子装置中执行的更好。例如，原始图像数据的处理可以被应用到具有千兆像素图像传感器的光场相机或数码相机的获取部产生的原始图像数据。

处理原始图像数据中利用的算法可以在将来的任何时间升级，因为获得的原始图像数据包括纯粹的传感器数据。这允许云图像处理服务受益于图像处理方面的最新的算法进展。在这个意义上，图3的系统300可可以是未来可升级的。

此外，可以实时进行完整的图像生成处理。此外，来自获取部310的图像传感器的原始图像数据可以被立即发送到重建部320，或者离线情况下，原始图像数据可以存储在电子装置中并且随后可从家、办公室、或旅馆发送到图像处理服务器的最终图像处理平台。

图5a和图5b示出用于生成数字处理图片的方法的实施方式。

图5a描述由可以形成图3的重建部320的图像处理服务器执行的操作的实施方式。在S501，从电子装置接收由电子装置的图像传感器生成的原始图像数据和由电子装置处的辅助传感器产生的辅助传感器数据。在S503，将所述辅助传感器数据纳入考虑来处理原始图像数据以生成数字处理图片。

图5b描述由可以形成图3的获取部310的电子装置执行的操作的实施方式。在S511，电子装置使用图像传感器生成原始图像数据。在S513，从辅助传感器获得辅助传感器数据。在S515，将原始图像数据和辅助传感器数据传输至远程图像处理服务器。

在下文中，更详细地描述实施方式，其中由用作重建部(图3中的320)的图像处理服务器，考虑了从用作获取部(图3的310)的电子装置接收的辅助传感器数据来处理原始图像数据以生成数字处理图片。

原始图像数据的装置类型相关处理

如袖珍相机或DSLR的数码相机包括确定相机中使用的镜头的类型的传感器。例如，DSLR通常接收识别镜头的类型和型号的元信息。同样，如焦距、光圈和快门速度的相机设置可由数码相机感测。这样的传感器数据可作为辅助数据被传输到在处理原始图像数据时考虑镜头的实际类型的图像处理服务器。例如，考虑镜头型号的镜头校正算法可以在图像处理服务器处理原始图像数据时应用。

原始图像数据的基于加速计的处理

此外或可选地，从集成到相机装置的加速计获得的传感器数据可以用于提高数字处理图片的质量。例如，进行模糊减少的算法可能会受益于相机装置在拍摄图片的时刻的移动信息。

原始图像数据的基于位置的处理

此外或可选地，例如，上载到图像处理服务器的原始图像数据可以与图像处理服务器处的中央数据库中或者连接至图像处理服务器的数据库中存储的其它图像数据或其它图像相比较。当上载图像的特征集与存储图像的对应特征集之间的匹配度超过预定阈值时，与所述存储的图像相关的位置信息可以用于标记数字处理图片的位置信息。

例如，位置相关的信息可以是以下信息的任何子集：当地时间、任何类型的当地天气预报、与图像中获取的一个或多个对象有关的说明性的信息或标签(例如，村庄名、山脉、河流、小溪、山地棚屋、桥梁、火车站、公共汽车站、关口、滑雪缆车)、公共交通的时间表、位于用户附近的热点的列表、当地无线电频道的列表、感兴趣的地点的列表、地图、事件日历、定位系统的历书(例如，GPS、GLONASS、伽利略)、或者用户感兴趣的或者可以用于电子装置或智能手机上的App(软件应用)的任何其他的位置相关的信息。

原始图像数据的温度相关处理

此外或可选地，图像处理服务器可以考虑在获取原始图像数据时电子装置的部分的实际温度。例如，电子装置的光学器件的某些光学特征可以是温度依赖的。因此，可以采用图像处理服务器来至少部分地补偿镜头或电子装置光学器件的温度依赖性。

除这些之外，图像处理服务器可以考虑在获取原始图像数据时电子装置的另一部分的实际温度。例如，电子装置的图像传感器的某些光学特征可以是与温度有关的。因此，可以采用图像处理服务器完全或至少部分地补偿图像传感器的温度依赖性。

原始图像数据的装置设置相关处理

此外或可选地，图像处理服务器可考虑用户偏好。用户的偏好使用如位置、设备类型(例如相机类型)、个人资料(就像职业、年龄、性别)的辅助信息隐含限定或者使用有关装置设置的信息或个人网页上的条目明确限定。

如果没有另外说明，本说明书中描述和权利要求中要求保护的所有设备和实体能够在，例如芯片上实现为集成电路逻辑，并且如果没有另外说明，由这些设备和实体提供的功能能够通过软件来实现。

本发明还可公开如下：

(1)一种方法包括：

从电子装置接收由所述电子装置的图像传感器生成的原始图像数据和由在所述电子装置处的辅助传感器产生的辅助传感器数据；以及

将所述辅助传感器数据纳入考虑来处理所述原始图像数据以生成将数字处理图片。

(2)根据(1)所述的方法，其中，接收原始图像数据和辅助传感器数据并且处理所述原始图像数据以生成数字处理图片是由远程图像处理服务器执行的，所述方法还包括：

通过所述电子装置使用图像传感器生成原始图像数据；

通过所述电子装置从辅助传感器获取辅助传感器数据；以及

通过所述电子装置将所述原始图像数据和所述辅助传感器数据传输到所述远程图像处理服务器。

(3)根据(1)或(2)所述的方法，其中，所述辅助传感器数据包括音频数据、电子装置设置、操作电子装置数据、用户数据、位置数据、移动数据、温度数据、气象数据、和无线电数据中的至少一个。

(4)根据(1)至(3)中任一项所述的方法，其中，处理所述原始图像数据以生成数字处理图片包括根据所述辅助传感器数据进行图像处理。

(5)根据(1)至(4)中任一项所述的方法，还包括，通过所述远程图像处理服务器将所述数字处理图片发送到所述电子装置。

(6)根据(1)至(5)中任一项所述的方法，其中，处理所述原始图像数据以生成数字处理图片包括原始图像数据的装置类型相关处理。

(7)根据(1)至(5)中任一项所述的方法，其中，处理所述原始图像数据以生成数字处理图片包括原始图像数据的基于加速计的处理。

(8)根据(1)至(5)中任一项所述的方法，其中，处理所述原始图像数据以生成数字处理图片包括原始图像数据的基于位置的处理。

(9)根据(1)至(5)中任一项所述的方法，其中，处理所述原始图像数据以生成数字处理图片包括原始图像数据的温度相关处理。

(10)根据(1)至(5)中任一项所述的方法，其中，处理所述原始图像数据以生成数字处理图片包括原始图像数据的装置设置相关处理。

(11)一种电子装置包括：

图像传感器，用于感测图像并且用于生成表示所述图像的原始图像数据；

辅助传感器，用于获取辅助传感器数据；以及

发送器，用于将所述原始图像数据和所述辅助传感器数据传递至远程图像处理服务器，其中所述远程图像处理服务器被配置为将所述辅助传感器数据纳入考虑来处理所述原始图像数据以生成数字处理图片。

(12)一种服务器，包括处理器，所述处理器被设置为

接收原始图像数据；

接收辅助传感器数据；

将所述辅助传感器数据纳入考虑来处理所述原始图像数据以生成数字处理图片。

(13)一种云服务器系统，提供用于处理原始图像数据的云服务，所述云服务器系统包括根据(12)中限定的一个或多个服务器。

Claims (11)

1.一种用于生成数字处理图片的方法，包括：

从电子装置接收由所述电子装置的图像传感器生成的原始图像数据和由在所述电子装置处的辅助传感器产生的辅助传感器数据；

由所述电子装置将所述原始图像数据和所述辅助传感器数据无线发送到智能设备，所述智能设备将所述原始图像数据和所述辅助传感器数据转发到远程图像处理服务器；

由所述远程图像处理服务器从所述智能设备接收所述原始图像数据和所述辅助传感器数据；以及

由所述远程图像处理服务器在考虑所述辅助传感器数据的情况下处理所述原始图像数据以生成所述数字处理图片，

其中，处理所述原始图像数据以生成所述数字处理图片包括：所述原始图像数据的装置类型相关处理。

2.根据权利要求1所述的方法，其中，所述辅助传感器数据包括以下各项中的至少一个：音频数据、电子装置设置、电子装置操作数据、用户数据、位置数据、移动数据、温度数据、气象数据和无线电数据。

3.根据权利要求1所述的方法，其中，处理所述原始图像数据以生成所述数字处理图片还包括：基于所述辅助传感器数据执行图像处理。

4.根据权利要求1所述的方法，进一步包括：由所述远程图像处理服务器将所述数字处理图片发送到所述电子装置。

5.根据权利要求1所述的方法，其中，处理所述原始图像数据以生成所述数字处理图片还包括：所述原始图像数据的基于加速计的处理。

6.根据权利要求1所述的方法，其中，处理所述原始图像数据以生成所述数字处理图片还包括：所述原始图像数据的基于位置的处理。

7.根据权利要求1所述的方法，其中，处理所述原始图像数据以生成所述数字处理图片还包括：所述原始图像数据的温度相关处理。

8.根据权利要求1所述的方法，其中，处理所述原始图像数据以生成所述数字处理图片还包括：所述原始图像数据的装置设置相关处理。

9.一种电子装置，包括：

图像传感器，用于感测图像并且用于生成表示所述图像的原始图像数据；

辅助传感器，用于获取辅助传感器数据；以及

发送器，用于将所述原始图像数据和所述辅助传感器数据无线发送到智能设备，其中远程图像处理服务器被配置为从所述智能设备接收所述原始图像数据和所述辅助传感器数据并且在考虑所述辅助传感器数据的情况下处理所述原始图像数据以生成数字处理图片，

其中，处理所述原始图像数据以生成所述数字处理图片包括：所述原始图像数据的装置类型相关处理。

10.一种服务器，包括处理器，所述处理器被配置为：

从智能设备接收原始图像数据，所述原始图像数据由电子装置的图像传感器生成并且由所述电子装置传递给所述智能设备；

从所述智能设备接收辅助传感器数据，所述辅助传感器数据由在所述电子装置处的辅助传感器生成并且由所述电子装置传递给所述智能设备；以及

在考虑所述辅助传感器数据的情况下处理所述原始图像数据以生成数字处理图片，

其中，处理所述原始图像数据以生成所述数字处理图片包括：所述原始图像数据的装置类型相关处理。

11.一种云服务器系统，所述云服务器系统提供用于处理原始图像数据的云服务，所述云服务器系统包括根据权利要求10所述的一个或多个服务器。