CN109219833B - 使用深度信息增强图像中的边缘 - Google Patents

Abstract

一种用于使用深度信息增强图像帧中的边缘的方法，包括接收彩色图像帧和深度图帧(510)。该方法还包括生成锐化掩模以控制对彩色像素应用图像锐化(520)。锐化掩模基于对应于彩色像素的深度像素的值，并且还基于生成彩色图像帧的深度相机(104)的特性，包括景深、焦距、以及超焦距。该方法还包括计算针对彩色像素的锐化强度(530)。锐化强度与对应于彩色像素的深度像素的值成比例。该方法还包括向彩色图像帧应用锐化滤波，以增强边缘图像特征(540)。锐化滤波基于锐化掩模和锐化强度。

Description

使用深度信息增强图像中的边缘

背景技术

诸如智能电话和平板电脑之类的移动设备已经成为用于图像和视频捕捉的主流机构。由这些设备中的相机递送的图像质量不断改善，并且已经成为对于这些设备的消费者而言的关键产品区分因素。因此，图像信号处理(ISP)在相机和移动平台中扮演越来越重要的角色，并且ISP流水线可以相对复杂。边缘增强是通常在ISP流水线中执行的操作之一，并且一般包括应用图像锐化滤波。然而，不幸地是，锐化滤波还会在图像帧的一些区域中产生不期望的图像伪影。

附图说明

本专利或申请文件包含至少一幅彩图。本专利或专利申请公开和彩图的副本将基于请求和必要费用的支付由官方提供。

随着下面的详细描述的继续并且参考附图，请求保护的主题的实施例的特征和优点将变得显而易见，其中，相似的标号描绘相似的部分。

图1是根据本公开某些实施例配置的基于深度的边缘增强系统的实施方式的顶层框图。

图2示出了根据本公开某些实施例的用于边缘增强的图像锐化的示例。

图3示出了根据本公开某些实施例的焦距和景深。

图4是根据本公开某些实施例配置的基于深度的边缘增强电路的更详细的框图。

图5是示出根据本公开某些实施例的用于图像帧的基于深度的边缘增强的方法的流程图。

图6是示意性地示出根据本公开某些实施例配置的执行图像帧的基于深度的边缘增强的系统平台的框图。

尽管将参考说明性实施例继续下面的详细描述，但是根据本公开的很多替代、修改、和变形将显而易见。

具体实施方式

一般，本公开提供了用于使用深度信息增强图像帧中的边缘的技术。这些图像帧可以由例如，深度相机、3D相机、或者多相机系统生成，其中彩色像素和深度像素二者可以从深度相机、3D相机、或者多相机系统获取。在一些实施例中，彩色像素可以表示红-绿-蓝(RGB)值。在一些实施例中，彩色像素可以表示亮度和色度值(称为YUV)。所公开的技术可以例如，用来基于图像的某些区域中的物体或景色与相机的距离通过选择性地向这些区域应用锐化滤波来改善图像质量。

现有的边缘增强技术一般向图像帧中的所有像素应用相同的锐化强度，这会在图像的一些区域中产生不期望的图像伪影。所公开的技术采用深度图提供的空间信息计算物体的距离关系，并基于物体深度、焦距、和景深调整边缘增强或锐化强度。向较远的物体应用较大的锐化因子或强度，并且可以基于深度图动态调整强度。

根据实施例，可以在例如，计算系统或图像捕捉和处理系统、或者可以由这样的系统控制或执行的软件产品中实现所公开的技术。该系统或产品被配置为接收彩色图像帧和深度图帧，并生成锐化掩模以控制对彩色图像帧的彩色像素应用图像锐化。锐化掩模基于对应于彩色像素的深度像素的值，并且基于生成彩色图像帧的深度相机的包括景深、焦距、以及超焦距在内的特性，如下面将更详细说明的。另外，可以针对彩色像素计算锐化强度。锐化强度与对应于彩色像素的深度像素的值成比例。随后向彩色图像帧应用锐化滤波，以增强边缘图像特征。锐化滤波基于锐化掩模和锐化强度。

根据实施例，相比现有的应用均匀锐化滤波的方法，本文中描述的技术可以允许改善图像。另外，这些技术可以实现在包括移动设备在内的各种计算和通信平台上，因为深度相机功能在这些平台上越来越多地使用。这些技术还可以实现在硬件或软件、或者它们的组合中。

图1是根据本公开某些实施例配置的基于深度的边缘增强系统的实施方式的顶层框图100。深度相机104被配置为生成景色102的一个或多个彩色和深度图像帧。该景色可以覆盖包括与相机之间存在不同距离的人、感兴趣的物体、以及背景区域在内的任意主题。图像帧被提供给图像处理流水线106。该流水线包括多个图像处理电路108、110、以及112，这些图像处理电路被配置为执行诸如，降噪、传感器模式去马赛克、彩色增强、以及边缘增强(仅举几个示例)之类的操作。基于深度的边缘增强电路110被配置为基于深度信息和相机参数选择性地向彩色图像帧的区域应用锐化滤波，以增强图像中的边缘，如将在下面更详细地描述的。经过处理的彩色图像帧随后可以在显示元件114上被显示给用户。

图2示出了根据本公开某些实施例的用于边缘增强的图像锐化的示例。在上方图像210中，没有应用锐化滤波。标记出了两个感兴趣的区域：叶子的前景区202a、以及草的背景区204a。在下方图像220中，向整个图像帧均匀地应用锐化因子(或强度)为64的锐化滤波。可以看出，草的背景区204b由于视觉特征的边缘已经增强或锐化而在视觉上有所改善。但是，前景区202b中的叶子现在展现出不期望的伪影并且看上去更粗糙和更不自然。

图3示出了根据本公开某些实施例的焦距和景深。在第一示例300a中，相机聚焦在树前面的物体(树叶堆)上。因此，焦点平面(或焦距f)308a位于该物体处。景深(DoF)302a定义有关焦点平面308a的距离范围(图像通过该距离范围将处于可接受的焦点处)，并且可以随着焦距的改变而变化。景深302a在近距离可接受聚焦极限304a到远距离可接受聚焦极限306a的范围内。如图所示，近距离极限304a一般从焦点平面朝向相机位于DoF的大约1/3处，而远距离极限306a一般从焦点平面远离相机位于DoF的大约2/3处。这些极限304a、306a、以及DoF 302a之间的精确关系取决于相机透镜的特性，并且可以根据制造商规范或校准过程等提前确定。

但是，如第二示例300b中所示，可以出现另一种情况，其中相机聚焦在更远的距离308b(称为超焦距)处，在该情况中，聚焦在树的上升边缘处。随着相机透镜聚焦到更远的距离，DoF一般增大并且在一些点远距离可接受极限达到无穷大。

图4是根据本公开某些实施例配置的基于深度的边缘增强电路110的更详细框图。基于深度的边缘增强电路110被示出为包括标准化电路404、锐化掩模生成电路406、以及锐化强度计算电路408。另外，基于深度的边缘增强电路110被示出为与帧同步电路402、图像锐化滤波电路410、以及输出编码格式电路412通过接口连接。在高层级，图像处理流水线可以通过使用深度图信息获取图像中的物体或区域的距离来改善边缘锐化。对于处于景深区域中的物体，可以减小锐化强度(或者可以消除锐化处理)。可以向处于景深区域外部的物体应用更大的锐化强度。根据本公开，一旦确定了锐化强度，就可以使用任何已知的图像锐化技术。

标准化电路404可以被配置为对深度图帧进行标准化，使得深度像素的值处于0到255的范围或者适于后续计算的任意其他范围中。

锐化掩模生成电路406可以被配置为生成锐化掩模以控制对每个彩色像素应用图像锐化。锐化掩模基于对应于每个彩色像素的深度像素的值。锐化掩模进一步基于生成彩色图像帧的相机(或相机透镜)的景深、焦距、以及超焦距。

在一些实施例中，锐化掩模生成电路被配置为在深度像素的值处于有关焦距f的选定范围内的情况下，将锐化掩模设置为阻止向彩色像素应用图像锐化，其中上述范围基于景深DoF。例如，

Sharp_mask(u,v)＝0,if(depth(u,v)>f-DoF/3)

and if(depth(u,v)<f+DoF*2/3)

and if(f≠hyperfocal distance)

else＝1

其中，u、v表示彩色像素和相关深度像素的坐标，并且掩模值0指示阻止。值1/3和2/3用作示例，并且可以在实际中基于相机和透镜的特性改变。

锐化掩模生成电路还可以被配置为在深度像素的值大于超焦距的一半并且焦距大于或等于超焦距的情况下，将锐化掩模设置为阻止应用图像锐化。例如，

Sharp_mask(u,v)＝0,if(depth(u,v)>hyperfocal/2)

and if(f＝hyperfocal distance)

在一些实施例中，锐化掩模生成电路可以被配置为在深度像素的值处于一个或多个用户可选择的分段或范围内的情况下，将锐化掩模设置为阻止向彩色像素应用图像锐化。例如，如果经过标准化的深度像素值在0到255的范围中，则用户可以选择该深度值范围中的某些子集，并且将针对这些子集执行锐化。

锐化强度计算电路408可以被配置为计算针对每个彩色像素的锐化强度。锐化强度与对应于彩色像素的深度像素的值成比例。例如，

sharp_strength(u,v)＝default_strength*sharp_mask(u,v)*depth(u,v)/norm其中，根据本公开，default_strength是可以通过其他已知方法计算出的默认锐化强度，并且norm是标准化电路404采用的深度值标准化因子(例如，255)。

图像锐化滤波电路410可以被配置为向彩色图像帧应用锐化滤波，以增强边缘图像特征。锐化滤波基于锐化掩模和锐化强度。

帧同步电路402可以被配置为同步来自彩色图像传感器和深度图传感器的输入，其中，这些输入可能不一定对齐。彩色图像帧和深度图帧的同步有助于来自彩色图像帧的彩色像素与它们的来自深度图的相关深度像素的链接，用于上述计算。

输出编码格式电路412可以被配置为将经过处理和边缘增强的彩色图像帧编码为适于预览、显示、打印、存储、或者进一步处理的格式。在一些实施例中，经过编码的输出格式可以是JPEG(联合图像专家组)格式。

在一些实施例中，ISP电路可以被配置为例如，根据用户的请求或者基于配置设置而禁用基于深度图的边缘增强。在这种情况下，可以采用传统的锐化技术，或者可以完全禁用锐化。

方法

图5是示出根据本公开某些实施例的用于图像帧的基于深度的边缘增强的示例方法500的流程图。可以看出，示例方法500包括多个阶段或子处理，在不同实施例中这些阶段或子处理的顺序可以不同。但是，当整合在一起考虑时，这些阶段或子处理形成根据本文公开的某些实施例的用于基于深度的边缘增强的处理。这些实施例可以例如，使用上述图1和图4所示的系统架构实现。但是，在其他实施例中可以使用其他系统架构，如根据本公开将显而易见的。因此，图1和图4所示的各种功能与其他附图中所示的具体组件的关联不用于暗示任何结构和/或使用限制。相反，其他实施例可以包括，例如，改变整合程度，其中，多个功能由一个系统有效执行。例如，在替代实施例中，单个模块可以被用来执行方法500的所有功能。因此，其他实施例可以根据实现粒度而包括更少或更多的模块和/或子模块。在其他实施例中，所描绘的方法可以被实现为包括一个或多个非暂态机器可读介质的计算机程序产品，该一个或多个非暂态机器可读介质在被一个或多个处理器执行时使得上述方法被执行。根据本公开，多个变形和替代配置将显而易见。

如图5所示，在一个实施例中，用于基于深度的边缘增强的方法500开始于操作510。在操作510，从成像源(例如，深度相机)接收彩色图像帧和深度图帧。彩色图像帧包括彩色像素阵列，并且深度图帧包括深度像素阵列。

接着，在操作520，生成锐化掩模以控制对每个彩色像素应用图像锐化。锐化掩模基于对应于彩色像素的深度像素的值，并且基于生成彩色图像帧的深度相机的包括景深、焦距、以及超焦距在内的特性。在一些实施例中，在相关深度像素的值在有关焦距的选定范围内的情况下，将锐化掩模设置为阻止向彩色像素应用图像锐化，其中，上述范围基于景深。在一些实施例中，在深度像素的值大于超焦距的一半并且焦距大于或等于超焦距的情况下，将锐化掩模设置为阻止向彩色像素应用图像锐化。

在操作530，针对每个彩色像素计算锐化强度。锐化强度与对应于彩色像素的深度像素的值成比例。在操作540，向彩色图像帧应用锐化滤波，以增强边缘图像特征。基于锐化掩模向图像的区域应用锐化滤波，其中，锐化程度基于锐化强度。

当然，在一些实施例中，可以执行附加操作，如前面结合系统描述的。这些附加操作可以包括例如，同步彩色图像帧和深度图帧，以帮助彩色像素与相关深度像素的链接。另外，附加操作可以包括对深度图帧进行标准化，使得深度像素的值在0到255的范围内。

示例系统

图6示出了根据本公开某些实施例配置的执行图像帧的基于深度的边缘增强的示例系统600。在一些实施例中，系统600包括平台610，该平台可以容宿或者结合在个人计算机、工作台、膝上型计算机、超膝上型计算机、平板、触摸板、便携计算机、手持计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话和PDA、智能设备(例如，智能电话或智能平板)、移动互联网设备(MID)、消息传递设备、数据通信设备、电视机(TV)、智能TV、TV接收机/转换器等中。不同设备的任意组合可以用在某些实施例中。

在一些实施例中，平台610可以包括处理器620、存储器630、基于深度的边缘增强电路110、网络接口640、输入/输出(I/O)系统650、深度相机104、显示元件114、用户接口660、以及存储系统670的任意组合。可以进一步看出，还提供了总线和/或互连692，以允许以上列出的各种组件和/或未示出的其他组件之间的通信。平台610可以通过网络接口640耦合到网络694，以允许与其他计算设备、平台、或资源通信。根据本公开，图6的框图中没有反映的其他组件和功能将显而易见，并且将理解的是其他实施例不限于任何特定的硬件配置。

处理器620可以是任何合适的处理器，并且可以包括一个或多个协处理器或控制器，例如，音频处理器或图形处理单元，以帮助控制和处理与系统600相关联的操作。在一些实施例中，处理器620可以被实现为任意数目的处理器核。处理器(或处理器核)可以是任意类型的处理器，例如，微处理器、嵌入式处理器、数字信号处理器(DSP)、图形处理器(GPU)、网络处理器、现场可编程门阵列、或者被配置为执行代码的其他设备。处理器可以是多线程核，其中，它们中的每个核可以包括一个以上硬件线程上下文(或“逻辑处理器”)。处理器620可以被实现为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器。在一些实施例中，处理器620可以被配置为兼容x86指令集的处理器。

可以使用任何合适类型的数字存储设备(包括，例如，闪存和/或随机存取存储器(RAM))来实现存储器630。在一些实施例中，存储器630可以包括本领域技术人员公知的存储器高速缓存和/或存储器分级体系的各种层。存储器630可以被实现为易失性存储器设备，例如但不限于，RAM、动态RAM(DRAM)、或静态RAM(SRAM)设备。存储系统670可以被实现为非易失性存储设备，例如但不限于，硬盘驱动器(HDD)、固态驱动器(SSD)、通用串行总线(USB)驱动器、光盘驱动器、磁带驱动器、内部存储设备、附接存储设备、闪存、电池备用同步DRAM(SDRAM)、和/或网络可访问的存储设备中的一者或多者。在一些实施例中，存储系统670可以包括在包括多个硬盘驱动器时增加对于有价值的数字媒体的存储性能增强保护的技术。

处理器620可以被配置为执行操作系统(OS)680，该OS可以包括任意适当的操作系统，诸如，Google Android(加利福尼亚州山景城谷歌公司)、Microsoft Windows(华盛顿州雷德蒙德市微软公司)、或者Apple OS X(加利福尼亚州库比蒂诺市苹果公司)。根据本公开将明白的是，本文中提供的技术可以独立于结合系统600提供的特定操作系统实现，因此也可以使用任何适当的现有或随后开发的平台实现。

网络接口电路640可以是允许网络694和/或计算机系统600的其他组件之间的有线和/或无线连接，从而使得系统600能够与其他本地和/或远程计算系统、服务器、和/或资源通信的任何适当的网络芯片或芯片集。有线通信可以遵循现有(或尚待开发的)标准，例如，以太网。无线通信可以遵循现有(或尚待开发的)标准，例如，包括LTE(长期演进)在内的蜂窝通信、无线保真(Wi-Fi)、蓝牙、和/或近场通信(NFC)。示例性的无线网络包括但不限于，无线局域网、无线个人域网、无线城域网、蜂窝网络、以及卫星网络。

I/O系统650可以被配置为在各种I/O设备和计算机系统600的其他组件之间通过接口连接。I/O设备可以包括但不限于，深度相机104、显示元件114、和诸如键盘、鼠标、麦克风、扬声器等的未示出的其他设备。

I/O系统650可以包括被配置为执行用于显示元件114的图像的处理的图形子系统。图形子系统可以是例如，图形处理单元或视觉处理单元(VPU)。模拟或数字接口可以被用来通信地耦合图形子系统和显示元件114。例如，接口可以是高清晰度多媒体接口(HDMI)、显示端口、无线HDMI、和/或使用无线高清晰度兼容技术的任何其他适当接口中的任意一者。在一些实施例中，图形子系统可以被集成到处理器620或者平台610的任意芯片集中。在一些实施例中，显示元件114可以包括任意电视型监视器或显示器。显示元件114可以包括例如，计算机显示屏、触摸屏显示器、视频监视器、电视类设备、和/或电视机。显示元件114可以是数字和/或模拟的。在OS 680(或者一个或多个软件应用)的控制下，平台610可以在显示元件114上显示边缘增强图像。图像可以由深度相机104提供，并且根据本文中描述的基于深度的边缘增强技术处理。

将明白的是，在一些实施例中，系统600的各种组件可以被结合或集成在片上系统(SoC)架构中。在一些实施例中，组件可以是硬件组件、固件组件、软件组件、或者硬件、固件、或软件的任意适当组合。

基于深度的边缘增强电路110被配置为基于深度信息和相机参数，选择性地向图像帧的区域应用锐化滤波，以增强图像中的边缘。基于深度的边缘增强电路110可以包括如上所述的图1和图4中示出的任意或所有组件。基于深度的边缘增强电路110可以结合各种适当的软件和/或硬件实现或使用，该软件和/或硬件耦合到平台610或者形成平台610的一部分。基于深度的边缘增强电路110可以另外或者替代地结合能够向用户提供信息并且能够从用户接收信息和命令的用户I/O设备实现或使用。这些I/O设备可以包括显示元件114、以及统称为用户接口660的其他设备。在一些实施例中，用户接口660可以包括诸如键盘之类的文本输入设备和诸如鼠标之类的基于指针的输入设备。其他实施例中可以使用的其他输入/输出设备包括触摸屏、触摸板、扬声器、和/或麦克风。在其他实施例中还可以使用其他输入/输出设备。

在一些实施例中，基于深度的边缘增强电路110可以安装在系统600本地，如图6的示例实施例中所示。替代地，系统600可以实现在客户端-服务器布置中，其中，与这些电路相关联的至少一些功能被使用诸如JavaScript小应用程序之类的小应用程序或其他可下载模块提供给系统600。这样的可远程访问的模块或子模块可以响应于来自客户端计算系统的访问具有客户端计算系统的用户感兴趣的资源的给定服务器的请求而实时提供。在这样的实施例中，服务器可以在网络694本地或者通过一个或多个其他网络和/或通信信道远程耦合到网络694。在一些情况下，对于给定网络或计算系统上的资源的访问可能需要诸如用户名、密码之类的凭证和/或需要遵循任何其他适当的安全机制。

在各种实施例中，系统600可以被实现为无线系统、有线系统、或者它们二者的组合。当被实现为无线系统时，系统600可以包括适于在无线共享介质上进行通信的组件和接口，诸如一个或多个天线、发射机、接收机、收发机、放大器、滤波器、控制逻辑等。无线共享介质的示例可以包括无线频谱(例如，射频频谱等)的部分。当被实现为有线系统时，系统600可以包括适于在有线通信介质上进行通信的组件和接口，诸如输入/输出适配器、将输入/输出适配器与对应的有线通信介质连接的物理连接器、网络接口卡(NIC)、盘控制器、视频控制器、音频控制器等。有线通信介质的示例可以包括电线、电缆金属引线、印刷电路板(PCB)、背板、交换结构、半导体材料、双绞线、同轴电缆、光纤等。

各种实施例可以使用硬件元件、软件元件、或者它们二者的组合实现。硬件元件的示例可以包括处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等)、集成电路、ASIC、可编程逻辑器件、数字信号处理器、FPGA、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片集等。软件的示例可以包括软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、功能、方法、进程、软件接口、应用程序接口、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号、或者它们的任意组合。确定实施例是否使用硬件元件和/或软件元件实现可以根据任意数目的因素(例如，期望的计算速率、功率等级、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度、以及其他设计或性能约束)改变。

可以使用表述“耦合”和“连接”以及它们的派生词描述一些实施例。这些术语不用于彼此的同义词。例如，可以使用术语“连接”和/或“耦合”描述一些实施例，以指示两个以上元件彼此直接物理接触或电接触。但是，术语“耦合”还可以表示两个以上元件彼此不直接接触，但是仍然彼此协作或交互。

本文公开的各种实施例可以被实现为硬件、软件、固件、和/或专用处理器的各种形式。例如，在一个实施例中，至少一个非暂态计算机可读存储介质上编码有指令，这些指令在被一个或多个处理器执行时使得本文公开的一种或多种基于深度的边缘增强方法被实现。可以使用诸如C、C++、面向对象的C、Java、JavaScript、Visual Basic.NET、初学者通用符号指令代码(BASIC)之类的适当编码语言，或者替代地使用定制或专用指令集来编码指令。可以通过有形地具体化在存储器设备上并且可以由具有任何适当架构的计算机执行的一个或多个计算机软件应用和/或小应用程序的形式提供指令。在一个实施例中，系统可以容宿在给定网站上并且可以使用例如JavaScript或另一种适当的基于浏览器的技术实现。例如，在一些实施例中，系统可以利用可以通过网络694访问的远程计算机系统提供的处理资源。在其他实施例中，本文公开的功能可以结合在诸如视频编辑应用、视频分析应用、视频呈现应用、或者其他内容生成、修改、和/或管理应用之类的其他软件应用中。本文公开的计算机软件应用可以包括任意数目的不同模块、子模块、或不同功能的其他组件，并且可以向进一步的其他组件提供信息或者从进一步的其他组件接收信息。这些模块可以被用来例如与诸如显示屏、触敏表面、打印机、和/或任何其他适当设备之类的输入和/或输出设备通信。图示中没有反映的其他组件和功能根据本公开将显而易见，并且将理解的是，其他实施例不限于任何特定的硬件或软件配置。因此，在其他实施例中，相比图6的示例实施例中包括的那些组件，系统600可以包括附加的、更少的、或者替代的子组件。

前面提到的非暂态计算机可读介质可以是用于存储数字信息的任何适当的介质，例如，硬驱动、服务器、闪存、和/或随机存取存储器(RAM)、或者存储器的组合。在替代实施例中，本文公开的组件和/或模块可以利用包括诸如现场可编程门阵列(FPGA)之类的门级逻辑在内的硬件或者替代地利用诸如专用集成电路(ASIC)之类的专用半导体实现。进一步的其他实施例可以利用具有用于接收和输出数据的多个输入/输出端口、以及用于实现本文公开的各种功能的多个嵌入例程的微控制器实现。将理解的是，可以使用硬件、软件、以及固件的任意适当组合，并且其他实施例不限于任何特定的系统架构。

一些实施例可以使用机器可读介质或物品实现，该机器可读介质或物品可以存储在由机器执行时可以使机器执行根据实施例的方法和/或操作的指令或指令集。这种机器可以包括例如，任何适当的处理平台、计算平台、计算设备、处理设备、计算系统、处理系统、计算机、进程等，并且可以使用硬件和/或软件的任意适当组合实现。机器可读介质或物品可以包括例如，任何适当类型的存储器单元、存储器设备、存储器物品、存储器介质、存储设备、存储物品、存储介质、和/或存储单元，例如，存储器、可移除或非可移除介质、可擦除或非可擦除介质、可写或可重写介质、数字或模拟介质、硬盘、软盘、压缩盘只读存储器(CD-ROM)、压缩盘可记录(CD-R)存储器、压缩盘可重写(CD-RW)存储器、光盘、磁介质、磁-光介质、可移除存储器卡或盘、各种类型的数字通用盘(DVD)、磁带、磁带盒等。指令可以包括任何适当类型的代码，例如，源代码、汇编代码、解释代码、可执行代码、静态代码、动态代码、加密代码等，并且可以使用任何适当的高级、低级、面向对象、视觉、汇编、和/或解释编程语言实现。

除非有相反的具体指示，否则可以理解的是，诸如“处理”、“计算”、“运算”、“确定”等的术语指代计算机或计算系统、或类似的电子计算设备的将计算机系统的寄存器和/或存储器单元中的表示为物理量(例如，电子)的数据操控和/或变换为计算机系统的寄存器、存储器单元、或者其他这类信息存储传输或显示器中的类似地表示为物理量的其他数据。实施例不限于本上下文。

本文中的任何实施例中使用的术语“电路”或“电路系统”是功能性的并且可以例如，单独或者在任意组合中包括硬连线电路、诸如包括一个或多个单独指令处理核的计算机处理器之类的可编程电路、状态机电路、和/或存储可编程电路执行的指令的固件。电路可以包括被配置为执行一个或多个指令以执行本文描述的一个或多个操作的处理器和/或控制器。指令可以被具体化为例如，被配置为使得电路执行任意前述操作的应用、软件、固件等。软件可以被具体化为记录在计算机可读存储设备上的软件包、代码、指令、指令集、和/或数据。软件可以被具体化或实现为包括任何数目的进程，并且这些进程又可以被具体化或实现为包括任意数目的线程等(按照分层方式)。固件可以被具体化为硬编码(例如，非易失性)在存储器设备中的代码、指令或指令集、和/或数据。电路可以统一或单独被具体化为形成更大的系统(例如，集成电路(IC)、专用集成电路(ASIC)、片上系统(SoC)、桌面型计算机、膝上型计算机、平板计算机、服务器、智能电话等)的一部分的电路。其他实施例可以被实现为由可编程控制设备执行的软件。在这种情况下，术语“电路”或“电路系统”意欲包括诸如能够执行软件的处理器或可编程控制设备的软件和硬件的组合。如本文中所述，各种实施例可以使用硬件元件、软件元件、或者它们的任意组合实现。硬件元件的示例可以包括处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片集等。

本文给出了多个具体细节，以提供对于实施例的透彻理解。然而，本领域普通技术人员将理解的是，实施例可以在没有这些具体细节的条件下实施。在其他实例中，没有详细描述公知操作、组件、和电路，以避免模糊实施例。可以明白的是，本文公开的具体结构和功能细节可以是代表性的，而不一定限制实施例的范围。另外，尽管已经使用结构特征和/或方法动作专用的语言描述了主题，但是将理解的是，所附权利要求中限定的主题不一定限制到本文描述的具体特征或动作。相反，本文描述的具体特征和动作被作为实现权利要求的示例形式公开。

进一步的示例实施例

下面的示例涉及进一步的实施例，根据这些实施例各种排列和配置将显而易见。

示例1是一种处理器实现的用于图像帧中的边缘增强的方法。该方法包括：由处理器接收包括多个彩色像素的彩色图像帧和包括多个深度像素的深度图帧；由处理器生成锐化掩模以控制对每个彩色像素应用图像锐化，锐化掩模基于对应于彩色像素的深度像素的值，锐化掩模还基于生成彩色图像帧的相机的景深、焦距、以及超焦距；由处理器计算针对每个彩色像素的锐化强度，该锐化强度与对应于彩色像素的深度像素的值成比例；以及由处理器向彩色图像帧应用锐化滤波，该锐化滤波基于锐化掩模和锐化强度，该锐化滤波增强边缘图像特征。

示例2包括示例1的主题，还包括：如果深度像素的值在有关焦距的选定范围内，则将锐化掩模设置为阻止向彩色像素应用图像锐化，上述范围基于景深。

示例3包括示例1或2的主题，还包括：如果深度像素的值大于超焦距的一半并且焦距大于或等于超焦距，则将锐化掩模设置为阻止向彩色像素应用图像锐化。

示例4包括示例1至3中任一项的主题，还包括：如果深度像素的值在用户可选择的范围内，则将锐化掩模设置为阻止向彩色像素应用图像锐化。

示例5包括示例1至4中任一项的主题，还包括：同步彩色图像帧和深度图帧，以帮助彩色像素与相关深度像素的链接。

示例6包括示例1至5中任一项的主题，还包括：对深度图帧进行标准化，使得深度像素的值处于0到255的范围中。

示例7包括示例1至6中任一项的主题，其中，彩色像素值表示红、绿、和蓝的等级，或者亮度和色度的等级。

示例8是一种用于图像帧中的边缘增强的系统。该系统包括：图像处理电路，该图像处理电路接收包括多个彩色像素的彩色图像帧和包括多个深度像素的深度图帧；锐化掩模生成电路，该锐化掩模生成电路生成锐化掩模以控制对每个彩色像素应用图像锐化，该锐化掩模基于对应于彩色像素的深度像素的值，锐化掩模还基于生成彩色图像帧的相机的景深、焦距、以及超焦距；锐化强度计算电路，该锐化强度计算电路计算针对每个彩色像素的锐化强度，该锐化强度与对应于彩色像素的深度像素的值成比例；以及图像锐化滤波电路，该图像锐化滤波电路向彩色图像帧应用锐化滤波，该锐化滤波基于锐化掩模和锐化强度，锐化滤波增强边缘图像特征。

示例9包括示例8的主题，其中，锐化掩模生成电路还在深度像素的值在有关焦距的选定范围内的情况下，将锐化掩模设置为阻止向彩色像素应用图像锐化，上述范围基于景深。

示例10包括示例8或9的主题，其中，锐化掩模生成电路还在深度像素的值大于超焦距的一半并且焦距大于或等于超焦距的情况下，将锐化掩模设置为阻止向彩色像素应用图像锐化。

示例11包括示例8至10中任一项的主题，其中，锐化掩模生成电路还在深度像素的值在用户可选择的范围内的情况下，将锐化掩模设置为阻止向彩色像素应用图像锐化。

示例12包括示例8至11中任一项的主题，还包括：帧同步电路，该帧同步电路同步彩色图像帧和深度图帧，以帮助彩色像素与相关深度像素的链接。

示例13包括示例8至12中任一项的主题，还包括：标准化电路，该标准化电路对深度图帧进行标准化，使得深度像素的值处于0至255的范围中。

示例14包括示例8至13中任一项的主题，其中，彩色像素值表示红、绿、和蓝的等级，或者亮度和色度的等级。

示例15包括示例8至14中任一项的主题，其中，系统是移动计算设备。

示例16是其上编码有指令的至少一个非暂态计算机可读存储介质，指令在被一个或多个处理器执行时产生用于图像帧中的边缘增强的下述操作。这些操作包括：接收包括多个彩色像素的彩色图像帧和包括多个深度像素的深度图帧；生成锐化掩模以控制对每个彩色像素应用图像锐化，锐化掩模基于对应于彩色像素的深度像素的值，锐化掩模还基于生成彩色图像帧的相机的景深、焦距、以及超焦距；计算针对每个彩色像素的锐化强度，该锐化强度与对应于彩色像素的深度像素的值成比例；以及向彩色图像帧应用锐化滤波，该锐化滤波基于锐化掩模和锐化强度，该锐化滤波增强边缘图像特征。

示例17包括示例16的主题，操作还包括：如果深度像素的值在有关焦距的选定范围内，则将锐化掩模设置为阻止向彩色像素应用图像锐化，上述范围基于景深。

示例18包括示例16或17的主题，操作还包括：如果深度像素的值大于超焦距的一半并且焦距大于或等于超焦距，则将锐化掩模设置为阻止向彩色像素应用图像锐化。

示例19包括示例16至18中任一项的主题，操作还包括：如果深度像素的值在用户可选择的范围内，则将锐化掩模设置为阻止向彩色像素应用图像锐化。

示例20包括示例16至19中任一项的主题，操作还包括：同步彩色图像帧和深度图帧，以帮助彩色像素与相关深度像素的链接。

示例21包括示例16至20中任一项的主题，操作还包括：对深度图帧进行标准化，使得深度像素的值处于0到255的范围中。

示例22包括示例16至21中任一项的主题，其中，彩色像素值表示红、绿、和蓝的等级，或者亮度和色度的等级。

示例23是一种移动计算设备，包括权利要求16的计算机可读存储介质。

示例24是一种用于图像帧中的边缘增强的系统。该系统包括：用于接收包括多个彩色像素的彩色图像帧和包括多个深度像素的深度图帧的装置；用于生成锐化掩模以控制对每个彩色像素应用图像锐化的装置，锐化掩模基于对应于彩色像素的深度像素的值，锐化掩模还基于生成彩色图像帧的相机的景深、焦距、以及超焦距；用于计算每个彩色像素的锐化强度的装置，该锐化强度与对应于彩色像素的深度像素的值成比例；以及用于向彩色图像帧应用锐化滤波的装置，该锐化滤波基于锐化掩模和锐化强度，锐化滤波增强边缘图像特征。

示例25包括示例24所述的主题，还包括：用于在深度像素的值在有关焦距的选定范围内的情况下，将锐化掩模设置为阻止向彩色像素应用图像锐化的装置，该范围基于景深。

示例26包括示例24或25的主题，还包括：用于在深度像素的值大于超焦距的一半并且焦距大于或等于超焦距的情况下，将锐化掩模设置为阻止向彩色像素应用图像锐化的装置。

示例27包括示例24至26中任一项的主题，还包括：用于在深度像素的值在用户可选择的范围内的情况下，将锐化掩模设置为阻止向彩色像素应用图像锐化的装置。

示例28包括示例24至27中任一项的主题，还包括：用于同步彩色图像帧和深度图帧，以帮助彩色像素与相关深度像素的链接的装置。

示例29包括示例24至28中任一项的主题，还包括：用于标准化深度图帧，使得深度像素的值处于0到255范围内的装置。

示例30包括示例24至29中任一项的主题，其中，彩色像素值表示红、绿、和蓝的等级，或者亮度和色度的等级。

已经在本文中采用的术语和表述用作描述而非限制的术语，使用这些术语和表述不用于排除所示出和描述的特征(或其部分)的任意等同，并且认识到各种修改在权利要求的范围内都是可能的。因此，权利要求意欲覆盖所有这些等同。本文中描述了各种特征、方面、和实施例。这些特征、方面、和实施例容易相互结合并且容易与变形和修改结合，如本领域技术人员将理解的。因此，本公开应该被理解为覆盖这些组合、变形、和修改。还希望本公开的范围不限于该详细描述，而由所附权利要求限定。要求本申请的优先权的未来递交的申请可以通过不同方式请求所公开的主题，并且一般包括本文中不同地公开或展现的一个或多个元件的任意集合。

Claims (24)

1.一种处理器实现的用于图像帧中的边缘增强的方法，该方法包括：

由处理器接收包括多个彩色像素的彩色图像帧和包括多个深度像素的深度图帧；

由所述处理器生成锐化掩模以控制对所述彩色像素中的每个彩色像素应用图像锐化，所述锐化掩模基于对应于该彩色像素的深度像素的值，所述锐化掩模还基于生成所述彩色图像帧的相机的景深、焦距、以及超焦距，所述锐化掩模用于阻止应用图像锐化；

由所述处理器计算针对所述彩色像素中的每个彩色像素的锐化强度，所述锐化强度与对应于该彩色像素的深度像素的值成比例；以及

由所述处理器向所述彩色图像帧应用锐化滤波，所述锐化滤波基于所述锐化掩模和所述锐化强度，所述锐化滤波增强边缘图像特征。

2.如权利要求1所述的方法，还包括：如果深度像素的值在有关所述焦距的选定范围内，则将所述锐化掩模设置为阻止向彩色像素应用图像锐化，所述范围基于所述景深。

3.如权利要求1所述的方法，还包括：如果深度像素的值大于所述超焦距的一半并且所述焦距大于或等于所述超焦距，则将所述锐化掩模设置为阻止向彩色像素应用图像锐化。

4.如权利要求1所述的方法，还包括：如果深度像素的值在用户可选择的范围内，则将所述锐化掩模设置为阻止向彩色像素应用图像锐化。

5.如权利要求1至4中任一项所述的方法，还包括：同步所述彩色图像帧和所述深度图帧，以帮助彩色像素与相关深度像素的链接。

6.如权利要求1至4中任一项所述的方法，还包括：对所述深度图帧进行标准化，使得深度像素的值处于0到255的范围中。

7.如权利要求1至4中任一项所述的方法，其中，彩色像素值表示红、绿、和蓝的等级，或者亮度和色度的等级。

8.一种用于图像帧中的边缘增强的系统，该系统包括：

图像处理电路，所述图像处理电路接收包括多个彩色像素的彩色图像帧和包括多个深度像素的深度图帧；

锐化掩模生成电路，所述锐化掩模生成电路生成锐化掩模以控制对所述彩色像素中的每个彩色像素应用图像锐化，所述锐化掩模基于对应于该彩色像素的深度像素的值，所述锐化掩模还基于生成所述彩色图像帧的相机的景深、焦距、以及超焦距，所述锐化掩模用于阻止应用图像锐化；

锐化强度计算电路，所述锐化强度计算电路计算针对所述彩色像素中的每个彩色像素的锐化强度，所述锐化强度与对应于该彩色像素的深度像素的值成比例；以及

图像锐化滤波电路，所述图像锐化滤波电路向所述彩色图像帧应用锐化滤波，所述锐化滤波基于所述锐化掩模和所述锐化强度，所述锐化滤波增强边缘图像特征。

9.如权利要求8所述的系统，其中，所述锐化掩模生成电路还在深度像素的值在有关所述焦距的选定范围内的情况下，将所述锐化掩模设置为阻止向彩色像素应用图像锐化，所述范围基于所述景深。

10.如权利要求8所述的系统，其中，所述锐化掩模生成电路还在深度像素的值大于所述超焦距的一半并且所述焦距大于或等于所述超焦距的情况下，将所述锐化掩模设置为阻止向彩色像素应用图像锐化。

11.如权利要求8所述的系统，其中，所述锐化掩模生成电路还在深度像素的值在用户可选择的范围内的情况下，将所述锐化掩模设置为阻止向彩色像素应用图像锐化。

12.如权利要求8至11中任一项所述的系统，还包括：帧同步电路，所述帧同步电路同步所述彩色图像帧和所述深度图帧，以帮助彩色像素与相关深度像素的链接。

13.如权利要求8至11中任一项所述的系统，还包括：标准化电路，所述标准化电路对所述深度图帧进行标准化，使得深度像素的值处于0至255的范围中。

14.如权利要求8至11中任一项所述的系统，其中，彩色像素值表示红、绿、和蓝的等级，或者亮度和色度的等级。

15.如权利要求8至11中任一项所述的系统，其中，所述系统是移动计算设备。

16.存储有指令的至少一个非暂态计算机可读存储介质，所述指令在被一个或多个处理器执行时，实现权利要求1-7中任一项所述的方法。

17.一种移动计算设备，包括权利要求16的计算机可读存储介质。

18.一种用于图像帧中的边缘增强的系统，该系统包括：

用于接收包括多个彩色像素的彩色图像帧和包括多个深度像素的深度图帧的装置；

用于生成锐化掩模以控制对所述彩色像素中的每个彩色像素应用图像锐化的装置，所述锐化掩模基于对应于该彩色像素的深度像素的值，所述锐化掩模还基于生成所述彩色图像帧的相机的景深、焦距、以及超焦距，所述锐化掩模用于阻止应用图像锐化；

用于计算针对所述彩色像素中的每个彩色像素的锐化强度的装置，所述锐化强度与对应于该彩色像素的深度像素的值成比例；以及

用于向所述彩色图像帧应用锐化滤波的装置，所述锐化滤波基于所述锐化掩模和所述锐化强度，所述锐化滤波增强边缘图像特征。

19.如权利要求18所述的系统，还包括：用于在深度像素的值在有关所述焦距的选定范围内的情况下，将所述锐化掩模设置为阻止向彩色像素应用图像锐化的装置，所述范围基于所述景深。

20.如权利要求18所述的系统，还包括：用于在深度像素的值大于所述超焦距的一半并且所述焦距大于或等于所述超焦距的情况下，将所述锐化掩模设置为阻止向彩色像素应用图像锐化的装置。

21.如权利要求18所述的系统，还包括：用于在深度像素的值在用户可选择的范围内的情况下，将所述锐化掩模设置为阻止向彩色像素应用图像锐化的装置。

22.如权利要求18至21中任一项所述的系统，还包括：用于同步所述彩色图像帧和所述深度图帧，以帮助彩色像素与相关深度像素的链接的装置。

23.如权利要求18至21中任一项所述的系统，还包括：用于对所述深度图帧进行标准化，使得深度像素的值处于0到255范围中的装置。

24.如权利要求18至21中任一项所述的系统，其中，彩色像素值表示红、绿、和蓝的等级，或者亮度和色度的等级。