CN111476747A - 一种消除屏下成像中鬼像的系统及方法 - Google Patents

Abstract

本发明公开了一种消除屏下成像中鬼像的系统，包括显示屏、采集模组、以及控制与处理器；其中，显示屏用于显示图像；采集模组设置于显示屏的背面，用于采集目标物体的第一图像、第二图像、以及第三图像；控制与处理器与采集模组连接，用于检测第一图像中的鬼像区域位置，基于该鬼像区域位置对第二图像进行抠除以得到第四图像，并基于第四图像中非鬼像区域填补鬼像区域以得到第五图像；以及，检测所述第三图像中目标物体的真实轮廓图像，基于目标物体的真实轮廓图像与第五图像进行融合得到无鬼像的图像。本发明可用于消除由于显示屏衍射导致的鬼像，也可以用于消除由于其它因素产生的鬼像，以提高成像的质量，提升用户的拍摄体验。

Description

一种消除屏下成像中鬼像的系统及方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种消除屏下成像中鬼像的系统及方法。

背景技术

拍照与显示是目前许多电子设备的必备功能，通过在电子设备的正面同时设置前置相机以及显示器，使得电子设备具有丰富的功能，可以满足多种需求，比如自拍、内容显示、以及手势交互等。

以手机为例，随着人们对手机美感的要求越来越高，全面屏手机逐渐成为手机创新的新方向。由于全面屏手机具有极高的屏占比，便于操控，同时具有极富美感的视觉冲击力，深受消费者的青睐，因此手机厂商都在朝着实现全面屏的方向努力。

然而，当手机使用屏下摄像头拍照时，由于显示屏的衍射作用，对于被摄物体与背景亮度差异较大的场景，例如：室内的灯管、夜景中的灯光等发光物体或金属、玻璃等表面具有高反射率物体，会导致图像中被拍摄物体周围出现原本不该出现的彩色重影，即“鬼像”，从而影响了图像质量和用户拍照体验。

针对以上现有技术存在的问题，有必要进行开发研究，以提供一种方案，消除屏下成像时产生的鬼像，提高拍摄物体的图像质量以及提升用户的拍照体验感。

以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本发明的目的在于提供一种消除屏下成像中鬼像的系统及方法，以解决上述背景技术问题中的至少一种。

为达到上述目的，本发明实施例的技术方案是这样实现的：

一种消除屏下成像中鬼像的系统，包括显示屏、采集模组、以及控制与处理器；其中，所述显示屏用于显示图像；所述采集模组设置于显示屏的背面，用于采集目标物体的第一图像、第二图像、以及第三图像；所述控制与处理器与所述采集模组连接，用于检测所述第一图像中的鬼像区域位置，基于该鬼像区域位置对所述第二图像进行抠除以得到第四图像，并基于所述第四图像中非鬼像区域填补鬼像区域以得到第五图像；以及，检测所述第三图像中所述目标物体的真实轮廓图像，基于所述目标物体的真实轮廓图像与所述第五图像进行融合得到无鬼像的图像。

在一些实施例中，所述采集模组在不同的曝光时间下采集所述目标物体的所述第一图像、第二图像与第三图像；其中，所述第一图像的曝光时间大于所述第二图像的曝光时间，所述第二图像的曝光时间大于所述第三图像的曝光时间。

在一些实施例中，所述第一图像用于确定鬼像区域位置，所述第二图像用于确定背景图像，所述第三图像用于确定目标物体的真实轮廓。

在一些实施例中，所述控制与处理器通过图像分割方法确定鬼像区域位置，并基于非鬼像区域的像素值，对抠除的鬼像区域的像素值进行图像修复。

在一些实施例中，所述控制与处理器通过图像融合算法对所述第三图像中目标物体的真实轮廓图像与所述第五图像进行融合，得到无鬼像的图像。

本发明实施例另一技术方案为：

一种消除屏下成像中鬼像的方法，包括如下步骤：

S1、利用采集模组采集目标物体的第一图像、第二图像与第三图像；

S2、检测所述第一图像中的鬼像区域位置，并基于所述鬼像区域位置对所述第二图像进行抠除以获得第四图像；

S3、基于所述第四图像中非鬼像区域填补鬼像区域以获得第五图像；

S4、检测所述第三图像中目标物体的真实轮廓图像，并基于所述目标物体的真实轮廓图像与所述第五图像进行融合以得到无鬼像的图像。

在一些实施例中，步骤S1中，控制所述采集模组在不同的曝光时间下采集所述目标物体的所述第一图像、第二图像和第三图像；其中，所述第一图像的曝光时间大于所述第二图像的曝光时间，所述第二图像的曝光时间大于所述第三图像的曝光时间。

在一些实施例中，所述第一图像用于确定鬼像区域位置，所述第二图像用于确定背景图像，所述第三图像用于确定所述目标物体的真实轮廓。

在一些实施例中，步骤S2中，通过图像分割方法识别第一图像中鬼像区域，并基于所述第四图像中的非鬼像区域的像素值，对抠除的鬼像区域的像素值进行图像修复以得到所述第五图像；步骤S4中，所述控制与处理器利用全局阈值分割方法寻找目标物体的真实轮廓图像，利用图像融合算法对所述目标物体的真实轮廓图像与所述第五图像进行融合以得到所述无鬼像图像。

本发明实施例又一技术方案为：

一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行前述技术方案所述的方法。

本发明技术方案的有益效果是：

相较于现有技术，本发明消除屏下成像中鬼像的系统及方法可用于消除由于显示屏衍射导致的鬼像，也可以用于消除由于其它因素产生的鬼像，如光学系统、光学器件等因素产生的鬼像，以提高成像的质量，提升用户的拍摄体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明一个实施例消除屏下成像中鬼像的系统的结构示意图。

图2是采用图1所示系统消除鬼像的过程图示。

图3是图2中填补图像空白区域的示意图。

图4是根据本发明另一个实施例消除屏下成像中鬼像的方法流程图示。

具体实施方式

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

参照图1所示，图1为本发明实施例一种消除屏下成像中鬼像的系统10的结构示意图。系统10包括显示屏101、采集模组102以及控制与处理器103。其中，显示屏101用于显示图像；采集模组102设置于显示屏101的背面，用于采集目标物体20的第一图像、第二图像和第三图像；控制与处理器103与采集模组102连接，用于检测第一图像中的鬼像区域位置，基于该鬼像区域位置对第二图像进行抠除以得到第四图像，并基于第四图像中非鬼像区域填补鬼像区域以得到第五图像，以及，检测第三图像中目标物体20的真实轮廓图像，基于目标物体20的真实轮廓图像与第五图像进行融合得到无鬼像的图像，通过显示屏101对该无鬼像的图像进行显示。

在一个实施例中，采集模组102在不同的曝光时间下采集目标物体20的第一图像、第二图像和第三图像。其中，第一图像的曝光时间大于第二图像的曝光时间，第二图像的曝光时间大于第三图像的曝光时间,第三图像为曝光时间较短的图像。第一图像用于确定鬼像区域位置，第二图像用于确定背景图像，第三图像用于确定目标物体20的真实轮廓。

可以理解的是，曝光时间越长，目标物体20由于强反光或发光形成的鬼像强度越高，使得目标物体20的真实轮廓与处于其边缘的鬼像融为一体，导致目标物体20的轮廓越难以识别；此外，鬼像区域图像由于光强度较大相对于背景图像更容易达到饱和；曝光时间越短，目标物体20由于强反光或发光形成的鬼像强度越弱，目标物体20的轮廓越清晰。

请参照图2所示，采集模组102采集目标物体20的第一图像201、第二图像202与第三图像203；控制与处理器103通过图像分割方法从第一图像201中识别出鬼像区域208，基于第一图像201中确定的鬼像区域位置在第二图像202中寻找鬼像区域位置，如图2中图像204所示，鬼像区域用虚线表示，将该鬼像区域的像素值抠除以获得第四图像205，基于第四图像205中的非鬼像区域的像素值，对抠除的鬼像区域的像素值进行图像修复以得到第五图像206，检测第三图像203中目标物体20的真实轮廓图像，基于第三图像203中目标物体20的真实轮廓图像与第五图像206进行融合以得到无鬼像的完整图像，如图2中的图像207。

在一个实施例中，控制与处理器103采用全局或局部自适应阈值分割方法确定鬼像区域位置。比如在长曝光时间下的第一图像201中确定目标物体鬼像区域，以及，在短曝光时间下的第三图像203中确定目标物体20的真实轮廓图像。

在一个实施例中，若鬼像区域208较小，可采用传统的修复方法填补图像空白区域。利用图像自身的冗余性，根据图像中的未抠除的区域的像素值填补抠除区域的像素值。通过计算待补全区域边界像素的补全优先度，确定填补顺序。其中，优先度可通过计算边界图像梯度等方法计算，在本发明实施例中不作特别限定，在计算出边界图像梯度后，根据梯度值的大小选择优先补全区域。参照图3所示，选取边界梯度值最大的像素周围的一块区域，记为第一区域301，在第四图像205中搜索与第一区域301相似度最高的区域，记为第二区域302，用第二区域302的像素值补全第一区域中像素值空白的部分。如此循环，直至第四图像205中不再存在空白像素值，即得到第五图像206。

可以理解的是，若在第四图像205中搜索不到与第一区域301相似度最高的区域，则可通过服务器与数据库进行匹配，以获取与第一区域301相似度最高的区域，并用该区域的像素值补全第一区域302中像素值空白的部分。如此循环，直至第四图像205中不再存在空白像素值，即得到第五图像206。

在一个实施例中，若鬼像区域208较大，可采用深度学习方法填补图像空白区域。通过大量数据训练和提升模型复杂度，利用深度学习方法引入拍摄场景的信息，可以生成第四图像205缺失区域的图像信息。例如：利用生成对抗网络(Generative AdversarialNetworks，GAN)的生成器生成第四图像205中缺失区域的图像信息以获得第五图像206。可以理解的是，该生成器经过大量数据训练，以至可根据图像背景信息生成第四图像205中缺失区域的图像信息，达到人眼无法辨别出是否经过修补的程度。此外，也可以利用基于局部卷积(Partial Convolutions)的方法和基于卷积神经网络(Convolutional NeturalNetworks，CNN)的方法等修复图像空白区域，在本发明实施例中，对修复图像缺失部分的方法不做任何的限制。

在一个实施例中，可以利用图像融合算法，比如采用泊松融合(PoissonBlengding)对第三图像203中目标物体20的真实轮廓图像与第五图像206进行融合，以获得无鬼像的图像207。泊松融合可以有效解决图像融合时拼接区域与背景图像区域亮度、色调等参数不一致造成的拼接不自然问题，从而改善图像融合效果。

显示屏101为等离子体显示屏、LCD、LED、OLED等透明显示屏，显示屏中包括有多个用于显示的周期性排列的像素单元，比如沿横向以及纵向周期性排列的像素单元。为了使显示屏透明化以使得光束通过，可以通过对多个像素单元进行合理的设计来实现，比如在像素单元之间设置间隙或者将像素单元内部的部分结构采用透明材质制成，由此可以让显示屏达到一定的开口率，比如50％的开口率等。在一些实施例中，也可以将显示屏的各个像素单元的全部结构均采用透明材质制成，由此可以提升透明度。

可以理解的是，根据本发明实施例记载的方案，该方案不仅可以应用于消除由于显示屏衍射导致的鬼像，也可以用于消除由于其它因素产生的鬼像，如光学系统、光学器件等因素产生的鬼像。

参照图4所示，基于上述各实施例中记载的消除屏下成像中鬼像的系统，本发明申请还提供一种消除屏下成像中鬼像的方法。图4示出了根据本发明实施例一种消除屏下成像中鬼像的方法的流程图示，包括如下步骤：

S401、利用采集模组采集目标物体的第一图像、第二图像和第三图像；

具体地，采集模组在不同的曝光时间下采集目标物体的第一图像、第二图像和第三图像。其中，第一图像的曝光时间大于第二图像的曝光时间，第二图像的曝光时间大于第三图像的曝光时间。

S402、检测所述第一图像中的鬼像区域位置，并基于所述鬼像区域位置对所述第二图像进行抠除以获得第四图像；

具体地，通过图像分割方法从第一图像中识别出鬼像区域；在一些实施例中控制与处理器利用全局或局部自适应阈值分割方法寻找鬼像区域位置，并基于第一图像中鬼像区域位置在第二图像相同区域进行抠除以获取第四图像。

S403、基于第四图像中非鬼像区域填补鬼像区域以获得第五图像；

具体地，基于第四图像中的非鬼像区域的像素值，对抠除的鬼像区域的像素值进行图像修复以得到第五图像；在一些实施例中，控制与处理器利用深度学习图像修复方法基于非鬼像区域的像素值填补所述鬼像区域像素值，以获得第五图像。

S404、检测第三图像中目标物体的真实轮廓图像，并基于目标物体的真实轮廓图像与第五图像进行融合以得到无鬼像的图像。

具体地，控制与处理器利用全局阈值分割方法寻找目标物体的真实轮廓图像，利用图像融合算法基于目标物体的真实轮廓图像与第五图像进行融合以得到无鬼像图像。在一些实施例中，可以利用如泊松融合(Poisson Blengding)算法对第三图像中目标物体的真实轮廓图像与第五图像进行融合，以获得无鬼像的图像。泊松融合算法可以有效解决图像融合时拼接区域与背景图像区域亮度、色调等参数不一致造成的拼接不自然问题，从而改善图像融合效果。

上述方法可以被程序化以保存在适当的介质中，并被相应的处理器执行，比如该方法可以被写成相应的代码程序保存在计算机可读介质中，并被图1—图3相应的各个实施例中的控制与处理器执行。

本申请实施还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行前述实施例所述的方法。

所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，DynamicRandom AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic RandomAccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double DataRateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

可以理解的是，以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。

在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离由所附权利要求限定的范围的情况下，可以在本文中进行各种改变、替换和变更。

此外，本发明的范围不旨在限于说明书中所述的过程、机器、制造、物质组成、手段、方法和步骤的特定实施例。本领域普通技术人员将容易理解，可以利用执行与本文所述相应实施例基本相同功能或获得与本文所述实施例基本相同结果的目前存在的或稍后要开发的上述披露、过程、机器、制造、物质组成、手段、方法或步骤。因此，所附权利要求旨在将这些过程、机器、制造、物质组成、手段、方法或步骤包含在其范围内。

Claims (10)

1.一种消除屏下成像中鬼像的系统，其特征在于，包括显示屏、采集模组、以及控制与处理器；其中，

所述显示屏用于显示图像；

所述采集模组设置于显示屏的背面，用于采集目标物体的第一图像、第二图像、以及第三图像；

所述控制与处理器与所述采集模组连接，用于检测所述第一图像中的鬼像区域位置，基于该鬼像区域位置对所述第二图像进行抠除以得到第四图像，并基于所述第四图像中非鬼像区域填补鬼像区域以得到第五图像；以及，检测所述第三图像中所述目标物体的真实轮廓图像，基于所述目标物体的真实轮廓图像与所述第五图像进行融合得到无鬼像的图像。

2.如权利要求1所述消除屏下成像中鬼像的系统，其特征在于：所述采集模组在不同的曝光时间下采集所述目标物体的所述第一图像、第二图像与第三图像；其中，所述第一图像的曝光时间大于所述第二图像的曝光时间，所述第二图像的曝光时间大于所述第三图像的曝光时间。

3.如权利要求2所述消除屏下成像中鬼像的系统，其特征在于：所述第一图像用于确定鬼像区域位置，所述第二图像用于确定背景图像，所述第三图像用于确定目标物体的真实轮廓。

4.如权利要求1所述消除屏下成像中鬼像的系统，其特征在于：所述控制与处理器通过图像分割方法确定鬼像区域位置，并基于非鬼像区域的像素值，对抠除的鬼像区域的像素值进行图像修复。

5.如权利要求1所述消除屏下成像中鬼像的系统，其特征在于：所述控制与处理器通过图像融合算法对所述第三图像中目标物体的真实轮廓图像与所述第五图像进行融合，得到无鬼像的图像。

6.一种消除屏下成像中鬼像的方法，其特征在于，包括如下步骤：

S1、利用采集模组采集目标物体的第一图像、第二图像与第三图像；

S2、检测所述第一图像中的鬼像区域位置，并基于所述鬼像区域位置对所述第二图像进行抠除以获得第四图像；

S3、基于所述第四图像中非鬼像区域填补鬼像区域以获得第五图像；

S4、检测所述第三图像中目标物体的真实轮廓图像，并基于所述目标物体的真实轮廓图像与所述第五图像进行融合以得到无鬼像的图像。

7.如权利要求6所述消除屏下成像中鬼像的方法，其特征在于：步骤S1中，控制所述采集模组在不同的曝光时间下采集所述目标物体的所述第一图像、第二图像和第三图像；其中，所述第一图像的曝光时间大于所述第二图像的曝光时间，所述第二图像的曝光时间大于所述第三图像的曝光时间。

8.如权利要求7所述消除屏下成像中鬼像的方法，其特征在于：所述第一图像用于确定鬼像区域位置，所述第二图像用于确定背景图像，所述第三图像用于确定所述目标物体的真实轮廓。

9.如权利要求8所述消除屏下成像中鬼像的方法，其特征在于：

步骤S2中，通过图像分割方法识别第一图像中鬼像区域，并基于所述第四图像中的非鬼像区域的像素值，对抠除的鬼像区域的像素值进行图像修复以得到所述第五图像；

步骤S4中，所述控制与处理器利用全局阈值分割方法寻找目标物体的真实轮廓图像，利用图像融合算法对所述目标物体的真实轮廓图像与所述第五图像进行融合以得到所述无鬼像图像。

10.一种存储介质，用于存储计算机程序，其特征在于：该计算机程序被执行时至少执行权6-9任一项所述的方法。

Images