CN113891013A - 图像处理方法、装置、终端及存储介质 - Google Patents

图像处理方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN113891013A
CN113891013A CN202010637218.3A CN202010637218A CN113891013A CN 113891013 A CN113891013 A CN 113891013A CN 202010637218 A CN202010637218 A CN 202010637218A CN 113891013 A CN113891013 A CN 113891013A
Authority
CN
China
Prior art keywords
image
mirror
content
user
equivalent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010637218.3A
Other languages
English (en)
Inventor
郭懿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Communications Ltd Research Institute filed Critical China Mobile Communications Group Co Ltd
Priority to CN202010637218.3A priority Critical patent/CN113891013A/zh
Publication of CN113891013A publication Critical patent/CN113891013A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请公开了一种图像处理方法、装置、终端及存储介质。其中,所述方法包括:获取待显示内容的图像;确定镜面反射虚像的等效图像;所述镜面反射虚像的等效图像用于表征所述镜面反射虚像在所述终端的镜面显示屏上的近似代替实像,所述镜面反射虚像基于所述镜面显示屏的镜面反射形成;对所述镜面反射虚像的等效图像进行图像反转处理,得到反转图像;将所述待显示内容的图像与所述反转图像进行图像合成处理,得到合成图像;在所述镜面显示屏上显示所述合成图像。

Description

图像处理方法、装置、终端及存储介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种图像处理方法、装置、终端及存储介质。
背景技术
目前市面上的一些终端,比如台式机、笔记本电脑、手机或其他智能设备的显示屏常采用镜面显示屏,通过镜面显示屏实现高对比度、高亮度的显示效果。
然而,由于镜面显示屏的屏幕表面光滑,在使用时会发生镜面反射,将位于屏幕前方的操作者本人和其他物体通过镜面反射形成虚像,进而映入到操作者眼中。此时,在终端的屏幕显示区域中,将显示屏幕显示的实像以及镜面反射的虚像的合成图像,而虚像的呈现会对实像的观看产生视觉干扰,极大地影响操作者的使用感受。
发明内容
为解决相关技术中存在的技术问题,本申请实施例提供一种图像处理方法、装置、终端及存储介质。
本申请实施例的技术方案是这样实现的:
本申请实施例提供了一种图像处理方法,应用于终端,所述方法包括:
获取待显示内容的图像;
确定镜面反射虚像的等效图像;所述镜面反射虚像的等效图像用于表征所述镜面反射虚像在所述终端的镜面显示屏上的近似代替实像,所述镜面反射虚像基于所述镜面显示屏的镜面反射形成;
对所述镜面反射虚像的等效图像进行图像反转处理,得到反转图像;
将所述待显示内容的图像与所述反转图像进行图像合成处理,得到合成图像;
在所述镜面显示屏上显示所述合成图像。
上述方案中,所述确定镜面反射虚像的等效图像,包括:
获取用户的影像;所述用户的影像与所述镜面显示屏具有位置关系;
获取所述镜面显示屏相关的光学参数;
基于所述用户的影像及所述光学参数,确定所述镜面反射虚像的等效图像。
上述方案中,所述获取用户的影像,包括:
通过所述终端的感应装置感应用户所处的位置;
在感应到所述用户所处的位置位于预定区域的情况下,获取所述用户的影像;所述用户的影像的拍摄范围至少包括所述镜面反射虚像所对应的入射内容范围。
上述方案中,所述获取所述镜面显示屏相关的光学参数,包括:
确定在获取所述用户的影像时用户所处的位姿;所述位姿包括位置和姿势中至少之一;
在检测到目标位姿为确定的所述位姿的情况下,获取所述镜面显示屏相关的光学参数。
上述方案中,所述基于所述用户的影像及所述光学参数,确定所述镜面反射虚像的等效图像,包括:
对所述用户的影像进行内容调整,得到调整后的用户的影像;所述调整后的用户的影像内容与所述镜面反射虚像的内容相匹配;
基于所述光学参数,对所述调整后的用户的影像进行色度调整,得到所述镜面反射虚像的等效图像。
上述方案中,所述对所述镜面反射虚像的等效图像进行图像反转处理,得到反转图像,包括:
对所述镜面反射虚像的等效图像中各像素的灰度值分别进行反转处理,得到对应的灰度值反转后的新像素值;
基于所述灰度值反转后的新像素值,得到对应所述镜面反射虚像的等效图像的反转图像。
上述方案中,所述对所述镜面反射虚像的等效图像中各像素的灰度值分别进行反转处理,得到对应的灰度值反转后的新像素值,包括:
确定所述镜面反射虚像的等效图像对应的灰度级范围中的最大灰度级;
基于确定的所述最大灰度级,对所述镜面反射虚像的等效图像中各像素的灰度值进行反转处理,得到对应的所述灰度值反转后的新像素值。
上述方案中,所述确定所述镜面反射虚像的等效图像对应的灰度级范围中的最大灰度级,包括以下之一:
通过预先设定的方式确定所述最大灰度级;
获取空白图像,基于所述空白图像的像素值的平均值,确定所述最大灰度级。
上述方案中,所述将所述待显示内容的图像与所述反转图像进行图像合成处理,得到合成图像,包括:
针对所述待显示内容的图像与所述反转图像中对应的各像素值,基于所述待显示内容的图像中相应像素值与第一透明程度的乘积值,以及所述反转图像中相应像素值与第二透明程度的乘积值,确定合成后的各像素值;
基于所述合成后的各像素值,得到所述合成图像;其中,
所述第一透明程度对应所述待显示内容的图像,所述第二透明程度对应所述反转图像;所述第一透明程度与所述第二透明程度之和为第一值。
上述方案中,所述将所述待显示内容的图像与所述反转图像进行图像合成处理,得到合成图像,包括:
构建所述待显示内容的图像对应的第一拉普拉斯金字塔图像,以及所述反转图像对应的第二拉普拉斯金字塔图像;所述第一拉普拉斯金字塔图像的层数与第二拉普拉斯金字塔图像的层数相等;
针对所述第一拉普拉斯金字塔图像与所述第二拉普拉斯金字塔图像中对应的各层级,基于所述第一拉普拉斯金字塔图像中相应层级与对应的第一掩模值的乘积值,以及所述第二拉普拉斯金字塔图像中相应层级与对应的第二掩模值的乘积值,确定合成后的各层级的图像;
基于所述合成后的各层级的图像,得到所述合成图像。
上述方案中,所述将所述待显示内容的图像与所述反转图像进行图像合成处理,得到合成图像,包括:
确定图像合成区域;所述图像合成区域内图像的纹理满足第一设定条件;
针对所述图像合成区域内所述待显示内容的图像与所述反转图像中对应的各像素值进行泊松合成处理,得到所述合成图像。
本申请实施例还提供了一种图像处理装置,所述装置包括:
获取单元,用于获取待显示内容的图像;
确定单元,用于确定镜面反射虚像的等效图像;所述镜面反射虚像的等效图像用于表征所述镜面反射虚像在所述终端的镜面显示屏上的近似代替实像,所述镜面反射虚像基于所述镜面显示屏的镜面反射形成;
反转单元,用于对所述镜面反射虚像的等效图像进行图像反转处理,得到反转图像;
合成单元,用于将所述待显示内容的图像与所述反转图像进行图像合成处理,得到合成图像;
显示单元,用于在所述镜面显示屏上显示所述合成图像。
上述方案中,所述确定单元包括第一获取子单元、第二获取子单元及第一确定子单元;其中,
所述第一获取子单元,用于获取用户的影像;所述用户的影像与所述镜面显示屏具有位置关系;
所述第二获取子单元,用于获取所述镜面显示屏相关的光学参数;
所述第一确定子单元,用于基于所述用户的影像及所述光学参数,确定所述镜面反射虚像的等效图像。
上述方案中,所述第一获取子单元,具体用于:
通过所述终端的感应装置感应用户所处的位置;
在感应到所述用户所处的位置位于预定区域的情况下,获取所述用户的影像;所述用户的影像的拍摄范围至少包括所述镜面反射虚像所对应的入射内容范围。
上述方案中,所述第二获取子单元,具体用于:
确定在获取所述用户的影像时用户所处的位姿;所述位姿包括位置和姿势中至少之一;
在检测到目标位姿为确定的所述位姿的情况下,获取所述镜面显示屏相关的光学参数。
上述方案中,所述第一确定子单元,具体用于:
对所述用户的影像进行内容调整,得到调整后的用户的影像;所述调整后的用户的影像内容与所述镜面反射虚像的内容相匹配;
基于所述光学参数,对所述调整后的用户的影像进行色度调整,得到所述镜面反射虚像的等效图像。
上述方案中,所述反转单元,具体用于:
对所述镜面反射虚像的等效图像中各像素的灰度值分别进行反转处理,得到对应的灰度值反转后的新像素值;
基于所述灰度值反转后的新像素值,得到对应所述镜面反射虚像的等效图像的反转图像。
上述方案中,所述反转单元包括:第二确定子单元和反转子单元;其中,
所述第二确定子单元,用于确定所述镜面反射虚像的等效图像对应的灰度级范围中的最大灰度级;
所述反转子单元,用于基于确定的所述最大灰度级,对所述镜面反射虚像的等效图像中各像素的灰度值进行反转处理,得到对应的所述灰度值反转后的新像素值。
上述方案中,所述第二确定子单元,具体用于以下之一:
通过预先设定的方式确定所述最大灰度级;
获取空白图像,基于所述空白图像的像素值的平均值,确定所述最大灰度级。
上述方案中,所述合成单元,具体用于:
针对所述待显示内容的图像与所述反转图像中对应的各像素值,基于所述待显示内容的图像中相应像素值与第一透明程度的乘积值,以及所述反转图像中相应像素值与第二透明程度的乘积值,确定合成后的各像素值;
基于所述合成后的各像素值,得到所述合成图像;其中,
所述第一透明程度对应所述待显示内容的图像,所述第二透明程度对应所述反转图像;所述第一透明程度与所述第二透明程度之和为第一值。
上述方案中,所述合成单元,还具体用于:
构建所述待显示内容的图像对应的第一拉普拉斯金字塔图像,以及所述反转图像对应的第二拉普拉斯金字塔图像;所述第一拉普拉斯金字塔图像的层数与第二拉普拉斯金字塔图像的层数相等;
针对所述第一拉普拉斯金字塔图像与所述第二拉普拉斯金字塔图像中对应的各层级,基于所述第一拉普拉斯金字塔图像中相应层级与对应的第一掩模值的乘积值,以及所述第二拉普拉斯金字塔图像中相应层级与对应的第二掩模值的乘积值,确定合成后的各层级的图像;
基于所述合成后的各层级的图像,得到所述合成图像。
上述方案中,所述合成单元,还具体用于:
确定图像合成区域;所述图像合成区域内图像的纹理满足第一设定条件;
针对所述图像合成区域内所述待显示内容的图像与所述反转图像中对应的各像素值进行泊松合成处理,得到所述合成图像。
本申请实施例还提供了一种终端,所述终端包括:
通信接口,用于获取待显示内容的图像;
处理器,用于确定镜面反射虚像的等效图像;所述镜面反射虚像的等效图像用于表征所述镜面反射虚像在所述终端的镜面显示屏上的近似代替实像,所述镜面反射虚像基于所述镜面显示屏的镜面反射形成;对所述镜面反射虚像的等效图像进行图像反转处理,得到反转图像;将所述待显示内容的图像与所述反转图像进行图像合成处理,得到合成图像;在所述镜面显示屏上显示所述合成图像。
本申请实施例又提供了一种终端,所述终端包括:处理器和用于存储能够在所述处理器上运行的计算机程序的存储器;
其中,所述处理器用于运行所述计算机程序时,执行本申请实施例提供的图像处理方法的步骤。
本申请实施例还提供了一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现本申请实施例提供的图像处理方法的步骤。
本申请实施例提供的图像处理方法、装置、终端及存储介质,终端获取待显示内容的图像;确定镜面反射虚像的等效图像;所述镜面反射虚像的等效图像用于表征所述镜面反射虚像在所述终端的镜面显示屏上的近似代替实像,所述镜面反射虚像基于所述镜面显示屏的镜面反射形成;对所述镜面反射虚像的等效图像进行图像反转处理,得到反转图像;将所述待显示内容的图像与所述反转图像进行图像合成处理,得到合成图像;在所述镜面显示屏上显示所述合成图像。采用本申请实施例的方案,通过将镜面反射虚像的等效图像经图像反转后得到的反转图像,与待显示内容的图像进行图像合成处理,得到合成图像,这样在显示合成图像时,用户所观察到的是合成图像与镜面反射形成的镜面反射虚像的叠加,而合成图像中的反转成分能够全部或部分抵消镜面反射虚像的干扰,使得显示的合成图像区域中的干扰纹理变得均一,从而能够有效降低镜面反射虚像的呈现对待显示内容的图像的观看产生的视觉干扰,提升操作者的使用感受。
附图说明
图1为本申请实施例提供的一种图像处理方法的流程示意图;
图2为本申请实施例提供的镜面显示屏的屏幕及镜面反射虚像的显示示意图;
图3为本申请实施例提供的待显示内容的图像的显示示意图;
图4为未采用任何处理情况下,将待显示内容的图像与镜面反射虚像进行叠加的观察效果示意图;
图5为本申请实施例提供的镜面反射虚像的等效反转图像的显示示意图;
图6为本申请实施例提供的合成图像的显示示意图;
图7为采用本申请实施例方案得到的叠加后的图像的观察效果示意图;
图8为本申请实施例提供的一种镜面反射虚像的干扰效果消除的观察效果示意图;
图9为本申请实施例提供的一种图像处理装置的组成结构示意图;
图10为本申请实施例提供的终端的硬件组成结构示意图;
图11为本申请实施例提供的图像处理系统的结构示意图。
具体实施方式
为了使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且本申请实施例所记载的技术方案之间,可以在不冲突的情况下相互结合。
在对本申请实施例的技术方案进行介绍之前,下面先对相关技术进行说明。
实际应用中,由于市面上出现的一些终端,比如台式机、笔记本电脑、手机或其他智能设备的显示屏作为冯诺依曼体系计算机的输出设备,显示屏本身要显示数字图像,而且往往还与控制器、运算器、存储器、输入设备或其他输出设备之间存在交互,因此,不能简单地将台式机、笔记本电脑、手机或其他智能设备的镜面显示屏当作平面镜等具备镜面反射特性的光学元器件对待;也就是说,平面镜等光学元器件消除镜面反射的措施,可能并不适用于上述终端的镜面显示屏。
目前,相关技术中,为了降低虚像的呈现对实像的观看产生的视觉干扰,主要提出了以下几种解决方案:
方案一:手动或自动调整镜面显示屏的角度,使镜面反射路径尽量避开或部分避开操作者的视线,从而减少进入操作者眼中的虚像。
方案二:为镜面显示屏添加透明非镜面外包装装置,例如非镜面的透明外壳、磨砂保护膜等,由于此类装置外表面会形成漫反射而非镜面反射,从而消除镜面反射形成的虚像。
方案三:弃用镜面显示屏,选择使用非镜面显示设备,比如雾面屏。
方案四:调高镜面显示屏的背光。
然而,相关技术中的上述几种解决方案在实际应用时存在一定的缺陷,从而不能有效地降低虚像的呈现对实像的观看产生的视觉干扰,下面分别进行分析。
对于上述方案一来说,由于该方案改变了输入设备的角度(甚至可能引发改变输入设备或其他设备的角度,例如一体机、手机、平板电脑等终端的输入设备和输出设备是一体的),可能会对用户观看以及其他操作体验带来不利影响。对于部分终端设备而言,调整镜面显示屏的角度会影响用户操作体验,例如对于智能手机来说,正面直视终端界面进行操作体验较好,如果调整终端的镜面显示屏的角度,例如将镜面显示屏的角度左偏或上偏,观看质量会受到影响,且手指触摸操作也变得费力。
对于上述方案二来说,对于部分终端设备,例如智能手机或平板电脑等而言,增加透明外壳或贴膜会使得屏幕表面摩擦力加大,导致触摸操作受阻。对于部分终端设备,增加透明外壳或贴膜还会阻碍终端设备的散热。另外,部分用户不希望长期加壳或贴膜,例如有用户希望在部分使用场景中将智能手机替代镜子使用。
对于上述方案三来说,部分终端设备如一体机、智能手机或平板电脑的屏幕和主板高度集成,由于缺乏专用配件,可能无法实现换屏;且部分设备难以拆解(例如微软的surface平板),拆解过程中可能造成设备的二次损坏,即用户换屏操作存在较高的次生风险,因此该方案普适性较差。
对于上述方案四来说,调高镜面显示屏的背光很容易导致眼睛疲劳,且并非所有的镜面显示屏都支持背光调整。
由此可见,相关技术中,对于如何有效解决终端的镜面显示屏由于镜面反射产生的虚像,对显示屏显示内容的观看产生视觉干扰的问题,目前尚未有有效解决方案。
基于此,在本申请的各种实施例中,终端获取待显示内容的图像;确定镜面反射虚像的等效图像;对镜面反射虚像的等效图像进行图像反转处理,得到反转图像;将待显示内容的图像与反转图像进行图像合成处理,得到合成图像;在镜面显示屏上显示合成图像。
采用本申请实施例的方案,通过将镜面反射虚像的等效图像经图像反转后得到的反转图像,与待显示内容的图像进行图像合成处理,得到合成图像,这样在显示合成图像时,用户所观察到的是合成图像与镜面反射形成的镜面反射虚像的叠加,而合成图像中的反转成分能够全部或部分抵消镜面反射虚像的干扰,使得显示的合成图像区域中的干扰纹理变得均一,从而能够有效降低镜面反射虚像的呈现对待显示内容的图像的观看产生的视觉干扰,提升操作者的使用感受。
下面结合附图及实施例对本申请方案再作进一步详细的描述。
本申请实施例提供了一种图像处理方法,该方法应用于终端,图1为本申请实施例提供的一种图像处理方法的流程示意图,如图1所示,该方法包括:
步骤101,获取待显示内容的图像。
这里,实施本申请实施例图像处理方法的终端,包括但不限于具有镜面显示屏的台式机、笔记本电脑、手机或其他智能设备。
在本申请实施例中,终端获取的待显示内容的图像为数字图像,具体的,获取终端的镜面显示屏上待显示内容的数字图像。实际应用时,待显示内容一般由冯诺依曼体系计算机运算得到,并将其存储在显存中。这里,待显示内容可包括视频、图片、文字等内容,在此不做限定。
步骤102,确定镜面反射虚像的等效图像。
在本申请实施例中,所述镜面反射虚像的等效图像用于表征所述镜面反射虚像在所述终端的镜面显示屏上的近似代替实像,所述镜面反射虚像基于所述镜面显示屏的镜面反射形成。
实际应用时,由于终端具有镜面显示屏,在使用终端时镜面显示屏由于镜面反射会产生镜面反射虚像,镜面反射虚像在终端的镜面显示屏上的近似代替实像为镜面反射虚像的等效图像。这里的镜面反射虚像的等效图像为数字图像,需要说明的是,这里的等效可以理解为色刺激相同,也即等效图像的光辐射近似于镜面反射虚像的光辐射,两者在进入操作者视线后所引起的彩色感觉相同。
在一些实施例中,终端可以通过如下方式确定镜面反射虚像的等效图像:
获取用户的影像;所述用户的影像与所述镜面显示屏具有位置关系;
获取所述镜面显示屏相关的光学参数;
基于所述用户的影像及所述光学参数,确定所述镜面反射虚像的等效图像。
实际应用时,对于终端获取用户的影像,可以通过如下方式实现:
通过所述终端的感应装置感应用户所处的位置;
在感应到所述用户所处的位置位于预定区域的情况下,获取所述用户的影像;所述用户的影像的拍摄范围至少包括所述镜面反射虚像所对应的入射内容范围。
这里,终端的感应装置例如可以是红外传感器、超声波传感器或者摄像头等。示例性的,可以是在终端的感应装置感应到用户出现在距离终端一米的情况下获取用户的影像,该用户的影像与终端的镜面显示屏具有一定的位置关系,例如可以获取用户观看镜面显示屏的屏幕时用户的影像。
以感应装置为摄像头为例,对用户的影像的获取进行说明。
实际应用时,对于具有副摄像头的终端,比如智能手机、笔记本电脑、一体机、平板电脑等,可在用户正常观看镜面显示屏的屏幕时,终端通过利用副摄像头拍摄用户的影像,以获取用户的影像,该用户的影像可为数字图像。这里,副摄像头是指终端正面如内屏一侧显示的摄像头,主摄像头是指终端背面如外屏一侧显示的摄像头。
当然,如果终端不具有副摄像头,或者用户不希望使用副摄像头,则可以使用外置摄像头来替代副摄像头。其中,外置摄像头的镜头平面应与终端的镜面显示屏的屏幕处在同一平面,或处在与镜面显示屏的屏幕平面近距离的平行平面内,尽量靠近镜面显示屏的屏幕左右连线的中线。具体地,在用户正常使用镜面显示屏的屏幕的情况下,令用户保持位置不变,将屏幕改架设为外置摄像头,外置摄像头自动拍摄用户的影像;也可事先使用胶带、支架等装置将外置摄像头附着在屏幕附近,如屏幕正上方、屏幕正中央、屏幕边框等处,在用户正常使用屏幕时对用户的影像进行拍摄。
如果用户在使用镜面显示屏的过程中相对屏幕发生了位姿改变,则需要重新获取用户的影像。这里,位姿是否发生改变,可由用户自行提出;也可以利用终端已有的传感器(如加速度传感器、陀螺仪等)对终端运动加以判断;还可以事先将传感器附着在手持类终端(如手机、平板电脑、笔记本电脑等)上或附着在用户身上(如正在观看屏幕的用户背部),对终端或用户运动加以判断;或将用户实时影像与之前影像内容进行对比加以判断(可采用上文提到的通过副摄像头或外置摄像头拍摄用户的影像,也可架设另外的摄像头用于运动监控以获取用户的影像)。
无论使用副摄像头还是外置摄像头,用户的影像拍摄均应满足以下条件:(1)用户的影像的拍摄范围应至少包括镜面反射虚像所对应的入射内容范围,包括用户本人及背景环境,可通过镜头变焦或平移位置实现;(2)获取的用户的影像,其左右方向应与用户看到的镜面反射虚像一致;(3)可以拍摄一幅或多幅图像,用于粗略估计镜面反射虚像,也可以拍摄连续的视频,用于精确估计或实时估计镜面反射虚像。
实际应用时,为了避免位姿改变对光学参数的测量准确性的影响,本申请实施例在目标位姿为获取用户的影像时用户所处的位姿的情况下,测量镜面显示屏相关的光学参数。
基于此,在一些实施例中,对于终端获取所述镜面显示屏相关的光学参数,可以通过如下方式实现:
确定在获取所述用户的影像时用户所处的位姿;所述位姿包括位置和姿势中至少之一;
在检测到目标位姿为确定的所述位姿的情况下,获取所述镜面显示屏相关的光学参数。
这里,镜面显示屏相关的光学参数包括但不限于镜面显示屏的反射率、折射率、入射光色度、反射光色度、入射光波长、反射光波长、入射角、反射角等。需要说明的是,上述这些光学参数可以是用户预设的,也可以是通过反射率测定仪、分光测色仪器或色度计等仪器对应测量得到。
实际应用时,用户位姿应保持在获取用户的影像时的位姿,在此前提下进行各项光学参数的测量,避免位姿改变对光学参数的测量准确性的影响。需要说明的是,在测量波长(入射光波长、反射光波长)或色度(入射光色度、反射光色度)时,可将用户及背景区域划分为若干个小区域,且保证划分的每个小区域的颜色近似相同,测量每个小区域的色度或波长。区域越小,测量越精确,测量、后续计算的代价也越高,因此,可根据实际情况权衡确定划分区域的大小。
在一些实施例中,终端基于所述用户的影像及所述光学参数,确定所述镜面反射虚像的等效图像,可以通过如下方式实现:
对所述用户的影像进行内容调整,得到调整后的用户的影像;所述调整后的用户的影像内容与所述镜面反射虚像的内容相匹配;
基于所述光学参数,对所述调整后的用户的影像进行色度调整,得到所述镜面反射虚像的等效图像。
具体来说,终端为确定镜面反射虚像的等效图像,可以先调整用户的影像的数字图像,使该用户的影像的数字图像的内容与镜面反射虚像内容匹配,在此基础上,再利用前述获取的镜面显示屏相关的光学参数,对调整后的用户的影像的色度进行调整,以得到与镜面反射虚像的色刺激相同的镜面反射虚像的等效图像。
下面对用户的影像的内容调整,以及调整后的用户的影像的色度调整的实现过程进行详细说明。
首先对调整用户的影像的内容进行说明。这里的内容调整包括但不限于对用户的影像的内容进行缩放、平移、裁剪等调整,使得调整后用户的影像的内容与镜面反射虚像的内容相匹配。由于镜面反射虚像与操作者眼睛之间的距离,等于操作者眼睛与屏幕平面距离的两倍,欲以屏幕处的镜面反射虚像的等效图像等效替代镜面反射虚像,则用户的影像长度应为镜面反射虚像的1/2,这里对获取的用户的影像大小、摄像范围进行调整,具体地,执行缩放、平移、裁剪操作中的至少一种,从而确保调整后的用户的影像的内容与镜面反射虚像的内容相匹配,即调整后的用户的影像的内容与镜面反射虚像的内容一致,比如人、物一致,但不保证两者的色度一致。
实际应用时,可采用以下方式实现用户的影像的内容调整:
(1)人工对比方式,在镜面显示屏的屏幕上显示获取到的用户的影像,而镜面显示屏熄屏时仅显示镜面反射虚像,令将获取到的用户的影像与镜面反射虚像进行人工对比,利用与镜面显示屏连接的冯诺依曼体系计算机(对于手机、平板电脑来说,连接手机、平板电脑屏幕的计算机是指手机、平板电脑本身;对于显示器来说,连接显示器屏幕的计算机是指外接PC机或手机等)的输入设备,对用户的影像的内容执行缩放、平移、裁剪操作中的至少一种,将用户的影像调整到内容与镜面反射虚像的内容一致;
(2)仪器测量对比方式,可用物理模型(如人偶,用来代替用户)加外置摄像头(代替操作者眼睛)拍摄镜面反射虚像,并基于物理模型和外置摄像头得到物理模型的数字图像,利用计算机对物理模型的数字图像、镜面反射虚像的拍摄影像进行对比,如提取二者的轮廓、线条、阴影等特征以确定二者像素的位置对应关系,计算出需要执行的缩放、平移、裁剪等操作,将这些操作应用在获取到的用户的影像上,将用户的影像调整到内容与镜面反射虚像的内容一致;
(3)模型测算方式,可在人工对比、仪器测量方式的基础上,记录人眼到镜面显示屏的屏幕的距离(可用直尺或卷尺测量,或利用终端自身的距离传感器进行测量)、相对位置、用户的影像总缩放操作、用户的影像总位移操作、用户的影像总裁剪操作,利用统计回归分析、神经网络技术建立用户的影像总缩放操作、用户的影像总位移操作、用户的影像总裁剪操作关于人眼到镜面显示屏的屏幕的距离、相对位置、屏幕大小的函数,每次将人眼到镜面显示屏的屏幕的距离、相对位置、屏幕大小代入函数计算应执行的各类操作,由连接屏幕的计算机(对于手机、平板电脑来说,连接手机、平板电脑屏幕的计算机即指手机、平板电脑本身;对于显示器来说,连接显示器屏幕的计算机是指外接PC机或手机等)自动对获取到的用户的影像执行缩放、平移、裁剪操作中的至少一种,将用户的影像调整到内容与镜面反射虚像的内容一致。
下面对调整后的用户的影像的色度调整进行说明。由于镜面显示屏的屏幕的材质特性,入射光投射到镜面屏幕时仅有一部分入射辐射通量被反射,这也造成了用户观察到的镜面反射虚像色度与用户本人及背景、环境色度不同,因此,还需要对调整后的用户的影像的色度加以调整,才能最终得到与镜面反射虚像的色刺激相同的镜面反射虚像的等效图像。
实际应用时,可采用以下方式实现调整后的用户的影像的色度调整:
(1)人工调整方式,在镜面显示屏的屏幕上显示调整后的用户的影像,而镜面显示屏熄屏时仅显示镜面反射虚像,令将调整后的用户的影像与镜面反射虚像进行人工对比,利用与镜面显示屏连接的冯诺依曼体系计算机(对于手机、平板电脑来说,连接手机、平板电脑屏幕的计算机是指手机、平板电脑本身;对于显示器来说,连接显示器屏幕的计算机是指外接PC机或手机等)的输入设备,对调整后的用户的影像执行明暗调节操作,将调整后的用户的影像调整到色度与镜面反射虚像的色度一致;
(2)仪器测量调整方式,自定义需要的灰度级别(小于等于镜面显示屏的屏幕支持的最大灰度级别),在选定的灰度级别范围内,令镜面显示屏显示若干种单色,使用色度计或分光测色设备测量其色度,将各种单色的色度与获取镜面显示屏相关的光学参数中得到的用户及背景小区域的反射光色度进行匹配,色度值相差最小即视为匹配成功,在调整后的用户的影像的数字图像中,将对应于获取镜面显示屏相关的光学参数时区域的色度替换为匹配上的屏幕单色的色度,最后再进行一次像素平滑(如拉普拉斯平滑),最终得到与镜面反射虚像色刺激相同的等效图像;
(3)模型测算调整方式,在人工调整与仪器测量调整方式的基础上,利用统计回归分析、神经网络等技术,得到色度调整操作与各类光学参数的函数关系,利用函数计算色度调整操作,并由连接屏幕的计算机(对于手机、平板电脑来说,连接手机、平板电脑屏幕的计算机即指手机、平板电脑本身;对于显示器来说,连接显示器屏幕的计算机是指外接PC机或手机等)自动对调整后的用户的影像执行色度调整操作,将调整后的用户的影像调整到色度与镜面反射虚像的色度一致。
步骤103,对所述镜面反射虚像的等效图像进行图像反转处理,得到反转图像。
在一些实施例中,终端可以通过如下方式对所述镜面反射虚像的等效图像进行图像反转处理,得到反转图像:
对所述镜面反射虚像的等效图像中各像素的灰度值分别进行反转处理,得到对应的灰度值反转后的新像素值;
基于所述灰度值反转后的新像素值,得到对应所述镜面反射虚像的等效图像的反转图像。
实际应用时,对于终端对所述镜面反射虚像的等效图像中各像素的灰度值分别进行反转处理,得到对应的灰度值反转后的新像素值来说,可以通过如下方式实现:
确定所述镜面反射虚像的等效图像对应的灰度级范围中的最大灰度级;
基于确定的所述最大灰度级,对所述镜面反射虚像的等效图像中各像素的灰度值进行反转处理,得到对应的所述灰度值反转后的新像素值。
这里得到的反转图像类似于照片底片。对镜面反射虚像的等效图像进行图像反转处理,实际上是对镜面反射虚像的等效图像中的R、G、B三个分量分别进行反转操作,以得到反转图像。
举例来说,假设镜面反射虚像的等效图像的灰度级范围为[0,L-1],对该镜面反射虚像的等效图像进行图像反转处理,实际上是指对该镜面反射虚像的等效图像中的每个像素执行以下数值运算以得到新像素值:
s=L-1-r,其中,s表示图像灰度值反转后的新像素值,r表示原像素灰度值,L-1表示灰度级范围中的最大灰度级。[0,L-1]表示的灰度级范围是数字图像处理领域中常用的一种表示方法。由于存储和量化硬件的考虑,L一般等于2的整数次幂,例如L=28,那么可一共可表示256级,灰度级范围就是[0,L-1]=[0,255]。而本申请实施例可根据实际需要,对L值进行重新估计,在下文中,L是一个正整数,不一定等于2的整数次幂。
实际应用时,可采用以下之一的方式确定所述镜面反射虚像的等效图像对应的灰度级范围中的最大灰度级:
通过预先设定的方式确定所述最大灰度级;
获取空白图像,基于所述空白图像的像素值的平均值,确定所述最大灰度级。
示例性地,可拍摄用户所处环境中的白色物品如白纸或白墙作为空白图像,以该空白图像中各像素值的平均值作为最大灰度级。
这里,如果原图像是RGBA格式(A指透明度),则A保持不变,即可得到初步反转图像,进一步的,还可对初步反转图像进行上采样或下采样等缩放处理,使缩放处理后的初步反转图像的尺寸与待显示内容的图像的尺寸相同,最终即可得到反转图像。这里的反转图像也为一数字图像。
步骤104,将所述待显示内容的图像与所述反转图像进行图像合成处理,得到合成图像。
这里,图像合成(image blending)是指将待显示内容的图像与反转图像这两幅数字图像合成为一幅图像,主要包括直接剪切粘贴、alpha合成、多尺度(多分辨率)合成、泊松合成等方法。下面针对采用alpha合成、多尺度合成、泊松合成的方式进行图像合成的过程进行详细说明。
在一些实施例中,终端可以通过如下方式将所述待显示内容的图像与所述反转图像进行图像合成处理,得到合成图像:
针对所述待显示内容的图像与所述反转图像中对应的各像素值,基于所述待显示内容的图像中相应像素值与第一透明程度的乘积值,以及所述反转图像中相应像素值与第二透明程度的乘积值,确定合成后的各像素值;
基于所述合成后的各像素值,得到所述合成图像;其中,
所述第一透明程度对应所述待显示内容的图像,所述第二透明程度对应所述反转图像;所述第一透明程度与所述第二透明程度之和为第一值。
具体来说,假设反转图像为R(z),待显示内容的图像为B(z),合成图像为I(z),z为任一像素值,即可表示待显示内容的图像与反转图像中的任一像素值,α表示第二透明程度,该第二透明程度对应反转图像R(z),1-α表示第一透明程度,该第一透明程度对应待显示内容的图像B(z),则采用alpha合成公式得到合成图像I(z)如下表示:
I(z)=α·R(z)+(1-α)·B(z),α∈[0,1];
该alpha合成公式作用于待显示内容的图像与反转图像中对应的R、G、B每个分量,即可得到合成后的合成图像。
这里,α可预先设置,也可根据合成图像的效果进行自行调整。如果α接近于1,则合成后的合成图像接近反转图像R(z),镜面反射虚像的干扰减轻效果明显,但待显示内容的图像的显示效果变差;如果α接近于0,则合成后的合成图像接近待显示内容的图像B(z),镜面反射虚像的干扰减轻效果不明显,但待显示内容的图像的显示效果较好。
在另一些实施例中,终端还可以通过如下方式将所述待显示内容的图像与所述反转图像进行图像合成处理,得到合成图像:
构建所述待显示内容的图像对应的第一拉普拉斯金字塔图像,以及所述反转图像对应的第二拉普拉斯金字塔图像;所述第一拉普拉斯金字塔图像的层数与第二拉普拉斯金字塔图像的层数相等;
针对所述第一拉普拉斯金字塔图像与所述第二拉普拉斯金字塔图像中对应的各层级,基于所述第一拉普拉斯金字塔图像中相应层级与对应的第一掩模值的乘积值,以及所述第二拉普拉斯金字塔图像中相应层级与对应的第二掩模值的乘积值,确定合成后的各层级的图像;
基于所述合成后的各层级的图像,得到所述合成图像。
具体来说,本申请实施例使用拉普拉斯金字塔(Laplacian pyramids),混合待显示内容的图像B和反转图像R,得到合成图像I,具体实现步骤如下:
首先,分别构建待显示内容的图像B和反转图像R对应的k阶拉普拉斯金字塔图像LB和LR;其次,使用以下公式混合LB和LR中对应的每一层级:
Figure BDA0002569217070000191
其中,I表示混合后的图像,i∈[0,k]表示金字塔的层号,待显示内容的图像B对应的第一拉普拉斯金字塔图像,以及反转图像R对应的第二拉普拉斯金字塔图像的层数相等,Mi表示第i层的掩模值(mask),Mi可预先设置,也可根据合成图像的效果进行自行调整。
最后,对合成后的图像金字塔LI进行金字塔逆变换,得到合成图像I。
在另一些实施例中,终端还可以通过如下方式将所述待显示内容的图像与所述反转图像进行图像合成处理,得到合成图像:
确定图像合成区域;所述图像合成区域内图像的纹理满足第一设定条件;
针对所述图像合成区域内所述待显示内容的图像与所述反转图像中对应的各像素值进行泊松合成处理,得到所述合成图像。
具体来说,假设合成图像的像素值函数是f(z),反转图像的像素值函数是g(z),z表示任一像素值;Ω表示图像合成区域,可按需进行选择;f*表示待显示内容的图像的像素值函数。根据以下泊松合成的公式求解优化问题即可得到f(z):
Figure BDA0002569217070000201
Figure BDA0002569217070000202
v=(u,v)=▽g
上述公式的第一行可以理解为在图像合成区域,合成后的图像尽可能接近反转图像,上述公式的第二行可以理解为在图像合成区域的边缘,合成后的图像与待显示内容的图像平滑相接,求解上述公式的优化问题就可得到合成后的图像的各像素值。
这里,由于上述公式的第一行会导致合成后的图像尽可能接近反转图像,而实际应用时,合成后的图像需体现出待显示内容的图像,也就是说,不应当为了消除镜面反射虚像的干扰而影响原来的待显示内容的图像的观看,因此,图像合成区域Ω不宜过大,以免反转图像的全部或部分内容占据合成图像的面积过大,而影响原来的待显示内容的图像的观看。
需要说明的是,本申请实施例可按照以下方式确定图像合成区域Ω:对待显示内容的图像进行边缘检测和纹理检测,得到若干个小区域,需保证每个小区域纹理很少或无纹理(即图像合成区域Ω内图像的纹理满足第一设定条件),将每个小区域分别作为图像合成区域Ω。进而针对图像合成区域Ω内待显示内容的图像与反转图像中对应的各像素值执行泊松合成处理,以得到合成图像。
步骤105,在所述镜面显示屏上显示所述合成图像。
采用本申请实施例提供的方案,通过将镜面反射虚像的等效图像经图像反转后得到的反转图像,与待显示内容的图像进行图像合成处理,得到合成图像,这样在显示合成图像时,用户所观察到的是合成图像与镜面反射形成的镜面反射虚像的叠加,而合成图像中的反转成分能够全部或部分抵消镜面反射虚像的干扰,使得显示的合成图像区域中的干扰纹理变得均一,从而能够有效降低镜面反射虚像的呈现对待显示内容的图像的观看产生的视觉干扰,提升操作者的使用感受。
下面结合应用实施例对本申请方案再作进一步详细的描述。
终端具有镜面显示屏,在使用终端时镜面显示屏会发生镜面反射,生成镜面反射虚像,图2为本申请实施例提供的镜面显示屏的屏幕及镜面反射虚像的显示示意图,在图2中,平行四边形表示的是镜面显示屏的屏幕,在该镜面显示屏的屏幕上显示有一个灰色三角形,该灰色三角形表示的是由于镜面显示屏反射形成的镜面反射虚像;图3为本申请实施例提供的待显示内容的图像的显示示意图,如图3所示,在镜面显示屏的屏幕上显示待显示内容的图像。在未采用任何处理方式的情况下,在镜面显示屏的屏幕处,用户所观察到的是待显示内容的图像(图3所示的图像)与镜面反射虚像(图2所示的灰色三角形)的叠加,观察效果如图4所示,可见该镜面反射虚像对待显示内容的图像的显示造成了干扰。
若采用本申请实施例的方案,先获取用户的影像及镜面显示屏相关的光学参数,基于获取到的用户的影像及镜面显示屏相关的光学参数可确定镜面反射虚像的等效图像,然后对镜面反射虚像的等效图像进行图像反转处理,得到对应的反转图像,即得到如图5所示的镜面反射虚像的等效反转图像,这里,具体地可先对用户的影像进行内容调整,得到调整后的用户的影像,然后再基于光学参数对调整后的用户的影像进行色度调整,以得到镜面反射虚像的等效图像,并对镜面反射虚像的等效图像中各像素的灰度值分别进行反转处理,得到镜面反射虚像的等效反转图像;接下来,将待显示内容的图像(图3所示的图像)与镜面反射虚像的等效反转图像(图5所示的图像)进行图像合成处理,得到如图6所示的合成图像。经过本申请实施例的显示内容调整,镜面显示屏显示的是图6的合成图像,用户所观察到的是合成图像与镜面反射虚像的叠加,显示区域中镜面反射虚像的主要干扰区域与非干扰区域纹理接近,观察效果如图7所示,显然镜面反射虚像的干扰减轻。在镜面反射虚像灰度级范围、待显示内容的图像纹理等外界条件较为理想的情况下,经过本申请实施例的显示内容调整,用户所观察到的显示区域中镜面反射虚像的主要干扰区域与非干扰区域纹理几乎一致,镜面反射虚像的干扰效果消除,观察效果如图8所示。
实际应用时,将镜面反射虚像的等效反转图像与待显示内容的图像合成,并在屏幕上显示合成图像,与镜面反射虚像叠加,可以减轻或消除虚像的干扰。其中,减轻或消除的效果,一定程度上依赖于环境:如果虚像亮度远低于屏幕的最大显示亮度,则干扰减轻效果较好,反之干扰减轻效果有限;如果待显示内容的图像不要求色彩高保真,则镜面反射虚像的等效反转图像与待显示内容的图像合成时调整空间大,可以以偏色换取较好的干扰减轻效果,反之干扰减轻效果有限;如果待显示内容的图像纹理不复杂,没有过多的细节需要保持,则镜面反射虚像的等效反转图像与待显示内容的图像合成时调整空间大,可以在合成时引入一些纹理换取较好的干扰减轻效果,反之干扰减轻效果有限。
为了实现本申请实施例的图像处理方法,本申请实施例还提供了一种图像处理装置,该装置设置在终端上,图9为本申请实施例提供的一种图像处理装置的组成结构示意图,如图9所示,该装置包括:
获取单元91,用于获取待显示内容的图像;
确定单元92,用于确定镜面反射虚像的等效图像;所述镜面反射虚像的等效图像用于表征所述镜面反射虚像在所述终端的镜面显示屏上的近似代替实像,所述镜面反射虚像基于所述镜面显示屏的镜面反射形成;
反转单元93,用于对所述镜面反射虚像的等效图像进行图像反转处理,得到反转图像;
合成单元94,用于将所述待显示内容的图像与所述反转图像进行图像合成处理,得到合成图像;
显示单元95,用于在所述镜面显示屏上显示所述合成图像。
在一些实施例中,所述确定单元92包括第一获取子单元、第二获取子单元及第一确定子单元;其中,
所述第一获取子单元,用于获取用户的影像;所述用户的影像与所述镜面显示屏具有位置关系;
所述第二获取子单元,用于获取所述镜面显示屏相关的光学参数;
所述第一确定子单元,用于基于所述用户的影像及所述光学参数,确定所述镜面反射虚像的等效图像。
在一些实施例中,所述第一获取子单元,具体用于:
通过所述终端的感应装置感应用户所处的位置;
在感应到所述用户所处的位置位于预定区域的情况下,获取所述用户的影像;所述用户的影像的拍摄范围至少包括所述镜面反射虚像所对应的入射内容范围。
在一些实施例中,所述第二获取子单元,具体用于:
确定在获取所述用户的影像时用户所处的位姿;所述位姿包括位置和姿势中至少之一;
在检测到目标位姿为确定的所述位姿的情况下,获取所述镜面显示屏相关的光学参数。
在一些实施例中,所述第一确定子单元,具体用于:
对所述用户的影像进行内容调整,得到调整后的用户的影像;所述调整后的用户的影像内容与所述镜面反射虚像的内容相匹配;
基于所述光学参数,对所述调整后的用户的影像进行色度调整,得到所述镜面反射虚像的等效图像。
在一些实施例中,所述反转单元93,具体用于:
对所述镜面反射虚像的等效图像中各像素的灰度值分别进行反转处理,得到对应的灰度值反转后的新像素值;
基于所述灰度值反转后的新像素值,得到对应所述镜面反射虚像的等效图像的反转图像。
在一些实施例中,所述反转单元93包括:第二确定子单元和反转子单元;其中,
所述第二确定子单元,用于确定所述镜面反射虚像的等效图像对应的灰度级范围中的最大灰度级;
所述反转子单元,用于基于确定的所述最大灰度级,对所述镜面反射虚像的等效图像中各像素的灰度值进行反转处理,得到对应的所述灰度值反转后的新像素值。
实际应用时,所述第二确定子单元,具体用于以下之一:
通过预先设定的方式确定所述最大灰度级;
获取空白图像,基于所述空白图像的像素值的平均值,确定所述最大灰度级。
在一些实施例中,所述合成单元94,具体用于:
针对所述待显示内容的图像与所述反转图像中对应的各像素值,基于所述待显示内容的图像中相应像素值与第一透明程度的乘积值,以及所述反转图像中相应像素值与第二透明程度的乘积值,确定合成后的各像素值;
基于所述合成后的各像素值,得到所述合成图像;其中,
所述第一透明程度对应所述待显示内容的图像,所述第二透明程度对应所述反转图像;所述第一透明程度与所述第二透明程度之和为第一值。
在一些实施例中,所述合成单元94,还具体用于:
构建所述待显示内容的图像对应的第一拉普拉斯金字塔图像,以及所述反转图像对应的第二拉普拉斯金字塔图像;所述第一拉普拉斯金字塔图像的层数与第二拉普拉斯金字塔图像的层数相等;
针对所述第一拉普拉斯金字塔图像与所述第二拉普拉斯金字塔图像中对应的各层级,基于所述第一拉普拉斯金字塔图像中相应层级与对应的第一掩模值的乘积值,以及所述第二拉普拉斯金字塔图像中相应层级与对应的第二掩模值的乘积值,确定合成后的各层级的图像;
基于所述合成后的各层级的图像,得到所述合成图像。
在一些实施例中,所述合成单元94,还具体用于:
确定图像合成区域;所述图像合成区域内图像的纹理满足第一设定条件;
针对所述图像合成区域内所述待显示内容的图像与所述反转图像中对应的各像素值进行泊松合成处理,得到所述合成图像。
这里,实际应用时,获取单元91可由图像处理装置中的通信接口实现;确定单元92、反转单元93、合成单元94及显示单元95可由图像处理装置中的处理器结合通信接口实现。
需要说明的是,上述实施例提供的图像处理装置在进行图像处理时,仅以上述各程序模块的划分进行举例说明,实际应用中,可以根据需要而将上述处理分配由不同的程序模块完成,即将装置的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分处理。另外,上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
基于上述程序模块的组成结构实现,且为了实现本申请实施例的图像处理方法,本申请实施例还提供了一种终端,图10为本申请实施例提供的终端的硬件组成结构示意图,如图10所示,该终端100包括:
通信接口101,用于获取待显示内容的图像;
处理器102,与通信接口101连接,用于运行计算机程序时,执行上述终端侧一个或多个技术方案提供的方法。而所述计算机程序存储在存储器103上。
具体地,处理器102,用于确定镜面反射虚像的等效图像;所述镜面反射虚像的等效图像用于表征所述镜面反射虚像在所述终端的镜面显示屏上的近似代替实像,所述镜面反射虚像基于所述镜面显示屏的镜面反射形成;对所述镜面反射虚像的等效图像进行图像反转处理,得到反转图像;将所述待显示内容的图像与所述反转图像进行图像合成处理,得到合成图像;在所述镜面显示屏上显示所述合成图像。
在一些实施例中,所述处理器102,具体用于:
获取用户的影像;所述用户的影像与所述镜面显示屏具有位置关系;
获取所述镜面显示屏相关的光学参数;
基于所述用户的影像及所述光学参数,确定所述镜面反射虚像的等效图像。
在一些实施例中,所述处理器102,具体用于:
通过所述终端的感应装置感应用户所处的位置;
在感应到所述用户所处的位置位于预定区域的情况下,获取所述用户的影像;所述用户的影像的拍摄范围至少包括所述镜面反射虚像所对应的入射内容范围。
在一些实施例中,所述处理器102,具体用于:
确定在获取所述用户的影像时用户所处的位姿;所述位姿包括位置和姿势中至少之一;
在检测到目标位姿为确定的所述位姿的情况下,获取所述镜面显示屏相关的光学参数。
在一些实施例中,所述处理器102,具体用于:
对所述用户的影像进行内容调整,得到调整后的用户的影像;所述调整后的用户的影像内容与所述镜面反射虚像的内容相匹配;
基于所述光学参数,对所述调整后的用户的影像进行色度调整,得到所述镜面反射虚像的等效图像。
在一些实施例中,所述处理器102,具体用于:
对所述镜面反射虚像的等效图像中各像素的灰度值分别进行反转处理,得到对应的灰度值反转后的新像素值;
基于所述灰度值反转后的新像素值,得到对应所述镜面反射虚像的等效图像的反转图像。
在一些实施例中,所述处理器102,具体用于:
确定所述镜面反射虚像的等效图像对应的灰度级范围中的最大灰度级;
基于确定的所述最大灰度级,对所述镜面反射虚像的等效图像中各像素的灰度值进行反转处理,得到对应的所述灰度值反转后的新像素值。
在一些实施例中,所述处理器102,具体用于以下之一:
通过预先设定的方式确定所述最大灰度级;
获取空白图像,基于所述空白图像的像素值的平均值,确定所述最大灰度级。
在一些实施例中,所述处理器102,具体用于:
针对所述待显示内容的图像与所述反转图像中对应的各像素值,基于所述待显示内容的图像中相应像素值与第一透明程度的乘积值,以及所述反转图像中相应像素值与第二透明程度的乘积值,确定合成后的各像素值;
基于所述合成后的各像素值,得到所述合成图像;其中,
所述第一透明程度对应所述待显示内容的图像,所述第二透明程度对应所述反转图像;所述第一透明程度与所述第二透明程度之和为第一值。
在一些实施例中,所述处理器102,具体用于:
构建所述待显示内容的图像对应的第一拉普拉斯金字塔图像,以及所述反转图像对应的第二拉普拉斯金字塔图像;所述第一拉普拉斯金字塔图像的层数与第二拉普拉斯金字塔图像的层数相等;
针对所述第一拉普拉斯金字塔图像与所述第二拉普拉斯金字塔图像中对应的各层级,基于所述第一拉普拉斯金字塔图像中相应层级与对应的第一掩模值的乘积值,以及所述第二拉普拉斯金字塔图像中相应层级与对应的第二掩模值的乘积值,确定合成后的各层级的图像;
基于所述合成后的各层级的图像,得到所述合成图像。
在一些实施例中,所述处理器102,具体用于:
确定图像合成区域;所述图像合成区域内图像的纹理满足第一设定条件;
针对所述图像合成区域内所述待显示内容的图像与所述反转图像中对应的各像素值进行泊松合成处理,得到所述合成图像。
需要说明的是,通信接口101和处理器102的具体处理过程详见方法实施例,这里不再赘述。
当然,实际应用时,终端100中的各个组件通过总线系统104耦合在一起。可以理解,总线系统104用于实现这些组件之间的连接通信。总线系统104除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图10中将各种总线都标为总线系统104。
本申请实施例中的存储器103用于存储各种类型的数据以支持终端100的操作。这些数据的示例包括:用于在终端100上操作的任何计算机程序。
上述本申请实施例揭示的图像处理方法可以应用于处理器102中,或者由处理器102实现。处理器102可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述图像处理方法的各步骤可以通过处理器102中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器102可以是通用处理器、数字信号处理器(DSP,Digital SignalProcessor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器102可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤,可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中,该存储介质位于存储器103,处理器102读取存储器103中的信息,结合其硬件完成前述终端侧的图像处理方法的步骤。
在示例性实施例中,终端100可以被一个或多个应用专用集成电路(ASIC,Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD,ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD,Complex Programmable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU,Micro Controller Unit)、微处理器(Microprocessor)或者其他电子元件实现,用于执行前述终端侧的图像处理方法。
可以理解,本申请实施例的存储器103可以是易失性存储器或者非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(ROM,Read Only Memory)、可编程只读存储器(PROM,Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM,Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM,Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM,Ferromagnetic Random Access Memory)、快闪存储器(FlashMemory)、磁表面存储器、光盘、或只读光盘(CD-ROM,Compact Disc Read-Only Memory);磁表面存储器可以是磁盘存储器或磁带存储器。
易失性存储器可以是随机存取存储器(RAM,Random Access Memory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(SRAM,Static Random Access Memory)、同步静态随机存取存储器(SSRAM,SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM,Dynamic Random AccessMemory)、同步动态随机存取存储器(SDRAM,Synchronous Dynamic Random AccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM,Double Data RateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM,Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM,Sync Link Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM,Direct Rambus Random Access Memory)。本申请实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
在示例性实施例中,本申请实施例还提供了一种存储介质,即计算机存储介质,具体可为计算机可读存储介质,例如包括存储计算机程序的存储器103,上述计算机程序可由终端100的处理器102执行,以完成前述终端侧的图像处理方法的步骤。其中,计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
为了有效解决终端的镜面显示屏由于镜面反射产生的虚像,对显示屏显示内容的观看产生视觉干扰的问题,本申请实施例还提供了一种图像处理系统,图11为本申请实施例提供的图像处理系统的结构示意图,如图11所示,该系统主要包括以下模块:
用户的影像获取模块111,用于获取用户正常观看镜面显示屏的屏幕时的用户的影像并输出,所述用户的影像与镜面显示屏具有位置关系。
光学参数获取模块112,用于获取镜面显示屏相关的光学参数,例如镜面显示屏的反射率、折射率、入射光色度、反射光色度、入射光波长、反射光波长、入射角、反射角等。在具体实现上,如部分测量采用人工测量方式,那么该光学参数获取模块112需要具备人机交互功能,以收集人工参数。
待显示内容的图像获取模块113,用于获取镜面显示屏的待显示内容的图像并输出。
虚像等效图像确定模块114,用于对用户的影像获取模块111获取的用户的影像进行内容调整(执行缩放、平移、裁剪等操作),然后基于光学参数获取模块112获取的镜面显示屏相关的光学参数,对调整后的用户的影像进行色度调整,得到镜面反射虚像的等效图像。在具体实现上,如部分测量采用人工测量方式,那么该模块需要具备人机交互功能,以收集人工参数。
图像反转模块115,用于对镜面反射虚像的等效图像进行图像反转处理,得到反转图像。
图像合成模块116,用于将反转图像与待显示内容的图像进行图像合成处理,得到合成图像,并输出该合成图像。
图像显示模块117,用于在镜面显示屏上显示合成图像。
需要说明的是,上述各模块的具体处理过程已在上文详述,这里不再赘述。
采用本申请实施例提供的方案,无需改变镜面显示屏的角度,不会发生因镜面显示屏的角度发生改变而影响观看质量;没有改变原有设备的外部形态,不影响触屏操作等用户操作体验,且也不影响设备的散热;适用于各类台式机、笔记本电脑、手机或其他智能设备的镜面显示屏;无需改变镜面显示屏的背光,不会因亮度变化造成额外的视觉负担。
在本申请实施例中,所涉及的术语“第一”、“第二”等仅仅是用于区别类似的对象,不代表针对对象的特定的顺序或先后次序,可以理解地,“第一”、“第二”等在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种图像处理方法,其特征在于,应用于终端,所述方法包括:
获取待显示内容的图像;
确定镜面反射虚像的等效图像;所述镜面反射虚像的等效图像用于表征所述镜面反射虚像在所述终端的镜面显示屏上的近似代替实像,所述镜面反射虚像基于所述镜面显示屏的镜面反射形成;
对所述镜面反射虚像的等效图像进行图像反转处理,得到反转图像;
将所述待显示内容的图像与所述反转图像进行图像合成处理,得到合成图像;
在所述镜面显示屏上显示所述合成图像。
2.根据权利要求1所述的方法,其特征在于,所述确定镜面反射虚像的等效图像,包括:
获取用户的影像;所述用户的影像与所述镜面显示屏具有位置关系;
获取所述镜面显示屏相关的光学参数;
基于所述用户的影像及所述光学参数,确定所述镜面反射虚像的等效图像。
3.根据权利要求2所述的方法,其特征在于,所述获取用户的影像,包括:
通过所述终端的感应装置感应用户所处的位置;
在感应到所述用户所处的位置位于预定区域的情况下,获取所述用户的影像;所述用户的影像的拍摄范围至少包括所述镜面反射虚像所对应的入射内容范围。
4.根据权利要求2所述的方法,其特征在于,所述获取所述镜面显示屏相关的光学参数,包括:
确定在获取所述用户的影像时用户所处的位姿;所述位姿包括位置和姿势中至少之一;
在检测到目标位姿为确定的所述位姿的情况下,获取所述镜面显示屏相关的光学参数。
5.根据权利要求2所述的方法,其特征在于,所述基于所述用户的影像及所述光学参数,确定所述镜面反射虚像的等效图像,包括:
对所述用户的影像进行内容调整,得到调整后的用户的影像;所述调整后的用户的影像内容与所述镜面反射虚像的内容相匹配;
基于所述光学参数,对所述调整后的用户的影像进行色度调整,得到所述镜面反射虚像的等效图像。
6.根据权利要求1所述的方法,其特征在于,所述对所述镜面反射虚像的等效图像进行图像反转处理,得到反转图像,包括:
对所述镜面反射虚像的等效图像中各像素的灰度值分别进行反转处理,得到对应的灰度值反转后的新像素值;
基于所述灰度值反转后的新像素值,得到对应所述镜面反射虚像的等效图像的反转图像。
7.根据权利要求6所述的方法,其特征在于,所述对所述镜面反射虚像的等效图像中各像素的灰度值分别进行反转处理,得到对应的灰度值反转后的新像素值,包括:
确定所述镜面反射虚像的等效图像对应的灰度级范围中的最大灰度级;
基于确定的所述最大灰度级,对所述镜面反射虚像的等效图像中各像素的灰度值进行反转处理,得到对应的所述灰度值反转后的新像素值。
8.根据权利要求7所述的方法,其特征在于,所述确定所述镜面反射虚像的等效图像对应的灰度级范围中的最大灰度级,包括以下之一:
通过预先设定的方式确定所述最大灰度级;
获取空白图像,基于所述空白图像的像素值的平均值,确定所述最大灰度级。
9.根据权利要求1所述的方法,其特征在于,所述将所述待显示内容的图像与所述反转图像进行图像合成处理,得到合成图像,包括:
针对所述待显示内容的图像与所述反转图像中对应的各像素值,基于所述待显示内容的图像中相应像素值与第一透明程度的乘积值,以及所述反转图像中相应像素值与第二透明程度的乘积值,确定合成后的各像素值;
基于所述合成后的各像素值,得到所述合成图像;其中,
所述第一透明程度对应所述待显示内容的图像,所述第二透明程度对应所述反转图像;所述第一透明程度与所述第二透明程度之和为第一值。
10.根据权利要求1所述的方法,其特征在于,所述将所述待显示内容的图像与所述反转图像进行图像合成处理,得到合成图像,包括:
构建所述待显示内容的图像对应的第一拉普拉斯金字塔图像,以及所述反转图像对应的第二拉普拉斯金字塔图像;所述第一拉普拉斯金字塔图像的层数与第二拉普拉斯金字塔图像的层数相等;
针对所述第一拉普拉斯金字塔图像与所述第二拉普拉斯金字塔图像中对应的各层级,基于所述第一拉普拉斯金字塔图像中相应层级与对应的第一掩模值的乘积值,以及所述第二拉普拉斯金字塔图像中相应层级与对应的第二掩模值的乘积值,确定合成后的各层级的图像;
基于所述合成后的各层级的图像,得到所述合成图像。
11.根据权利要求1所述的方法,其特征在于,所述将所述待显示内容的图像与所述反转图像进行图像合成处理,得到合成图像,包括:
确定图像合成区域;所述图像合成区域内图像的纹理满足第一设定条件;
针对所述图像合成区域内所述待显示内容的图像与所述反转图像中对应的各像素值进行泊松合成处理,得到所述合成图像。
12.一种图像处理装置,其特征在于,所述装置包括:
获取单元,用于获取待显示内容的图像;
确定单元,用于确定镜面反射虚像的等效图像;所述镜面反射虚像的等效图像用于表征所述镜面反射虚像在所述终端的镜面显示屏上的近似代替实像,所述镜面反射虚像基于所述镜面显示屏的镜面反射形成;
反转单元,用于对所述镜面反射虚像的等效图像进行图像反转处理,得到反转图像;
合成单元,用于将所述待显示内容的图像与所述反转图像进行图像合成处理,得到合成图像;
显示单元,用于在所述镜面显示屏上显示所述合成图像。
13.一种终端,其特征在于,所述终端包括:
通信接口,用于获取待显示内容的图像;
处理器,用于确定镜面反射虚像的等效图像;所述镜面反射虚像的等效图像用于表征所述镜面反射虚像在所述终端的镜面显示屏上的近似代替实像,所述镜面反射虚像基于所述镜面显示屏的镜面反射形成;对所述镜面反射虚像的等效图像进行图像反转处理,得到反转图像;将所述待显示内容的图像与所述反转图像进行图像合成处理,得到合成图像;在所述镜面显示屏上显示所述合成图像。
14.一种终端,其特征在于,所述终端包括:处理器和用于存储能够在所述处理器上运行的计算机程序的存储器;
其中,所述处理器用于运行所述计算机程序时,执行权利要求1至11任一项所述图像处理方法的步骤。
15.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11任一项所述图像处理方法的步骤。
CN202010637218.3A 2020-07-03 2020-07-03 图像处理方法、装置、终端及存储介质 Pending CN113891013A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010637218.3A CN113891013A (zh) 2020-07-03 2020-07-03 图像处理方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010637218.3A CN113891013A (zh) 2020-07-03 2020-07-03 图像处理方法、装置、终端及存储介质

Publications (1)

Publication Number Publication Date
CN113891013A true CN113891013A (zh) 2022-01-04

Family

ID=79013348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010637218.3A Pending CN113891013A (zh) 2020-07-03 2020-07-03 图像处理方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN113891013A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090046298A1 (en) * 2004-11-23 2009-02-19 Robert Eric Betzig Optical lattice microscopy
CN103548074A (zh) * 2011-05-13 2014-01-29 皮克斯特隆尼斯有限公司 具有合成色彩的场序彩色显示器
CN110189662A (zh) * 2019-05-22 2019-08-30 杭州网众聚焦科技有限公司 一种车载二次镜面反射成像的方法、系统及汽车
CN110866867A (zh) * 2019-11-18 2020-03-06 深圳传音控股股份有限公司 终端镜面图像显示方法、终端及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090046298A1 (en) * 2004-11-23 2009-02-19 Robert Eric Betzig Optical lattice microscopy
CN103548074A (zh) * 2011-05-13 2014-01-29 皮克斯特隆尼斯有限公司 具有合成色彩的场序彩色显示器
CN105551419A (zh) * 2011-05-13 2016-05-04 皮克斯特隆尼斯有限公司 具有合成色彩的场序彩色显示器
CN110189662A (zh) * 2019-05-22 2019-08-30 杭州网众聚焦科技有限公司 一种车载二次镜面反射成像的方法、系统及汽车
CN110866867A (zh) * 2019-11-18 2020-03-06 深圳传音控股股份有限公司 终端镜面图像显示方法、终端及计算机可读存储介质

Similar Documents

Publication Publication Date Title
JP7027537B2 (ja) 画像処理方法および装置、電子機器、ならびにコンピュータ可読記憶媒体
US11308675B2 (en) 3D facial capture and modification using image and temporal tracking neural networks
CN109064390B (zh) 一种图像处理方法、图像处理装置及移动终端
WO2016134534A1 (zh) 自动调整摄像头的方法和电子设备
US20190129674A1 (en) Display apparatus, scanner, and non-transitory computer readable medium
US20180184062A1 (en) Image Processing to Determine Center of Balance in a Digital Image
US20210099632A1 (en) Gaze-Based Exposure
US20220026276A1 (en) System and Method for Creation of Topical Agents with Improved Image Capture
WO2018054267A1 (zh) 基于虚拟现实vr设备的图像展示方法及装置
CN109040596B (zh) 一种调整摄像头的方法、移动终端及存储介质
CN110677621B (zh) 摄像头调用方法、装置、存储介质及电子设备
EP3571670B1 (en) Mixed reality object rendering
US20230072701A1 (en) Ambient light based mixed reality object rendering
WO2018014932A1 (en) Computer system and method for improved gloss representation in digital images
CN109447931B (zh) 图像处理方法及装置
CN114926351A (zh) 图像处理方法、电子设备以及计算机存储介质
CN113891013A (zh) 图像处理方法、装置、终端及存储介质
US10832493B2 (en) Programmatic hairstyle opacity compositing for 3D rendering
JP2013258583A (ja) 撮像画像表示装置、撮像画像表示方法、プログラム
CN115439577A (zh) 图像渲染方法、装置、终端设备及存储介质
CN112908228B (zh) 显示亮度的调整方法、装置、头戴显示设备及存储介质
CN110866867A (zh) 终端镜面图像显示方法、终端及计算机可读存储介质
JP7304484B2 (ja) 赤外光を利用したポートレート再照明
CN114743508B (zh) 亮度补偿方法和显示设备
CN114979498B (zh) 曝光处理方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination