CN106296621B - 图像处理方法和装置 - Google Patents

图像处理方法和装置 Download PDF

Info

Publication number
CN106296621B
CN106296621B CN201510268553.XA CN201510268553A CN106296621B CN 106296621 B CN106296621 B CN 106296621B CN 201510268553 A CN201510268553 A CN 201510268553A CN 106296621 B CN106296621 B CN 106296621B
Authority
CN
China
Prior art keywords
image
input picture
pixel
light source
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510268553.XA
Other languages
English (en)
Other versions
CN106296621A (zh
Inventor
吴磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201510268553.XA priority Critical patent/CN106296621B/zh
Priority to PCT/CN2016/078940 priority patent/WO2016188241A1/zh
Publication of CN106296621A publication Critical patent/CN106296621A/zh
Priority to US15/808,953 priority patent/US10510173B2/en
Application granted granted Critical
Publication of CN106296621B publication Critical patent/CN106296621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/503Blending, e.g. for anti-aliasing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种图像处理方法,包括:获取输入图像;由所述输入图像提取光源参数;按照所述光源参数调整所述素材图像中的颜色值,并根据所述调整颜色值的素材图像进行二值化处理,以得到与所述输入图像匹配的素材适配图像;根据所述光源参数对所述素材适配图像进行计算得到眩光效果图像;融合所述输入图像和所述眩光效果图像。此外,还提供了一种图像处理装置。上述图像处理方法、装置能使得模拟的眩光效果与图像中的光源相适应,且提高真实感。

Description

图像处理方法和装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种图像处理的方法和装置。
背景技术
镜头眩光是高强度光源进入照相机镜头使得多个反射面相互干扰而形成的,镜头眩光在图像中表现为光斑和光晕等眩光效果。随着图像处理技术的发展,用户使用各种图像处理工具对图像进行编辑美化以在图像中附加各种显示效果。而眩光特效是图像处理工具对图像所进行的编辑美化过程中经常被使用的一种美化特效,其是利用手工贴图而实现。
具体的,由用户指定图像中的光源位置,并手动调整素材图的颜色、大小等相关参数,最终将附带了眩光效果的素材图与图像融合实现图像中的眩光效果模拟。
然而,图像中模拟的眩光效果往往会出现光斑、光晕中的颜色与图像中光源的色调不相匹配,或者光斑和光晕在图像中的位置与光源并不相符,因此,存在着模拟的眩光效果与图像中的光源不相适应,真实感不佳的缺陷。
发明内容
基于此,有必要提供一种能使得模拟的眩光效果与图像中的光源相适应,且提高真实感的图像处理方法。
此外,还有必要提供一种能使得模拟的眩光效果与图像中的光源相适应,且提高真实感的图像处理装置。
为解决上述技术问题,将采用如下技术方案:
一种图像处理方法,包括如下步骤:
获取输入图像;
由所述输入图像提取光源参数;
按照所述光源参数调整所述素材图像中的颜色值,并根据所述调整颜色值的素材图像进行二值化处理,以得到与所述输入图像匹配的素材适配图像;
根据所述光源参数对所述素材适配图像进行计算得到眩光效果图像;
融合所述输入图像和所述眩光效果图像。
一种图像处理装置,包括:
图像获取装置,用于获取输入图像;
参数提取装置,用于由所述输入图像提取光源参数;
素材图调整装置,用于按照所述光源参数调整所述素材图像中的颜色值,并根据所述调整颜色值的素材图像进行二值化处理,以得到与所述输入图像匹配的素材适配图像;
效果图像生成装置,用于根据所述光源参数对所述素材适配图像进行计算得到眩光效果图像;
融合装置,用于融合所述输入图像和所述眩光效果图像。
由上述技术方案可知,在输入图像中进行眩光效果模拟的过程中,通过从输入图像中的光源区域提取光源参数,对素材图像做适配调整,根据适配调整后的素材图,即素材适配图像计算生成眩光效果图像,将眩光效果图像与输入图像融合得到模拟了眩光效果的输出图像,使输出图像中模拟的眩光效果与输入图像的光源参数相关联,可自适应地匹配输入图像中的光源,提高了眩光效果模拟的真实感,同时也简化了用户操作,提升了处理速度。
附图说明
图1是实现本发明实施例的计算机系统模块图;
图2是一个实施例中图像处理方法的流程图;
图3是图2中由输入图像提取光源参数的方法流程图;
图4是图3中定位输入图像的光源区域的方法流程图;
图5是图2中按照光源参数调整素材图像中的颜色值,并根据调整颜色值的素材图像进行二值化处理,以得到与输入图像匹配的素材适配图像的方法流程图;
图6是图2中根据光源参数对素材适配图像进行计算得到眩光效果图像的方法流程图;
图7是一个实施例中图像处理装置的结构框图;
图8是图7中参数提取装置的结构框图;
图9是图8中光源区域定位模块的结构框图;
图10是图7中素材图调整装置的结构框图;
图11是图7中效果图像生成装置的结构框图。
具体实施方式
体现本发明特征与优点的典型实施方式将在以下的说明中详细叙述。应理解的是本发明能够在不同的实施方式上具有各种的变化,其皆不脱离本发明的范围,且其中的说明及图示在本质上是当作说明之用,而非用以限制本发明。
眩光在特定情况下,可用于增加发光物体的亮度以及增强场景的真实感等。在图像中实现眩光效果的模拟,可以极大地提高图像的对比度,充分弥补显示设备在显示平面图像时的不足。
为了使眩光效果的模拟与输入图像中的光源具有相关性,有效保证最终模拟效果的多样性和真实感,本实施例提供了一种图像处理方法。
本实施例提供的一种图像处理方法由计算机程序实现,该图像处理方法所构建的图像处理装置则被存储于如图1所述的计算机系统100中,以在该计算机系统100中运行,进而实现图像中眩光效果的模拟。
如图1所示,该计算机系统100包括处理器110、存储器120和系统总线122。包括存储器120和处理器110在内的各种系统组件连接到系统总线122上。处理器110是一个用来通过计算机系统中基本的算术和逻辑运算来执行计算机程序指令的硬件。存储器120是一个用于临时或永久性存储计算程序或数据(例如,程序状态信息)的物理设备,存储了各种眩光效果的素材图像、图像处理方法所对应的程序指令以及其它数据,处理器110将执行存储器120中的程序指令,并侦听对任一图像触发的选定操作,得到输入图像,待获取得到输入图像之后便对该输入图像进行眩光效果的模拟。处理器110和存储器120可以通过系统总线122进行数据通信。其中存储器120包括只读存储器(ROM)或闪存(图中都未示出),以及随机存取存储器(RAM),RAM通常是指加载了操作系统和应用程序的主存储器。
计算机系统100还包括显示接口130(例如,图形处理单元)、显示设备140(例如,液晶显示器)、音频接口150(例如,声卡)以及音频设备160(例如,扬声器)。显示设备140将是用于进行输入图像、素材图像以及进行图像处理所最终得到的模拟了眩光效果的输出图像的显示。
计算机系统100一般包括一个存储设备170。存储设备170可以从多种计算机可读介质中选择,计算机可读介质是指可以通过计算机系统100访问的任何可利用的介质,包括移动的和固定的两种介质。例如,计算机可读介质包括但不限于,闪速存储器(微型SD卡),CD-ROM,数字通用光盘(DVD)或其它光盘存储、磁带盒、磁带、磁盘存储或其它磁存储设备,或者可用于存储所需信息并可由计算机系统100访问的任何其它介质。
计算机系统100还包括输入装置180和输入接口190(例如,IO控制器)。用户可以通过输入装置180,如键盘、鼠标、显示装置140上的触摸面板设备,输入指令和信息到计算机系统100中。输入装置180通常是通过输入接口190连接到系统总线122上的,但也可以通过其它接口或总线结构相连接,如通用串行总线(USB)。
计算机系统100可在网络环境中与一个或者多个网络设备进行逻辑连接。网络设备可以是个人电脑、服务器、路由器、智能电话、平板电脑或者其它公共网络节点。计算机系统100通过局域网(LAN)接口200或者移动通信单元210与网络设备相连接。局域网(LAN)是指在有限区域内,例如家庭、学校、计算机实验室、或者使用网络媒体的办公楼,互联组成的计算机网络。WiFi和双绞线布线以太网是最常用的构建局域网的两种技术。WiFi是一种能使计算机系统100间交换数据或通过无线电波连接到无线网络的技术。移动通信单元210能在一个广阔的地理区域内移动的同时通过无线电通信线路接听和拨打电话。除了通话以外,移动通信单元210也支持在提供移动数据服务的2G,3G或4G蜂窝通信系统中进行互联网访问。
如上面详细描述的,适用于本发明的计算机系统100能执行图像处理的指定操作。计算机系统100通过处理器110运行在计算机可读介质中的程序指令的形式来执行这些操作。这些程序指令可以从存储设备170或者通过局域网接口200从另一设备读入到存储器120中。存储在存储器120中的程序指令使得处理器110执行实现图像处理的方法。此外,通过硬件电路或者硬件电路结合软件指令也能同样实现本发明。因此,实现本发明并不限于任何特定硬件电路和软件的组合。
以上计算机系统100只是一个适用于本发明的计算机环境的示例,不能认为是提出了对本发明的使用范围的任何限制。计算机系统100也不能解释为需要依赖于或具有图示的示例性的计算机系统100中的一个或多个部件的组合。
如图2所示,在一个实施例中,图像处理方法,包括:
步骤310,获取输入图像。
步骤330,由输入图像提取光源参数。
步骤350,按照光源参数调整素材图像中的颜色值,并根据调整颜色值的素材图像进行二值化处理,以得到与输入图像匹配的素材适配图像。
步骤370,根据光源参数对素材适配图像进行计算得到眩光效果图像。
步骤390,融合输入图像和眩光效果图像。
其中,输入图像是当前需要进行眩光效果模拟的任一图像,该输入图像可预先存储于本地的,也可以是当前即时拍摄得到的。进一步的,该输入图像为二维图像。例如,输入图像可通过用户在终端的相册中对任一图像触发的选定操作得到。
进一步的,在进行拍摄以得到输入图像的过程中,受到光源照射,因此,输入图像中存在着光源,并且在光源的作用下输入图像中存在着光照情况和阴影情况,由此需要对输入图像进行光源追踪,以提取得到输入图像中的光源参数。
素材图像是预先设定的,是用于实现输入图像中眩光效果模拟的素材源,素材图像中包含的图像内容与输入图像中所需实现的眩光效果相关。如:该素材图像可以是夕阳光晕效果素材图像,晨光光晕效果素材图像,耀斑眩光效果素材图像等。
在罗列了多个素材图像的界面中,用户可通过选定操作的触发选取任一素材图像,以为输入图像提供相应的眩光效果。
输入图像作为源图,将以其光源所对应的颜色值为基准,即按照光源参数进行素材图像中颜色值的调整,使得素材图像中眩光效果所对应的颜色是与输入图像中光源的颜色相适配的。
进一步的,还根据以输入图像的光源为基准调整了颜色值的素材图像进行处理,得到与输入图像匹配的素材适配图像,其中,在优选的实施例中,该素材适配图像的大小与输入图像的大小相匹配。
素材适配图像中,与素材图像的眩光效果相对应的区域为与素材图像的眩光效果相一致,而该区域之外则颜色值为零,即每一颜色通道所对应的数值均为零。
在调整了颜色值和二值化处理所得到的素材适配图像中,根据光源参数对素材适配图像中的像素进行计算,以得到与输入图像中的光源相适应的眩光效果图像,进而在眩光效果图像中使得其中的光斑或者光晕是与输入图像中的光照情况相一致的。
进一步的,根据调整颜色值的素材图像进行二值化处理的对象可以是输入图像,也可以是大小与输入图像相适配的空白图像,其用意在于使得素材适配图像成为光源区域对应的区域之外的像素值为0的二值化的图像,以便于后续与输入图像的融合。
直接融合所得到的眩光效果图像和输入图像,以使得输入图像中的场景,例如,物体、风景或者人物上附带了眩光效果,并且该眩光效果是与其中的光照情况相一致的,逼真地模拟了真实世界的光照效果。
如上所述的图像中模拟眩光效果的过程对于用户而言,其只需要触发输入图像的导入操作以及素材图像的选取操作,而不需要额外的进行素材图像中颜色的调整以及定位等操作,不但简化了用户操作,更重要的是,能够使最终得到的输出图像与输入图像的光源参数相关联,提升了融合所得到的输入图像中眩光效果的真实感,使其呈现类似镜头眩光的效果。
此外,可预置多种附带了各种眩光效果的素材图像,并根据用户的选取而使用的任一素材图像均可自适应地匹配输入图像中的光源,因此,同一输入图像可自由进行素材图像的切换,并通过自适应地进行匹配调整得到各种不同眩光效果的素材适配图像,在提高真实感的前提条件下保证了输入图像中可附加的眩光效果的多样性。
在一个实施例中,如图3所示,上述步骤330包括:
步骤331,定位输入图像的光源区域。
光源参数包括了光源位置和光源颜色参数。在输入图像中进行光源追踪,以确定输入图像中的光源区域,进而得到光源位置和平行光的向量。
步骤333,从光源区域提取光源位置和光源颜色参数。
从光源区域中提取一个或多个光源位置,进而以一个或多个光源位置为中心,分别实现眩光效果模拟。
例如:如果需模拟实现一个单中心的圈状光晕效果模拟,则可从光源区域提取一个光源位置,并通过后续的计算基于该光源位置生成一个圈状单中心的光晕;如果需模拟实现多个不相重叠的圈状多中心的光晕,则可以在光源区域提取多个不相重叠的像素点分别作为多个光源位置,分别基于各个光源位置计算生成多个不相重叠的光晕。
在优选的实施例中,将选取光源区域的中点位置来作为光源位置。计算方法如下:
预先为图像的处理建立坐标系,该坐标系是以界面中任意一点为原点所建立的二维坐标系。
在所述预先建立的坐标系中,分别提取光源区域中X轴方向和Y轴方向上的最大值、最小值:Xmax,Xmin,Ymax Ymin
则光源区域的中点位置坐标(Xm,Ym)将分别通过公式Xm=(Xmin+Xmax)/2,Ym=(Ymin+Ymax)/2计算得到。
该光源区域的中点位置所对应的坐标(Xm,Ym)即为光源位置所对应的坐标。
光源颜色参数是根据光源位置而获取得到的对应像素点的颜色信息。例如,若光源位置为光源区域的中点位置,则光源颜色参数为该光源区域的中点位置所对应的像素值(R,G,B);如果光源位置为多个,则光源颜色参数相应为该多个光源位置对应的像素值。
在如上所述的过程中,光源区域为输入图像中最强光源对应的区域,在输入图像中的光源区域实现眩光效果模拟,有助于强烈地提高图像的对比度,营造图像的真实感,提高图像眩光效果模拟的仿真效果。
进一步地,如图4所示,上述步骤331包括:
步骤3313,对输入图像进行灰度处理得到灰度图像,提取灰度图像中的灰度最大值。
灰度图像是指用灰度表示的图像,用户通过拍照或者选定操作确定输入图像之后,将获取得到输入图像,首先将该输入图像转换为灰度图像,转换得到的灰度图像中包含了多个像素,每一像素均有对应的灰度值。
遍历灰度图像中的多个像素,以得到每一像素所对应的灰度值,并由所述得到的灰度值中提取灰度最大值。
步骤3315,根据灰度最大值对灰度图像进行二值化处理得到二值化图像。
本实施例中,以灰度图像中灰度最大值的预设倍数V0为阈值,预设倍数V0为设定的常量,其具体数值可根据实际的处理过程进行灵活调整。
通过对灰度图像进行二值化处理的方式,在灰度图像中进行区域选取,以得到光源区域。具体的,对灰度图像中的所有像素进行遍历,以判断像素所对应的灰度值是否小于阈值,若为是,则说明该像素不属于光源区域,将其灰度值置0,若为是,则说明该像素位于光源区域,将其灰度值置为255,通过如上所述的像素遍历完成二值化处理过程,以得到二值化图像。
该二值化图像中,灰度值为255的区域为光源区域,即二值化图像中的白色区域,灰度值为0的区域为非光源区域,即二值化图像中的黑色区域。
步骤3317,标记二值化图像中的连通区域以得到最大连通区域,将最大连通区域作为光源区域。
连通区域是指图像中具有相同像素值且位置相邻的多个像素组成的图像区域。
所采用的连通区域标记算法可以是区域生长法,也可以是对二值化图像做两次扫描实现连通区域标记的二阶段法,还可以是其它的一些连通区域标记算法,在此不一一进行限定。
在优选的实施例中,采用的连通区域标记算法为区域生长法,通过区域生长法,一次生长过程即可标记一个连通区域,只需对图像进行一次扫描就能标记出所有连通区域,将有助于提高图像的处理速度和效率。
进行连通区域标记的过程中,需记录每一连通区域包含的像素个数,再根据统计出的每一连通区域对应的像素个数,对所有连通区域进行查找,以得到像素个数最多的连通区域,该连通区域即为最大连通区域,将最大连通区域作为输入图像中最强光源对应的区域,即光源区域。
进一步地,上述步骤3313之前,该方法还包括:步骤3311,对输入图像进行降噪处理的步骤。
在将输入图像转换成灰度图像之前,首先对图像进行降噪处理,以去除噪声影响,使后续的灰度图和二值图转换更精确。
优选的实施例中,可对输入图像做小半径高斯模糊来去除噪声影响。
在一个实施例中,参阅图5,上述步骤350包括:
步骤351,遍历素材图像中的像素,根据像素的灰度值和光源参数计算得到对应的颜色值,并按照计算得到的颜色值更新像素。其计算过程如下:
由输入图像提取得到光源参数之后,将对素材图像逐像素遍历,在遍历过程中,对每一像素均计算对应的灰度值Gray0。
该像素所对应的灰度值进行归一化计算,即,Gray1=Gray0/255。
利用归一化计算结果和光源参数来计算得到该像素更新值。
具体的,假设上述步骤333获得的光源颜色参数为(R,G,B)。
则素材图像像素更新值为:(R*Gray1,G*Gray1,B*Gray1)。
根据该像素更新值相应对素材图像上的像素做像素更新。
步骤353,根据光源参数中的光源位置计算得到素材图像在输入图像中的位置。其计算过程如下:
假设步骤333获得的光源位置为M(Xm,Ym)。
获取输入图像的两个顶点,其中,一个顶点为输入图像中X轴坐标最小,Y轴坐标最大的像素,另一个顶点为输入图像中X轴坐标最大,Y轴坐标最大的像素,也就是说,这两个顶点分别为输入图像中位于左上角的顶点和位于右上角的顶点。
通过计算得出该两顶点与光源位置M(Xm,Ym)之间的距离,求出距离光源位置M最近的顶点C(Xc,Yc)。
连接点C和点M作为输入图像的光线方向,求出该光线方向与X轴的夹角θ,计算公式如下:
θ=arctan((Yc-Ym)/(Xc-Xm))。
设定一常量参数V1,计算素材图像在输入图像中的位置P(Xp,Yp),计算公式如下:
Xp=Xm+cosθ*V1
Yp=Ym+sinθ*V1
根据上述公式计算得到的位置P位于输入图像的光线方向上,并与光源位置M(Xm,Ym)相距的距离为V1,该距离V1的具体数值可根据素材图像的大小而设定,使素材图像与输入图像的光源区域的匹配,保证最终眩光模拟的仿真效果。
步骤355,根据素材图像在输入图像中的位置,以更新颜色值的素材图像为区域模板对输入图像做二值化处理得到素材适配图像。
该素材适配图像为二值化的图像,其非零区域对应的像素值为更新颜色值后的素材图像的对应值,非零区域的大小与素材图像的大小匹配,且素材适配图像的整体大小与输入图像大小相匹配,也就是说,素材适配图像的大小与输入图像的大小完全相同或者大致相同,以确保后续得到的眩光效果图的大小与输入图像的大小相同,便于眩光效果图和输入图像之间的融合。
本实施例中,该素材适配图像通过以下步骤获得:
由上述步骤,获取输入图像、调整颜色后的素材图像以及素材图像在输入图像中的位置P(Xp,Yp);
根据素材图像在输入图像中的位置P(Xp,Yp)以及作为区域模板的素材图像,得到调整颜色后的素材图像在输入图像中的位置区域;
按照得到的位置区域对输入图像做二值化处理:如果输入图像中像素位于该位置区域内,则将这一像素对应的像素值更新为调整颜色后的素材图像中对应像素的像素值;如果输入图像中像素位于位置区域之外,则将该像素的像素值更新为零。
以此类推,通过这一二值化处理过程,完成输入图像中所有像素的像素值更新,得到二值化的素材适配图像。
此外,根据算法实现的便利性,以素材图像为区域模板进行二值化处理的目标对象可以是如上所述的输入图像,其实现过程也将如上所述,也可以是空白图像,即颜色值为0的图像,此时,将不需要对位置区域之外像素的像素值进行更新,进而将有效减少了计算量,提高处理速度。
在一个实施例中,参阅图6,上述步骤370包括:
步骤371,根据光源参数计算得到眩光位置。
由于输出图像中眩光效果的模拟可以是输出图像中光斑的显示,或者,光晕的显示,因此,眩光位置可以是输出图像中光斑的位置,或者,光晕的位置。
假设步骤333获得的光源位置为M(Xm,Ym),取当前像素坐标为(Xi,Yi),则通过计算获得点M(Xm,Ym)指向点(Xi,Yi)的方向向量为dir。
由上述方向向量dir和该光源位置坐标,计算眩光位置,该眩光位置可以是光斑位置,也可以是光晕位置,其根据实际的图像处理过程进行调整,以自适应输入图像中的内容。
对于光斑式的眩光效果,则计算光斑位置所对应的坐标如下:
(Xoff,Yoff)=(Xm,Ym)-(Xi,Yi);
对于光晕式的眩光效果,则计算光晕位置所对应的坐标如下:
(Xoff,Yoff)=dir*V2
其中,V2为根据经验设定的常量参数。
步骤373,遍历素材适配图像中的像素,根据眩光位置计算得到当前像素对应的颜色值,并更新像素形成眩光效果图像。
遍历素材适配图像中的像素,取当前像素坐标为(Xi,Yi),对应的像素值为(Ri,Gi,Bi)。
如果需要获得光斑效果模拟,则将步骤371得到的光斑位置所对应的坐标代入如下公式:
颜色通道R:(Xr,Yr)=((Xi,Yi)+(Xoff,Yoff))*V3*V4+dir*VR
颜色通道G:(Xg,Yg)=((Xi,Yi)+(Xoff,Yoff))*V3*V4+dir*VG
颜色通道B:(Xb,Yb)=((Xi,Yi)+(Xoff,Yoff))*V3*V4+dir*VB
其中,上述公式中,V3为常量参数,V4为光斑个数(取整数值0,1,2,…,n),(VR,VG,VB)为常量参数,dir为点M(Xm,Ym)指向点(Xi,Yi)的方向向量。
按照上述公式,计算得到光斑对应位置的像素值(Rj,Gj,Bj)=(Ri(Xr,Yr),Gi(Xg,Yg),Bi(Xb,Yb))。
上述公式同样适用于光晕效果模拟计算,如果需要获得光晕效果模拟,则同样将步骤371得到的光晕位置所对应的坐标代入以下公式:
颜色通道R:(Xr,Yr)=((Xi,Yi)+(Xoff,Yoff))*V3*V4+dir*VR
颜色通道G:(Xg,Yg)=((Xi,Yi)+(Xoff,Yoff))*V3*V4+dir*VG
颜色通道B:(Xb,Yb)=((Xi,Yi)+(Xoff,Yoff))*V3*V4+dir*VB
按照上述公式,计算得到光晕对应位置的像素值(Rj,Gj,Bj)=(Ri(Xr,Yr),Gi(Xg,Yg),Bi(Xb,Yb))。
通过如上所述的图像处理过程中,不再需要用户手工调整素材图像中的颜色、大小以及输入图像中光源位置的选择,避免了大量繁琐的操作,且提高了输入图像的处理速度。
在如上所述的图像处理过程中,避免了眩光效果完全依赖于素材图像,而与输入图像毫不相关的情况,有助于为输入图像中的场景提供真实的光照效果,使得输入图像的场景中的虚拟物体呈现与真实世界的光照情况更可能的相似。
如上所述的图像处理过程中,由于是在提取输入图像中光源参数的基础之上生成用于与输入图像融合的眩光效果图像的,因此,将极大地提高了输入图像中处理的精准程度,实现了眩光效果模拟的输出图像中眩光效果的密切融合。
在一个实施例中,为解决上述问题,还提出了一种图像处理装置。如图7所示,该装置包括图像获取模块410、参数提取模块430、素材图调整模块450、眩光效果图像生成模块470和融合模块490,其中:
图像获取模块410,用于获取输入图像。
参数提取模块430,用于由输入图像提取光源参数。
素材图调整模块450,用于按照光源参数调整素材图像中的颜色值,并根据调整颜色值的素材图像进行二值化处理,以得到与输入图像匹配的素材适配图像。
效果图像生成模块470,用于根据光源参数对素材适配图像进行计算得到眩光效果图像。
融合模块490,用于融合输入图像和眩光效果图像,得到眩光效果图。
该图像处理装置不但简化了用户操作,还提升了处理速度,有效保证了最终眩光效果模拟的多样性和真实感。
在另一个实施例中,如图8所示,参数提取模块430包括光源区域定位单元431和光源参数提取单元433,其中:
光源区域定位单元431,用于定位输入图像的光源区域。
光源参数提取单元433,用于从光源区域提取光源位置和光源颜色参数。
在另一个实施例中,如图9所示,上述光源区域定位单元431包括:灰度图转换子单元4313、二值图转换子单元4315和连通区标记子单元4317,其中:
灰度图转换子单元4313,用于对输入图像进行灰度处理得到灰度图像,提取灰度图像中的灰度最大值。
二值图转换子单元4315,用于根据灰度最大值对灰度图像进行二值化处理得到二值化图像,所述素材适配图像的大小与所述输入图像的大小相匹配。
连通区标记子单元4317,用于标记二值化图像中的连通区域以得到最大连通区域,将最大连通区域作为光源区域。
进一步地,上述光源区域定位单元431还包括降噪子单元4311,用于对输入图像进行降噪处理。
在另一个实施例中,如图10所示,素材图调整模块450包括:
像素更新单元451,用于遍历素材图像中的像素,根据像素的灰度值和光源参数计算得到对应的颜色值,并按照计算得到的颜色值更新像素。
素材图定位单元453,用于根据光源参数中的光源位置计算得到素材图像在输入图像中的位置。
二值化单元455,用于根据素材图像在输入图像中的位置,以更新颜色值的素材图像为区域模板对输入图像做二值化处理得到素材适配图像。
在另一个实施例中,如图11所示,效果图生成模块470包括:
位置运算单元471,用于根据光源参数计算得到光斑位置和光晕位置。
像素遍历单元473,用于遍历素材适配图像中的像素,根据光斑位置和光晕位置计算得到当前像素对应的颜色值,并更新像素形成眩光效果图像。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
虽然已参照几个典型实施方式描述了本发明,但应当理解,所用的术语是说明和示例性、而非限制性的术语。由于本发明能够以多种形式具体实施而不脱离发明的精神或实质,所以应当理解,上述实施方式不限于任何前述的细节,而应在随附权利要求所限定的精神和范围内广泛地解释,因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。

Claims (9)

1.一种图像处理方法,其特征在于,包括如下步骤:
获取输入图像;
由所述输入图像提取光源参数;
按照所述光源参数调整素材图像中的颜色值,并根据所述调整颜色值的素材图像对所述输入图像进行二值化处理,以得到与所述输入图像匹配的素材适配图像,其中,所述二值化处理包括:
根据所述调整颜色值的素材图像在所述输入图像中的位置,得到调整颜色值的素材图像在输入图像中的位置区域,如果所述输入图像中像素位于所述位置区域内,则将这一像素对应的像素值更新为所述调整颜色值的素材图像中对应像素的像素值;如果输入图像中像素位于位置区域之外,则将该像素的像素值更新为零;
遍历素材适配图像中的像素,根据所述光源参数计算所述像素对应的眩光位置,由所述眩光位置计算所述像素对应的颜色值,并更新像素形成眩光效果图像;
融合所述输入图像和所述眩光效果图像。
2.如权利要求1所述的图像处理方法,其特征在于,所述由所述输入图像提取光源参数的步骤包括:
定位所述输入图像的光源区域;
从所述光源区域提取光源位置和光源颜色参数。
3.如权利要求2所述的图像处理方法,其特征在于,所述定位所述输入图像的光源区域的步骤包括:
对所述输入图像进行灰度处理得到灰度图像,提取所述灰度图像中的灰度最大值;
根据所述灰度最大值对所述灰度图像进行二值化处理得到二值化图像;
标记所述二值化图像中的连通区域以得到最大连通区域,将最大连通区域作为所述光源区域。
4.如权利要求3所述的图像处理方法,其特征在于,所述对所述输入图像进行灰度处理得到灰度图像,提取所述灰度图像中的灰度最大值的步骤之前,所述方法还包括:
对所述输入图像进行降噪处理的步骤。
5.如权利要求1所述的图像处理方法,其特征在于,所述按照所述光源参数调整所述素材图像中的颜色值,并根据所述调整颜色值的素材图像进行二值化处理,以得到与所述输入图像匹配的素材适配图像的步骤包括:
遍历所述素材图像中的像素,根据所述像素的灰度值和光源参数计算得到对应的颜色值,并按照所述计算得到的颜色值更新所述像素;
根据光源参数中的光源位置计算得到所述素材图像在所述输入图像中的位置;
根据所述素材图像在所述输入图像中的位置,以更新颜色值的素材图像为区域模板,对所述输入图像做二值化处理得到素材适配图像,所述素材适配图像与所述输入图像相匹配,所述二值化处理用于使得所述素材适配图像成为光源区域对应的区域之外的像素值为0。
6.一种图像处理装置,其特征在于,包括:
图像获取模块,用于获取输入图像;
参数提取模块,用于由所述输入图像提取光源参数;
素材图调整模块,用于按照所述光源参数调整素材图像中的颜色值,并根据所述调整颜色值的素材图像对所述输入图像进行二值化处理,以得到与所述输入图像匹配的素材适配图像,其中,所述二值化处理包括:
根据所述调整颜色值的素材图像在所述输入图像中的位置,得到调整颜色值的素材图像在输入图像中的位置区域,如果所述输入图像中像素位于所述位置区域内,则将这一像素对应的像素值更新为所述调整颜色值的素材图像中对应像素的像素值;如果输入图像中像素位于位置区域之外,则将该像素的像素值更新为零;
效果图像生成模块,用于遍历素材适配图像中的像素,根据所述光源参数计算所述像素对应的眩光位置,由所述眩光位置计算所述像素对应的颜色值,并更新像素形成眩光效果图像;
融合模块,用于融合所述输入图像和所述眩光效果图像。
7.如权利要求6所述的图像处理装置,其特征在于,所述参数提取模块包括:
光源区域定位单元,用于定位所述输入图像的光源区域;
光源参数提取单元,用于从所述光源区域提取光源位置和光源颜色参数。
8.如权利要求7所述的图像处理装置,其特征在于,所述光源区域定位单元包括:
灰度图转换子单元,用于对所述输入图像进行灰度处理得到灰度图像,提取所述灰度图像中的灰度最大值;
二值图转换子单元,用于根据所述灰度最大值对所述灰度图像进行二值化处理得到二值化图像;
连通区标记子单元,用于标记所述二值化图像中的连通区域以得到最大连通区域,将最大连通区域作为所述光源区域。
9.如权利要求6所述的图像处理装置,其特征在于,所述素材图调整模块包括:
像素更新单元,用于遍历所述素材图像中的像素,根据所述像素的灰度值和光源参数计算得到对应的颜色值,并按照所述计算得到的颜色值更新所述像素;
素材图定位单元,用于根据光源参数中的光源位置计算得到所述素材图像在所述输入图像中的位置;
二值化单元,用于根据所述素材图像在所述输入图像中的位置,以更新颜色值的素材图像为区域模板,对所述输入图像做二值化处理得到素材适配图像,所述素材适配图像的大小与所述输入图像的大小相匹配,所述二值化处理用于使得所述素材适配图像成为光源区域对应的区域之外的像素值为0。
CN201510268553.XA 2015-05-22 2015-05-22 图像处理方法和装置 Active CN106296621B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510268553.XA CN106296621B (zh) 2015-05-22 2015-05-22 图像处理方法和装置
PCT/CN2016/078940 WO2016188241A1 (zh) 2015-05-22 2016-04-11 图像处理方法和装置
US15/808,953 US10510173B2 (en) 2015-05-22 2017-11-10 Image processing method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510268553.XA CN106296621B (zh) 2015-05-22 2015-05-22 图像处理方法和装置

Publications (2)

Publication Number Publication Date
CN106296621A CN106296621A (zh) 2017-01-04
CN106296621B true CN106296621B (zh) 2019-08-23

Family

ID=57392437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510268553.XA Active CN106296621B (zh) 2015-05-22 2015-05-22 图像处理方法和装置

Country Status (3)

Country Link
US (1) US10510173B2 (zh)
CN (1) CN106296621B (zh)
WO (1) WO2016188241A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107134005A (zh) * 2017-05-04 2017-09-05 网易(杭州)网络有限公司 光照适配方法、装置、存储介质、处理器及终端
CN107566751B (zh) * 2017-09-30 2019-11-26 北京金山安全软件有限公司 图像处理方法、装置、电子设备及介质
CN108111976B (zh) * 2017-12-20 2020-06-05 北京航空航天大学 一种WiFi信号指纹数据优化方法及装置
CN108492244A (zh) * 2018-01-30 2018-09-04 光锐恒宇(北京)科技有限公司 图像处理方法、装置和计算机可读存储介质
US10382712B1 (en) * 2018-08-01 2019-08-13 Qualcomm Incorporated Automatic removal of lens flares from images
CN109345603B (zh) * 2018-09-29 2021-08-31 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
KR102574649B1 (ko) * 2018-11-29 2023-09-06 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치
CN111292247A (zh) * 2018-12-07 2020-06-16 北京字节跳动网络技术有限公司 图像处理方法和装置
CN110033521B (zh) * 2019-04-01 2020-01-14 重庆固成未来教育科技有限公司 一种基于vr与ar技术的三维可视化系统
CN110070512B (zh) * 2019-04-30 2021-06-01 秒针信息技术有限公司 图片修饰的方法及装置
CN111340078B (zh) * 2020-02-18 2024-03-01 平安科技(深圳)有限公司 证件信息自动归类的方法、装置、介质及电子设备
CN113298721B (zh) * 2020-02-21 2024-04-16 北京达佳互联信息技术有限公司 人脸图像处理方法、装置、电子设备及存储介质
CN111640122B (zh) * 2020-05-14 2023-07-18 长春希达电子技术有限公司 基于连通域的led异形显示屏光斑定位分割方法
US11847736B2 (en) * 2021-04-22 2023-12-19 Shopify Inc. Systems and methods for modifying lighting in three-dimensional models
CN116051434B (zh) * 2022-07-22 2023-11-14 荣耀终端有限公司 一种图像处理方法及相关电子设备
DE102022212679A1 (de) 2022-11-28 2024-05-29 Carl Zeiss Ag Verfahren zum Betrieb eines Bildaufnahmesystems; Bildaufnahmesystem; Computerprogrammprodukt

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101529924A (zh) * 2006-10-02 2009-09-09 株式会社东芝 用于产生立体图像的方法、装置和计算机程序产品
US7590344B2 (en) * 2006-02-28 2009-09-15 Microsoft Corp. Adaptive processing for images captured with flash
CN102881011A (zh) * 2012-08-31 2013-01-16 北京航空航天大学 基于区域分割的肖像光照迁移方法
CN103049894A (zh) * 2012-09-14 2013-04-17 深圳市万兴软件有限公司 一种图像处理的方法及其装置
CN103606182A (zh) * 2013-11-19 2014-02-26 华为技术有限公司 图像渲染方法及装置
CN104463787A (zh) * 2014-12-11 2015-03-25 厦门美图之家科技有限公司 一种光斑虚化特效实现方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6767286B1 (en) * 1996-11-22 2004-07-27 Kabushiki Kaisha Sega Enterprises Game device, picture data forming method and medium
CN100498839C (zh) * 2006-03-08 2009-06-10 杭州电子科技大学 一种多模态医学体数据三维可视化方法
CN100478994C (zh) * 2006-06-27 2009-04-15 北京航空航天大学 一种高动态范围材质渲染绘制方法
CN101420532A (zh) * 2007-10-25 2009-04-29 华晶科技股份有限公司 模拟光源星芒特效的方法及应用该方法的电子装置
JP5760727B2 (ja) * 2011-06-14 2015-08-12 リコーイメージング株式会社 画像処理装置および画像処理方法
CN103029621B (zh) * 2011-09-30 2016-04-06 株式会社理光 检测前方车辆的方法及设备
CN102819852B (zh) * 2012-05-31 2017-12-29 新奥特(北京)视频技术有限公司 一种在图像中生成光晕的方法
US9595132B2 (en) * 2013-09-10 2017-03-14 Research & Business Foundation Sungkyunkwan University Methods and apparatuses of lens flare rendering using linear paraxial approximation, and methods and apparatuses of lens flare rendering based on blending
US9491355B2 (en) * 2014-08-18 2016-11-08 Audatex North America, Inc. System for capturing an image of a damaged vehicle
CN104301621B (zh) * 2014-09-28 2017-09-05 北京凌云光技术有限责任公司 图像处理方法、装置及终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7590344B2 (en) * 2006-02-28 2009-09-15 Microsoft Corp. Adaptive processing for images captured with flash
CN101529924A (zh) * 2006-10-02 2009-09-09 株式会社东芝 用于产生立体图像的方法、装置和计算机程序产品
CN102881011A (zh) * 2012-08-31 2013-01-16 北京航空航天大学 基于区域分割的肖像光照迁移方法
CN103049894A (zh) * 2012-09-14 2013-04-17 深圳市万兴软件有限公司 一种图像处理的方法及其装置
CN103606182A (zh) * 2013-11-19 2014-02-26 华为技术有限公司 图像渲染方法及装置
CN104463787A (zh) * 2014-12-11 2015-03-25 厦门美图之家科技有限公司 一种光斑虚化特效实现方法

Also Published As

Publication number Publication date
CN106296621A (zh) 2017-01-04
US10510173B2 (en) 2019-12-17
US20180089874A1 (en) 2018-03-29
WO2016188241A1 (zh) 2016-12-01

Similar Documents

Publication Publication Date Title
CN106296621B (zh) 图像处理方法和装置
CN107111880B (zh) 针对计算机视觉的遮挡处置
CN103945210B (zh) 一种实现浅景深效果的多摄像头拍摄方法
CN109388093A (zh) 基于线特征识别的机器人姿态控制方法、系统及机器人
WO2023134743A1 (zh) 调节智能灯光设备的方法、机器人、电子设备、存储介质及计算机程序
CN111710049B (zh) Ar场景中的环境光照确定方法和装置
US20180322367A1 (en) Image processing method, non-transitory computer readable storage medium and image processing system
CN108109161B (zh) 基于自适应阈值分割的视频数据实时处理方法及装置
CN109361880A (zh) 一种展示静态图片对应的动态图片或视频的方法及系统
CN105608664B (zh) 一种照片处理方法及终端
CN106683100A (zh) 一种图像分割去雾方法及终端
WO2022089143A1 (zh) 模拟图像生成的方法、电子设备及存储介质
CN107113373A (zh) 通过基于深度计算摄影的曝光计算
CN110163831A (zh) 三维虚拟沙盘的物体动态展示方法、装置及终端设备
CN104580920A (zh) 一种成像处理的方法及用户终端
CN108961375A (zh) 一种根据二维图像生成三维图像的方法及装置
CN110211181B (zh) 视觉定位的方法、装置、存储介质和电子设备
CN111597963B (zh) 用于图像中人脸的补光方法、系统、介质以及电子设备
CN109445569A (zh) 基于ar的信息处理方法、装置、设备及可读存储介质
CN112991208A (zh) 图像处理方法及装置、计算机可读介质和电子设备
CN112270759A (zh) 基于图像的光效处理方法、装置、设备及存储介质
CN110378948B (zh) 3d模型重建方法、装置及电子设备
CN108280887B (zh) 一种阴影图确定方法及装置
CN112149745B (zh) 确定难例样本的方法、装置、设备及存储介质
EP4150560A1 (en) Single image 3d photography with soft-layering and depth-aware inpainting

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant