CN113194253A - 去除图像反光的拍摄方法、装置和电子设备 - Google Patents

去除图像反光的拍摄方法、装置和电子设备 Download PDF

Info

Publication number
CN113194253A
CN113194253A CN202110466941.4A CN202110466941A CN113194253A CN 113194253 A CN113194253 A CN 113194253A CN 202110466941 A CN202110466941 A CN 202110466941A CN 113194253 A CN113194253 A CN 113194253A
Authority
CN
China
Prior art keywords
image
images
frame
reflection
guide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110466941.4A
Other languages
English (en)
Other versions
CN113194253B (zh
Inventor
郭伟伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202110466941.4A priority Critical patent/CN113194253B/zh
Publication of CN113194253A publication Critical patent/CN113194253A/zh
Application granted granted Critical
Publication of CN113194253B publication Critical patent/CN113194253B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种去除图像反光的拍摄方法、装置和电子设备,属于图像处理领域。该除图像反光的拍摄方法包括:显示引导移动轨迹和/或N个引导拍摄位置,其中,N为大于1的正整数;在检测到电子设备沿引导移动轨迹移动的过程中,和/或,在检测到电子设备的位置处于N个引导拍摄位置之一的情况下,获得在N个不同位置拍摄目标物的N帧图像;根据N帧图像,显示目标物对应的去除反光图像。

Description

去除图像反光的拍摄方法、装置和电子设备
技术领域
本申请属于图像处理领域,具体涉及一种去除图像反光的拍摄方法、装置和电子设备。
背景技术
随着带有拍照功能的手机等终端设备的广泛普及,用户应用终端设备拍照的场景越来越多。但由于拍摄环境情况以及拍摄技术的限制,拍摄的图片往往存在很多问题,在存在玻璃、镜子等反光物体的环境中拍摄的图像,会存在反光区域,为了解决这些拍摄问题,目前提供了一些后期处理对反光进行去除。但是,目前提供的图像反光处理方法通常采用对图像中的反光区域执行高斯模糊等图像处理手段,去除反光的效果较差。
发明内容
本申请实施例的目的是提供一种去除图像反光的拍摄方法、装置和电子设备,能够解决相关技术中去除反光的效果较差的问题。
第一方面,本申请实施例提供了一种去除图像反光的拍摄方法,该方法包括:
显示引导移动轨迹和/或N个引导拍摄位置,其中,N为大于1的正整数;
在检测到电子设备沿引导移动轨迹移动的过程中,和/或,在检测到电子设备的位置处于N个引导拍摄位置之一的情况下,获得在N个不同位置拍摄目标物的N帧图像;
根据N帧图像,显示目标物对应的去除反光图像。
第二方面,本申请实施例提供了一种去除图像反光的拍摄装置,该装置包括:
第一显示单元,用于显示引导移动轨迹和/或N个引导拍摄位置,其中,N为大于1的正整数;
拍摄单元,用于在检测到电子设备沿引导移动轨迹移动的过程中,和/或,在检测到电子设备的位置处于N个引导拍摄位置之一的情况下,获得在N个不同位置拍摄目标物的N帧图像;
第二显示单元,用于根据N帧图像,显示目标物对应的去除反光图像。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的去除图像反光的拍摄方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的去除图像反光的拍摄方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的去除图像反光的拍摄方法。
在本申请实施例中,通过在电子设备移动过程中拍摄多帧图像,可以得到不同位置处拍摄的图像,而在存在反光物体的情况下,不同位置处拍摄的图像中反光区域会存在区别,从而,可以利用多帧图像的帧间信息对图像中的反光进行去除,得到很好的去除反光效果,相比于针对一张图像执行图像处理,本申请实施例由于利用了不同位置处拍摄的多帧图像的帧间信息,可以得到更好的去除反光效果,解决了相关技术中去除反光的效果较差的问题。
附图说明
图1是本申请实施例提供的一种去除图像反光的拍摄方法的流程示意图;
图2是本申请实施例提供的一种去除图像反光的拍摄方法的界面示意图;
图3是本申请实施例提供的一种去除图像反光的拍摄方法确定反光区域的示意图;
图4是本申请实施例提供的一种去除图像反光的拍摄方法配准对齐的示意图;
图5是本申请实施例提供的一种去除图像反光的拍摄方法裁剪后的多帧图像的示意图;
图6是本申请实施例提供的一种去除图像反光的拍摄方法输入预设图像处理模型的反光区域的示意图;
图7是本申请实施例提供的一种去除图像反光的拍摄装置的结构框图;
图8是本申请实施例提供的一种电子设备的结构框图;
图9是本申请实施例提供的另一种电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的去除图像反光的拍摄方法进行详细地说明。
图1是本申请实施例提供的一种去除图像反光的拍摄方法的流程示意图。
如图1所示,该去除图像反光的拍摄方法可以包括如下步骤101~步骤103:
步骤101,显示引导移动轨迹和/或N个引导拍摄位置。
其中,N为大于1的正整数。
引导移动轨迹是用于引导电子设备按照该轨迹进行移动的路线,引导移动轨迹可以显示在电子设备的屏幕上,可以通过至少一条直线和/或曲线组合的方式显示出引导移动轨迹的路线。
引导拍摄位置是具体的位置点,可选的,在同时显示引导移动轨迹和N个引导拍摄位置的情况下,可以通过标识来显示出N个引导拍摄位置在引导移动轨迹的路线中所在的位置。
在一个可选的实施方式中,引导移动轨迹和/或N个引导拍摄位置的显示方式可以是在电子设备的相机预览界面的图层之上,覆盖显示移动引导移动轨迹和/或N个引导拍摄位置。示例性的,如图2所示,在相机预览界面的图层之上覆盖的显示引导移动轨迹202。
在一个可选的实施方式中,除了通过显示的方式来提示引导移动轨迹和/或N个引导拍摄位置,还可以结合语音、音效等声音提示方式来进行提示。例如,可以通过手机的扬声器播放:“请向前移动1米,接着向右移动1米……”这样的语音提示。
可选的,在执行步骤101之前,可以先打开相机,在相机的功能界面中确定是否满足启用去除反光的功能,如果确定启用去除反光的功能,则开始执行步骤101~步骤103。
例如,启用去除反光功能的触发方式可以是在执行步骤101之前,接收到用户在相机的功能界面中选择启用去除反光的功能的操作,例如,可以在相机的预览界面显示去除反光的功能图标,该功能图标在接收到触摸单击之后,可以在启用和关闭两个状态之间切换,在用户触摸点击去除反光的功能图标,以启用去除反光的功能时,电子设备(例如手机)接收到对应的输入,从而启用去除反光的功能,开始执行步骤101。
另一个示例中,启用去除反光功能的触发方式也可以是自动启用的、而非接收到用户操作触发的,例如,获取电子设备采集的相机预览图像,如果检测到相机预览图像中存在反光区域,则启用去除反光。具体来说,在打开相机预览界面之后,手机的处理器可以实时获取摄像头采集到的相机预览图像,通过对相机预览图像进行反光检测,可以确定是否存在反光。反光检测的方法可以是基于现有技术中的图像处理方法,例如可以通过灰度直方图的统计,确定相机预览图像中是否存在反光区域等,在此不再赘述。这样,在检测到预览图像中存在反光时,自动启用去除反光的功能,开始执行步骤101。
步骤102,在检测到电子设备沿引导移动轨迹移动的过程中,和/或,在检测到电子设备的位置处于N个引导拍摄位置之一的情况下,获得在N个不同位置拍摄目标物的N帧图像。
电子设备基于引导移动轨迹和/或N个引导拍摄位置移动,可以是用户控制的,例如用户手持手机移动,或者,也可以是电子设备放置在可以移动的云台上,通过云台的移动来带动电子设备移动,可选的,电子设备还可以通过无线模块与云台通讯,将引导移动轨迹或多个引导拍摄位置发送至云台,以使云台按照引导移动轨迹或多个引导拍摄位置自动的移动。本申请实施例对电子设备的移动方式不作具体限制。
检测电子设备是否沿着引导移动轨迹移动,或者是否处于N个引导拍摄位置之一,可以是通过获取电子设备的定位信息确定的。
具体而言,步骤102在检测到电子设备沿引导移动轨迹移动的过程中,和/或,在检测到电子设备的位置处于N个引导拍摄位置之一的情况下,可以包括如下步骤201~202:
步骤201,获取电子设备的定位信息。
例如,可以通过手机的定位传感器获取定位的数据,从而得到位置信息,如GPRS传感器、陀螺仪等。
步骤202,根据定位信息,确定电子设备的当前位置与引导移动轨迹和/或N个引导拍摄位置的相对位置关系,并在电子设备的相机预览界面的图层之上,覆盖显示当前位置、引导移动轨迹和/或N个引导拍摄位置。
在得到位置信息之后,可以显示出电子设备当前的位置相对于引导移动轨迹和/或多个引导拍摄位置的位置关系。
示例性的,如图2所示,在相机预览界面图层之上叠加一个正方形的运动引导线条(引导移动轨迹202),用于引导手机移动的轨迹。在用户移动手机过程中,实时根据手机的陀螺仪等传感器获取定位信息,在显示引导移动轨迹202的图层中,以定位点201标示出手机实际位置,通过定位点201的移动示意出手机实际移动的情况,通过定位点201与引导移动轨迹202的关系示意出手机实际位置与引导移动轨迹202的偏离情况。
在手机移动过程中,可以控制相机在正方形的四个角点对目标物进行拍照,从而获取四帧图像。目标物是指拍摄的对象,可以包括一个或多个物体。也即,即使在不同位置进行拍摄,摄像头朝向的对象都是目标物。
需要说明的是,触发拍摄的具体方式可以是在接收到用户指示拍摄的操作之后执行拍摄,也可以是在检测到电子设备与引导移动轨迹和/或N个引导拍摄位置相距较近(小于预设距离阈值)的情况下,自动的触发拍摄。在一个示例中,可以只显示引导移动轨迹,在引导移动轨迹中的具体拍摄位置可以是电子设备预先设置好的位置,不必要提示给用户,在用户沿引导移动轨迹的过程中,电子设备自动触发拍摄。
步骤103,根据N帧图像,显示目标物对应的去除反光图像。
由于N帧图像是不同位置拍摄的,因此,如果拍摄场景中存在发光情况,在从不同位置拍摄到图像中,反光区域的位置、大小都可能是不同的,可以通过两帧图像之间进行对比来确定反光区域,这样,相当于利用了不同帧图像之间的帧间信息确定反光区域。进而,还可以利用不同帧图像中的像素值信息,对反光区域进行图像处理,去除反光,这样,相当于利用了不同帧图像之间的帧间信息来去除反光。
本申请实施例提供的去除图像反光的拍摄方法,通过对电子设备是否沿引导移动轨迹移动进行检测,和/或,对电子设备的位置是否处于N个引导拍摄位置之一进行检测,在确定检测到电子设备沿引导移动轨迹移动的过程中,和/或,在检测到电子设备的位置处于N个引导拍摄位置之一的情况下,拍摄在N个不同位置拍摄目标物的N帧图像,从而,可以根据N帧图像,显示目标物对应的去除反光图像,这样,可以利用多帧图像携带的不同的信息对图像中的反光进行去除,得到很好的去除反光效果,相比于针对一张图像执行图像处理,本申请实施例由于利用了不同位置处拍摄的多帧图像,可以得到更好的去除反光效果,解决了相关技术中去除反光的效果较差的问题。
在一个示例中,步骤103根据N帧图像,显示去除反光的目标物对应的第一图像,可以包括如下步骤301~305:
步骤301,在N帧图像中确定参考帧图像和N-1帧目标帧图像。
其中,目标帧图像为N帧图像中除参考帧图像之外的图像。例如,目标帧图像可以是N帧图像中在时间序列上排序第一帧的图像。
步骤302,分别计算所述参考帧图像与所述N-1帧目标帧图像的光流,得到N幅光流图。
具体而言,步骤302可以包括分别计算参考帧图像的像素运动到N-1帧目标帧图像中对应像素的光流图,得到分别与N-1帧目标帧图像一一对应的N-1幅光流图,以及计算N-1帧目标帧图像中的一帧图像中的像素运动到参考帧图像中对应像素得到的光流图,得到参考帧图像对应的光流图。
计算光流可以通过现有技术中的光流估计算法。光流图中包括每个像素点的光流,光流是一个向量,用于表示像素的运动矢量,在计算图像A运动至图像B的光流时,得到的光流图中每个像素点的向量用于表示图像A中对应像素点在移动至图像B中对应像素点的位置时的位移(包括位移的大小和方向)。其中,如何确定图像A和图像B中相对应的像素点是通过光流估计的算法确定的,在此不再赘述。
由此,可以利用同样的光流估计算法,可以分别计算参考帧图像的像素运动到N-1帧目标帧图像的光流,得到分别与N-1帧目标帧图像一一对应的N-1幅光流图计算出由N-1帧目标帧图像中的一帧目标帧图像(例如最后一帧目标帧图像)中的像素运动到参考帧图像中对应像素的光流图,将得到的光流图作为与参考帧图像对应的光流图。
在一个示例中,参考帧图像可以是时间序列上排序第一帧的图像,步骤303中所使用的目标帧图像可以是在时间序列上排序最后一帧的图像,也即,通过时间排序最后一帧的图像运动至时间排序第一帧的图像(参考帧图像)的光流图作为与第一帧图像对应的光流图。
步骤303,对比N幅光流图中的光流分布情况,确定N帧图像中每帧图像的反光区域。
其中,N幅光流图可以包括上述N-1幅光流图和参考帧图像对应的光流图。
由于反光区域和背景(非反光区域)的景深不同,电子设备在移动后,反光区域和背景会产生较明显的运动幅度错位,反光区域的运动没有和背景运动保持一致,导致反光区域覆盖的范围大小和位置有所变化。
利用上述特点,可以以参考帧图像对应的光流图为参考,分别与其它每帧光流图进行对比,如果相同位置的像素点的光流(位移)相同或相近,则表示对应像素点属于背景区域,如果光流相差较多,则表示对应像素点是反光像素点,属于反光区域。进一步的,为了去除误差,可以将孤立的(也即与相邻的反光像素点相距较远)反光像素点作为噪声去除,例如,如果一个反光像素点在周围10*10个像素的范围内没有其它反光像素点存在,则排除掉这个反光像素点。在去除造成之后,可以划出一个范围以包容去除噪声后的反光像素点,得到反光区域。
示例性的,如图3所示,提供了四帧不同位置处拍摄的图像,以及对应的光流图,其中,图3左侧一列的四张图像为拍摄的原图像,右侧一列为在左侧对应的原图像中标记出反光区域的图像。
步骤304,根据N-1帧目标帧图像,补充参考帧图像的反光区域的图像信息,显示去除反光图像。
利用电子设备移动前后产生的反光区域的变化,可以为多帧图像去除反光提供较好的互补信息,利用N-1帧目标帧图像中的像素值信息,可以补充参考帧图像中反光区域的像素值信息,一个示例的方式中,可以根据不同帧图像中,反光之前和反光之后的像素值之差的平均值,对参考帧图像中反光区域的像素值进行处理。
进一步的,在执行步骤304根据N-1帧目标帧图像,补充参考帧图像的反光区域的图像信息时,可以包括执行如下步骤401~403:
步骤401,根据N幅光流图,对N帧图像进行配准对齐。
配准对齐可以使用相关技术中用于配准对齐的图像处理方法,可以直接使用图像进行配准对齐,也可以结合光流图进行配准对齐。示例性的,图3所示的四帧图像经过配准对齐之后得到的图像如图4所示。
步骤402,根据配准对齐的结果,针对每帧图像裁剪掉其它图像未配准对齐的部分,得到配准对齐后的N帧图像。
由于N帧图像都是朝向同一目标物拍摄的,因此,可以通过裁剪使得N帧图像的大小相同。可选的,除了裁剪之外,还可以包括对图像进行缩放、旋转等图像处理操作,在此不再赘述。示例性的,如图4所示的配准对齐结果经过裁剪之后得到如图5所示的四张图像。
步骤403,根据配准对齐后的N帧图像和每帧图像的反光区域,计算得到去除反光图像。
示例性的,如图4所示的经过配准对齐后的四帧图像分别对应的反光区域可以如图5所示,通过二值图像标识反光区域的位置和范围,二值图像中白色表示反光区域,黑色表示背景区域。
利用电子设备移动前后产生的反光区域的变化,可以为多帧图像去除反光带来了较好的信息互补,N帧图像中的图像像素信息可以互相补充。
上述可选的实施方式,利用反光区域与背景区域的景深不同,导致电子设备移动后两个区域产生的运动幅度不同产生光流差异,从而根据光流图分割出反光区域。根据配准对齐后的多帧图像以及每帧图像对应的反光区域计算去除反光图像,可以充分利用反光区域位置和像素值的不同产生的帧间信息差异进行互补,从而得到去除反光后的图片。
一个可选的示例中,在根据配准对齐后的N帧图像和每帧图像的反光区域,计算得到去除反光图像时,可以将多帧图像和每帧图像的反光区域输入预设图像处理模型,输出去除反光图像。
其中,预设图像处理模型为预先通过多组训练样本进行训练得到的图像处理模型,每组训练样本包括与多帧包括反光的输入样本图像和每帧输入样本图像的反光区域,预设图像处理模型输出的训练目标为训练样本组对应的不包括反光区域的输出样本图像。
预设图像处理模型可以是神经网络模型,具体的,可以是循环神经网络,通过已有技术中用于图像处理的神经网络模型进行深度学习训练,得到预设图像处理模型。通过深度学习方式训练由神经网络组成的模型,可以使得模型通过这种学习方式学习到输入图像和反光区域到输出图像的高维映射。
一个示例中,每组训练样本可以是通过以下方式得到的:
在一个场景中摆设反光物体,例如玻璃,在不同位置处拍摄反光的图像,从而得到输入样本图像,然后,将反光物体去除,在其中一个位置处(该位置拍摄的反光图像用于作为参考帧图像)拍摄没有反光的图像,得到输出样本图像。神经网络模型可以利用其它帧图像中的信息对参考帧图像进行图像信息的补充,增加参考帧图像缺失的高频图像信息,去除参考帧图像的噪声,提高参考帧图像的清晰度。
本申请实施例提供的去除图像反光的拍摄方法,通过多帧位置不同的拍摄图像,利用反光区域和背景景深不同导致的光流分布不同,分割出反光区域和背景,利用多帧图像之间的帧间信息进行互补,相比针对单帧图像执行反光去除的方法,能够更有效的对反光区域进行去除。
需要说明的是,本申请实施例提供的去除图像反光的拍摄方法,执行主体可以为去除图像反光的拍摄装置,或者该去除图像反光的拍摄装置中的用于执行去除图像反光的拍摄方法的控制模块。本申请实施例中以去除图像反光的拍摄装置执行去除图像反光的拍摄方法为例,说明本申请实施例提供的去除图像反光的拍摄装置。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的去除图像反光的拍摄装置进行详细地说明。在本申请实施例提供的去除图像反光的拍摄装置中未详述的内容,可以参考本申请实施例提供的去除图像反光的拍摄方法,在此不再赘述。
图7是本申请实施例提供的一种去除图像反光的拍摄装置的结构框图,如图7所示,该去除图像反光的拍摄装置可以包括第一提示单元701,拍摄单元702和第二显示单元703。
其中,第一显示单元701,用于显示引导移动轨迹和/或N个引导拍摄位置,其中,N为大于1的正整数;
拍摄单元702,用于在检测到电子设备沿引导移动轨迹移动的过程中,和/或,在检测到电子设备的位置处于N个引导拍摄位置之一的情况下,获得在N个不同位置拍摄目标物的N帧图像;
第二显示单元703,用于根据N帧图像,显示目标物对应的去除反光图像。
可选的,拍摄单元702可以包括:
获取单元,用于在检测到电子设备沿引导移动轨迹移动的过程中,和/或,在检测到电子设备的位置处于N个引导拍摄位置之一的情况下,获取电子设备的定位信息;
第一执行单元,用于根据定位信息,确定电子设备的当前位置与引导移动轨迹和/或N个引导拍摄位置的相对位置关系,并在电子设备的相机预览界面的图层之上,覆盖显示当前位置、引导移动轨迹和/或N个引导拍摄位置。
可选的,第二显示单元703可以包括:
第一确定单元,用于在N帧图像中确定参考帧图像和N-1帧目标帧图像,其中,目标帧图像为N帧图像中除参考帧图像之外的图像;
计算单元,用于分别计算所述参考帧图像与所述N-1帧目标帧图像的光流,得到N幅光流图;
对比单元,用于对比N幅光流图中的光流分布情况,确定N帧图像中每帧图像的反光区域;
第二执行单元,用于根据N-1帧目标帧图像,补充参考帧图像的反光区域的图像信息,显示去除反光图像。
可选的,第二执行单元可以包括:
配准单元,用于根据N幅光流图,对N帧图像进行配准对齐;
裁剪单元,用于根据配准对齐的结果,针对每帧图像裁剪掉其它图像未配准对齐的部分,得到配准对齐后的N帧图像;
第三计算单元,用于根据配准对齐后的N帧图像和每帧图像的反光区域,计算得到去除反光图像。
本申请实施例提供的去除图像反光的拍摄装置,通过对电子设备是否沿引导移动轨迹移动进行检测,和/或,对电子设备的位置是否处于N个引导拍摄位置之一进行检测,在确定检测到电子设备沿引导移动轨迹移动的过程中,和/或,在检测到电子设备的位置处于N个引导拍摄位置之一的情况下,拍摄在N个不同位置拍摄目标物的N帧图像,从而,可以根据N帧图像,显示目标物对应的去除反光图像,这样,可以利用多帧图像携带的不同的信息对图像中的反光进行去除,得到很好的去除反光效果,相比于针对一张图像执行图像处理,本申请实施例由于利用了不同位置处拍摄的多帧图像,可以得到更好的去除反光效果,解决了相关技术中去除反光的效果较差的问题。
本申请实施例中的去除图像反光的拍摄装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的去除图像反光的拍摄装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的去除图像反光的拍摄装置能够实现图1至图6的方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选地,如图8所示,本申请实施例还提供一种电子设备900,包括处理器901,存储器902,存储在存储器902上并可在所述处理器901上运行的程序或指令,该程序或指令被处理器901执行时实现上述去除图像反光的拍摄方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图9为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备1000包括但不限于:射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。
本领域技术人员可以理解,电子设备1000还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器1010逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图9中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,显示单元1006用于显示引导移动轨迹和/或N个引导拍摄位置,其中,N为大于1的正整数;
传感器1005(例如图像传感器)用于在检测到电子设备沿引导移动轨迹移动的过程中,和/或,在检测到电子设备的位置处于N个引导拍摄位置之一的情况下,获得在N个不同位置拍摄目标物的N帧图像;
显示单元1006还用于根据N帧图像,显示目标物对应的去除反光图像。
可选的,处理器1010用于在检测到电子设备沿引导移动轨迹移动的过程中,和/或,在检测到电子设备的位置处于N个引导拍摄位置之一的情况下,获取电子设备的定位信息,其中,定位信息可以是通过电子设备1000的传感器1005采集的,例如,传感器1005可以是定位传感器或陀螺仪等,处理器1010还用于根据定位信息,确定电子设备的当前位置与引导移动轨迹和/或N个引导拍摄位置的相对位置关系,进而,显示单元1006可以在电子设备的相机预览界面的图层之上,覆盖显示当前位置、引导移动轨迹和/或N个引导拍摄位置。
可选的,处理器1010还用于在N帧图像中确定参考帧图像和N-1帧目标帧图像,其中,目标帧图像为N帧图像中除参考帧图像之外的图像;分别计算所述参考帧图像与所述N-1帧目标帧图像的光流,得到N幅光流图;;对比N幅光流图中的光流分布情况,确定N帧图像中每帧图像的反光区域;根据N-1帧目标帧图像,补充参考帧图像的反光区域的图像信息,进而,通过显示单元1006显示去除反光图像。
可选的,处理器1010还用于根据N幅光流图,对N帧图像进行配准对齐;根据配准对齐的结果,针对每帧图像裁剪掉其它图像未配准对齐的部分,得到配准对齐后的N帧图像;根据配准对齐后的N帧图像和每帧图像的反光区域,计算得到去除反光图像。
本申请实施例提供的电子设备,通过对电子设备是否沿引导移动轨迹移动进行检测,和/或,对电子设备的位置是否处于N个引导拍摄位置之一进行检测,在确定检测到电子设备沿引导移动轨迹移动的过程中,和/或,在检测到电子设备的位置处于N个引导拍摄位置之一的情况下,拍摄在N个不同位置拍摄目标物的N帧图像,从而,可以根据N帧图像,显示目标物对应的去除反光图像,这样,可以利用多帧图像携带的不同的信息对图像中的反光进行去除,得到很好的去除反光效果,相比于针对一张图像执行图像处理,本申请实施例由于利用了不同位置处拍摄的多帧图像,可以得到更好的去除反光效果,解决了相关技术中去除反光的效果较差的问题。
应理解的是,本申请实施例中,输入单元1004可以包括图形处理器(GraphicsProcessing Unit,GPU)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板1061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061。用户输入单元1007包括触控面板1071以及其他输入设备1072。触控面板1071,也称为触摸屏。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。存储器1009可用于存储软件程序以及各种数据,包括但不限于应用程序和操作系统。处理器1010可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1010中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述去除图像反光的拍摄方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述去除图像反光的拍摄方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

Claims (10)

1.一种去除图像反光的拍摄方法,其特征在于,所述方法包括:
显示引导移动轨迹和/或N个引导拍摄位置,其中,N为大于1的正整数;
在检测到电子设备沿所述引导移动轨迹移动的过程中,和/或,在检测到所述电子设备的位置处于所述N个引导拍摄位置之一的情况下,获得在N个不同位置拍摄目标物的N帧图像;
根据所述N帧图像,显示所述目标物对应的去除反光图像。
2.根据权利要求1所述的方法,其特征在于,在检测到电子设备沿所述引导移动轨迹移动的过程中,和/或,在检测到所述电子设备的位置处于所述N个引导拍摄位置之一的情况下,包括:
获取所述电子设备的定位信息;
根据所述定位信息,确定所述电子设备的当前位置与所述引导移动轨迹和/或所述N个引导拍摄位置的相对位置关系,并在所述电子设备的相机预览界面的图层之上,覆盖显示所述当前位置、所述引导移动轨迹和/或所述N个引导拍摄位置。
3.根据权利要求1所述的方法,其特征在于,所述根据所述N帧图像,显示所述目标物对应的去除反光图像,包括:
在所述N帧图像中确定参考帧图像和N-1帧目标帧图像,其中,所述目标帧图像为所述N帧图像中除所述参考帧图像之外的图像;
分别计算所述参考帧图像与所述N-1帧目标帧图像的光流,得到N幅光流图;
对比所述N幅光流图中的光流分布情况,确定所述N帧图像中每帧图像的反光区域;
根据所述N-1帧目标帧图像,补充所述参考帧图像的反光区域的图像信息,显示所述去除反光图像。
4.根据权利要求3所述的方法,其特征在于,所述根据所述N-1帧目标帧图像,补充所述参考帧图像的反光区域的图像信息,包括:
根据所述N幅光流图,对所述N帧图像进行配准对齐;
根据配准对齐的结果,针对每帧图像裁剪掉其它图像未配准对齐的部分,得到配准对齐后的N帧图像;
根据所述配准对齐后的N帧图像和每帧图像的反光区域,计算得到所述去除反光图像。
5.一种去除图像反光的拍摄装置,其特征在于,所述装置包括:
第一显示单元,用于显示引导移动轨迹和/或N个引导拍摄位置,其中,N为大于1的正整数;
拍摄单元,用于在检测到电子设备沿所述引导移动轨迹移动的过程中,和/或,在检测到所述电子设备的位置处于所述N个引导拍摄位置之一的情况下,获得在N个不同位置拍摄目标物的N帧图像;
第二显示单元,用于根据所述N帧图像,显示所述目标物对应的去除反光图像。
6.根据权利要求5所述的装置,其特征在于,所述拍摄单元包括:
获取单元,用于在检测到电子设备沿所述引导移动轨迹移动的过程中,和/或,在检测到所述电子设备的位置处于所述N个引导拍摄位置之一的情况下,获取所述电子设备的定位信息;
第一执行单元,用于根据所述定位信息,确定所述电子设备的当前位置与所述引导移动轨迹和/或所述N个引导拍摄位置的相对位置关系,并在所述电子设备的相机预览界面的图层之上,覆盖显示所述当前位置、所述引导移动轨迹和/或所述N个引导拍摄位置。
7.根据权利要求5所述的装置,其特征在于,所述第二显示单元包括:
第一确定单元,用于在所述N帧图像中确定参考帧图像和N-1帧目标帧图像,其中,所述目标帧图像为所述N帧图像中除所述参考帧图像之外的图像;
第一计算单元,用于分别计算所述参考帧图像运动到所述N-1帧目标帧图像的光流,得到分别与所述N-1帧目标帧图像一一对应的N-1幅光流图;
第二计算单元,用于计算所述N-1帧目标帧图像之一运动到所述参考帧图像的光流,得到所述参考帧图像对应的光流图;
对比单元,用于对比N幅光流图中的光流分布情况,确定所述N帧图像中每帧图像的反光区域,其中,所述N幅光流图包括所述N-1幅光流图和所述参考帧图像对应的光流图;
第二执行单元,用于根据所述N-1帧目标帧图像,补充所述参考帧图像的反光区域的图像信息,显示所述去除反光图像。
8.根据权利要求7所述的装置,其特征在于,所述第二执行单元包括:
配准单元,用于根据所述N幅光流图,对所述N帧图像进行配准对齐;
裁剪单元,用于根据配准对齐的结果,针对每帧图像裁剪掉其它图像未配准对齐的部分,得到配准对齐后的N帧图像;
第三计算单元,用于根据所述配准对齐后的N帧图像和每帧图像的反光区域,计算得到所述去除反光图像。
9.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-4任一项所述的去除图像反光的拍摄方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-4任一项所述的去除图像反光的拍摄方法的步骤。
CN202110466941.4A 2021-04-28 2021-04-28 去除图像反光的拍摄方法、装置和电子设备 Active CN113194253B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110466941.4A CN113194253B (zh) 2021-04-28 2021-04-28 去除图像反光的拍摄方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110466941.4A CN113194253B (zh) 2021-04-28 2021-04-28 去除图像反光的拍摄方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN113194253A true CN113194253A (zh) 2021-07-30
CN113194253B CN113194253B (zh) 2023-04-28

Family

ID=76980323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110466941.4A Active CN113194253B (zh) 2021-04-28 2021-04-28 去除图像反光的拍摄方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN113194253B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113628202A (zh) * 2021-08-20 2021-11-09 美智纵横科技有限责任公司 一种确定方法、清洁机器人和计算机存储介质
CN113791929A (zh) * 2021-11-17 2021-12-14 北京中科开迪软件有限公司 一种基于图像识别的光盘库故障自动恢复方法及系统
CN115631098A (zh) * 2022-06-16 2023-01-20 荣耀终端有限公司 去反射方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103247036A (zh) * 2012-02-10 2013-08-14 株式会社理光 多曝光图像融合方法和装置
CN106614243A (zh) * 2016-09-13 2017-05-10 浙江大学 一种用于池塘循环流水养殖的高效集污和智能投饲系统
WO2018003090A1 (ja) * 2016-06-30 2018-01-04 株式会社Pfu 画像処理装置、画像処理方法、および、プログラム
CN107818283A (zh) * 2017-11-02 2018-03-20 深圳天珑无线科技有限公司 二维码拍摄方法、移动终端及计算机可读存储介质
US20190080460A1 (en) * 2017-09-08 2019-03-14 Toyota Jidosha Kabushiki Kaisha Reflection determining apparatus
CN111510623A (zh) * 2020-04-02 2020-08-07 维沃移动通信有限公司 拍摄方法及电子设备
CN112532884A (zh) * 2020-11-27 2021-03-19 维沃移动通信有限公司 识别方法、装置及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103247036A (zh) * 2012-02-10 2013-08-14 株式会社理光 多曝光图像融合方法和装置
WO2018003090A1 (ja) * 2016-06-30 2018-01-04 株式会社Pfu 画像処理装置、画像処理方法、および、プログラム
CN106614243A (zh) * 2016-09-13 2017-05-10 浙江大学 一种用于池塘循环流水养殖的高效集污和智能投饲系统
US20190080460A1 (en) * 2017-09-08 2019-03-14 Toyota Jidosha Kabushiki Kaisha Reflection determining apparatus
CN107818283A (zh) * 2017-11-02 2018-03-20 深圳天珑无线科技有限公司 二维码拍摄方法、移动终端及计算机可读存储介质
CN111510623A (zh) * 2020-04-02 2020-08-07 维沃移动通信有限公司 拍摄方法及电子设备
CN112532884A (zh) * 2020-11-27 2021-03-19 维沃移动通信有限公司 识别方法、装置及电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113628202A (zh) * 2021-08-20 2021-11-09 美智纵横科技有限责任公司 一种确定方法、清洁机器人和计算机存储介质
CN113628202B (zh) * 2021-08-20 2024-03-19 美智纵横科技有限责任公司 一种确定方法、清洁机器人和计算机存储介质
CN113791929A (zh) * 2021-11-17 2021-12-14 北京中科开迪软件有限公司 一种基于图像识别的光盘库故障自动恢复方法及系统
CN115631098A (zh) * 2022-06-16 2023-01-20 荣耀终端有限公司 去反射方法及装置
CN115631098B (zh) * 2022-06-16 2023-10-03 荣耀终端有限公司 去反射方法及装置

Also Published As

Publication number Publication date
CN113194253B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN110348524B (zh) 一种人体关键点检测方法及装置、电子设备和存储介质
CN113194253B (zh) 去除图像反光的拍摄方法、装置和电子设备
US10007841B2 (en) Human face recognition method, apparatus and terminal
CN110959160A (zh) 一种手势识别方法、装置及设备
CN112492201B (zh) 拍照方法、装置及电子设备
CN112991381B (zh) 图像处理方法及装置、电子设备和存储介质
CN111614905A (zh) 图像处理方法、图像处理装置和电子设备
CN108171222B (zh) 一种基于多流神经网络的实时视频分类方法及装置
CN114500837B (zh) 拍摄方法、装置及电子设备
CN113794831B (zh) 视频拍摄方法、装置、电子设备及介质
CN114581525A (zh) 姿态确定方法及装置、电子设备和存储介质
CN112437231B (zh) 图像拍摄方法和装置、电子设备及存储介质
CN117152660A (zh) 图像显示方法及其装置
CN114286011B (zh) 对焦方法和装置
WO2023155350A1 (zh) 一种人群定位方法及装置、电子设备和存储介质
CN112565605B (zh) 图像显示方法、装置和电子设备
CN112738398B (zh) 一种图像防抖方法、装置和电子设备
CN112637588B (zh) 检测摄像头污损的方法、装置和电子设备
CN113315903B (zh) 图像获取方法和装置、电子设备、存储介质
CN113873147A (zh) 视频录制方法、装置及电子设备
CN110751223B (zh) 一种图像匹配方法、装置、电子设备及存储介质
CN114565962A (zh) 人脸图像处理方法及装置、电子设备和存储介质
CN112165584A (zh) 录像方法、装置、电子设备以及可读存储介质
CN113347356A (zh) 拍摄方法、装置、电子设备及存储介质
CN114693702B (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant