CN110266955B - 图像处理方法、装置、电子设备以及存储介质 - Google Patents

图像处理方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN110266955B
CN110266955B CN201910580477.4A CN201910580477A CN110266955B CN 110266955 B CN110266955 B CN 110266955B CN 201910580477 A CN201910580477 A CN 201910580477A CN 110266955 B CN110266955 B CN 110266955B
Authority
CN
China
Prior art keywords
target
pictures
image
target object
image content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910580477.4A
Other languages
English (en)
Other versions
CN110266955A (zh
Inventor
杜鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910580477.4A priority Critical patent/CN110266955B/zh
Publication of CN110266955A publication Critical patent/CN110266955A/zh
Application granted granted Critical
Publication of CN110266955B publication Critical patent/CN110266955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、电子设备以及存储介质。所述方法包括:获取在目标物体的不同视角下拍摄的多张图片;从所述多张图片中获取满足目标质量条件的多张目标图片;基于预设的算法以及所述多张目标图片对所述目标物体进行图像内容补偿,得到目标图像,所述目标图像包括所述目标物体对应的成像视角下的图像内容,所述成像视角包括所述多张目标图片对应的视角及以外的视角。通过该方法实现了在获取了从不同视角下拍摄的目标物体的满足目标质量条件的多张目标图片的情况下,通过对多张目标图片进行处理,然后可以得到包括多张目标图片对应的视角及以外的视角的目标图像,使得用户可以查看不同视角下的目标图像,提升了用户体验。

Description

图像处理方法、装置、电子设备以及存储介质
技术领域
本申请涉及电子设备技术领域,更具体地,涉及一种图像处理方法、装置、电子设备以及存储介质。
背景技术
随着智能终端技术的发展,用户可以使用手机、平板电脑等电子设备拍出各种风格的照片或者视频图像等,例如,拍生活照、风景照、婚纱照以及各类美颜照片或视频等,极大满足了用户的生活乐趣。然而在现有的拍照技术中,智能终端所拍摄的图像的显示角度较为单一。
发明内容
鉴于上述问题,本申请提出了一种图像处理方法、装置、电子设备以及存储介质,以改善上述问题。
第一方面,本申请实施例提供了一种图像处理方法,应用于电子设备,所述方法包括:获取在目标物体的不同视角下拍摄的多张图片;从所述多张图片中获取满足目标质量条件的多张目标图片;基于预设的算法以及所述多张目标图片对所述目标物体进行图像内容补偿,得到目标图像,所述目标图像包括所述目标物体对应的成像视角下的图像内容,所述成像视角包括所述多张目标图片对应的视角及以外的视角。
第二方面,本申请实施例提供了一种图像处理装置,运行于电子设备,所述装置包括:第一获取模块,用于获取在目标物体的不同视角下拍摄的多张图片;第二获取模块,用于从所述多张图片中获取满足目标质量条件的多张目标图片;处理模块,用于基于预设的算法以及所述多张目标图片对所述目标物体进行图像内容补偿,得到目标图像,所述目标图像包括所述目标物体对应的成像视角下的图像内容,所述成像视角包括所述多张目标图片对应的视角及以外的视角。
第三方面,本申请提供了一种电子设备,包括一个或多个处理器以及存储器;一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述的方法。
第四方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有程序代码,其中,在所述程序代码运行时执行上述的方法。
本申请提供的一种图像处理方法、装置、电子设备以及存储介质,通过获取在目标物体的不同视角下拍摄的多张图片,再从所述多张图片中获取满足目标质量条件的多张目标图片,然后对所述多张目标图片进行处理,得到目标图像,所述目标图像包括所述目标物体对应的成像视角下的图像内容,所述成像视角包括所述多张目标图片对应的视角及以外的视角。从而通过上述方式实现了在获取了从不同视角下拍摄的目标物体的满足目标质量条件的多张目标图片的情况下,通过对多张目标图片进行处理,然后可以得到包括多张目标图片对应的视角及以外的视角的目标图像,使得用户可以查看不同视角下的目标图像,提升了用户体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请一实施例提出的应用于电子设备的图像处理方法的方法流程图。
图2示出了本申请实施例提出的电子设备在不同视角下拍摄目标物体的一示例图。
图3示出了本申请另一实施例提出的应用于电子设备的图像处理方法的方法流程图。
图4示出了本申请又一实施例提出的应用于电子设备的图像处理方法的方法流程图。
图5示出了本申请实施例提出的电子设备在不同视角下拍摄目标物体的另一示例图。
图6示出了本申请再一实施例提出的应用于电子设备的图像处理方法的方法流程图。
图7示出了本申请实施例提出的图像处理装置的结构框图。
图8示出了本申请的用于执行根据本申请实施例的图像处理方法的电子设备的结构框图。
图9是本申请实施例的用于保存或者携带实现根据本申请实施例的图像处理方法的程序代码的存储单元。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
随着智能终端技术的发展,智能终端设备的配置和性能不断提升,使得其拍照性能越来越好。作为一种方式,相机拍摄系统可以通过拍摄多张照片的方式,来进行防抖等照片效果优化。也可以通过拍摄多张普通视角照片来合成更广视角的广角照片,从而实现超广角拍摄。也可以根据第一视角下拍摄的一张图像以及空间信息获取第二视角下的图像。
然而,发明人发现,在智能终端所拍摄的照片中,照片通常都是静态的,且照片呈现的视角是由拍摄时的相机的视角决定的。目前手机等智能终端无法通过两张不同视角下的图像获取第三视角下的图像,也无法通过拍摄两张照片来生产任意角度的动态照片。
针对上述问题,发明人经过长时间的研究并提出了本申请实施例提供的图像处理方法、装置、电子设备以及存储介质,通过获取在目标物体的不同视角下拍摄的多张图片,再从所述多张图片中获取满足目标质量条件的多张目标图片,然后对所述多张目标图片进行处理,得到目标图像,所述目标图像包括所述目标物体对应的成像视角下的图像内容,所述成像视角包括所述多张目标图片对应的视角及以外的视角。从而通过上述方式实现了在获取了从不同视角下拍摄的目标物体的满足目标质量条件的多张目标图片的情况下,通过对多张目标图片进行处理,然后可以得到包括多张目标图片对应的视角及以外的视角的目标图像,使得用户可以查看不同视角下的目标图像,提升了用户体验。
下面将结合附图具体描述本申请的各实施例。
请参阅图1,为本申请实施例提供的一种图像处理方法,应用于电子设备,所述方法包括:
步骤S110:获取在目标物体的不同视角下拍摄的多张图片。
需要说明的是,本申请实施例中的电子设备所设置的摄像头为单目摄像头。
在用户需要于拍摄场景拍摄目标物体时,可以利用电子设备以不同的视角对场景中的目标物体进行图像采集,从而电子设备可以获取到在目标物体的不同视角下拍摄的多张图片,以便于可以通过任意两张(也可以是多张)视角下的图像获取更多视角下的图像,进而使得目标物体的图像可以通过不同视角展示出来,提升用户使用体验。
其中,目标物体的不同视角下拍摄的多张图片可以是任意两个视角下多次拍摄的多张图片,也可以是多个不同视角下多次拍摄的多张图片。例如,在一种方式中,对于用户从两个视角对目标物体进行图像采集时,由于对焦、环境光以及用户可能会存在手抖等原因,使得通过电子设备从单个角度拍摄的图片无法一次拍摄出清晰度等质量较佳的图片,那么可以理解的是,为了后期合成图片的准确度,可以在单个视角下对目标物体进行多次图像采集,那么在这种情况下,从两个视角对目标物体进行图像采集时,可以获取该两个视角下拍摄的多张图片。
而在另一种方式中,可以通过对电子设备进行移动,以使从目标物体的不同视角对目标物体进行图像采集,可以理解的是,在电子设备的移动过程中,所拍摄目标物体的视角也会随着变化,那么对于电子设备的移动过程中的任一视角,任然可以拍摄一张或多张照片,以便获取在目标物体的不同视角下的多张图片。
例如,在一个具体的应用场景中,如图2所示,电子设备以位置a为第一视角对目标物体200进行图像采集,可以获取到视角区域为a1a2内所拍摄的多张图片。而将电子设备移动至位置b,电子设备可以以位置b为第二视角对目标物体200进行图像采集,进而获取到视角区域为b1b2内的多张图片。需要说明的是,图2所示对目标物体的拍摄视角仅作为示例,不构成对本方案的限定。本实施例中的视角可以是两个视角,也可以是多个视角,在此不作限定。
其中,可以理解的是,随着电子设备位置的移动,所采集的目标物体的多张图片中,目标物体的图像内容可以变化,相应的,与目标物体的图像内容对应的目标物体的背景内容也可以变化,从而可以实现将在目标物体的不同视角下拍摄的多张图片进行合成,也可以理解为将所拍摄的目标物体的不同视角下的图像内容与目标物体在不同视角下的背景内容分别进行合成,从而实现通过两张不同视角下的图像获取第三视角下的图像,或者通过多张不同视角下的图像获取任意视角下的图像。
步骤S120:从所述多张图片中获取满足目标质量条件的多张目标图片。
可以理解的是,对于从不同视角下获取的包括目标物体以及目标物体的背景内容的图片,每张图片包括的目标物体的图像内容可以不同,每张图片所包括的背景内容也会有所差异,即不同图片包括的目标物体以及场景背景的内容之间存在相同的区域,也存在不同的区域,那么为了提高不同视角下的图片合成的视觉效果以及图片的准确度,本实施例将会从多张图片中获取满足目标质量条件的图片,将满足目标质量条件的图片作为目标图片。
其中,本实施例中的目标质量条件可以包括图片的拍摄时间处于相同时间段内;以及图片的成像区域位于目标视场角范围内或图片的畸变程度小于设定阈值。
作为一种方式,本实施例中满足目标质量条件的图片可以是拍摄时间处于相同时间段内的图片。可选的,若将一张早上拍摄的图片和一张晚上拍摄的图片进行合成,由于环境光、色彩明暗程度以及光强等因素的影响,会使得最终合成图片存在合成缝隙,极大地影响所合成图片的美观度。那么为了改善这种现象,本实施例中可以对所拍摄的多张图片按照拍摄时段进行分组,将处于相同时段内的多张图片作为满足目标质量条件的多张目标图片,其中,具体将哪个时段的多张图片作为满足目标质量条件的多张目标图片,可以根据用户对合成图片的需求进行时段选择,在此不作限定。
作为另一种方式,本实施例中满足目标质量条件的图片可以是成像区域位于目标视场角范围内的图片。其中,目标视场角范围可以是用户最想要关注的目标物体的图像内容部分对应的视场角范围,也可以是任意其他设定的视场角范围,可选的,在目标视场角范围内,可以以最优的视角拍摄目标物体。可选的,对于一些目标物体,因其形状不均匀或者是存在比较零散的部分,那么在这种情况下,为了对目标物体的主体部分的增强显示,可以将所拍摄的目标物体的零散部分图像内容的图片进行舍弃,而仅保留成像区域位于目标视场角范围内的图片。
作为又一种方式,电子设备可以实时检测在目标物体的不同视角下所拍摄的多张图片的畸变程度,其中畸变可以包括镜头畸变、透视畸变、枕形畸变以及桶形畸变等,作为一种方式,电子设备可以预先存储畸变检测算法,实时对所拍摄的图片是否存在畸变进行检测,可选的,若存在,那么可以继续计算这些畸变的程度,即可以理解为畸变的图像内容占图片的整体图像内容的比例,那么,为了便于提高后续合成图片的准确度,本实施例中将选取畸变程度小于设定阈值的图片作为满足目标质量条件的图片。可选的,设定阈值可以为10%,5%,2%,1%等等,具体数值可以根据实际情况进行设定。
需要说明的是,上述选取满足目标质量条件的多张图片的方式即可以单独实施选取,也可以是两两组合进行选取,设置是多种并行选取。可以理解的是,在相同时间内,选取满足目标质量条件的选取规则越多,那么所选取获得的多张目标图片的质量将会越高。
可选的,目标质量条件可以是所拍摄的多张目标图片的清晰度。可以理解的是,由于不同用户拍摄时的主观误差以及拍摄时天气的影响,都将会造成图片的清晰度不均衡问题,例如,若用户拍摄时不能很好的对焦或者是不会寻找合适的拍摄角度,以及拍摄时受风的影响,所拍摄物体处于摆动或晃动状态,那么将会影响所拍摄的图片的清晰度,那么作为一种方式,为了提升多张目标图片最终的合成图片质量,本实施例可以选取清晰度在某一水平范围内的多张图片,或者说将不同层次清晰度的图片进行分组,以将相同组别内的清晰度的多张图片进行合成。
可选的,也可以根据天气选取满足目标质量条件的多张目标图片。例如,将同是晴天拍摄的多张图片进行合成,或者是将同为雨天拍摄的多行图片进行合成。需要说明的是,随着科技的发展,现在流行用一些特效来表现一些生活元素。那么,可以理解的是,本实施例中,也可以将天气不同的情况下所拍摄多张图片作为满足目标质量条件的多张目标图片,那么在这种情况下,所拍摄的多张图片的拍摄时段可以一致或者清晰度可以一致。可选的,也可以根据实际需求进行选取,在此不作限定。
可选的,对于电子设备而言,目标质量条件还可以是所拍摄图片的帧率。可以理解的是,随着拍摄角度的不同,以及拍摄距离的调整,拍摄出来的多张图片的帧率会有所差别。在这种情况下,如果将帧率差距较大的图片进行合成,将会因为画面数据分布不均匀等原因使得最终合成图片看起来存在马赛克、卡顿等现象,极大的影响合成图片的画面感,降低用户体验。那么,为了改善这一现象,本实施例可以由电子设备自动筛选出帧率较为接近的多张图片进行合成,或者说,可以将帧率较为接近的多张图片作为满足目标质量条件的多张目标图片。
可选的,目标质量条件也可以是图片包括的目标物体以及场景背景的图像内容的特征点数量达到预设数量。作为一种方式,可以从拍摄的多张图片中分别获取包括目标物体的图片,然后将这些包括目标物体的图片进行特征点匹配,以获取到包括的目标物体的特征点数量较为集中的图片,或者说获取到包括的目标物体的图像内容的图像区域匹配的图片。进一步的,可以获取所述得到的图片中的场景背景内容,将这些图片中的场景内容进行特征点匹配,以获取到包括的目标物体以及场景背景的特征点数量较为集中或者是图像匹配区域较大的多张目标图片。
步骤S130:基于预设的算法以及所述多张目标图片对所述目标物体进行图像内容补偿,得到目标图像。
作为一种方式,在对多张目标图片进行图像内容补偿之前,电子设备可以获取多张目标图片中之间的重复图像内容,对这些重复内容进行去除。具体的,可以通过特征点匹配,识别出一张图片中的目标物体图像,继而识别其他图片中的目标物体图像,将其他图片中识别出的图像中,特征点与从第一张图片中识别出的图像特征点匹配的图像内容进行删除。例如,若目标物体图像为人脸区域,那么可以通过人脸识别算法识别出一张图片中的人脸,继而识别其他图片中的人脸图像,将其他图片中与从第一张图片中识别出的人脸相同的人脸图像进行去除,进而实现去除多张目标图片之间的重复图像内容。
可以理解的是,虽然获取了在目标物体的不同视角下拍摄的多张图片,由于拍摄过程中不可避免的存在拍摄误差,图片与图片之间存在缝隙或者是所拍摄的目标物体的图像内容不完整,那么,作为一种实现方式,电子设备可以基于预设的算法对去除重复图像内容的多张目标图片进行图像内容补偿,得到目标图像。其中,该目标图像包括目标物体对应的成像视角下的图像内容,该成像视角包括多张目标图片对应的视角及以外的视角。例如,对于上述图2中的示例,该成像视角可以理解为视角区域a1a2,也可以是视角区域b1b2,也可以是视角区域a1b2之间的任一视角或者是视角区域a1b2以外的视角,在此不作限定。
本申请提供的一种图像处理方法,通过获取在目标物体的不同视角下拍摄的多张图片,再从所述多张图片中获取满足目标质量条件的多张目标图片,然后对所述多张目标图片进行处理,得到目标图像,所述目标图像包括所述目标物体对应的成像视角下的图像内容,所述成像视角包括所述多张目标图片对应的视角及以外的视角。从而通过上述方式实现了在获取了从不同视角下拍摄的目标物体的满足目标质量条件的多张目标图片的情况下,通过对多张目标图片进行处理,然后可以得到包括多张目标图片对应的视角及以外的视角的目标图像,使得用户可以查看不同视角下的目标图像,提升了用户体验。
请参阅图3,为本申请实施例提供的一种图像处理方法,应用于电子设备,所述方法包括:
步骤S210:获取在目标物体的不同视角下拍摄的多张图片。
步骤S220:从所述多张图片中获取满足目标质量条件的多张目标图片。
步骤S230:提取所述多张目标图片中的物体特征。
其中,物体特征可以包括物体的形状、尺寸以及大小等外形特征。可选的,电子设备可以预先存储包括多个物体类别的物体识别算法,每一个物体类别对应存储有其图像内容以及图像特征。作为一种方式,电子设备可以通过特征点提取获取多张目标图片中的物体特征。
需要说明的是,由于拍摄视角的差异,不同的图片所包括的目标物体的特征可以不同,同一目标物体的物体特征可能部分存在于不同的目标图片之中,那么在这种情况下,可以先将具有相似或相同物体特征的图片进行识别,以便于获取目标物体的主要特征,继而再对其余的目标图片的物体特征进行识别与提取,并且将不同于该主要特征的目标物体特征中各不相同的目标物体特征拼接于所述主要特征,从而得到多张目标图片中的物体特征。
步骤S240:根据所述物体特征识别所述目标物体的物体类型。
在获取了目标物体的特征的情况下,可以基于目标物体的物体特征对目标物体的物体类型进行识别。可选的,目标物体可以存在于上述数据库中预先存储的物体类别之中,也可以是该物体类别所包括的物体以外的其他物体。
可选的,若目标物体是上述多个物体类别之中的某一种,那么,可以直接基于数据库中预先存储的物体类别的图像内容对目标物体的物体类型进行识别。而若目标物体是上述多个物体类别以外的其他物体类型,那么,电子设备可以基于设定的算法对目标物体的物体类型进行模拟,使得到与目标物体相似或相近的物体类型。
步骤S250:根据所述物体类型基于所述预设的算法对所述目标物体进行图像内容补偿,得到目标图像。
在一种实现方式中,若目标物体是上述多个物体类别之中的某一种,那么,可以直接基于数据库中预先存储的物体类别的图像内容对目标物体的图像内容进行补齐。在这种情况下,数据库中可以预先存储各个物体类别的物体的各个视角下的图像内容,电子设备在获取到多张满足目标质量条件的多张目标图片后,可以将这多张目标图片与数据库中预先存储的图片的图像内容进行匹配,从而根据匹配的结果对目标物体进行图像内容补齐。具体的,若数据库中存储了目标物体的各个表面的图像,而电子设备所获取到的多张目标图片仅包括了少于数据库中存储的目标物体的各个表面的图像,那么电子设备将按照数据库中所存储的和目标物体类似的物体的各个表面的图像对目标物体进行图像内容补偿,使其得到完整的目标图像。
可选的,若电子设备所获取到的多张目标图片包括多个目标物体的局部图像,例如,获取到的目标图片分别包括一个目标物体A的3个表面的图像和目标物体B的4个表面的图像,而数据库中存储了物体A与物体B的图像内容,且数据库中存储的物体A的图像内容与目标物体A的图像内容匹配度(相似度,因两种图像不是完全对等,所以称为相似)较高,而物体B的图像内容与目标物体B的图像内容匹配度较高。那么在这种情况下,电子设备将判断目标物体A的体积与目标物体B的体积,其中,可以是判断总体积的大小,也可以的判断平均体积,其中,平均体积可以理解为总体积与当前目标物体所包括表面数量的比值,可选的,电子设备将优先(也可以是仅仅)对体积较大的目标物体的图像进行图像内容补齐。通过对目标物体的图像与数据库中所存储的物体图像进行匹配度判断,可以提升图片的合成速度与合成图片的质量。
在一个具体的应用场景中,电子设备在对多张目标图片进行合成的过程中,可以对多张目标图片的视角进行判断,以便于加速匹配出数据库中存储的与多张目标图片的不同视角对应的视角的物体图像。例如,假设一个魔方,包括六面(或者更多)视角的图像,而实际拍摄的满足目标质量条件的图片可以有很多张(不限定于是6张),而数据库中预先存储有魔方的6面视角的图像,那么在这种情况下,电子设备可以根据多张目标图片的视角去查询数据库中存储的与所述视角匹配的视角图片,可选的,若搜索到魔方包括较多与所述视角匹配的视角图片,那么电子设备将会按照数据库中预先存储的魔方的各个视角的图片对岁拍摄的魔方的图像内容进行补齐。其中,假设所拍摄的魔方的物体图像缺少几个视角,但此时,若所拍摄的魔方的不同视角的图片与数据库中存储的魔方的各个视角的图片的匹配度能达到预设阈值(例如,60%,70%等,再次仅作为示例,不作为限定),那么将会按照该方式进行补齐。
在另一种实现方式中,而若目标物体不是上述多个物体类别之中的某一种,那么,可以基于预设的算法,根据目标物体的图像内容的色彩、纹理以及形状特征等模拟出目标物体的图像内容,进而实现对目标物体的图像内容的缺损部分进行补齐,从而得到目标图像。在这种情况下,电子设备可以获取所拍摄的目标物体的图像内容的色彩、纹理或是形状大小等图像特征,然后获取该目标物体的特征点,然后基于该特征点从数据库中搜索出与该目标物体的特征点匹配的大致物体图像,其中,与该目标物体的特征点大致匹配的大致物体图像可以是一个,也可以是多个。然后电子设备可以基于预设的算法将目标物体的图像的色彩、纹理等图像特征与所述大致物体图像的图像特征进行比较,进而模拟出目标物体图像所缺损部分的目标物体图像。可选的,也可以根据比较结果将最为相近的大致目标物体图像的色彩或纹理等图像特征用于填充目标物体图像所缺损部分的目标物体图像。
可选的,电子设备也可以通过获取目标物体的图像内容的色彩、纹理等图像特征,然后基于预设的算法分析出这些色彩或是纹理的变化规则,然后基于该变化规则对目标物体图像的所缺损部分进行图像内容补齐。可选的,电子设备也可以基于目标物体的形状特征对目标物体图像的所缺损部分进行图像内容补齐。
具体的,若电子设备检测到目标物体为规则形状的目标物体,那么可以按照前述的目标物体的图像内容的色彩、纹理等的变化规则对目标物体图像的所缺损部分进行图像内容补齐。而若目标物体为不规则形状的目标物体,那么可以根据目标物体的多张目标图片的视角,用不同颜色的图案对目标物体图像的所缺损部分进行图像内容补齐。例如,对于包括多个相同视角的图像的边缘的缺损部分用鲜明的颜色进行补齐,以增强对该位置出的图像内容的显示,而对于包括较少相同视角的图像边缘的缺损部分用较为暗淡的颜色进行补齐。
本申请提供的一种图像处理方法,通过获取在目标物体的不同视角下拍摄的多张图片,再从所述多张图片中获取满足目标质量条件的多张目标图片,然后提取所述多张目标图片中的物体特征,继而根据所述物体特征识别所述目标物体的物体类型,然后根据所述物体类型基于所述预设的算法对所述目标物体进行图像内容补偿,得到目标图像。实现了在获取了从不同视角下拍摄的目标物体的满足目标质量条件的多张目标图片的情况下,通过对多张目标图片进行处理,然后可以得到包括多张目标图片对应的视角及以外的视角的目标图像,使得用户可以查看不同视角下的目标图像,提升了用户体验。
请参阅图4,为本申请实施例提供的一种图像处理方法,应用于电子设备,所述方法包括:
步骤S310:获取在目标物体的不同视角下拍摄的多张图片。
步骤S320:从所述多张图片中获取满足目标质量条件的多张目标图片。
步骤S330:获取所述多张目标图片的视差。
其中,本实施例中的视差可以理解为拍摄目标物体的视场角。可选的,不同的视角下拍摄的目标物体的图片,所形成的视场角可以相同,也可以不同。可选的,若在与目标物体的距离为圆弧的位置上对目标物体进行拍摄,那么从不同视角下拍摄目标物体所形成的视场角可以相同。可选的,若在与目标物体的不同距离(可以是电子设备离目标物体的远近)对应的位置处对目标物体进行拍摄,那么从不同视角下拍摄目标物体所形成的视场角可以不同。
作为一种方式,该视场角可以是预先设定的拍摄视角,在这种方式下,通过移动电子设备的位置,便可以实现拍摄目标物体在不同视角下的多张图片。作为另一种方式,随着电子设备配置的提升,也可以是电子设备端输入所需的视场角,从而可以将所输入的视场角作为所拍摄的目标图片的视差。
步骤S340:基于所述多张目标图片的不同的视差获取所述目标物体的待进行图像内容补偿的部分的角度信息。
作为一种方式,可以根据多张目标图片之间的视差未重叠的区域确定目标物体的待进行内容补偿的部分的角度信息。具体的,例如,在如图5所示的拍摄场景中,相同虚线表示相同范围的视场角。在电子设备分别在位置a、b、c对目标物体进行拍摄的过程中,可以将d1和d2均作为目标物体200的待进行图像内容补偿的部分的角度信息,可选的,此种情况下,该角度为180°。
步骤S350:基于所述角度信息匹配对应的图像内容,得到目标图像。
本实施例中电子设备通过不断变换相机的拍摄位置,拍摄得出目标物体的不同视角下的多张目标图片,可以理解的是,在拍摄的过程中,即可以形成多张目标图片的图像之间的视差,那么通过这些视差,可以将拍摄过程中未完整拍摄到的目标物体的图像内容进行补齐。
其中,与角度信息匹配的对应的图像内容可以根据与不同图片之间的视差所对应的图像内容进行确定,即将与视差对应的图片的图像内容作为与所述角度信息匹配对应的图像内容。
本申请提供的一种图像处理方法,通过获取在目标物体的不同视角下拍摄的多张图片,再从所述多张图片中获取满足目标质量条件的多张目标图片,然后获取所述多张目标图片的视差,再基于所述多张目标图片的不同的视差获取所述目标物体的待进行图像内容补偿的部分的角度信息,然后基于所述角度信息匹配对应的图像内容,得到目标图像。实现了在获取了从不同视角下拍摄的目标物体的满足目标质量条件的多张目标图片的情况下,通过对多张目标图片进行处理,然后可以得到包括多张目标图片对应的视角及以外的视角的目标图像,使得用户可以查看不同视角下的目标图像,提升了用户体验。
请参阅图6,为本申请实施例提供的一种图像处理方法,应用于电子设备,所述方法包括:
步骤S410:获取在目标物体的不同视角下拍摄的多张图片。
步骤S420:从所述多张图片中获取满足目标质量条件的多张目标图片。
步骤S430:基于预设的算法以及所述多张目标图片对所述目标物体进行图像内容补偿,得到目标图像。
步骤S440:响应于用户操作,对所述目标图像的视角进行切换。
可选的,本实施例中,电子设备可以配置目标图像的视角切换按钮,使得用户可以通过触控按钮控制目标图像的视角的切换。可选的,用户也可以直接用手指在屏幕上滑动,使目标图像切换到与滑动后的位置对应的视角以便于用户可以在同一场景下查看目标物体的不同视角下的图像,增强用户趣味体验。
步骤S450:显示所述目标图像进行视角切换后所对应的部分。
通过对目标图像的视角进行切换,使得用户可以查看同一物体的不同视角下的图像,提升用户使用体验。
本申请提供的一种图像处理方法,通过获取在目标物体的不同视角下拍摄的多张图片,再从所述多张图片中获取满足目标质量条件的多张目标图片,然后基于预设的算法以及所述多张目标图片对所述目标物体进行图像内容补偿,得到目标图像,继而响应于用户操作,对所述目标图像的视角进行切换,然后显示所述目标图像进行视角切换后所对应的部分。从而通过上述方式实现了在获取了从不同视角下拍摄的目标物体的满足目标质量条件的多张目标图片的情况下,通过预设的算法对多张目标图片进行处理,然后可以得到包括多张目标图片对应的视角及以外的视角的目标图像,使得用户可以查看不同视角下的目标图像,提升了用户使用体验。
请参阅图7,为本申请实施例提供的一种图像处理装置500,运行于电子设备,所述装置500包括:
第一获取模块510,用于获取在目标物体的不同视角下拍摄的多张图片。
第二获取模块520,用于从所述多张图片中获取满足目标质量条件的多张目标图片。
其中,本申请实施例中的目标质量条件可以包括图片的拍摄时间处于相同时间段内;以及图片的成像区域位于目标视场角范围内或图片的畸变程度小于设定阈值。
处理模块530,用于基于预设的算法以及所述多张目标图片对所述目标物体进行图像内容补偿,得到目标图像,所述目标图像包括所述目标物体对应的成像视角下的图像内容,所述成像视角包括所述多张目标图片对应的视角及以外的视角。
作为一种方式,处理模块530具体可以用于提取所述多张目标图片中的物体特征;根据所述物体特征识别所述目标物体的物体类型;根据所述物体类型基于所述预设的算法对所述目标物体进行图像内容补偿,得到目标图像。
作为另一种方式,处理模块530具体可以用于获取所述多张目标图片的视差;基于所述多张目标图片的不同的所述视差获取所述目标物体的待进行图像内容补偿的部分的角度信息;基于所述角度信息匹配对应的图像内容,得到目标图像。
可选的,装置500还可以包括重复图像处理模块,该重复图像处理模块用于在处理模块530之前,获取所述多张目标图片之间的重复图像内容,去除所述重复图像内容。
可选的,装置500还可以包括显示模块,该显示模块用于响应于用户操作,对所述目标图像的视角进行切换;显示所述目标图像进行视角切换后所对应的部分。
需要说明的是,本申请中装置实施例与前述方法实施例是相互对应的,装置实施例中具体的原理可以参见前述方法实施例中的内容,此处不再赘述。
下面将结合图8对本申请提供的一种电子设备进行说明。
请参阅图8,基于上述的图像处理方法、装置,本申请实施例还提供的另一种可以执行前述图像处理方法的电子设备100。电子设备100包括相互耦合的一个或多个(图中仅示出一个)处理器102、存储器104、网络模块106、处理模块108、摄像头110以及支持基于目标物体的图像进行多种视角显示的屏幕112。其中,该存储器104中存储有可以执行前述实施例中内容的程序,而处理器102可以执行该存储器104中存储的程序,存储器104包括前述实施例中所描述的装置500。
其中,处理器102可以包括一个或者多个处理核。处理器102利用各种接口和线路连接整个电子设备200内的各个部分,通过运行或执行存储在存储器104内的指令、程序、代码集或指令集,以及调用存储在存储器104内的数据,执行电子设备200的各种功能和处理数据。可选地,处理器102可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(ProgrammableLogic Array,PLA)中的至少一种硬件形式来实现。处理器102可集成中央处理器(CentralProcessing Unit,CPU)、视频图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器102中,单独通过一块通信芯片进行实现。
存储器104可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器104可用于存储指令、程序、代码、代码集或指令集。存储器104可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、视频图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
所述网络模块106用于接收以及发送电磁波,实现电磁波与电信号的相互转换,从而与通讯网络或者其他设备进行通讯,例如和音频播放设备进行通讯。所述网络模块106可包括各种现有的用于执行这些功能的电路元件,例如,天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。所述网络模块106可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。例如,网络模块106可以与基站进行信息交互。
该图像处理模块108可以用于对摄像头110所拍摄的视频图像数据进行处理,或者对网络模块106从网络请求的数据进行处理,以便传输到屏幕112进行显示。具体的,图像处理模块108可以为GPU、专用的DSP、FPGA、ASIC芯片等。
摄像头110用于采集电子设备100所拍摄的视频图像数据,包括照片、视频等。摄像头110将采集到的视频图像数据发送给处理器102,以便于处理器102对视频图像数据进行处理。
请参考图9,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质600中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质600可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质500包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质600具有执行上述方法中的任何方法步骤的程序代码610的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码610可以例如以适当形式进行压缩。
本申请提供的一种图像处理方法、装置、电子设备以及存储介质,通过获取在目标物体的不同视角下拍摄的多张图片,再从所述多张图片中获取满足目标质量条件的多张目标图片,然后对所述多张目标图片进行处理,得到目标图像,所述目标图像包括所述目标物体对应的成像视角下的图像内容,所述成像视角包括所述多张目标图片对应的视角及以外的视角。从而通过上述方式实现了在获取了从不同视角下拍摄的目标物体的满足目标质量条件的多张目标图片的情况下,通过对多张目标图片进行处理,然后可以得到包括多张目标图片对应的视角及以外的视角的目标图像,使得用户可以查看不同视角下的目标图像,提升了用户体验。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (8)

1.一种图像处理方法,其特征在于,应用于电子设备,所述方法包括:
获取在目标物体的不同视角下拍摄的多张图片;
从所述多张图片中获取满足目标质量条件的多张目标图片;
基于预设的算法以及所述多张目标图片对所述目标物体进行图像内容补偿,所述基于预设的算法以及所述多张目标图片对所述目标物体进行图像内容补偿的步骤包括:
获取所述多张目标图片的视差;
基于所述多张目标图片的不同的所述视差获取所述目标物体的待进行图像内容补偿的部分的角度信息;
基于所述角度信息匹配对应的图像内容,得到目标图像,所述目标图像包括所述目标物体对应的成像视角下的图像内容,所述成像视角包括所述多张目标图片对应的视角及以外的视角。
2.根据权利要求1所述的方法,其特征在于,所述基于预设的算法以及所述多张目标图片对所述目标物体进行图像内容补偿的步骤之前还包括:
获取所述多张目标图片之间的重复图像内容;
所述对所述多张目标图片进行处理的步骤包括:
对去除所述重复图像内容的所述多张目标图片进行处理。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于用户操作,对所述目标图像的视角进行切换;
显示所述目标图像进行视角切换后所对应的部分。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述目标质量条件包括:
图片的拍摄时间处于相同时间段内;以及
图片的成像区域位于目标视场角范围内或图片的畸变程度小于设定阈值。
5.一种图像处理装置,其特征在于,运行于电子设备,所述装置包括:
第一获取模块,用于获取在目标物体的不同视角下拍摄的多张图片;
第二获取模块,用于从所述多张图片中获取满足目标质量条件的多张目标图片;
处理模块,用于基于预设的算法以及所述多张目标图片对所述目标物体进行图像内容补偿,所述基于预设的算法以及所述多张目标图片对所述目标物体进行图像内容补偿的步骤包括:获取所述多张目标图片的视差;基于所述多张目标图片的不同的所述视差获取所述目标物体的待进行图像内容补偿的部分的角度信息;基于所述角度信息匹配对应的图像内容,得到目标图像,所述目标图像包括所述目标物体对应的成像视角下的图像内容,所述成像视角包括所述多张目标图片对应的视角及以外的视角。
6.根据权利要求5所述的装置,其特征在于,运行于电子设备,所述装置还包括:
重复图像处理模块,用于获取所述多张目标图片之间的重复图像内容,去除所述重复图像内容。
7.一种电子设备,其特征在于,包括一个或多个处理器以及存储器;
一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行权利要求1-4任一所述的方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有程序代码,其中,在所述程序代码被处理器运行时执行权利要求1-4任一所述的方法。
CN201910580477.4A 2019-06-28 2019-06-28 图像处理方法、装置、电子设备以及存储介质 Active CN110266955B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910580477.4A CN110266955B (zh) 2019-06-28 2019-06-28 图像处理方法、装置、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910580477.4A CN110266955B (zh) 2019-06-28 2019-06-28 图像处理方法、装置、电子设备以及存储介质

Publications (2)

Publication Number Publication Date
CN110266955A CN110266955A (zh) 2019-09-20
CN110266955B true CN110266955B (zh) 2021-01-26

Family

ID=67923281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910580477.4A Active CN110266955B (zh) 2019-06-28 2019-06-28 图像处理方法、装置、电子设备以及存储介质

Country Status (1)

Country Link
CN (1) CN110266955B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113362233B (zh) * 2020-03-03 2023-08-29 浙江宇视科技有限公司 图片处理方法、装置、设备、系统及存储介质
CN111859022A (zh) * 2020-07-07 2020-10-30 咪咕文化科技有限公司 封面生成方法、电子设备及计算机可读存储介质
CN112767506A (zh) * 2020-12-31 2021-05-07 维沃移动通信有限公司 图像处理方法、装置和电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101603791B1 (ko) * 2009-03-18 2016-03-17 삼성전자주식회사 파노라마의 생성 방법
CN104616348A (zh) * 2015-01-15 2015-05-13 东华大学 基于多目立体视觉的织物外观重建方法
US10033995B2 (en) * 2015-03-01 2018-07-24 Nextvr Inc. Methods and apparatus for supporting content generation, transmission and/or playback
CN106331672B (zh) * 2016-08-19 2018-12-25 深圳奥比中光科技有限公司 视点图像的获得方法、装置及系统
CN106998430B (zh) * 2017-04-28 2020-07-21 北京瑞盖科技股份有限公司 基于多相机的360度视频回放方法
IL272651B (en) * 2017-09-01 2022-08-01 Magic Leap Inc Creating a new frame using processed and unprocessed content from a previous perspective

Also Published As

Publication number Publication date
CN110266955A (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
CN110266952B (zh) 图像处理方法、装置、电子设备以及存储介质
CN110288534B (zh) 图像处理方法、装置、电子设备以及存储介质
CN110300264B (zh) 图像处理方法、装置、移动终端以及存储介质
CN108737882B (zh) 图像的显示方法、装置、存储介质及电子装置
CN110012209B (zh) 全景图像生成方法、装置、存储介质及电子设备
CN110266955B (zh) 图像处理方法、装置、电子设备以及存储介质
US11450044B2 (en) Creating and displaying multi-layered augemented reality
CN110839129A (zh) 图像处理方法、装置以及移动终端
CN107507160B (zh) 一种图像融合方法、终端及计算机可读存储介质
CN110324532B (zh) 一种图像虚化方法、装置、存储介质及电子设备
CN106730815B (zh) 一种易实现的体感互动方法及系统
CN106303354B (zh) 一种脸部特效推荐方法及电子设备
CN107623819B (zh) 一种拍照的方法及移动终端和相关介质产品
CN108109161B (zh) 基于自适应阈值分割的视频数据实时处理方法及装置
US20170163902A1 (en) Method and electronic device for generating high dynamic range image
CN110876036B (zh) 一种视频生成的方法以及相关装置
JP2022550948A (ja) 3次元顔モデル生成方法、装置、コンピュータデバイス及びコンピュータプログラム
CN105701762B (zh) 一种图片处理方法和电子设备
CN110266926B (zh) 图像处理方法、装置、移动终端以及存储介质
CN111985281A (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
CN113411498A (zh) 图像拍摄方法、移动终端及存储介质
CN109361850B (zh) 图像处理方法、装置、终端设备及存储介质
CN110807769A (zh) 图像显示控制方法及装置
CN110177216B (zh) 图像处理方法、装置、移动终端以及存储介质
CN112435173A (zh) 一种图像处理和直播方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant