CN109063562A - 图像处理方法和装置、电子设备、计算机可读存储介质 - Google Patents
图像处理方法和装置、电子设备、计算机可读存储介质 Download PDFInfo
- Publication number
- CN109063562A CN109063562A CN201810694813.3A CN201810694813A CN109063562A CN 109063562 A CN109063562 A CN 109063562A CN 201810694813 A CN201810694813 A CN 201810694813A CN 109063562 A CN109063562 A CN 109063562A
- Authority
- CN
- China
- Prior art keywords
- image
- scene
- label
- electronic equipment
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种图像处理方法和装置、电子设备、计算机可读存储介质。所述方法包括:对图像进行场景检测,得到图像的场景标签,获取具有相同场景标签的图像,对具有相同的场景标签的图像进行拼图处理。上述方法中,可以根据图像检测结果获取具有相同场景标签的图像进行拼图,可以提高拼图的效率。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像处理方法和装置、电子设备、计算机可读存储介质。
背景技术
随着计算机技术的发展,使用移动设备拍摄图像的现象越来越普遍。人们通过应用程序将外出游玩、聚餐时拍摄的图像分享到社交网站上,由于应用程序对图像分享数量的限制,人们往往会将多张图像进行拼图。通过对拍摄的图像进行筛选得到要分享的图像,将要分享的图像进行拼图后再上传到社交网络上。
然而,传统技术中存在拼图效率低的问题。
发明内容
本申请实施例提供一种图像处理方法和装置、电子设备、计算机可读存储介质,可以提高拼图效率。
一种图像处理方法,包括:
对图像进行场景检测,得到所述图像的场景标签;
获取具有相同场景标签的图像;
对所述具有相同的场景标签的图像进行拼图处理。
一种图像处理装置,包括:
检测模块,用于对图像进行场景检测,得到所述图像的场景标签;
获取模块,用于获取具有相同场景标签的图像;
处理模块,用于对所述具有相同的场景标签的图像进行拼图处理。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
对图像进行场景检测,得到所述图像的场景标签;
获取具有相同场景标签的图像;
对所述具有相同的场景标签的图像进行拼图处理。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
对图像进行场景检测,得到所述图像的场景标签;
获取具有相同场景标签的图像;
对所述具有相同的场景标签的图像进行拼图处理。
上述图像处理方法和装置、电子设备、计算机可读存储介质,通过对图像进行场景检测,得到图像的场景标签,获取具有相同场景标签的图像,对具有相同的场景标签的图像进行拼图处理。由于可以根据图像检测结果获取具有相同场景标签的图像进行拼图,可以提高拼图的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中电子设备的内部结构示意图;
图2为一个实施例中图像处理方法的流程图;
图3为另一个实施例中图像处理方法的流程图;
图4为又一个实施例中图像处理方法的流程图;
图5为一个实施例中在拼图模板上生成时间标识和天气标识的流程图;
图6为一个实施例中对图像进行检测的流程图;
图7为一个实施例中神经网络的架构示意图;
图8为一个实施例中图像处理装置的结构框图;
图9为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
图1为一个实施例中电子设备的内部结构示意图。如图1所示,该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器用于存储数据、程序等,存储器上存储至少一个计算机程序,该计算机程序可被处理器执行,以实现本申请实施例中提供的适用于电子设备的图像处理方法。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等,用于与外部的电子设备进行通信。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
图2为一个实施例中图像处理方法的流程图。本实施例中的图像处理方法,以运行于图1中的电子设备上为例进行描述。如图2所示,图像处理方法包括步骤202至步骤206。
步骤202,对图像进行场景检测,得到图像的场景标签。
图像是指电子设备通过摄像头采集的图像。在一个实施例中,图像也可以是存储在电子设备本地的图像,还可以是电子设备从网络下载的图像等。具体地,对图像进行场景识别,可以根据VGG(Visual Geometry Group)、CNN(Convolutional Neural Network)、SSD(single shot multibox detector)、决策树(Decision Tree)等深度学习算法训练场景识别模型,根据场景识别模型对图像进行场景识别。场景识别模型一般包括输入层、隐层和输出层;输入层用于接收图像的输入;隐层用于对接收到的图像进行处理;输出层用于输出对图像处理的最终结果即输出图像的场景识别结果。
图像的场景可以是风景、海滩、蓝天、绿草、雪景、烟火、聚光灯、文本、人像、婴儿、猫、狗、美食等。图像的场景标签是指图像的场景分类标记。具体地,电子设备可以将图像的场景识别结果确定图像的场景标签。例如,当图像的场景识别结果为蓝天时,则图像的场景标签为蓝天。电子设备可以根据场景识别模型对电子设备的图像进行场景识别,并根据场景识别结果确定图像的场景标签。
步骤204,获取具有相同场景标签的图像。
相同场景标签的图像是指图像的场景标签中有至少一个相同的场景标签。当图像中包含多个场景标签时,电子设备还可以根据图像中场景标签对应的区域的面积大小确定是否获取该图像。例如,当图像A的场景标签为蓝天、人像、美食,图像B的场景标签为人像、美食、图像C的场景标签为美食时,电子设备可以获取具有相同的美食标签的图像即图像A、图像B和图像C;电子设备也可以获取同时具有人像和美食标签的图像A和图像B;电子设备还可以根据各图像中美食标签对应的美食区域的大小确定是否获取该具有美食标签的图像,例如,若图像B中对应的美食区域的面积小于预设值时,则电子设备可以不获取图像B,只获取图像A和图像C。电子设备根据图像的场景标签获取具有相同场景标签的图像的方式可以有多种,在此不做限定。
步骤206,对具有相同的场景标签的图像进行拼图处理。
拼图是指将多张图像组合成一张新图像的操作。具体地,电子设备进行拼图处理,可以直接将获取的具有相同场景标签的图像进行组合形成新图像;还可以将具有相同场景标签的图像进行组合后,获取对图像的位置调整指令对新图像进行调整;也可以根据电子设备预存的拼图模板进行拼图,具体可以根据具有相同场景标签的图像的数量选择对应的拼图模板。电子设备对具有相同的场景标签的图像进行拼图处理,则获取的新图像中的多张图像具有至少一个相同的场景标签。
本申请提供的实施例中,通过对图像进行场景检测,得到图像的场景标签,获取具有相同场景标签的图像,对具有相同的场景标签的图像进行拼图处理。由于可以根据图像检测结果获取具有相同场景标签的图像进行拼图,不需要手动选择图像进行拼图,可以提高拼图的效率。
如图3所示,在一个实施例中,提供的图像处理方法还包括步骤302至步骤304。其中:
步骤302,获取预设时间内具有相同场景标签的图像。
预设时间内具有相同场景标签的图像是指采集时间或获取时间在预设时间内的图像。具体地,预设时间可以是电子设备预先设置的时间,也可以是用户根据具体需要进行设定的时间。预设时间可以是12小时、1天、2天、3天等不限于此。预设时间还可以是预先设定的时间段,例如可以每周六、每周日或者其结合等不限于此。
步骤304,对具有相同场景标签的图像进行拼图处理。
电子设备可以获取预设时间内具有相同场景标签的图像,对具有相同场景标签的图像进行拼图处理。例如,电子设备可以获取24小时内具有相同场景标签的图像,当用户外出游玩吃美食时,电子设备可以获取24小时内具有美食场景标签的图像进行拼图处理,当用户在家照顾婴儿时,电子设备可以获取24小时内具有婴儿场景标签的图像进行拼图处理,进而,用户可以将拼图得到的新图像分享到微信朋友圈,Instagram等社交应用软件中,可以避免因应用软件对图像数量限制而不能分享多张图像,并提高拼图的效率。
如图4所示,在一个实施例中,提供的图像处理方法还包括步骤402至步骤404。其中:
步骤402,获取与场景标签对应的拼图模板。
拼图模板是指拼图处理时所采用的格式。拼图模板可以根据模板所能容纳的图像数量、放置图像的位置、文字标识、模板图案等进行区分。具体地,电子设备可以预存不同场景标签对应的拼图模板。例如,电子设备预存的婴儿场景标签对应的拼图模板可以是模板图像为卡通、文字标识为婴儿等的模板;夜景场景标签对应的拼图模板可以是模板图案为月亮、文字标识为晚安等的模板。电子设备根据具有相同场景标签的图像获取与场景标签对应的拼图模板后,还可以根据具有相同场景标签的图像的数量对拼图模板中容纳的图像数量和放置图像的位置进行调整。
步骤404,根据拼图模板对具有相同场景标签的图像进行拼图处理。
电子设备获取具有相同场景标签的图像后,获取与该场景标签对应的拼图模板,并根据该拼图模板对具有相同场景标签的图像进行拼图处理,可以使拼图处理得到图像更加丰富有趣,提高拼图效率的同时提高了拼图效果。
如图5所示,在一个实施例中,提供的图像处理方法还包括步骤502至步骤506。其中:
步骤502,获取具有相同场景标签的图像的拍摄时间。
拍摄时间是指电子设备通过摄像头采集图像的时间。一般情况下,电子设备在采集图像时会对采集时间进行记录。电子设备在获取具有相同场景标签的图像时,可以直接读取该具有相同场景标签的图像的拍摄时间。
步骤504,根据拍摄时间确定图像拍摄时的天气信息。
电子设备在根据拍摄时间确定图像拍摄时的天气信息之前,还需要获取采集图像时的地址信息。具体地,电子设备可以通过GPS(Global Positioning System,全球定位系统)获取图像拍摄时的地址信息,根据地址信息确定图像拍摄的位置,进而获取该位置在拍摄时间时的天气信息。电子设备还可以在采集图像时直接通过读取电子设备中的天气应用程序对应的天气信息并记录,则电子设备可以获取具有相同场景标签的图像的天气信息。具体地,当具有相同场景标签的图像的拍摄时间不同时,电子设备可以根据图像的拍摄时间中出现次数最多的拍摄时间确定天气信息。
步骤506,根据拍摄时间和天气信息在拼图模板上生成时间标识和天气标识。
天气标识是指根据不同的天气信息生成的图案标识。例如,晴天对应的天气标识可以是一个太阳、阴天对应的天气标识可以是一个云朵等。电子设备可以预存不同天气信息对应的天气标识,当电子设备获取拼图模板进行拼图处理时,电子设备可以在拼图模板上生成与图像的天气信息对应的天气标识。时间标识是指根据不同的拍摄时间生成的图案标识。具体地,时间标识可以具体到月、日、时、分、秒等不限于此。电子设备根据图像的拍摄时间在拼图模板上生成天气标识,具体地,电子设备可以根据图像的拍摄时间中出现次数最多的拍摄时间生成时间标识、也可以获取图像的拍摄时间中相同的时间生成时间标识。例如,当具有相同场景标签的图像的拍摄时间分别为图像A:2018年1月1日20时、图像B:2018年1月1日20时、图像C:2018年1月1日22时,则电子设备可以获取出现次数最多的拍摄时间即2018年1月1日20时生成对应的时间标识,电子也可以根据各图像相同的时间即2018年1月1日生成对应的天气标识。电子设备根据拍摄时间和天气信息在拼图模板上生成时间标识和天气标识的方式和图案标识可以有多种,在此不做限定。
电子设备根据拼图模板对具有相同场景标签的图像进行拼图处理时,可以获取具有相同场景标签的图像的拍摄时间,并根据该拍摄时间确定对应的天气信息,在拼图模板上生成对应的时间标识和天气标识,可以使拼图得到的新图像展示了图像拍摄时的信息,提高拼图效率的同时提高了拼图效果。
在一个实施例中,提供的图像处理方法还包括:获取场景标签中包含输入的关键标签的目标图像,对目标图像进行拼图处理。
关键标签是指电子设备进行拼图处理后得到的新图像中的各个子图像包含的标签。目标图像是指图像的场景标签中包含输入的关键标签的图像。具体地,电子设备可以接收输入的关键标签,输入的关键标签可以是文字,也可以是图像、音频、视频等,电子设备可以将输入的图像、音频、视频等转化为文字作为关键标签。电子设备可以根据输入的关键标签,获取场景标签中包含输入的关键标签的目标图像。例如,当输入的关键标签为蓝天时,电子设备获取图像中场景标签包含蓝天场景标签的图像,将该图像作为目标图像。在一个实施例中,电子设备还可以预存关键标签对应的场景标签,根据输入的关键标签确定对应的场景标签,获取包含该场景标签的目标图像。例如雪景场景标签的关键标签可以是雪、飘雪、雪景等,当电子设备接收输入的关键标签为雪或飘雪时,则电子设备可以获取场景标签中包含雪景的图像作为目标图像。输入的关键标签可以是一个也可以是多个,电子设备可以根据输入的关键标签同时包含多个关键标签的图像作为目标图像,也可以获取包含至少一个关键标签的图像作为目标图像。
电子设备获取场景标签中包含输入的关键标签的目标图像后,对目标图像进行拼图处理,可以获得具有相同关键标签的目标图像组成的新图像,提高了拼图的效率。
如图6所示,在一个实施例中,提供的图像处理方法还包括步骤602至步骤606。其中:
步骤602,对图像进行分类检测,得到图像的分类标签。
电子设备可以对图像进行场景分类识别,获取图像的分类标签。具体地,电子设备可以采用图像分类技术对图像进行识别。电子设备可预存有多个分类标签对应的图像特征信息,将需要进行识别的图像中的图像特征信息与预存的图像特征信息进行匹配,获取匹配成功的图像特征信息对应的分类标签作为图像的分类标签。电子设备中预存的分类标签可包括:风景、海滩、蓝天、绿草、雪景、夜景、黑暗、逆光、日落、烟火、聚光灯、室内、微距、文本、人像、婴儿、猫、狗、美食等。
步骤604,对图像进行目标检测,得到图像的目标标签。
电子设备对图像进行目标检测,可将图像中图像特征信息与预存的目标标签对应的特征信息进行匹配,获取匹配成功的特征信息对应的目标标签作为图像的目标标签。上述电子设备中预存的目标标签可包括:人像、婴儿、猫、狗、美食、文本、蓝天、绿草、沙滩、烟火等。电子设备在对待检测图像进行目标检测时,若上述待检测图像中仅存在一个目标标签,则将上述目标标签作为图像的目标标签;若电子设备在对待检测图像进行目标检测时,若上述待检测图像中存在多个目标标签,则电子设备可从多个目标标签中选取一个或多个作为目标标签。其中,电子设备可从多个目标标签中选取对应的目标区域面积较大的目标标签作为图像的目标标签;电子设备也可从多个目标标签中选取对应的目标区域清晰度较高的目标标签作为图像的目标标签等。
步骤606,将分类标签和目标标签作为图像的场景标签。
电子设备可以将分类标签和目标标签均作为图像的场景标签。具体地,当前景区域与背景区域的场景识别结果相同时,则电子设备可以根据图像背景区域的场景识别结果确定图像的场景标签;当图像没有背景区域即没有分类标签时,将目标标签作为图像的场景标签;当图像没有前景区域即没有目标标签时,电子设备将分类标签作为图像的场景标签。例如,在一张拍摄内容只为草地的图像中,分类标签和目标标签都为绿草,则图像的场景标签为绿草;若草地上有其他物体例如猫,则图像的场景标签为绿草和猫。
在一个实施例中,电子设备还可以训练可同时实现场景分类和目标检测的神经网络。具体地,在神经网络训练过程中,可以将包含有至少一个背景训练目标和前景训练目标的训练图像输入到神经网络中,神经网络根据背景训练目标和前景训练目标进行特征提取,对背景训练目标进行检测得到第一预测置信度,根据第一预测置信度和第一真实置信度得到第一损失函数,对前景训练目标进行检测得到第二预测置信度,根据第二预测置信度和第二真实置信度得到第二损失函数,根据第一损失函数和第二损失函数得到目标损失函数,对神经网络的参数进行调整,使得训练的神经网络后续可同时识别出场景分类和目标分类,从而得到可以同时对图像的前景区域和背景区域进行检测的神经网络。置信度是被测量参数的测量值的可信程度。该第一真实置信度表示在该训练图像中预先标注的背景图像所属指定图像类别的置信度。第二真实置信度表示在该训练图像中预先标注的前景目标所属指定目标类别的置信度。
在一个实施例中,上述神经网络包括至少一个输入层、基础网络层、分类网络层、目标检测网络层和两个输出层,该两个输出层包括与该分类网络层级联的第一输出层和与该目标检测网络层级联的第二输出层;其中,在训练阶段,该输入层用于接收该训练图像,该第一输出层用于输出该分类网络层检测的背景图像所属指定场景类别的第一预测置信度;该第二输出层用于输出该目标检测网络层检测的每个预选的默认边界框所属相对于指定目标所对应的真实边界框的偏移量参数和所属指定目标类别的第二预测置信度。图7为一个实施例中神经网络的架构示意图。如图7所示,神经网络的输入层接收带有图像类别标签的训练图像,通过基础网络(如VGG网络)进行特征提取,并将提取的图像特征输出给特征层,由该特征层对图像进行类别检测得到第一损失函数,对前景目标根据图像特征进行目标检测得到第二损失函数,对前景目标根据前景目标进行位置检测得到位置损失函数,将第一损失函数、第二损失函数和位置损失函数进行加权求和得到目标损失函数。神经网络包括数据输入层、基础网络层、分类网络层、目标检测网络层和两个输出层。数据输入层用于接收原始图像数据。基础网络层对输入层输入的图像进行预处理以及特征提取。该预处理可包括去均值、归一化、降维和白化处理。去均值是指将输入数据各个维度都中心化为0,目的是将样本的中心拉回到坐标系原点上。归一化是将幅度归一化到同样的范围。白化是指对数据各个特征轴上的幅度归一化。图像数据进行特征提取,例如利用VGG16的前5层卷积层对原始图像进行特征提取,再将提取的特征输入到分类网络层和目标检测网络层。在分类网络层可采用如Mobilenet网络的深度卷积、点卷积对特征进行检测,然后输入到输出层得到图像场景分类所属指定图像类别的第一预测置信度,然后根据第一预测置信度与第一真实置信度求差得到第一损失函数;在目标检测网络层可采用如SSD网络,在VGG16的前5层的卷积层后级联卷积特征层,在卷积特征层使用一组卷积滤波器来预测指定目标类别所对应的预选默认边界框相对于真实边界框的偏移量参数和指定目标类别所对应的第二预测置信度。感兴趣区域为预选默认边界框的区域。根据偏移量参数构建位置损失函数,根据第二预测置信度与第二真实置信度的差异得到第二损失函数。将第一损失函数、第二损失函数和位置损失函数加权求和得到目标损失函数,根据目标损失函数采用反向传播算法调整神经网络的参数,对神经网络进行训练。
采用训练好的神经网络对图像进行识别时,神经网络输入层接收输入的图像,提取图像的特征,输入到分类网络层进行图像分类识别,在第一输出层通过softmax分类器输出背景图像所属各个指定场景类别的置信度,选取置信度最高且超过置信度阈值的图像分类作为该图像的背景图像所属的分类标签。将提取的图像的特征输入到目标检测网络层进行前景目标检测,在第二输出层通过softmax分类器输出前景目标所属指定目标类别的置信度及对应的位置,选取置信度最高且超过置信度阈值的目标类别作为该图像中前景目标所属的目标标签,并输出该目标标签对应的位置。将分类标签和目标标签作为图像的场景标签。
在一个实施例中,提供的图像处理方法还包括:获取图像中目标标签对应的目标区域,当目标区域的面积与图像的面积的比值超过阈值时,将目标标签作为图像的场景标签。
图像中目标标签可以是1个或多个,电子设备可以获取图像中所有目标标签对应的目标区域。目标标签的目标区域是电子设备根据训练的目标检测模型对图像进行目标检测时,输出的目标标签对应的位置。目标检测模型可以是采用SSD算法、VGG深度网络、CNN神经网络等算法或者其结合训练得到的。电子设备可以根据目标区域在图像中的位置检测目标区域的面积。图像的面积可以由图像的高度和宽度计算得到。具体地,电子设备可以直接读取电子设备存储的图像的高度和宽度,计算得到图像的面积。阈值可以根据实际需求来确定,例如可以是05、0.6、0.7等不限于此。
在日常生活中,人们对目标物体拍摄时,会拉近目标物体与摄像头之间的距离,提高目标物体在图像中的占比,突出图像中的目标物体。因此,当图像中目标区域的面积与图像的面积超过阈值时,电子设备可以判定图像的拍摄主体处于目标区域中,从而将目标区域对应的目标标签作为图像的场景标签;相对地,当目标标签的面积与图像的面积的比值小于阈值时,电子设备可以将图像的分类标签作为图像的场景标签,可以提高图像场景标签的准确性。
在一个实施例中,提供了一种图像处理方法,实现该方法的具体步骤如下所述:
首先,电子设备对图像进行场景检测,得到图像的场景标签。图像是指电子设备通过摄像头采集的图像。在一个实施例中,图像也可以是存储在电子设备本地的图像,还可以是电子设备从网络下载的图像等。电子设备对图像进行场景识别,可以根据VGG、CNN、SSD、决策树等深度学习算法训练场景识别模型。图像的场景可以是风景、海滩、蓝天、绿草、雪景、烟火、聚光灯、文本、人像、婴儿、猫、狗、美食等。电子设备根据场景识别模型对图像进行场景识别,并根据场景识别结果确定图像的场景标签。
可选地,电子设备对图像进行分类检测,得到图像的分类标签,对图像进行目标检测,得到图像的目标标签,将分类标签和目标标签作为图像的场景标签。
可选地,电子设备还可以训练可同时实现场景分类和目标检测的神经网络,采用训练好的神经网络对图像进行识别时,可以同时获取图像的分类标签和目标标签作为图像的场景标签。
可选地,电子设备获取图像中目标标签对应的目标区域,当目标区域的面积与图像的面积的比值超过阈值时,将目标标签作为图像的场景标签。在日常生活中,人们对目标物体拍摄时,会拉近目标物体与摄像头之间的距离,提高目标物体在图像中的占比,突出图像中的目标物体。因此,当图像中目标区域的面积与图像的面积超过阈值时,电子设备可以判定图像的拍摄主体处于目标区域中,从而将目标区域对应的目标标签作为图像的场景标签,可以提高图像场景标签的准确性。
接着,电子设备获取具有相同场景标签的图像。相同场景标签的图像是指图像的场景标签中有至少一个相同的场景标签。当图像中包含多个场景标签时,电子设备还可以根据图像中场景标签对应的区域的面积大小确定是否获取该图像。
可选地,电子设备可以获取场景标签中包含输入的关键标签的目标图像,对目标图像进行拼图处理。电子设备可以接收输入的关键标签,输入的关键标签可以是文字,也可以是图像、音频、视频等,电子设备可以将输入的图像、音频、视频等转化为文字作为关键标签。电子设备可以根据输入的关键标签,获取场景标签中包含输入的关键标签的目标图像。电子设备获取场景标签中包含输入的关键标签的目标图像后,对目标图像进行拼图处理,可以获得具有相同关键标签的目标图像组成的新图像,提高了拼图的效率。
接着,电子设备对具有相同的场景标签的图像进行拼图处理。电子设备进行拼图处理,可以直接将获取的具有相同场景标签的图像进行组合形成新图像;还可以将具有相同场景标签的图像进行组合后,获取对图像的位置调整指令对新图像进行调整;也可以根据电子设备预存的拼图模板进行拼图,具体可以根据具有相同场景标签的图像的数量选择对应的拼图模板。电子设备对具有相同的场景标签的图像进行拼图处理,则获取的新图像中的多张图像具有至少一个相同的场景标签。
可选地,电子设备可以获取预设时间内具有相同场景标签的图像对具有相同场景标签的图像进行拼图处理。预设时间可以是电子设备预先设置的时间,也可以是用户根据具体需要进行设定的时间。预设时间可以是12小时、1天、2天、3天等不限于此。预设时间还可以是预先设定的时间段,例如可以每周六、每周日或者其结合等不限于此。电子设备可以获取预设时间内具有相同场景标签的图像,对具有相同场景标签的图像进行拼图处理。
可选地,电子设备可以获取与场景标签对应的拼图模板,根据拼图模板对具有相同场景标签的图像进行拼图处理。拼图模板可以根据模板所能容纳的图像数量、放置图像的位置、文字标识、模板图案等进行区分。电子设备获取具有相同场景标签的图像后,获取与该场景标签对应的拼图模板,并根据该拼图模板对具有相同场景标签的图像进行拼图处理,可以使拼图处理得到图像更加丰富有趣,提高拼图效率的同时提高了拼图效果。
可选地,电子设备可以获取具有相同场景标签的图像的拍摄时间,根据拍摄时间确定图像拍摄时的天气信息,根据拍摄时间和天气信息在拼图模板上生成时间标识和天气标识。电子设备根据拼图模板对具有相同场景标签的图像进行拼图处理时,可以获取具有相同场景标签的图像的拍摄时间,并根据该拍摄时间确定对应的天气信息,在拼图模板上生成对应的时间标识和天气标识,可以使拼图得到的新图像展示了图像拍摄时的信息,提高拼图效率的同时提高了拼图效果。
应该理解的是,虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-6中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图8为一个实施例的图像处理装置的结构框图。如图8所示,一种图像处理装置,包括:检测模块820、获取模块840和处理模块860。其中:
检测模块820,用于对图像进行场景检测,得到图像的场景标签。
获取模块840,用于获取具有相同场景标签的图像。
处理模块860,用于对具有相同的场景标签的图像进行拼图处理。
在一个实施例中,获取模块840还可以用于获取预设时间内具有相同场景标签的图像;处理模块860用于对具有相同场景标签的图像进行拼图处理。
在一个实施例中,处理模块860还可以用于获取与场景标签对应的拼图模板,根据拼图模板对具有相同场景标签的图像进行拼图处理。
在一个实施例中,获取模块840还可以用于获取具有相同场景标签的图像的拍摄时间,根据拍摄时间确定图像拍摄时的天气信息;处理模块860还可以用于根据拍摄时间和天气信息在拼图模板上生成时间标识和天气标识。
在一个实施例中,处理模块860还可以用于获取场景标签中包含输入的关键标签的目标图像,对目标图像进行拼图处理。
在一个实施例中,检测模块820还可以用于对图像进行分类检测,得到图像的分类标签,对图像进行目标检测,得到图像的目标标签,将分类标签和目标标签作为图像的场景标签。
在一个实施例中,检测模块820还可以用于获取图像中目标标签对应的目标区域,当目标区域的面积与图像的面积的比值超过阈值时,将目标标签作为图像的场景标签。
上述图像处理装置,可以对图像进行场景检测,得到图像的场景标签,获取具有相同场景标签的图像,对具有相同的场景标签的图像进行拼图处理。由于可以根据图像检测结果获取具有相同场景标签的图像进行拼图,可以提高拼图的效率。
上述图像处理装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像处理装置按照需要划分为不同的模块,以完成上述图像处理装置的全部或部分功能。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定,在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行图像处理方法的步骤。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行图像处理方法。
本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图9为一个实施例中图像处理电路的示意图。如图9所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
如图9所示,图像处理电路包括ISP处理器940和控制逻辑器950。成像设备910捕捉的图像数据首先由ISP处理器940处理,ISP处理器940对图像数据进行分析以捕捉可用于确定和/或成像设备910的一个或多个控制参数的图像统计信息。成像设备910可包括具有一个或多个透镜912和图像传感器914的照相机。图像传感器914可包括色彩滤镜阵列(如Bayer滤镜),图像传感器914可获取用图像传感器914的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器940处理的一组原始图像数据。传感器920(如陀螺仪)可基于传感器920接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器940。传感器920接口可以利用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外,图像传感器914也可将原始图像数据发送给传感器920,传感器920可基于传感器920接口类型把原始图像数据提供给ISP处理器940,或者传感器920将原始图像数据存储到图像存储器930中。
ISP处理器940按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器940可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器940还可从图像存储器930接收图像数据。例如,传感器920接口将原始图像数据发送给图像存储器930,图像存储器930中的原始图像数据再提供给ISP处理器940以供处理。图像存储器930可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器914接口或来自传感器920接口或来自图像存储器930的原始图像数据时,ISP处理器940可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器930,以便在被显示之前进行另外的处理。ISP处理器940从图像存储器930接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器940处理后的图像数据可输出给显示器970,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器940的输出还可发送给图像存储器930,且显示器970可从图像存储器930读取图像数据。在一个实施例中,图像存储器930可被配置为实现一个或多个帧缓冲器。此外,ISP处理器940的输出可发送给编码器/解码器960,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器970设备上之前解压缩。编码器/解码器960可由CPU或GPU或协处理器实现。
ISP处理器940确定的统计数据可发送给控制逻辑器950单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜912阴影校正等图像传感器914统计信息。控制逻辑器950可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备910的控制参数及ISP处理器940的控制参数。例如,成像设备910的控制参数可包括传感器920控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜912控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜912阴影校正参数。
电子设备根据上述图像处理技术可以实现本申请实施例中所描述的图像处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像处理方法,其特征在于,包括:
对图像进行场景检测,得到所述图像的场景标签;
获取具有相同场景标签的图像;
对所述具有相同的场景标签的图像进行拼图处理。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取预设时间内具有相同场景标签的图像;
对所述具有相同场景标签的图像进行拼图处理。
3.根据权利要求1所述的方法,其特征在于,所述对所述具有相同的场景标签的图像进行拼图处理,包括:
获取与所述场景标签对应的拼图模板;
根据所述拼图模板对所述具有相同场景标签的图像进行拼图处理。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
获取所述具有相同场景标签的图像的拍摄时间;
根据所述拍摄时间确定所述图像拍摄时的天气信息;
根据所述拍摄时间和天气信息在所述拼图模板上生成时间标识和天气标识。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述场景标签中包含输入的关键标签的目标图像;
对所述目标图像进行拼图处理。
6.根据权利要求1所述的方法,其特征在于,所述对图像进行场景检测,得到所述图像的场景标签,包括:
对图像进行分类检测,得到所述图像的分类标签;
对图像进行目标检测,得到所述图像的目标标签;
将所述分类标签和目标标签作为所述图像的场景标签。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
获取所述图像中目标标签对应的目标区域;
当所述目标区域的面积与所述图像的面积的比值超过阈值时,将所述目标标签作为所述图像的场景标签。
8.一种图像处理装置,其特征在于,包括:
检测模块,用于对图像进行场景检测,得到所述图像的场景标签;
获取模块,用于获取具有相同场景标签的图像;
处理模块,用于对所述具有相同的场景标签的图像进行拼图处理。
9.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的图像处理方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810694813.3A CN109063562A (zh) | 2018-06-29 | 2018-06-29 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810694813.3A CN109063562A (zh) | 2018-06-29 | 2018-06-29 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109063562A true CN109063562A (zh) | 2018-12-21 |
Family
ID=64818285
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810694813.3A Pending CN109063562A (zh) | 2018-06-29 | 2018-06-29 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109063562A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111027622A (zh) * | 2019-12-09 | 2020-04-17 | Oppo广东移动通信有限公司 | 图片标签生成方法、装置、计算机设备及存储介质 |
CN112492206A (zh) * | 2020-11-30 | 2021-03-12 | 维沃移动通信(杭州)有限公司 | 图像处理方法、装置及电子设备 |
CN113129210A (zh) * | 2021-04-27 | 2021-07-16 | 维沃移动通信有限公司 | 图像处理方法、图像处理装置和电子设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102881032A (zh) * | 2012-09-14 | 2013-01-16 | 北京理工大学 | 一种基于改进算法的图片拼接方法 |
CN102930522A (zh) * | 2012-11-12 | 2013-02-13 | 北京奇虎科技有限公司 | 一种实现图片拼接的装置和方法 |
CN103533248A (zh) * | 2013-10-24 | 2014-01-22 | 腾讯科技(上海)有限公司 | 一种图像处理的方法、终端及系统 |
CN104333695A (zh) * | 2014-11-19 | 2015-02-04 | 北京奇虎科技有限公司 | 一种分屏拍摄处理方法、装置及客户端 |
CN107133352A (zh) * | 2017-05-24 | 2017-09-05 | 北京小米移动软件有限公司 | 照片显示方法及装置 |
CN107705251A (zh) * | 2017-09-21 | 2018-02-16 | 努比亚技术有限公司 | 图片拼接方法、移动终端及计算机可读存储介质 |
US20180063446A1 (en) * | 2016-08-30 | 2018-03-01 | Caterpillar Inc. | Method of imaging a machine environment and machine system implementing same |
-
2018
- 2018-06-29 CN CN201810694813.3A patent/CN109063562A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102881032A (zh) * | 2012-09-14 | 2013-01-16 | 北京理工大学 | 一种基于改进算法的图片拼接方法 |
CN102930522A (zh) * | 2012-11-12 | 2013-02-13 | 北京奇虎科技有限公司 | 一种实现图片拼接的装置和方法 |
CN103533248A (zh) * | 2013-10-24 | 2014-01-22 | 腾讯科技(上海)有限公司 | 一种图像处理的方法、终端及系统 |
CN104333695A (zh) * | 2014-11-19 | 2015-02-04 | 北京奇虎科技有限公司 | 一种分屏拍摄处理方法、装置及客户端 |
US20180063446A1 (en) * | 2016-08-30 | 2018-03-01 | Caterpillar Inc. | Method of imaging a machine environment and machine system implementing same |
CN107133352A (zh) * | 2017-05-24 | 2017-09-05 | 北京小米移动软件有限公司 | 照片显示方法及装置 |
CN107705251A (zh) * | 2017-09-21 | 2018-02-16 | 努比亚技术有限公司 | 图片拼接方法、移动终端及计算机可读存储介质 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111027622A (zh) * | 2019-12-09 | 2020-04-17 | Oppo广东移动通信有限公司 | 图片标签生成方法、装置、计算机设备及存储介质 |
CN111027622B (zh) * | 2019-12-09 | 2023-12-08 | Oppo广东移动通信有限公司 | 图片标签生成方法、装置、计算机设备及存储介质 |
CN112492206A (zh) * | 2020-11-30 | 2021-03-12 | 维沃移动通信(杭州)有限公司 | 图像处理方法、装置及电子设备 |
CN112492206B (zh) * | 2020-11-30 | 2021-10-26 | 维沃移动通信(杭州)有限公司 | 图像处理方法、装置及电子设备 |
CN113129210A (zh) * | 2021-04-27 | 2021-07-16 | 维沃移动通信有限公司 | 图像处理方法、图像处理装置和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108777815A (zh) | 视频处理方法和装置、电子设备、计算机可读存储介质 | |
CN108805103A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN108921040A (zh) | 图像处理方法和装置、存储介质、电子设备 | |
CN108875820A (zh) | 信息处理方法和装置、电子设备、计算机可读存储介质 | |
CN108764372A (zh) | 数据集的构建方法和装置、移动终端、可读存储介质 | |
CN108810413A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN110276767A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN108830208A (zh) | 视频处理方法和装置、电子设备、计算机可读存储介质 | |
CN108961302B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
CN108810418A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
CN110473185A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN108959462A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN108846351A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN109002843A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN108765033A (zh) | 广告信息推送方法和装置、存储介质、电子设备 | |
CN108875619A (zh) | 视频处理方法和装置、电子设备、计算机可读存储介质 | |
CN108304821A (zh) | 图像识别方法及装置、图像获取方法及设备、计算机设备及非易失性计算机可读存储介质 | |
CN110191291A (zh) | 基于多帧图像的图像处理方法和装置 | |
CN108897786A (zh) | 应用程序的推荐方法、装置、存储介质及移动终端 | |
CN108764321B (zh) | 图像识别方法和装置、电子设备、存储介质 | |
CN110298862A (zh) | 视频处理方法、装置、计算机可读存储介质和计算机设备 | |
CN108805198A (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
CN108848306A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN109712177A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN109063562A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181221 |