CN108805103A - 图像处理方法和装置、电子设备、计算机可读存储介质 - Google Patents

图像处理方法和装置、电子设备、计算机可读存储介质 Download PDF

Info

Publication number
CN108805103A
CN108805103A CN201810695055.7A CN201810695055A CN108805103A CN 108805103 A CN108805103 A CN 108805103A CN 201810695055 A CN201810695055 A CN 201810695055A CN 108805103 A CN108805103 A CN 108805103A
Authority
CN
China
Prior art keywords
image
scene
detection
electronic equipment
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810695055.7A
Other languages
English (en)
Other versions
CN108805103B (zh
Inventor
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810695055.7A priority Critical patent/CN108805103B/zh
Publication of CN108805103A publication Critical patent/CN108805103A/zh
Priority to PCT/CN2019/087588 priority patent/WO2020001197A1/zh
Application granted granted Critical
Publication of CN108805103B publication Critical patent/CN108805103B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像处理方法和装置、电子设备、计算机可读存储介质。所述方法包括:对图像进行场景检测,得到图像的场景标签,当场景标签中包含逆光场景标签时,对图像进行消除图像亮度变化的光照归一化处理,对处理后的图像进行目标检测。由于可以在检测到图像包含逆光场景时对图像进行处理,再对处理后的图像进行目标检测,可以提高图像目标检测的准确性。

Description

图像处理方法和装置、电子设备、计算机可读存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像处理方法和装置、电子设备、计算机可读存储介质。
背景技术
随着计算机技术的快速发展,使用移动设备拍摄照片的现象越来越频繁。在拍照的过程中或在拍照之后,可以通过神经网络等图像识别技术对图像进行场景检测和目标检测,从而根据检测结果对图像进行优化处理。然而,传统技术中存在目标检测准确性低的问题。
发明内容
本申请实施例提供一种图像处理方法和装置、电子设备、计算机可读存储介质,可以提高目标检测的准确性。
一种图像处理方法,包括:
对图像进行场景检测,得到所述图像的场景标签;
当所述场景标签中包含逆光场景标签时,对所述图像进行光照归一化处理,所述光照归一化处理是消除图像亮度变化的处理;
对处理后的图像进行目标检测。
一种图像处理装置,包括:
场景检测模块,用于对图像进行场景检测,得到所述图像的场景标签;
图像处理模块,用于当所述场景标签中包含逆光场景标签时,对所述图像进行光照归一化处理,所述光照归一化处理是消除图像亮度变化的处理;
目标检测模块,用于对处理后的图像进行目标检测。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
对图像进行场景检测,得到所述图像的场景标签;
当所述场景标签中包含逆光场景标签时,对所述图像进行光照归一化处理,所述光照归一化处理是消除图像亮度变化的处理;
对处理后的图像进行目标检测。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
对图像进行场景检测,得到所述图像的场景标签;
当所述场景标签中包含逆光场景标签时,对所述图像进行光照归一化处理,所述光照归一化处理是消除图像亮度变化的处理;
对处理后的图像进行目标检测。
上述图像处理方法和装置、电子设备和计算机可读存储介质,通过对图像进行场景检测,得到图像的场景标签,当场景标签中包含逆光场景标签时,对图像进行消除图像亮度变化的光照归一化处理,对处理后的图像进行目标检测。由于可以在检测到图像包含逆光场景时对图像进行处理,再对处理后的图像进行目标检测,可以提高图像目标检测的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中电子设备的内部结构示意图;
图2为一个实施例中图像处理方法的流程图;
图3为一个实施例中对图像进行场景检测的流程图;
图4为一个实施例中对图像进行光照归一化处理的流程图;
图5为一个实施例中对图像中逆光区域进行亮度增强处理的流程图;
图6为一个实施例中图像处理处理方法的流程图;
图7为一个实施例中图像处理装置的结构框图;
图8为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
图1为一个实施例中电子设备的内部结构示意图。如图1所示,该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器用于存储数据、程序等,存储器上存储至少一个计算机程序,该计算机程序可被处理器执行,以实现本申请实施例中提供的适用于电子设备的图像处理方法。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等,用于与外部的电子设备进行通信。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
图2为一个实施例中图像处理方法的流程图。本实施例中的图像处理方法,以运行于图1中的电子设备上为例进行描述。如图2所示,图像处理方法包括步骤202至步骤206。
步骤202,对图像进行场景检测,得到图像的场景标签。
图像是指电子设备通过摄像头采集的图像。在一个实施例中,图像也可以是存储在电子设备本地的图像,还可以是电子设备从网络下载的图像等。具体地,对图像进行场景识别,可以根据VGG(Visual Geometry Group)、CNN(Convolutional Neural Network)、SSD(single shot multibox detector)、决策树(Decision Tree)等深度学习算法训练场景识别模型,根据场景识别模型对图像进行场景识别。场景识别模型一般包括输入层、隐层和输出层;输入层用于接收图像的输入;隐层用于对接收到的图像进行处理;输出层用于输出对图像处理的最终结果即输出图像的场景识别结果。
图像的场景可以是风景、海滩、蓝天、绿草、雪景、夜景、黑暗、逆光、日落、烟火、聚光灯、室内、微距等。图像的场景标签是指图像的场景分类标记。具体地,电子设备可以将图像的场景识别结果确定图像的场景标签。例如,当图像的场景识别结果为蓝天时,则图像的场景标签为蓝天。电子设备可以根据场景识别模型对电子设备的图像进行场景识别,并根据场景识别结果确定图像的场景标签。
步骤204,当所述场景标签中包含逆光场景标签时,对图像进行光照归一化处理,光照归一化处理是消除图像亮度变化的处理。
逆光是指当被拍摄的主体位于光源与电子设备的摄像头之间时,造成的被拍摄的主体曝光不充分而导致图像中前景区域(即被拍摄的主体)亮度低于背景区域亮度的情况。图像中的场景标签包含逆光场景标签则说明图像中出现前景区域的亮度低于背景区域的情况。光照归一化处理是消除图像亮度变化的处理,具体地,对包含逆光场景标签的图像进行光照归一化处理,可以使图像中前景区域的亮度增强,消除前景区域和背景区域之间的亮度变化。电子设备可以采用直方图均衡法、基于仿射变化光照模型等方法进行光照归一化处理。
步骤206,对处理后的图像进行目标检测。
目标检测是指根据图像信息反映的特征辨识图像中物体的类别并标定图像中物体的位置的方法。电子设备在对图像进行目标检测时,可将图像的图像特征信息与已存储的目标标签对应的特征信息进行匹配,获取匹配成功的目标标签作为图像的目标标签。电子设备中预存的目标标签可包括:人像、婴儿、猫、狗、美食、文本、蓝天、绿草、沙滩、烟火等。电子设备在对待图像进行目标检测时,若图像中仅存在一个目标标签,则将上述目标标签作为图像的目标标签;若电子设备在对图像进行目标检测时,若上述待检测图像中存在多个目标标签,则电子设备可从多个目标标签中选取一个或多个作为目标标签。其中,电子设备可从多个目标标签中选取对应的目标区域面积较大的目标标签作为图像的目标标签;电子设备也可从多个目标标签中选取对应的目标区域清晰度较高的目标标签作为图像的目标标签等。
本申请提供的实施例中,通过对图像进行场景检测,得到图像的场景标签,当场景标签中包含逆光场景标签时,对图像进行光照归一化处理,可以消除因逆光造成的图像亮度变化,再对处理后的图像进行目标检测,可以提高图像目标检测的准确性。
如图3所示,在一个实施例中,提供的图像处理方法中对图像进行场景检测,得到图像的场景标签的过程还包括步骤302至步骤306。其中:
步骤302,对图像进行场景检测,得到场景识别的初始结果。
电子设备可以根据VGG、SSD、决策树等深度学习算法训练场景识别模型,根据场景识别模型对图像进行场景检测,得到场景识别的初始结果。场景识别的初始结果可以包括场景检测的初始类别及初始类别对应的置信度。例如,图像的场景识别初始结果可以为绿草:置信度为70%、蓝天:置信度为80%、逆光:置信度为75%。
步骤304,获取图像的拍摄时间。
拍摄时间是指电子设备通过摄像头采集图像的时间。一般情况下,电子设备在采集图像时会对采集时间进行记录。电子设备在获取具有相同场景标签的图像时,可以直接读取该具有相同场景标签的图像的拍摄时间。
步骤306,根据拍摄时间对场景检测的初始结果进行校正,根据校正结果得到图像的场景标签。
根据拍摄时间可以得到图像中出现某些场景的概率,再结合场景检测的初始结果进行矫正。电子设备可以预存不同的拍摄时间对应的场景类别及场景类别对应的权值。具体地,可以是根据对大量的图像素材进行统计学分析后得出的结果,根据结果相应地为不同的拍摄时间区间匹配对应的场景类别及场景类别对应的权值。例如:拍摄时间为20时至21时之间,“夜景”的权值为9、“蓝天”权值为-5、“逆光”的权值为5,拍摄时间为18时至19时之间,“夜景”的权值为-2、“蓝天”的权值为6、“逆光”的权值为8,权值的取值范围为[-10,10]。权值越大说明在该图像中出现该场景的概率就越大,权值越小说明在该图像中出现该场景的概率就越小。权值从0开始每增加1,则对应场景的置信度增加1%,同样的,权值从0开始每减少1,则对应的场景的置信度减少1%
电子设备可以根据不同拍摄时间对应的场景类别及场景类别对应的权值对图像场景识别的初始结果进行校正,调整初始结果中初始类别及对应的置信度并获取各个类别对应的最终置信度,将置信度最高的场景类别作为图像的场景标签,可以提高场景检测的准确度。
如图4所示,在一个实施例中,提供的图像处理方法中对图像进行光照归一化处理的过程包括步骤402至步骤406。其中:
步骤402,获取图像中各像素点对应的像素灰度值。
图像是由多个像素点组成的。图像可以是由RGB(Red、Green、Blue,红、绿、蓝)三通道构成的RGB图像,也可以是由一个通道构成的单色图像。若图像为RGB图像时,则图像中的每一个像素点都有对应的RGB三个通道值。电子设备可以获取图像中各个像素点的颜色值即RGB值,再将像素点的RGB值转化为灰度值,具体地,可以采用平均值法获取像素点的灰度值、也可以用整数方法获取像素点的像素值。在一个实施例中,电子设备可以分别获取RGB三通道对应的像素点灰度值。
步骤404,根据均衡函数与像素灰度值得到各像素点对应的转化值。
均衡函数是满足单值单增并且变化前后灰度值动态范围一致的函数。具体地,均衡函数可以是累计分布函数(cumulative distribution function,CDF)。电子设备可以将根据均衡函数与各像素点对应的像素灰度值直接得到各像素点对应的转化值。
步骤406,根据转化值对图像的像素点进行处理。
电子设备根据获取到的像素点的转化值对图像中各个像素点进行处理。当图像为RGB图像时,电子设备可以分别获取RGB三个通道的像素点转化值对像素点进行处理。
通过获取图像中各像素点的像素灰度值,并根据均衡函数得到各像素点对应的转化值,并根据转化值对图像的像素点进行处理,可以对图像中像素点个数多的灰度进行展宽,而对图像中像素点个数少的灰度进行压缩,从而使图像更加清晰,可以消除逆光图像中前景区域和背景区域的亮度值差值,增加前景区域的清晰度。
如图5所示,在一个实施例中,提供的图像处理方法包括步骤502至步骤506。其中:
步骤502,获取逆光场景标签所对应的逆光区域。
神经网络等图像检测模型对图像进行检测后可以输出图像的场景标签及场景标签对应的位置。图像的场景标签可以是1个或多个,电子设备可以获取图像中逆光场景标签对应的逆光区域。例如,当图像中包含逆光标签、蓝天标签时,则电子设备可以获取逆光标签在图像中对应的位置作为逆光区域。
步骤504,对逆光区域进行亮度增强处理。
具体地,电子设备可以预存不同亮度均值对应的亮度增值。亮度均值越小,对应的亮度增值越高,亮度均值越大,对应的亮度增值越低。电子设备可以获取逆光区域中各个像素点的亮度值,根据各像素点的亮度值和像素点的数量计算图像逆光区域的亮度均值,并根据亮度均值获取对应的亮度增值,根据亮度增值对逆光区域的各个像素点进行亮度增强处理。
步骤506,对处理后的图像进行目标检测。
当图像的场景标签包含逆光场景标签时,电子设备获取逆光场景标签对应的逆光区域,对逆光区域进行亮度增强处理,可以提高图像中逆光区域的亮度值,使逆光区域更加清晰,再对处理后的图像进行目标检测,可以提高目标检测的准确性。
在一个实施例中,提供的图像处理方法还包括:对图像进行目标检测,得到图像的多个目标标签及对应的置信度;将按照置信度从高到低选取的预设数量的目标标签作为图像的目标标签。
置信度是被测量参数的测量值的可信程度。预设数量可以根据实际需求进行设定,例如可以是1个、2个、3个等不限于此。电子设备可以对图像进行目标检测,识别并定位图像中目标主体。电子设备在对图像进行目标检测时,可将图像的图像特征信息与已存储的目标标签对应的特征信息进行匹配,得到图像的多个目标标签及对应的置信度,电子设备可以将目标标签按照置信度从高到低进行排序,获取预设数量的目标标签作为图像的目标标签。电子设备中已存储的目标标签可包括:人像、婴儿、猫、狗、美食、文本、蓝天、绿草、沙滩、烟火等。例如,当预设数量为2个时,若电子设备输出图像对应的多个目标标签为:“蓝天”置信度90%,“美食”置信度85%,“海滩”置信度80%,则按照置信度从高到低选取的2个目标标签为蓝天和美食,则将蓝天和美食作为该图像的目标标签。
在一个实施例中,提供的图像处理方法还包括:根据逆光场景标签调整所述图像的多个目标标签对应的置信度;将置信度最高的目标标签作为所述图像的目标标签。
电子设备可以预存当图像的场景标签为逆光场景标签时,各目标标签对应的权值。例如,根据对大量的图像素材进行统计学分析后得出,当图像的场景标签为逆光场景标签时,则“海滩”的权值为7,“草地”的权值为4,“蓝天”的权值为6,“美食”的权值为-8,权值的取值范围为[-10,10]。权值从0开始每增加1,则对应场景的置信度增加1%,同样的,权值从0开始每减少1,则对应的场景的置信度减少1%。则在上述例子中,对图像中的目标标签进行调整后可以得到图像的目标标签对应的置信度分别为蓝天:95.4%、美食:78.5%、海滩:85.6%,则电子设备可以将置信度最高的蓝天作为图像的目标标签,也可以将置信度最高的2个目标标签即蓝天和海滩作为图像的目标标签。
电子设备可以根据逆光场景标签调整图像的多个目标标签对应的置信度,将置信度较高的目标标签作为图像的目标标签,也可以将按照置信度从高到低选取的预设数量的目标标签作为图像的目标标签,可以提高图像目标检测的准确性。
如图6所示,在一个实施例中,提供的图像处理方法还包括步骤702至步骤606。其中:
步骤602,获取图像进行目标检测后得到的目标标签及对应的标签区域。
电子设备对图像进行目标检测后可以输出图像的目标标签及目标标签对应的标签位置。图像的目标标签可以是1个或多个,则对应的标签区域也可以是1个或多个。
步骤604,根据目标标签获取对应的标签处理参数。
电子设备可以预存不同目标标签对应的标签处理参数。标签处理参数可以包括色彩处理参数、饱和度处理参数、亮度处理参数、对比度处理参数等不限于此。例如,当目标标签为“美食”时,对应的标签处理参数为提高饱和度的参数;当目标标签为“人像”时,对应的标签处理参数可以为减小对比度、增加亮度的参数等。目标标签对应的标签处理参数可以有多个。
步骤606,根据标签处理参数对标签区域进行处理。
具体地,电子设备根据标签处理参数对标签区域的各个像素点进行处理。电子设备可以根据不同目标标签对应的标签处理参数对不同标签区域进行处理。从而,可以对图像进行局部处理,提高图像处理的效果。
在一个实施例中,提供了一种图像处理方法,实现该方法的具体步骤如下所述:
首先,电子设备对图像进行场景检测,得到图像的场景标签。电子设备对图像进行场景识别,可以根据VGG、CNN、SSD、决策树等深度学习算法训练场景识别模型,根据场景识别模型对图像进行场景识别。图像的场景可以是风景、海滩、蓝天、绿草、雪景、夜景、黑暗、逆光、日落、烟火、聚光灯、室内、微距等。电子设备可以根据场景识别模型对电子设备的图像进行场景识别,并根据场景识别结果确定图像的场景标签。
可选地,电子设备对图像进行场景检测,得到场景识别的初始结果,获取图像的拍摄时间,根据拍摄时间对场景检测的初始结果进行校正,根据校正结果得到图像的场景标签。电子设备可以根据不同拍摄时间对应的场景类别及场景类别对应的权值对图像场景识别的初始结果进行校正,调整初始结果中初始类别及对应的置信度并获取各个类别对应的最终置信度,将置信度最高的场景类别作为图像的场景标签,可以提高场景检测的准确度。
接着,当所述场景标签中包含逆光场景标签时,电子设备对图像进行光照归一化处理,光照归一化处理是消除图像亮度变化的处理。逆光是指当被拍摄的主体位于光源与电子设备的摄像头之间时,造成的被拍摄的主体曝光不充分而导致图像中前景区域亮度低于背景区域亮度的情况。光照归一化处理是消除图像亮度变化的处理,具体地,对包含逆光场景标签的图像进行光照归一化处理,可以使图像中前景区域的亮度增强,消除前景区域和背景区域之间的亮度变化。
可选地,电子设备获取图像中各像素点对应的像素灰度值,根据均衡函数与像素灰度值得到各像素点对应的转化值,根据转化值对图像的像素点进行处理。图像是由多个像素点组成的。电子设备根据均衡函数获取各个像素点对应的转化值对图像中各个像素点进行处理。当图像为RGB图像时,电子设备可以分别获取RGB三个通道的像素点转化值对像素点进行处理。
可选地,电子设备获取逆光场景标签所对应的逆光区域,对逆光区域进行亮度增强处理。神经网络等图像检测模型对图像进行检测后可以输出图像的场景标签及场景标签对应的位置。电子设备可以预存不同亮度均值对应的亮度增值。亮度均值越小,对应的亮度增值越高,亮度均值越大,对应的亮度增值越低。电子设备可以获取逆光区域中各个像素点的亮度值,根据各像素点的亮度值和像素点的数量计算图像逆光区域的亮度均值,并根据亮度均值获取对应的亮度增值,根据亮度增值对逆光区域的各个像素点进行亮度增强处理。
接着,电子设备对处理后的图像进行目标检测。电子设备在对图像进行目标检测时,可将图像的图像特征信息与已存储的目标标签对应的特征信息进行匹配,获取匹配成功的目标标签作为图像的目标标签。电子设备中预存的目标标签可包括:人像、婴儿、猫、狗、美食、文本、蓝天、绿草、沙滩、烟火等。
可选地,电子设备对图像进行目标检测,得到图像的多个目标标签及对应的置信度;将按照置信度从高到低选取的预设数量的目标标签作为图像的目标标签。电子设备在对图像进行目标检测时,可将图像的图像特征信息与已存储的目标标签对应的特征信息进行匹配,得到图像的多个目标标签及对应的置信度,电子设备可以将目标标签按照置信度从高到低进行排序,获取预设数量的目标标签作为图像的目标标签。
可选地,电子设备根据逆光场景标签调整所述图像的多个目标标签对应的置信度;将置信度最高的目标标签作为所述图像的目标标签。电子设备可以根据逆光场景标签调整图像的多个目标标签对应的置信度,将置信度较高的目标标签作为图像的目标标签,也可以将按照置信度从高到低选取的预设数量的目标标签作为图像的目标标签,可以提高图像目标检测的准确性。
可选地,电子设备获取图像进行目标检测后得到的目标标签及对应的标签区域,根据目标标签获取对应的标签处理参数,根据标签处理参数对标签区域进行处理。电子设备可以预存不同目标标签对应的标签处理参数。标签处理参数可以包括色彩处理参数、饱和度处理参数、亮度处理参数、对比度处理参数等不限于此。电子设备根据标签处理参数对标签区域的各个像素点进行处理,可以对图像进行局部处理,提高图像处理的效果。
应该理解的是,虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-6中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图7为一个实施例的图像处理装置的结构框图。如图7所示,一种图像处理装置包括:场景检测模块720、图像处理模块740和目标检测模块760。其中:
场景检测模块720,用于对图像进行场景检测,得到图像的场景标签。
图像处理模块740,用于当场景标签中包含逆光场景标签时,对图像进行光照归一化处理,光照归一化处理是消除图像亮度变化的处理。
目标检测模块760,用于对处理后的图像进行目标检测。
在一个实施例中,场景检测模块720还可以用于对图像进行场景检测,得到场景识别的初始结果,获取图像的拍摄时间,根据拍摄时间对场景检测的初始结果进行校正,根据校正结果得到图像的场景标签。
在一个实施例中,图像处理模块740还可以用于获取图像中各像素点对应的像素灰度值,根据均衡函数与像素灰度值得到各像素点对应的转化值,根据转化值对图像的像素点进行处理。
在一个实施例中,图像处理模块740还可以用于获取逆光场景标签所对应的逆光区域,对逆光区域进行亮度增强处理。
在一个实施例中,目标检测模块760还可以用于对图像进行目标检测,得到图像的多个目标标签及对应的置信度,将按照置信度从高到低选取的预设数量的目标标签作为图像的目标标签。
在一个实施例中,目标检测模块760还可以用于根据逆光场景标签调整图像的多个目标标签对应的置信度,将置信度最高的目标标签作为图像的目标标签。
在一个实施例中,图像处理模块740还可以用于获取图像进行目标检测后得到的目标标签及对应的标签区域,根据目标标签获取对应的标签处理参数,根据标签处理参数对标签区域进行处理。
上述图像处理装置,可以对图像进行场景检测,得到图像的场景标签,当场景标签中包含逆光场景标签时,对图像进行消除图像亮度变化的光照归一化处理,对处理后的图像进行目标检测。由于可以在检测到图像包含逆光场景时对图像进行处理,再对处理后的图像进行目标检测,可以提高图像目标检测的准确性。
上述图像处理装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像处理装置按照需要划分为不同的模块,以完成上述图像处理装置的全部或部分功能。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定,在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行图像处理方法的步骤。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行图像处理方法。
本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图8为一个实施例中图像处理电路的示意图。如图8所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
如图8所示,图像处理电路包括ISP处理器840和控制逻辑器850。成像设备810捕捉的图像数据首先由ISP处理器840处理,ISP处理器840对图像数据进行分析以捕捉可用于确定和/或成像设备810的一个或多个控制参数的图像统计信息。成像设备810可包括具有一个或多个透镜812和图像传感器814的照相机。图像传感器814可包括色彩滤镜阵列(如Bayer滤镜),图像传感器814可获取用图像传感器814的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器840处理的一组原始图像数据。传感器820(如陀螺仪)可基于传感器820接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器840。传感器820接口可以利用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外,图像传感器814也可将原始图像数据发送给传感器820,传感器820可基于传感器820接口类型把原始图像数据提供给ISP处理器840,或者传感器820将原始图像数据存储到图像存储器830中。
ISP处理器840按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器840可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器840还可从图像存储器830接收图像数据。例如,传感器820接口将原始图像数据发送给图像存储器830,图像存储器830中的原始图像数据再提供给ISP处理器840以供处理。图像存储器830可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器814接口或来自传感器820接口或来自图像存储器830的原始图像数据时,ISP处理器840可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器830,以便在被显示之前进行另外的处理。ISP处理器840从图像存储器830接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器840处理后的图像数据可输出给显示器870,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器840的输出还可发送给图像存储器830,且显示器870可从图像存储器830读取图像数据。在一个实施例中,图像存储器830可被配置为实现一个或多个帧缓冲器。此外,ISP处理器840的输出可发送给编码器/解码器860,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器870设备上之前解压缩。编码器/解码器860可由CPU或GPU或协处理器实现。
ISP处理器840确定的统计数据可发送给控制逻辑器850单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜812阴影校正等图像传感器814统计信息。控制逻辑器850可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备810的控制参数及ISP处理器840的控制参数。例如,成像设备810的控制参数可包括传感器820控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜812控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜812阴影校正参数。
电子设备根据上述图像处理技术可以实现本申请实施例中所描述的图像处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法,其特征在于,包括:
对图像进行场景检测,得到所述图像的场景标签;
当所述场景标签中包含逆光场景标签时,对所述图像进行光照归一化处理,所述光照归一化处理是消除图像亮度变化的处理;
对处理后的图像进行目标检测。
2.根据权利要求1所述的方法,其特征在于,所述对图像进行场景检测,得到所述图像的场景标签,包括:
对所述图像进行场景检测,得到场景识别的初始结果;
获取所述图像的拍摄时间;
根据所述拍摄时间对所述场景检测的初始结果进行校正,根据校正结果得到所述图像的场景标签。
3.根据权利要求1所述的方法,其特征在于,所述对所述图像进行光照归一化处理,包括:
获取所述图像中各像素点对应的像素灰度值;
根据均衡函数与所述像素灰度值得到各像素点对应的转化值;
根据所述转化值对所述图像的像素点进行处理。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述逆光场景标签所对应的逆光区域;
对所述逆光区域进行亮度增强处理;
对处理后的图像进行目标检测。
5.根据权利要求1所述的方法,其特征在于,所述对处理后的图像进行目标检测,包括:
对所述图像进行目标检测,得到所述图像的多个目标标签及对应的置信度;
将按照置信度从高到低选取的预设数量的目标标签作为所述图像的目标标签。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
根据所述逆光场景标签调整所述图像的多个目标标签对应的置信度;
将置信度最高的目标标签作为所述图像的目标标签。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述图像进行目标检测后得到的目标标签及对应的标签区域;
根据所述目标标签获取对应的标签处理参数;
根据所述标签处理参数对所述标签区域进行处理。
8.一种图像处理装置,其特征在于,包括:
场景检测模块,用于对图像进行场景检测,得到所述图像的场景标签;
图像处理模块,用于当所述场景标签中包含逆光场景标签时,对所述图像进行光照归一化处理,所述光照归一化处理是消除图像亮度变化的处理;
目标检测模块,用于对处理后的图像进行目标检测。
9.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的图像处理方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
CN201810695055.7A 2018-06-29 2018-06-29 图像处理方法和装置、电子设备、计算机可读存储介质 Active CN108805103B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810695055.7A CN108805103B (zh) 2018-06-29 2018-06-29 图像处理方法和装置、电子设备、计算机可读存储介质
PCT/CN2019/087588 WO2020001197A1 (zh) 2018-06-29 2019-05-20 图像处理方法、电子设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810695055.7A CN108805103B (zh) 2018-06-29 2018-06-29 图像处理方法和装置、电子设备、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108805103A true CN108805103A (zh) 2018-11-13
CN108805103B CN108805103B (zh) 2020-09-11

Family

ID=64073079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810695055.7A Active CN108805103B (zh) 2018-06-29 2018-06-29 图像处理方法和装置、电子设备、计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN108805103B (zh)
WO (1) WO2020001197A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020001197A1 (zh) * 2018-06-29 2020-01-02 Oppo广东移动通信有限公司 图像处理方法、电子设备、计算机可读存储介质
CN110765525A (zh) * 2019-10-18 2020-02-07 Oppo广东移动通信有限公司 生成场景图片的方法、装置、电子设备及介质
CN111127476A (zh) * 2019-12-06 2020-05-08 Oppo广东移动通信有限公司 一种图像处理方法、装置、设备及存储介质
CN111368587A (zh) * 2018-12-25 2020-07-03 Tcl集团股份有限公司 场景检测方法、装置、终端设备及计算机可读存储介质
CN111652207A (zh) * 2019-09-21 2020-09-11 秦佑胜 定位式数据加载平台和方法
CN111753599A (zh) * 2019-03-29 2020-10-09 杭州海康威视数字技术股份有限公司 人员操作流程检测方法、装置、电子设备及存储介质
CN112822413A (zh) * 2020-12-30 2021-05-18 Oppo(重庆)智能科技有限公司 拍摄预览方法、装置、终端和计算机可读存储介质
CN112950635A (zh) * 2021-04-26 2021-06-11 Oppo广东移动通信有限公司 灰点检测方法、灰点检测装置、电子设备及存储介质
CN114118114A (zh) * 2020-08-26 2022-03-01 顺丰科技有限公司 一种图像检测方法、装置及其存储介质
CN114760422A (zh) * 2022-03-21 2022-07-15 展讯半导体(南京)有限公司 一种逆光检测方法及系统、电子设备及存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667012B (zh) * 2020-06-10 2023-06-06 创新奇智(广州)科技有限公司 分类结果修正方法、装置、修正设备及可读存储介质
CN111798389B (zh) * 2020-06-30 2023-08-15 中国工商银行股份有限公司 自适应图像增强方法及装置
CN112164032B (zh) * 2020-09-14 2023-12-29 浙江华睿科技股份有限公司 一种点胶方法、装置、电子设备及存储介质
CN112732553A (zh) * 2020-12-25 2021-04-30 北京百度网讯科技有限公司 图像测试方法、装置、电子设备及存储介质
CN115086566B (zh) * 2021-03-16 2024-03-29 广州视源电子科技股份有限公司 图片场景检测方法、装置
CN113298829B (zh) * 2021-06-15 2024-01-23 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN113673268B (zh) * 2021-08-11 2023-11-14 广州爱格尔智能科技有限公司 一种用于不同亮度下的识别方法、系统及设备
CN116559181B (zh) * 2023-07-07 2023-10-10 杭州灵西机器人智能科技有限公司 基于光度立体视觉的缺陷检测方法、系统、装置及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102013006A (zh) * 2009-09-07 2011-04-13 泉州市铁通电子设备有限公司 一种基于逆光环境的人脸自动检测识别的方法
CN102447815A (zh) * 2010-10-09 2012-05-09 中兴通讯股份有限公司 视频图像的处理方法及装置
CN106845549A (zh) * 2017-01-22 2017-06-13 珠海习悦信息技术有限公司 一种基于多任务学习的场景与目标识别的方法及装置
CN107622281A (zh) * 2017-09-20 2018-01-23 广东欧珀移动通信有限公司 图像分类方法、装置、存储介质及移动终端
CN107742274A (zh) * 2017-10-31 2018-02-27 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN107784315A (zh) * 2016-08-26 2018-03-09 深圳光启合众科技有限公司 目标对象的识别方法和装置,及机器人

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617432B (zh) * 2013-11-12 2017-10-03 华为技术有限公司 一种场景识别方法及装置
CN104778674B (zh) * 2015-04-30 2018-01-12 武汉大学 一种基于时间序列的顺逆光交通图像自适应增强方法
CN108805103B (zh) * 2018-06-29 2020-09-11 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102013006A (zh) * 2009-09-07 2011-04-13 泉州市铁通电子设备有限公司 一种基于逆光环境的人脸自动检测识别的方法
CN102447815A (zh) * 2010-10-09 2012-05-09 中兴通讯股份有限公司 视频图像的处理方法及装置
CN107784315A (zh) * 2016-08-26 2018-03-09 深圳光启合众科技有限公司 目标对象的识别方法和装置,及机器人
CN106845549A (zh) * 2017-01-22 2017-06-13 珠海习悦信息技术有限公司 一种基于多任务学习的场景与目标识别的方法及装置
CN107622281A (zh) * 2017-09-20 2018-01-23 广东欧珀移动通信有限公司 图像分类方法、装置、存储介质及移动终端
CN107742274A (zh) * 2017-10-31 2018-02-27 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020001197A1 (zh) * 2018-06-29 2020-01-02 Oppo广东移动通信有限公司 图像处理方法、电子设备、计算机可读存储介质
CN111368587A (zh) * 2018-12-25 2020-07-03 Tcl集团股份有限公司 场景检测方法、装置、终端设备及计算机可读存储介质
CN111368587B (zh) * 2018-12-25 2024-04-16 Tcl科技集团股份有限公司 场景检测方法、装置、终端设备及计算机可读存储介质
CN111753599A (zh) * 2019-03-29 2020-10-09 杭州海康威视数字技术股份有限公司 人员操作流程检测方法、装置、电子设备及存储介质
CN111753599B (zh) * 2019-03-29 2023-08-08 杭州海康威视数字技术股份有限公司 人员操作流程检测方法、装置、电子设备及存储介质
CN111652207A (zh) * 2019-09-21 2020-09-11 秦佑胜 定位式数据加载平台和方法
CN110765525B (zh) * 2019-10-18 2023-11-10 Oppo广东移动通信有限公司 生成场景图片的方法、装置、电子设备及介质
CN110765525A (zh) * 2019-10-18 2020-02-07 Oppo广东移动通信有限公司 生成场景图片的方法、装置、电子设备及介质
CN111127476A (zh) * 2019-12-06 2020-05-08 Oppo广东移动通信有限公司 一种图像处理方法、装置、设备及存储介质
CN111127476B (zh) * 2019-12-06 2024-01-26 Oppo广东移动通信有限公司 一种图像处理方法、装置、设备及存储介质
CN114118114A (zh) * 2020-08-26 2022-03-01 顺丰科技有限公司 一种图像检测方法、装置及其存储介质
CN112822413A (zh) * 2020-12-30 2021-05-18 Oppo(重庆)智能科技有限公司 拍摄预览方法、装置、终端和计算机可读存储介质
CN112822413B (zh) * 2020-12-30 2024-01-26 Oppo(重庆)智能科技有限公司 拍摄预览方法、装置、终端和计算机可读存储介质
CN112950635A (zh) * 2021-04-26 2021-06-11 Oppo广东移动通信有限公司 灰点检测方法、灰点检测装置、电子设备及存储介质
CN114760422A (zh) * 2022-03-21 2022-07-15 展讯半导体(南京)有限公司 一种逆光检测方法及系统、电子设备及存储介质

Also Published As

Publication number Publication date
WO2020001197A1 (zh) 2020-01-02
CN108805103B (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN108805103A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108764208B (zh) 图像处理方法和装置、存储介质、电子设备
CN108777815A (zh) 视频处理方法和装置、电子设备、计算机可读存储介质
CN109767467A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN108921040A (zh) 图像处理方法和装置、存储介质、电子设备
CN108830208A (zh) 视频处理方法和装置、电子设备、计算机可读存储介质
CN108810413A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108734676A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN107592473A (zh) 曝光参数调整方法、装置、电子设备和可读存储介质
CN108846351A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN108875619A (zh) 视频处理方法和装置、电子设备、计算机可读存储介质
CN108805198A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108804658A (zh) 图像处理方法和装置、存储介质、电子设备
CN109191403A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108875820A (zh) 信息处理方法和装置、电子设备、计算机可读存储介质
CN108805265A (zh) 神经网络模型处理方法和装置、图像处理方法、移动终端
CN110022469A (zh) 图像处理方法、装置、存储介质及电子设备
CN110536068A (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN108717530A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108616700A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109712177A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN108959462A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN107993209A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN109327626A (zh) 图像采集方法、装置、电子设备和计算机可读存储介质
CN110349163A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant