CN106157280B - 一种图像数据处理方法及装置 - Google Patents
一种图像数据处理方法及装置 Download PDFInfo
- Publication number
- CN106157280B CN106157280B CN201510147805.3A CN201510147805A CN106157280B CN 106157280 B CN106157280 B CN 106157280B CN 201510147805 A CN201510147805 A CN 201510147805A CN 106157280 B CN106157280 B CN 106157280B
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- region
- processed
- probability value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供一种图像数据处理方法和装置。所述方法可以包括获取待处理图像中像素点的显著度概率值;确定所述待处理图像的人脸区域;基于所述待处理图像指定区域内的像素点与所述人脸区域的中心像素点的距离计算所述指定区域内像素点的概率调整因子;根据所述概率调整因子调整所述指定区域内像素点的显著度概率值。利用本申请中各个实施例,可以提高商品图像中主体区域检测、提取的准确性。
Description
技术邻域
本申请属于计算机信息处理领域,尤其涉及一种图像数据处理方法及装置。
背景技术
随着互联网消费时代的发展,例如一淘、淘宝以及天猫商城等提供在线商品搜索和在线购物的网站中通常会展示出大量商品的图像信息,以便于消费者进行直观的选择。商品图像在线搜索和购物的网站中承载较多且非常重要的信息,对于商品成交有着极大的影响。
在网上商品信息展示中,通常商品图像可以较好的体现商品的直观特性。商品中的主体区域(或者称为前景区域,比如风衣、休闲裤、皮鞋、眼睛、箱包等)通常为商品图像中信息量最大、最主要的部分。在用户商品展示、广告位投放广告、图片搜索等图像信息处理时,常常需要对图像信息的主体区域进行提取、检测,判断商品主体是否居中、主体区域相对于背景是否突出、是否包含违禁信息等,以便用户或商家调整商品的展示角度、背景搭配、摆放位置、主体商品大小等,使其具有最佳展示效果等。因此,商务平台服务方或者终端应用的用户通常需要准确的从商品图像中将商品主体区域和背景区域分离出来。上述中用户提供的商品图像常常包括利用模特进行商品展示的图像信息。例如商家用户为了增强商品的使用观赏效果,可以雇佣模特进行商品展示,然后将包含模特信息的商品图像上传到网站展示区域中。尤其是在服饰、箱包之类的产品中,这种应用场景中会包括更多的包含人物的商品图像,因此,对于此类商品图像的主体区域的准确提取、分离也越来越重要。
目前常用的商品主体区域与背景区域分离技术主要包括采用学术界中基于颜色量化特征的图像显著性区域检测技术。这类图像主体区域检测方法通常的仅仅是从图像自身数据的信息属性(如颜色向量(R,G,B)值、通道信息、梯度等)出发进行处理,未能结合图像信息整体所展示内容的特性。在一些应用场景中,例如对上述所述包括模特的图像信息进行主体区域提取时未考虑到图像整体人物特性,主体区域检测、提取还不够准确。
目前现有技术中商品图像主体识别技术在主体区域提取时未能结合商品图像所展示的整体内容的信息,降低了商品图像主体区域的检测或提取准确性。
发明内容
本申请目的在于提供一种图像数据处理方法及装置,使得图像中主体区域的检测、提取等更加准确,提高图像数据处理效果。
本申请提供的一种图像数据处理方法及装置是这样实现的:
一种图像数据处理方法,所述方法包括
获取待处理图像中像素点的显著度概率值;
确定所述待处理图像的人脸区域;
基于所述待处理图像指定区域内的像素点与所述人脸区域的中心像素点的距离计算所述指定区域内像素点的概率调整因子;
根据所述概率调整因子调整所述指定区域内像素点的显著度概率值。
一种图像数据处理装置,所述装置包括:
概率计算模块,用于获取待处理图像中像素点的显著度概率值;
人脸检测模块,用于检测获取所述待处理图像的人脸区域;
优化参数计算模块,用于基于所述待处理图像指定区域内的像素点与所述人脸区域的中心像素点的距离计算所述指定区域内像素点的概率调整因子;
优化调整模块,用于根据所述概率调整因子调整所述指定区域内像素点的显著度概率值。
本申请提供的一种图像数据处理方法及装置,可以计算得到待处理图像中像素点属于主体区域的概率值。同时可以检测所述待处理图片中的人脸,确定所述待处理图像中的人脸区域位置。然后,可以结合本申请实施例提供的方法或者装置基于所述人脸区域位置进行调整、优化待处理图像中像素点属于主体区域的概率值。这样,利用本申请调整优化后的待处理图像中像素点属于主体区域的概率值然后再进行主体区域检测或者提取操作等,可以提高待处理图像主体区域检测或者提取的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本邻域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一种图像数据处理方法一种实施例的流程示意图;
图2是本申请一种图像数据处理方法另一种实施例的流程示意图;
图3是本申请一种图像数据处理方法另一种实施例的流程示意图;
图4是本申请一种图像数据处理方法另一种实施例的流程示意图;
图5是本申请所述一种图像数据处理装置一种实施例的模块结构示意图;
图6是本申请所述优化参数计算模块103的一种实施例的模块结构示意图;
图7是本申请所述一种图像数据处理装置另一种实施例的模块结构示意图;
图8是本申请所述一种图像数据处理装置另一种实施例的模块结构示意图;
图9是本申请所述一种图像数据处理装置另一种实施例的模块结构示意图;
图10是利用本申请所述的方法或装置对数据处理的前后效果对比图。
具体实施方式
为了使本技术邻域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本邻域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
本申请中各个实施例中所述的数据处理方法及装置,可以处理包括人脸的图像数据。可以以已检测出的图像中的人脸位置为引导,分别对人脸位置及其他区域的图像数据进行优化处理,达到提高图像主体区域检测、提取准确性的目的。
需要说明的是,本申请各个实施例中所涉及的计算待处理图像像素点属于主体区域的概率(例如像素点的显著度概率值)、检测人脸以及利用本申请对处理后的待处理图像具体的主体区域提取的方法,并不限于申请中所提到的处理方法。上述所述的处理方法中的任意一项可以被其他可以实现相同或相似功能的方法代替,本申请并不局限于本申请中所述的处理方法。
下面结合附图对本申请所述的图像数据处理方法进行详细的说明。图1是本申请所述一种图像数据处理方法一个实施例的方法流程图。虽然本申请提供了如下述实施例或流程图所述的方法操作步骤,但基于常规手段或者无创造性的劳动等在所述方法中可以包括更多或者更少的操作步骤。在不存在逻辑性上的必要因果的步骤中,这些步骤的执行顺序不限于本申请各个实施例的限制。所述的方法的在实际中的装置或终端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
具体的本申请提供的一种图像数据处理方法的一种实施例如图1所示,所述方法可以包括:
S1:获取待处理图像中像素点的显著度概率值。
本实施例中所述的待处理图像可以为包括模特或者其他人物的人脸图像的图像信息。例如用户利用模特拍摄的有关模特穿着服饰、鞋帽、箱包等的商品图片等。
在图像主体区域提取处理领域中,目前主要且常用的方法包括基于图像显著性区域检测技术,可以获取图像中像素点的显著度值。所述的图像显著性区域检测方法具体的可以包括多种处理方法,例如基于对比的模糊增长方法、基于SVM的显著区域提取方法等。在本实施例中可以利用专利号为CN103578098中所述的基于颜色直方图的方法计算所述待处理图像中每个像素点的显著度值。然后可以根据所述显著度构造待处理图像的显著度图。在所述显著度图中,每个待处理图像的像素点的显著度值可以被归一化的转化为取值范围为[0,1]的数值,可以表示像素点属于所述待处理图像主体区域的概率值。
本实施例中可以以所述利用专利号为CN103578098中所述的方法计算得到的像素点属于主体区域的概率值作为所述待处理图像的显著度概率值。当然,本申请所述的获取待处理图像中像素点的显著度概率值也可以包括利用其它显著度计算方法获取的可以表示像素点属于主体区域的显著度概率值。
计算待处理图像中像素点的显著度,获取所述待处理图像中像素点的显著度概率值。
S2:确定所述待处理图像的人脸区域。
确定所述待处理图像的人脸区域的方法具体的可以包括利用OpenCV图像开源库中所包括的人脸检测代码对所述待处理图像进行检测,得到其中人脸的区域信息。所述的人脸区域中的信息通常的可以包括待处理图像中的所有正脸和侧脸的信息。
具体的,所述的利用OpenCV图像开源库中所包括的人脸检测代码对所述待处理图像进行检测中可以包括利用下述的一种或者多种函数进行人脸区域检测:
CvSeq*cvHaarDetectObjects(
const CvArr*image,
CvHaarClassifierCascade*cascade,
CvMemStorage*storage,
double scale_factor CV_DEFAULT(1.1),
int min_neighbors CV_DEFAULT(3),
int flags CV_DEFAULT(0),
CvSize min_size CV_DEFAULT(cvSize(0,0)),
CvSize max_size CV_DEFAULT(cvSize(0,0))
);
利用OpenCV图像开源库代码获取的人脸区域可以以圆圈或者方框的标注形式表示出来。本实施例中可以以方框的形式表示出所述确定的待处理图像的人脸区域。
在本实施例中所述采用的人脸检测方法使用的为OpenCV图像开源库中的人脸检测代码。在其他的一些实施例中,也可以使用其他的实现相同功能或者更好的人脸检测方法代替本实施例中所述采用的利用OpenCV图像开源库的方法。
S3:基于所述待处理图像指定区域内的像素点与所述人脸区域的中心像素点的距离计算所述指定区域内像素点的概率调整因子。
在包括人脸的商品图像中,一般的是以人物为主要的整体观赏视觉焦点,从而达到衬托、提升人物上衣服、眼镜、帽子、箱包等销售商品的观赏效果。一般的,在多数包括人脸的商品图像中,距离人脸越远的部分属于图像主体区域的可能性越小。目前现有技术在进行主体提取的时候,往往是纯粹从图像自身颜色、梯度等特征变化出发,提取对比度高、且出现频次较少的区域。相比而言,多数的商品图像,特别是服饰类图像中都是有模特存在的。那么利用检测到的模特的人脸区域可以变为一种先验信息来对主体提取进行引导,从而使得与模特相邻近的区域的概率更大,提高图像中真正的商品主体区域提取的准确性。
本申请所述的方法可以基于这样一种思路增强主体区域提取。可以利用人脸检测技术对图片中的人脸区域进行提取,然后基于图片中其他指定的区域与所述人脸区域的相对位置关系,提出多种类型区域的自适应的增强方案,达到越靠近人脸的区域增强的概率越大,反之则越小。
本申请可以以待处理图像中确定的人脸区域位置为指导,对所述待处理图像中的指定区域位置的像素点属于主体区域的概率进行调整优化。
具体的,本申请的一种实施例中可以对待处理图像中人脸区域外的下部区域内的像素点进行优化调整。通常的,在确定待处理图像中的人脸区域后,所述人脸区域的下部区域通常可以认为包括人的躯干部分。所述的人脸区域的下部区域可以表示为位于所述人脸区域下方的区域。
需要说明的是,本申请各个实施例所述的图像数据处理方法以及后续装置可以是基于图像预分割算法进行的。比如在计算显著度之前将图像进行过分割(over-segmentation),从而将图片划分为多个子区域。
具体的一种实施例中,可以先将所述待处理图像分割成若干子区域,然后所述下部区域的计算方法可以通过如下所述步骤得到:
S311:计算待处理图像区域的每个子区域中每个像素点与人脸相对的位置关系。如果该像素点的y方向处于人脸中心的下部(即y>y_FaceCenter),同时x方向处于人脸中心的2倍距离之间(即x_FaceCenter–Width_face≤x≤x_FaceCenter+Width_face。这样可以认为该像素点处于人脸的下部区域。一般的,图像坐标原点位置可以位于图像左上角的像素点位置。上述中,x_FaceCenter可以表示为计算得到的所述人脸区域的中心像素点横坐标,y_FaceCenter可以表示为计算得到的所述人脸区域的中心像素点纵坐标,Width_face可以表示为所述人脸区域的宽度。
S312:将符合所述S311条件的像素点个数的子区域,作为所述下部区域。例如一种实施方式中,如果子区域中超过一半的像素点个数满足上述S311的条件,那么该子区域属于人脸区域的下部区域。
本实施例中可以以所述人脸区域的下部区域作为所述待处理图像的指定区域,可以利用所述人脸区域中心点像素与所述指定区域内像素的距离计算得到对所述指定区域内像素点的显著度概率值进行优化的概率调整因子,使其更加符合包括人物图像信息的图像主体提取效果。
具体的,上述基于所述待处理图像指定区域内的像素点与所述人脸区域的中心像素点的距离计算所述指定区域内像素点的概率调整因子在一种实施方式中可以包括:
计算所述待处理图像的高度与所述指定区域内像素点P纵坐标值的第一差值,和计算所述待处理图像的高度与所述人脸区域的中心像素点C纵坐标值的第二差值。
具体的,可以采用本实施例下述提供的计算方法计算所述概率调整因子α(p):
上式中,α(p)可以表示为所述指定区域内像素点p的概率调整因子,PosY(p)可以表示为所述指定区域内的像素点p的Y轴方向的坐标值,PosY(c)可以表示为所述人脸区域的中点像素点c的Y轴方向的坐标值。H可以表示为所述待处理图像的高度。
S4:根据所述概率调整因子调整所述指定区域内像素点的显著度概率值。
在上计算得到所述指定区域内像素点的概率调整因子后,可以根据所述概率调整因子调整所述待处理图像中所述指定区域内像素点的显著度概率值。所述计算得到的概率调整因子,可以基于距离所述人脸区域的距离对所述指定区域内的像素点属于主体区域的概率进行微调,使其更加符合包括人物图像信息的主体区域提取结果。
例如具体应用场景中,如果人脸区域的下部区域包括了肩部、腿部,那么初期的显著度提取算法通常是两个部分的显著度概率值较高。那么此时,利用本申请的概率调整因子可以在原来的基础之上进行增强显著度概率值。同时,如果初期的提取算法对某个部分计算得到的像素点的显著度概率值较低,比如腿部,那么处于人脸的下部区域同样可以有效的对其感知,从而保证在进入下一轮分割的工作之前,这个部分能够进入后续的例如二值分割算法考虑的范畴。相应的,如果是显著度概率值较低的非腿部的区域,通常离人脸位置区域较远,被增强的风险较小。此外,即使增强了一点,在例如二值分割算法时,由于与腿部、服装等区域的颜色等特征差别较大,通常不会被选作最终的前景区域。本实施例所述的方法,可以有效保障所述待处理图像下部区域像素点的显著度概率值的调整。
所述的根据概率调整因子调整显著度概率值的方法可以根据数据处理需求进行设定。本申请提供的一种实施例中,所述根据所述概率调整因子调整所述指定区域内像素点的显著度概率值可以包括:
以所述指定区域内像素点的显著度概率值与所述像素点所对应的概率调整因子的乘积作为调整后的所述指定区域内像素点的显著度概率值;所述调整后的指定区域内像素点的显著度概率值大于1时将所述显著度概率值设置为1。
例如,以P(p)表示为所述指定区域内的像素点p调整前的显著度概率值,Final_P(p)表示为所述指定区域内像素点p优化调整后的显著度概率值。因此,经过所述概率调整因子调整后的像素点的显著度概率值可以采用下述计算得出:
Final_P(p)=min(P(p)*α(p),1)
上式中,α(p)为所述指定区域内像素点p的概率调整因子。min(P(p)*α(p),1)可以表示取P(p)*α(p)和1之间较小的值,可以表示为如果,所述调整后的指定区域内像素点的显著度概率值大于1时,则将所述调整后的像素点的显著度概率值设置为1。
本申请中上述实施例所述的图像数据处理方法,可以在确定待处理图像人脸区域后,基于所述待处理图像中人脸区域的其他区域位置与所述人脸区域的距离对像素点的显著度概率进行优化调整。一般,在包括人体图像信息的商品图像中,距离所述人脸位置越近的像素点属于主体区域的可能性越大。本申请在利用常规显著度计算像素点属于主体区域的基础上,结合整体图像包括人体图像信息的整体特性,对图像中的特定区域进行显著度概率值的优化调整,可以有效提高包括人物图像的商品图像中主体区域检测、提取的准确性。
在确定所述待处理图像的人脸区域后,还可以进一步的对所述人脸区域的上部区域的像素点进行优化处理。所述的人脸区域的上部区域可以表示为位于所述人脸区域上方的区域。在所述上部区域一般的可以包括人物的头发、帽子、手臂举起的商品图像等,通常的有较大可能性包括属于主体区域的像素点信息。
具体的一种实施例中,可以先将所述待处理图像分割成若干子区域,然后所述上部区域的计算方法可以通过如下所述步骤得到:
S411:计算待处理图像区域的每个子区域中每个像素点与人脸相对的位置关系。如果该像素点的y方向处于人脸中心的下部(即y<y_FaceCenter),同时x方向处于人脸中心的2倍距离之间(即x_FaceCenter–Width_face≤=x≤x_FaceCenter+Width_face。这样可以认为该像素点处于人脸的上部区域。上述中,x_FaceCenter可以表示为计算得到的所述人脸区域的中心像素点横坐标,y_FaceCenter可以表示为计算得到的所述人脸区域的中心像素点纵坐标,Width_face可以表示为所述人脸区域的宽度。
S411:将符合所述S411条件的像素点个数的子区域,作为所述上部区域。例如一种实施方式中,如果子区域中超过一半的像素点个数满足上述S411的条件,那么该子区域属于人脸区域的上部区域。
因此,本申请的另一种实施例种,可以增加所述人脸区域上部区域内像素点属于主体区域的概率值。图2是本申请所述一种图像数据处理方法另一种实施例的流程示意图。具体的如图2所示,本申请所述的一种图像数据处理方法优选的实施例还可以包括:
S501:将所述待处理图像中人脸区域上部区域的像素点的显著度概率值与设置第一调谐因子β的乘积作为所述像素点调整后的显著度概率值,所述第一调谐因子β的取值大于等于1;所述调整后的所述像素点的显著度概率值大于1时将所述显著度概率值设置为1。
例如对于所述人脸区域上部区域内的任意像素点p,其所述调整后的像素点的显著度概率值Final_P(p)可以表示为:
Final_P(p)=min(P(p)*β,1)
上式中,P(p)可以表示为所述人脸区域上部区域内任意像素点p调整前的显著度概率值。所述min(P(p)*β,1)可以表示为取所述P(p)*β和1之间较小的值,可以表示为所述调整后的所述像素点的显著度概率值大于1时将所述显著度概率值设置为1。所述第一调谐因子β取值的取值可以根据经验和数据处理需求进行设置。
为保障本申请中对所述像素点的调整优化在合理范围内,避免对所述待处理图像的调整产生大于预期的扰动,使图像数据保持在可靠的处理范围内。本申请的一种实施例中,所述第一调谐因子β的取值范围可以为:1≤β≤1.5。
当然,在本申请的另一种实施例中,还可以将所述人脸区域内的像素点的显著度概率值设置为1。在本实施例中,确认待处理图像的人脸区域后,可以认为所述人脸区域属于所述待处理图像的主体区域。因此,所述的图像数据处理方法还可以包括:
S502:将所述人脸区域内的像素点的显著度概率值设置为1。
本申请的另一种实施例中,所述待处理图像中人脸区域的上部区域和下部区域以外的区域(本申请中可以定义为脸外区域)多为人体躯干以外的背景区域,在该区域内的像素点属于背景区域的可能性较大。因此,本申请的另一种实施例中可以减弱所述脸外区域像素点的显著度概率值。图3是本申请所述一种图像数据处理方法另一种实施例的流程示意图。具体的,上述所述一种图像数据处理方法还可以包括:
S503:将所述待处理图像中脸外区域的像素点的显著度概率值与设置的第二调谐因子γ的乘积作为所述像素点调整后的显著度概率值,所述第二调谐因子γ的取值小于1。
例如对于所述脸外区域内的像素点p,其所述调整后的像素点的显著度概率值Final_P(p)可以表示为:
Final_P(p)=P(p)*γ
上式中,P(p)可以表示为所述脸外区域内的像素点p调整前的显著度概率值。
在本申请的一种实施例中,所述的第二调谐因子γ的取值范围可以为:
0.5≤γ≤0.75
上述实施例中,基于包括人物图像的图像信息特性对所述脸外区域内的像素点进行降低其属于主体区域的概率值的操作,可以使后期的主体区域检测、提取更加准确。
利用上述所述的图像处理方法,可以对待处理图像中的各个区域的像素点的显著度概率值进行优化调整。进一步的,可以根据本申请各个实施例所述的方法对所述像素点的显著度概率值优化处理后的待处理图像进行主体区域提取,分离待处理图像的主体区域和背景区域。因此,本申请所述的一种图像数据处理方法还可以包括:
S6:基于所述调整后的像素点的显著度概率值对所述待处理图像进行主体区域提取。
图4是本申请所述一种图像数据处理方法另一种实施例的方法流程示意图。具体的基于所述调整后的像素点的显著度概率值对所述待处理图像进行主体区域提取的方法本申请不做限定。在本实施例中,可以利用专利号为CN103578098中所述的提取商品主体的方法进行主体区域提取,最终可以获得所述待处理图像的主体区域。利用本申请所述的方法对待处理图像中的像素点的显著度概率值进行优化处理,然后再进行主体区域提取,可以有效提升主体区域提取的准确度。
基于本申请所述的图像数据处理方法,本申请还提供一种图像数据处理装置。图5是本申请所述图像数据处理装置一种实施例的模块结构示意图。如图5所示,所述装置可以包括:
概率计算模块101,可以用于获取待处理图像中像素点的显著度概率值;
人脸检测模块102,可以用于检测获取所述待处理图像的人脸区域;
优化参数计算模块103,可以用于基于所述待处理图像指定区域内的像素点与所述人脸区域的中心像素点的距离计算所述指定区域内像素点的概率调整因子;
优化调整模块104,可以用于根据所述概率调整因子调整所述指定区域内像素点的显著度概率值。
本申请所述的一种图像数据处理装置可以以所述检测出的人脸区域为指导,基于指定区域与所述人脸区域的距离对所述指定区域内的像素点的显著度概率值进行优化调整,提高待处理图像主体区域检测、提取的准确性。
本申请还提供一种具体的所述概率调整因子的计算方式。图6是本申请所述优化参数计算模块103的一种实施例的模块结构示意图。如图6所示,所述优化参数计算模块103可以包括:
差值计算模块1031,可以用于计算所述待处理图像的高度与所述指定区域内像素点纵坐标值的第一差值,和计算所述待处理图像的高度与所述人脸区域的中心像素点纵坐标值的第二差值;
因子计算模块1032,可以用于将所述第一差值与所述第二差值的比值作为所述指定区域内像素点的概率调整因子。
本申请的一种实施例中,所述图像数据处理装置中所述的指定区域可以包括所述待处理图像中人脸区域的下部区域。在本实施例中,所述装置可以对检测出的人脸区域的下部区域所包括的像素点进行显著度概率值的优化调整。所述的人脸区域的下部区域可以参照其他实施例的描述,在此不做赘述。
上述实施例中所述优化调整模块104具体的可以包括:
优化模块,可以用于以所述指定区域内像素点的显著度概率值与所述像素点所对应的概率调整因子的乘积作为调整后的所述指定区域内像素点的显著度概率值;
第一调整模块,可以用于在所述调整后的指定区域内像素点的显著度概率值大于1时将所述显著度概率值设置为1。
图7是本申请所述一种图像数据处理装置另一种实施例的模块结构示意图。如图7所示,所述装置可以还包括:
上部区域优化模块1051,可以用于将所述待处理图像中人脸区域上部区域的像素点的显著度概率值与设置第一调谐因子β的乘积作为所述像素点调整后的显著度概率值;
第二调整模块1052,可以用于设置所述第一调谐因子β的取值;所述第一调谐因子β的取值大于等于1;还可以用于在所述调整后的所述像素点的显著度概率值大于1时将所述显著度概率值设置为1。
优选的实施例中,为保障对所述上部区域的优化调整在合理的范围内,避免对所述待处理图像的调整产生大于预期的扰动,使图像数据保持在可靠的范围内。所述第一调谐因子β的取值范围可以为:
1≤β≤1.5。
本实施例中,可以对上述所述人脸区域的上部区域进行显著度概率值增强的操作,增加所述该区域内像素点属于主体区域的概率值。一般的,商品图像中的主体区域依附于人物躯干周围,所述人物躯干的上部区域通常包括头发、衣帽等,属于主体区域的可能变大。因此,本实施例在原有像素点的显著度概率值的基础上适当增加像素点属于主体区域的可能性,可以增加主体区域检测、提取准确性。
图8是本申请所述一种图像数据处理装置另一种实施例的模块结构示意图。如图8所示,所述装置可以还包括:
脸外处理模块106,可以用于将所述待处理图像中脸外区域的像素点的显著度概率值与设置的第二调谐因子γ的乘积作为所述像素点调整后的显著度概率值,所述第二调谐因子γ的取值小于1。所述的脸外区域可以为上述所述的人脸上部区域和下部区域以外的区域。
同上所述,为保障对所述上部区域的优化调整在合理的范围内,避免对所述待处理图像的调整产生大于预期的扰动,使图像数据保持在可靠的范围内,所述图像数据处理装置优选的实施例中,所述第二调谐因子γ的取值范围可以为:
0.5≤γ≤0.75。
本实施例中,可以对上述所述脸外区域像素点进行显著度概率值减弱的操作,降低所述其他像素点属于主体区域的概率值。一般的,商品图像中的主体区域依附于人物躯干周围,所述人物躯干之外的其他区域通常属于主体区域的可能变小。因此,本实施例在原有像素点的显著度概率值的基础上适当降低像素点属于主体区域的可能性,可以增加主体区域检测、提取准确性。
图9是本申请所述一种图像数据处理装置另一种实施例的模块结构示意图。在本申请的其他实施例中,上述所述任意一种图像数据处理装置可以还包括:
主体提取模块107,可以用于基于所述调整后的像素点的显著度概率值对所述待处理图像进行主体区域提取。
本申请所述的图像数据处理装置还可以包括主体提取模块,可以对本申请所述的像素点显著度概率值优化调整后的待处理图像进行主体区域提取。利用本实施例所述的图像数据处理装置可以更加更加准确的检测、提取待处理图像的主体区域。
当然,本申请所述的图像数据处理装置可以包括配置了本申请任意一种实施例装置的客户端或者以产品应用方式实现的终端装置,甚至是所述客户端或者终端中的一部分装置。
本申请中各个实施例提供的图像数据处理方法和装置,可以在确定待处理图像人脸区域后,基于所述待处理图像中的其他区域位置与所述人脸区域的距离对像素点的显著度概率进行优化调整。一般,在包括人体图像信息的商品图像中,距离所述人脸位置越近的像素点属于主体区域的可能性越大。本申请在利用常规显著度计算像素点属于主体区域的基础上,结合整体图像包括人体图像信息的整体特性,对图像中的特定区域进行显著度概率值的优化调整,可以有效提高包括人物图像的商品图像中主体区域检测、提取的准确性。
图10是利用本申请所述的方法或装置对图像数据处理的前后效果对比图。如图10所示:左图是未加入人脸信息作为先验信息而提取出的显著度概率图,其中越亮的区域表示属于前景的区域的可能性越大,可以发现,诸如人脸、裙摆、上身、腿部等区域的概率值都很低,往往会导致最终提取的前景区域会仅仅包含的是模特的肩部区域。右图是使用了本申请基于人脸区域增强后的显著度概率图。从右图中可以发人脸区域的下部区域得到的相应的增强,那么在主体提取过程中会将整个需要提取的部分都能够提取出来,体现了本申请的效果和数据处理效率。
尽管本申请内容中提到OpenCV代码库、显著度计算、人脸检测、坐标计算等的等之类的描述,但是,本申请并不局限于必须是完全标准的数据处理协议、信息传输协议或者本申请提供的固定公式的情况。本申请中各个实施例所涉及的上述描述仅是本申请中的一些实施例中的应用,在某些标准、方法的基础上略加修改后的处理方法也可以实行上述本申请各实施例的方案。当然,在符合本申请上述各实施例的中所述的处理方法步骤的其他无需创造性的变形,仍然可以实现相同的申请,在此不再赘述。
虽然本申请提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行逻辑顺序。在实际中的装置或客户端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
上述实施例阐明的单元或模块,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现,也可以将实现同一功能的模块由多个子模块或子单元的组合实现。
本邻域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
通过以上的实施方式的描述可知,本邻域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,移动终端,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例采用递进的方式描述,各个实施例之间相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。本申请可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
虽然通过实施例描绘了本申请,本邻域普通技术人员知道,本申请有许多变形和变化而不脱离本申请的精神,希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。
Claims (18)
1.一种图像数据处理方法,其特征在于,所述方法包括
获取待处理图像中像素点的显著度概率值;
确定所述待处理图像的人脸区域;
基于所述待处理图像指定区域内的像素点与所述人脸区域的中心像素点的距离计算所述指定区域内像素点的概率调整因子;
根据所述概率调整因子调整所述指定区域内像素点的显著度概率值。
2.如权利要求1所述的一种图像数据处理方法,其特征在于,所述基于所述待处理图像指定区域内的像素点与所述人脸区域的中心像素点的距离计算所述指定区域内像素点的概率调整因子包括:
计算所述待处理图像的高度与所述指定区域内像素点纵坐标值的第一差值,和计算所述待处理图像的高度与所述人脸区域的中心像素点纵坐标值的第二差值;
将所述第一差值与所述第二差值的比值作为所述指定区域内像素点的概率调整因子。
3.如权利要求2所述的一种图像数据处理方法,其特征在于,所述指定区域包括所述待处理图像中人脸区域外的下部区域。
4.如权利要求1所述的一种图像数据处理方法,其特征在于,所述根据所述概率调整因子调整所述指定区域内像素点的显著度概率值包括:
以所述指定区域内像素点的显著度概率值与所述像素点所对应的概率调整因子的乘积作为调整后的所述指定区域内像素点的显著度概率值;
所述调整后的指定区域内像素点的显著度概率值大于1时将所述显著度概率值设置为1。
5.如权利要求1所述的一种图像数据处理方法,其特征在于,所述方法还包括:
将所述待处理图像中人脸区域外的上部区域的像素点的显著度概率值与设置第一调谐因子β的乘积作为所述像素点调整后的显著度概率值,所述第一调谐因子β的取值大于等于1;
所述调整后的所述像素点的显著度概率值大于1时将所述显著度概率值设置为1。
6.如权利要求5所述的一种图像数据处理方法,其特征在于,所述第一调谐因子β的取值范围为:
1≤β≤1.5。
7.如权利要求1所述的一种图像数据处理方法,其特征在于,所述方法还包括:
将所述待处理图像中脸外区域的像素点的显著度概率值与设置的第二调谐因子γ的乘积作为所述像素点调整后的显著度概率值;其中,所述脸外区域表示所述待处理图像中不包括所述人脸区域外的上部区域、所述人脸区域外的下部区域、所述人脸区域的区域;
所述第二调谐因子γ的取值小于1。
8.如权利要求7所述的一种图像数据处理方法,其特征在于,所述第二调谐因子γ的取值范围为:
0.5≤γ≤0.75。
9.如权利要求1-8中任意一项所述的一种图像数据处理方法,其特征在于,所述方法还包括:
基于所述调整后的像素点的显著度概率值对所述待处理图像进行主体区域提取。
10.一种图像数据处理装置,其特征在于,所述装置包括:
概率计算模块,用于获取待处理图像中像素点的显著度概率值;
人脸检测模块,用于检测获取所述待处理图像的人脸区域;
优化参数计算模块,用于基于所述待处理图像指定区域内的像素点与所述人脸区域的中心像素点的距离计算所述指定区域内像素点的概率调整因子;
优化调整模块,用于根据所述概率调整因子调整所述指定区域内像素点的显著度概率值。
11.如权利要求10所述一种图像数据处理装置,其特征在于,所述优化参数计算模块包括:
差值计算模块,用于计算所述待处理图像的高度与所述指定区域内像素点纵坐标值的第一差值,和计算所述待处理图像的高度与所述人脸区域的中心像素点纵坐标值的第二差值;
因子计算模块,用于将所述第一差值与所述第二差值的比值作为所述指定区域内像素点的概率调整因子。
12.如权利要求11所述一种图像数据处理装置,其特征在于,所述的指定区域包括所述待处理图像中人脸区域外的下部区域。
13.如权利要求10所述一种图像数据处理装置,其特征在于,所述优化调整模块包括:
优化模块,用于以所述指定区域内像素点的显著度概率值与所述像素点所对应的概率调整因子的乘积作为调整后的所述指定区域内像素点的显著度概率值;
第一调整模块,用于在所述调整后的指定区域内像素点的显著度概率值大于1时将所述显著度概率值设置为1。
14.如权利要求10所述一种图像数据处理装置,其特征在于,所述装置还包括:
上部区域优化模块,用于将所述待处理图像中人脸区域外的上部区域的像素点的显著度概率值与设置第一调谐因子β的乘积作为所述像素点调整后的显著度概率值;
第二调整模块,用于设置所述第一调谐因子β的取值;所述第一调谐因子β的取值大于等于1;还用于在所述调整后的所述像素点的显著度概率值大于1时将所述显著度概率值设置为1。
15.如权利要求14所述一种图像数据处理装置,其特征在于,所述第一调谐因子β的取值范围为:
1≤β≤1.5。
16.如权利要求10所述一种图像数据处理装置,其特征在于,所述装置还包括:
脸外处理模块,用于将所述待处理图像中脸外区域的像素点的显著度概率值与设置的第二调谐因子γ的乘积作为所述像素点调整后的显著度概率值;其中,所述脸外区域表示所述待处理图像中不包括所述人脸区域外的上部区域、所述人脸区域外的下部区域、所述人脸区域的区域;
所述第二调谐因子γ的取值小于1。
17.如权利要求16所述一种图像数据处理装置,其特征在于,所述第二调谐因子γ的取值范围为:
0.5≤γ≤0.75。
18.如权利要求10至17中任意一项所述的一种图像数据处理装置,其特征在于,所述装置还包括:
主体提取模块,用于基于所述调整后的像素点的显著度概率值对所述待处理图像进行主体区域提取。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510147805.3A CN106157280B (zh) | 2015-03-31 | 2015-03-31 | 一种图像数据处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510147805.3A CN106157280B (zh) | 2015-03-31 | 2015-03-31 | 一种图像数据处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106157280A CN106157280A (zh) | 2016-11-23 |
CN106157280B true CN106157280B (zh) | 2019-09-24 |
Family
ID=57337707
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510147805.3A Active CN106157280B (zh) | 2015-03-31 | 2015-03-31 | 一种图像数据处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106157280B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112668582B (zh) * | 2020-12-31 | 2024-07-09 | 北京迈格威科技有限公司 | 图像识别方法、装置、设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101211356A (zh) * | 2006-12-30 | 2008-07-02 | 中国科学院计算技术研究所 | 一种基于显著区域的图像查询方法 |
CN101968850A (zh) * | 2010-10-21 | 2011-02-09 | 重庆大学 | 一种模拟生物视觉机制的人脸特征提取方法 |
CN102129349A (zh) * | 2011-03-18 | 2011-07-20 | 山东大学 | 以视觉转移机制为指导的图像自适应显示方法 |
CN103578098A (zh) * | 2012-08-07 | 2014-02-12 | 阿里巴巴集团控股有限公司 | 在商品图片中提取商品主体的方法和装置 |
CN104103082A (zh) * | 2014-06-06 | 2014-10-15 | 华南理工大学 | 一种基于区域描述和先验知识的图像显著性检测方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7171058B2 (en) * | 2003-07-31 | 2007-01-30 | Eastman Kodak Company | Method and computer program product for producing an image of a desired aspect ratio |
US8170291B2 (en) * | 2008-05-09 | 2012-05-01 | The United States Postal Service | Methods and systems for analyzing the quality of digital signature confirmation images |
-
2015
- 2015-03-31 CN CN201510147805.3A patent/CN106157280B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101211356A (zh) * | 2006-12-30 | 2008-07-02 | 中国科学院计算技术研究所 | 一种基于显著区域的图像查询方法 |
CN101968850A (zh) * | 2010-10-21 | 2011-02-09 | 重庆大学 | 一种模拟生物视觉机制的人脸特征提取方法 |
CN102129349A (zh) * | 2011-03-18 | 2011-07-20 | 山东大学 | 以视觉转移机制为指导的图像自适应显示方法 |
CN103578098A (zh) * | 2012-08-07 | 2014-02-12 | 阿里巴巴集团控股有限公司 | 在商品图片中提取商品主体的方法和装置 |
CN104103082A (zh) * | 2014-06-06 | 2014-10-15 | 华南理工大学 | 一种基于区域描述和先验知识的图像显著性检测方法 |
Non-Patent Citations (4)
Title |
---|
"Unsupervised extraction of visual attention objects in color images";J.Han等;《IEEE Transactions on Circuits and Systems for Video Technology 》;20051227;第16卷(第1期);141-145 * |
"一种图像显著区域的提取方法";王国营等;《计算机应用》;20100601;第30卷(第6期);1619-1621 * |
"基于视觉注意模型和进化规划的感兴趣区检测方法";张菁等;《电子与信息学报》;20090715;第31卷(第7期);1646-1652 * |
"视觉显著性凸显目标的评价";马儒宁等;《自动化学报》;20120515;第38卷(第5期);870-876 * |
Also Published As
Publication number | Publication date |
---|---|
CN106157280A (zh) | 2016-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI746674B (zh) | 識別圖像中物件的類型預測方法、裝置及電子設備 | |
US11574187B2 (en) | Pedestrian attribute identification and positioning method and convolutional neural network system | |
Li et al. | Inner and inter label propagation: salient object detection in the wild | |
Zhang et al. | A novel graph-based optimization framework for salient object detection | |
Maglogiannis et al. | Face detection and recognition of natural human emotion using Markov random fields | |
CN108229559B (zh) | 服饰检测方法、装置、电子设备、程序和介质 | |
CN109409994A (zh) | 模拟用户穿戴服装饰品的方法、装置和系统 | |
JP2022510712A (ja) | ニューラルネットワークの訓練方法及び画像マッチング方法、並びに装置 | |
CN109359515A (zh) | 一种用于对目标对象的属性特征进行识别的方法及装置 | |
CN105095362B (zh) | 一种基于目标对象的图像显示方法和装置 | |
CN109509142A (zh) | 一种人脸变老图像处理方法、系统、可读存储介质及设备 | |
Zhang et al. | Study of visual saliency detection via nonlocal anisotropic diffusion equation | |
Huo et al. | Semisupervised learning based on a novel iterative optimization model for saliency detection | |
Ding et al. | Semantic recognition of workpiece using computer vision for shape feature extraction and classification based on learning databases | |
CN113642471A (zh) | 一种图像识别方法、装置、电子设备和存储介质 | |
Dogra et al. | Evaluation of segmentation techniques using region area and boundary matching information | |
CN116721460A (zh) | 手势识别方法、装置、电子设备以及存储介质 | |
Ma et al. | Noise-against skeleton extraction framework and application on hand gesture recognition | |
CN106157280B (zh) | 一种图像数据处理方法及装置 | |
Lee et al. | An effective method for detecting facial features and face in human–robot interaction | |
Zhang et al. | An Improved Computational Approach for Salient Region Detection. | |
Dai et al. | Robust and accurate moving shadow detection based on multiple features fusion | |
Yang et al. | Salient object detection via double random walks with dual restarts | |
Zhou et al. | A method to automatic create dataset for training object detection neural networks | |
Yi et al. | Face detection method based on skin color segmentation and facial component localization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |