CN110070127B - 面向家居产品精细识别的优化方法 - Google Patents
面向家居产品精细识别的优化方法 Download PDFInfo
- Publication number
- CN110070127B CN110070127B CN201910318727.7A CN201910318727A CN110070127B CN 110070127 B CN110070127 B CN 110070127B CN 201910318727 A CN201910318727 A CN 201910318727A CN 110070127 B CN110070127 B CN 110070127B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- adjacent
- difference
- carrying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开一种面向家居产品精细识别的优化方法。包括:对供应商家居产品拍摄全景视频并进行经纬线构图处理,细分成多视角获取图像;对相邻点图像进行技术处理,组成最佳的有效图像集并训练评估;对用户实拍的家居图像进行目标检测,再与图像集对比判断。本发明还公开一种家居产品识别应用系统。本发明通过增加训练集的数量,增强图像的特征提取性能,进而增强精细识别的准确度,对图像的不精确识别、错误识别问题的研究具有重大意义。
Description
技术领域
本发明属于计算机视觉图像处理技术领域,尤其涉及基于全景视频数据增强的电商家居产品图像识别方法,具体为一种面向家居产品精细识别的优化方法。
背景技术
随着多媒体技术的迅猛发展以及在深度学习上的逐步深入,人类观察世界的方式已经发展到充分利用电子器械来代替人眼对目标进行识别、跟踪和测量等等,并进一步做图像处理,利用计算机视觉来使计算机能像人眼那样通过视觉观察和理解世界,具有自主适应环境的能力。
计算机视觉领域的所有突破几乎都来自深度神经网络。约翰霍普金斯大学教授、计算机视觉的奠基人之一Alan Yuille提出这一领域最严峻的挑战是如何开发能够应对图像的组合爆炸的算法,即对图像因上下文导致的不精确识别、错误识别问题的算法研究。
尽管深度学习优于其他技术,但它们并非具有通用性。深度学习主要局限体现在图像特征提取和训练数据集不够大的问题上,这是导致图像不精确识别、错误识别问题的关键所在。本发明根据这一问题,通过结合家居产品识别、供应商与用户的应用体验,根据人眼观察的特性,从而得到优化图像的不精确识别、错误识别问题的方法。
现有技术中,对于家居产品的精细识别存在以下问题:
一:缺乏对真实世界的模拟研究,由于人眼是经过真实世界训练的,是三维全景环境训练得到的,故本发明将三维全景环境应用到计算机视觉之中;
二:缺乏充足的训练集图像数据集,使得图像的特征提取不够完善,需要加入更多的考虑因素;
三:缺乏上下文对图像主体影响的研究,深度网络对图像背景和遮挡的变化过于敏感,会对图像的识别造成错误判断。
发明内容
本发明的目的是针对现有技术存在的问题,提供一种面向家居产品精细识别的优化方法,能够有效增强家居产品精细识别能力。
为实现上述目的,本发明采用的技术方案是:
面向家居产品精细识别的优化方法,包括:
S1,拍摄家居产品的全景视频;
S2,利用经纬线构图模拟全景环境,采集多视角图像;
S3,利用相邻图像分割和图像相似冗余处理,形成有效图像集;
S4,对有效图像集进行训练分析和特征提取;
S5,对实拍家居产品图像进行目标检测和特征提取;
S6,对实拍家居产品图像的特征与有效图像集的特征进行对比判断,实现家居产品精细识别。
本发明通过对供应商家居产品拍摄全景视频并进行经纬线构图处理,细分成多视角获取图像;然后对相邻点图像进行技术处理,组成最佳的有效图像集并训练评估;最后对用户实拍的家居图像进行目标检测,再与有效图像集对比判断来精细识别实拍的家居产品。本发明通过增加训练集的数量,增强图像的特征提取性能,来增强精细识别的准确度,对图像的不精确识别、错误识别问题的研究具有重大意义。
优选地,S1进一步包括:利用360度全景视频拍摄器材,对于供应商的家居产品进行空间位移的环绕拍摄。
优选地,S2进一步包括:利用经纬构图的方法采集多视角图像样张,形成初步的图像集。
优选地,所述利用经纬构图的方法采集多视角图像样张进一步包括:采用选取等差值的经度线和等差值的纬度线得到交点,从而得到相应的图像采样点,进行多视角图像样张的采集。
优选地,通过调整经度差值和纬度差值进行不同精度的图像采集。
优选地,所述相邻图像分割进一步包括:利用图像分割的直接单阈值方法提取相邻图像交叠的部分,获取相邻图像差异部分。
优选地,所述图像相似冗余处理进一步包括:为相邻图像差异部分的差异程度设定限定值,小于所述限定值的相邻图像视为具有高度特征相似性的两个图像,采取保留其一的处理方式,并继续执行相邻图像分割,经过多次筛选,保留剩余的图像组成有效图像集。
优选地,所述图像相似冗余处理进一步包括:对家居产品的对称性视角的图像,进行对称处理后再采取图像分割和相似冗余处理。
优选地,S5进一步包括:针对用户在任意场景下拍摄的家居产品图像,对其进行基于深度学习的目标检测,通过对图像中不同颜色模块的感知定位并分类出其中目标物体;再利用不同尺寸的滑动窗口选中目标家居产品,提取视觉特征。
一种家居产品识别应用系统,采用所述的方法实现,包括:
全景视频拍摄模块:利用360度全景视频拍摄器材,对于供应商的家居产品进行空间位移的环绕拍摄;
全景环境模拟模块:利用经纬线构图方法采集多视角图像样张,形成初步的图像集;
相邻图像分割模块:利用图像分割的直接单阈值方法提取相邻图像交叠的部分,获取相邻图像差异部分;
图像相似冗余处理模块:为相邻图像差异部分的差异程度设定限定值,小于所述限定值的相邻图像视为具有高度特征相似性的两个图像,采取保留其一的处理方式,并继续执行相邻图像分割,经过多次筛选,保留剩余的图像组成有效图像集;
训练模块:对有效图像集进行训练分析和特征提取;
目标检测模块:针对用户在任意场景下拍摄的家居产品图像,对其进行基于深度学习的目标检测,通过对图像中不同颜色模块的感知定位并分类出其中目标物体;再利用不同尺寸的滑动窗口选中目标家居产品,提取视觉特征;
识别判断模块:对实拍家居产品图像的特征与有效图像集的特征进行对比判断,实现家居产品精细识别。
与现有技术相比,本发明的有益效果是:
(1)本发明通过对供应商家居产品拍摄全景视频并进行经纬线构图处理,细分成多视角获取图像,形成初步的图像集;然后进行相邻图像分割和图像相似冗余处理,组成最佳的有效图像集并训练评估,提取有效图像集的特征;最后对用户实拍的家居图像进行目标检测和特征提取,将实拍家居图像与有效图像集对比判断来精细识别实拍的家居产品。
(2)本发明针对图像的不精确识别、错误识别问题,提出了采用全景视频多视角分析的方法,采用经纬线构图获取多角度图像,提取物体的多角度特征,增强特征提取性能,增加训练集,进而增强精细识别的准确度;
(3)本发明应用相邻图像分割技术手段,避免图像冗余过多的问题,从而组成最佳的有效图像集,并将最佳的有效图像集进行图像特征的训练评估,与用户实拍的家居产品进行对比,分析相似度,做出判断。
(4)本发明所提出的基于全景多视角图像训练分析来优化家居产品识别精度的方法,能够有效地增强图像精细识别能力,相比于传统方法,本发明的方法与人类的视觉评估系统具有更高的一致性。
附图说明
图1为根据实施例的本发明面向家居产品精细识别的优化方法的流程示意图;
图2为根据实施例的本发明经纬线构图模拟全景环境的示意图;
图3为根据实施例的本发明家居产品识别应用系统的原理示意图。
具体实施方式
下面将结合本发明中的附图,对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例,都属于本发明保护的范围。
本发明提供一种面向家居产品精细识别的优化方法,通过对供应商家居产品拍摄全景视频并进行经纬线构图处理,细分成多视角获取图像;然后对相邻点图像进行技术处理,组成最佳的有效图像集并训练评估;最后对用户实拍的家居图像进行目标检测,再与有效图像集对比判断来精细识别实拍的家居产品。本发明通过增加训练集的数量,增强图像的特征提取性能,来增强精细识别的准确度,对图像的不精确识别、错误识别问题的研究具有重大意义。
作为一种实施方式,如图1所示,一种面向家居产品精细识别的优化方法,包括:
第1步:利用供应商提供的家居产品进行全景视频的拍摄。
具体地,利用现有的360度全景视频的拍摄器材,针对家居产品进行空间位移的环绕拍摄,这里需要注意的是:
a)拍摄时要注意缝合线,不要将拍摄的家居产品放置在缝合线处;
b)拍摄器材的机位摆放要注意与人眼水平保持一致状态;
c)拍摄的家居产品要与拍摄器材保持一定距离。
第2步:利用经纬构图的方法采集多视角图像样张,形成初步的图像数据集。
具体地,针对家居产品进行360度的全景分析,采用选取等差值的经度线和等差值的纬度线得到交点,从而得到相应的图像采样点,进行多视角图像样张的采集。例如图2所示,采用30°的纬度差值和(360/7)°的经度差值,利用三维建模,选取球面上每个交点切面对应视角作为图像采样视角,可以得到37个图像采样点(图中经纬线交点),从而实现高精度多角度的图像采集。针对图2所示的家居产品,考虑其特殊的有限观察视角,可采取仅取上半球面的采样点即可。
进一步地,可根据个体的需要调整经纬度差值实现采集精度的高低选取。
第3步:利用相邻图像分割技术和图像相似冗余处理形成最佳的有效图像集。
具体地,在高精度的经纬线构图采集之后,相邻的两个采集点的采集图像存在主体目标略有差异,背景基本一致的特点,于是可以使用图像分割的直接单阈值方法提取相邻图像交叠的部分,即为相邻图像差异部分。针对分割后的图像采取如下公式:
其中,f(x,y)为原图像灰度值,g(x,y)为分割后图像灰度值,分割阈值T,b0,b1表示分割区域用的两种的灰度值。
具体地,为了避免采集的图像集存在多张图像特征高度一致的情况,我们根据图像差异设定合理的限定值,小于该限定值的相邻图像视为具有高度特征相似性的两个图像,于是采取保留其一的处理方式,并继续执行相邻图像分割,经过多次筛选,保留剩余的图像组成最佳的有效图像集,避免了图像冗余。
针对家居产品,相似冗余性还可能包含家居对称性视角图像。需要通过对称后再采取图像分割与相似冗余处理筛选。
第4步:对最佳的有效图像集进行训练分析和特征提取,应对视角和遮挡对图像特征提取影响导致的不精确识别、错误识别问题。
第5步:利用用户实拍的家居产品图像进行基于深度学习的目标检测处理,提取视觉特征。
具体地,针对用户在任意场景下拍摄的家居产品,需要对其进行基于深度学习的目标检测处理,通过对图片中不同颜色模块的感知很容易定位并分类出其中目标物体。由于用户拍摄的图像必然是以家居产品为中心,因此可以更加准确地判断图像在多目标情况下的目标物体。再利用不同尺寸的滑动窗口选中目标家居产品,然后提取视觉特征,与训练后的有效图像集进行对比判断。
第6步:将用户图像的特征与有效图像集的特征进行对比判断,根据相似度的降序排行,准确地为用户推荐供应商的家居产品链接。
通过上述方法的执行,能够增强家居产品的精细识别能力,为那些通过拍照搜寻相似家居产品的用户提供更加准确的产品需求服务。
作为一种实施方式,如图3所示,一种家居产品识别应用系统,采用前面所述的优化方法实现,包括:
全景视频拍摄模块:利用360度全景视频拍摄器材,对于供应商的家居产品进行空间位移的环绕拍摄;
全景环境模拟模块:利用经纬线构图方法采集多视角图像样张,形成初步的图像集;
相邻图像分割模块:利用图像分割的直接单阈值方法提取相邻图像交叠的部分,获取相邻图像差异部分;
图像相似冗余处理模块:为相邻图像差异部分的差异程度设定限定值,小于所述限定值的相邻图像视为具有高度特征相似性的两个图像,采取保留其一的处理方式,并继续执行相邻图像分割,经过多次筛选,保留剩余的图像组成有效图像集;
训练模块:对有效图像集进行训练分析和特征提取;
目标检测模块:针对用户在任意场景下拍摄的家居产品图像,对其进行基于深度学习的目标检测,通过对图像中不同颜色模块的感知定位并分类出其中目标物体;再利用不同尺寸的滑动窗口选中目标家居产品,提取视觉特征;
识别判断模块:对实拍家居产品图像的特征与有效图像集的特征进行对比判断,实现家居产品精细识别。
本发明所提出的基于全景多视角图像训练分析优化家居产品精细识别的方法,能够有效地增强图像精细识别能力。本发明的优化方法及应用系统主要提出了家居产品全景视频拍摄、经纬线构图模拟全景环境、相邻图像分割判断差异模拟、图像相似冗余处理模拟、实拍家居产品图像的目标检测模拟。相比于传统方法,本发明与人类的视觉评估系统具有更高的一致性。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.面向家居产品精细识别的优化方法,其特征在于,包括:
S1,拍摄家居产品的全景视频;
S2,利用经纬线构图模拟全景环境,采集多视角图像;
针对家居产品进行360度的全景分析,采用选取等差值的经度线和等差值的纬度线得到交点,从而得到相应的图像采样点,进行多视角图像样张的采集;根据个体的需要调整经纬度差值实现采集精度的高低选取;
S3,利用相邻图像分割和图像相似冗余处理,形成有效图像集;
在高精度的经纬线构图采集之后,相邻的两个采集点的采集图像存在主体目标略有差异,背景基本一致的特点,于是使用图像分割的直接单阈值方法提取相邻图像交叠的部分,即为相邻图像差异部分;
针对分割后的图像采取如下公式:
根据图像差异设定合理的限定值,小于该限定值的相邻图像视为具有高度特征相似性的两个图像,于是采取保留其一的处理方式,并继续执行相邻图像分割,经过多次筛选,保留剩余的图像组成最佳的有效图像集;
S4,对有效图像集进行训练分析和特征提取;
S5,对实拍家居产品图像进行目标检测和特征提取;
S6,对实拍家居产品图像的特征与有效图像集的特征进行对比判断,实现家居产品精细识别。
2.根据权利要求1所述的面向家居产品精细识别的优化方法,其特征在于,S1进一步包括:利用360度全景视频拍摄器材,对于供应商的家居产品进行空间位移的环绕拍摄。
3.根据权利要求1所述的面向家居产品精细识别的优化方法,其特征在于,S2进一步包括:利用经纬构图的方法采集多视角图像样张,形成初步的图像集。
4.根据权利要求3所述的面向家居产品精细识别的优化方法,其特征在于,所述利用经纬构图的方法采集多视角图像样张进一步包括:采用选取等差值的经度线和等差值的纬度线得到交点,从而得到相应的图像采样点,进行多视角图像样张的采集。
5.根据权利要求4所述的面向家居产品精细识别的优化方法,其特征在于,通过调整经度差值和纬度差值进行不同精度的图像采集。
6.根据权利要求1所述的面向家居产品精细识别的优化方法,其特征在于,所述相邻图像分割进一步包括:利用图像分割的直接单阈值方法提取相邻图像交叠的部分,获取相邻图像差异部分。
7.根据权利要求6所述的面向家居产品精细识别的优化方法,其特征在于,所述图像相似冗余处理进一步包括:为相邻图像差异部分的差异程度设定限定值,小于所述限定值的相邻图像视为具有高度特征相似性的两个图像,采取保留其一的处理方式,并继续执行相邻图像分割,经过多次筛选,保留剩余的图像组成有效图像集。
8.根据权利要求7所述的面向家居产品精细识别的优化方法,其特征在于,所述图像相似冗余处理进一步包括:对家居产品的对称性视角的图像,进行对称处理后再采取图像分割和相似冗余处理。
9.根据权利要求1所述的面向家居产品精细识别的优化方法,其特征在于,S5进一步包括:针对用户在任意场景下拍摄的家居产品图像,对其进行基于深度学习的目标检测,通过对图像中不同颜色模块的感知定位并分类出其中目标物体;再利用不同尺寸的滑动窗口选中目标家居产品,提取视觉特征。
10.一种家居产品识别应用系统,采用如权利要求1至9中任一项所述的方法实现,其特征在于,包括:
全景视频拍摄模块:利用360度全景视频拍摄器材,对于供应商的家居产品进行空间位移的环绕拍摄;
全景环境模拟模块:利用经纬线构图方法采集多视角图像样张,形成初步的图像集;
相邻图像分割模块:利用图像分割的直接单阈值方法提取相邻图像交叠的部分,获取相邻图像差异部分;
图像相似冗余处理模块:为相邻图像差异部分的差异程度设定限定值,小于所述限定值的相邻图像视为具有高度特征相似性的两个图像,采取保留其一的处理方式,并继续执行相邻图像分割,经过多次筛选,保留剩余的图像组成有效图像集;
训练模块:对有效图像集进行训练分析和特征提取;
目标检测模块:针对用户在任意场景下拍摄的家居产品图像,对其进行基于深度学习的目标检测,通过对图像中不同颜色模块的感知定位并分类出其中目标物体;再利用不同尺寸的滑动窗口选中目标家居产品,提取视觉特征;
识别判断模块:对实拍家居产品图像的特征与有效图像集的特征进行对比判断,实现家居产品精细识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910318727.7A CN110070127B (zh) | 2019-04-19 | 2019-04-19 | 面向家居产品精细识别的优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910318727.7A CN110070127B (zh) | 2019-04-19 | 2019-04-19 | 面向家居产品精细识别的优化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110070127A CN110070127A (zh) | 2019-07-30 |
CN110070127B true CN110070127B (zh) | 2022-08-16 |
Family
ID=67368125
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910318727.7A Active CN110070127B (zh) | 2019-04-19 | 2019-04-19 | 面向家居产品精细识别的优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110070127B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110569794B (zh) * | 2019-09-06 | 2022-07-19 | 深圳市恒天伟焱科技股份有限公司 | 物品的信息存储方法、装置和计算机可读存储介质 |
CN113743296B (zh) * | 2021-09-03 | 2024-05-31 | 揭阳职业技术学院 | 一种基于5g网络的工业产品识别与溯源实现方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102014214851A1 (de) * | 2014-07-29 | 2016-02-04 | picalike GmbH | Computerimplementiertes Verfahren und Computersystem zur Durchführung einer Ähnlichkeitsanalyse |
CN108347363A (zh) * | 2018-03-02 | 2018-07-31 | 深圳凯达通光电科技有限公司 | 一种智能家居系统 |
CN109357679B (zh) * | 2018-11-16 | 2022-04-19 | 山东浪潮科学研究院有限公司 | 一种基于显著性特征识别的室内定位方法 |
-
2019
- 2019-04-19 CN CN201910318727.7A patent/CN110070127B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110070127A (zh) | 2019-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110069972A (zh) | 自动探测真实世界物体 | |
CN105023010B (zh) | 一种人脸活体检测方法及系统 | |
CN105740780B (zh) | 人脸活体检测的方法和装置 | |
CN109102547A (zh) | 基于物体识别深度学习模型的机器人抓取位姿估计方法 | |
CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
CN109190508A (zh) | 一种基于空间坐标系的多摄像头数据融合方法 | |
CN111598132B (zh) | 一种人像识别算法性能评测方法和装置 | |
CN101563710A (zh) | 识别由视频监视摄像机检测到的对象的特性的方法及装置 | |
CN108470178B (zh) | 一种结合深度可信度评价因子的深度图显著性检测方法 | |
CN113850865A (zh) | 一种基于双目视觉的人体姿态定位方法、系统和存储介质 | |
CN109117755A (zh) | 一种人脸活体检测方法、系统和设备 | |
CN105913013A (zh) | 双目视觉人脸识别算法 | |
CN105654054B (zh) | 基于半监督近邻传播学习和多视觉词典模型的智能视频分析方法 | |
CN109741240A (zh) | 一种基于层次聚类的多平面图像拼接方法 | |
CN110070127B (zh) | 面向家居产品精细识别的优化方法 | |
CN112668557A (zh) | 一种行人再识别系统中防御图像噪声攻击的方法 | |
CN105488541A (zh) | 增强现实系统中基于机器学习的自然特征点识别方法 | |
CN109409250A (zh) | 一种基于深度学习的无交叠视域跨摄像机行人再识别方法 | |
CN109492534A (zh) | 一种基于Faster RCNN的跨场景多姿态的行人检测方法 | |
CN109345552A (zh) | 基于区域权重的立体图像质量评价方法 | |
CN113792686B (zh) | 基于视觉表征跨传感器不变性的车辆重识别方法 | |
CN113052110B (zh) | 一种基于多视图投影和深度学习的三维兴趣点提取方法 | |
CN107944340A (zh) | 一种结合直接度量和间接度量的行人再识别方法 | |
Ward et al. | A model-based approach to recovering the structure of a plant from images | |
Schachner et al. | Extracting Quantitative Descriptions of Pedestrian Pre-crash Postures from Real-World AccidentVideos |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |