CN108520263B - 一种全景图像的识别方法、系统及计算机存储介质 - Google Patents

一种全景图像的识别方法、系统及计算机存储介质 Download PDF

Info

Publication number
CN108520263B
CN108520263B CN201810269437.3A CN201810269437A CN108520263B CN 108520263 B CN108520263 B CN 108520263B CN 201810269437 A CN201810269437 A CN 201810269437A CN 108520263 B CN108520263 B CN 108520263B
Authority
CN
China
Prior art keywords
image
edge
sample
target
panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810269437.3A
Other languages
English (en)
Other versions
CN108520263A (zh
Inventor
张惊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Youku Culture Technology Beijing Co ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN201810269437.3A priority Critical patent/CN108520263B/zh
Publication of CN108520263A publication Critical patent/CN108520263A/zh
Application granted granted Critical
Publication of CN108520263B publication Critical patent/CN108520263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施方式公开了一种全景图像的识别方法、系统及计算机存储介质,其中,所述方法包括:获取待分析的目标图像,并提取所述目标图像的目标边缘特征;将所述目标边缘特征输入图像识别模型,并根据所述图像识别模型的输出结果判断所述目标图像是否为全景图像;其中,所述图像识别模型,基于图像训练样本集中图像样本的边缘特征和所述图像样本关联的图像类型训练得到;所述图像类型用于表征关联的图像样本是否为全景图像。本申请提供的技术方案,能够提高全景图像的识别效率。

Description

一种全景图像的识别方法、系统及计算机存储介质
技术领域
本申请涉及图像识别技术领域,特别涉及一种全景图像的识别方法、系统及计算机存储介质。
背景技术
随着全景图像技术的不断发展,目前的沉浸式体检中,大多都会采用全景图像。在制作全景图像时,一方面需要特定的拍摄条件,另一方面在拍摄之后需要采用特定的拼接技术。这样,当拼接得到的全景图像被渲染之后,用户可以通过特定的设备观看到比较真实的场景。
全景图像与普通的平面图像存在较大的差异,用户在观看全景图像时,观看角度可以更改,并且在调整观看角度的同时,都能观看到连续的图像内容。然而,平面图像的左右两侧展示的内容通常不同,如果将平面图像按照全景图像的方式进行渲染,那么平面图像的左右两条边会接合在一起,而在接合处的两侧会出现明显的内容突变,从而造成糟糕的观赏体验。因此,当前在对未知的图像进行渲染时,需要先区分该未知的图像是全景图像还是平面图像。
目前,在区分全景图像和平面图像时,通常是通过人工识别的方式进行区分。首先可以将图像按照全景图像的方式进行渲染,然后检测人员通过改变观看角度来判断是否能够观看到明显的内容突变,从而可以识别当前的图像为全景图像还是平面图像。但是这种通过人工识别的方式,会浪费较多的人力和物力,识别效率较低。
发明内容
本申请实施方式的目的是提供一种全景图像的识别方法、系统及计算机存储介质,能够提高全景图像的识别效率。
为实现上述目的,本申请实施方式提供一种全景图像的识别方法,所述方法包括:获取待分析的目标图像,并提取所述目标图像的目标边缘特征;将所述目标边缘特征输入图像识别模型,并根据所述图像识别模型的输出结果判断所述目标图像是否为全景图像;其中,所述图像识别模型,基于图像训练样本集中图像样本的边缘特征和所述图像样本关联的图像类型训练得到;所述图像类型用于表征关联的图像样本是否为全景图像。
为实现上述目的,本申请实施方式还提供一种全景图像的识别系统,所述系统包括:目标图像处理单元,用于获取待分析的目标图像,并提取所述目标图像的目标边缘特征;判断单元,用于将所述目标边缘特征输入图像识别模型,并根据所述图像识别模型的输出结果判断所述目标图像是否为全景图像;其中,所述图像识别模型,基于图像训练样本集中图像样本的边缘特征和所述图像样本关联的图像类型训练得到;所述图像类型用于表征关联的图像样本是否为全景图像。
为实现上述目的,本申请实施方式还提供一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现以下步骤:获取待分析的目标图像,并提取所述目标图像的目标边缘特征;将所述目标边缘特征输入图像识别模型,并根据所述图像识别模型的输出结果判断所述目标图像是否为全景图像;其中,所述图像识别模型,基于图像训练样本集中图像样本的边缘特征和所述图像样本关联的图像类型训练得到;所述图像类型用于表征关联的图像样本是否为全景图像。
由上可见,本申请提供的技术方案,考虑到普通的平面图像按照全景图像的方式进行渲染时,通常会存在渲染的图像中存在明显的边缘,而全景图像往往不会存在该边缘。鉴于两者的这种差别,可以通过对大量图像样本的边缘特征进行训练,从而可以训练得到能够根据图像中包含的边缘特征来区分普通图像和全景图像的图像识别模型。这样,后续需要对目标图像进行分析时,可以提取该目标图像的边缘特征,并将该边缘特征输入至训练得到的图像识别模型中,从而可以通过图像识别模型,识别出目标图像是否为全景图像。本申请提供给的上述技术方案,可以通过机器学习的方法自动识别对全景图像进行识别,从而能够提高全景图像的识别效率。
附图说明
为了更清楚地说明本申请实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施方式中全景图像的识别方法示意图;
图2为本申请实施方式中平面图像的接合示意图;
图3为本申请实施方式中全景图像的识别系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施方式中的附图,对本申请实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式仅仅是本申请一部分实施方式,而不是全部的实施方式。基于本申请中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式,都应当属于本申请保护的范围。
本申请提供一种全景图像的识别方法,请参阅图1,所述方法可以包括以下步骤。
S1:获取待分析的目标图像,并提取所述目标图像的目标边缘特征。
在本实施方式中,可以基于目标图像中包含的边缘特征来判断所述目标图像是否是全景图像。在实际应用中,可以通过对大量样本数据进行训练,从而得到能够识别全景图像的图像识别模型。所述图像识别模型可以基于图像训练样本集中图像样本的边缘特征和所述图像样本关联的图像类型训练得到,其中,所述图像类型用于表征关联的图像样本是否为全景图像。具体地,首先可以获取图像训练样本集,所述图像训练样本集中可以包括大量的图像样本,这些图像样本中可以既包括普通的平面图像,也可以包括全景图像。并且,所述图像训练样本中的各个图像样本可以与图像类型相关联,该图像类型便可以表征关联的图像样本是否为全景图像。例如,在图像训练样本中包含100幅图像,其中,40幅图像关联的图像类型表明这些图像为平面图像,而其它60幅图像关联的图像类型表明这些图像为全景图像。
在本实施方式中,由于图像训练样本集中通常仅包含平面图像和全景图像,那么图像样本关联的图像类型可以通过一个概率数组来表示,该概率数组中可以包含两个概率值,这两个概率值分别用于表示平面图像和全景图像的概率。由于图像训练样本集中图像样本的类型是确定的,那么关联的图像类型中一个概率值可以为1,而另一个概率值可以为0。例如,对于全景图像的样本而言,其关联的图像类型可以通过(1,0)的概率数组来表示,而与平面图像的样本而言,其关联的图像类型可以通过(0,1)的概率数组来表示。其中,概率数组中的第一个概率值可以表示图像样本作为全景图像的概率,而第二概率值则可以表示图像样本作为平面图像的概率。这样,通过识别概率值1的位置,从而可以确定图像样本是全景图像还是平面图像。
在本实施方式中,全景图像由于是模拟人眼观看景物的原理制作的,因此对于全景图像中的任一区域,通常都会存在与之相邻的其它区域,也就是说,全景图像中展示的内容都是连贯的,通常不会存在明显的边缘。然而,普通的平面图像相当于是将图像的内容限制在有限的平面区域内,因此,就算将平面图像按照全景图像的方式进行渲染,在平面图像相平行的两条边的接合处,通常会出现明显的边缘,该边缘表现的特征为边缘两侧呈现的图像内容发生较明显的突变。例如在图2中,平面图像的左右两个边在按照全景图像进行渲染时,会重叠在一起,那么在重叠处的左右两侧,展示的内容会不连贯,从而出现明显的一条边缘。这样,本申请可以针对是否存在明显边缘这个特征,来识别当前的图像是否为全景图像。
在本实施方式中,针对图像训练样本集中的图像样本,可以提取图像样本的边缘特征,该边缘特征可以表征图像样本中的边缘在图像样本所处的位置信息。在实际应用中,首先可以检测所述图像样本中存在的边缘。通常而言,边缘可以指图像样本中灰度值急剧变化的像素点的集合。那么在检测图像样本中的边缘时,可以确定所述图像样本中与周围像素点的灰度值相比,灰度值变化较明显的各个像素点。具体地,若图像样本为彩色图像,则可以对图像样本进行灰度化处理,从而可以将原本彩色的图像样本转换为灰度图像。在图像样本中,各个像素点可以根据其所处的位置,通过坐标值来表示,该坐标值中可以包括横坐标和纵坐标。其中,横坐标和纵坐标的起始值可以为0(当然,在实际应用中,该起始值可以根据需要进行更改,例如可以更改为1)。这样,根据像素点在图像样本中所处的行数和列数,从而可以为像素点分配相应的坐标值。举例来说,图像样本中第一行第一列的像素点的坐标值可以为(0,0);又例如,某个像素点处于图像样本中的第5行第3列,那么其对应的坐标值可以表示为(2,4)。这样,像素点的坐标值与像素点的灰度值之间便可以形成一个映射函数,该映射函数例如可以表示为f(x,y),其中,(x,y)表示像素点的坐标值,f(x,y)便可以表示位于(x,y)处的像素点的灰度值。
在本实施方式中,为了寻找灰度值突变的像素点,可以对上述的表征灰度值的映射函数进行梯度运算,从而得到上述映射函数的梯度。该梯度为一个矢量,其可以具备梯度幅值和梯度方向。其中,梯度幅值可以表明灰度值的变化率,而梯度方向则可以表示灰度值的变化趋势。这样,在得到映射函数的梯度之后,便可以确定图像样本中各个像素点的灰度梯度幅值和灰度梯度方向。
在本实施方式中,考虑到位于边缘上的像素点,通常是灰度值变化最强烈的像素点,而灰度值变化的强烈程度可以根据上述映射函数的梯度来表示。因此,可以基于确定的所述灰度梯度幅值和所述灰度梯度方向,在所述图像样本中确定极大值像素点。其中,所述极大值像素点便可以是一个局部区域中,灰度值变化最明显的像素点。在判断图像样本中的一个预设像素点是否为极大值像素点时,可以在所述预设像素点的灰度梯度方向选取与所述预设像素点相邻的指定数量的像素点。在灰度梯度方向选取像素点的意义在于,灰度梯度方向可以表示灰度值的变化趋势,灰度梯度方向是灰度值变化最快的方向。那么在灰度梯度选择了指定数量的像素点之后,这些选取的像素点便可以构成所述预设像素点的邻域。此时,可以将该预设像素点的灰度值与邻域中像素点的灰度值进行比较,若所述预设像素点的灰度梯度幅值均大于或者等于选取的各个所述像素点的灰度梯度幅值时,则表明该预设像素点为邻域中灰度值变化最大的像素点,此时,则可以将所述预设像素点确定为极大值像素点。
在本实施方式中,在图像样本中确定出极大值像素点之后,可以将位置连续的极大值像素点串联起来,从而构成图像样本中的边缘。当然,在实际应用中,图像样本中可能会存在多个边缘,那么为了使得两个边缘之间的像素点不互相干扰,可以预先将图像样本划分为多个小的区域,然后针对每个区域再确定各自的边缘。
在一个实施方式中,有些极大值像素点尽管是灰度值变化最大的像素点,但其真实的灰度值可能较小,甚至其表现的是白色。这样,这些灰度值较小的极大值像素点可能无法很好地表示图像样本中的边缘,因此,在实际应用中,可以对选取的极大值像素点进行灰度值判断,从而可以在所述极大值像素点中确定灰度值大于或者等于指定阈值的目标像素点。这些目标像素点可以是有效的极大值像素点,从而可以通过所述目标像素点构成所述图像样本的边缘。
需要说明的是,图像样本中存在的边缘,除了是平面图像的两条边接合时产生的,还可以是图像样本展示的内容中本身就存在的边缘。例如,图像样本展示了一把尺子,那么尺子与背景之间的分界处便可以构成一个边缘。只不过,对于平面图像而言,其往往会在两条边接合的固定位置处出现一个边缘,而对于全景图像而言,出现的边缘通常是随机的。
在本实施方式中,在检测出图像样本中的边缘之后,可以确定该边缘在所述图像样本中的位置信息。由上可见,平面图像中在固定位置处会出现边缘,而全景图像出现的边缘为随机的,因此,可以通过对边缘的位置信息进行分析,从而确定出图像是否为全景图像。这样,边缘的位置信息便可以作为图像样本的边缘特征。需要说明的是,图像样本中的边缘可能不止一个,那么这多个边缘各自的位置信息便可以构成一个向量中的各个元素,该向量便可以用于表征图像样本的边缘特征。
具体地,所述位置信息可以表示为像素点的横坐标或者纵坐标。举例来说,图像样本中的某个边缘是垂直方向的边缘,该边缘对应的横坐标为5,纵坐标跨度为2至26,那么,该边缘的位置信息则可以通过横坐标5来表示。这样,若一个图像样本的边缘特征表示为(5,20,67),则表明在这三个横坐标处均存在边缘。需要说明的是,为了便于总结边缘特征的规律,可以采取统一的方式来确定边缘特征的表示形式。例如,可以仅统计图像样本中垂直方向的边缘,并通过横坐标来表示边缘的位置特征。
在一个实施方式中,由于各个图像样本的大小可能不一致,坐标值的范围也可能不同,从而导致位置信息的范围也不相同。为了精确地总结出边缘特征的规律,可以对所述位置信息进行归一化处理。具体地,在进行归一化处理时,可以将所述位置信息对应的横坐标或者纵坐标除以图像样本总的横坐标范围或者总的纵坐标范围,得到的比值可以作为归一化后的位置信息。该归一化处理后的位置信息可以作为所述图像样本的边缘特征。这样,位置信息对应的坐标值的取值范围均可以处于0至1内。
在本实施方式中,当提取出图像样本的边缘特征之后,可以利用这些边缘特征,对图像识别模型进行训练,从而使得训练后的图像识别模型能够正确地区分全景图像的边缘特征和平面图像的边缘特征。具体地,在训练图像识别模型时,可以将边缘特征输入初始的图像识别模型,得到所述边缘特征的预测图像类型。其中,所述初始的图像识别模型中可以包括初始化的神经网络,该初始化的神经网络中的神经元可以具备初始参数值。由于这些初始参数值是默认设置的,因此基于这些初始参数值对输入的边缘特征进行处理之后,得到的预测图像类型与该边缘特征实际关联的图像类型可能并不一致。此时,可以确定所述预测图像类型与所述关联的图像类型之间的误差。具体地,经过初始的图像识别模型预测得到的结果可以是一个预测概率组,在该预测概率组中可以包括两个概率值,两个概率值分别表示全景图像和平面图像的概率。其中,概率值越高,表示对应的图像类型的可能性越大。例如,预测概率组为(0.1,0.9),那么0.9对应的平面图像便可以是预测图像类型。与边缘特征关联的图像类型的标准概率组例如可以是(1,0),其中,概率值1对应的可以是全景图像,表示该边缘特征实际反映的是全景图像的特征。这样,通过将预测概率组和标准概率组中对应的概率值相减,便可以得到所述预测图像类型与实际的图像类型之间的误差。通过将该误差作为反馈值输入初始的图像识别模型,从而可以对初始的图像识别模型中的参数进行校正。在校正之后,可以将该边缘特征再次输入经过校正的图像识别模型,后续可以重复利用误差对模型中的参数进行校正的过程,从而使得最终得到的预测图像类型与实际的图像类型一致。这样,通过大量的边缘特征反复对模型进行训练,从而可以使得训练得到的最终模型具备较高的预测精度。
在一个实施方式中,为了提高图像识别模型的精度,在确定所述边缘在所述图像样本中的位置信息之后,还可以确定所述边缘的尺寸参数。所述尺寸参数可以用于表征所述边缘在所述图像样本中所占的长度。具体地,所述尺寸参数可以是所述边缘在垂直方向或者水平方向上包含的像素点的个数。例如,当前统计的是垂直方向的边缘,那么该边缘的尺寸参数可以是垂直方向包含的像素点的个数,其中,如果在同一个水平位置具备多个像素点,那么仅统计一个像素点。这样,统计出的像素点的数量便可以表征边缘的尺寸。此外,为了避免不同的图像样本带来的尺寸差异,同样可以对尺寸参数进行归一化。例如,可以将统计出的像素点的数量除以相同方向上像素点的总数量,得到的比值可以作为边缘的尺寸参数。例如,某个边缘在垂直方向上包含的像素点的数量为50,而该方向上共计有100个像素点,那么可以将0.5作为该边缘的尺寸参数。由于平面图像的接合处的边缘通常会包含该方向上的所有像素点,那么平面图像的接合处的边缘按照归一化后的尺寸参数来表示就可以是1。也就是说,平面图像中往往都会存在位于固定位置处的尺寸参数为1的边缘。这个边缘特征在全景图像中是不一定会存在的,因此可以基于该特征来区分平面图像和全景图像。这样,在本实施方式中,可以将所述边缘在所述图像样本中的位置信息和所述边缘的尺寸参数的组合作为所述图像样本的边缘特征,用于后续的机器学习过程。例如,该组合可以表示为(5,0.3),其中,5表示边缘的横坐标,0.3表示边缘归一化后的尺寸参数。
在一个实施方式中,考虑到边缘数量越多,最终得到的向量中的元素也会越多,导致向量的维度会越高。而针对高维度的向量进行数据处理时,会耗费较多的计算资源,因此,在本实施方式中可以过滤掉一部分无关紧要的边缘。具体地,可以将尺寸参数表征的长度小于指定长度阈值的边缘从检测到的边缘中去除,并将剩余的边缘在所述图像样本中的位置信息和所述剩余的边缘的尺寸参数的组合作为所述图像样本的边缘特征。所述指定长度阈值例如可以是图像样本长度的一半,这样,长度低于该阈值的边缘可以被过滤掉,从而减少需要处理的数据量。
在本实施方式中,在训练得到图像识别模型之后,可以利用该图像识别模型来识别待分析的目标图像是否为全景图像。具体地,在获取到待分析的目标图像之后,可以采用上述步骤中提取图像样本的边缘特征的方式,提取所述目标图像的目标边缘特征。
S3:将所述目标边缘特征输入图像识别模型,并根据所述图像识别模型的输出结果判断所述目标图像是否为全景图像。
在本实施方式中,在提取到所述目标图像的目标边缘特征之后,可以将将所述目标边缘特征输入所述图像识别模型。图像识别模型可以根据输入的目标边缘特征,计算得到该目标边缘特征对应的预测概率组,如上所述,该预测概率组中可以包含分别表征全景图像和非全景图像的两个概率值。这样,可以确定这两个概率值中的较大者,然后判断较大的概率值是否表征全景图像,若是,则可以判定所述目标图像为全景图像;若否,则表示该目标图像为平面图像。
需要说明的是,在实际应用中,可以根据需求,将提取边缘特征和基于预测概率组进行图像类型判定的过程都集成于所述图像识别模型中。这样,可以直接将图像样本或者待分析的目标图像的数据输入图像识别模型中,然后通过图像识别模型内置的边缘特征提取的功能,提取出相应的边缘特征。在得到边缘特征对应的预测概率组之后,图像识别模型也可以自动将较大的概率值对应的图像类型作为输出结果,这样,用户可以直观地从图像识别模型的输出结果中确定输入的图像是否为全景图像。
请参阅图3,本申请还提供一种全景图像的识别系统,所述系统包括:
目标图像处理单元,用于获取待分析的目标图像,并提取所述目标图像的目标边缘特征;
判断单元,用于将所述目标边缘特征输入图像识别模型,并根据所述图像识别模型的输出结果判断所述目标图像是否为全景图像;其中,所述图像识别模型,基于图像训练样本集中图像样本的边缘特征和所述图像样本关联的图像类型训练得到;所述图像类型用于表征关联的图像样本是否为全景图像。
在一个实施方式中,所述系统还包括:
位置信息确定单元,用于检测所述图像样本中存在的边缘,并确定所述边缘在所述图像样本中的位置信息;
边缘特征确定单元,用于将所述边缘的位置信息作为所述图像样本的边缘特征。
在一个实施方式中,所述系统还包括:
尺寸参数确定单元,用于确定所述边缘的尺寸参数,所述边缘的尺寸参数用于表征所述边缘在所述图像样本中所占的长度;
相应地,所述边缘特征确定单元还用于将所述边缘在所述图像样本中的位置信息和所述边缘的尺寸参数的组合作为所述图像样本的边缘特征。
本申请还提供一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现以下步骤:
S1:获取待分析的目标图像,并提取所述目标图像的目标边缘特征;
S3:将所述目标边缘特征输入图像识别模型,并根据所述图像识别模型的输出结果判断所述目标图像是否为全景图像。
其中,所述图像识别模型,基于图像训练样本集中图像样本的边缘特征和所述图像样本关联的图像类型训练得到;所述图像类型用于表征关联的图像样本是否为全景图像。
在本实施方式中,所述计算机存储介质可以包括用于存储信息的物理装置,通常是将信息数字化后再以利用电、磁或者光学等方法的媒体加以存储。本实施方式所述的计算机存储介质又可以包括:利用电能方式存储信息的装置,如RAM、ROM等;利用磁能方式存储信息的装置,如硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘;利用光学方式存储信息的装置,如CD或DVD。当然,还有其他方式的计算机存储介质,例如量子存储器、石墨烯存储器等等。
在本实施方式中,所述处理器可以按任何适当的方式实现。例如,所述处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。
本说明书实施方式提供的全景图像的识别系统以及计算机存储介质,其中的功能模块或者其本身所实现的具体功能,可以与本说明书中的前述方法实施方式相对照解释,并能够达到前述方法实施方式的技术效果,这里便不再赘述。
由上可见,本申请提供的技术方案,考虑到普通的平面图像按照全景图像的方式进行渲染时,通常会存在渲染的图像中存在明显的边缘,而全景图像往往不会存在该边缘。鉴于两者的这种差别,可以通过对大量图像样本的边缘特征进行训练,从而可以训练得到能够根据图像中包含的边缘特征来区分普通图像和全景图像的图像识别模型。这样,后续需要对目标图像进行分析时,可以提取该目标图像的边缘特征,并将该边缘特征输入至训练得到的图像识别模型中,从而可以通过图像识别模型,识别出目标图像是否为全景图像。本申请提供给的上述技术方案,可以通过机器学习的方法自动识别对全景图像进行识别,从而能够提高全景图像的识别效率。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog2。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
本领域技术人员也知道,除了以纯计算机可读程序代码方式实现全景图像的识别系统以外,完全可以通过将方法步骤进行逻辑编程来使得全景图像的识别系统以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种全景图像的识别系统可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施方式或者实施方式的某些部分所述的方法。
本说明书中的各个实施方式均采用递进的方式描述,各个实施方式之间相同相似的部分互相参见即可,每个实施方式重点说明的都是与其他实施方式的不同之处。尤其,针对全景图像的识别系统和计算机存储介质的实施方式来说,均可以参照前述方法的实施方式的介绍对照解释。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
虽然通过实施方式描绘了本申请,本领域普通技术人员知道,本申请有许多变形和变化而不脱离本申请的精神,希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。

Claims (11)

1.一种全景图像的识别方法,其特征在于,所述方法包括:
获取待分析的目标图像,并提取所述目标图像的目标边缘特征;
将所述目标边缘特征输入图像识别模型,并根据所述图像识别模型的输出结果判断所述目标图像是否为全景图像;其中,所述图像识别模型,基于图像训练样本集中图像样本的边缘特征和所述图像样本关联的图像类型训练得到;所述图像类型用于表征关联的图像样本是否为全景图像;
其中,所述图像样本或所述目标图像的边缘特征按照以下方式提取:
检测所述图像样本或所述目标图像中存在的边缘,并确定所述边缘在所述图像样本或所述目标图像中的位置信息;
将所述边缘的位置信息作为所述图像样本或所述目标图像的边缘特征。
2.根据权利要求1所述的方法,其特征在于,检测所述图像样本中存在的边缘包括:
确定所述图像样本中像素点的灰度梯度幅值和灰度梯度方向;
基于确定的所述灰度梯度幅值和所述灰度梯度方向,在所述图像样本中确定极大值像素点;
在所述极大值像素点中确定灰度值大于或者等于指定阈值的目标像素点,并通过所述目标像素点构成所述图像样本的边缘。
3.根据权利要求2所述的方法,其特征在于,在所述图像样本中确定极大值像素点包括:
在所述图像样本中的预设像素点的灰度梯度方向选取与所述预设像素点相邻的指定数量的像素点,当所述预设像素点的灰度梯度幅值大于或者等于选取的所述像素点的灰度梯度幅值时,将所述预设像素点确定为极大值像素点。
4.根据权利要求1所述的方法,其特征在于,在确定所述边缘在所述图像样本中的位置信息之后,所述方法还包括:
对所述位置信息进行归一化处理,并将归一化处理后的位置信息作为所述图像样本的边缘特征。
5.根据权利要求1所述的方法,其特征在于,在确定所述边缘在所述图像样本中的位置信息之后,所述方法还包括:
确定所述边缘的尺寸参数,并将所述边缘在所述图像样本中的位置信息和所述边缘的尺寸参数的组合作为所述图像样本的边缘特征;其中,所述边缘的尺寸参数用于表征所述边缘在所述图像样本中所占的长度。
6.根据权利要求5所述的方法,其特征在于,在确定所述边缘的尺寸参数之后,所述方法还包括:
将尺寸参数表征的长度小于指定长度阈值的边缘从检测到的边缘中去除,并将剩余的边缘在所述图像样本中的位置信息和所述剩余的边缘的尺寸参数的组合作为所述图像样本的边缘特征。
7.根据权利要求1所述的方法,其特征在于,所述图像识别模型按照以下方式训练得到:
将所述图像样本的边缘特征输入初始的图像识别模型,得到所述边缘特征的预测图像类型;
确定所述预测图像类型与所述图像样本关联的图像类型之间的误差,并通过所述误差对所述初始的图像识别模型中的参数进行校正,以使得将所述边缘特征再次输入经过校正的图像识别模型后,得到的预测图像类型与所述图像样本关联的图像类型一致。
8.根据权利要求1所述的方法,其特征在于,所述图像识别模型的输出结果中包含分别表征全景图像和非全景图像的两个概率值;相应地,根据所述图像识别模型的输出结果判断所述目标图像是否为全景图像包括:
若所述两个概率值中的较大者表征全景图像,判定所述目标图像为全景图像。
9.一种全景图像的识别系统,其特征在于,所述系统包括:
目标图像处理单元,用于获取待分析的目标图像,并提取所述目标图像的目标边缘特征;
判断单元,用于将所述目标边缘特征输入图像识别模型,并根据所述图像识别模型的输出结果判断所述目标图像是否为全景图像;其中,所述图像识别模型,基于图像训练样本集中图像样本的边缘特征和所述图像样本关联的图像类型训练得到;所述图像类型用于表征关联的图像样本是否为全景图像;
其中,所述系统还包括:
位置信息确定单元,用于检测所述图像样本或所述目标图像中存在的边缘,并确定所述边缘在所述图像样本或所述目标图像中的位置信息;
边缘特征确定单元,用于将所述边缘的位置信息作为所述图像样本或所述目标图像的边缘特征。
10.根据权利要求9所述的系统,其特征在于,所述系统还包括:
尺寸参数确定单元,用于确定所述边缘的尺寸参数,所述边缘的尺寸参数用于表征所述边缘在所述图像样本中所占的长度;
相应地,所述边缘特征确定单元还用于将所述边缘在所述图像样本中的位置信息和所述边缘的尺寸参数的组合作为所述图像样本的边缘特征。
11.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现以下步骤:
获取待分析的目标图像,并提取所述目标图像的目标边缘特征;
将所述目标边缘特征输入图像识别模型,并根据所述图像识别模型的输出结果判断所述目标图像是否为全景图像;其中,所述图像识别模型,基于图像训练样本集中图像样本的边缘特征和所述图像样本关联的图像类型训练得到;所述图像类型用于表征关联的图像样本是否为全景图像;
其中,所述图像样本或所述目标图像的边缘特征按照以下方式提取:
检测所述图像样本或所述目标图像中存在的边缘,并确定所述边缘在所述图像样本或所述目标图像中的位置信息;
将所述边缘的位置信息作为所述图像样本或所述目标图像的边缘特征。
CN201810269437.3A 2018-03-29 2018-03-29 一种全景图像的识别方法、系统及计算机存储介质 Active CN108520263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810269437.3A CN108520263B (zh) 2018-03-29 2018-03-29 一种全景图像的识别方法、系统及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810269437.3A CN108520263B (zh) 2018-03-29 2018-03-29 一种全景图像的识别方法、系统及计算机存储介质

Publications (2)

Publication Number Publication Date
CN108520263A CN108520263A (zh) 2018-09-11
CN108520263B true CN108520263B (zh) 2020-08-25

Family

ID=63431211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810269437.3A Active CN108520263B (zh) 2018-03-29 2018-03-29 一种全景图像的识别方法、系统及计算机存储介质

Country Status (1)

Country Link
CN (1) CN108520263B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797839A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 特征提取方法、装置、存储介质及电子设备
CN112149701B (zh) * 2019-06-28 2024-05-10 杭州海康威视数字技术股份有限公司 一种图像识别方法、虚拟样本数据生成方法和存储介质
CN113470053B (zh) * 2020-03-30 2024-03-05 杭州海康威视数字技术股份有限公司 一种合成图分割方法、装置和电子设备
CN117561547A (zh) * 2021-06-23 2024-02-13 深圳市大疆创新科技有限公司 景别确定方法、装置及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106101743A (zh) * 2016-08-23 2016-11-09 广东欧珀移动通信有限公司 全景视频识别方法及装置
CN106446857A (zh) * 2016-09-30 2017-02-22 百度在线网络技术(北京)有限公司 全景区域的信息处理方法和装置
CN106815598A (zh) * 2016-12-15 2017-06-09 歌尔科技有限公司 一种360度全景图片的识别方法和装置
CN107330944A (zh) * 2017-06-27 2017-11-07 深圳市冠旭电子股份有限公司 一种全景图像的识别方法、装置、终端设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106101743A (zh) * 2016-08-23 2016-11-09 广东欧珀移动通信有限公司 全景视频识别方法及装置
CN106446857A (zh) * 2016-09-30 2017-02-22 百度在线网络技术(北京)有限公司 全景区域的信息处理方法和装置
CN106815598A (zh) * 2016-12-15 2017-06-09 歌尔科技有限公司 一种360度全景图片的识别方法和装置
CN107330944A (zh) * 2017-06-27 2017-11-07 深圳市冠旭电子股份有限公司 一种全景图像的识别方法、装置、终端设备和存储介质

Also Published As

Publication number Publication date
CN108520263A (zh) 2018-09-11

Similar Documents

Publication Publication Date Title
CN109325954B (zh) 图像分割方法、装置及电子设备
CN108460389B (zh) 一种识别图像中对象的类型预测方法、装置及电子设备
CN108520263B (zh) 一种全景图像的识别方法、系统及计算机存储介质
Gomes et al. Efficient 3D object recognition using foveated point clouds
CN109409398B (zh) 图像处理装置、图像处理方法以及存储介质
EP3843004A1 (en) Portrait segmentation method, model training method and electronic device
CN105144239A (zh) 图像处理装置、程序及图像处理方法
US8452091B2 (en) Method and apparatus for converting skin color of image
CN106648078B (zh) 应用于智能机器人的多模态交互方法及系统
CN105320945A (zh) 图像分类的方法及装置
CN108334805A (zh) 检测文档阅读顺序的方法和装置
CN111461070B (zh) 文本识别方法、装置、电子设备及存储介质
CN110889437B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN111832396B (zh) 文档布局的解析方法、装置、电子设备和存储介质
CN111414913B (zh) 一种文字识别方法以及识别装置、电子设备
CN111783665A (zh) 一种动作识别方法、装置、存储介质和电子设备
KR101961462B1 (ko) 객체 인식 방법 및 장치
JP2019220014A (ja) 画像解析装置、画像解析方法及びプログラム
WO2005041128A1 (ja) 顔画像候補領域検索方法及び顔画像候補領域検索システム並びに顔画像候補領域検索プログラム
CN111382638A (zh) 一种图像检测方法、装置、设备和存储介质
US20120314939A1 (en) Recognizing apparatus and method, program, and recording medium
CN113688261A (zh) 图像数据清理方法、装置、电子设备及可读存储介质
CN113449726A (zh) 文字比对及识别方法、装置
Kang et al. Combining random forest with multi-block local binary pattern feature selection for multiclass head pose estimation
CN116994049A (zh) 全自动针织横机及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200515

Address after: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Alibaba (China) Co.,Ltd.

Address before: 100080 Beijing Haidian District city Haidian street A Sinosteel International Plaza No. 8 block 5 layer A, C

Applicant before: Youku network technology (Beijing) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240628

Address after: 101400 Room 201, 9 Fengxiang East Street, Yangsong Town, Huairou District, Beijing

Patentee after: Youku Culture Technology (Beijing) Co.,Ltd.

Country or region after: China

Address before: 310052 room 508, 5th floor, building 4, No. 699 Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: Alibaba (China) Co.,Ltd.

Country or region before: China