CN111259686B - 一种图像解析方法以及装置 - Google Patents

一种图像解析方法以及装置 Download PDF

Info

Publication number
CN111259686B
CN111259686B CN201811455917.5A CN201811455917A CN111259686B CN 111259686 B CN111259686 B CN 111259686B CN 201811455917 A CN201811455917 A CN 201811455917A CN 111259686 B CN111259686 B CN 111259686B
Authority
CN
China
Prior art keywords
image
characteristic information
size
initial image
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811455917.5A
Other languages
English (en)
Other versions
CN111259686A (zh
Inventor
刘子鸾
吕帅林
张运超
秦超
孙瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Device Co Ltd
Original Assignee
Huawei Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Device Co Ltd filed Critical Huawei Device Co Ltd
Priority to CN201811455917.5A priority Critical patent/CN111259686B/zh
Priority to PCT/CN2019/120842 priority patent/WO2020108466A1/zh
Priority to EP19891275.0A priority patent/EP3889826A4/en
Priority to US17/298,380 priority patent/US11734953B2/en
Publication of CN111259686A publication Critical patent/CN111259686A/zh
Application granted granted Critical
Publication of CN111259686B publication Critical patent/CN111259686B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24143Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/02Affine transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像解析方法和装置,用于降低图像解析模型的体积,并提高图像解析的效率和准确度。本申请实施例方法包括:获取初始图像的特征信息;利用第一通道解析所述特征信息中的第一特征信息得到第一预测结果,并利用第二通道解析所述特征信息中的第二特征信息得到第二预测结果,所述第一特征信息的尺寸满足第一尺寸范围,所述第二特征信息的尺寸满足第二尺寸范围,所述第一尺寸范围小于所述第二尺寸范围;输出所述第一预测结果和所述第二预测结果作为所述初始图像的解析结果。

Description

一种图像解析方法以及装置
技术领域
本申请涉及计算机领域,尤其涉及一种图像解析方法以及装置。
背景技术
随着科技的发展,日常生活中越来越多的应用到了人脸识别技术,比如刷脸支付、人脸解锁手机屏幕等。而人脸识别的基础即为人脸部件解析。具体来说,人脸部件解析是指根据人类头部图片对五官、头发等部件进行识别和分解。具体部分包括眼睛、眉毛、上下嘴唇、口腔、耳朵、脸上皮肤、头发、眼镜、墨镜、脖子等。人脸部件解析的精度与人脸识别的方法息息相关。
而目前的人脸解析技术大多是基于卷积神经网络提取输入图像的基本特征,然后将通过不同视野域的超过两个的通道对特征进行解析,最后融合解析结果得到最终的解析结果。这样容易导致图像解析过程中图像解析模型的体积过大,占用空间大。
发明内容
本申请实施例提供了一种图像解析方法和装置,用于降低图像解析模型的体积,并提高图像解析的效率和准确度。
第一方面,本申请实施例提供一种图像解析方法,具体包括:该图像解析装置获取初始图像,然后提取该初始图像的特征信息;该图像解析装置根据预设的第一尺寸范围和第二尺寸范围将该初始图像的特征信息分为第一特征信息和第二特征信息,其中,该第一尺寸范围小于该第二尺寸范围;然后,该图像解析装置利用与该第一特征信息相匹配的第一通道解析该第一特征信息得到第一预测结果,并利用与该第二特征信息相匹配的第二通道解析该第二特征信息得到第二预测结果;最后该图像解析装置将该第一预测结果和该第二预测结果作为该初始图像的最终解析结果输出。
本实施例提供的技术方案中,该图像解析装置采用concatenate拼接的模式将该第一解析结果和该第二解析结果都进行保留并输出。
本申请实施例中提供的技术方案可以有效的将初始图像中的各部件进行分类解析,从而提高解析效率;同时减少了图像解析过程中的解析通道,降低了解析复杂度,从而降低了该图像解析模型的体积,使得图像解析模型占用空间变小。
可选的,该图像解析装置还可以根据特征信息的尺寸大小自适应地调整通道的视野域尺寸,一种示例方式中,该图像解析装置根据该第一特征信息确定该第一通道的视野域尺寸,并根据该第二特征信息确定该第二通道的视野域尺寸。为了实现在模型训练中可以动态、连续的进行视野域的调整,本实施例通过改变特征图的尺寸来调整各通道的视野域尺寸,具体的实现方式可以如下:
该图像解析装置确定该第一特征信息的特征图尺寸和该第二特征信息的特征图尺寸;然后该图像解析装置根据该第一特征信息的特征图尺寸调整该第一通道的视野域尺寸,并根据该第二特征信息的特征图尺寸调整该第二通道的视野域尺寸。比如,选定人脸较小区域(如眼睛、眉毛、嘴唇等),用于训练对应该区域的第一通道的最佳视野域;然后将后续卷积层的视野域固定,训练过程中由数据驱动,通过计算从而获得该较小部分区域的最佳视野域。同理,对于人脸上较大区域(如头发、鼻子、耳朵等)也可以采用同样的方法计算得到对应的第二通道的最佳视野域。
可以理解的是,人像可以分为人脸和人体,从而在不同的情况下,该第一通道和该第二通道的视野域可以具体定义为如下:在该图像解析装置识别人脸的情况下,该第一通道的视野域可以定义为43*43,该第二通道的视野域可以定义为67*67;在该图像解析装置识别人体的情况下,该第一通道的视野域可以定义为59*59,该第二通道的视野域可以定义为83*83。
本申请实施例中,该第一通道和该第二通道的视野域进行自适应调整,可以有效提高特征解析结果的精确度。
可选的,该图像解析装置在获取该初始图像的特征信息具体可以如下:对该初始图像进行预处理得到预处理图像,其中,该预处理图像的格式为预先设定;然后通过预设卷积层获取该预处理图像的特征信息作为该初始图像的特征信息。
可以理解的是,该图像解析装置在对该初始图像进行预处理时,可以对该初始图像进行仿射变换和/或缩放尺寸得到该预处理图像。即该图像解析装置对该初始图像进行校准、数据增强、尺寸放缩,使得该初始图片的规格达到训练过程中的图片格式,用于减少网络学习的难度。而为了使得该图像解析装置可以应用于手机、平板等手持智能终端上,该预设卷积层的数目需要相应的减少,同时卷积核的也需要相应的降低。本实施例中该图像解析装置可以设置该预设卷积层的数目为5层,卷积核分别为64、64、128、64、64。
第二方面,本申请实施例提供一种图像解析装置,该图像解析装置具有实现上述第一方面中图像解析装置行为的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的实现方式中,该图像解析装置包括用于执行以上第一方面各个步骤的单元或模块。例如,该装置包括:获取模块,用于获取初始图像的特征信息;处理模块,用于利用第一通道解析该特征信息中的第一特征信息得到第一预测结果,并利用第二通道解析该特征信息中的第二特征信息得到第二预测结果,该第一特征信息的尺寸满足第一尺寸范围,该第二特征信息的尺寸满足第二尺寸范围,该第一尺寸范围小于该第二尺寸范围;输出模块,用于输出该第一预测结果和该第二预测结果作为该初始图像的解析结果。
可选的,还包括存储模块,用于保存图像解析装置必要的程序指令和数据。
在一种可能的实现方式中,该装置包括:处理器和收发器,所述处理器被配置为支持图像解析装置执行上述第一方面提供的方法中相应的功能。可选的,此装置还可以包括存储器,所述存储器用于与处理器耦合,其保存图像解析装置必要的程序指令和数据。
在一种可能的实现方式中,当该装置为图像解析装置内的芯片时,该芯片包括:处理模块和输入输出模块。该输入输出模块例如可以是收发器,该收发器获取初始图像;所述处理模块例如可以是处理器,此处理器用于获取初始图像的特征信息;利用第一通道解析所述特征信息中的第一特征信息得到第一预测结果,并利用第二通道解析所述特征信息中的第二特征信息得到第二预测结果,所述第一特征信息的尺寸满足第一尺寸范围,所述第二特征信息的尺寸满足第二尺寸范围,所述第一尺寸范围小于所述第二尺寸范围;所述收发模块例如可以是该芯片上的输入/输出接口、管脚或电路等,将处理器为解析得到的第一解析结果和该第二解析结果传送给与此芯片耦合的其他芯片或模块中。该处理模块可执行存储单元存储的计算机执行指令,以支持图像解析装置执行上述第一方面提供的方法。可选地,所述存储单元可以为所述芯片内的存储单元,如寄存器、缓存等,所述存储单元还可以是位于所述芯片外部的存储单元,如只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)等。
在一种可能的实现方式中,该装置包括:处理器,基带电路,射频电路和天线。其中处理器用于实现对各个电路部分功能的控制。可选的,该装置还包括存储器,其保存基站必要的程序指令和数据。
其中,上述任一处提到的处理器,可以是一个通用中央处理器(CentralProcessing Unit,CPU),微处理器,特定应用集成电路(application-specificintegrated circuit,ASIC),或一个或多个用于控制上述各方面图像解析装置的程序执行的集成电路。
第三方面,本申请实施例提供一种计算机可读存储介质,所述计算机存储介质存储有计算机指令,所述计算机指令用于执行上述第一方面中任意可能的实施方式所述的方法。
第四方面,本申请实施例提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各方面中任意一方面所述的方法。
第五方面,本申请提供了一种芯片系统,该芯片系统包括处理器,用于支持图像解析装置实现上述方面中所涉及的功能,例如生成或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器,用于保存图像解析装置必要的程序指令和数据,以实现上述各方面中任意一方面的功能。该芯片系统可以由芯片构成,也可以包含芯片和其他分立器件。
从以上技术方案可以看出,本申请实施例具有以下优点:该图像解析装置根据预设的第一尺寸范围和第二尺寸范围将初始图像的特征信息分为第一特征信息和第二特征信息,其中,第一尺寸范围小于第二尺寸范围;并利用与该第一特征信息相匹配的第一通道解析该第一特征信息得到第一预测结果,利用与该第二特征信息相匹配的第二通道解析该第二特征信息得到第二预测结果,最终将该第一预测结果和该第二预测结果作为初始图像的解析结果。这样可以有效的将初始图像中的各部件进行分类解析,从而提高解析效率;同时减少了图像解析过程中的解析通道,降低了解析复杂度,从而降低了该图像解析模型的体积,使得图像解析模型占用空间变小。
附图说明
图1为目前图像解析方法的流程图;
图2为本申请实施例中图像解析方法的一个实施例示意图;
图3为本申请实施例中图像变换的一个示意图;
图4为本申请实施例中图像变换的另一个示意图;
图5为本申请实施例中图像解析的一个流程示意图;
图6为本申请实施例中图像解析装置的一个实施例示意图;
图7为本申请实施例中图像解析装置的另一个实施例示意图。
具体实施方式
本申请实施例提供了一种图像解析方法和装置,用于降低图像解析模型的体积,并提高图像解析的效率和准确度。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
随着科技的发展,日常生活中越来越多的应用到了人脸识别技术,比如刷脸支付、人脸解锁手机屏幕等。而人脸识别的基础即为人脸部件解析。具体来说,人脸部件解析是指根据人类头部图片对五官、头发等部件进行识别和分解。具体部分包括眼睛、眉毛、上下嘴唇、口腔、耳朵、脸上皮肤、头发、眼镜、墨镜、脖子等。人脸部件解析的精度与人脸识别的方法息息相关。如图1所示,目前的人脸解析技术大多是基于卷积神经网络提取输入图像的基本特征,然后将通过不同视野域的超过两个的通道对特征进行解析,最后融合解析结果得到最终的解析结果。这样容易导致图像解析过程中图像解析模型的体积过大,占用空间大。
为了解决这一问题,本申请实施例提供如下技术方案:该图像解析装置获取初始图像,然后提取该初始图像的特征信息;该图像解析装置根据预设的第一尺寸范围和第二尺寸范围将该初始图像的特征信息分为第一特征信息和第二特征信息,其中,该第一尺寸范围小于该第二尺寸范围;然后,该图像解析装置利用与该第一特征信息相匹配的第一通道解析该第一特征信息得到第一预测结果,并利用与该第二特征信息相匹配的第二通道解析该第二特征信息得到第二预测结果;最后该图像解析装置将该第一预测结果和该第二预测结果作为该初始图像的最终解析结果输出。
具体情况请参阅图2所示,本申请实施例中一种图像解析方法的一个实施例包括:
201、该图像解析装置获取该初始图像的特征信息。
该图像解析装置获取初始图像,然后通过预设卷积层对该初始图像进行特征提取得到该初始图像的特征信息。
该图像解析方法为了可以应用于手机等智能终端上,该预设卷积层的卷积层数目和卷积核需要减少。本实施例中,该图像解析装置中的预设卷积层的数目为5层,卷积核分别为64、64、128、64、64。
可选的,该图像解析装置还可以对该初始图像通过仿射和/或缩放尺寸进行预处理得到预设格式的预处理图像,这样可以减少网络学习的难度。如图3所示,该图像解析装置预先设定该预处理图像的尺寸为385*265,而输入的初始图像为400*400。这时,该图像解析装置可以将该初始图像缩放尺寸得到该预处理图像。而如图4所示,该图像解析装置预先设定该预处理图像需要选择人脸的正面形象,而输入的初始图像的人脸为侧面。这时,该图像解析装置将该初始图像进行仿射变换得到正面形象。可以理解的是,该图像解析装置在获取该初始图像的预处理图像时还可以采用数据增强等方式,只要可以得到预先设定格式的预处理图像即可,具体方式此处不做限定。同时,该预设格式还可以有其他方式,比如,没有阴影、面部特征突出等,并不限于本实施例中举例的格式。
202、该图像解析装置利用第一通道解析该特征信息中的第一特征信息得到第一预测结果,并利用第二通道解析该特征信息中的第二特征信息得到第二预测结果,其中,该第一特征信息的尺寸满足第一尺寸范围,该第二特征信息的尺寸满足第二尺寸范围,该第一尺寸范围小于该第二尺寸范围。
人面部的特征在尺寸上基本可以分为两类,即相当于本实施例中的第一特征信息和第二特征信息,其中,该第一特征信息的尺寸包含于第一尺寸范围,该第二特征信息的尺寸包含于第二尺寸范围,该第一尺寸范围小于该第二尺寸范围。比如,该图像解析装置将人脸上的眼睛、眉毛等较小尺寸的部分归于该第一尺寸范围,将脸部、头发等较大尺寸的部分归于该第二尺寸范围。该图像解析装置利用该第一通道解析该第一特征信息得到第一预测结果,利用该第二通道解析该第二特征信息得到该第二预测结果。这样可以有效的降低模型复杂度,并保持较高的识别精度。同理,对于人身体部位来说,也可以分成较小或较大的两部分。
可选的,该图像解析装置在利用该第一通道和该第二通道解析特征信息时,还可以自适应的调整各自的视野域尺寸。具体操作如下:该图像解析装置确定该第一特征信息的特征图尺寸和该第二特征信息的特征图尺寸;然后根据该第一特征信息的特征图尺寸确定该第一通道的视野域尺寸,根据该第二特征信息的特征图尺寸确定该第二通道的视野域尺寸。可以理解的是,人像可以分为人脸和人体,从而在不同的情况下,该第一通道和该第二通道的视野域可以具体定义为如下:在该图像解析装置识别人脸的情况下,该第一通道的视野域可以定义为43*43,该第二通道的视野域可以定义为67*67;在该图像解析装置识别人体的情况下,该第一通道的视野域可以定义为59*59,该第二通道的视野域可以定义为83*83。
203、该图像解析装置输出该第一预测结果和该第二预测结果作为该初始图像的解析结果。
该图像解析装置根据该第一预测结果和该第二预测结果作为该初始图像的解析结果输出,并对。本实施例中,该图像解析装置直接将该第一预测结果和该第二预测结果都保留可以有效保留更多的特征信息,从而使得各部位之间的特征信息不会受到影响。
具体来说,该图像解析的过程可以如图5所示:该图像解析装置获取到一个初始图像,然后通过预处理模块对该初始图像进行处理得到预处理图像;再通过卷积层对该预处理图像进行特征提取,得到特征信息;然后通过膨胀层(inflationn层)确定该第一通道和该第二通道的视野域尺寸;然后通过空洞卷积层对该预处理图像的特征信息进行解析得到相应的预测结果;最后采用Concat拼接方式对该预测结果进行特征融合;最后输出该解析结果。
本实施例中,该图像解析装置可以有效的将初始图像中的各部件进行分类解析,从而提高解析效率;同时减少了图像解析过程中的解析通道,降低了解析复杂度,从而降低了该图像解析模型的体积,使得图像解析模型占用空间变小。同时,对于两个通道的视野域进行自适应调整,可以有效的保留各个部件的特征信息,提高特征解析的精度。
上面对本申请实施例中的图像解析方法进行了描述,下面对本申请实施例中图像解析装置进行描述。
具体请参阅图6所示,本申请实施例中该图像解析装置600包括:获取模块601、处理模块602和输出模块603。图像解析装置600可以是终端,也可以是终端内的一个或多个芯片。图像解析装置600可以用于执行上述方法实施例中的部分或全部步骤。
例如,该获取模块601可以用于执行上述方法实施例中的步骤201。该处理模块602,用于执行上述方法实施例中的步骤202。该输出模块603,用于执行上述方法实施例中的步骤203。例如,获取模块601可以获取初始图像的特征信息;该处理模块602,可以利用第一通道解析该特征信息中的第一特征信息得到第一预测结果,并利用第二通道解析该特征信息中的第二特征信息得到第二预测结果,该第一特征信息的尺寸满足第一尺寸范围,该第二特征信息的尺寸满足第二尺寸范围,该第一尺寸范围小于该第二尺寸范围;该输出模块603,可以输出该第一预测结果和该第二预测结果作为该初始图像的解析结果。
可选的,图像解析装置600还包括存储模块,此存储模块于处理模块耦合,使得处理模块可执行存储模块中存储的计算机执行指令以实现上述方法中图像解析装置的功能。在一个示例中,图像解析装置600中可选的包括的存储模块可以为芯片内的存储单元,如寄存器、缓存等,该存储模块还可以是位于芯片外部的存储单元,如只读存储器(read-onlymemory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)等。
应理解,上述图6对应实施例中图像解析装置的各模块之间所执行的流程与前述图2中对应方法实施例中的图像解析装置执行的流程类似,具体此处不再赘述。
图7示出了上述实施例中一种图像解析装置700可能的结构示意图,该图像解析装置700可以配置成是前述图像解析装置。该装置700可以包括:处理器702、计算机可读存储介质/存储器703、收发器704、输入设备705和输出设备706,以及总线701。其中,处理器,收发器,计算机可读存储介质等通过总线连接。本申请实施例不限定上述部件之间的具体连接介质。
一个示例中,该收发器704接收初始图像。
一个示例中,处理器702可以包括基带电路,例如,可以对初始图像进行预处理,并利用第一通道解析该特征信息中的第一特征信息得到第一预测结果,并利用第二通道解析该特征信息中的第二特征信息得到第二预测结果,该第一特征信息的尺寸满足第一尺寸范围,该第二特征信息的尺寸满足第二尺寸范围,该第一尺寸范围小于该第二尺寸范围。
又一个示例中,处理器702可以运行操作系统,控制各个设备和器件之间的功能。收发器704可以包括基带电路和射频电路。
该收发器704与该处理器702可以实现上述图2中相应的步骤,具体此处不做赘述。
可以理解的是,图7仅仅示出了图像解析装置的简化设计,在实际应用中,图像解析装置可以包含任意数量的收发器,处理器,存储器等,而所有的可以实现本申请的图像解析装置都在本申请的保护范围之内。
上述图像解析装置700中涉及的处理器702可以是通用处理器,例如通用中央处理器(CPU)、网络处理器(network processor,NP)、微处理器等,也可以是特定应用集成电路(application-specific integrated circBIt,ASIC),或一个或多个用于控制本申请方案程序执行的集成电路。还可以是数字信号处理器(digital signal processor,DSP)、现场可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。控制器/处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等等。处理器通常是基于存储器内存储的程序指令来执行逻辑和算术运算。
上述涉及的总线701可以是外设部件互连标准(peripheral componentinterconnect,PCI)总线或扩展工业标准结构(extended industry standardarchitecture,EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
上述涉及的计算机可读存储介质/存储器703还可以保存有操作系统和其他应用程序。具体地,程序可以包括程序代码,程序代码包括计算机操作指令。更具体的,上述存储器可以是只读存储器(read-only memory,ROM)、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器(random access memory,RAM)、可存储信息和指令的其他类型的动态存储设备、磁盘存储器等等。存储器703可以是上述存储类型的组合。并且上述计算机可读存储介质/存储器可以在处理器中,还可以在处理器的外部,或在包括处理器或处理电路的多个实体上分布。上述计算机可读存储介质/存储器可以具体体现在计算机程序产品中。举例而言,计算机程序产品可以包括封装材料中的计算机可读介质。
可以替换的,本申请实施例还提供一种通用处理系统,例如通称为芯片,该通用处理系统包括:提供处理器功能的一个或多个微处理器;以及提供存储介质的至少一部分的外部存储器,所有这些都通过外部总线体系结构与其它支持电路连接在一起。当存储器存储的指令被处理器执行时,使得处理器执行基站在图2该实施例中的图像解析方法中的部分或全部步骤,例如图2中的步骤202和/或用于本申请所描述的技术的其它过程。
结合本申请公开内容所描述的方法或者算法的步骤可以硬件的方式来实现,也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成,软件模块可以被存放于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外,该ASIC可以位于用户设备中。当然,处理器和存储介质也可以作为分立组件存在于用户设备中。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,该单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (14)

1.一种图像解析方法,应用于人像解析,其特征在于,包括:
获取初始图像的特征信息;
利用第一通道解析所述特征信息中的第一特征信息得到第一预测结果,并利用第二通道解析所述特征信息中的第二特征信息得到第二预测结果,所述第一特征信息的尺寸满足第一尺寸范围,所述第二特征信息的尺寸满足第二尺寸范围,所述第一尺寸范围小于所述第二尺寸范围;
输出所述第一预测结果和所述第二预测结果作为所述初始图像的解析结果;
确定所述第一特征信息的特征图尺寸和所述第二特征信息的特征图尺寸;
根据所述第一特征信息的特征图尺寸确定所述第一通道的视野域尺寸,并根据所述第二特征信息的特征图尺寸确定所述第二通道的视野域尺寸。
2.根据权利要求1所述的方法,其特征在于,所述第一通道的视野域尺寸为43*43或59*59,所述第二通道的视野域尺寸为67*67或83*83。
3.根据权利要求1所述的方法,其特征在于,所述获取初始图像的特征信息包括:
对所述初始图像进行预处理得到预处理图像,所述预处理图像的格式为预先设定;
通过预设卷积层获取所述预处理图像的特征信息作为所述初始图像的特征信息。
4.根据权利要求2所述的方法,其特征在于,所述获取初始图像的特征信息包括:
对所述初始图像进行预处理得到预处理图像,所述预处理图像的格式为预先设定;
通过预设卷积层获取所述预处理图像的特征信息作为所述初始图像的特征信息。
5.根据权利要求3所述的方法,其特征在于,对所述初始图像进行预处理得到预处理图像包括:
对所述初始图像进行仿射变换和/或缩放尺寸得到所述预处理图像。
6.根据权利要求4所述的方法,其特征在于,对所述初始图像进行预处理得到预处理图像包括:
对所述初始图像进行仿射变换和/或缩放尺寸得到所述预处理图像。
7.一种图像解析装置,其特征在于,包括:
获取模块,用于获取初始图像的特征信息;
处理模块,用于利用第一通道解析所述特征信息中的第一特征信息得到第一预测结果,并利用第二通道解析所述特征信息中的第二特征信息得到第二预测结果,所述第一特征信息的尺寸满足第一尺寸范围,所述第二特征信息的尺寸满足第二尺寸范围,所述第一尺寸范围小于所述第二尺寸范围;
输出模块,用于输出所述第一预测结果和所述第二预测结果作为所述初始图像的解析结果;
所述处理模块,具体用于确定所述第一特征信息的特征图尺寸和所述第二特征信息的特征图尺寸;
根据所述第一特征信息的特征图尺寸确定所述第一通道的视野域尺寸,并根据所述第二特征信息的特征图尺寸确定所述第二通道的视野域尺寸。
8.根据权利要求7所述的装置,其特征在于,所述第一通道的视野域尺寸为43*43或59*59,所述第二通道的视野域尺寸为67*67或83*83。
9.根据权利要求7任一项所述的装置,其特征在于,所述获取模块,具体用于对所述初始图像进行预处理得到预处理图像,所述预处理图像的格式为预先设定;
通过预设卷积层获取所述预处理图像的特征信息作为所述初始图像的特征信息。
10.根据权利要求8所述的装置,其特征在于,所述获取模块,具体用于对所述初始图像进行预处理得到预处理图像,所述预处理图像的格式为预先设定;
通过预设卷积层获取所述预处理图像的特征信息作为所述初始图像的特征信息。
11.根据权利要求9所述的装置,其特征在于,所述获取模块,具体用于对所述初始图像进行仿射变换和/或缩放尺寸得到所述预处理图像。
12.根据权利要求10所述的装置,其特征在于,所述获取模块,具体用于对所述初始图像进行仿射变换和/或缩放尺寸得到所述预处理图像。
13.一种图像解析装置,其特征在于,包括:处理器和存储器,其中,所述存储器中存有计算机可读程序,所述处理器通过运行所述存储器中的程序,以用于完成权利要求1至6中任一项所述的方法。
14.一种计算机可读存储介质,包括指令,当所述指令在计算机上运行时,所述计算机执行上述权利要求1至权利要求6中任一项所述的方法。
CN201811455917.5A 2018-11-30 2018-11-30 一种图像解析方法以及装置 Active CN111259686B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811455917.5A CN111259686B (zh) 2018-11-30 2018-11-30 一种图像解析方法以及装置
PCT/CN2019/120842 WO2020108466A1 (zh) 2018-11-30 2019-11-26 一种图像解析方法以及装置
EP19891275.0A EP3889826A4 (en) 2018-11-30 2019-11-26 IMAGE ANALYSIS METHOD AND APPARATUS
US17/298,380 US11734953B2 (en) 2018-11-30 2019-11-26 Image parsing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811455917.5A CN111259686B (zh) 2018-11-30 2018-11-30 一种图像解析方法以及装置

Publications (2)

Publication Number Publication Date
CN111259686A CN111259686A (zh) 2020-06-09
CN111259686B true CN111259686B (zh) 2024-04-09

Family

ID=70852259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811455917.5A Active CN111259686B (zh) 2018-11-30 2018-11-30 一种图像解析方法以及装置

Country Status (4)

Country Link
US (1) US11734953B2 (zh)
EP (1) EP3889826A4 (zh)
CN (1) CN111259686B (zh)
WO (1) WO2020108466A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205906B (zh) * 2022-09-15 2022-12-23 山东能源数智云科技有限公司 基于人体解析的仓储作业人员的检测方法、装置及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609536A (zh) * 2017-09-29 2018-01-19 百度在线网络技术(北京)有限公司 信息生成方法和装置
CN108090468A (zh) * 2018-01-05 2018-05-29 百度在线网络技术(北京)有限公司 用于检测人脸的方法和装置
CN108197593A (zh) * 2018-01-23 2018-06-22 深圳极视角科技有限公司 基于三点定位方法的多尺寸人脸表情识别方法及装置
CN108229504A (zh) * 2018-01-29 2018-06-29 深圳市商汤科技有限公司 图像解析方法及装置
CN108279820A (zh) * 2017-12-15 2018-07-13 深圳市金立通信设备有限公司 悬浮按钮的控制方法、终端及计算机可读存储介质
CN108287650A (zh) * 2017-12-15 2018-07-17 维沃移动通信有限公司 基于移动终端的单手操作方法及移动终端
CN108446694A (zh) * 2017-02-16 2018-08-24 杭州海康威视数字技术股份有限公司 一种目标检测方法及装置
CN108536498A (zh) * 2017-12-29 2018-09-14 广东欧珀移动通信有限公司 电子装置、聊天界面的控制方法及相关产品
CN108733298A (zh) * 2018-05-17 2018-11-02 Oppo广东移动通信有限公司 触控信息的处理方法、装置、存储介质及电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113406077A (zh) * 2012-10-03 2021-09-17 皇家飞利浦有限公司 组合的样品检查
KR20190053255A (ko) * 2016-10-04 2019-05-17 김기백 영상 데이터 부호화/복호화 방법 및 장치
US10528846B2 (en) 2016-11-14 2020-01-07 Samsung Electronics Co., Ltd. Method and apparatus for analyzing facial image
WO2018099473A1 (zh) * 2016-12-02 2018-06-07 北京市商汤科技开发有限公司 场景分析方法和系统、电子设备
US10685446B2 (en) * 2018-01-12 2020-06-16 Intel Corporation Method and system of recurrent semantic segmentation for image processing
CN108062756B (zh) 2018-01-29 2020-04-14 重庆理工大学 基于深度全卷积网络和条件随机场的图像语义分割方法
CN108830855B (zh) * 2018-04-02 2022-03-25 华南理工大学 一种基于多尺度低层特征融合的全卷积网络语义分割方法
WO2020077525A1 (en) * 2018-10-16 2020-04-23 Shanghai New York University Systems and methods for model for incremental and adaptive object recognition using hierarchical representations

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446694A (zh) * 2017-02-16 2018-08-24 杭州海康威视数字技术股份有限公司 一种目标检测方法及装置
CN107609536A (zh) * 2017-09-29 2018-01-19 百度在线网络技术(北京)有限公司 信息生成方法和装置
CN108279820A (zh) * 2017-12-15 2018-07-13 深圳市金立通信设备有限公司 悬浮按钮的控制方法、终端及计算机可读存储介质
CN108287650A (zh) * 2017-12-15 2018-07-17 维沃移动通信有限公司 基于移动终端的单手操作方法及移动终端
CN108536498A (zh) * 2017-12-29 2018-09-14 广东欧珀移动通信有限公司 电子装置、聊天界面的控制方法及相关产品
CN108090468A (zh) * 2018-01-05 2018-05-29 百度在线网络技术(北京)有限公司 用于检测人脸的方法和装置
CN108197593A (zh) * 2018-01-23 2018-06-22 深圳极视角科技有限公司 基于三点定位方法的多尺寸人脸表情识别方法及装置
CN108229504A (zh) * 2018-01-29 2018-06-29 深圳市商汤科技有限公司 图像解析方法及装置
CN108733298A (zh) * 2018-05-17 2018-11-02 Oppo广东移动通信有限公司 触控信息的处理方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
EP3889826A4 (en) 2022-01-19
EP3889826A1 (en) 2021-10-06
US11734953B2 (en) 2023-08-22
CN111259686A (zh) 2020-06-09
WO2020108466A1 (zh) 2020-06-04
US20220058427A1 (en) 2022-02-24

Similar Documents

Publication Publication Date Title
US10579862B2 (en) Method, device, and computer readable storage medium for detecting feature points in an image
CN109558864B (zh) 人脸关键点检测方法、装置及存储介质
US10936919B2 (en) Method and apparatus for detecting human face
CN107909065B (zh) 用于检测人脸遮挡的方法及装置
EP3719699B1 (en) Living body detection method, apparatus and device
CN108090450B (zh) 人脸识别方法和装置
CN107633237B (zh) 图像背景分割方法、装置、设备及介质
CN110020582B (zh) 基于深度学习的人脸情绪识别方法、装置、设备及介质
US20140023269A1 (en) Feature descriptor for robust facial expression recognition
CN110781770B (zh) 基于人脸识别的活体检测方法、装置及设备
CN110929805A (zh) 神经网络的训练方法、目标检测方法及设备、电路和介质
Lai et al. Proposed FPGA hardware architecture for high frame rate (≫ 100 fps) face detection using feature cascade classifiers
WO2023284182A1 (en) Training method for recognizing moving target, method and device for recognizing moving target
US10496876B2 (en) Specular light shadow removal for image de-noising
CN110263737A (zh) 图像处理方法、图像处理装置、终端设备及可读存储介质
CN110826372A (zh) 人脸特征点检测方法及装置
CN111259686B (zh) 一种图像解析方法以及装置
US10769795B2 (en) Image processing method and device
US20210097377A1 (en) Method and apparatus for image recognition
CN111178495A (zh) 用于检测图像中极小物体的轻量卷积神经网络
CN113807166A (zh) 图像处理方法、装置及存储介质
CN113642359B (zh) 人脸图像生成方法、装置、电子设备及存储介质
WO2020119058A1 (zh) 微表情描述方法、装置、计算机装置及可读存储介质
CN110796147A (zh) 图像分割方法及相关产品
KR20210087494A (ko) 인체 방향 검출 방법, 장치, 전자 기기 및 컴퓨터 저장 매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant