CN109658335A - 图像处理方法、装置、存储介质和电子设备 - Google Patents

图像处理方法、装置、存储介质和电子设备 Download PDF

Info

Publication number
CN109658335A
CN109658335A CN201811586353.9A CN201811586353A CN109658335A CN 109658335 A CN109658335 A CN 109658335A CN 201811586353 A CN201811586353 A CN 201811586353A CN 109658335 A CN109658335 A CN 109658335A
Authority
CN
China
Prior art keywords
image
dressing
matching
library
sampling observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811586353.9A
Other languages
English (en)
Other versions
CN109658335B (zh
Inventor
赵琦
徐鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lazas Network Technology Shanghai Co Ltd
Original Assignee
Lazas Network Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lazas Network Technology Shanghai Co Ltd filed Critical Lazas Network Technology Shanghai Co Ltd
Priority to CN201811586353.9A priority Critical patent/CN109658335B/zh
Publication of CN109658335A publication Critical patent/CN109658335A/zh
Application granted granted Critical
Publication of CN109658335B publication Critical patent/CN109658335B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像处理方法、装置、存储介质和电子设备,其中,该方法包括:接收待审核着装图像;将着装图像与预定的基准图像进行图像拼接操作,以生成抽检图像;将抽检图像与预定图像库进行图像匹配操作;根据匹配结果确定对着装图像的审核结果。通过本发明,可以高效精确地实现对待审核着装图像的审核。

Description

图像处理方法、装置、存储介质和电子设备
技术领域
本发明公开涉及图像处理领域,具体涉及一种图像处理方法、装置、存储介质和电子设备。
背景技术
在配送市场,为了提高配送员装备覆盖率,增加各自品牌物流配送量及增加品牌曝光,通常会要求配送员统一着装,并对配送员进行着装抽检。
目前,主要是通过人工审核来对着装进行抽检。人工抽检的主要缺陷在于:人工审核耗时大、效率低、质量也没法得到保证,另外人工抽检需要维持一批运营人员去手工操作,成本较高。
发明内容
有鉴于此,本发明实施例提供一种图像处理方法、装置、存储介质和电子设备,以解决现有技术中的人工抽验着装效率低且成本较高的问题。
根据本发明实施例的第一方面,提供一种图像处理方法,该方法包括:接收待审核着装图像;将着装图像与预定的基准图像进行图像拼接操作,以生成抽检图像;将抽检图像与预定图像库进行图像匹配操作;根据匹配结果确定对着装图像的审核结果。
根据本发明实施例的第二方面,提供一种图像处理装置,该装置包括:图像接收单元,用于接收待审核着装图像;图像拼接单元,用于将着装图像与预定的基准图像进行图像拼接操作,以生成抽检图像;图像匹配单元,用于将抽检图像与预定图像库进行图像匹配操作;审核结果确定单元,用于根据匹配结果确定对着装图像的审核结果。
根据本发明实施例的第三方面,提供一种计算机可读存储介质,其上存储计算机程序指令,其中,所述计算机程序指令在被处理器执行时实现如第一方面所述的方法。
根据本发明实施例的第四方面,提供一种电子设备,包括存储器和处理器,其中,所述存储器用于存储一条或多条计算机程序指令,其中,所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面所述的方法。
本发明实施例通过将待审核着装图像与预定基准图像进行图像拼接后生成抽检图像,之后将该抽检图像与预定图像库中的任一图像进行图像匹配,并根据匹配结果来对着装图像进行审核,本发明实施例可以高效精确地实现对待审核着装图像的审核,从而可以克服现有技术中的由于需要人工审核着装导致的效率低的问题,由于本发明实施例无需人工审核,因而也无需维持一批审核运营人员,进而可以降低成本。
附图说明
通过以下参照附图对本发明实施例的描述,本发明的上述以及其它目的、特征和优点将更为清楚,在附图中:
图1是根据本发明实施例的种图像处理方法的流程图;
图2是根据本发明实施例的对配送员进行着装审核的流程图;
图3是根据本发明实施例的图像处理装置的结构框图;
图4是根据本发明实施例的图像拼接单元302的结构框图;
图5是根据本发明实施例的图像处理装置的详细结构框图;
图6是根据本发明实施例的预定图像库生成单元305的结构框图;
图7是根据本发明实施例的预处理模块30521的结构框图;
图8是根据本发明实施例的点云操作模块30522的结构框图;
图9是根据本发明实施例的图像匹配单元303的结构框图;
图10是根据本发明实施例的图像处理装置的应用场景图;
图11是根据本发明实施例的电子设备的示意图。
具体实施方式
以下基于实施例对本发明进行描述,但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中,详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质,公知的方法、过程、流程、元件和电路并没有详细叙述。
此外,本领域普通技术人员应当理解,在此提供的附图都是为了说明的目的,并且附图不一定是按比例绘制的。
除非上下文明确要求,否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义;也就是说,是“包括但不限于”的含义。
在本发明的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本发明实施例提供一种图像处理方法,图1是该方法的流程图,如图1所示,该方法包括:
步骤101,接收待审核着装图像;
步骤102,将着装图像与预定的基准图像进行图像拼接操作,以生成抽检图像;
步骤103,将抽检图像与预定图像库进行图像匹配操作;
步骤104,根据匹配结果确定对着装图像的审核结果。
本发明实施例通过将待审核着装图像与预定基准图像进行图像拼接后生成抽检图像,之后将该抽检图像与预定图像库中的任一图像进行图像匹配,并根据匹配结果来对着装图像进行审核,本发明实施例可以高效精确地实现对待审核着装图像的审核,从而可以克服现有技术中的由于需要人工审核着装导致的效率低的问题,由于本发明实施例无需人工审核,因而也无需维持一批审核运营人员,进而可以降低成本。
上述待审核着装图像可以通过由待审核人员的终端设备拍摄后上传来获取;预定基准图像可以是预先存储的待审核人员的正面着装图像。
在步骤102中,将着装图像与基准图像进行图像拼接操作以生成抽检图像具体包括:将着装图像与基准图像进行图像匹配操作;将图像匹配操作后的着装图像与基准图像进行重投影操作;将重投影操作后的着装图像与基准图像进行图像缝合和图像融合操作,以生成抽检图像。通过图像拼接操作,可以获得高分辨率、质量的抽检图像,基于此抽检图像进行配送员着装抽检,可以提高抽检准确率。
具体而言,由于着装图像与基准图像都是同一个人,通过进行图像匹配操作,可以建立两个图像之间的几何对应关系;重投影操作可以通过图像的几何变换,把两个图像转换成一个共同的坐标系;图像缝合操作通过合并重叠部分的像素值并保持没有重叠的像素值使之生成更大画布的图像;图像融合操作通过几何和光度偏移错误通常导致图像的不连续,并在两个图像之间的边界附近产生可见的接缝。因此,为了减小接缝的出现,需要在缝合时或缝合之后使用混合算法,这样可以拼成一幅大型的无缝高分辨率图像,即,抽检图像。在缝合时或缝合之后使用的混合算法可以参考现有技术中的算法。
上述的预定图像库可以预先通过如下方式生成:接收待审核人员的多个多角度着装图像;根据多个多角度着装图像生成待审核人员的预定图像库。
在实际操作中,可以对这多个多角度着装图像进行三维建模以生成待审核人员的预定图像库。基于三维建模技术生成的预定图像库,可以支持配送员更高要求的着装需求。
具体地,首先对这多个多角度着装图像进行预处理,随后对预处理后的多个图像进行点云操作,其中,点云操作包括稀疏点云操作和稠密点云操作;之后,对点云操作后的多个图像进行表面重构操作以及纹理重构操作,最后将纹理重构操作后的多个图像填充至三维模型中生成上述预定图像库。
这里的预处理可以包括对图像进行特征检测、特征提取、特征匹配以及过滤误匹配特征操作,这样可以提高图像的特征匹配精确度。
在步骤103中,将抽检图像与预定图像库进行图像匹配操作具体包括:分别提取抽检图像和预定图像库中的任一图像的特征点,得到抽检图像特征点数量和任一图像特征点数量;将抽检图像和任一图像进行匹配,得到匹配特征点数量;根据抽检图像特征点数量、任一图像特征点数量和匹配特征点数量来确定图像匹配结果。通过图像匹配可以实现尽可能准确、全面的抽检效果。
具体来说,假设抽检图像特征点数量为a、任一图像特征点数量为b、匹配特征点数量为c,则F可以通过如下公式表示:
F=c/min(a,b) (1)
其中,min()表示取小操作,a,b,c为正整数。
此时,图像匹配结果可以根据F的值和预定阈值范围(m,n)来确定,当F的值大于m时,表示图像匹配结果为匹配成功;当F的值小于n,表示图像匹配结果为匹配失败;当F的值位于m和n之间,此时图像匹配结果为需要人工审核,其中,0<n<m<1,m和n均为小于1的实数。通过设置阈值范围,可以灵活调控着装严格度。
当图像匹配结果为匹配成功时,表示对着装图像审核的结果为审核通过;当图像匹配结果为匹配失败时,表示对着装图像审核的结果为审核失败;当图像匹配结果为需要人工审核时,表示对该待审核人员的着装需要人工来审核。
为了更好地理解本发明实施例,以下给出一实例。
例如,预先设置预定阈值范围(0.6,0.4),假设提取到的抽检图像特征点数量(a)为400,提取到的任一图像特征点数量(b)为500。
当这两个图像匹配到的匹配特征点数量(c)为400时,根据上述公式(1),可知F值为1,大于0.6,此时,该抽检图像的图像匹配结果为匹配成功,也就是说,待抽检图像审核通过。
当这两个图像匹配到的匹配特征点数量(c)为100时,则根据上述公式(1),可知F值为0.25,小于0.4,则此时,该抽检图像的图像匹配结果为匹配失败,也就是说,待抽检图像审核失败。
当这两个图像匹配到的匹配特征点数量(c)为200时,则根据上述公式(1),可知F值为0.5,在0.4与0.6之间,则此时,该抽检图像的图像匹配结果为人工审核,也就是说,待抽检人员的着装需要人工来审核。
图2是根据本发明实施例的对配送员进行着装审核的流程图,如图2所示,该流程包括:
步骤201,配送员上传多角度本人着装图像到服务器端,着装图像尽可能覆盖到配送员背面,服务器选中其中一张正面高清照为基准照片;
步骤202,对上传的多个图像应用离线三维建模技术生成预定图像库,具体包括步骤2021-2026:
步骤2021,使用尺度不变特征变换(Scale-invariant feature transform,SIFT)算法对上传的多个图像进行特征检测、特征提取、特征匹配;
步骤2022,对进行特征检测、特征提取、特征匹配后的多个图像使用随机抽样一致性(Random Sample Consensus,RANSAC)算法进行过滤误匹配特征操作,以提高特征匹配精确度;
步骤2023,使用运动结构(Structure from Motion,SFM)算法迭代求解出相机参数、三维点坐标信息,重建出三维稀疏点云;
步骤2024,通过聚类多视角立体视觉算法(Cluster Multi-View Stereo,CMVS)对图像进行聚类,以减少稠密重建数据量,而后利用基于面片的多视角立体视觉算法(Patch-based MVS,PMVS)从三维模型的稀疏点云开始,在局部光度一致性和全局可见性约束下,经过匹配、扩散、过滤生成带真实颜色的稠密点云;
步骤2025,使用泊松表面重构算法由稠密点云生成多边形网格表面;
步骤2026,使用相关纹理算法,将图像纹理填充至模型中;
步骤203,根据三维模型,生成配送员全方位着装图像,作为抽检匹配图像库,即,上述预定图像库;
步骤204,配送员进行着装抽检操作;
步骤205,配送员上传待检图像,可以通过终端自拍后上传;
步骤206,将配送员上传的待检图像与基准图像进行图像拼接操作,生成高分辨率、高质量抽检图像;
步骤207,对生成的高质量抽检图像应用图像匹配技术与匹配图像库进行匹配;
步骤208,通过设置阈值区间,根据上述公式(1)来确定匹配结果;
步骤209,生成匹配结果,当匹配结果在阈值区间内时,进行步骤210,否则进行步骤211;
步骤210,人工审核;
步骤211,根据匹配结果成功或者失败,输出审核结果,此时抽检结束。
本发明实施例还提供一种图像处理装置,图3是该装置的结构框图,如图3所示,该装置包括:图像接收单元301、图像拼接单元302、图像匹配单元303和审核结果确定单元304,其中:
图像接收单元301,用于接收待审核着装图像;
图像拼接单元302,用于将着装图像与预定的基准图像进行图像拼接操作,以生成抽检图像;
图像匹配单元303,用于将抽检图像与预定图像库进行图像匹配操作;
审核结果确定单元304,用于根据匹配结果确定对着装图像的审核结果。
本发明实施例通过图像拼接单元302将待审核着装图像与预定基准图像进行图像拼接后生成抽检图像,之后图像匹配单元303将该抽检图像与预定图像库中的任一图像进行图像匹配,审核结果确定单元304根据匹配结果来对着装图像进行审核,本发明实施例可以高效精确地实现对待审核着装图像的审核,从而可以克服现有技术中的由于需要人工审核着装导致的效率低的问题,由于本发明实施例无需人工审核,因而也无需维持一批审核运营人员,进而可以降低成本。
上述图像接收单元301具体用于:接收来自待审核人员的终端设备获取的待审核着装图像。
如4所示,图像拼接单元302包括:图像匹配模块3021、重投影操作模块3022和图像融合模块3023,其中:
图像匹配模块3021,用于将着装图像与基准图像进行图像匹配操作;
重投影操作模块3022,用于将图像匹配操作后的着装图像与基准图像进行重投影操作;
图像融合模块3023,用于将重投影操作后的着装图像与基准图像进行图像缝合和图像融合操作,以生成抽检图像。
这里的基准图像为预先存储的待审核人员的正面着装图像。
具体而言,由于着装图像与基准图像都是同一个人,图像匹配模块3021通过进行图像匹配操作,可以建立两个图像之间的几何对应关系;重投影操作模块3022进行重投影操作,可以通过图像的几何变换,把两个图像转换成一个共同的坐标系;图像融合模块3023首先进行图像缝合操作,通过合并重叠部分的像素值并保持没有重叠的像素值使之生成更大画布的图像;之后,图像融合模块3023进行图像融合操作,通过几何和光度偏移错误通常导致图像的不连续,并在两个图像之间的边界附近产生可见的接缝。因此,为了减小接缝的出现,需要在缝合时或缝合之后使用混合算法,这样可以拼成一幅大型的无缝高分辨率图像,即,抽检图像。在缝合时或缝合之后使用的混合算法可以参考现有技术中的算法。
如图5所示,上述装置还包括:预定图像库生成单元305,用于生成上述预定图像库。
具体地,如图6所示,预定图像库生成单元305包括:多角度图像接收子单元3051和预定图像库生成子单元3052,其中:
多角度图像接收子单元3051,用于接收待审核人员的多个多角度着装图像;
预定图像库生成子单元3052,用于根据多个多角度着装图像生成待审核人员的预定图像库。该预定图像库生成子单元3052具体用于对多个多角度着装图像进行三维建模以生成待审核人员的预定图像库。
具体地,预定图像库生成子单元3052包括:预处理模块30521、点云操作模块30522、表面重构操作模块30523、纹理重构操作模块30524和预定图像库生成模块30525,其中:
预处理模块30521,用于对多个多角度着装图像进行预处理;
点云操作模块30522,用于对预处理后的多个图像进行点云操作,其中,该点云操作包括稀疏点云操作和稠密点云操作;
表面重构操作模块30523,用于对点云操作后的多个图像进行表面重构操作;
纹理重构操作模块30524,用于将表面重构操作后的多个图像进行纹理重构操作;
预定图像库生成模块30525,用于将纹理重构操作后的多个图像填充至三维模型中生成预定图像库。
如图7所示,上述预处理模块30521包括:特征处理子模块305211,用于通过尺度不变特征变换算法对多个多角度着装图像进行特征检测、特征提取和特征匹配操作。
优选地,预处理模块30521还可以包括:过滤子模块305212,用于通过随机抽样一致性算法对进行特征检测、特征提取和特征匹配操作后的多个图像进行过滤误匹配特征操作。
如图8所示,上述点云操作模块30522包括:稀疏点云操作子模块305221和稠密点云操作子模块305222,其中:
稀疏点云操作子模块305221,用于使用运动结构算法对预处理后的多个图像进行稀疏点云操作,以生成三维稀疏点云图像;
稠密点云操作子模块305222,用于通过多视角立体视觉算法对三维稀疏点云图像进行稠密点云操作,以生成三维稠密点云图像。
上述表面重构操作模块30523具体用于:通过泊松表面重构算法对三维稠密点云图像进行表面重构操作,以生成多边形网格表面图像。
如图9所示,上述图像匹配单元303包括:特征点提取模块3031、匹配特征点获得模块3032和匹配结果确定模块3033,其中:
特征点提取模块3031,用于分别提取抽检图像和预定图像库中的任一图像的特征点,以得到抽检图像特征点数量和任一图像特征点数量;
匹配特征点获得模块3032,用于将抽检图像和任一图像进行匹配,得到匹配特征点数量;
匹配结果确定模块3033,用于根据抽检图像特征点数量、任一图像特征点数量和匹配特征点数量来确定图像匹配结果。
匹配结果确定模块3033具体用于:根据如下F的值和预定阈值范围来确定图像匹配结果,其中,F通过如下公式表示:
F=c/min(a,b)
其中,min()表示取小操作,a,b,c为正整数,a为抽检图像特征点数量,b为任一图像特征点数量,c为匹配特征点数量。
具体地,响应于F的值大于m,则图像匹配结果为匹配成功;响应于F的值小于n,则图像匹配结果为匹配失败;响应于F的值位于m和n之间,则图像匹配结果为人工审核;其中,0<n<m<1,m和n均为小于1的实数。
上述审核结果确定单元304具体用于:响应于图像匹配结果为匹配成功,则对着装图像审核的结果为审核通过。
图10是根据本发明实施例的图像处理装置的应用场景图,在该场景中,图像接收单元301接收多个待审核着装图像,配送员1着装图像、配送员2着装图像、……、配送员N着装图像,对每个配送员着装图像分别进行处理,每个配送员都有对应的基准图像和预定图像库,例如,以配送员2着装图像为例:
图像拼接单元302将配送员2着装图像与配送员2的基准图像进行图像拼接操作,以生成抽检图像;图像匹配单元303将该抽检图像与配送员2的预定图像库进行图像匹配操作;随后审核结果确定单元304根据匹配结果确定对配送员2着装图像的审核结果,如图10所示,配送员2的着装图像审核结果为审核通过。
本发明实施例使用图像拼接技术将配送员待抽检着装图像与该配送员的基准图片拼接,获取新的图像,之后使用图像匹配技术,实现着装自动抽检,通过设置匹配阈值,实现抽检严格度调控。通过获取的多个多角度图建立配送员的着装模型,并生成配送员全方位图像,通过匹配待抽检图像,可以实现对着装图像的更高识别率、自动化的审核。
图11是本发明实施例的电子设备的示意图。图11所示的电子设备为通用数据处理装置,其包括通用的计算机硬件结构,其至少包括处理器1101和存储器1102。处理器1101和存储器1102通过总线1103连接。存储器1102适于存储处理器1101可执行的一条或多条指令或程序。该一条或多条指令或程序被处理器1101执行以实现如下步骤:
接收待审核着装图像;
将着装图像与预定的基准图像进行图像拼接操作,以生成抽检图像;
将抽检图像与预定图像库进行图像匹配操作;
根据匹配结果确定对着装图像的审核结果。
具体地,将着装图像与预定的基准图像进行图像拼接操作以生成抽检图像包括:将着装图像与基准图像进行图像匹配操作;将图像匹配操作后的着装图像与基准图像进行重投影操作;将重投影操作后的着装图像与基准图像进行图像缝合和图像融合操作,以生成抽检图像。
上述接收待审核着装图像包括:接收来自待审核人员的终端设备获取的待审核着装图像。
上述基准图像为预先存储的待审核人员的正面着装图像。
优选地,通过如下方式生成预定图像库:接收待审核人员的多个多角度着装图像;根据多个多角度着装图像生成待审核人员的预定图像库。
根据多个多角度着装图像生成待审核人员的预定图像库包括:对多个多角度着装图像进行三维建模以生成待审核人员的预定图像库。
具体地,对多个多角度着装图像进行三维建模以生成待审核人员的预定图像库包括:对多个多角度着装图像进行预处理;对预处理后的多个图像进行点云操作,其中,点云操作包括稀疏点云操作和稠密点云操作;对点云操作后的多个图像进行表面重构操作;将表面重构操作后的多个图像进行纹理重构操作;将纹理重构操作后的多个图像填充至三维模型中生成预定图像库。
上述对多个多角度着装图像进行预处理包括:通过尺度不变特征变换算法对多个多角度着装图像进行特征检测、特征提取和特征匹配操作。
对多个多角度着装图像进行预处理还包括:通过随机抽样一致性算法对进行特征检测、特征提取和特征匹配操作后的多个图像进行过滤误匹配特征操作。
对预处理后的多个图像进行点云操作包括:使用运动结构算法对预处理后的多个图像进行稀疏点云操作,以生成三维稀疏点云图像;通过多视角立体视觉算法对三维稀疏点云图像进行稠密点云操作,以生成三维稠密点云图像。
对点云操作后的多个图像进行表面重构操作包括:通过泊松表面重构算法对三维稠密点云图像进行表面重构操作,以生成多边形网格表面图像。
具体地,将抽检图像与预定图像库进行图像匹配操作包括:分别提取抽检图像和预定图像库中的任一图像的特征点,以得到抽检图像特征点数量和任一图像特征点数量;将抽检图像和任一图像进行匹配,得到匹配特征点数量;根据抽检图像特征点数量、任一图像特征点数量和匹配特征点数量来确定图像匹配结果。
根据抽检图像特征点数量a、任一图像特征点数量b和匹配特征点数量c来确定图像匹配结果包括:根据F的值和预定阈值范围来确定图像匹配结果,其中,F通过如下公式表示:F=c/min(a,b),其中,min()表示取小操作,a,b,c为正整数。
根据F的值和预定阈值范围(m,n)来确定图像匹配结果包括:响应于F的值大于m,则图像匹配结果为匹配成功;响应于F的值小于n,则图像匹配结果为匹配失败;响应于F的值位于m和n之间,则图像匹配结果为人工审核;其中,0<n<m<1,m和n均为小于1的实数。
根据匹配结果确定对着装图像的审核结果包括:响应于图像匹配结果为匹配成功,则对着装图像审核的结果为审核通过。
上述处理器1101可以是独立的微处理器,也可以是一个或者多个微处理器集合。由此,处理器1101通过执行存储器1102所存储的命令,从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其他装置的控制。总线1103将上述多个组件连接在一起,同时将上述组件连接到显示控制器1104和显示装置以及输入/输出(I/O)装置1105。输入/输出(I/O)装置1105可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地,输入/输出(I/O)装置1105通过输入/输出(I/O)控制器1106与系统相连。
其中,存储器1102可以存储软件组件,例如操作系统、通信模块、交互模块以及应用程序。以上所述的每个模块和应用程序都对应于完成一个或多个功能和在发明实施例中描述的方法的一组可执行程序指令。
综上所述,本发明实施例无需人工审核配送员着装,只需配送员入驻平台或者闲暇时刻上传多张多角度本人着装图片,服务端根据配送员上传图片建立着装三维模型,并生成全方位配送员着装图片,作为匹配图片库。当配送员着装抽检时,上传实时着装图片到服务端,服务端使用图像拼接技术将实时图片与基准图片拼接,并使用图像匹配技术匹配配送员的着装图片库,如果匹配到任意一张图片都可认为通过抽检,通过设置阈值,轻松实现对配送员着装审核的严格度,解决了人工审核耗时长、效率低的问题、精度差的问题。
上述根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应理解,流程图和/或框图的每个块以及流程图图例和/或框图中的块的组合可以由计算机程序指令来实现。这些计算机程序指令可以被提供至通用计算机、专用计算机或其它可编程数据处理设备的处理器,以产生机器,使得(经由计算机或其它可编程数据处理设备的处理器执行的)指令创建用于实现流程图和/或框图块或块中指定的功能/动作的装置。
同时,如本领域技术人员将意识到的,本发明实施例的各个方面可以被实现为系统、方法或计算机程序产品。因此,本发明实施例的各个方面可以采取如下形式:完全硬件实现方式、完全软件实现方式(包括固件、常驻软件、微代码等)或者在本文中通常可以都称为“电路”、“模块”或“系统”的将软件方面与硬件方面相结合的实现方式。此外,本发明的方面可以采取如下形式:在一个或多个计算机可读介质中实现的计算机程序产品,计算机可读介质具有在其上实现的计算机可读程序代码。
可以利用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是如(但不限于)电子的、磁的、光学的、电磁的、红外的或半导体系统、设备或装置,或者前述的任意适当的组合。计算机可读存储介质的更具体的示例(非穷尽列举)将包括以下各项:具有一根或多根电线的电气连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光存储装置、磁存储装置或前述的任意适当的组合。在本发明实施例的上下文中,计算机可读存储介质可以为能够包含或存储由指令执行系统、设备或装置使用的程序或结合指令执行系统、设备或装置使用的程序的任意有形介质。
计算机可读信号介质可以包括传播的数据信号,所述传播的数据信号具有在其中如在基带中或作为载波的一部分实现的计算机可读程序代码。这样的传播的信号可以采用多种形式中的任何形式,包括但不限于:电磁的、光学的或其任何适当的组合。计算机可读信号介质可以是以下任意计算机可读介质:不是计算机可读存储介质,并且可以对由指令执行系统、设备或装置使用的或结合指令执行系统、设备或装置使用的程序进行通信、传播或传输。
用于执行针对本发明各方面的操作的计算机程序代码可以以一种或多种编程语言的任意组合来编写,所述编程语言包括:面向对象的编程语言如Java、Smalltalk、C++、PHP、Python等;以及常规过程编程语言如“C”编程语言或类似的编程语言。程序代码可以作为独立软件包完全地在用户计算机上、部分地在用户计算机上执行;部分地在用户计算机上且部分地在远程计算机上执行;或者完全地在远程计算机或服务器上执行。在后一种情况下,可以将远程计算机通过包括局域网(LAN)或广域网(WAN)的任意类型的网络连接至用户计算机,或者可以与外部计算机进行连接(例如通过使用因特网服务供应商的因特网)。
以上所述仅为本发明的优选实施例,并不用于限制本发明,对于本领域技术人员而言,本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
本发明实施例公开了A1、一种图像处理方法,其中,所述方法包括:
接收待审核着装图像;
将所述着装图像与预定的基准图像进行图像拼接操作,以生成抽检图像;
将所述抽检图像与预定图像库进行图像匹配操作;
根据匹配结果确定对所述着装图像的审核结果。
A2、根据权利要求A1所述的图像处理方法,其中,将所述着装图像与预定的基准图像进行图像拼接操作以生成抽检图像包括:
将所述着装图像与所述基准图像进行图像匹配操作;
将图像匹配操作后的着装图像与基准图像进行重投影操作;
将重投影操作后的着装图像与基准图像进行图像缝合和图像融合操作,以生成所述抽检图像。
A3、根据权利要求A1所述的图像处理方法,其中,接收待审核着装图像包括:
接收来自待审核人员的终端设备获取的待审核着装图像。
A4、根据权利要求A3所述的图像处理方法,其中,所述基准图像为预先存储的所述待审核人员的正面着装图像。
A5、根据权利要求A1所述的图像处理方法,其中,通过如下方式生成所述预定图像库:
接收待审核人员的多个多角度着装图像;
根据所述多个多角度着装图像生成所述待审核人员的预定图像库。
A6、根据权利要求A5所述的图像处理方法,其中,根据所述多个多角度着装图像生成所述待审核人员的预定图像库包括:
对所述多个多角度着装图像进行三维建模以生成所述待审核人员的预定图像库。
A7、根据权利要求A6所述的图像处理方法,其中,对所述多个多角度着装图像进行三维建模以生成所述待审核人员的预定图像库包括:
对所述多个多角度着装图像进行预处理;
对预处理后的多个图像进行点云操作,其中,所述点云操作包括稀疏点云操作和稠密点云操作;
对点云操作后的多个图像进行表面重构操作;
将表面重构操作后的多个图像进行纹理重构操作;
将纹理重构操作后的多个图像填充至三维模型中生成所述预定图像库。
A8、根据权利要求A7所述的图像处理方法,其中,对所述多个多角度着装图像进行预处理包括:
通过尺度不变特征变换算法对所述多个多角度着装图像进行特征检测、特征提取和特征匹配操作。
A9、根据权利要求A8所述的图像处理方法,其中,对所述多个多角度着装图像进行预处理还包括:
通过随机抽样一致性算法对进行所述特征检测、特征提取和特征匹配操作后的多个图像进行过滤误匹配特征操作。
A10、根据权利要求A7所述的图像处理方法,其中,对预处理后的多个图像进行点云操作包括:
使用运动结构算法对预处理后的多个图像进行稀疏点云操作,以生成三维稀疏点云图像;
通过多视角立体视觉算法对所述三维稀疏点云图像进行稠密点云操作,以生成三维稠密点云图像。
A11、根据权利要求A10所述的图像处理方法,其中,对点云操作后的多个图像进行表面重构操作包括:
通过泊松表面重构算法对所述三维稠密点云图像进行表面重构操作,以生成多边形网格表面图像。
A12、根据权利要求A1所述的图像处理方法,其中,将所述抽检图像与预定图像库进行图像匹配操作包括:
分别提取所述抽检图像和所述预定图像库中的任一图像的特征点,以得到抽检图像特征点数量和任一图像特征点数量;
将所述抽检图像和所述任一图像进行匹配,得到匹配特征点数量;
根据所述抽检图像特征点数量、任一图像特征点数量和匹配特征点数量来确定图像匹配结果。
A13、根据权利要求A12所述的图像处理方法,其中,根据所述抽检图像特征点数量a、任一图像特征点数量b和匹配特征点数量c来确定图像匹配结果包括:
根据F的值和预定阈值范围来确定图像匹配结果,其中,所述F通过如下公式表示:
F=c/min(a,b)
其中,min()表示取小操作,a,b,c为正整数。
A14、根据权利要求A13所述的图像处理方法,其中,根据F的值和预定阈值范围(m,n)来确定图像匹配结果包括:
响应于F的值大于m,则所述图像匹配结果为匹配成功;
响应于F的值小于n,则所述图像匹配结果为匹配失败;
响应于F的值位于m和n之间,则所述图像匹配结果为人工审核;
其中,0<n<m<1,m和n均为小于1的实数。
A15、根据权利要求A1所述的图像处理方法,其中,根据匹配结果确定对所述着装图像的审核结果包括:
响应于所述图像匹配结果为匹配成功,则对所述着装图像审核的结果为审核通过。
本发明实施例还公开了B1、一种图像处理装置,其中,所述装置包括:
图像接收单元,用于接收待审核着装图像;
图像拼接单元,用于将所述着装图像与预定的基准图像进行图像拼接操作,以生成抽检图像;
图像匹配单元,用于将所述抽检图像与预定图像库进行图像匹配操作;
审核结果确定单元,用于根据匹配结果确定对所述着装图像的审核结果。
B2、根据权利要求B1所述的图像处理装置,其中,所述图像拼接单元包括:
图像匹配模块,用于将所述着装图像与所述基准图像进行图像匹配操作;
重投影操作模块,用于将图像匹配操作后的着装图像与基准图像进行重投影操作;
图像融合模块,用于将重投影操作后的着装图像与基准图像进行图像缝合和图像融合操作,以生成所述抽检图像。
B3、根据权利要求B1所述的图像处理装置,其中,所述图像接收单元具体用于:
接收来自待审核人员的终端设备获取的待审核着装图像。
B4、根据权利要求B3所述的图像处理装置,其中,所述图像拼接单元中的基准图像为预先存储的所述待审核人员的正面着装图像。
B5、根据权利要求B1所述的图像处理装置,其中,所述装置还包括:
预定图像库生成单元,用于生成所述预定图像库,
所述预定图像库生成单元包括:
多角度图像接收子单元,用于接收待审核人员的多个多角度着装图像;
预定图像库生成子单元,用于根据所述多个多角度着装图像生成所述待审核人员的预定图像库。
B6、根据权利要求B5所述的图像处理装置,其中,所述预定图像库生成子单元具体用于:
对所述多个多角度着装图像进行三维建模以生成所述待审核人员的预定图像库。
B7、根据权利要求B6所述的图像处理装置,其中,所述预定图像库生成子单元包括:
预处理模块,用于对所述多个多角度着装图像进行预处理;
点云操作模块,用于对预处理后的多个图像进行点云操作,其中,所述点云操作包括稀疏点云操作和稠密点云操作;
表面重构操作模块,用于对点云操作后的多个图像进行表面重构操作;
纹理重构操作模块,用于将表面重构操作后的多个图像进行纹理重构操作;
预定图像库生成模块,用于将纹理重构操作后的多个图像填充至三维模型中生成所述预定图像库。
B8、根据权利要求B7所述的图像处理装置,其中,所述预处理模块包括:
特征处理子模块,用于通过尺度不变特征变换算法对所述多个多角度着装图像进行特征检测、特征提取和特征匹配操作。
B9、根据权利要求B8所述的图像处理装置,其中,所述预处理模块还包括:
过滤子模块,用于通过随机抽样一致性算法对进行所述特征检测、特征提取和特征匹配操作后的多个图像进行过滤误匹配特征操作。
B10、根据权利要求B7所述的图像处理装置,其中,所述点云操作模块包括:
稀疏点云操作子模块,用于使用运动结构算法对预处理后的多个图像进行稀疏点云操作,以生成三维稀疏点云图像;
稠密点云操作子模块,用于通过多视角立体视觉算法对所述三维稀疏点云图像进行稠密点云操作,以生成三维稠密点云图像。
B11、根据权利要求B10所述的图像处理装置,其中,所述表面重构操作模块具体用于:
通过泊松表面重构算法对所述三维稠密点云图像进行表面重构操作,以生成多边形网格表面图像。
B12、根据权利要求B1所述的图像处理装置,其中,所述图像匹配单元包括:
特征点提取模块,用于分别提取所述抽检图像和所述预定图像库中的任一图像的特征点,以得到抽检图像特征点数量和任一图像特征点数量;
匹配特征点获得模块,用于将所述抽检图像和所述任一图像进行匹配,得到匹配特征点数量;
匹配结果确定模块,用于根据所述抽检图像特征点数量、任一图像特征点数量和匹配特征点数量来确定图像匹配结果。
B13、根据权利要求12所述的图像处理装置,其中,所述匹配结果确定模块具体用于:
根据F的值和预定阈值范围来确定图像匹配结果,其中,所述F通过如下公式表示:
F=c/min(a,b)
其中,min()表示取小操作,a,b,c为正整数,a为所述抽检图像特征点数量,b为所述任一图像特征点数量,c为所述匹配特征点数量。
B14、根据权利要求13所述的图像处理装置,其中,所述匹配结果确定模块具体用于:
根据F的值和预定阈值范围(m,n)来确定所述图像匹配结果;
响应于F的值大于m,则所述图像匹配结果为匹配成功;
响应于F的值小于n,则所述图像匹配结果为匹配失败;
响应于F的值位于m和n之间,则所述图像匹配结果为人工审核;
其中,0<n<m<1,m和n均为小于1的实数。
B15、根据权利要求B1所述的图像处理装置,其中,所述审核结果确定单元具体用于:
响应于所述图像匹配结果为匹配成功,则对所述着装图像审核的结果为审核通过。
本发明实施例还公开了C1、一种计算机可读存储介质,其上存储计算机程序指令,其中,所述计算机程序指令在被处理器执行时实现如权利要求A1-A15中任一项所述的方法。
本发明实施例还公开了D1、一种电子设备,包括存储器和处理器,其中,所述存储器用于存储一条或多条计算机程序指令,其中,所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求A1-A15中任一项所述的方法。

Claims (10)

1.一种图像处理方法,其特征在于,所述方法包括:
接收待审核着装图像;
将所述着装图像与预定的基准图像进行图像拼接操作,以生成抽检图像;
将所述抽检图像与预定图像库进行图像匹配操作;
根据匹配结果确定对所述着装图像的审核结果。
2.根据权利要求1所述的图像处理方法,其特征在于,通过如下方式生成所述预定图像库:
接收待审核人员的多个多角度着装图像;
根据所述多个多角度着装图像生成所述待审核人员的预定图像库。
3.根据权利要求2所述的图像处理方法,其特征在于,根据所述多个多角度着装图像生成所述待审核人员的预定图像库包括:
对所述多个多角度着装图像进行三维建模以生成所述待审核人员的预定图像库。
4.根据权利要求3所述的图像处理方法,其特征在于,对所述多个多角度着装图像进行三维建模以生成所述待审核人员的预定图像库包括:
对所述多个多角度着装图像进行预处理;
对预处理后的多个图像进行点云操作,其中,所述点云操作包括稀疏点云操作和稠密点云操作;
对点云操作后的多个图像进行表面重构操作;
将表面重构操作后的多个图像进行纹理重构操作;
将纹理重构操作后的多个图像填充至三维模型中生成所述预定图像库。
5.根据权利要求1所述的图像处理方法,其特征在于,将所述抽检图像与预定图像库进行图像匹配操作包括:
分别提取所述抽检图像和所述预定图像库中的任一图像的特征点,以得到抽检图像特征点数量和任一图像特征点数量;
将所述抽检图像和所述任一图像进行匹配,得到匹配特征点数量;
根据所述抽检图像特征点数量、任一图像特征点数量和匹配特征点数量来确定图像匹配结果。
6.根据权利要求5所述的图像处理方法,其特征在于,根据所述抽检图像特征点数量a、任一图像特征点数量b和匹配特征点数量c来确定图像匹配结果包括:
根据F的值和预定阈值范围来确定图像匹配结果,其中,所述F通过如下公式表示:
F=c/min(a,b)
其中,min()表示取小操作,a,b,c为正整数。
7.根据权利要求6所述的图像处理方法,其特征在于,根据F的值和预定阈值范围(m,n)来确定图像匹配结果包括:
响应于F的值大于m,则所述图像匹配结果为匹配成功;
响应于F的值小于n,则所述图像匹配结果为匹配失败;
响应于F的值位于m和n之间,则所述图像匹配结果为人工审核;
其中,0<n<m<1,m和n均为小于1的实数。
8.一种图像处理装置,其特征在于,所述装置包括:
图像接收单元,用于接收待审核着装图像;
图像拼接单元,用于将所述着装图像与预定的基准图像进行图像拼接操作,以生成抽检图像;
图像匹配单元,用于将所述抽检图像与预定图像库进行图像匹配操作;
审核结果确定单元,用于根据匹配结果确定对所述着装图像的审核结果。
9.一种计算机可读存储介质,其上存储计算机程序指令,其特征在于,所述计算机程序指令在被处理器执行时实现如权利要求1-7中任一项所述的方法。
10.一种电子设备,包括存储器和处理器,其特征在于,所述存储器用于存储一条或多条计算机程序指令,其中,所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-7中任一项所述的方法。
CN201811586353.9A 2018-12-25 2018-12-25 图像处理方法、装置、存储介质和电子设备 Active CN109658335B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811586353.9A CN109658335B (zh) 2018-12-25 2018-12-25 图像处理方法、装置、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811586353.9A CN109658335B (zh) 2018-12-25 2018-12-25 图像处理方法、装置、存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN109658335A true CN109658335A (zh) 2019-04-19
CN109658335B CN109658335B (zh) 2023-07-21

Family

ID=66115076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811586353.9A Active CN109658335B (zh) 2018-12-25 2018-12-25 图像处理方法、装置、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN109658335B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458486A (zh) * 2019-06-27 2019-11-15 拉扎斯网络科技(上海)有限公司 数据处理方法、系统、图像捕捉设备、服务器及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202874688U (zh) * 2012-10-29 2013-04-17 吕林璐 一种多功能镜子
CN106095806A (zh) * 2016-05-30 2016-11-09 宁波萨瑞通讯有限公司 一种自动匹配系统及方法
CN107609544A (zh) * 2017-10-27 2018-01-19 华润电力技术研究院有限公司 一种检测方法以及装置
CN108829014A (zh) * 2018-07-25 2018-11-16 南京盛航海运股份有限公司 船舶安全运营实时智能监控系统及其监控方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202874688U (zh) * 2012-10-29 2013-04-17 吕林璐 一种多功能镜子
CN106095806A (zh) * 2016-05-30 2016-11-09 宁波萨瑞通讯有限公司 一种自动匹配系统及方法
CN107609544A (zh) * 2017-10-27 2018-01-19 华润电力技术研究院有限公司 一种检测方法以及装置
CN108829014A (zh) * 2018-07-25 2018-11-16 南京盛航海运股份有限公司 船舶安全运营实时智能监控系统及其监控方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
冯杰等: "图像识别技术在换流站监控系统中的应用", 《电网技术》, vol. 34, no. 2, pages 174 - 178 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458486A (zh) * 2019-06-27 2019-11-15 拉扎斯网络科技(上海)有限公司 数据处理方法、系统、图像捕捉设备、服务器及介质

Also Published As

Publication number Publication date
CN109658335B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN115082639B (zh) 图像生成方法、装置、电子设备和存储介质
CN110246209B (zh) 图像处理方法及装置
US20150154806A1 (en) Aligning Digital 3D Models Using Synthetic Images
US11257276B2 (en) Appearance synthesis of digital faces
CN107707899B (zh) 包含运动目标的多视角图像处理方法、装置及电子设备
CN110458924B (zh) 一种三维脸部模型建立方法、装置和电子设备
CN109471805A (zh) 资源测试方法及装置、存储介质、电子设备
Lopez et al. Modeling complex unfoliaged trees from a sparse set of images
CN109840946A (zh) 虚拟对象显示方法及装置
CN115908753B (zh) 一种全身人体网格表面重建方法及相关装置
CN113870439A (zh) 用于处理图像的方法、装置、设备以及存储介质
CN111768467A (zh) 图像填充方法、装置、设备及存储介质
AU2019200269B2 (en) An interactive user interface and its corresponding engine for improving image completion quality
WO2022150273A1 (en) Computing platform for facilitating augmented reality experiences with third party assets
CN109658335A (zh) 图像处理方法、装置、存储介质和电子设备
Tefera et al. 3DNOW: Image-based 3D reconstruction and modeling via WEB
CN109448111B (zh) 一种图像三维曲面模型优化构建方法及装置
CN113781653B (zh) 对象模型生成方法、装置、电子设备及存储介质
CN116309005A (zh) 虚拟换装方法、装置、电子设备及可读介质
US10255674B2 (en) Surface reflectance reduction in images using non-specular portion replacement
US10586311B2 (en) Patch validity test
CN115315722A (zh) 训练多幅图像的对齐
CN111738913A (zh) 视频填充方法、装置、设备及存储介质
Melendez et al. Relightable Buildings from Images.
WO2020012071A1 (en) A method, an apparatus and a computer program product for volumetric video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant