CN110930300B - 图像拉正方法、系统、设备和存储介质 - Google Patents

图像拉正方法、系统、设备和存储介质 Download PDF

Info

Publication number
CN110930300B
CN110930300B CN201911253413.XA CN201911253413A CN110930300B CN 110930300 B CN110930300 B CN 110930300B CN 201911253413 A CN201911253413 A CN 201911253413A CN 110930300 B CN110930300 B CN 110930300B
Authority
CN
China
Prior art keywords
picture
commodity
image
secondary adjustment
object placing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911253413.XA
Other languages
English (en)
Other versions
CN110930300A (zh
Inventor
张雨露
李佩钊
童星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Clobotics Technology Co ltd
Original Assignee
Shanghai Clobotics Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Clobotics Technology Co ltd filed Critical Shanghai Clobotics Technology Co ltd
Priority to CN201911253413.XA priority Critical patent/CN110930300B/zh
Publication of CN110930300A publication Critical patent/CN110930300A/zh
Application granted granted Critical
Publication of CN110930300B publication Critical patent/CN110930300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T3/04

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开涉及图像处理技术领域,特别涉及一种图像拉正方法、系统、设备和存储介质。在本公开提供的图像拉正方法、系统、设备和存储介质中,通过检测货架图片中的商品和置物层,进而调整置物层在不同方向上的长度得到二次调整图片;最后对二次调整图片进行整体的比例调整,以使二次调整图片中商品的标记框的长宽比与货架图片中对应商品的标记框的长宽比一致,从而得到拉正图片的方式,提高了图片拉正的精度和效率。

Description

图像拉正方法、系统、设备和存储介质
技术领域
本公开涉及图像处理技术领域,特别涉及一种图像拉正方法、系统、设备和存储介质。
背景技术
随着零售领域智能化和信息化进程的加快,越来越多的图像处理技术被应用到零售领域中,也因此对零售领域中的相关图像的处理技术提出了更高的要求。
以商超中的零售商品货架的图像来说,由于所有货架的图像均为采用相机拍摄得到,因此所有货架的图像不可避免地都会出现变形、图像中的商品比例不一致等各种问题。所以,对货架的图像调整,以使货架的图像变形程度降低,比例不一致现象减少是零售领域智能化进程中的重要环节。
发明内容
本公开的一方面提供了一种图像拉正方法,用于拉正在零售货架正前方的竖直线上拍摄得到的货架图片。所述图像拉正方法包括如下步骤:
检测所述货架图片中的每个置物层和每个置物层中的商品;
在第一方向上比例拉伸所述货架图片中的置物层,以使每个置物层在第一方向上的长度一致,得到初次调整图片;
在第二方向上比例拉伸所述初次调整图片中的置物层,以使每个置物层在第二方向上的长度一致,得到二次调整图片;
调整所述二次调整图片的长宽比,以使所述二次调整图片内商品的标记框长宽比与所述货架图片内对应商品的标记框长宽比一致,得到拉正图片。
在一实施例中,所述检测货架图片中的每个置物层和每个置物层中的商品的步骤包括:
训练一模型,以得到能够检测出货架图像中的商品,并能够对每个商品进行标记框标记的商品检测模型;
训练另一模型,以得到能够检测出货架图像中的置物层,并能够对每个置物层进行边界框标记的置物层检测模型;
将所述货架图片输入所述商品检测模型中,输出得到商品区域带有标记框的所述货架图片;
将所述带有标记框的货架图片输入所述置物层检测模型中,输出得到带有标记框和边界框的所述货架图片。
在一实施例中,所述的在第一方向上比例拉伸所述货架图片中的置物层,以使每个置物层在第一方向上的长度一致,得到初次调整图片的步骤包括:
在每个置物层对应的所述边界框中建立一趋势线段,其中所述趋势线段过所述边界框的中心,两端与所述边界框相交,并且延伸方向与所述边界框的延伸方向平行;
选择其中一个所述边界框中的趋势线段为基准趋势线段;
在第一方向上比例拉伸其余所述边界框对应的所述置物层,以使所述其余边界框上的趋势线段的两端与所述基准趋势线段的两端对齐,得到所述初次调整图片。
在一实施例中,所述其中一个所述边界框是所有所述边界框中在第一方向上长度最长的一个。
在一实施例中,所述在第二方向比例拉伸初次调整图片中的置物层,以使每个置物层在第二方向上的长度一致,得到二次调整图片的步骤包括:选择其中一个所述置物层为基准置物层;
在第二方向上比例拉伸其余所述置物层,以使每个所述置物层在第二方向上的长度一致,得到二次调整图片
在一实施例中,所述调整二次调整图片的长宽比,以使二次调整图片内商品的标记框长宽比与货架图片内对应商品的标记框长宽比一致,得到拉正图片的步骤包括:
分别获取所述货架图片内中位数商品和所述二次调整图片内中位数商品的标记框长宽比;
调整所述二次调整图片的长宽比,以使所述二次调整图片内中位数商品的标记框长宽比与所述货架图片内中位数商品的标记框长宽比一致,得到所述拉正图片。
在一实施例中,所述调整二次调整图片的长宽比,以使二次调整图片内商品的标记框长宽比与货架图片内对应商品的标记框长宽比一致,得到拉正图片的步骤包括:
获取所述货架图片内所有商品标记框长宽比的均值;
获取所述二次调整图片内所有商品标记框长宽比的均值;
调整所述二次调整图片的长宽比,以使所述二次调整图片内所有商品标记框长宽比的均值与所述货架图片内所有商品标记框长宽比的均值一致,得到所述拉正图片。
本公开的另一方面是提供了一种图像拉正系统。所述图像拉正系统用于实现如前所述的图像拉正方法的步骤所述系统包括:
图像检测模块,用于检测所述货架图片中的每个置物层和每个置物层中的商品;
图像调整模块,用于在第一方向上比例拉伸所述货架图片中的置物层,以使每个置物层在第一方向上的长度一致,得到初次调整图片;且
用于在第二方向上比例拉伸所述初次调整图片中的置物层,以使每个置物层在第二方向上的长度一致,得到二次调整图片;以及
用于调整所述二次调整图片的长宽比,以使所述二次调整图片内商品的标记框长宽比与所述货架图片内对应商品的标记框长宽比一致,得到拉正图片。
本公开的再一方面还提供了一种图像拉正设备。所述图像拉正设备包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如本公开前一方面所述的图像拉正方法的步骤。
本公开的最后一方面则是提供了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如前所述的图像拉正方法的步骤。
在本公开提供的图像拉正方法、系统、设备和存储介质中,通过检测货架图片中的商品和置物层,进而调整置物层在不同方向上的长度,得到二次调整图片;最后对二次调整图片进行整体的比例调整,以使二次调整图片中商品的标记框的长宽比与货架图片中对应商品的标记框的长宽比一致,从而得到拉正图片,提高了图片拉正的精度和效率。
另一方面,本公开还训练不同的检测模型的方式,将图片拉正过程中的图像检测需求分布进行,以降低了模型训练的难度,进而提高模型检测的精确度,使图像拉正效果更好。
再一方面,本公开还通过在边界框中建立趋势线段的方式,使置物层在第一方向上的拉伸得到了更精确对应,进而提高了图像拉正的精度,使图像拉正效果更好。
最后,本公开还分别利用中位数商品的标记框的长宽比和所有商品的标记框长宽比的均值去调整二次调整图片的整体比例,使二次调整图片在整体比例调整时具有精确的参考基准,进而提高了图像拉正的精度和效率。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分,与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于示例的目的,并不限制权利要求的范围。在所有附图中,相同的附图标记指代类似但不一定相同的要素。
图1是本公开一实施例所展示的图像拉正方法的步骤流程图;
图2是本公开一实施例提供的检测货架图片中置物层和商品的方法的步骤流程图;
图3是本公开一实施例提供的在第一方向上拉伸置物层的方法步骤流程图;
图4是本公开一实施例提供的对二次调整图片进行比例调整的方法步骤流程图;
图5是本公开一实施例提供的另一种对二次调整图片进行比例调整的方法步骤流程图;
图6是本公开一实施例提供的图像拉正系统模块连接示意图;
图7是本公开一实施例提供的图像拉正设备的结构示意图;
图8是本公开一实施例提供的计算机可读存储介质的结构示意图。
具体实施方式
通过上述说明可知,货架图片的拉正调整对零售领域的智能化和信息化进程来说是至关重要的环节。货架图片的精确拉正,有利于零售领域统计信息的快速和精确获取,有利于零售行业向更高层次发展。
为了实现图像的拉正,即使货架图片中的每个商品的相对位置和相对比例与实际货架上的一致,通常会对图片进行一定的变形处理。现有技术中利用人工智能技术对图片进行整体变形,是容易实现的。经过整体变形调整的图片,会在一定程度上(图片的视角、尺寸等)得到改善,不过仍然无法使图片中的每个商品得到较好的调整。对每张图片进行人工逐一的调整,虽然得到的效果较好,但是人工逐一调整的方式既耗时又耗力,而且成本也比较高。
为了解决现有技术存在的问题,提高图片拉正的精度和质量,发明人经过大量的拉正试验发现,市面上的货架通常会具有多个沿竖直方向依次排列的置物层(当货架摆放在地面上时,每个置物层的延伸方向通常是水平的),每一个置物层都可以用来放置商品,以供消费者选购。如果将图片按照这些置物层进行分区域调整,再对置物层中的每个商品的比例进行合理调整,将会大大优化图片的拉正效果。由此,发明人通过创造性的劳动提出了一种图片拉正方法、系统、设备和存储介质。值得说明的是,在拍摄货架的图片时,相机的拍摄位置通常会位于货架正前方的一条竖直线的某一个位置上(具体的位置可以根据当时拍摄照片人员的身高或者相机安装的高度来确定)。而本公开提供的图片拉正方法,则能够对这类位于货架正前方的一条竖直线的某一个位置上拍摄的图片(例如超市中的货架图片、冷藏柜中的置物架图片等)的拉正产生良好的效果。另外,由于当相机位于货架正前方的一条竖直线的附近时,拍摄得到的图片和在竖直线上拍摄得到的图片并不会有较大差异。因此对于这样的图片也可以用本公开说明的方案进行拉正处理。
以下结合附图和具体实施例对本公开提出的图像拉正方法、系统、设备及存储介质作进一步详细说明。根据权利要求书和下面说明,本公开的优点和特征将更清楚。需说明的是,附图均采用非常简化的形式且均使用非精准的比例,仅用以方便、明晰地辅助说明本公开实施例的目的。
应当理解的内容是,说明书中的用辞仅用于描述特定的实施例,并不旨在限定本公开。说明书使用的所有术语(包括技术术语和科学术语)除非另有定义,均具有本领域技术人员通常理解的含义。为简明和/或清楚起见,公知的功能或结构不再详细说明。
关于图像拉正方法的示例说明
请参阅图1,其展示了本公开一实施例中的图像拉正方法的步骤流程图。
上述内容已经说明,本公开对相机位于货架正前方的竖直线上拍摄得到的货架图片会有较好的处理效果。
在这个实施例的步骤S001中,检测所述货架图片中的每个置物层和每个置物层中的商品。
本公开涉及的置物层是指货架上用来摆放商品的区域。每个(每层)的置物层都会具有用来支撑商品的支撑面。基于置物层的特点,本公开还利用置物层来定义第一方向,即将置物层的延伸方向定义未第一方向,将垂直于第一方向的方向定义为第二方向。
在步骤S001中检测货架图片中的置物层和商品,能够使货架图片得到区域划分。而经过区域划分之后,再对每个区域进行调整,便能够提高每个商品的相对位置和相对比例的精确度。
另外,本领域技术人员容易理解,对货架图片进行检测,目的是找到货架图片中的置物层和商品。为了在图片上体现被检测出的置物层和商品,通常会在对应的区域给予一个封边线框进行标记。本公开为便于说明,将标记置物层的封闭线框定义未边界框,而将标记商品的封闭线框定义为标记框。
在步骤S002中,在第一方向上比例拉伸所述货架图片中的置物层,以使每个置物层在第一方向上的长度一致,得到初次调整图片。
对于步骤S002来说,主要是利用步骤S001中识别出来的置物层区域,对置物层进行逐一的调整,这样可以保证货架图片中的每个(每层)置物层的长度都一致,这样便使图片中的商品在第一方向上的长度与实际货架上的对应商品的长度之间的比例(本公开称为相对比例)趋于一致。
在步骤S003中,在第二方向上比例拉伸所述初次调整图片中的置物层,以使每个置物层在第二方向上的长度一致,得到二次调整图片。
对于步骤S003来说,仍然是利用现实的置物层的层高是相同的这一客观事实,来对初次调整图片中的置物层的高度(即置物层在第二方向上的长度)进行调整。
在步骤S004中,调整所述二次调整图片的长宽比,以使所述二次调整图片内商品的标记框长宽比与所述货架图片内对应商品的标记框长宽比一致,得到拉正图片。
对步骤S004来说,由于步骤1中商品被检测出,因此每个商品会标记有一个标记框,而这些标记框经过步骤S002和步骤S003的逐步处理,会发生一定程度的变换。因此,可以将原来货架图片中商品的标记框的长宽比和二次调整图片中的商品的标记框长宽比作为调整参照,对二次调整图片的整体比例进行调整。显然,当二次调整图片中的商品的标记框的长宽比达到与货架图片的商品的标记框的长宽比一致时,经过整体比例调整后的二次调整图片便本公开所要得到的拉正图片。
可见,本公开通过上述实施例实施的图像拉正方法,通过检测货架图片中的商品和置物层,进而调整置物层在不同方向上的长度得到二次调整图片;最后对二次调整图片进行整体的比例调整,以使二次调整图片中商品的标记框的长宽比与货架图片中对应商品的标记框的长宽比一致,从而得到拉正图片的方式,提高了图片拉正的精度和效率。
在本公开的一实施例中,还说明了关于“检测货架图片中置物层和商品”的优选实施方案。在图2中,展示了该实施例提供的检测货架图片中置物层和商品的方法的步骤流程图。
在这个实施例的步骤S011中,训练一模型,以得到能够检测出货架图像中的商品,并能够对每个商品进行标记框标记的商品检测模型。
在步骤S012中,训练另一模型,以得到能够检测出货架图像中的置物层,并能够对每个置物层进行边界框标记的置物层检测模型。
在步骤S013中,将所述货架图片输入所述商品检测模型中,输出得到商品区域带有标记框的所述货架图片。
在步骤S014中,将所述带有标记框的货架图片输入所述置物层检测模型中,输出得到带有标记框和边界框的所述货架图片。
容易理解,本实施例中通过训练不同的模型来检测不同目标可以提高模型的检测速度和精度,也同时降低了模型训练的难度,有利于图片拉正效果的提高。
在本公开的一实施例中,还进一步说明了关于“在第一方向上拉伸置物层”的优选方案。在图3中,展示了优选的在第一方向上拉伸置物层的方法步骤流程图。
在步骤S021中,在每个置物层对应的所述边界框中建立一趋势线段,其中所述趋势线段过所述边界框的中心,两端与所述边界框相交,并且延伸方向与所述边界框的延伸方向平行。
在步骤S022中,选择其中一个所述边界框中的趋势线段为基准趋势线段。
在步骤S023中,在第一方向上比例拉伸其余所述边界框对应的所述置物层,以使所述其余边界框上的趋势线段的两端与所述基准趋势线段的两端对齐,得到所述初次调整图片。
可见本实施例通过在边界框中建立趋势线段的方式,使置物层在第一方向上的拉伸得到了更精确对应,进而提高了图像拉正的精度,使图像拉正效果更好。
在图4中,展示了本公开一实施例提供的优选的对二次调整图片进行比例调整的方法步骤流程图。
在本实施例的步骤S031中,分别获取所述货架图片内中位数商品和所述二次调整图片内中位数商品的标记框长宽比。
在本实施例的步骤S032中,调整所述二次调整图片的长宽比,以使所述二次调整图片内中位数商品的标记框长宽比与所述货架图片内中位数商品的标记框长宽比一致,得到所述拉正图片。
在图5中,还展示了本公开一实施例提供的区别于图4中的对二次调整图片进行比例调整的方法步骤流程图。
在本实施例的步骤S041中,获取所述货架图片内所有商品标记框长宽比的均值。
在本实施例的步骤S042中,获取所述二次调整图片内所有商品标记框长宽比的均值。
在本实施例的步骤S043中,调整所述二次调整图片的长宽比,以使所述二次调整图片内所有商品标记框长宽比的均值与所述货架图片内所有商品标记框长宽比的均值一致,得到所述拉正图片。
可见,本公开两个实施例中分别利用中位数商品的标记框的长宽比和所有商品的标记框长宽比的均值去调整二次调整图片的整体比例,使二次调整图片在整体比例调整时具有精确的参考基准,进而提高了图像拉正的精度和效率。
关于图像拉正系统的示例说明
本公开的一实施例中还提供了一种图像拉正系统。在图6中,展示了本公开一实施例提供的图像拉正系统模块连接示意图。该系统能够实现本公开中说明的图像拉正方法。为了实现本公开说明的图片拉正的方法,该系统包括:
图像检测模块501,用于检测所述货架图片中的每个置物层和每个置物层中的商品;
图像调整模块502,用于在第一方向上比例拉伸所述货架图片中的置物层,以使每个置物层在第一方向上的长度一致,得到初次调整图片;且
用于在第二方向上比例拉伸所述初次调整图片中的置物层,以使每个置物层在第二方向上的长度一致,得到二次调整图片;以及
用于调整所述二次调整图片的长宽比,以使所述二次调整图片内商品的标记框长宽比与所述货架图片内对应商品的标记框长宽比一致,得到拉正图片。
关于图像拉正设备的示例说明
本公开的一实施例中还提供了一种图像拉正设备。所述图像拉正设备包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现本公开中说明的图像拉正方法的步骤。
本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“平台”。
图7是本公开一实施例提供的图像拉正设备的结构示意图。下面参照图7来详细描述根据本实施例中的实施方式实施的电子设备600。图7显示的电子设备600仅仅是一个示例,不应对本公开任何实施例的功能和使用范围带来任何限制。
如图7所示,电子设备600以通用计算设备的形式表现。电子设备600的组建可以包括但不限于:至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中,存储单元存储有程序代码,程序代码可以被处理单元610执行,使得处理单元610执行本实施例中上述图像拼接方法部分中描述的根据本实施例中的实施步骤。例如,处理单元610可以执行如图1、图2、图3、图4和图5中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质,例如随机存取单元(RAM)和/或高速缓存存储单元,可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204,这样的程序模块6205包括但不限于:操作系统、一个或多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图像加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信,还可以与一个或者多个使得用户与该电子设备600交互的设备通信,和/或与使得该电子设备能与一个或多个其他计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且,电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其他模块通信。应当明白,尽管图7中未示出,可以结合电子设备600使用其他硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
关于可读存储介质的示例说明
本公开的一个实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时能够实现上述公开中图像拉正方法的步骤。尽管本实施例未详尽地列举其他具体的实施方式,但在一些可能的实施方式中,本公开说明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行本公开中图像拼接方法部分中描述的根据本公开各种实施例中实施方式的步骤。
如上说明之内容,该实施例提供的计算机可读存储介质中存储的计算机程序被执行时,通过提供的图像拉正方法来检测货架图片中的商品和置物层,进而调整置物层在不同方向上的长度,得到二次调整图片;最后对二次调整图片进行整体的比例调整,以使二次调整图片中商品的标记框的长宽比与货架图片中对应商品的标记框的长宽比一致,从而得到拉正图片。
图8是本公开一实施例提供的计算机可读存储介质的结构示意图。如图8所示,其中描述了根据本公开的实施方式中用于实现上述方法的程序产品800,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。当然,依据本实施例产生的程序产品不限于此,在本公开中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上所述,在本公开提供的图像拉正方法、系统、设备和存储介质中,通过检测货架图片中的商品和置物层,进而调整置物层在不同方向上的长度得到二次调整图片;最后对二次调整图片进行整体的比例调整,以使二次调整图片中商品的标记框的长宽比与货架图片中对应商品的标记框的长宽比一致,从而得到拉正图片的方式,提高了图片拉正的精度和效率。
另一方面,本公开还训练不同的检测模型的方式,将图片拉正过程中的图像检测需求分布进行,以降低了模型训练的难度,进而提高模型检测的精确度,使图像拉正效果更好。
再一方面,本公开还通过在边界框中建立趋势线段的方式,使置物层在第一方向上的拉伸得到了更精确对应,进而提高了图像拉正的精度,使图像拉正效果更好。
最后,本公开还分别利用中位数商品的标记框的长宽比和所有商品的标记框长宽比的均值去调整二次调整图片的整体比例,使二次调整图片在整体比例调整时具有精确的参考基准,进而提高了图像拉正的精度和效率。
上述描述仅是对本公开较佳实施例的描述,并非对本公开范围的任何限定,本公开领域的普通技术人员根据上述揭示内容做的任何变更、修饰,均属于权利要求书的保护范围。

Claims (10)

1.一种图像拉正方法,其特征在于,用于拉正在零售货架正前方的竖直线上拍摄得到的货架图片,所述方法包括如下步骤:
检测所述货架图片中的每个置物层和每个置物层中的商品;
在第一方向上比例拉伸所述货架图片中的置物层,以使每个置物层在第一方向上的长度一致,得到初次调整图片;
在第二方向上比例拉伸所述初次调整图片中的置物层,以使每个置物层在第二方向上的长度一致,得到二次调整图片;
调整二次调整图片的长宽比,以使二次调整图片内商品的标记框长宽比与货架图片内对应商品的标记框长宽比一致,得到拉正图片;
其中置物层的延伸方向定义为第一方向,将垂直于第一方向的方向定义为第二方向。
2.如权利要求1所述的图像拉正方法,其特征在于,所述检测货架图片中的每个置物层和每个置物层中的商品的步骤包括:
训练一模型,以得到能够检测出货架图像中的商品,并能够对每个商品进行标记框标记的商品检测模型;
训练另一模型,以得到能够检测出货架图像中的置物层,并能够对每个置物层进行边界框标记的置物层检测模型;
将所述货架图片输入所述商品检测模型中,输出得到商品区域带有标记框的所述货架图片;
将所述带有标记框的货架图片输入所述置物层检测模型中,输出得到带有标记框和边界框的所述货架图片。
3.如权利要求2所述的图像拉正方法,其特征在于,所述在第一方向上比例拉伸所述货架图片中的置物层,以使每个置物层在第一方向上的长度一致,得到初次调整图片的步骤包括:
在每个置物层对应的所述边界框中建立一趋势线段,其中所述趋势线段过所述边界框的中心,两端与所述边界框相交,并且延伸方向与所述边界框的延伸方向平行;
选择其中一个所述边界框中的趋势线段为基准趋势线段;
在第一方向上比例拉伸其余所述边界框对应的所述置物层,以使其余所述边界框上的趋势线段的两端与所述基准趋势线段的两端对齐,得到所述初次调整图片。
4.如权利要求3所述的图像拉正方法,其特征在于,所述其中一个所述边界框是所有所述边界框中在第一方向上长度最长的一个。
5.如权利要求3所述的图像拉正方法,其特征在于,所述在第二方向比例拉伸初次调整图片中的置物层,以使每个置物层在第二方向上的长度一致,得到二次调整图片的步骤包括:选择其中一个所述置物层为基准置物层;
在第二方向上比例拉伸其余所述置物层,以使每个所述置物层在第二方向上的长度一致,得到二次调整图片。
6.如权利要求1或3所述的图像拉正方法,其特征在于,所述调整二次调整图片的长宽比,以使二次调整图片内商品的标记框长宽比与货架图片内对应商品的标记框长宽比一致,得到拉正图片的步骤包括:
分别获取所述货架图片内中位数商品和所述二次调整图片内中位数商品的标记框长宽比;
调整所述二次调整图片的长宽比,以使所述二次调整图片内中位数商品的标记框长宽比与所述货架图片内中位数商品的标记框长宽比一致,得到所述拉正图片。
7.如权利要求1或3所述的图像拉正方法,其特征在于,所述调整二次调整图片的长宽比,以使二次调整图片内商品的标记框长宽比与货架图片内对应商品的标记框长宽比一致,得到拉正图片的步骤包括:
获取所述货架图片内所有商品标记框长宽比的均值;
获取所述二次调整图片内所有商品标记框长宽比的均值;
调整所述二次调整图片的长宽比,以使所述二次调整图片内所有商品标记框长宽比的均值与所述货架图片内所有商品标记框长宽比的均值一致,得到所述拉正图片。
8.一种图像拉正系统,用于实现权利要求1至7中任一项所述的图像拉正方法的步骤,所述系统包括:
图像检测模块,用于检测所述货架图片中的每个置物层和每个置物层中的商品;
图像调整模块,用于在第一方向上比例拉伸所述货架图片中的置物层,以使每个置物层在第一方向上的长度一致,得到初次调整图片;且
用于在第二方向上比例拉伸所述初次调整图片中的置物层,以使每个置物层在第二方向上的长度一致,得到二次调整图片;以及
用于调整所述二次调整图片的长宽比,以使所述二次调整图片内商品的标记框长宽比与所述货架图片内对应商品的标记框长宽比一致,得到拉正图片;
其中置物层的延伸方向定义为第一方向,将垂直于第一方向的方向定义为第二方向。
9.一种图像拉正设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7中任一项所述的图像拉正方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的图像拉正方法的步骤。
CN201911253413.XA 2019-12-09 2019-12-09 图像拉正方法、系统、设备和存储介质 Active CN110930300B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911253413.XA CN110930300B (zh) 2019-12-09 2019-12-09 图像拉正方法、系统、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911253413.XA CN110930300B (zh) 2019-12-09 2019-12-09 图像拉正方法、系统、设备和存储介质

Publications (2)

Publication Number Publication Date
CN110930300A CN110930300A (zh) 2020-03-27
CN110930300B true CN110930300B (zh) 2023-09-29

Family

ID=69857928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911253413.XA Active CN110930300B (zh) 2019-12-09 2019-12-09 图像拉正方法、系统、设备和存储介质

Country Status (1)

Country Link
CN (1) CN110930300B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833460A (zh) * 2011-06-15 2012-12-19 富士通株式会社 图像处理方法、图像处理设备及扫描仪
JP2015194860A (ja) * 2014-03-31 2015-11-05 株式会社富士通アドバンストエンジニアリング 画像合成方法、プログラム、及び装置
CN107368829A (zh) * 2016-05-11 2017-11-21 富士通株式会社 确定输入图像中的矩形目标区域的方法和设备
CN108734162A (zh) * 2018-04-12 2018-11-02 上海扩博智能技术有限公司 商品图像中目标识别方法、系统、设备及存储介质
CN110321769A (zh) * 2019-03-25 2019-10-11 浙江工业大学 一种多尺寸货架商品检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11593821B2 (en) * 2014-02-14 2023-02-28 International Business Machines Corporation Mobile device based inventory management and sales trends analysis in a retail environment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833460A (zh) * 2011-06-15 2012-12-19 富士通株式会社 图像处理方法、图像处理设备及扫描仪
JP2015194860A (ja) * 2014-03-31 2015-11-05 株式会社富士通アドバンストエンジニアリング 画像合成方法、プログラム、及び装置
CN107368829A (zh) * 2016-05-11 2017-11-21 富士通株式会社 确定输入图像中的矩形目标区域的方法和设备
CN108734162A (zh) * 2018-04-12 2018-11-02 上海扩博智能技术有限公司 商品图像中目标识别方法、系统、设备及存储介质
CN110321769A (zh) * 2019-03-25 2019-10-11 浙江工业大学 一种多尺寸货架商品检测方法

Also Published As

Publication number Publication date
CN110930300A (zh) 2020-03-27

Similar Documents

Publication Publication Date Title
CN108647553B (zh) 模型训练用图像的快速扩充方法、系统、设备及存储介质
CN108734162B (zh) 商品图像中目标识别方法、系统、设备及存储介质
CN109117831B (zh) 物体检测网络的训练方法和装置
US20190130605A1 (en) Method and device for verification
US9563953B2 (en) Systems and methods for determining a seam
US8478072B2 (en) Device, method, and program for image processing
WO2020211499A1 (zh) 一种商品的自助收银方法和设备
US11328401B2 (en) Stationary object detecting method, apparatus and electronic device
CN109753971B (zh) 扭曲文字行的矫正方法及装置、字符识别方法及装置
US20200167568A1 (en) Image processing method, device, and storage medium
US10970938B2 (en) Method and apparatus for generating 3D information
US20210174299A1 (en) Method, system and device for collecting sales information of commodities in cabinet, and storage medium
CN108112271A (zh) 检测图像中的运动
CN111339887B (zh) 商品识别方法及智能货柜系统
US9824267B2 (en) Writing board detection and correction
US20200334650A1 (en) Self-service checkout counter checkout
CN110059637B (zh) 一种人脸对齐的检测方法及装置
CN115601672B (zh) 一种基于深度学习的vr智能巡店方法及装置
CN109859104B (zh) 一种视频生成图片的方法、计算机可读介质及转换系统
CN113378834B (zh) 目标检测方法、装置、设备、存储介质以及程序产品
US20230130355A1 (en) Image processing method and apparatus
CN111310606A (zh) 多张图片之间重复内容获取方法、系统、设备和介质
CN113947768A (zh) 一种基于单目3d目标检测的数据增强方法和装置
CN113469147B (zh) 答题卡识别方法、装置、电子设备以及存储介质
CN108805823B (zh) 商品图像矫正方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant