CN114279367A - 陈列柜开门角度的检测方法、陈列柜及存储介质 - Google Patents
陈列柜开门角度的检测方法、陈列柜及存储介质 Download PDFInfo
- Publication number
- CN114279367A CN114279367A CN202111591615.2A CN202111591615A CN114279367A CN 114279367 A CN114279367 A CN 114279367A CN 202111591615 A CN202111591615 A CN 202111591615A CN 114279367 A CN114279367 A CN 114279367A
- Authority
- CN
- China
- Prior art keywords
- target
- cabinet
- position information
- determining
- cabinet door
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000001514 detection method Methods 0.000 claims description 97
- 238000012545 processing Methods 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 27
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000003709 image segmentation Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 9
- 230000001960 triggered effect Effects 0.000 description 9
- 230000008901 benefit Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000005192 partition Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 235000014676 Phragmites communis Nutrition 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 229910045601 alloy Inorganic materials 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本公开提供了一种陈列柜开门角度的检测方法、陈列柜及存储介质,其中,该方法包括:确定第一摄像头拍摄的目标图像;其中,所述目标图像为所述陈列柜的柜门开启期间所述第一摄像头朝所述陈列柜底部拍摄得到的图像;确定所述目标图像中所述陈列柜的柜体底部边框的位置信息,并确定所述目标图像中柜门底部边框的位置信息;基于所述柜体底部边框的位置信息和所述柜门底部边框的位置信息确定所述目标图像中陈列柜的柜门开启角度。
Description
技术领域
本公开涉及图像处理的技术领域,具体而言,涉及一种陈列柜开门角度的检测方法、陈列柜及存储介质。
背景技术
近年来陈列柜已广泛出现在各便利店及大型超市中,例如,无人自助式陈列柜、用于展示冷藏物品的冷藏式陈列柜等。针对现有的陈列柜中,无法准确的检测陈列柜的开门角度,从而无法触发陈列柜执行其他功能,例如,图像采集和视频采集等功能。在图像处理技术快速发展的时代,无法进行图像采集和视频采集,将限制陈列柜的智能程度,从而限制了陈列柜的更新速度。
发明内容
本公开实施例至少提供一种陈列柜开门角度的检测方法、陈列柜及存储介质。本公开实施例能够快速并准确的计算出陈列柜的柜门开启角度,从而为实现陈列柜的其他基于开门角度的功能提供了技术支撑。
第一方面,本公开实施例提供了一种陈列柜开门角度的检测方法,包括:确定第一摄像头拍摄的目标图像;其中,所述目标图像为所述陈列柜的柜门开启期间所述第一摄像头朝所述陈列柜底部拍摄得到的图像;确定所述目标图像中所述陈列柜的柜体底部边框的位置信息,并确定所述目标图像中柜门底部边框的位置信息;基于所述柜体底部边框的位置信息和所述柜门底部边框的位置信息确定所述目标图像中陈列柜的柜门开启角度。
第二方面,本公开实施例提供了一种陈列柜开门角度的检测装置,包括:第一确定单元,用于确定第一摄像头拍摄的目标图像;其中,所述目标图像为所述陈列柜的柜门开启期间所述第一摄像头朝所述陈列柜底部拍摄得到的图像;第二确定单元,用于确定所述目标图像中所述陈列柜的柜体底部边框的位置信息,并确定所述目标图像中柜门底部边框的位置信息;第三确定单元,用于基于所述柜体底部边框的位置信息和所述柜门底部边框的位置信息确定所述目标图像中陈列柜的柜门开启角度。
第三方面,本公开实施例提供了一种陈列柜,包括:陈列柜柜体、第一摄像头、第二摄像头和处理器,其中,所述第一摄像头和所述第二摄像头安装在所述陈列柜柜体上,且所述第一摄像头的镜头朝向所述陈列柜柜体的底部;所述第一摄像头,被配置在所述陈列柜的柜门开启期间朝所述陈列柜底部拍摄得到的目标图像;所述处理器,被配置成确定所述目标图像中所述陈列柜的柜体底部边框的位置信息,并确定所述目标图像中柜门底部边框的位置信息;基于所述柜体底部边框的位置信息和所述柜门底部边框的位置信息确定所述目标图像中陈列柜的柜门开启角度;所述第二摄像头,被配置成在检测到所述柜门开启角度满足预设触发要求的情况下,朝所述陈列柜内部进行拍摄,得到待处理图像,以通过所述处理器对所述待处理图像进行图像处理,并根据图像处理结果确定所述陈列柜的目标分析信息。
第四方面,本公开实施例提供了一种陈列柜,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述所述的陈列柜开门角度的检测方法的步骤。
第五方面,本公开实施例提供了一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述所述的陈列柜开门角度的检测方法的步骤
在本公开实施例中,首先,可以确定第一摄像头拍摄的目标图像;其中,目标图像为所述陈列柜的柜门开启期间所述第一摄像头朝所述陈列柜底部拍摄得到的图像;然后,可以确定目标图像中陈列柜的柜体底部边框的位置信息,并确定所述目标图像中柜门底部边框的位置信息;进而,基于所述柜体底部边框的位置信息和所述柜门底部边框的位置信息确定所述目标图像中陈列柜的柜门开启角度。
通过确定采集到的目标图像中柜体底部边框的位置信息,并确定目标图像中柜门底部边框的位置信息,进而根据上述位置信息确定陈列柜的柜门开启角度的方式,可以快速并准确的计算出陈列柜的柜门开启角度,从而为实现陈列柜的其他基于开门角度的功能提供了技术支撑。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种陈列柜开门角度的检测方法的流程图;
图2示出了本公开实施例所提供的一种可选地目标图像的效果示意图;
图3示出了本公开实施例所提供的一种陈列柜开门角度的检测方法中,确定第一摄像头拍摄的目标图像的具体流程图;
图4示出了本公开实施例所提供的一种陈列柜开门角度的检测方法中,第一种确定所述目标图像中所述陈列柜的柜体底部边框的位置信息,并确定所述目标图像中柜门底部边框的位置信息的具体流程图;
图5示出了本公开实施例所提供的一种目标图像中边界检测结果和目标定位标识的示意图;
图6示出了本公开实施例所提供的一种陈列柜开门角度的检测方法中,第二种确定所述目标图像中所述陈列柜的柜体底部边框的位置信息,并确定所述目标图像中柜门底部边框的位置信息的具体流程图;
图7示出了本公开实施例所提供的一种目标图像中第一目标直线的效果示意图;
图8示出了本公开实施例所提供的一种陈列柜开门角度的检测方法中,第三种确定所述目标图像中所述陈列柜的柜体底部边框的位置信息,并确定所述目标图像中柜门底部边框的位置信息的具体流程图;
图9示出了本公开实施例所提供的一种目标图像中角度1和角度2的效果示意图;
图10示出了本公开实施例所提供的一种陈列柜中第一摄像头和第二摄像头的安装位置的效果示意图;
图11示出了本公开实施例所提供的一种陈列柜开门角度的检测装置的示意图;
图12示出了本公开实施例所提供的一种陈列柜的示意图;
图13示出了本公开实施例所提供的另一种陈列柜的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
经研究发现,现有陈列柜无法准确的检测陈列柜的开门角度,从而无法触发陈列柜执行其他功能,例如,图像采集和视频采集等功能。在图像处理技术快速发展的时代,无法进行图像采集和视频采集,将限制陈列柜的智能程度,从而限制了陈列柜的更新速度。
基于上述研究,本公开提供了一种陈列柜开门角度的检测方法、陈列柜及存储介质。在本公开实施例中,首先,可以确定第一摄像头拍摄的目标图像;其中,目标图像为所述陈列柜的柜门开启期间所述第一摄像头朝所述陈列柜底部拍摄得到的图像;然后,可以确定目标图像中陈列柜的柜体底部边框的位置信息,并确定所述目标图像中柜门底部边框的位置信息;进而,基于所述柜体底部边框的位置信息和所述柜门底部边框的位置信息确定所述目标图像中陈列柜的柜门开启角度。
通过确定采集到的目标图像中柜体底部边框的位置信息,并确定目标图像中柜门底部边框的位置信息,进而根据上述位置信息确定陈列柜的柜门开启角度的方式,可以快速并准确的计算出陈列柜的柜门开启角度,从而为实现陈列柜的其他基于开门角度的功能提供了技术支撑。
在本公开实施例中,陈列柜可以为任意一种柜门能够打开启和关闭的柜体,例如,该陈列柜可以为支持无人自助功能的陈列柜,该陈列柜还可以为超市中用于放置冷藏物品的冷藏柜,除此之外,该陈列柜还可以为暖柜,用于放置冷冻物品的冰柜等任意一种能够开启和关闭柜门的柜体,本公开对陈列柜的种类不做具体限定。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种陈列柜开门角度的检测方法进行详细介绍。
参见图1所示,为本公开实施例提供的陈列柜开门角度的检测方法的流程图,所述方法包括步骤S101~S105,其中:
S101:确定第一摄像头拍摄的目标图像;其中,所述目标图像为所述陈列柜的柜门开启期间所述第一摄像头朝所述陈列柜底部拍摄得到的图像。
在本公开实施例中,第一摄像头可以安装在柜门的顶端上,且第一摄像头的镜头朝陈列柜的底部设置。在检测到陈列柜的柜门开启时,通过第一摄像头开始进行拍摄,得到目标图像。
具体实施时,可以在陈列柜的柜门上安装门磁开关,当陈列柜的柜门开启之后,门磁开关被触发,此时,就可以控制第一摄像头朝陈列柜底部拍摄得到目标图像。
在一个可选的实施方式中,可以触发第一摄像头对朝陈列柜底部拍摄得到实时视频流,并基于该实时视频流确定目标图像。在另一个可选的实施方式中,还可以触发第一摄像头每隔一段时间朝所述陈列柜底部拍摄得到目标图像,例如,可以每隔0.5秒朝陈列柜底部拍摄得到目标图像,此处对具体时间间隔不作具体限定。
S103:确定所述目标图像中所述陈列柜的柜体底部边框的位置信息,并确定所述目标图像中柜门底部边框的位置信息。
这里,陈列柜的柜体底部边框的位置信息可以为柜体底部边框的包围框的位置信息,还可以为柜体底部边框的边框端点在目标图像中的像素坐标,还可以为柜体底部边框中的每个点在目标图像中的像素坐标。
柜门底部边框的位置信息可以为柜门底部边框的包围框的位置信息,还可以为柜门底部边框的边框端点在目标图像中的像素坐标,还可以为柜门底部边框的每个点在目标图像中的像素坐标。
如图2所示,图2中标识10所标识的物体即为陈列柜的柜体底部边框,图2中标识20所标识的物体即为陈列柜的柜门底部边框。
S105:基于所述柜体底部边框的位置信息和所述柜门底部边框的位置信息确定所述目标图像中陈列柜的柜门开启角度。
在本公开实施例中,在确定出柜体底部边框的位置信息和柜门底部边框的位置信息之后,就可以基于柜体底部边框的位置信息和柜门底部边框的位置信息,确定柜体底部边框和柜门底部边框之间的夹角,进而根据该夹角确定陈列柜的柜门开启角度。
这里,在陈列柜中安装的第一摄像头可以为网络摄像头。在该第一摄像头拍摄到目标图像之后,可以通过互联网向服务器发送该目标图像,以使服务器执行上述所描述的步骤S101至步骤S105。
除此之外,还可以在陈列柜中安装一个处理器,其中,该处理器能够与第一摄像头通信连接。在该第一摄像头拍摄到目标图像之后,可以向处理器发送该目标图像,以使处理器执行上述所描述的步骤S101至步骤S105。
在本公开实施例中,首先,可以确定第一摄像头拍摄的目标图像;其中,目标图像为所述陈列柜的柜门开启期间所述第一摄像头朝所述陈列柜底部拍摄得到的图像;然后,可以确定目标图像中陈列柜的柜体底部边框的位置信息,并确定所述目标图像中柜门底部边框的位置信息;进而,基于所述柜体底部边框的位置信息和所述柜门底部边框的位置信息确定所述目标图像中陈列柜的柜门开启角度。
通过确定采集到的目标图像中柜体底部边框的位置信息,并确定目标图像中柜门底部边框的位置信息,进而根据上述位置信息确定陈列柜的柜门开启角度的方式,可以快速并准确的计算出陈列柜的柜门开启角度,从而为实现陈列柜的其他基于开门角度的功能提供了技术支撑。
下面将结合具体实施例对上述步骤进行介绍。
通过上述描述可知,在本公开实施例中,首先确定第一摄像头拍摄的目标图像。
在一个可选的实施方式中,如图3所示,上述步骤S101:确定第一摄像头拍摄的目标图像,具体包括如下步骤:
步骤S201:获取所述第一摄像头采集的实时视频流;
步骤S202:在所述实时视频流中确定满足目标触发条件的目标视频流,其中,所述目标触发条件为触发检测所述陈列柜的柜门开启角度的条件;
步骤S203:在所述目标视频流中确定所述目标图像。
在本公开实施例中,可以通过第一摄像头对陈列柜底部进行实时采集,从而得到实时视频流。在得到实时视频流之后,就可以检测实时视频流是否满足目标触发条件。具体实施时,可以检测实时视频流是否满足触发检测陈列柜的柜门开启角度的条件。如果确定出满足目标触发条件,则可以在实时视频流中确定满足目标触发条件的目标视频流,并在目标视频流中确定目标图像。
在一个可选的实施方式中,上述步骤S202:在所述实时视频流中确定满足目标触发条件的目标视频流,包括:
步骤S2021:检测所述实时视频流中视频画面发生变化的目标时刻;
步骤S2022:将所述实时视频流中在所述目标时刻之后采集到的视频流确定为所述目标视频流。
在本公开实施例中,可以检测实时视频流中视频画面发生变化的变化时刻,并在检测到该变化时刻的情况下,确定实时视频流满足目标触发条件,此时,可以将变化时刻之后所采集的视频流确定为目标视频流。
具体地,可以计算实时视频流中任意相邻视频帧之间的相似度,进而根据该相似度确定实时视频流中的视频画面是否发生了变化。如果确定出该相似度小于相似度阈值,则确定实时视频流中的视频画面发生了变化。
在本公开实施例中,目标视频流可以为该实时视频流中视频画面连续处于变化的视频流。比如,用户从陈列柜中拿取物品,首先,用户打开该陈列柜的柜门,并从陈列柜中拿取对应物品,以及关闭该陈列柜的柜门。实时视频流中用于记录上述过程的视频流可以为一个目标视频流,即实时视频流中视频画面连续处于变化的视频流。在用户关闭该陈列柜的柜门之后,实时视频流的视频画面将不再发生变化,此时,该实时视频流不满足目标触发条件。
除此之外,还可以通过其他方式检测实时视频流中视频画面发生变化的变化时刻,例如,通过光流追踪算法、特征点匹配算法、图像块匹配算法等,此处不再一一展开介绍。
在确定出目标视频流之后,就可以在目标视频流中确定目标图像。在一个可选的实施方式中,可以将目标视频流中的每个视频帧确定为目标图像,还可以按照预设间隔在目标视频流中确定目标图像。
上述实施方式中,通过在实时视频流中确定满足目标触发条件的目标视频流,并在目标视频流中确定目标图像的方式,可以快速并准确的在实时视频流中确定出需要进行柜门开启角度计算的视频流,从而提高了数据的处理效率。
在一个可选的实施方式中,确定第一摄像头拍摄的目标图像,具体还包括如下步骤:
在本公开实施例中,可以预先在陈列柜中安装一个门磁开关,其中,门磁开关主要由开关和磁铁两部分组成,开关部分由磁簧开关经引线连接定型封装而成;磁铁部分由对应的磁场强度的磁铁封装于塑胶或合金壳体内。当两者分开或接近至一定距离后,引起开关的开断从而感应物体位置的变化。
在陈列柜的柜门开启之后,可以通过门磁开关感应到陈列柜的柜门开启,此时,可以触发第一摄像头每隔一段时间朝所述陈列柜底部拍摄得到目标图像,例如,可以每隔0.5秒朝陈列柜底部拍摄得到目标图像。在门磁开关感应到陈列柜的柜门关闭之后,则可以控制第一摄像头结束图像的采集,此时,第一摄像头可以处于休眠状态,并在检测到陈列柜的柜门开启之后,重新处于工作状态。
在本公开实施例中,还可以在门磁开关感应到陈列柜的柜门开启之后,触发第一摄像头开始采集视频流,并在门磁开关感应到陈列柜的柜门关闭之后,结束对视频流的采集。针对第一摄像头采集到的视频流,可以在视频流中确定目标图像。例如,可以将视频流中的每个视频帧确定为目标图像,还可以按照预设间隔在视频流中确定目标图像。
在本公开实施例中,在确定出第一摄像头拍摄的目标图像之后,就可以确定所述目标图像中所述陈列柜的柜体底部边框的位置信息,并确定所述目标图像中柜门底部边框的位置信息。
在一个可选的实施方式中,如图4所示,上述步骤S103:确定所述目标图像中所述陈列柜的柜体底部边框的位置信息,并确定所述目标图像中柜门底部边框的位置信息,具体包括如下步骤:
步骤S401:将所述目标图像输入至目标边框检测模型中进行处理,得到边框检测结果;
步骤S402:基于所述边框检测结果确定所述柜体底部边框的位置信息和所述柜门底部边框的位置信息。
在本公开实施例中,在确定出目标图像之后,就可以将该目标图像输入至目标边框检测模型中进行处理,从而检测得到柜体底部边框和柜门底部边框的边框检测结果。
这里,边框检测结果可以为柜体底部边框的包围框(记为包围框A1),以及柜门底部边框的包围框(记为包围框A2)。除此之外,该边框检测结果中还可以包含目标夹角,其中,该目标夹角为基于包围框A1和包围框A2确定的两条经过目标定位标识的直线。
例如,如图5所示,这两条直线可以为基于包围框A1和包围框A2确定两条经过目标定位标识的直线。这里,目标定位标识为柜体底部边框和柜门底部边框之间的交点位置。
在按照上述所描述的方式确定边框检测结果之后,就可以基于该边框检测结果确定柜体底部边框的位置信息和所述柜门底部边框的位置信息。
在本公开实施例中,如果边框检测结果包含为柜体底部边框的包围框(记为包围框A1),以及柜门底部边框的包围框(记为包围框A2),此时,就可以基于包围框A1和包围框A2确定两条经过目标定位标识的直线,进而根据这两条直线的夹角确定陈列柜的柜门开启角度。
如果边框检测结果包含为柜体底部边框的包围框(记为包围框A1),以及柜门底部边框的包围框(记为包围框A2),以及包含目标夹角,此时,就可以直接确定该目标夹角为陈列柜的柜门开启角度。
上述实施方式中,通过目标边框检测模型确定柜体底部边框的位置信息和柜门底部边框的位置信息的方式,可以快速对陈列柜的柜门开启角度进行检测。
在本公开实施例中,在将所述目标图像输入至目标边框检测模型中进行处理,得到边框检测结果之前,还需要对待训练的边框检测模型进行训练,具体训练过程描述如下:
(1)、获取目标训练样本,其中,所述目标训练样本中包含样本图像和图像标签,所述样本图像为指定摄像头朝所述陈列柜底部拍摄得到的图像,所述图像标签为样本图像中柜体底部边框的包围框和柜门底部边框的包围框;
(2)、基于所述目标训练样本对待训练的边框检测模型进行训练;
(3)、在所述待训练的边框检测模型满足训练要求的情况下,将满足所述训练要求的待训练的边框检测模型确定为所述目标边框检测模型。
具体实施时,可以通过陈列柜获取大量的样本图像。可以通过指定摄像头朝所述陈列柜底部拍摄得到样本图像,之后,还可以对样本图像中的柜门底部边框和柜体底部边框进行标注,得到柜体底部边框的包围框和柜门底部边框的包围框,从而构成目标训练样本。除此之外,还可以针对每个样本图像中的陈列柜,标注出该陈列柜的柜门开启角度。
在得到目标训练样本之后,还可以将目标训练样本拆分成训练集、验证集、测试集。
接下来,还可以使用数据增强的手段来丰富数据集样本(即训练集、验证集、测试集),数据增强的手段可以为以下至少之一:随机修改图像的HSV(Hue,Saturation,Value)通道、颜色抖动、高斯模糊、ISO噪声、随机旋转、随机裁剪、随机放大或者缩小、镜像、锐化等。
在对数据集样本进行图像增强处理之后,就可以基于图像增强处理后的数据集样本训练待训练的边框检测模型,从而得到目标边框检测模型。这里,待训练的边框检测模型可以使用YOLOV5、也可以使用其他的深度学习模型,本公开对此不做具体限定,以能够实现为准。
在基于图像增强处理后的数据集样本训练待训练的边框检测模型时,可以通过K-means聚类算法对数据集样本中标注的包围框大小进行聚类,得到包围框的聚类结果。之后,就可以基于包围框的聚类结果为样本图像中的每个物品生成多个锚框尺寸,并计算每个锚框和预先标注的包围框之间的交并比,以根据该计算出的交并比在多个锚框中确定待训练的边框检测模型为该物品预测出的包围框。
由于不同的样本图像可能为不同角度不同距离拍摄的图像,因此同一物品在不同的样本图像上的包围框大小不一样。上述所描述为样本图像中的每个物品生成多个锚框尺寸,可以理解为根据多个样本图像,为同一个物品确定多个符合其尺度特点的来自于不同角度不同距离拍摄的图像上的包围框,即多个锚框。
在本公开实施例中,在对待训练的边框检测模型进行训练过程中,还可以添加标签平滑,通过添加标签平滑可以防止模型在训练时过于自信地预测标签,从而改善泛化能力差的问题。在本公开实施例中,还可以引入目标损失函数Focal Loss,通过该目标损失函数可以解决困难样本收敛困难的问题。
在待训练的边框检测模型满足训练要求的情况下,将满足所述训练要求的待训练的边框检测模型确定为所述目标边框检测模型。
在得到目标边框检测模型之后,如果目标边框检测模型和特征提取模型的部署设备为终端设备,此时,还可以对该目标边框检测模型进行量化操作,从而将目标边框检测模型转换成ONNX格式的模型。之后,就可以在处理器中部署ONNX格式的目标边框检测模型。由于现有的处理器无法直接使用训练之后的目标边框检测模型,因此,需要对目标边框检测模型进行量化,通过模型量化可以将目标边框检测模型通过指定的库将其转换相应的格式文件。
在一个可选的实施方式中,如图6所示,上述步骤S103:确定所述目标图像中所述陈列柜的柜体底部边框的位置信息,并确定所述目标图像中柜门底部边框的位置信息,具体包括如下步骤:
步骤S601:对所述目标图像进行直线检测,得到直线检测结果,其中,所述直线检测结果中包含至少一条直线的位置信息;
步骤S602:基于所述直线检测结果确定所述柜体底部边框的位置信息和所述柜门底部边框的位置信息。
在本公开实施例中,可以通过预设直线检测算法对目标图像进行直线检测,从而得到直线检测结果。这里,直线检测结果中可以包含至少一条直线的位置信息。
这里,预设直线检测算法可以为霍夫变换算法、可以为Hough_line直线检测算法、可以为LSD(Line Segment Detector)直线检测算法等算法,本公开对预设直线检测算法的算法类型不作具体限定,以能够实现为准。
在得到直线检测结果之后,就可以在至少一条直线中确定用于表征柜体底部边框和柜门底部边框的直线,进而根据确定出的直线的位置信息确定柜体底部边框的位置信息和所述柜门底部边框的位置信息。
上述实施方式中,通过预设直线检测算法对目标图像进行直线检测,以根据直线检测结果确定柜体底部边框的位置信息和柜门底部边框的位置信息的方式,可以降低对处理器的计算能力的需求,同时还可以提高数据计算的效率。
在一个可选的实施方式中,上述步骤S602:基于所述直线检测结果确定所述柜体底部边框的位置信息和所述柜门底部边框的位置信息,具体包括如下步骤:
步骤S6021:检测所述直线检测结果中经过目标定位标识的第一目标直线,其中,所述目标定位标识为柜门开启期间,所述柜体底部边框和所述柜门底部边框中位置不发生变化的位置;
步骤S6022:在所述第一目标直线中确定直线斜率满足要求的第二目标直线;
步骤S6023:基于所述第二目标直线的位置信息确定所述柜体底部边框的位置信息和所述柜门底部边框的位置信息。
在本公开实施例中,如图5所示,目标定位标识为柜体底部边框和柜门底部边框之间的交点位置。
具体实施时,可以在直线检测结果中确定经过目标定位标识的第一目标直线。如图7所示,经过目标定位标识的第一目标直线包含:直线1、直线2、直线3和直线4,其中,直线1为柜体底部边框所在位置的直线,直线2为柜门底部边框所在位置的直线,直线3为柜体右侧边框所在位置的直线,直线4为柜门右侧边框所在位置的直线。
在确定出第一目标直线之后,就可以在第一目标直线中确定直线斜率满足要求的第二目标直线。
具体实施时,首先在目标图像中确定子图像区域,这里,子图像区域可以为以目标图像中包含柜体底部边框和柜门底部边框的子图像区域。此时,可以确定直线检测结果中位于该子图像区域内的第一目标直线;进而在位于该子图像区域内的第一目标直线中确定直线斜率满足要求的第二目标直线。
以图7所示的第一目标直线为例来进行介绍。假设,子图像区域可以为如图7中所示的区域。此时,可以确定出直线1和直线2位于该子图像区域中。假设以图像横轴作为基准轴,此时,可以确定出直线1相对于基准轴的直线斜率为0,直线2相对于基准轴的直线斜率不为0,此时,可以确定出直线2和直线1为满足直线斜率满足要求的第二目标直线。
通过上述描述可知,在所述第一目标直线中确定直线斜率满足要求的第二目标直线,可以理解为:
在第一目标直线中确定出相对于基准轴的直线斜率为0的直线,以及确定出相对于基准轴的直线斜率不为0的直线,进而根据确定出的直线确定第二目标直线。
在确定出第二目标直线之后,就可以基于所述第二目标直线的位置信息确定所述柜体底部边框的位置信息和所述柜门底部边框的位置信息。
具体实施时,可以确定第二目标直线中与柜体底部边框相对应的直线,并确定第二目标直线中与柜门底部边框相对应的直线,进而根据相对应直线的位置信息,确定柜体底部边框的位置信息和柜门底部边框的位置信息。
上述实施方式中,通过在直线检测结果中确定经过目标定位标识的第一目标直线,进而在第一目标直线中确定直线斜率满足要求的第二目标直线,以根据第二目标直线的位置信息确定所述柜体底部边框的位置信息和所述柜门底部边框的位置信息的方式,可以准确的从直线检测结果中确定柜体底部边框的位置信息和所述柜门底部边框的位置信息,以提高数据计算的精度。
在一个可选的实施方式中,如图8所示,上述步骤S103:确定所述目标图像中所述陈列柜的柜体底部边框的位置信息,并确定所述目标图像中柜门底部边框的位置信息,具体包括如下步骤:
步骤S801:通过图像分割网络对所述目标图像进行图像分割处理,得到所述目标图像中所述柜体的分割结果和所述柜门的分割结果;
步骤S802:基于所述柜体的分割结果确定所述柜体底部边框的位置信息,并基于所述柜门的分割结果确定所述柜门底部边框的位置信息。
在本公开实施例中,除了通过上述所描述的方式确定柜体底部边框的位置信息和所述柜门底部边框的位置信息之外,还可以通过图像分割的方式确定柜体底部边框的位置信息和所述柜门底部边框的位置信息。
具体实施时,可以将目标图像输入至图像分割网络中进行图像分割处理,从而得到柜体的分割结果和柜门的分割结果。由于柜体的分割结果包含柜体的边界信息,柜门的分割结果包含柜门的边界信息,此时,就可以基于柜体的分割结果确定柜体底部边框,并根据柜门的分割结果确定柜门底部边框,从而实现根据柜体的分割结果确定所述柜体底部边框的位置信息,并根据柜门的分割结果确定所述柜门底部边框的位置信息。
上述实施方式中,通过图像分割模型对目标图像进行图像分割处理,以根据图像分割结果确定柜体底部边框的位置信息和柜门底部边框的位置信息方式,可以加快位置信息的计算过程,从而加快柜门开启角度的计算过程,从而满足实时性要求较高的场景。
在本公开实施例中,在确定出目标图像中所述陈列柜的柜体底部边框的位置信息和柜门底部边框的位置信息之后,就可以基于所述柜体底部边框的位置信息和所述柜门底部边框的位置信息确定所述目标图像中陈列柜的柜门开启角度。
通过上述描述可知,边框检测结果中可以包含目标角度,此时,就可以根据该目标角度确定柜门开启角度。如图9所示,如果该目标角度为图9所示的角度1,此时,就可以通过公式:180度-角度1,确定出柜门开启角度,如果目标角度为如图9所示的角度2,此时,就可以直接将该角度2确定为柜门开启角度。
如果边框检测结果中不包含目标角度,且柜体底部边框的位置信息和柜门底部边框的位置信息为基于上述预设直线检测算法和图像分割网络确定出的位置信息的情况下,则可以通过以下方式确定所述目标图像中陈列柜的柜门开启角度,具体包括如下步骤:
步骤S1051:基于所述柜体底部边框的位置信息和所述柜门底部边框的位置信息,确定目标三角形的各个边长;所述目标图像中柜体底部边框和柜门底部边框分别为该目标三角形的一个边;
步骤S1052:基于所述目标三角形的各个边长确定所述目标图像中陈列柜的柜门开启角度。
在本公开实施例中,在确定出柜体底部边框的位置信息和所述柜门底部边框的位置信息之后,就可以基于这两个位置信息确定一个目标三角形,具体如图9所示,目标图像中柜体底部边框和柜门底部边框分别为该目标三角形的一个边。
由于柜体底部边框和柜门底部边框的长度是相等的,因此,该目标三角形为等边三角形。此时,在确定出目标三角形之后,就可以确定出该目标三角形的三个边长,进而根据目标三角形的各个边长确定所述目标图像中陈列柜的柜门开启角度,即如图9所示的角度2。
上述实施方式中,通过柜体底部边框的位置信息和所述柜门底部边框的位置信息,确定目标三角形,以根据该目标三角形的各个边长确定所述目标图像中陈列柜的柜门开启角度的方式,可以得到更加准确的计算结果。
在本公开实施例中,该方法还包括:
(1)、在确定所述目标图像中陈列柜的柜门开启角度之后,如果检测所述柜门开启角度满足预设触发要求,则触发第二摄像头朝所述陈列柜内部进行拍摄,得到待处理图像;
(2)、对所述待处理图像进行图像处理,并根据图像处理结果确定所述陈列柜的目标分析信息。
在本公开实施例中,在按照上述所描述的方式确定出陈列柜的柜门开启角度之后,可以检测柜门开启角度是否满足预设触发要求,例如,可以检测柜门开启角度是否大于预设角度阈值,还可以检测柜门开启角度是否已开启到最大角度,还可以检测柜门开启角度是否不再发生变化。
在检测到柜门开启角度满足预设触发要求之后,就可以触发第二摄像头朝所述陈列柜内部进行拍摄,得到待处理图像。
这里,第二摄像头可以安装在柜门的门把手上,且第二摄像头的镜头朝陈列柜的内部设置,其中,第一摄像头和第二摄像头的安装位置可以如图10所示。
在获取到待处理图像之后,就可以待处理图像进行图像处理,并根据图像处理结果确定所述陈列柜的目标分析信息。例如,可以对待处理图像进行物品检测,从而得到待处理图像中各个物品的物品检测结果。
上述实施方式中,通过确定采集到的目标图像中柜体底部边框的位置信息,并确定目标图像中柜门底部边框的位置信息,进而根据上述位置信息确定陈列柜的柜门开启角度的方式,可以快速并准确的计算出陈列柜的柜门开启角度,从而为实现陈列柜的其他基于开门角度的功能提供了技术支撑。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与陈列柜开门角度的检测方法对应的陈列柜开门角度的检测装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述陈列柜开门角度的检测方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图11所示,为本公开实施例提供的一种陈列柜开门角度的检测装置的示意图,所述装置包括:第一确定单元10、第二确定单元20、第三确定单元30;其中,
第一确定单元10,用于确定第一摄像头拍摄的目标图像;其中,所述目标图像为所述陈列柜的柜门开启期间所述第一摄像头朝所述陈列柜底部拍摄得到的图像;
第二确定单元20,用于确定所述目标图像中所述陈列柜的柜体底部边框的位置信息,并确定所述目标图像中柜门底部边框的位置信息;
第三确定单元30,用于基于所述柜体底部边框的位置信息和所述柜门底部边框的位置信息确定所述目标图像中陈列柜的柜门开启角度。
通过确定采集到的目标图像中柜体底部边框的位置信息,并确定目标图像中柜门底部边框的位置信息,进而根据上述位置信息确定陈列柜的柜门开启角度的方式,可以快速并准确的计算出陈列柜的柜门开启角度,从而为实现陈列柜的其他基于开门角度的功能提供了技术支撑。
一种可能的实施方式中,第二确定单元,还用于:将所述目标图像输入至目标边框检测模型中进行处理,得到边框检测结果;基于所述边框检测结果确定所述柜体底部边框的位置信息和所述柜门底部边框的位置信息。
一种可能的实施方式中,该装置还用于:获取目标训练样本,其中,所述目标训练样本中包含样本图像和图像标签,所述样本图像为指定摄像头朝所述陈列柜底部拍摄得到的图像,所述图像标签为样本图像中柜体底部边框的包围框和柜门底部边框的包围框;基于所述目标训练样本对待训练的边框检测模型进行训练;在所述待训练的边框检测模型满足训练要求的情况下,将满足所述训练要求的待训练的边框检测模型确定为所述目标边框检测模型。
一种可能的实施方式中,第二确定单元,还用于:对所述目标图像进行直线检测,得到直线检测结果,其中,所述直线检测结果中包含至少一条直线的位置信息;基于所述直线检测结果确定所述柜体底部边框的位置信息和所述柜门底部边框的位置信息。
一种可能的实施方式中,第二确定单元,还用于:检测所述直线检测结果中经过目标定位标识的第一目标直线,其中,所述目标定位标识为柜门开启期间,所述柜体底部边框和所述柜门底部边框中位置不发生变化的位置;在所述第一目标直线中确定直线斜率满足要求的第二目标直线;基于所述第二目标直线的位置信息确定所述柜体底部边框的位置信息和所述柜门底部边框的位置信息。
一种可能的实施方式中,第二确定单元,还用于:通过图像分割网络对所述目标图像进行图像分割处理,得到所述目标图像中所述柜体的分割结果和所述柜门的分割结果;基于所述柜体的分割结果确定所述柜体底部边框的位置信息,并基于所述柜门的分割结果确定所述柜门底部边框的位置信息。
一种可能的实施方式中,该装置还用于:在确定所述目标图像中陈列柜的柜门开启角度之后,如果检测所述柜门开启角度满足预设触发要求,则触发第二摄像头朝所述陈列柜内部进行拍摄,得到待处理图像;对所述待处理图像进行图像处理,并根据图像处理结果确定所述陈列柜的目标分析信息。
一种可能的实施方式中,第一确定单元,还用于:获取所述第一摄像头采集的实时视频流;在所述实时视频流中确定满足目标触发条件的目标视频流,其中,所述目标触发条件为触发检测所述陈列柜的柜门开启角度的条件;在所述目标视频流中确定所述目标图像。
一种可能的实施方式中,第一确定单元,还用于:检测所述实时视频流中视频画面发生变化的目标时刻;将所述实时视频流中在所述目标时刻之后采集到的视频流确定为所述目标视频流。
一种可能的实施方式中,第三确定单元,还用于:基于所述柜体底部边框的位置信息和所述柜门底部边框的位置信息,确定目标三角形的各个边长;所述目标图像中柜体底部边框和柜门底部边框分别为该目标三角形的一个边;基于所述目标三角形的各个边长确定所述目标图像中陈列柜的柜门开启角度。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
参照图12所示,为本公开实施例提供的一种陈列柜的结构示意图,所述陈列柜包括:陈列柜柜体111、第一摄像头112、第二摄像头113和处理器114,其中,所述第一摄像头112和第二摄像头113安装在所述陈列柜柜体111上,且所述第一摄像头的镜头朝向所述陈列柜柜体的底部,第二摄像头的镜头朝向所述陈列柜柜体的内部。第一摄像头112和第二摄像头113在陈列柜中的安装位置可以如图10所示。
第一摄像头112,被配置在所述陈列柜的柜门开启期间朝所述陈列柜底部拍摄得到的目标图像;
处理器114,被配置成确定所述目标图像中所述陈列柜的柜体底部边框的位置信息,并确定所述目标图像中柜门底部边框的位置信息;基于所述柜体底部边框的位置信息和所述柜门底部边框的位置信息确定所述目标图像中陈列柜的柜门开启角度。
这里,处理器114可以为NPU(Neural Network Processing Unit)神经网络处理器,除此之外,该处理器114还可以为其他类型的处理器,本公开对此不作具体限定。
第二摄像头113,被配置成在检测到所述柜门开启角度满足预设触发要求的情况下,朝所述陈列柜内部进行拍摄,得到待处理图像,以通过所述处理器对所述待处理图像进行图像处理,并根据图像处理结果确定所述陈列柜的目标分析信息。
下面将结合具体的应用场景对上述陈列柜中物品检测方法进行详细介绍。
假设,预先通过如图10所示的方式在陈列柜中安装了第一摄像头和第二摄像头,在陈列柜中包含NPU神经网络处理器,且在陈列柜中包含门磁开关,其中,第一摄像头、第二摄像头和门磁开关分别与NPU神经网络处理器通信连接。这里,第二摄像头所采集到的待处理图像主要用于进行陈列柜中物品的识别。
当用户打开陈列柜的柜门之后,门磁开关生成开门信号,NPU神经网络处理器在接收到该开门信号之后,控制第一摄像头开始采集实时视频流,并基于实时视频流确定目标图像。之后,第一摄像头可以向NPU神经网络处理器传输该目标图像。NPU神经网络处理器在接收到该目标图像之后,可以将该目标图像输入至目标边框检测模型中进行处理,得到边框检测结果;基于所述边框检测结果确定所述柜体底部边框的位置信息和所述柜门底部边框的位置信息,进而根据该柜体底部边框的位置信息和所述柜门底部边框的位置信息确定所述目标图像中陈列柜的柜门开启角度。
在NPU神经网络处理器检测到柜门开启角度满足预设触发要求,则触发第二摄像头朝所述陈列柜内部进行拍摄,得到待处理图像。接下来,NPU神经网络处理器还可以对所述待处理图像进行物品检测,并根据图像处理结果确定所述陈列柜中各个物品的物品检测结果(即,目标分析信息)。
通过确定采集到的目标图像中柜体底部边框的位置信息,并确定目标图像中柜门底部边框的位置信息,进而根据上述位置信息确定陈列柜的柜门开启角度的方式,可以快速并准确的计算出陈列柜的柜门开启角度,从而为实现陈列柜的其他基于开门角度的功能提供了技术支撑。
对应于图1中的陈列柜开门角度的检测方法,本公开实施例还提供了一种陈列柜1300,如图13所示,为本公开实施例提供的陈列柜1300结构示意图,包括:
处理器131、存储器132、和总线133;存储器132用于存储执行指令,包括内存1321和外部存储器1322;这里的内存1321也称内存储器,用于暂时存放处理器131中的运算数据,以及与硬盘等外部存储器1322交换的数据,处理器131通过内存1321与外部存储器1322进行数据交换,当所述陈列柜1300运行时,所述处理器131与所述存储器132之间通过总线133通信,使得所述处理器131执行以下指令:
确定第一摄像头拍摄的目标图像;其中,所述目标图像为所述陈列柜的柜门开启期间所述第一摄像头朝所述陈列柜底部拍摄得到的图像;
确定所述目标图像中所述陈列柜的柜体底部边框的位置信息,并确定所述目标图像中柜门底部边框的位置信息;
基于所述柜体底部边框的位置信息和所述柜门底部边框的位置信息确定所述目标图像中陈列柜的柜门开启角度。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的陈列柜开门角度的检测方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的陈列柜开门角度的检测方法的步骤,具体可参见上述方法实施例,在此不再赘述。
其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。
Claims (13)
1.一种陈列柜开门角度的检测方法,其特征在于,包括:
确定第一摄像头拍摄的目标图像;其中,所述目标图像为所述陈列柜的柜门开启期间所述第一摄像头朝所述陈列柜底部拍摄得到的图像;
确定所述目标图像中所述陈列柜的柜体底部边框的位置信息,并确定所述目标图像中柜门底部边框的位置信息;
基于所述柜体底部边框的位置信息和所述柜门底部边框的位置信息确定所述目标图像中陈列柜的柜门开启角度。
2.根据权利要求1所述的方法,其特征在于,所述确定所述目标图像中所述陈列柜的柜体底部边框的位置信息,并确定所述目标图像中柜门底部边框的位置信息,包括:
将所述目标图像输入至目标边框检测模型中进行处理,得到边框检测结果;
基于所述边框检测结果确定所述柜体底部边框的位置信息和所述柜门底部边框的位置信息。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
获取目标训练样本,其中,所述目标训练样本中包含样本图像和图像标签,所述样本图像为指定摄像头朝所述陈列柜底部拍摄得到的图像,所述图像标签为样本图像中柜体底部边框的包围框和柜门底部边框的包围框;
基于所述目标训练样本对待训练的边框检测模型进行训练;
在所述待训练的边框检测模型满足训练要求的情况下,将满足所述训练要求的待训练的边框检测模型确定为所述目标边框检测模型。
4.根据权利要求1所述的方法,其特征在于,所述确定所述目标图像中所述陈列柜的柜体底部边框的位置信息,并确定所述目标图像中柜门底部边框的位置信息,包括:
对所述目标图像进行直线检测,得到直线检测结果,其中,所述直线检测结果中包含至少一条直线的位置信息;
基于所述直线检测结果确定所述柜体底部边框的位置信息和所述柜门底部边框的位置信息。
5.根据权利要求4所述的方法,其特征在于,所述基于所述直线检测结果确定所述柜体底部边框的位置信息和所述柜门底部边框的位置信息,包括:
检测所述直线检测结果中经过目标定位标识的第一目标直线,其中,所述目标定位标识为柜门开启期间,所述柜体底部边框和所述柜门底部边框中位置不发生变化的位置;
在所述第一目标直线中确定直线斜率满足要求的第二目标直线;
基于所述第二目标直线的位置信息确定所述柜体底部边框的位置信息和所述柜门底部边框的位置信息。
6.根据权利要求1所述的方法,其特征在于,所述确定所述目标图像中所述陈列柜的柜体底部边框的位置信息,并确定所述目标图像中柜门底部边框的位置信息,包括:
通过图像分割网络对所述目标图像进行图像分割处理,得到所述目标图像中所述柜体的分割结果和所述柜门的分割结果;
基于所述柜体的分割结果确定所述柜体底部边框的位置信息,并基于所述柜门的分割结果确定所述柜门底部边框的位置信息。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在确定所述目标图像中陈列柜的柜门开启角度之后,如果检测所述柜门开启角度满足预设触发要求,则触发第二摄像头朝所述陈列柜内部进行拍摄,得到待处理图像;
对所述待处理图像进行图像处理,并根据图像处理结果确定所述陈列柜的目标分析信息。
8.根据权利要求1所述的方法,其特征在于,所述确定第一摄像头拍摄的目标图像,包括:
获取所述第一摄像头采集的实时视频流;
在所述实时视频流中确定满足目标触发条件的目标视频流,其中,所述目标触发条件为触发检测所述陈列柜的柜门开启角度的条件;
在所述目标视频流中确定所述目标图像。
9.根据权利要求8所述的方法,其特征在于,所述在所述实时视频流中确定满足目标触发条件的目标视频流,包括:
检测所述实时视频流中视频画面发生变化的目标时刻;
将所述实时视频流中在所述目标时刻之后采集到的视频流确定为所述目标视频流。
10.根据权利要求1所述的方法,其特征在于,所述基于所述柜体底部边框的位置信息和所述柜门底部边框的位置信息确定所述目标图像中陈列柜的柜门开启角度,包括:
基于所述柜体底部边框的位置信息和所述柜门底部边框的位置信息,确定目标三角形的各个边长;所述目标图像中柜体底部边框和柜门底部边框分别为该目标三角形的一个边;
基于所述目标三角形的各个边长确定所述目标图像中陈列柜的柜门开启角度。
11.一种陈列柜,其特征在于,包括:陈列柜柜体、第一摄像头、第二摄像头和处理器,其中,所述第一摄像头和所述第二摄像头安装在所述陈列柜柜体上,且所述第一摄像头的镜头朝向所述陈列柜柜体的底部;
所述第一摄像头,被配置在所述陈列柜的柜门开启期间朝所述陈列柜底部拍摄得到的目标图像;
所述处理器,被配置成确定所述目标图像中所述陈列柜的柜体底部边框的位置信息,并确定所述目标图像中柜门底部边框的位置信息;基于所述柜体底部边框的位置信息和所述柜门底部边框的位置信息确定所述目标图像中陈列柜的柜门开启角度;
所述第二摄像头,被配置成在检测到所述柜门开启角度满足预设触发要求的情况下,朝所述陈列柜内部进行拍摄,得到待处理图像,以通过所述处理器对所述待处理图像进行图像处理,并根据图像处理结果确定所述陈列柜的目标分析信息。
12.一种陈列柜,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至10任一所述的陈列柜开门角度的检测方法的步骤。
13.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至10任一所述的陈列柜开门角度的检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111591615.2A CN114279367A (zh) | 2021-12-23 | 2021-12-23 | 陈列柜开门角度的检测方法、陈列柜及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111591615.2A CN114279367A (zh) | 2021-12-23 | 2021-12-23 | 陈列柜开门角度的检测方法、陈列柜及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114279367A true CN114279367A (zh) | 2022-04-05 |
Family
ID=80874674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111591615.2A Pending CN114279367A (zh) | 2021-12-23 | 2021-12-23 | 陈列柜开门角度的检测方法、陈列柜及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114279367A (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105973167A (zh) * | 2016-05-10 | 2016-09-28 | 中冶南方工程技术有限公司 | 煤气柜活塞的偏移、扭转测量方法和装置 |
CN108731614A (zh) * | 2018-06-01 | 2018-11-02 | 天仁民防建筑工程设计有限公司 | 一种人防门开关量自动检测系统及方法 |
CN108885813A (zh) * | 2018-06-06 | 2018-11-23 | 深圳前海达闼云端智能科技有限公司 | 智能售货柜、物品识别的方法、装置、服务器和存储介质 |
CN109740571A (zh) * | 2019-01-22 | 2019-05-10 | 南京旷云科技有限公司 | 图像采集的方法、图像处理的方法、装置和电子设备 |
CN113114895A (zh) * | 2021-04-13 | 2021-07-13 | 合肥美的智能科技有限公司 | 货柜的控制方法、货柜和可读存储介质 |
CN113191227A (zh) * | 2021-04-20 | 2021-07-30 | 上海东普信息科技有限公司 | 柜门状态的检测方法、装置、设备及存储介质 |
WO2021184718A1 (zh) * | 2020-03-16 | 2021-09-23 | 平安科技(深圳)有限公司 | 卡片边框识别方法、装置、设备和计算机存储介质 |
CN113470250A (zh) * | 2021-06-30 | 2021-10-01 | 杭州海康机器人技术有限公司 | 售卖柜、监控方法、服务器、系统及计算机可读存储介质 |
CN113610005A (zh) * | 2021-08-09 | 2021-11-05 | 元气森林(北京)食品科技集团有限公司 | 物品识别方法、电子设备、可读存储介质及产品 |
-
2021
- 2021-12-23 CN CN202111591615.2A patent/CN114279367A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105973167A (zh) * | 2016-05-10 | 2016-09-28 | 中冶南方工程技术有限公司 | 煤气柜活塞的偏移、扭转测量方法和装置 |
CN108731614A (zh) * | 2018-06-01 | 2018-11-02 | 天仁民防建筑工程设计有限公司 | 一种人防门开关量自动检测系统及方法 |
CN108885813A (zh) * | 2018-06-06 | 2018-11-23 | 深圳前海达闼云端智能科技有限公司 | 智能售货柜、物品识别的方法、装置、服务器和存储介质 |
CN109740571A (zh) * | 2019-01-22 | 2019-05-10 | 南京旷云科技有限公司 | 图像采集的方法、图像处理的方法、装置和电子设备 |
WO2021184718A1 (zh) * | 2020-03-16 | 2021-09-23 | 平安科技(深圳)有限公司 | 卡片边框识别方法、装置、设备和计算机存储介质 |
CN113114895A (zh) * | 2021-04-13 | 2021-07-13 | 合肥美的智能科技有限公司 | 货柜的控制方法、货柜和可读存储介质 |
CN113191227A (zh) * | 2021-04-20 | 2021-07-30 | 上海东普信息科技有限公司 | 柜门状态的检测方法、装置、设备及存储介质 |
CN113470250A (zh) * | 2021-06-30 | 2021-10-01 | 杭州海康机器人技术有限公司 | 售卖柜、监控方法、服务器、系统及计算机可读存储介质 |
CN113610005A (zh) * | 2021-08-09 | 2021-11-05 | 元气森林(北京)食品科技集团有限公司 | 物品识别方法、电子设备、可读存储介质及产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111415461B (zh) | 物品识别方法及系统、电子设备 | |
Santra et al. | A comprehensive survey on computer vision based approaches for automatic identification of products in retail store | |
Oreifej et al. | Hon4d: Histogram of oriented 4d normals for activity recognition from depth sequences | |
Zelnik-Manor et al. | Statistical analysis of dynamic actions | |
US9224060B1 (en) | Object tracking using depth information | |
EP3857440A1 (en) | Method and apparatus for processing video stream | |
Wang et al. | Informative shape representations for human action recognition | |
Nambiar et al. | A multi-camera video dataset for research on high-definition surveillance | |
CN109977824B (zh) | 物品取放识别方法、装置及设备 | |
CN111666792B (zh) | 图像识别方法、图像采集和识别方法以及商品识别方法 | |
Chen et al. | Exploring depth information for head detection with depth images | |
CN114025075A (zh) | 陈列柜中物品检测方法、陈列柜以及存储介质 | |
CN104103062A (zh) | 图像处理设备和图像处理方法 | |
Siva et al. | Real-time, embedded scene invariant crowd counting using scale-normalized histogram of moving gradients (HoMG) | |
Siva et al. | Scene invariant crowd segmentation and counting using scale-normalized histogram of moving gradients (homg) | |
Popa et al. | Detecting customers’ buying events on a real-life database | |
CN114279367A (zh) | 陈列柜开门角度的检测方法、陈列柜及存储介质 | |
CN112488985A (zh) | 图像质量确定方法、装置及设备 | |
CN114299388A (zh) | 物品信息确定方法、陈列柜以及存储介质 | |
Czúni et al. | The use of IMUs for video object retrieval in lightweight devices | |
Feng et al. | HOSO: Histogram of surface orientation for RGB-D salient object detection | |
WO2021214880A1 (ja) | 処理装置、処理方法及びプログラム | |
CN114648720A (zh) | 神经网络训练方法、图像检测方法、装置、设备及介质 | |
Nikouei et al. | Smart surveillance video stream processing at the edge for real-time human objects tracking | |
CN114209188B (zh) | 陈列柜中物品陈列角度的调整方法、陈列柜及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |