CN107403332B - 货架取物侦测系统及方法 - Google Patents

Abstract

本发明有关于一种货架取物侦测系统及方法，是根据设置于场景中的深度感测器以侦测感测范围，再透过侦测子模块及分析子模块以记录外部置货架上的货品在置货架边缘的设定感测范围内被拿取或归位的次数，并透过数据库子系统储存，且本发明可进一步利用所取得的货品存取数据以分析置货架被存取的热门区域，作为物流管理及销售策略的参考。

Description

货架取物侦测系统及方法

技术领域

本发明有关于一种侦测系统及方法，特别是一种按照影像深度和变化追踪判断置货架上的货品是否被取用的货架取物侦测系统及方法。

背景技术

随着大数据分析的技术及应用愈趋热门，消费者行为与商品热销程度的关连分析利用大数据的研究方法亦越来越受到重视，商品曝光程度、周边商品、甚至是陈列位置均可能影响商品的销售，故如何搜集商品受消费者关注程度的量化数据，并提供商家进行货架存取次数与商品热销程度关连的有效分析是为一种有高度需求的技术。

在先前技术中，需透过人工盘点再作事后统计方式才能取得商品销售信息，然而此种作法耗工且耗时极其不符合经济效益，而在近代的技术中，则若干方式可透过无线射频技术等方式附加电子卷标于商品上，并根据电子卷标来判断商品离开货架与否，或是再配合一维条形码与POS(Point of Sale)机等等设备进行整体的仓储物流管理，然而，此种技术中，无线射频电子卷标需部署于每个商品上，这个设置过程亦耗费人工且电力因素造成的讯号问题可能造成电子卷标无法被正确侦测与接收，另外，使用POS(Point of Sale)机进行仓储物流管理所取得之信息则仅能得知商品销售程度，并未考虑商品的受关注程度，例如消费者可能先将商品拿起观看或丢入推车，但最终仍因某些因素没有进行购买，这些信息对于销售亦有极大帮助。

由此可见，上述先前技术仍存在若干思考不周之处，亟需进行改良。

发明内容

本发明提出一种货架取物侦测系统及方法，是根据场景中的深度感测以计算外部货品在置货架边的感测范围被拿取或归位的次数，且可进一步分析置货架被存取的热区以作为后续物流管理及销售的参考。

本发明的系统包含一深度感测装置，设置于外部置货架的相对上方且以包含部分外部置货架与外部置货架外侧部分环境的范围为感测范围的感测装置，该深度感测装置主要是透过影像摄录方式进行感测。

本发明更包含一侦测子系统，该侦测子系统是与该深度感测装置链接并接收来自该深度感测装置所侦测感测范围内的感测影像，该侦测子系统可将感测影像按照深度分离出前景与背景，并利用于判断是否有外部对象进入或离开感测范围以及外部对象在感测范围内的影像变化，其中，该侦测子系统更包含一影像取像模块，用以接收来自该深度感测装置所侦测感测范围内包含色彩或深度的感测影像，以及一前后景分离模块，用以将该影像取像模块接收的感测影像依据深度以分离出前景以及背景，该侦测子系统更包含一对象侦测模块，在感测范围内追踪并判断是否有一或多个外部对象进入或离开感测范围的前景。

本发明更有一分析子系统，用以图量化深度以透过边缘侦测算法在感测范围内划分出多个虚拟边界，该分析子系统是追踪且纪录外部对象在感测范围内的各该虚拟边界的进出位置、进出深度、进出次数以及进出前后的影像变化以判断外部置货架上的货物进出的相关信息。

其中，该分析子系统细分更包含一场景分析模块，用以根据该深度感测装置所侦测感测范围内的感测影像来解析外部置货架的部署情形，并再根据外部置货架的部署情形透过一种边缘侦测算法以在感测范围内距外部置货架的取物侧外的一定距离处以规划出多个虚拟边界，各该虚拟边界即可被简单理解为用以判断是否取物行为的边界线。

该分析子系统更包含一对象追踪模块，用以追踪外部对象(即消费者或是推车等对象)在感测范围内的移动并赋予外部对象各自的标识符(给予标识符之目标可包含外部货品等)。

该分析子系统透过一越线取物分析模块以前述各该虚拟边界为基准，判断外部对象与外部置货架间的相互关系以及是否越过各该虚拟边界并据以记录外部置货架上的各种外部货品是否被消费者存取，以及记录外部货品被存取的次数。

该分析子系统包含一数据分析模块，该数据分析模块依据该越线取物分析模块得出货品是否被存取及被存取的次数等信息作为材料分析，其目的在找出外部置货架被存取的区间以及被存取最频繁的热区等，即可大略推估在外部置货架的部署上，是否有哪些区间或货架受关注的价值较高。

该分析子系统更包含一对象相似度比对模块，用以依该越线取物分析模块判断外部对象进出各该虚拟边界前后所显示影像之间的变化，并解析其相似度以判断被取或放回的货品的种类，以提升辨识准确率。

而本发明的货架取物侦测系统具有一数据库子系统，用以储存该分析子系统所追踪前述的外部对象以及外部货品在感测范围内的各该虚拟边界进出的位置、深度、次数以及进出前后的影像变化所产生的相关信息，更详细来说，该数据库子系统储存外部货品在感测范围内的各该虚拟边界进出的取物次数、归物次数、取物区间、归物区间，或是外部对象进入各该虚拟边界的次数、外部对象离开各该虚拟边界的次数、外部对象停留在感测范围内的关注时间等。

而本发明的货架取物侦测系统及方法，即是应用于量贩卖场、零售店、书店、精品店等案场，利用深度感测装置取得场景的俯视场景深度信息，实时侦测置货架被存取的确切位置或阶层，并藉由深度、色彩、形状、纹理或区域性特征等多种图像特征组合判断消费者是否有取物行为并记录商品受关注时间，且可藉由预先设定或透过影像辨识方式得知消费者拿取的物品的品项，或更可将相关信息推播至货架附近的电子显示器，让消费者可获得产品成分、使用等相关讯息，抑或是可以推荐周边/关联/相似产品给消费者的系统及其使用方法。

附图说明

图1为本发明的货架取物侦测系统架构实施图；

图2为本发明的货架部署影像实施例示意图；

图3为本发明的货架取物侦测方法步骤流程图；

图4本发明的背景深度影像示意图；

图5本发明的货架部署前感测线的规划示意图；

图6本发明的追踪并付予标识符示意图；

图7本发明的物件相似度比对示意图；

图8本发明的置货架存取热门区域的分布示意图。

附图标记说明

100 商品置货架

200 深度感测器

300 侦测子系统

310 影像取像模块

320 前后景分离模块

330 对象侦测模块

400 分析子系统

410 场景分析模块

420 对象追踪模块

430 越线取物分析模块

440 数据分析模块

450 对象相似度比对模块

500 数据库子系统

510 越线次数数据

520 取物次数数据

530 取物位置数据

540 货架区间数据

550 关注时间数据

S301～S308 步骤流程

具体实施方式

以下将以实施例结合图式对本发明进行进一步说明，首先请参照图1，是为本发明的系统架构实施图，各子系统以及外部组件将分述如下：

商品置货架100，用以陈列商品用，商品置货架其取物端的动静是为深度感测器侦测的主要标的。

深度感测器200，用以自上方获取彩色影像或场景深度等信息，其可设置于货架上方或采吸顶方式安装于案场的天花板。

侦测子系统300，其是用于根据深度感测器200截取的影像，以透过影像深度在感测范围内建立前景背景的差异，并据此对在前景活动的对象进行侦测。

分析子系统400，是用于将侦测子系统300侦测的影像进行场景分析、前景物件追踪、取物分析判断或置货架存取热区分析等运算。

数据库子系统500，是用于较长时间储存前述分析子系统400得来的侦测及运算数据数据，当数据达定量时即可开始提供分析子系统进行热区分析等运算。

总的来说，本发明的深度感测器200安装于商品置货架100上方或是当商品置货架100上方无支架固定时可采用吸顶式安装于案场的天花板上，深度感测器200是采俯视角度向下拍摄画面，深度感测器200则连结至后端的侦测子系统300，侦测子系统300透过影像取像模块310从深度感测器200取得彩色影像与场景深度信息且将深度信息转换为深度影像，并交由前后景分离模块320区分前景影像与背景影像，再由对象侦测模块330对前景影像进行对象侦测以取得各对象信息。

分析子系统400将对侦测子系统300取得的相关信息进一步处理，在系统启动时，场景分析模块410会先透过深度影像信息自动分析置货架部署的场景，且利用深度图量化(Quantization)方式、边缘侦测算法等估计出置货架与背景环境的走道间的区隔线，以多个虚拟边界规划出感测线以及感测区，将可计算出如图2所示的货架部署影像，而其中灰色区域是规划为感测区，而图中虚线就是感测线。

当完成场景部署分析后，对象追踪模块420将对对象侦测模块330侦测出的外部对象进行轨迹追踪与标识符标注，而越线取物分析模块430则是持续对被追踪的外部对象运行碰触点侦测，当一外部对象的端点碰触跨越线进入置货架区域时立即记录当时的对象影像与形状，并将该存取点运算转换至真实世界的立体坐标，然后将越线次数数据510与取物位置数据530记录写入数据库子系统500中，当该外部对象端点离开置货架区域时，越线取物分析模块430会实时再截取外部对象的影像与形状，再将该对象进入或离开货架区域时的影像传输至对象相似度比对模块450。

承上，对象相似度比对模块450透过多种影像特征作为条件计算外部对象进入或离开置货架区域时的影像差异，所述影像差异包含对象深度影像面积差异比例、对象彩色影像分布直方图差异与BOV(Bag-of-Visual-Words)方式抽取的区域性特征点分布直方图差异等等，而透过不同权重值进行各特征差异值加总计算平均差异值，并由越线取物分析模块430根据平均差异值判断外部对象(多数时候即为使用者)是否有取物行为，若有，则更新数据库子系统500中的取物次数数据520，此种相似度比对方式可有效避免因商品颜色与肤色差异小、商品形状或尺寸不同所造成的取物侦测准确度下降，而当取物行为确实发生时，若消费者取出外部货品的影像尚处于感测区域内时，系统将会持续追踪该外部货品，若发现消费者将拿取的外部货品放回置货架时，越线取物分析模块430亦纪录此笔返还行为，并将取物及返还间的商品受关注时间数据550存入数据库子系统500。

而数据分析模块440会定时计算数据库子系统500中的数据量，当数据量达一定程度时数据分析模块440会以统计方式主动分析越线次数数据510、取物次数数据520、取物位置数据530与关注时间数据550等信息，将这些数据用于计算货架热门存取区域，或是透过分群算法自动估算货架字段数与阶层数，数据分析模块440并将货架区间数据540储存到数据库子系统500中。

另外，更可以各流程步骤方式说明本发明的运作机制，即本发明的方法步骤流程图可如图3所示，详细说明如下：

另可一齐参阅图1本发明系统架构图，步骤S301是为前后景分离侦测，是于商品置货架100上方架设一深度感测器200以俯视角度向下拍摄，完成后通过影像取像模块310取得场景俯视感测影像，再透过前后景分离模块320建立如图4所示的背景深度影像。

再来则为步骤S302确认是否完成场景部署侦测，其是将背景深度影像输入场景分析模块410，若无，进入步骤S303进行场景部署分析，则利用边缘侦测算法计算出货架与走道的区隔线，并通过深度影像的深度值判断各区块分别为置货架或走道，再由置货架取物端前缘向走道延伸一段距离作为感测区域，并于感测区域中点绘制出如图5示意图中的感测线。

而完成步骤S302货架部署场景分析后，进行步骤S304前景对象侦测追踪，此步骤是由对象侦测模块330于感测区域内对深度影像前景进行对象侦测，并将侦测到的外部对象交由对象追踪模块420进行追踪并付予标识符，如图6所示。

接着是步骤S305对象越线或取物判断，越线取物分析模块430持续对追踪中的对象进行感测线碰触侦测，当对象边缘端点碰触感测线进入货架区域时，越线取物分析模块430进行存取次数与真实世界立体坐标记录并截取和保存外部对象穿越感测线进入置货架部署区域时的彩色与深度影像。当外部对象边缘端点离开置货架区域与感测线时，越线取物分析模块430再次截取外部对象的彩色与深度影像(此时若有取物外部对象与外部货品的影像应结合为一体，若无，外部对象的影像虽可能稍有手势的变化亦应使差异在一范围内)，并将该影像与外部对象进入货架区时的彩色与深度影像输入至对象相似度比对模块450以进行相似度计算，在于判断消费者是否取物或是提取何种货品，如图7所示，对象相似度比对模块450对输入的彩色影像建立色彩分布直方图、抽区域性特征点及采用BOV(Bag-of-Visual-Words)方式建立特征点分布直方图并计算外部对象进入或离开货架区域的深度影像大小与形状相似度，色彩分布与区域性特征点分布采用巴氏(Bhattacharyya)距离计算直方图差异值，深度影像大小差异值则利用将外部对象影像二值化后计算面积差异比例，形状差异值则计算进入或离开的深度影像重叠区域比例以求得，对象相似度比对模块450再依据权重将前述各特征求得的差异值进行加总，算出平均差异值。

若有越线取物行为，则进入步骤S306纪录存取行为与位置，越线取物分析模块430根据对象相似度比对模块450输出的平均差异值判断用户是否有取物行为，若平均差异值确高于一先前设定的临界值则判断为消费者有取物行为并将其信息写入数据库子系统500，若取物后，消费者持续处于感测区中，则系统将持续以标识符追踪该消费者，若侦测到消费者将所取的物品返还置货架，则亦记录该返还行为并记录商品的关注时间数据550(自取物到返还的时间)。

若无越线或取物行为，则回到步骤S301前后景分离侦测，其是为数据分析模块440截取数据库子系统500内的数据并判断其数量是否高于一临界值，若高于临界值(数据数量已足够)则将越线次数数据510、取物次数数据520、取物位置数据530与关注时间数据550等信息提取，再利用前述各项数据采取阶层式分群法以计算置货架应具有的字段数与阶层数，并应用前述各项数据以统计各字段和阶层的存取次数计算置货架存取热门区域的分布，即如图8所示。

而随着长时间的感测与分析，数据亦随着增加，故接着为步骤S307判断数据是否足够，若足够，即进入步骤S308置货架热区分析及更新，此步骤为数据分析模块440将可持续依据累积数据的变动再次进行分析以更新置货架热区信息，或提供量化数据有效地给与案场的商家进行置货架存取次数与商品热销程度关连等分析，接着，系统可选择性地再次自步骤S301开始再次执行流程，而若数据不足，系统会回到步骤S301前后景分离侦测以重复流程。

综上所述，可知本发明确为一种应用于多种案场，可自动取得货物被存取次数以及置货架的热门区块的销售及物流辅助系统及其应用方法，本发明在技术思想上实属创新，也具备先前技术不及的多种功效，已充分符合新颖性及进步性的法定发明专利要件，爰依法提出专利申请，恳请贵局核准本件发明专利申请案以励发明，至感德便。

Claims (6)

1.一种货架取物侦测系统，其特征在于，包含：

一深度感测装置，该深度感测装置是设置于外部置货架的相对上方且以包含部分外部置货架与外部置货架外侧部分环境的范围为感测范围的感测装置；

一侦测子系统，该侦测子系统是与该深度感测装置链接并接收来自该深度感测装置所侦测感测范围内的感测影像，该侦测子系统将感测影像依据深度分离出前景与背景，并利用于判断是否有外部对象进入或离开感测范围以及外部对象在感测范围内的影像变化；

一分析子系统，是用以图量化深度以透过边缘侦测算法以在感测范围内划分出多个虚拟边界，该分析子系统是追踪且纪录外部对象在感测范围内的各该虚拟边界的进出位置、进出深度、进出次数以及进出前后的影像变化以判断外部置货架上的货物进出的相关信息，其中，该分析子系统更包含：

一场景分析模块，用以根据该深度感测装置所侦测感测范围内的感测影像以分析外部置货架的部署，并根据外部置货架的部署和边缘侦测算法在感测范围内划分出多个虚拟边界；

一对象追踪模块，用以追踪外部对象在感测范围内的移动并赋予外部对象各自的标识符；

一越线取物分析模块，根据该场景分析模块规划的各该虚拟边界为基准的进出行程以判断外部置货架上的货品是否被存取及被存取的次数；

一数据分析模块，依据该越线取物分析模块得出货品是否被存取及被存取的次数信息以解析出外部置货架被存取的区间以及被存取频繁的热区；及

一对象相似度比对模块，依该越线取物分析模块所解析的各货品显示影像变化之间的相似度为基准以比对判断货品种类；以及

一数据库子系统，是用以储存该分析子系统所追踪前述的外部对象在感测范围内的各该虚拟边界进出的位置、深度、次数以及进出前后的影像变化所产生的相关信息。

2.根据权利要求1所述的货架取物侦测系统，其特征在于，该侦测子系统更包含：

一影像取像模块，用以接收来自该深度感测装置所侦测感测范围内包含色彩或深度的感测影像；

一前后景分离模块，用以将该影像取像模块接收的感测影像依据深度以分离出前景以及背景；以及

一对象侦测模块，在感测范围内追踪并判断是否有一或多个外部对象进入或离开感测范围的前景。

3.一种货架取物侦测系统，其特征在于，包含：

一深度感测装置，该深度感测装置是设置于外部置货架的相对上方且以包含部分外部置货架与外部置货架外侧部分环境的范围为感测范围的感测装置；

一侦测子系统，该侦测子系统是与该深度感测装置链接并接收来自该深度感测装置所侦测感测范围内的感测影像，该侦测子系统将感测影像依据深度分离出前景与背景，并利用于判断是否有外部对象进入或离开感测范围以及外部对象在感测范围内的影像变化；

一分析子系统，是用以图量化深度以透过边缘侦测算法以在感测范围内划分出多个虚拟边界，该分析子系统是追踪且纪录外部对象在感测范围内的各该虚拟边界的进出位置、进出深度、进出次数以及进出前后的影像变化以判断外部置货架上的货物进出的相关信息；以及

一数据库子系统，是用以储存该分析子系统所追踪前述的外部对象在感测范围内的各该虚拟边界进出的位置、深度、次数以及进出前后的影像变化所产生的相关信息，

其中，该数据库子系统是用以储存该分析子系统所追踪的外部货品在感测范围内的各该虚拟边界进出的取物次数、归物次数、取物区间、归物区间，或是外部对象进入各该虚拟边界的次数、外部对象离开各该虚拟边界的次数、外部对象停留在感测范围内的关注时间。

4.一种货架取物侦测方法，其特征在于，包含下列步骤：

货架部署场景侦测步骤，此步骤是设置一深度感测装置使其得以自上方俯视侦测包含外部置货架供消费者拿取物品侧以及外部置货架外侧部分环境的感测范围以取得感测影像，并以一侦测子系统对取得的感测影像根据深度值进行边缘侦测以区分前景与背景，再以一分析子系统将感测影像中外部置货架的部署位置划分多个虚拟边界以定义越线感测区域；

置货架存取分析步骤，该分析子系统利用感测影像中依据深度取得的前景以对进入前景的外部对象进行追踪，该分析子系统于外部对象穿越各该虚拟边界进入外部置货架部署位置时将记录该外部对象穿越位置的深度与色彩影像，并将穿越位置转换为坐标位置，该分析子系统于外部对象离开外部置货架部署位置与各该虚拟边界时将再纪录穿越位置的深度与色彩影像，并与外部对象进入时记录的影像的深度与色彩进行相似度比对，以判断外部货品被存取与否；以及

置货架热区分析步骤，一数据库子系统将储存前述该分析子系统所纪录的外部对象、穿越位置的深度与色彩影像、坐标位置、外部货品存取与否等数据，该分析子系统在数据累积后将依据转换为坐标位置的穿越位置的深度值进行分群以计算出外部置货架被存取频繁的热门区域。

5.根据权利要求4所述的货架取物侦测方法，其特征在于，置货架存取分析步骤中更包含以下步骤：

该分析子系统在比对外部货品时，为避免肇因于外部货品色彩与肤色接近或外部货品形状、角度、尺寸的差异的侦测准确度误差，是透过一对象相似度比对模块对外部对象的深度或色彩影像进行特征抽取，其对可量化的特征直接进行差异比对；

该对象相似度比对模块对难以量化的特征是采统计或BOV(Bag of Visterm)方法以建立特征直方图并利用巴氏距离计算特征直方图的量化差异值；

该对象相似度比对模块将特征的差异值依据特征权重加权计算出平均差异值；

若差异超过一临界值，该对象相似度比对模块判断取物动作为真；

若差异低于该临界值，该对象相似度比对模块仅记录本次动作并未取物；

该分析子系统持续追踪被取物的外部货品在感测范围内的动向；以及

若该分析子系统追踪被取物的外部货品被放回外部置货架，则记录该外部货品被关注时间，被关注时间可回馈在置货架热区分析步骤中作为权重使用。

6.根据权利要求4所述的货架取物侦测方法，其特征在于，置货架热区分析步骤中更包含以下步骤：

该分析子系统在数据累积后将依据转换为坐标位置的穿越位置的深度值进行阶层式分群，找出群聚密度高的深度并记录群聚数以藉此估算外部置货架的纵向阶层数；

该分析子系统亦会依据存取的坐标位置横轴值进行阶层式分群，找出群聚密度高的深度并记录群聚数以藉此估算外部置货架的横向字段数；以及

该分析子系统将依据外部置货架的纵向阶层数与横向字段数以及各字段及阶层的外部货物存取数量以计算外部置货架被存取频繁的热门区域。

Images