CN113642454A - 座椅使用情况的识别方法、系统、设备及计算机存储介质 - Google Patents
座椅使用情况的识别方法、系统、设备及计算机存储介质 Download PDFInfo
- Publication number
- CN113642454A CN113642454A CN202110920662.0A CN202110920662A CN113642454A CN 113642454 A CN113642454 A CN 113642454A CN 202110920662 A CN202110920662 A CN 202110920662A CN 113642454 A CN113642454 A CN 113642454A
- Authority
- CN
- China
- Prior art keywords
- seat
- frame
- same target
- images
- continuous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000003860 storage Methods 0.000 title claims abstract description 22
- 230000008034 disappearance Effects 0.000 claims abstract description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 11
- 238000012423 maintenance Methods 0.000 abstract description 10
- 238000009826 distribution Methods 0.000 abstract description 4
- 238000013486 operation strategy Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000002775 capsule Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种座椅使用情况的识别方法、系统、设备及计算机存储介质，识别方法包括：获取多帧座椅图像，并从所述多帧座椅图像中检测座椅的坐标信息；根据座椅的坐标信息，对前后帧座椅图像中目标座椅进行跟踪，以产生同一目标座椅于不同帧图像中的位置信息集；通过同一目标座椅于不同帧图像中的位置信息集来读取同一目标座椅连续出现的次数、连续消失的次数及再次连续出现次数，以根据同一目标座椅连续出现的次数、连续消失的次数及再次连续出现次数来识别同一目标座椅的使用情况。本发明解决了设备运维困难，座椅使用情况识别不准确的技术问题，可以准确获取座椅使用次数，以便帮助经营者获知摆置区域分配是否合理平均等，改善自身的经营策略。
Description
技术领域
本发明属于视觉图像处理技术领域，涉及一种识别方法，特别是涉及一种座椅使用情况的识别方法、系统、设备及计算机存储介质。
背景技术
随着人工智能和计算机视觉技术的飞速发展，技术应用的范围也逐渐从安防监控领域蔓延到民用场景中，如商场、活动、展会和门店等。在民用场景中，存在对座椅使用次数统计的潜在需求，该数据不仅可用于分析和统计客流具体行为，也能分析和统计座椅的实际使用情况。这一数据的价值，能够帮助经营者改善自身的经营策略，比如实际有效顾客更愿意坐或站；更能够在硬件资源的配置上面进行合理优化，例如座椅数量是否充足，摆置区域分配是否合理平均等。现有技术一般采用在座椅处安装压力式传感器，通过被触发的压电信号以及时长统计座椅受压次数，作为被坐或使用次数。而通过安装座椅压电传感器设备，会产生影响座椅美观度，需要提前定制座椅，当座椅压电传感器设备出现故障时，需要对座椅进行装置的维修和更换，运维不方便，且会造成统计数据不准确等缺陷。
因此，如何提供一种座椅使用情况的识别方法、系统、设备及计算机存储介质，以解决现有技术运维不方便，且在座椅压电传感器设备出现故障时，数据统计不准确等缺陷，实已成为本领域技术人员亟待解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种座椅使用情况的识别方法、系统、设备及计算机存储介质，用于解决现有技术运维不方便，且在座椅压电传感器设备出现故障时，数据统计不准确的问题。
为实现上述目的及其他相关目的，本发明一方面提供一种座椅使用情况的识别方法，包括：获取多帧座椅图像，并从所述多帧座椅图像中检测座椅的坐标信息；根据座椅的坐标信息，对前后帧座椅图像中目标座椅进行跟踪，以产生同一目标座椅于不同帧图像中的位置信息集；通过同一目标座椅于不同帧图像中的位置信息集来读取同一目标座椅连续出现的次数、连续消失的次数及再次连续出现次数，以根据同一目标座椅连续出现的次数、连续消失的次数及再次连续出现次数来识别同一目标座椅的使用情况。
于本发明的一实施例中，所述多帧座椅图像为安装于所述座椅垂直上方处的图像采集设备连续采集到的顶视角图像。
于本发明的一实施例中，通过预存的座椅检测器对所述多帧座椅图像中每一帧图像进行座椅检测，以获取座椅于该帧图像中的坐标信息；座椅于该帧图像中的坐标信息包括座椅于单帧图像中的中心点坐标及像素宽高。
于本发明的一实施例中，所述根据座椅的坐标信息，对前后帧座椅图像中目标座椅进行跟踪，以产生同一目标座椅于不同帧图像中的位置信息集的步骤包括：于前后帧座椅图像中跟踪查找可关联的目标座椅，将同一目标座椅于前后帧座椅图像中的位置信息与该目标座椅进行绑定，并形成同一目标座椅于不同帧图像中的位置信息集。
于本发明的一实施例中，所述于前后帧座椅图像中跟踪查找可关联的目标座椅的步骤包括：计算第n帧座椅图像中第i个目标座椅与第n+1帧座椅图像中第j个目标座椅之间的距离；其中，i，j大于等于1，n大于等于1；从所计算的距离中查找最小距离，并将所述最小距离与距离阈值进行比较，若所述最小距离小于等于所述距离阈值，则表示第n帧座椅图像中第i个目标座椅与第n+1帧座椅图像中第j个目标座椅为同一目标座椅，对同一目标座椅使用ID序号关联，并将属于同一目标座椅于前后帧座椅图像中的位置信息合并为位置信息集。
于本发明的一实施例中，若所述最小距离大于所述距离阈值，则表示第n帧座椅图像中第i个目标座椅与第n+1帧座椅图像中第j个目标座椅为不同的目标座椅，将第n帧座椅图像中未被关联的目标坐标，进行标记并将其标记为消失；和/或将第n+1帧座椅图像中未被关联的目标坐标，并将其标记为新增座椅。
于本发明的一实施例中，根据同一目标座椅连续出现的次数、连续消失的次数及再次连续出现次数来识别同一目标座椅的使用情况的步骤包括：若同一目标座椅连续出现的次数大于第一预设次数阈值，则判定该目标座椅为未被使用状态；若同一目标座椅连续消失的次数大于第二预设次数阈值时，则判定该目标座椅为使用状态；若同一目标座椅连续消失的次数大于第二预设次数阈值后，再次连续出现次数大于所述第一预设次数阈值时，则判定该目标座椅出现一次有效使用状态。
本发明另一方面提供一种座椅使用情况的识别系统，包括：检测模块，用于获取多帧座椅图像，并从所述多帧座椅图像中检测座椅的坐标信息；跟踪模块，用于根据座椅的坐标信息，对前后帧座椅图像中目标座椅进行跟踪，以产生同一目标座椅于不同帧图像中的位置信息集；识别模块，用于通过同一目标座椅于不同帧图像中的位置信息集来读取同一目标座椅连续出现的次数、连续消失的次数及再次连续出现次数，以根据同一目标座椅连续出现的次数、连续消失的次数及再次连续出现次数来识别同一目标座椅的使用情况。
本发明又一方面提供一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述座椅使用情况的识别方法。
本发明最后一方面提供一种座椅使用情况的识别设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述识别设备执行所述座椅使用情况的识别方法。
如上所述，本发明所述的座椅使用情况的识别方法、系统、设备及计算机存储介质，具有以下有益效果：
第一，本发明仅需要对视频数据进行处理，摄像头属于固定安装，可以接有线电源，避免了使用移动电源需要定期更换运维的工作；
第二，本发明不需要安装座椅压电传感器设备，无需破坏座椅或特质座椅，不破坏或改变现有的陈列美观及风格面影响。
第三，本发明解决了设备运维困难，座椅使用情况识别不准确的技术问题，可以准确获取座椅使用次数，以便帮助经营者获知摆置区域分配是否合理平均等，改善自身的经营策略。
附图说明
图1显示为本发明的应用场景示意图。
图2显示为本发明的座椅使用情况的识别方法于一实施例中的流程示意图。
图3显示为本发明的座椅使用情况的识别系统于一实施例中的原理结构示意图。
元件标号说明
| 3 | 座椅使用情况的识别系统 |
| 31 | 检测模块 |
| 32 | 跟踪模块 |
| 33 | 识别模块 |
| S21～S23 | 步骤 |
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明所述座椅使用情况的识别方法、系统、设备及计算机存储介质的技术原理如下：
首选，通过座椅检测器，对画面中的可见座椅进行识别并确定在画面中的位置。
接着，通过多帧图像中的座椅位置信息，依据前后帧重目标最临近原则，实现多目标跟踪，对多帧图像中的目标位置进行关联，即将同属于一个目标再不同帧中的位置信息进行绑定或标记。
最后，根据座椅于多帧图像中出现或可见信息判断是否为被坐或使用。
实施例一
本实施例提供一种座椅使用情况的识别方法，其特征在于，包括：
获取多帧座椅图像，并从所述多帧座椅图像中检测座椅的坐标信息；
根据座椅的坐标信息，对前后帧座椅图像中目标座椅进行跟踪，以产生同一目标座椅于不同帧图像中的位置信息集；
通过同一目标座椅于不同帧图像中的位置信息集来读取同一目标座椅连续出现的次数、连续消失的次数及再次连续出现次数，以根据同一目标座椅连续出现的次数、连续消失的次数及再次连续出现次数来识别同一目标座椅的使用情况。
以下将结合图示对本实施例所提供的座椅使用情况的识别方法进行详细描述，本实施例所述座椅使用情况的识别方法应用于如图1所示的应用场景下，在该应用场景中，摆放多把座椅，并通过图像采集设备周期性采集多帧座椅图像。
在现有技术中，对人体站坐姿识别，下肢的腿部信息是非常重要的视觉信息，即使人眼观测时，也需要根据这些肢体信息判断。但斜视角相机，无可避免的会发生遮挡情况，比如前排人员遮挡后排人员下半身等，因此，在人员密集场景中难以适用。但顶视角的画面中，人和座椅对于画面是垂直的，人群密集时也不会发生遮挡现象。若采用斜视角相机，不可避免的会对人员的面部信息进行采集，即使面部信息不用于处理，会在前端设备中删除，但是因为先采集后删除的步骤，依然存在非法采集或泄露个人隐私的隐患。因此，于本实施例中，采用顶视角图像，人与画面垂直，可见人体部位主要为头顶，对于隐私保护是有利的。
请参阅图2，显示为座椅使用情况的识别方法于一实施例中的流程示意图。如图2所示。所述座椅使用情况的识别方法具体包括以下步骤：
S21，获取多帧座椅图像，并从所述多帧座椅图像中检测座椅的坐标信息。
具体地，所述多帧座椅图像为安装于所述座椅垂直上方处的图像采集设备连续采集到的顶视角图像。
通过预存的座椅检测器(座椅检测器可以是基于机器学习，深度学习，卷积神经网络，transformer网络，胶囊网络等技术方法，比如常见的YOLO、RCNN、CenterNet、VIT等)对所述多帧座椅图像中每一帧图像进行座椅检测，以获取座椅于该帧图像中的坐标信息Det。座椅于该帧图像中的坐标信息包括座椅于单帧图像中的中心点坐标及像素宽高。
具体地，座椅于第i帧座椅图像中的坐标信息Deti，Deti＝{[x1,y1,w1,h1],[x2,y2,w2,h2],…,[xn,yn,wn,hn]}，其中，Deti表示第i帧座椅图像中包括n个可见目标座椅，其中，x和y表示座椅于单帧图像中的中心点坐标，w和h分别代表座椅于单帧图像中的像素宽高。
S22，根据座椅的坐标信息，对前后帧座椅图像中目标座椅进行跟踪，以产生同一目标座椅于不同帧图像中的位置信息集。
所述S22包括于前后帧座椅图像中跟踪查找可关联的目标座椅，将同一目标座椅于前后帧座椅图像中的位置信息与该目标座椅进行绑定，并形成同一目标座椅于不同帧图像中的位置信息集。
具体地，所述于前后帧座椅图像中跟踪查找可关联的目标座椅的步骤包括：
计算第n帧座椅图像中第i个目标座椅与第n+1帧座椅图像中第j个目标座椅之间的距离；其中，i，j大于等于1，n大于等于1。
在本实施例中，第n帧座椅图像中第i个目标座椅与第n+1帧座椅图像中第j个目标座椅之间的距离为第n帧座椅图像中第i个目标座椅与第n+1帧座椅图像中第j个目标座椅之间中心坐标点的欧式距离。
具体计算公式为
n帧座椅图像中计算出的欧式距离组成如下所示的距离矩阵：
从所计算的距离中，即从Mn,n+1中查找最小距离，并将所述最小距离与距离阈值进行比较，若所述最小距离小于等于所述距离阈值，则表示第n帧座椅图像中第i个目标座椅与第n+1帧座椅图像中第j个目标座椅为同一目标座椅，对同一目标座椅使用ID序号关联，并将属于同一目标座椅于前后帧座椅图像中的位置信息合并为位置信息集。
例如，第k把座椅于前后帧座椅图像中的位置信息形成的位置信息集为Trackk，Trackk＝[(x4,y4),(x5,y5),(x9,y9),…,(xn,yn)]，Trackk表示为多帧图像中第k把座椅在第4帧，第5帧，第9帧及第n帧图像中可见。因为，当座椅被使用时人体会对其遮挡，因此，在画面中不可见且检测不到。所以，座椅出现的帧序号是不连续的。
若所述最小距离大于所述距离阈值，则表示第n帧座椅图像中第i个目标座椅与第n+1帧座椅图像中第j个目标座椅为不同的目标座椅，将第n帧座椅图像中未被关联的目标坐标，进行标记并将其标记为消失；和/或将第n+1帧座椅图像中未被关联的目标坐标，并将其标记为新增座椅。
S23，通过同一目标座椅于不同帧图像中的位置信息集来读取同一目标座椅连续出现的次数、连续消失的次数及再次连续出现次数，以根据同一目标座椅连续出现的次数、连续消失的次数及再次连续出现次数来识别同一目标座椅的使用情况。
具体地，所述S23包括：
从同一目标座椅于不同帧图像中的位置信息集中读取出现在不同帧图像中的帧号，以获取同一目标座椅连续出现的次数、连续消失的次数及再次连续出现次数；
若同一目标座椅连续出现的次数大于第一预设次数阈值，则判定该目标座椅为未被使用状态；
若同一目标座椅连续消失的次数大于第二预设次数阈值时，则判定该目标座椅为使用状态；
若同一目标座椅连续消失的次数大于第二预设次数阈值后，再次连续出现次数大于所述第一预设次数阈值时，则判定该目标座椅出现一次有效使用状态。
例如，当某座椅连续出现10帧时，判断为未被使用，当连续消失30帧时认为被坐用，当再次连续出现10帧后，统计为一次有效的座椅被坐。
本实施例所述座椅使用情况的识别方法具有以下有益效果：
第一，本实施例所述座椅使用情况的识别方法仅需要对视频数据进行处理，摄像头属于固定安装，可以接有线电源，避免了使用移动电源需要定期更换运维的工作；
第二，本实施例不需要安装座椅压电传感器设备，无需破坏座椅或特质座椅，不破坏或改变现有的陈列美观及风格面影响。
第三，解决了设备运维困难，座椅使用情况识别不准确的技术问题，可以准确获取座椅使用次数，以便帮助经营者获知摆置区域分配是否合理平均等，改善自身的经营策略。
本实施例还提供一种计算机存储介质(亦称计算机可读存储介质)，其上存储有计算机程序，该程序被处理器执行时实现如图2所述座椅使用情况的识别方法。
在任何可能的技术细节结合层面，本申请可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
实施例二
本实施例提供一种座椅使用情况的识别系统，包括：
检测模块，用于获取多帧座椅图像，并从所述多帧座椅图像中检测座椅的坐标信息；
跟踪模块，用于根据座椅的坐标信息，对前后帧座椅图像中目标座椅进行跟踪，以产生同一目标座椅于不同帧图像中的位置信息集；
识别模块，用于通过同一目标座椅于不同帧图像中的位置信息集来读取同一目标座椅连续出现的次数、连续消失的次数及再次连续出现次数，以根据同一目标座椅连续出现的次数、连续消失的次数及再次连续出现次数来识别同一目标座椅的使用情况。
以下将结合图示对本实施例所提供的座椅使用情况的识别系统进行详细描述。请参阅图3，显示为座椅使用情况的识别系统于一实施例中的原理结构示意图。如图3所示，所述座椅使用情况的识别系统3包括检测模块31、跟踪模块32及识别模块33。
所述检测模块31用于获取多帧座椅图像，并从所述多帧座椅图像中检测座椅的坐标信息。
具体地，所述多帧座椅图像为安装于所述座椅垂直上方处的图像采集设备连续采集到的顶视角图像。
所述检测模块31通过预存的座椅检测器(座椅检测器可以是基于机器学习，深度学习，卷积神经网络，transformer网络，胶囊网络等技术方法，比如常见的YOLO、RCNN、CenterNet、VIT等)对所述多帧座椅图像中每一帧图像进行座椅检测，以获取座椅于该帧图像中的坐标信息Det。座椅于该帧图像中的坐标信息包括座椅于单帧图像中的中心点坐标及像素宽高。
具体地，座椅于第i帧座椅图像中的坐标信息Deti，Deti＝{[x1,y1,w1,h1],[x2,y2,w2,h2],…,[xn,yn,wn,hn]}，其中，Deti表示第i帧座椅图像中包括n个可见目标座椅，其中，x和y表示座椅于单帧图像中的中心点坐标，w和h分别代表座椅于单帧图像中的像素宽高。
所述跟踪模块32用于根据座椅的坐标信息，对前后帧座椅图像中目标座椅进行跟踪，以产生同一目标座椅于不同帧图像中的位置信息集。
所述跟踪模块32于前后帧座椅图像中跟踪查找可关联的目标座椅，将同一目标座椅于前后帧座椅图像中的位置信息与该目标座椅进行绑定，并形成同一目标座椅于不同帧图像中的位置信息集。
具体地，所述跟踪模块32于前后帧座椅图像中跟踪查找可关联的目标座椅的过程包括：
首先，计算第n帧座椅图像中第i个目标座椅与第n+1帧座椅图像中第j个目标座椅之间的距离；其中，i，j大于等于1，n大于等于1。
在本实施例中，第n帧座椅图像中第i个目标座椅与第n+1帧座椅图像中第j个目标座椅之间的距离为第n帧座椅图像中第i个目标座椅与第n+1帧座椅图像中第j个目标座椅之间中心坐标点的欧式距离。
具体计算公式为
n帧座椅图像中计算出的欧式距离组成如下所示的距离矩阵：
接着，从所计算的距离中，即从Mn,n+1中查找最小距离，并将所述最小距离与距离阈值进行比较，若所述最小距离小于等于所述距离阈值，则表示第n帧座椅图像中第i个目标座椅与第n+1帧座椅图像中第j个目标座椅为同一目标座椅，对同一目标座椅使用ID序号关联，并将属于同一目标座椅于前后帧座椅图像中的位置信息合并为位置信息集。若所述最小距离大于所述距离阈值，则表示第n帧座椅图像中第i个目标座椅与第n+1帧座椅图像中第j个目标座椅为不同的目标座椅，将第n帧座椅图像中未被关联的目标坐标，进行标记并将其标记为消失；和/或将第n+1帧座椅图像中未被关联的目标坐标，并将其标记为新增座椅。
所述识别模块33用于通过同一目标座椅于不同帧图像中的位置信息集来读取同一目标座椅连续出现的次数、连续消失的次数及再次连续出现次数，以根据同一目标座椅连续出现的次数、连续消失的次数及再次连续出现次数来识别同一目标座椅的使用情况。
具体地，所述识别模块33从同一目标座椅于不同帧图像中的位置信息集中读取出现在不同帧图像中的帧号，以获取同一目标座椅连续出现的次数、连续消失的次数及再次连续出现次数；若同一目标座椅连续出现的次数大于第一预设次数阈值，则判定该目标座椅为未被使用状态；若同一目标座椅连续消失的次数大于第二预设次数阈值时，则判定该目标座椅为使用状态；若同一目标座椅连续消失的次数大于第二预设次数阈值后，再次连续出现次数大于所述第一预设次数阈值时，则判定该目标座椅出现一次有效使用状态。
需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如：x模块可以为单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现。此外，x模块也可以以程序代码的形式存储于上述系统的存储器中，由上述系统的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，一个或多个微处理器(Digital Singnal Processor，简称DSP)，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。这些模块可以集成在一起，以片上系统(System-on-a-chip，简称SOC)的形式实现。
实施例三
本实施例提供一种座椅使用情况的识别设备，所述座椅使用情况的识别设备包括：处理器、存储器、收发器、通信接口或/和系统总线；存储器和通信接口通过系统总线与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于和其他设备进行通信，处理器和收发器用于运行计算机程序，使座椅使用情况的识别设备执行如实施例一所述座椅使用情况的识别设备方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明所述的座椅使用情况的识别方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
本发明还提供一种座椅使用情况的识别系统，所述座椅使用情况的识别系统可以实现本发明所述的座椅使用情况的识别方法，但本发明所述的座椅使用情况的识别方法的实现装置包括但不限于本实施例列举的座椅使用情况的识别系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
综上所述，本发明所述座椅使用情况的识别方法、系统、设备及计算机存储介质具有以下有益效果：
第一，本发明仅需要对视频数据进行处理，摄像头属于固定安装，可以接有线电源，避免了使用移动电源需要定期更换运维的工作；
第二，本发明不需要安装座椅压电传感器设备，无需破坏座椅或特质座椅，不破坏或改变现有的陈列美观及风格面影响。
第三，本发明解决了设备运维困难，座椅使用情况识别不准确的技术问题，可以准确获取座椅使用次数，以便帮助经营者获知摆置区域分配是否合理平均等，改善自身的经营策略。本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种座椅使用情况的识别方法，其特征在于，包括：
获取多帧座椅图像，并从所述多帧座椅图像中检测座椅的坐标信息；
根据座椅的坐标信息，对前后帧座椅图像中目标座椅进行跟踪，以产生同一目标座椅于不同帧图像中的位置信息集；
通过同一目标座椅于不同帧图像中的位置信息集来读取同一目标座椅连续出现的次数、连续消失的次数及再次连续出现次数，以根据同一目标座椅连续出现的次数、连续消失的次数及再次连续出现次数来识别同一目标座椅的使用情况。
2.根据权利要求1所述的座椅使用情况的识别方法，其特征在于，所述多帧座椅图像为安装于所述座椅垂直上方处的图像采集设备连续采集到的顶视角图像。
3.根据权利要求1所述的座椅使用情况的识别方法，其特征在于，通过预存的座椅检测器对所述多帧座椅图像中每一帧图像进行座椅检测，以获取座椅于该帧图像中的坐标信息；座椅于该帧图像中的坐标信息包括座椅于单帧图像中的中心点坐标及像素宽高。
4.根据权利要求3所述的座椅使用情况的识别方法，其特征在于，所述根据座椅的坐标信息，对前后帧座椅图像中目标座椅进行跟踪，以产生同一目标座椅于不同帧图像中的位置信息集的步骤包括：
于前后帧座椅图像中跟踪查找可关联的目标座椅，将同一目标座椅于前后帧座椅图像中的位置信息与该目标座椅进行绑定，并形成同一目标座椅于不同帧图像中的位置信息集。
5.根据权利要求4所述的座椅使用情况的识别方法，其特征在于，所述于前后帧座椅图像中跟踪查找可关联的目标座椅的步骤包括：
计算第n帧座椅图像中第i个目标座椅与第n+1帧座椅图像中第j个目标座椅之间的距离；其中，i，j大于等于1，n大于等于1；
从所计算的距离中查找最小距离，并将所述最小距离与距离阈值进行比较，若所述最小距离小于等于所述距离阈值，则表示第n帧座椅图像中第i个目标座椅与第n+1帧座椅图像中第j个目标座椅为同一目标座椅，对同一目标座椅使用ID序号关联，并将属于同一目标座椅于前后帧座椅图像中的位置信息合并为位置信息集。
6.根据权利要求4所述的座椅使用情况的识别方法，其特征在于，若所述最小距离大于所述距离阈值，则表示第n帧座椅图像中第i个目标座椅与第n+1帧座椅图像中第j个目标座椅为不同的目标座椅，将第n帧座椅图像中未被关联的目标坐标，进行标记并将其标记为消失；和/或将第n+1帧座椅图像中未被关联的目标坐标，并将其标记为新增座椅。
7.根据权利要求4所述的座椅使用情况的识别方法，其特征在于，根据同一目标座椅连续出现的次数、连续消失的次数及再次连续出现次数来识别同一目标座椅的使用情况的步骤包括：
若同一目标座椅连续出现的次数大于第一预设次数阈值，则判定该目标座椅为未被使用状态；
若同一目标座椅连续消失的次数大于第二预设次数阈值时，则判定该目标座椅为使用状态；
若同一目标座椅连续消失的次数大于第二预设次数阈值后，再次连续出现次数大于所述第一预设次数阈值时，则判定该目标座椅出现一次有效使用状态。
8.一种座椅使用情况的识别系统，其特征在于，包括：
检测模块，用于获取多帧座椅图像，并从所述多帧座椅图像中检测座椅的坐标信息；
跟踪模块，用于根据座椅的坐标信息，对前后帧座椅图像中目标座椅进行跟踪，以产生同一目标座椅于不同帧图像中的位置信息集；
识别模块，用于通过同一目标座椅于不同帧图像中的位置信息集来读取同一目标座椅连续出现的次数、连续消失的次数及再次连续出现次数，以根据同一目标座椅连续出现的次数、连续消失的次数及再次连续出现次数来识别同一目标座椅的使用情况。
9.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述座椅使用情况的识别方法。
10.一种座椅使用情况的识别设备，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述识别设备执行如权利要求1至7中任一项所述座椅使用情况的识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110920662.0A CN113642454B (zh) | 2021-08-11 | 2021-08-11 | 座椅使用情况的识别方法、系统、设备及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110920662.0A CN113642454B (zh) | 2021-08-11 | 2021-08-11 | 座椅使用情况的识别方法、系统、设备及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113642454A true CN113642454A (zh) | 2021-11-12 |
| CN113642454B CN113642454B (zh) | 2024-03-01 |
Family
ID=78420906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110920662.0A Active CN113642454B (zh) | 2021-08-11 | 2021-08-11 | 座椅使用情况的识别方法、系统、设备及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113642454B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102496275A (zh) * | 2011-11-25 | 2012-06-13 | 大连海创高科信息技术有限公司 | 客车超载检测方法 |
| CN104732219A (zh) * | 2015-03-31 | 2015-06-24 | 合肥美诚创新培训学校 | 一种基于图像识别的自习室空位查询方法及装置 |
| CN110287892A (zh) * | 2019-06-26 | 2019-09-27 | 海尔优家智能科技（北京）有限公司 | 空位识别方法及装置 |
| CN110378258A (zh) * | 2019-07-04 | 2019-10-25 | 上海眼控科技股份有限公司 | 一种基于图像的车辆座椅信息检测方法及设备 |
| CN110910422A (zh) * | 2019-11-13 | 2020-03-24 | 北京环境特性研究所 | 目标跟踪方法、装置、电子设备和可读存储介质 |
| CN110941984A (zh) * | 2019-09-25 | 2020-03-31 | 西南科技大学 | 基于深度学习的自习室座位状态检测方法与座位管理系统 |
| CN111339855A (zh) * | 2020-02-14 | 2020-06-26 | 睿魔智能科技（深圳）有限公司 | 基于视觉的目标跟踪方法、系统、设备及存储介质 |
| CN112597892A (zh) * | 2020-12-23 | 2021-04-02 | 重庆邮电大学 | 一种汽车座舱内遗留物检测系统及检测方法 |
| WO2021114702A1 (zh) * | 2019-12-10 | 2021-06-17 | 中国银联股份有限公司 | 一种目标跟踪方法、装置、系统及计算机可读存储介质 |
-
2021
- 2021-08-11 CN CN202110920662.0A patent/CN113642454B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102496275A (zh) * | 2011-11-25 | 2012-06-13 | 大连海创高科信息技术有限公司 | 客车超载检测方法 |
| CN104732219A (zh) * | 2015-03-31 | 2015-06-24 | 合肥美诚创新培训学校 | 一种基于图像识别的自习室空位查询方法及装置 |
| CN110287892A (zh) * | 2019-06-26 | 2019-09-27 | 海尔优家智能科技（北京）有限公司 | 空位识别方法及装置 |
| CN110378258A (zh) * | 2019-07-04 | 2019-10-25 | 上海眼控科技股份有限公司 | 一种基于图像的车辆座椅信息检测方法及设备 |
| CN110941984A (zh) * | 2019-09-25 | 2020-03-31 | 西南科技大学 | 基于深度学习的自习室座位状态检测方法与座位管理系统 |
| CN110910422A (zh) * | 2019-11-13 | 2020-03-24 | 北京环境特性研究所 | 目标跟踪方法、装置、电子设备和可读存储介质 |
| WO2021114702A1 (zh) * | 2019-12-10 | 2021-06-17 | 中国银联股份有限公司 | 一种目标跟踪方法、装置、系统及计算机可读存储介质 |
| CN111339855A (zh) * | 2020-02-14 | 2020-06-26 | 睿魔智能科技（深圳）有限公司 | 基于视觉的目标跟踪方法、系统、设备及存储介质 |
| CN112597892A (zh) * | 2020-12-23 | 2021-04-02 | 重庆邮电大学 | 一种汽车座舱内遗留物检测系统及检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 朱云琪;蒋;张轶;: "基于图像识别的公共图书馆座位检测系统研究", 电子世界, no. 03 * |
| 陈南南;李鸿翔;林聪明;彭荣超;: "图书馆智能座位管理系统", 数码世界, no. 08 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113642454B (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10909695B2 (en) | System and process for detecting, tracking and counting human objects of interest | |
| CN105940430B (zh) | 人员计数方法及其装置 | |
| US8254633B1 (en) | Method and system for finding correspondence between face camera views and behavior camera views | |
| US9361520B2 (en) | Method and system for tracking objects | |
| US12039803B2 (en) | Techniques for automatically identifying secondary objects in a stereo-optical counting system | |
| US20160225121A1 (en) | System and method for mapping object coordinates from a video to real world coordinates using perspective transformation | |
| CN111160243A (zh) | 客流量统计方法及相关产品 | |
| EP3355282A1 (en) | System and method for detecting, tracking and counting human objects of interest using a counting system and a data capture device | |
| CN113011258A (zh) | 一种对象监控跟踪方法、装置及电子设备 | |
| CN113240678B (zh) | 平面信息检测方法及系统 | |
| US20210133491A1 (en) | System and method for detecting, tracking and counting human objects of interest with an improved height calculation | |
| KR101337423B1 (ko) | 깊이 정보와 움직임 정보를 이용한 움직임 객체 검출 및 추적방법 | |
| CN114022531A (zh) | 图像处理方法、电子设备和存储介质 | |
| CN114677608A (zh) | 身份特征生成方法、设备及存储介质 | |
| CN105741326A (zh) | 一种基于聚类融合的视频序列的目标跟踪方法 | |
| Bazo et al. | Baptizo: A sensor fusion based model for tracking the identity of human poses | |
| Wang et al. | Research on face recognition algorithm based on deep learning | |
| US11741621B2 (en) | Method and system for detecting plane information | |
| CN113642454A (zh) | 座椅使用情况的识别方法、系统、设备及计算机存储介质 | |
| Bouma et al. | WPSS: Watching people security services | |
| CN112488076A (zh) | 一种人脸图像采集方法、系统以及设备 | |
| Lee et al. | New method for face gaze detection in smart television | |
| Xu et al. | Robust object detection with real-time fusion of multiview foreground silhouettes | |
| Ratthi et al. | Human height estimation using AI-assisted computer vision for intelligent video surveillance system | |
| WO2021237960A1 (zh) | 图像处理方法、装置、电子设备、存储介质和程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 201203 No. 6, Lane 55, Chuanhe Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai Applicant after: Winner Technology Co.,Ltd. Address before: 201505 Room 216, 333 Tingfeng Highway, Tinglin Town, Jinshan District, Shanghai Applicant before: Winner Technology Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |