CN113792700A - 一种电瓶车入箱检测方法、装置、计算机设备及存储介质 - Google Patents
一种电瓶车入箱检测方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113792700A CN113792700A CN202111122204.9A CN202111122204A CN113792700A CN 113792700 A CN113792700 A CN 113792700A CN 202111122204 A CN202111122204 A CN 202111122204A CN 113792700 A CN113792700 A CN 113792700A
- Authority
- CN
- China
- Prior art keywords
- node
- human body
- box
- battery car
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 69
- 238000012544 monitoring process Methods 0.000 claims abstract description 78
- 210000003127 knee Anatomy 0.000 claims description 41
- 238000000034 method Methods 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 11
- 238000012545 processing Methods 0.000 abstract description 3
- 230000036544 posture Effects 0.000 description 91
- 238000013461 design Methods 0.000 description 17
- 238000012360 testing method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- SAZUGELZHZOXHB-UHFFFAOYSA-N acecarbromal Chemical compound CCC(Br)(CC)C(=O)NC(=O)NC(C)=O SAZUGELZHZOXHB-UHFFFAOYSA-N 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域，公开了一种电瓶车入箱检测方法、装置、计算机设备及存储介质。通过本发明创造，提供了一种基于人体推车姿态识别结果来检测电瓶车入箱的新方案，即在获取到由监控相机采集的箱内监控图像后，可以实现基于人体推车姿态识别结果来检测电瓶车入箱的目的，进而无需直接对电瓶车物体进行检测，可以避免因部分遮挡而导致电瓶车入箱检测效果下降的问题，同时由于不与电瓶车物体检测方案相冲突，还可以将该方案与所述电瓶车物体检测方案相结合，进一步提高电瓶车入箱检测的准确性，便于实际应用和推广。
Description
技术领域
本发明属于图像处理技术领域，具体地涉及一种电瓶车入箱检测方法、装置、计算机设备及存储介质。
背景技术
随着锂电池技术的发展，电瓶车已成为人们日常使用的交通工具，但是近年来电瓶车安全事故频繁发生，特别是由于电瓶车引发的火灾受到广泛关注，相关部门要求加强电瓶车违规进入室内的监管和治理，其中，在电瓶车进入电梯时实施检测并发出阻梯行为是一种比较可行的解决方案，可以从源头上阻断电瓶车违规入室的通道，具有重要的实用价值。
目前比较流行的且用于检测电瓶车是否入梯的技术方案，主要是通过轿厢后置监控摄像头拍摄实时的视频图像，然后针对视频图像运用人工智能AI(ArtificialIntelligence)分析技术，实现在轿厢区域内对电瓶车的检测并发出阻梯行为，特别是近年来基于深度学习的检测方法取得长足的进步和发展，为该技术方案的落地提供了理论保障。但是这种技术方案也存在如下技术问题：(1)由于实际场景的复杂性，电瓶车入梯过程中可能会有遮挡情况的发生，这部分是由于人在推车入梯过程中遮挡住电瓶车本身，另一部分是由于遮挡面积及角度有可能多变，因而对电瓶车自身的检测效果带来了影响，使得因部分遮挡而导致电瓶车检测模型的检测效果下降，使得电瓶车没有被正常检测到；(2)在实际电瓶车入梯场景检测中，上述技术方案只考虑了对电瓶车物体的检测，并没有考虑将其他有效因素融入做进一步辅助判断以提高识别率，因此有待继续研究并提出一种新的电瓶车入梯检测方案。
发明内容
为了解决现有电瓶车入梯检测方案所存在的因部分遮挡而导致电瓶车检测模型的检测效果下降的问题，本发明目的在于提供一种电瓶车入箱检测方法、装置、计算机设备及计算机可读存储介质，可以实现基于人体推车姿态识别结果来检测电瓶车入箱的目的，进而无需直接对电瓶车物体进行检测，可以避免因部分遮挡而导致电瓶车入箱检测效果下降的问题，同时由于不与电瓶车物体检测方案相冲突，还可以将该方法与所述电瓶车物体检测方案相结合，进一步提高电瓶车入箱检测的准确性，便于实际应用和推广。
第一方面，本发明提供了一种电瓶车入箱检测方法，包括：
获取由监控相机采集的箱内监控图像，其中，所述监控相机安装在箱内顶部且面向箱门，并使镜头视野涵盖箱内地面区域；
从所述箱内监控图像中提取出多个人体关节点的空间坐标，其中，所述多个人体关节点属于同一人体且用于表征人体推车姿态；
根据所述多个人体关节点的空间坐标，计算得到用于识别人体推车姿态的多个人体姿态特征值；
将所述多个人体姿态特征值作为一个待测的数据样本输入基于神经网络的且已完成训练的人体推车姿态识别模型，输出得到对应的且识别有人体推车姿态的第一置信度预测值；
判断所述第一置信度预测值是否大于第一预设阈值；
若是，则判定有电瓶车入箱。
基于上述发明内容，提供了一种基于人体推车姿态识别结果来检测电瓶车入箱的新方案，即在获取到由监控相机采集的箱内监控图像后，可先从该箱内监控图像中提取并计算得到用于识别人体推车姿态的多个人体姿态特征值，然后将该多个人体姿态特征值导入基于神经网络的且已完成训练的人体推车姿态识别模型，输出得到对应的且识别有人体推车姿态的置信度预测值，最后通过该置信度预测值与预设阈值的比较结果，可以实现基于人体推车姿态识别结果来检测电瓶车入箱的目的，进而无需直接对电瓶车物体进行检测，可以避免因部分遮挡而导致电瓶车入箱检测效果下降的问题，同时由于不与电瓶车物体检测方案相冲突，还可以将该方案与所述电瓶车物体检测方案相结合，进一步提高电瓶车入箱检测的准确性，便于实际应用和推广。
在一个可能的设计中，从所述箱内监控图像中提取出多个人体关节点的空间坐标，包括：
运用人体姿态识别项目OpenPose软件从所述箱内监控图像中识别出根据COCO18模式关节点标号标记的十八个人体关节点，其中，所述十八个人体关节点属于同一人体；
从所述十八个人体关节点中筛选出预设的且用于表征人体推车姿态的多个人体关节点；
针对所述多个人体关节点中的各个人体关节点，将在所述监控相机的相机坐标系下的对应坐标作为对应的空间坐标。
在一个可能的设计中，所述多个人体关节点包含有鼻子节点、首节点、右肩节点、右肘节点、右手首节点、左肩节点、左肘节点、左手首节点、右腰节点、右膝节点、左腰节点和左膝节点；
所述多个人体姿态特征值包含有至少一个距离特征值和至少一个角度特征值，其中，所述至少一个距离特征值包含有右手首节点至右腰节点的距离、左手首节点至左腰节点的距离、右肩节点至右手首节点的距离、左肩节点至左手首节点的距离、鼻子节点至右手首节点的距离、鼻子节点至左手首节点的距离、右手首节点至右膝节点的距离、左手首节点至左膝节点的距离、右手首节点至左手首节点的距离、右膝节点至左膝节点的距离、右肘节点至左膝节点的距离和/或左肘节点至右膝节点的距离，所述至少一个角度特征值包含有右肩节点-右肘节点-右手首节点的关节点间夹角、左肩节点-左肘节点-左手首节点的关节点间夹角、右肘节点-右肩节点-首节点的关节点间夹角、左肘节点-左肩节点-首节点的关节点间夹角、左手首节点-左腰节点-左膝节点的关节点间夹角、右手首节点-右腰节点-右膝节点的关节点间夹角、右手首节点-鼻子节点-左手首节点的关节点间夹角、右手首节点-首节点-左手首节点的关节点间夹角、首节点-右腰节点-右膝节点的关节点间夹角、首节点-左腰节点-左膝节点的关节点间夹角、右手首节点-首节点-右腰节点的关节点间夹角、左手首节点-首节点-左腰节点的关节点间夹角和/或右膝节点-首节点-左膝节点的关节点间夹角。
在一个可能的设计中，在将所述多个人体姿态特征值作为一个待测的数据样本输入基于神经网络的且已完成训练的人体推车姿态识别模型之前，所述方法还包括：
获取在电瓶车入箱时采集的M张箱内样本图像，其中，M表示大于或等于五的自然数；
针对所述M张箱内样本图像中的各张箱内样本图像，从对应图像中提取出所述多个人体关节点的空间坐标；
针对所述M张箱内样本图像中的各张箱内样本图像，根据对应的空间坐标提取结果，计算对应的所述多个人体姿态特征值，得到对应的姿态特征正样本；
根据与所述M张箱内样本图像一一对应的M个姿态特征正样本，抽取出m个姿态特征正样本组成姿态特征正样本集，其中，m表示大于一且小于M的自然数；
将所述姿态特征正样本集输入神经网络模型进行训练，得到用于根据输入数据识别是否有人体推车姿态的所述人体推车姿态识别模型。
基于前述可能设计，可以训练得到具有高识别能力的人体推车姿态识别模型，确保后续基于人体推车姿态识别结果来检测电瓶车入箱的准确性。
在一个可能的设计中，从所述箱内监控图像中提取出多个人体关节点的空间坐标，包括：
将所述箱内监控图像作为一个待测的图像样本输入基于目标检测算法的且已完成训练的电瓶车识别模型，输出得到对应的且识别有电瓶车的第二置信度预测值；
判断所述第二置信度预测值是否大于第二预设阈值且小于或等于第三预设阈值；
若是，则从所述箱内监控图像中提取出多个人体关节点的空间坐标，其中，所述多个人体关节点属于同一人体且用于表征人体推车姿态。
基于前述可能设计，可以通过人体推车姿态的识别结果来辅助对电瓶车实体的入箱检测，在电瓶车实体检测受到环境干扰导致置信度下降但仍能检测到部分电瓶车信息时，可以结合人体推车姿态的识别结果做辅助判断，以提高电瓶车入箱检测的准确性。
在一个可能的设计中，在将所述箱内监控图像作为一个待测的图像样本输入基于目标检测算法的且已完成训练的电瓶车识别模型之前，所述方法还包括：
获取在电瓶车入箱时采集的N张箱内样本图像，其中，N表示大于或等于五的自然数；
针对所述N张箱内样本图像中的各张箱内样本图像，在获取人工标注的电瓶车所在矩形框后，将所述电瓶车所在矩形框及框体位置加载到对应图像中，得到对应的图像特征正样本；
根据与所述N张箱内样本图像一一对应的N个图像特征正样本，抽取出n个图像特征正样本组成图像特征正样本集，其中，n表示大于一且小于N的自然数；
将所述图像特征正样本集输入目标检测模型进行训练，得到用于根据输入图像识别是否有电瓶车的所述电瓶车识别模型。
在一个可能的设计中，判断所述第二置信度预测值是否大于第二预设阈值且小于或等于第三预设阈值，包括：
判断所述第二置信度预测值是否大于第三预设阈值；
若是，则判定有电瓶车入箱，否则判断所述第二置信度预测值是否大于第二预设阈值且小于或等于所述第三预设阈值。
第二方面，本发明提供了一种电瓶车入箱检测装置，包括有依次通信连接的图像获取模块、坐标提取模块、特征值计算模块、姿态识别模块、判断模块和判定模块；
所述图像获取模块，用于获取由监控相机采集的箱内监控图像，其中，所述监控相机安装在箱内顶部且面向箱门，并使镜头视野涵盖箱内地面区域；
所述坐标提取模块，用于从所述箱内监控图像中提取出多个人体关节点的空间坐标，其中，所述多个人体关节点属于同一人体且用于表征人体推车姿态；
所述特征值计算模块，用于根据所述多个人体关节点的空间坐标，计算得到用于识别人体推车姿态的多个人体姿态特征值；
所述姿态识别模块，用于将所述多个人体姿态特征值作为一个待测的数据样本输入基于神经网络的且已完成训练的人体推车姿态识别模型，输出得到对应的且识别有人体推车姿态的第一置信度预测值；
所述判断模块，用于判断所述第一置信度预测值是否大于第一预设阈值；
所述判定模块，用于在判定所述第一置信度预测值大于所述第一预设阈值时，判定有电瓶车入箱。
第三方面，本发明提供了一种计算机设备，包括有通信相连的存储器和处理器，其中，所述存储器用于存储计算机程序，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意可能设计所述的电瓶车入箱检测方法。
第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如上第一方面或第一方面中任意可能设计所述的电瓶车入箱检测方法。
第五方面，本发明提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如上第一方面或第一方面中任意可能设计所述的电瓶车入箱检测方法。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的电瓶车入箱检测方法的流程示意图。
图2是本发明提供的监控相机、人体和电瓶车在电梯轿厢中的位置关系示例图。
图3是本发明提供的COCO18模式关节点标号与关节点的对应关系示例图。
图4是本发明提供的另一种电瓶车入箱检测方法的流程示意图。
图5是本发明提供的电瓶车入箱检测装置的结构示意图。
图6是本发明提供的计算机设备的结构示意图。
上述附图中：1-电梯轿厢；11-电梯门；2-监控相机；3-人体；4-电瓶车。
具体实施方式
下面结合附图及具体实施例来对本发明作进一步阐述。在此需要说明的是，对于这些实施例方式的说明虽然是用于帮助理解本发明，但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明示例的实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本文阐述的实施例中。
应当理解，尽管本文可能使用术语第一和第二等等来描述各种对象，但是这些对象不应当受到这些术语的限制。这些术语仅用于区分一个对象和另一个对象。例如可以将第一对象称作第二对象,并且类似地可以将第二对象称作第一对象，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A、单独存在B或者同时存在A和B等三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A或者同时存在A和B等两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
如图1所示，本实施例第一方面提供的所述电瓶车入箱检测方法，可以但不限于由具有一定计算资源的计算机设备执行，例如由个人计算机(Personal Computer，PC，指一种大小、价格和性能适用于个人使用的多用途计算机；台式机、笔记本电脑到小型笔记本电脑和平板电脑以及超级本等都属于个人计算机)、智能手机、个人数字助理(Personaldigital assistant，PAD)或可穿戴设备等电子设备执行，以便在获取到由监控相机采集的箱内监控图像后，能够实现基于人体推车姿态识别结果来检测电瓶车入箱的目的，进而无需直接对电瓶车物体进行检测，可以避免因部分遮挡而导致电瓶车入箱检测效果下降的问题。如图1所示，所述电瓶车入箱检测方法，可以但不限于包括有如下步骤S1～S6。
S1.获取由监控相机采集的箱内监控图像，其中，所述监控相机安装在箱内顶部且面向箱门，并使镜头视野涵盖箱内地面区域。
在所述步骤S1中，所述监控相机用于采集箱体内部的实时监控图像，其中，所述箱体可以但不限于是电梯轿厢或车厢等明确禁止电瓶车入内的腔体。如图2所示，在电梯轿厢1内安装有一个监控相机2，该监控相机2位于所述电梯轿厢1的内顶后部且面向电梯门11，并使镜头视野可涵盖所述电梯轿厢1的整个厢内地面区域以及电梯门区域，进而使得所述监控相机2能够拍摄到人体3推动电瓶车4入梯的整个过程。所述计算机设备可以通过有线或无线通信连接所述监控相机的方式，来获取由所述监控相机实时采集的箱内监控图像。此外，考虑在电瓶车入箱时箱门一般是打开的情况，所述监控相机可能拍摄到箱门外的图像，因此在获取监控图像后，可以通过预设区域(即适用于所述监控相机保持不动的场景)来划定该监控图像中的有效检测区域(例如电梯轿厢1的内部区域，不对电梯门11外的区域进行检测)，从而截取所述有效检测区域的图像作为所述箱内监控图像。
S2.从所述箱内监控图像中提取出多个人体关节点的空间坐标，其中，所述多个人体关节点属于同一人体且用于表征人体推车姿态。
在所述步骤S2中，具体的，从所述箱内监控图像中提取出多个人体关节点的空间坐标，包括但不限于有如下步骤S21～S23。
S21.运用人体姿态识别项目OpenPose软件从所述箱内监控图像中识别出根据COCO18模式关节点标号标记的十八个人体关节点，其中，所述十八个人体关节点属于同一人体。
在所述步骤S21中，所述人体姿态识别项目OpenPose软件是美国卡耐基梅隆大学(Carnegie Mellon University,缩写CMU)基于卷积神经网络和监督学习并以caffe为框架开发的开源软件，可以实现人体动作、面部表情和手指运动等姿态估计，以及获取到输入图像中人体骨骼各个关节点的空间位置信息等，其中，所述COCO18模式关节点标号为现有关节点标号模型，所标号的18个关节点的顺序以及对应的位置可如图3所示。由此基于现有的所述人体姿态识别项目OpenPose软件和所述COCO18模式关节点标号，可以从所述箱内监控图像中识别出如下18个关节点：鼻子节点(对应标号为0)、首节点(对应标号为1)、右肩节点(对应标号为2)、右肘节点(对应标号为3)、右手首节点(对应标号为4)、左肩节点(对应标号为5)、左肘节点(对应标号为6)、左手首节点(对应标号为7)、右腰节点(对应标号为8)、右膝节点(对应标号为9)、右足首节点(对应标号为10)、左腰节点(对应标号为11)、左膝节点(对应标号为12)、左足首节点(对应标号为13)、右目节点(对应标号为14)、左目节点(对应标号为15)、右耳节点(对应标号为16)和左耳节点(对应标号为17)等。
S22.从所述十八个人体关节点中筛选出预设的且用于表征人体推车姿态的多个人体关节点。
在所述步骤S22中，所述多个人体关节点即为对人体推车姿态识别起关键作用的关节点，根据实际情况考量和本发明人的多次测试，优选选择鼻子节点、首节点、右肩节点、右肘节点、右手首节点、左肩节点、左肘节点、左手首节点、右腰节点、右膝节点、左腰节点和左膝节点等12个关节点构成所述多个人体关节点。
S23.针对所述多个人体关节点中的各个人体关节点，将在所述监控相机的相机坐标系下的对应坐标作为对应的空间坐标。
在所述步骤S23中，所述人体关节点在所述相机坐标系下的坐标可以是二维坐标，也可以三维坐标，因此所述监控相机优选为具有双目镜头的相机，以便基于双目测距原理直接获取到所述箱内监控图像中各个像素点(包含有与所述人体关节点对应的像素点)的三维坐标，确保后续人体姿态特征值的计算准确性及最终电瓶车入箱检测结果的准确性。此外，所述二维坐标可以是包含有相对于相机坐标系原点的纵坐标值和横坐标值，也可以是包含有相对于所述多个人体关节点中任意某个人体关节点的纵坐标值和横坐标值。
S3.根据所述多个人体关节点的空间坐标，计算得到用于识别人体推车姿态的多个人体姿态特征值。
在所述步骤S3中，当所述多个人体关节点包含有鼻子节点、首节点、右肩节点、右肘节点、右手首节点、左肩节点、左肘节点、左手首节点、右腰节点、右膝节点、左腰节点和左膝节点时，所述多个人体姿态特征值优选包含有至少一个距离特征值和至少一个角度特征值，其中，所述至少一个距离特征值包含但不限于有右手首节点至右腰节点的距离、左手首节点至左腰节点的距离、右肩节点至右手首节点的距离、左肩节点至左手首节点的距离、鼻子节点至右手首节点的距离、鼻子节点至左手首节点的距离、右手首节点至右膝节点的距离、左手首节点至左膝节点的距离、右手首节点至左手首节点的距离、右膝节点至左膝节点的距离、右肘节点至左膝节点的距离和/或左肘节点至右膝节点的距离，所述至少一个角度特征值包含但不限于有右肩节点-右肘节点-右手首节点的关节点间夹角、左肩节点-左肘节点-左手首节点的关节点间夹角、右肘节点-右肩节点-首节点的关节点间夹角、左肘节点-左肩节点-首节点的关节点间夹角、左手首节点-左腰节点-左膝节点的关节点间夹角、右手首节点-右腰节点-右膝节点的关节点间夹角、右手首节点-鼻子节点-左手首节点的关节点间夹角、右手首节点-首节点-左手首节点的关节点间夹角、首节点-右腰节点-右膝节点的关节点间夹角、首节点-左腰节点-左膝节点的关节点间夹角、右手首节点-首节点-右腰节点的关节点间夹角、左手首节点-首节点-左腰节点的关节点间夹角和/或右膝节点-首节点-左膝节点的关节点间夹角。前述距离特征值可基于对应两个人体关节点的空间坐标进行欧式距离计算得到，前述角度特征值可基于对应三个人体关节点的空间坐标和余弦定理进行常规几何计算得到，于此不再赘述。
S4.将所述多个人体姿态特征值作为一个待测的数据样本输入基于神经网络的且已完成训练的人体推车姿态识别模型，输出得到对应的且识别有人体推车姿态的第一置信度预测值。
在所述步骤S4中，所述神经网络是一种由大量的和简单的处理单元(称为神经元)广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习系统，因此通过常规的样本训练方式，可以得到用于根据输入数据识别是否有人体推车姿态的所述人体推车姿态识别模型，以便在输入测试样本后，可以输出对应的识别结果以及置信度预测值等信息。具体的，所述神经网络可以但不限于采用反向传播BP(Back Propagation)网络、Hopfield网络、自适应谐振理论ART(AdaptiveResonance Theory)网络或Kohonen网络等。
S5.判断所述第一置信度预测值是否大于第一预设阈值。
在所述步骤S5中，考虑电瓶车在入箱时必然是被车主推动入箱，因此是否有人体推车姿态是判断电瓶车是否入箱的关键有效因素，若合适地设置所述第一预设阈值，则可以作为判断是否有电瓶车入箱的关键指标。所述第一预设阈值的取值范围为(0，1)，举例的，所述第一预设阈值可以设置为0.5。
S6.若是，则判定有电瓶车入箱。
在所述步骤S6中，若判定所述第一置信度预测值大于所述第一预设阈值，则认为针对所述箱内监控图像，通过所述人体推车姿态识别模型识别有人体推车姿态是可信的，可以进一步认为有电瓶车入箱，进而实现基于人体推车姿态识别结果来检测电瓶车入箱的目的。反之，若判定所述第一置信度预测值小于或等于所述第一预设阈值，则可以认为无电瓶车入箱。
由此基于前述步骤S1～S6所描述的电瓶车入箱检测方法，提供了一种基于人体推车姿态识别结果来检测电瓶车入箱的新方案，即在获取到由监控相机采集的箱内监控图像后，可先从该箱内监控图像中提取并计算得到用于识别人体推车姿态的多个人体姿态特征值，然后将该多个人体姿态特征值导入基于神经网络的且已完成训练的人体推车姿态识别模型，输出得到对应的且识别有人体推车姿态的置信度预测值，最后通过该置信度预测值与预设阈值的比较结果，可以实现基于人体推车姿态识别结果来检测电瓶车入箱的目的，进而无需直接对电瓶车物体进行检测，可以避免因部分遮挡而导致电瓶车入箱检测效果下降的问题，同时由于不与电瓶车物体检测方案相冲突，还可以将该方案与所述电瓶车物体检测方案相结合，进一步提高电瓶车入箱检测的准确性，便于实际应用和推广。
本实施例在前述第一方面的技术方案基础上，还提供了一种如何训练得到所述人体推车姿态识别模型的可能设计一，即在将所述多个人体姿态特征值作为一个待测的数据样本输入基于神经网络的且已完成训练的人体推车姿态识别模型之前，所述方法还包括但不限于有如下步骤S401～S405。
S401.获取在电瓶车入箱时采集的M张箱内样本图像，其中，M表示大于或等于五的自然数。
在所述步骤S401中，所述箱内样本图像的获取方式可以参照所述箱内监控图像，并可以但不限于在如下场景(A)、(B)、(C)和/或(D)等中进行采集：(A)监控相机和/或相机的成像角度不同；(B)多种电瓶车类型；(C)多种电瓶车颜色；(D)电瓶车被雨披或其他覆盖物少量遮挡；等等。此外，M的取值越大越好，例如1000。
S402.针对所述M张箱内样本图像中的各张箱内样本图像，从对应图像中提取出所述多个人体关节点的空间坐标。
在所述步骤S402中，具体提取过程可参见前述步骤S2，因此不再赘述。
S403.针对所述M张箱内样本图像中的各张箱内样本图像，根据对应的空间坐标提取结果，计算对应的所述多个人体姿态特征值，得到对应的姿态特征正样本。
在所述步骤S403中，具体计算方式可参见前述步骤S2，因此不再赘述。
S404.根据与所述M张箱内样本图像一一对应的M个姿态特征正样本，抽取出m个姿态特征正样本组成姿态特征正样本集，其中，m表示大于一且小于M的自然数。
在所述步骤S404中，举例的，可以从所述M个姿态特征正样本中随机抽取80％的姿态特征正样本组成所述姿态特征正样本集。此外，至于剩余的姿态特征正样本，可以组成测试集，以便输入经过训练后的人体推车姿态识别模型，判断所述人体推车姿态识别模型的识别准确性，进而决定是否可用。
S405.将所述姿态特征正样本集输入神经网络模型进行训练，得到用于根据输入数据识别是否有人体推车姿态的所述人体推车姿态识别模型。
在所述步骤S405中，所述神经网络模型可以但不限于采用基于反向传播BP网络、Hopfield网络、自适应谐振理论ART网络或Kohonen网络等的模型。
由此基于前述步骤S401～S405所描述的可能设计一，可以训练得到具有高识别能力的人体推车姿态识别模型，确保后续基于人体推车姿态识别结果来检测电瓶车入箱的准确性。
本实施例在前述第一方面或可能设计一的技术方案基础上，还提供了一种与电瓶车物体检测方案相结合的可能设计二，即如图4所示，从所述箱内监控图像中提取出多个人体关节点的空间坐标，包括但不限于有如下步骤S201～S203。
S201.将所述箱内监控图像作为一个待测的图像样本输入基于目标检测算法的且已完成训练的电瓶车识别模型，输出得到对应的且识别有电瓶车的第二置信度预测值。
在所述步骤S201中，所述目标检测算法是一种用于在图片中将里面的物体识别出来且标记出物体位置的现有人工智能识别算法，具体可以但不限于采用Faster R-CNN(Faster Regions with Convolutional Neural Networks features，由何凯明等在2015年提出目标检测算法，该算法在2015年的ILSVRV和COCO竞赛中获得多项第一)目标检测算法、SSD(Single Shot MultiBox Detector，单镜头多盒检测器，是Wei Liu在ECCV 2016上提出的一种目标检测算法，是目前流行的主要检测框架之一)目标检测算法或YOLO(Youonly look once，目前最新已经发展到V4版本，在业界的应用也很广泛，其基本原理是：首先对输入图像划分成7x7的网格，对每个网格预测2个边框，然后根据阈值去除可能性比较低的目标窗口，最后再使用边框合并的方式去除冗余窗口，得出检测结果)目标检测算法等。因此通过常规的样本训练方式，可以得到用于根据输入图像识别是否有电瓶车的所述电瓶车识别模型，以便在输入测试图像后，可以输出对应的识别结果以及置信度预测值等信息。举例的，所述目标检测算法优选采用YOLO V4目标检测算法。
在所述步骤S201之前，类似所述人体推车姿态识别模型，可以但不限于采用如下方式进行训练：首先，获取在电瓶车入箱时采集的N张箱内样本图像，其中，N表示大于或等于五的自然数；然后，针对所述N张箱内样本图像中的各张箱内样本图像，在获取人工标注的电瓶车所在矩形框后，将所述电瓶车所在矩形框及框体位置加载到对应图像中，得到对应的图像特征正样本；再然后，根据与所述N张箱内样本图像一一对应的N个图像特征正样本，抽取出n个图像特征正样本组成图像特征正样本集，其中，n表示大于一且小于N的自然数；最后，将所述图像特征正样本集输入目标检测模型进行训练，得到用于根据输入图像识别是否有电瓶车的所述电瓶车识别模型。其中，N的取值也是越大越好，例如1000；并可以从所述N个图像特征正样本中随机抽取80％的图像特征正样本组成所述图像特征正样本集。此外，至于剩余的图像特征正样本，也可以组成测试集，以便输入经过训练后的电瓶车识别模型，判断所述电瓶车识别模型的识别准确性，进而决定是否可用。
S202.判断所述第二置信度预测值是否大于第二预设阈值且小于或等于第三预设阈值。
在所述步骤S202中，所述第二预设阈值和所述第三预设阈值用于通过合理设置，作为是否采用前述第一方面或可能设计一的技术方案来辅助电瓶车物体检测方案进行电瓶车入箱检测的判断依据，即当判定所述第二置信度预测值大于所述第二预设阈值且小于或等于所述第三预设阈值时，表示由于实际场景中的遮挡或角度等因素，使得所述电瓶车识别模型的识别效果受到影响，置信度下降，但仍然可以检测出电瓶车实体的一些关键信息，此时就需要基于人体推车姿态识别结果进一步来检测电瓶车是否入箱。同样的，所述第二预设阈值和所述第三预设阈值的取值范围均为(0，1)，举例的，所述第二预设阈值可以设置为0.3；所述第三预设阈值可以设置为0.7。
在所述步骤S202中，具体的，如图4所示，可先判断所述第二置信度预测值是否大于第三预设阈值；若是，则判定有电瓶车入箱，否则判断所述第二置信度预测值是否大于第二预设阈值且小于或等于所述第三预设阈值。其中，若判定所述第二置信度预测值是大于所述第三预设阈值，则认为针对所述箱内监控图像，通过所述电瓶车识别模型识别有电瓶车是可信的，可以进一步认为有电瓶车入箱。反之，若判定所述第二置信度预测值小于或等于所述第二预设阈值，则认为针对所述箱内监控图像，通过所述电瓶车识别模型识别有电瓶车是不可信的，可以认为无电瓶车入箱。
S203.若是，则从所述箱内监控图像中提取出多个人体关节点的空间坐标，其中，所述多个人体关节点属于同一人体且用于表征人体推车姿态。
由此基于前述步骤S201～S203所描述的可能设计二，可以通过人体推车姿态的识别结果来辅助对电瓶车实体的入箱检测，在电瓶车实体检测受到环境干扰导致置信度下降但仍能检测到部分电瓶车信息时，可以结合人体推车姿态的识别结果做辅助判断，以提高电瓶车入箱检测的准确性。
如图5所示，本实施例第二方面提供了一种实现第一方面或第一方面中任一可能设计所述的电瓶车入箱检测方法的虚拟装置，包括有依次通信连接的图像获取模块、坐标提取模块、特征值计算模块、姿态识别模块、判断模块和判定模块；
所述图像获取模块，用于获取由监控相机采集的箱内监控图像，其中，所述监控相机安装在箱内顶部且面向箱门，并使镜头视野涵盖箱内地面区域；
所述坐标提取模块，用于从所述箱内监控图像中提取出多个人体关节点的空间坐标，其中，所述多个人体关节点属于同一人体且用于表征人体推车姿态；
所述特征值计算模块，用于根据所述多个人体关节点的空间坐标，计算得到用于识别人体推车姿态的多个人体姿态特征值；
所述姿态识别模块，用于将所述多个人体姿态特征值作为一个待测的数据样本输入基于神经网络的且已完成训练的人体推车姿态识别模型，输出得到对应的且识别有人体推车姿态的第一置信度预测值；
所述判断模块，用于判断所述第一置信度预测值是否大于第一预设阈值；
所述判定模块，用于在判定所述第一置信度预测值大于所述第一预设阈值时，判定有电瓶车入箱。
本实施例第二方面提供的前述装置的工作过程、工作细节和技术效果，可以参见第一方面或第一方面中任一可能设计所述的电瓶车入箱检测方法，于此不再赘述。
如图6所示，本实施例第三方面提供了一种执行第一方面或第一方面中任一可能设计所述电瓶车入箱检测方法的计算机设备，包括有通信相连的存储器和处理器，其中，所述存储器用于存储计算机程序，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任一可能设计所述的电瓶车入箱检测方法。具体举例的，所述存储器可以但不限于包括随机存取存储器(Random-Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存(Flash Memory)、先进先出存储器(First Input First Output，FIFO)和/或先进后出存储器(First Input Last Output，FILO)等等；所述处理器可以但不限于采用型号为STM32F105系列的微处理器。此外，所述计算机设备还可以但不限于包括有电源模块、显示屏和其它必要的部件。
本实施例第三方面提供的前述计算机设备的工作过程、工作细节和技术效果，可以参见第一方面或第一方面中任一可能设计所述的电瓶车入箱检测方法，于此不再赘述。
本实施例第四方面提供了一种存储包含第一方面或第一方面中任一可能设计所述电瓶车入箱检测方法的指令的计算机可读存储介质，即所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或第一方面中任一可能设计所述的电瓶车入箱检测方法。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等计算机可读存储介质，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
本实施例第四方面提供的前述计算机可读存储介质的工作过程、工作细节和技术效果，可以参见第一方面或第一方面中任一可能设计所述的电瓶车入箱检测方法，于此不再赘述。
本实施例第五方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面或第一方面中任一可能设计所述的电瓶车入箱检测方法。其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
最后应说明的是，本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。
Claims (10)
1.一种电瓶车入箱检测方法，其特征在于，包括：
获取由监控相机采集的箱内监控图像，其中，所述监控相机安装在箱内顶部且面向箱门，并使镜头视野涵盖箱内地面区域；
从所述箱内监控图像中提取出多个人体关节点的空间坐标，其中，所述多个人体关节点属于同一人体且用于表征人体推车姿态；
根据所述多个人体关节点的空间坐标，计算得到用于识别人体推车姿态的多个人体姿态特征值；
将所述多个人体姿态特征值作为一个待测的数据样本输入基于神经网络的且已完成训练的人体推车姿态识别模型，输出得到对应的且识别有人体推车姿态的第一置信度预测值；
判断所述第一置信度预测值是否大于第一预设阈值；
若是，则判定有电瓶车入箱。
2.如权利要求1所述的电瓶车入箱检测方法，其特征在于，从所述箱内监控图像中提取出多个人体关节点的空间坐标，包括：
运用人体姿态识别项目OpenPose软件从所述箱内监控图像中识别出根据COCO18模式关节点标号标记的十八个人体关节点，其中，所述十八个人体关节点属于同一人体；
从所述十八个人体关节点中筛选出预设的且用于表征人体推车姿态的多个人体关节点；
针对所述多个人体关节点中的各个人体关节点，将在所述监控相机的相机坐标系下的对应坐标作为对应的空间坐标。
3.如权利要求1所述的电瓶车入箱检测方法，其特征在于，所述多个人体关节点包含有鼻子节点、首节点、右肩节点、右肘节点、右手首节点、左肩节点、左肘节点、左手首节点、右腰节点、右膝节点、左腰节点和左膝节点；
所述多个人体姿态特征值包含有至少一个距离特征值和至少一个角度特征值，其中，所述至少一个距离特征值包含有右手首节点至右腰节点的距离、左手首节点至左腰节点的距离、右肩节点至右手首节点的距离、左肩节点至左手首节点的距离、鼻子节点至右手首节点的距离、鼻子节点至左手首节点的距离、右手首节点至右膝节点的距离、左手首节点至左膝节点的距离、右手首节点至左手首节点的距离、右膝节点至左膝节点的距离、右肘节点至左膝节点的距离和/或左肘节点至右膝节点的距离，所述至少一个角度特征值包含有右肩节点-右肘节点-右手首节点的关节点间夹角、左肩节点-左肘节点-左手首节点的关节点间夹角、右肘节点-右肩节点-首节点的关节点间夹角、左肘节点-左肩节点-首节点的关节点间夹角、左手首节点-左腰节点-左膝节点的关节点间夹角、右手首节点-右腰节点-右膝节点的关节点间夹角、右手首节点-鼻子节点-左手首节点的关节点间夹角、右手首节点-首节点-左手首节点的关节点间夹角、首节点-右腰节点-右膝节点的关节点间夹角、首节点-左腰节点-左膝节点的关节点间夹角、右手首节点-首节点-右腰节点的关节点间夹角、左手首节点-首节点-左腰节点的关节点间夹角和/或右膝节点-首节点-左膝节点的关节点间夹角。
4.如权利要求1所述的电瓶车入箱检测方法，其特征在于，在将所述多个人体姿态特征值作为一个待测的数据样本输入基于神经网络的且已完成训练的人体推车姿态识别模型之前，所述方法还包括：
获取在电瓶车入箱时采集的M张箱内样本图像，其中，M表示大于或等于五的自然数；
针对所述M张箱内样本图像中的各张箱内样本图像，从对应图像中提取出所述多个人体关节点的空间坐标；
针对所述M张箱内样本图像中的各张箱内样本图像，根据对应的空间坐标提取结果，计算对应的所述多个人体姿态特征值，得到对应的姿态特征正样本；
根据与所述M张箱内样本图像一一对应的M个姿态特征正样本，抽取出m个姿态特征正样本组成姿态特征正样本集，其中，m表示大于一且小于M的自然数；
将所述姿态特征正样本集输入神经网络模型进行训练，得到用于根据输入数据识别是否有人体推车姿态的所述人体推车姿态识别模型。
5.如权利要求1所述的电瓶车入箱检测方法，其特征在于，从所述箱内监控图像中提取出多个人体关节点的空间坐标，包括：
将所述箱内监控图像作为一个待测的图像样本输入基于目标检测算法的且已完成训练的电瓶车识别模型，输出得到对应的且识别有电瓶车的第二置信度预测值；
判断所述第二置信度预测值是否大于第二预设阈值且小于或等于第三预设阈值；
若是，则从所述箱内监控图像中提取出多个人体关节点的空间坐标，其中，所述多个人体关节点属于同一人体且用于表征人体推车姿态。
6.如权利要求5所述的电瓶车入箱检测方法，其特征在于，在将所述箱内监控图像作为一个待测的图像样本输入基于目标检测算法的且已完成训练的电瓶车识别模型之前，所述方法还包括：
获取在电瓶车入箱时采集的N张箱内样本图像，其中，N表示大于或等于五的自然数；
针对所述N张箱内样本图像中的各张箱内样本图像，在获取人工标注的电瓶车所在矩形框后，将所述电瓶车所在矩形框及框体位置加载到对应图像中，得到对应的图像特征正样本；
根据与所述N张箱内样本图像一一对应的N个图像特征正样本，抽取出n个图像特征正样本组成图像特征正样本集，其中，n表示大于一且小于N的自然数；
将所述图像特征正样本集输入目标检测模型进行训练，得到用于根据输入图像识别是否有电瓶车的所述电瓶车识别模型。
7.如权利要求5所述的电瓶车入箱检测方法，其特征在于，判断所述第二置信度预测值是否大于第二预设阈值且小于或等于第三预设阈值，包括：
判断所述第二置信度预测值是否大于第三预设阈值；
若是，则判定有电瓶车入箱，否则判断所述第二置信度预测值是否大于第二预设阈值且小于或等于所述第三预设阈值。
8.一种电瓶车入箱检测装置，其特征在于，包括有依次通信连接的图像获取模块、坐标提取模块、特征值计算模块、姿态识别模块、判断模块和判定模块；
所述图像获取模块，用于获取由监控相机采集的箱内监控图像，其中，所述监控相机安装在箱内顶部且面向箱门，并使镜头视野涵盖箱内地面区域；
所述坐标提取模块，用于从所述箱内监控图像中提取出多个人体关节点的空间坐标，其中，所述多个人体关节点属于同一人体且用于表征人体推车姿态；
所述特征值计算模块，用于根据所述多个人体关节点的空间坐标，计算得到用于识别人体推车姿态的多个人体姿态特征值；
所述姿态识别模块，用于将所述多个人体姿态特征值作为一个待测的数据样本输入基于神经网络的且已完成训练的人体推车姿态识别模型，输出得到对应的且识别有人体推车姿态的第一置信度预测值；
所述判断模块，用于判断所述第一置信度预测值是否大于第一预设阈值；
所述判定模块，用于在判定所述第一置信度预测值大于所述第一预设阈值时，判定有电瓶车入箱。
9.一种计算机设备，其特征在于，包括有通信相连的存储器和处理器，其中，所述存储器用于存储计算机程序，所述处理器用于读取所述计算机程序，执行如权利要求1～7中任意一项所述的电瓶车入箱检测方法。
10.一种计算机可读存储介质，其特征在于,所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如权利要求1～7中任意一项所述的电瓶车入箱检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111122204.9A CN113792700B (zh) | 2021-09-24 | 2021-09-24 | 一种电瓶车入箱检测方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111122204.9A CN113792700B (zh) | 2021-09-24 | 2021-09-24 | 一种电瓶车入箱检测方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113792700A true CN113792700A (zh) | 2021-12-14 |
| CN113792700B CN113792700B (zh) | 2024-02-27 |
Family
ID=78879343
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111122204.9A Active CN113792700B (zh) | 2021-09-24 | 2021-09-24 | 一种电瓶车入箱检测方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113792700B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117011803A (zh) * | 2023-09-26 | 2023-11-07 | 广东星云开物科技股份有限公司 | 电动车监测方法、装置、设备、介质及共享电动车系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160004923A1 (en) * | 2014-07-01 | 2016-01-07 | Brain Corporation | Optical detection apparatus and methods |
| CN109165620A (zh) * | 2018-09-04 | 2019-01-08 | 张晓飞 | 一种电动车的检测方法、系统及终端设备 |
| CN109919132A (zh) * | 2019-03-22 | 2019-06-21 | 广东省智能制造研究所 | 一种基于骨架检测的行人跌倒识别方法 |
| CN111217213A (zh) * | 2019-11-08 | 2020-06-02 | 智普诺(常州)电子科技有限公司 | 电梯阻车智能系统及电梯 |
| CN111242004A (zh) * | 2020-01-10 | 2020-06-05 | 厦门瑞为信息技术有限公司 | 一种基于电梯监控数据处理的自动告警方法及系统 |
| CN111362089A (zh) * | 2020-04-30 | 2020-07-03 | 郑州大学 | 一种人工智能识别电动车进入轿厢的方法和系统 |
| CN112071084A (zh) * | 2020-09-18 | 2020-12-11 | 城云科技（中国）有限公司 | 一种利用深度学习判断违章停车的方法和系统 |
| CN112153343A (zh) * | 2020-09-25 | 2020-12-29 | 北京百度网讯科技有限公司 | 电梯安全监控方法、装置、监控摄像头和存储介质 |
| CN112200039A (zh) * | 2020-09-30 | 2021-01-08 | 广州鲁邦通物联网科技有限公司 | 电梯轿厢全覆盖的人体检测和行为判断的方法、系统和分析方法 |
| CN112200126A (zh) * | 2020-10-26 | 2021-01-08 | 上海盛奕数字科技有限公司 | 一种基于人工智能跑步肢体遮挡姿态识别方法 |
| WO2021047232A1 (zh) * | 2019-09-11 | 2021-03-18 | 苏宁易购集团股份有限公司 | 交互行为识别方法、装置、计算机设备和存储介质 |
-
2021
- 2021-09-24 CN CN202111122204.9A patent/CN113792700B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160004923A1 (en) * | 2014-07-01 | 2016-01-07 | Brain Corporation | Optical detection apparatus and methods |
| CN109165620A (zh) * | 2018-09-04 | 2019-01-08 | 张晓飞 | 一种电动车的检测方法、系统及终端设备 |
| CN109919132A (zh) * | 2019-03-22 | 2019-06-21 | 广东省智能制造研究所 | 一种基于骨架检测的行人跌倒识别方法 |
| WO2021047232A1 (zh) * | 2019-09-11 | 2021-03-18 | 苏宁易购集团股份有限公司 | 交互行为识别方法、装置、计算机设备和存储介质 |
| CN111217213A (zh) * | 2019-11-08 | 2020-06-02 | 智普诺(常州)电子科技有限公司 | 电梯阻车智能系统及电梯 |
| CN111242004A (zh) * | 2020-01-10 | 2020-06-05 | 厦门瑞为信息技术有限公司 | 一种基于电梯监控数据处理的自动告警方法及系统 |
| CN111362089A (zh) * | 2020-04-30 | 2020-07-03 | 郑州大学 | 一种人工智能识别电动车进入轿厢的方法和系统 |
| CN112071084A (zh) * | 2020-09-18 | 2020-12-11 | 城云科技（中国）有限公司 | 一种利用深度学习判断违章停车的方法和系统 |
| CN112153343A (zh) * | 2020-09-25 | 2020-12-29 | 北京百度网讯科技有限公司 | 电梯安全监控方法、装置、监控摄像头和存储介质 |
| CN112200039A (zh) * | 2020-09-30 | 2021-01-08 | 广州鲁邦通物联网科技有限公司 | 电梯轿厢全覆盖的人体检测和行为判断的方法、系统和分析方法 |
| CN112200126A (zh) * | 2020-10-26 | 2021-01-08 | 上海盛奕数字科技有限公司 | 一种基于人工智能跑步肢体遮挡姿态识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| ROSTYSLAV SIRIAK 等: "Deep Convolutional Network with Long Short-Term Memory Layers for Dynamic Gesture Recognition", 《2019 10TH IEEE INTERNATIONAL CONFERENCE ON INTELLIGENT DATA ACQUISITION AND ADVANCED COMPUTING SYSTEMS: TECHNOLOGY AND APPLICATIONS》, pages 1 - 9 * |
| 史正伟: "基于深度学习的行人检测技术的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 138 - 652 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117011803A (zh) * | 2023-09-26 | 2023-11-07 | 广东星云开物科技股份有限公司 | 电动车监测方法、装置、设备、介质及共享电动车系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113792700B (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111444828B (zh) | 一种模型训练的方法、目标检测的方法、装置及存储介质 | |
| CN109508688B (zh) | 基于骨架的行为检测方法、终端设备及计算机存储介质 | |
| CN109635783B (zh) | 视频监控方法、装置、终端和介质 | |
| CN111062429A (zh) | 基于深度学习的厨师帽和口罩佩戴的检测方法 | |
| CN111178183B (zh) | 人脸检测方法及相关装置 | |
| CN110796051B (zh) | 基于货柜场景下的实时存取行为检测方法和系统 | |
| CN110425005B (zh) | 矿井下皮带运输人员人机交互行为安全监控与预警方法 | |
| CN110472612B (zh) | 人体行为识别方法及电子设备 | |
| TW202038191A (zh) | 活體檢測方法和裝置、電子設備及儲存介質 | |
| CN107871324A (zh) | 一种基于双通道的目标跟踪方法及装置 | |
| CN111062328B (zh) | 一种图像处理方法、装置及智能机器人 | |
| CN112163564B (zh) | 基于人体关键点行为识别与lstm的跌倒预判方法 | |
| CN111126153B (zh) | 基于深度学习的安全监测方法、系统、服务器及存储介质 | |
| CN111563480A (zh) | 冲突行为检测方法、装置、计算机设备和存储介质 | |
| CN112115775A (zh) | 一种基于计算机视觉的监控场景下的吸烟行为检测方法 | |
| CN113378649A (zh) | 身份、位置和动作识别方法、系统、电子设备及存储介质 | |
| CN112487844A (zh) | 手势识别方法、电子设备、计算机可读存储介质和芯片 | |
| Zhou et al. | A study on attention-based LSTM for abnormal behavior recognition with variable pooling | |
| CN115738219A (zh) | 引体向上测评方法、装置、电子设备及存储介质 | |
| CN113792700B (zh) | 一种电瓶车入箱检测方法、装置、计算机设备及存储介质 | |
| CN108875500A (zh) | 行人再识别方法、装置、系统及存储介质 | |
| CN113011211A (zh) | 一种吸烟行为的检测方法、装置、电子设备及存储介质 | |
| CN114140841A (zh) | 点云数据的处理方法、神经网络的训练方法以及相关设备 | |
| CN111814653B (zh) | 一种视频中异常行为的检测方法、装置、设备及存储介质 | |
| CN114120436A (zh) | 动作识别模型的训练方法、动作识别方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230116 Address after: 610000 High-tech Zone, Chengdu City, Sichuan Province, No. 99, No. 1, No. 2, No. 15, No. 1, No. 1505, No. 1, No. 1, No. 1, No. 1, No. 1, No. 1, No. 1, No. 1, No. 1, No Applicant after: CHENGDU XINCHAO MEDIA GROUP Co.,Ltd. Address before: 610000 High-tech Zone, Chengdu City, Sichuan Province, No. 99, No. 1, No. 2, No. 15, No. 1, No. 1505, No. 1, No. 1, No. 1, No. 1, No. 1, No. 1, No. 1, No. 1, No. 1, No Applicant before: CHENGDU XINCHAO MEDIA GROUP Co.,Ltd. Applicant before: Chengdu Baixin Zhilian Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |