CN117152798B - 一种大熊猫圈舍异物识别系统及方法 - Google Patents
一种大熊猫圈舍异物识别系统及方法 Download PDFInfo
- Publication number
- CN117152798B CN117152798B CN202311416173.7A CN202311416173A CN117152798B CN 117152798 B CN117152798 B CN 117152798B CN 202311416173 A CN202311416173 A CN 202311416173A CN 117152798 B CN117152798 B CN 117152798B
- Authority
- CN
- China
- Prior art keywords
- panda
- image
- time
- real
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 208000025174 PANDAS Diseases 0.000 title claims abstract description 442
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 title claims abstract description 442
- 240000004718 Panda Species 0.000 title claims abstract description 438
- 235000016496 Panda oleosa Nutrition 0.000 title claims abstract description 438
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 53
- 238000010191 image analysis Methods 0.000 claims abstract description 20
- 238000003062 neural network model Methods 0.000 claims abstract description 10
- 210000003194 forelimb Anatomy 0.000 claims description 44
- 230000033001 locomotion Effects 0.000 claims description 17
- 238000004458 analytical method Methods 0.000 claims description 9
- 239000007788 liquid Substances 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 230000004634 feeding behavior Effects 0.000 claims description 4
- 230000015654 memory Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 15
- 235000013305 food Nutrition 0.000 description 12
- 230000008569 process Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 210000001364 upper extremity Anatomy 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 239000002023 wood Substances 0.000 description 3
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 2
- 235000017491 Bambusa tulda Nutrition 0.000 description 2
- 241001330002 Bambuseae Species 0.000 description 2
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 239000011425 bamboo Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000020595 eating behavior Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000035553 feeding performance Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种大熊猫圈舍异物识别系统及方法，涉及机械图像识别技术领域。包括图像获取模块用于获取属于该大熊猫圈舍的物体图像，以及大熊猫图像，并将所述物体图像以及所述大熊猫图像进行标记；图像训练模块根据所述标记确定图像训练集，通过所述图像训练集对神经网络模型进行迭代训练，训练完成得到识别模型，所述识别模型用于识别属于该大熊猫圈舍内的物体以及大熊猫；图像采集模块通过多个图像采集器对大熊猫圈舍内的图像进行实时采集，得到大熊猫圈舍实时图像；图像分析模块将所述大熊猫圈舍实时图像输入所述识别模型，当所述大熊猫圈舍实时图像中出现所述识别模型无法识别的物体图像时，发出提示信息。
Description
技术领域
本申请涉及图像识别技术领域，具体涉及一种大熊猫圈舍异物识别系统及方法。
背景技术
大熊猫作为生物“活化石”，已经存在至少800万年，虽然近年野生大熊猫和圈养大熊猫的数量都有了一定上升，但是总体数量依旧稀少，任是临灭菌的珍惜动物，大熊猫食性特殊，虽然大熊猫属于肉食目，但野生大熊猫百分之九十九的食物都是竹子，圈养大熊猫在辅食中添加一些以谷物类为主所调制的精饲料。
目前圈养大熊猫饲养于各大动物园和繁殖基地，并有一部分大熊猫会在固定时间在园内建设的圈舍内向游客展出，由于大熊猫的食性特殊、数量稀少，因此参观大熊猫时均要求游客不容许私自投喂任何食物，但还是时常有游客无视规定向大熊猫私自投喂食物，或者游客的私人物品不慎掉落至圈舍内，导致圈舍内出现不属于该圈舍内的物品，也就是相对该圈舍的异物，目前当异物进入圈舍时大多是通过饲养员、安保和其他游客发现，但是通过人为发现还是会存在较大的遗漏风险，可能出现异物进入圈舍但没有发现的情况；另外在游客发现有异物进入圈舍也后难以迅速找到工作人员，工作人员没有第一时间对异物进行移出的话，也会导致了大熊猫误食这些异物的可能性增大，因此亟需一种大熊猫圈舍异物识别系统及方法，对大熊猫圈舍进行实时监测，在发现大熊猫圈舍内出现异物时，直接向工作人员发出通知，工作人员可以第一时间对出现的异物进行核实和移出。
发明内容
本发明的目的在于：根据目前存在的通过人为发现异物进入圈舍会有较大的遗漏风险，可能出现异物进入圈舍但没有发现的情况，导致大熊猫误食后生命安全受到威胁的问题，提供一种大熊猫圈舍异物识别系统及方法，通过获取属于该圈舍内的物品图像，训练出识别模型，对圈舍内进行实时采集图像，当出现识别模型无法识别的物品时，也就是异物，直接通知工作人员对出现的异物进行核实和移出，大大降低大熊猫误食异物的可能性。
为了实现上述发明目的，本发明提供了以下技术方案：
在本申请的第一方面，提供一种大熊猫圈舍异物识别系统，包括：
图像获取模块：所述图像获取模块用于获取属于该大熊猫圈舍的物体图像，以及大熊猫图像，并将所述物体图像以及所述大熊猫图像进行标记；
图像训练模块：所述图像训练模块根据所述标记确定图像训练集，通过所述图像训练集对神经网络模型进行迭代训练，训练完成得到识别模型，所述识别模型用于识别属于该大熊猫圈舍内的物体以及大熊猫；
图像采集模块：所述图像采集模块通过多个图像采集器对大熊猫圈舍内的图像进行实时采集，得到大熊猫圈舍实时图像；
图像分析模块：所述图像分析模块将所述大熊猫圈舍实时图像输入所述识别模型，当所述大熊猫圈舍实时图像中出现所述识别模型无法识别的物体图像时，发出提示信息。
在本申请一实施例中，所述图像获取模块还包括边界划分子模块和特征提取子模块，所述边界划分子模块用于将大熊猫图像输入检测网络，输出大熊猫面部图像以及大熊猫前肢图像，所述特征提取子模块用于对所述大熊猫面部图像以及所述大熊猫前肢图像进行特征分析，得到大熊猫进食行为的分类标记，所述图像训练模块根据所述分类标记更新训练集，得到更新的所述识别模型，所述图像分析模块还包括部位分析子模块，所述部位分析子模块用于将所述大熊猫圈舍实时图像输入所述识别模型，输出大熊猫面部实时图像以及所述大熊猫前肢实时图像，通过所述大熊猫面部实时图像以及所述大熊猫前肢实时图像识别出大熊猫正在进食时，对所述大熊猫面部以及所述大熊猫前肢区域进行识别，当所述大熊猫面部以及所述大熊猫前肢区域中出现所述识别模型无法识别的物体图像时，发出警报信息。
在本申请一实施例中，还包括划分模块，所述划分模块将大熊猫圈舍划分为边缘区域和中心区域，所述边缘区域为大熊猫圈舍靠近看台的区域，所述中心区域为大熊猫圈舍远离所述看台的区域，所述图像采集模块对所述图像采集器进行分配，使对所述边缘区域进行图像采集的所述图像采集器多于对所述中心区域进行图像采集的所述图像采集器。
在本申请一实施例中，所述划分模块还包括大熊猫区域划分子模块，所述大熊猫区域划分子模块用于实时划分以大熊猫为中心的圆形区域，所述图像采集模块调集所述图像采集器对以大熊猫为中心的圆形区域进行独立的图像采集。
在本申请一实施例中，所述划分模块还包括时间划分子模块，所述时间划分子模块用于预设开园时间和大熊猫放置圈舍时间，在预设的开园时间内且在大熊猫放置圈舍时间中，所述图像采集模块通过多个所述图像采集器对大熊猫圈舍内的图像进行实时采集，得到大熊猫圈舍实时图像。
在本申请一实施例中，还包括来源追溯模块，所述来源追溯模块在所述大熊猫圈舍实时图像中出现所述识别模型无法识别的物体图像，所述图像分析模块发出提示信息时，对所述无法识别的物体图像进行定位，所述图像采集模块还通过多个所述图像采集器采集所述看台图像，得到看台实时图像，调出所述无法识别的物体图像出现前的所述大熊猫圈舍实时图像，以及对应时间的所述看台实时图像，对所述无法识别的物体图像进行来源追溯，得到所述无法识别的物体是否从所述看台抛出。
在本申请一实施例中，所述图像分析模块通过所述识别模型识别出大熊猫实时图像，当所述图像分析模块通过所述大熊猫实时图像识别出大熊猫在预设时间内的动作幅度大于预设阈值时，判定大熊猫处于受惊状态，调出大熊猫受惊前的所述大熊猫圈舍实时图像，以及对应时间的所述看台实时图像，查看是否有所述无法识别的物体或液体从所述大熊猫圈舍看台抛向大熊猫。
在本申请一实施例中，还包括追踪模块，所述追踪模块用于当所述来源追溯模块确定得到所述无法识别的物体从所述看台抛出时，对抛出所述无法识别的物体的抛物人员进行定位，调配所述图像采集器对所述抛物人员进行位置追踪，得到所述抛物人员实时位置。
在本申请一实施例中，所述追踪模块还包括人员追溯子模块，所述人员追溯子模块用于对所述抛物人员进行运动路径进行追溯，至所述抛物人员通过入园闸机进入园区时，通过所述抛物人员的入园时间得到所述抛物人员的购票信息。
在本申请的第二方面，提供一种大熊猫圈舍异物识别方法，包括：
获取属于该大熊猫圈舍的物体图像，以及大熊猫图像，并将所述物体图像以及所述大熊猫图像进行标记；
根据所述标记确定图像训练集，通过所述图像训练集对神经网络模型进行迭代训练，训练完成得到识别模型，所述识别模型用于识别属于该大熊猫圈舍内的物体以及大熊猫；
通过多个图像采集器对大熊猫圈舍内的图像进行实时采集，得到大熊猫圈舍实时图像；
将所述大熊猫圈舍实时图像输入所述识别模型，当所述大熊猫圈舍实时图像中出现所述识别模型无法识别的物体图像时，发出提示信息。
在本申请一实施例中，将大熊猫图像输入检测网络，输出大熊猫面部图像以及大熊猫前肢图像，对所述大熊猫面部图像以及所述大熊猫前肢图像进行特征分析，得到大熊猫进食行为的分类标记，根据所述分类标记更新训练集，得到更新的所述识别模型，将所述大熊猫圈舍实时图像输入所述识别模型，输出大熊猫面部实时图像以及所述大熊猫前肢实时图像，通过所述大熊猫面部实时图像以及所述大熊猫前肢实时图像识别出大熊猫正在进食时，对所述大熊猫面部以及所述大熊猫前肢区域进行识别，当所述大熊猫面部以及所述大熊猫前肢区域中出现所述识别模型无法识别的物体图像时，发出警报信息。
在本申请一实施例中，将大熊猫圈舍划分为边缘区域和中心区域，所述边缘区域为大熊猫圈舍靠近看台的区域，所述中心区域为大熊猫圈舍远离所述看台的区域，所述图像采集模块对所述图像采集器进行分配，使对所述边缘区域进行图像采集的所述图像采集器多于对所述中心区域进行图像采集的所述图像采集器。
在本申请一实施例中，实时划分以大熊猫为中心的圆形区域，调集所述图像采集器对以大熊猫为中心的圆形区域进行独立的图像采集。
在本申请一实施例中，预设开园时间和大熊猫放置圈舍时间，在预设的开园时间内且在大熊猫放置圈舍时间中，通过多个所述图像采集器对大熊猫圈舍内的图像进行实时采集，得到大熊猫圈舍实时图像。
在本申请一实施例中，在所述大熊猫圈舍实时图像中出现所述识别模型无法识别的物体图像，发出提示信息时，对所述无法识别的物体图像进行定位，还通过多个所述图像采集器采集所述看台图像，得到看台实时图像，调出所述无法识别的物体图像出现前的所述大熊猫圈舍实时图像，以及对应时间的所述看台实时图像，对所述无法识别的物体图像进行来源追溯，得到所述无法识别的物体是否从所述看台抛出。
在本申请一实施例中，通过所述识别模型识别出大熊猫实时图像，通过所述大熊猫实时图像识别出大熊猫在预设时间内的动作幅度大于预设阈值时，判定大熊猫处于受惊状态，调出大熊猫受惊前的所述大熊猫圈舍实时图像，以及对应时间的所述看台实时图像，查看是否有所述无法识别的物体或液体从所述大熊猫圈舍看台抛向大熊猫。
在本申请一实施例中，当确定得到所述无法识别的物体从所述看台抛出时，对抛出所述无法识别的物体的抛物人员进行定位，调配所述图像采集器对所述抛物人员进行位置追踪，得到所述抛物人员实时位置。
在本申请一实施例中，对所述抛物人员进行运动路径进行追溯，至所述抛物人员通过入园闸机进入园区时，通过所述抛物人员的入园时间得到所述抛物人员的购票信息。
本申请具有以下有益效果：
在本申请的实施方式中，提前获取该圈舍的所有物品的图像进行所述识别模型的训练，再通过所述图像采集器对大熊猫圈舍全区域进行实时监测，将所述大熊猫圈舍实时图像输入所述识别模型，所述识别模型在所述大熊猫圈舍实时图像发现无法识别的物体时，也就是在大熊猫圈舍内出现异物时，发出提示信息，所述提示信息可以直接向工作人员发出通知，工作人员可以第一时间对出现的异物进行核实和移出，也可以发送给管理中心，通过管理中心调配工作人员对异物进行处理，通过管理中心调配工作人员，可以直接调配负责该圈舍熟悉该圈舍内大熊猫的饲养员进行异物的快速处理，通过所述图像采集器对大熊猫圈舍进行实时监控，所述识别模型实时识别，避免通过人为发现异物进入圈舍出现的较大遗漏风险，大大降低大熊猫误食异物的可能性；
大熊猫进食流程大多是通过前肢将食物拿起后放入嘴中咀嚼，因此大熊猫出现误食食物的情况时，食物基本都会在前肢和面部出现，在本实施方式中，通过所述边界划分子模块和所述特征提取子模块识别出大熊猫的面部和前肢，以及大熊猫的进食的动作行为，通过所述大熊猫面部实时图像以及所述大熊猫前肢实时图像识别出大熊猫正在进食时，对所述大熊猫面部以及所述大熊猫前肢区域进行识别，当所述大熊猫面部以及所述大熊猫前肢区域中出现所述识别模型无法识别的物体图像时，发出所述警报信息，所述警报信息相对所述提示信息的紧急程度高，管理中心或该圈舍附近的工作人员需要更快速的前往圈舍阻止大熊猫误食食物，甚至在误食行为发生后尽快对大熊猫进行医疗或观察；
对大熊猫圈舍进行区域划分，第一方面，游客进行私自投喂或个人物品掉落时，这些异物通常大多是在所述看台附近，通常不会直接出现在远离所述看台的所述中心区域，因此所述图像采集模块对所述图像采集器进行分配，使对所述边缘区域进行图像采集的所述图像采集器多于对所述中心区域进行图像采集的所述图像采集器，对所述边缘区域进行更细致的监控，确保第一时间发现异物；第二方面，游客进行私自投喂时，通常是向大熊猫方向进行抛投食物，且大熊猫周围出现异物时，留给工作人员反应的时间较少，因此所述图像采集模块调集所述图像采集器对以大熊猫为中心的圆形区域进行独立的图像采集，时刻对大熊猫的位置进行追踪，时刻对以大熊猫为中心的区域进行独立监控，对大熊猫周边区域进行更细致的监控，确保第一时间发现异物；
所述时间划分子模块对时间进行划分，具体的当园区未放开时，没有游客在看台出现也就不会出现私自投喂、个人物品掉落的情况，以及圈舍内没有放置大熊猫时，大熊猫也无法拿到异物，因此所述图像采集模块可以不对大熊猫圈舍内的图像进行采集，以节省资源。
通过多个所述图像采集器采集所述看台图像，得到所述看台实时图像，调出所述无法识别的物体图像出现前的所述大熊猫圈舍实时图像，以及对应时间的所述看台实时图像，对所述无法识别的物体图像进行来源追溯，具体可以对所述无法识别的物体进行定位后进行视频倒放，得到所述无法识别的物体的来源，如来源确为游客在看台进行私自投喂的食物，可通过视频寻找游客，对游客进行劝导和/或处罚，当游客出现拒不承认时，也可作为证据提供给游客，如来源确为游客在看台参观不慎掉落的个人物品，可通过视频寻找游客，对游客进行提醒和物品归还；
在游客参观过程出现过游客为了吸引大熊猫的注意，在所述看台上向大熊猫泼洒矿泉水，使大熊猫受惊，但由于液体无色且没有固定形状，泼洒到大熊猫圈舍后无法通过识别异物的方式进行识别，因此通过所述图像分析模块通过所述大熊猫实时图像识别出大熊猫在预设时间内的动作幅度大于预设阈值时，由于大熊猫在受惊时会在较短时间内做出较大幅度的动作，以此判定大熊猫处于受惊状态，调出大熊猫受惊前的所述大熊猫圈舍实时图像，以及对应时间的所述看台实时图像，查看是否有所述无法识别的物体或液体从所述大熊猫圈舍看台抛向大熊猫，避免游客向大熊猫泼洒液体却没有识别出异物的情况。
通过所述追踪模块用于当所述来源追溯模块确定得到所述无法识别的物体从所述看台抛出时，对抛出所述无法识别的物体的抛物人员进行定位，提取所述抛物人员的身高、性别、服饰等特点，调配园区内的所述图像采集器对所述抛物人员进行位置追踪，得到所述抛物人员实时位置，通过这种设计追踪所述抛物人员，解决了工作人员在所述抛物人员进行私自投喂等不文明参观行为后离开该大熊猫圈舍后就难以找到所述抛物人员的问题。
目前游客在入园时通常为实名制购票，在一些软件上进行购票时还会留联系方式，进一步的通过所述人员追溯子模块用于对所述抛物人员进行运动路径进行追溯，至所述抛物人员通过入园闸机进入园区时，通过所述抛物人员的入园时间得到所述抛物人员的购票信息，可以通过所述抛物人员的购票信息，包括身份证号、联系方式等找到所述抛物人员，避免所述抛物人员佩戴口罩和/或更换服饰离开该大熊猫圈舍后难以找到所述抛物人员的情况，直接通过购票信息准确找到所述抛物人员，对所述抛物人员进行处罚的警示，防止所述抛物人员再次进行私自投喂的不文明参观行为。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本申请实施例涉及的硬件运行环境的电子设备结构示意图。
图2为本申请实施例的系统架构示意图。
图3是本申请实施例提供的一种大熊猫圈舍异物识别系统装的功能模块示意图。
图4是本申请实施例提供的一种大熊猫圈舍异物识别方法的步骤流程图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面结合附图对本申请的方案进一步说明。
参照图1，图1为本申请实施例方案涉及的硬件运行环境的电子设备结构示意图。
如图1所示，该电子设备可以包括：处理器1001，例如中央处理器（CentralProcessing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（WIreless-FIdelity，WI-FI）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及电子程序。
在图1所示的电子设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明电子设备中的处理器1001、存储器1005可以设置在电子设备中，电子设备通过处理器1001调用存储器1005中存储的一种大熊猫圈舍异物识别装置，并执行本申请实施例提供的一种大熊猫圈舍异物识别方法。
参照图2，示出了本申请实施例的系统架构示意图。如图2所示，该系统架构可以包括第一设备201、第二设备202、第三设备203、服务器204和网络205。其中，网络205用以在第一设备201、第二设备202、第三设备203和服务器204之间提供通信链路的介质。网络205可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
在本实施方式中，服务器204可以处理从第一设备201、第二设备202和/或第三设备203获得的数据和/或信息。在一些实施例中，服务器204可以是单一服务器或服务器组。服务器组可以是集中式的或分布式的。在一些实施例中，服务器204可以是本地或远程的。例如，服务器204可以通过网络205从第一设备201、第二设备202和/或第三设备203访问信息和/或数据。又例如，处理设备120可以直接连接到第一设备201、第二设备202和/或第三设备203以访问信息和/或数据。在一些实施例中，服务器204可以在云平台上实现。例如，云平台可以包括私有云、公共云、混合云、社区云、分布式云、云间云、多云等或其任意组合。
在本实施方式中，第一设备201为图像采集器设备，用于对大熊猫圈舍以及园区采集实时图像，具体可以是或包括带有数据传输功能的视频输入设备，例如，数码摄像机、红外摄像机、深度摄像机等。所述第一设备201可以理解为终端。其中，终端可以是具有无线收发功能的终端或可设置于该终端的芯片或芯片系统。该终端设备也可以称为用户装置（user equipment，UE）、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置。本申请的实施例中的终端设备可以是手机（mobile phone）、平板电脑（Pad）、带无线收发功能的电脑、虚拟现实（virtual reality，VR）终端设备、增强现实（augmented reality，AR）终端设备、工业控制（industrial control）中的无线终端等。所述第一设备201与第二设备202、第三设备203、服务器204和网络205之间的通信可以是终端之间的通信，也可以称为侧行（side）通信。
在本实施方式中，第二设备202为可以是支持网络连接从而提供各种网络服务的硬件设备或软件。当设备为硬件时，其可以是各种电子设备，包括但不限于智能手机204-1、平板电脑、中央屏幕204-2、台式计算机204-3和服务器等等。这时，作为硬件设备，其可以实现成多个设备组成的分布式设备群，也可以实现成单个设备。当设备为软件时，可以安装在上述所列举的设备中。这时，作为软件，其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
在本实施方式中，第三设备203为存储设备，所述存储设备可以存储数据(例如，原始图像、标记图像、实时图像等)、指令和/或任何其他信息。在一些实施例中，存储设备可以存储从第一设备201、第二设备202和/或服务器204处获取的数据。例如，存储设备可以存储从第一设备201获取的大熊猫圈舍的实时图像。在一些实施例中，存储设备可以存储服务器204可以执行或使用的数据和/或指令，以执行本说明书中描述的示例性方法。
在一些实施例中，存储设备可包括大容量存储器、可移除存储器、易失性读写存储器、只读存储器(ROM)等其中一种或几种的组合。在一些实施例中，存储设备可以通过本说明书中描述的装置实现。
在一些实施例中，存储设备可以连接网络205，以与一种大熊猫圈舍异物识别系统中的一个或多个组件(例如，第一设备201、第二设备202)之间实现通信。一种大熊猫圈舍异物识别系统中的一个或多个组件可以通过网络205读取第三设备203中的数据或指令。在一些实施例中，第三设备203可以是服务器204的一部分，也可以是独立的，与服务器204直接或间接相连。
网络205可以包括能够促进一种大熊猫圈舍异物识别系统的信息和/或数据交换的任何合适的网络。在一些实施例中，一种大熊猫圈舍异物识别系统的一个或多个组件(例如，第一设备201、第二设备202、第三设备203、服务器204)可以通过网络205与一种大熊猫圈舍异物识别系统的一个或多个组件之间交换信息和/或数据。例如，第二设备202可以通过网络205从服务器204中获取提示信息或警报信息。在一些实施例中，网络205可以包括公共网络(例如，互联网)、私人网络(例如，局域网(LAN)、广域网(WAN))等)、有线网络(例如，以太网)、无线网络(例如，802.11网络、无线Wi-Fi网络等)、蜂窝网络(例如，长期演进(LTE)网络)、帧中继网络、虚拟专用网络(VPN)、卫星网络、电话网络、路由器、集线器、服务器计算机等其中一种或几种的组合。在一些实施例中，网络205可以包括一个或多个网络接入点。例如，网络205可以包括有线和/或无线网络接入点，例如基站和/或因特网交换点，通过接入点，一种大熊猫圈舍异物识别系统的一个或多个组件可以连接网络205以交换数据和/或信息。
在具体实现中，设备可以通过安装相应的客户端应用或服务端应用来提供相应的网络服务。设备在安装了客户端应用之后，其可以在网络通信中体现为客户端。相应地，在安装了服务端应用之后，其可以在网络通信中体现为服务端。
应该理解，图2中的网络和设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的网络和设备。
参照图3，本申请的实施例提供了一种大熊猫圈舍异物识别系统300，包括：
图像获取模块301：所述图像获取模块301用于获取属于该大熊猫圈舍的物体图像，以及大熊猫图像，并将所述物体图像以及所述大熊猫图像进行标记；
需要说明的是，属于该大熊猫圈舍的物体图像包括但不限于大熊猫、大熊猫食物（具体有竹子、竹笋和饲料）、大熊猫玩具、木头、树叶和草地等，对这些物体进行图像的提前拍摄保存，属于该大熊猫圈舍的物体基本不会有太大变化，也可以通过互联网以及过往资料获取这些物体图像，获取尽量多的样本图像，使后续基于这些图像训练得到的所述识别模型准确度更高，进一步需要说明的是，对于一些会随着时间或消耗变化的物体，例如树苗长大成树木，大熊猫木架经过使用出现破损，在获取图像以及进行标记时，不对整体进行标记，而是对基础的组成部分进行分解后标记，例如树木分为木头和树叶进行标记，大熊猫木架分为一根根的木头进行标记，用于物体出现变化后所述识别模型难以识别的情况；
图像训练模块302：所述图像训练模块302根据所述标记确定图像训练集，通过所述图像训练集对神经网络模型进行迭代训练，训练完成得到识别模型，所述识别模型用于识别属于该大熊猫圈舍内的物体以及大熊猫；
需要说明的是，图像训练集是用于神经网络模型的学习过程，所述训练集用于训练模型的训练参数，分出验证集用于检验已经训练好的最终模型的泛化性能，识别模型为卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一，识别模型通常包括输入层、卷积层、全连接层和输出层；
在本实施方式中，所述训练集用于对神经网络模型进行迭代训练，所述验证集用于识别模型的评估，当神经网络模型达到预设的迭代训练次数，和/或所述目标样本对应的损失值收敛至预设的损失阈值，均停止训练，导出训练好的所述识别模型，利用训练好的所述识别模型对图像进行识别，识别图像中存在的属于该大熊猫圈舍内的物体以及大熊猫；
图像采集模块303：所述图像采集模块303通过多个图像采集器对大熊猫圈舍内的图像进行实时采集，得到大熊猫圈舍实时图像；
需要说明的是，所述图像采集器可以理解为监控摄像头，所述监控摄像头用于采集拍摄到的图像，并上传至服务器，所述图像采集模块303通过调配所述图像采集器，对大熊猫圈舍的所有区域进行图像的实时采集，得到所述大熊猫圈舍实时图像，实现对大熊猫圈舍所有区域的全覆盖监控；
图像分析模块304：所述图像分析模块304将所述大熊猫圈舍实时图像输入所述识别模型，当所述大熊猫圈舍实时图像中出现所述识别模型无法识别的物体图像时，发出提示信息。
需要说明的是，将所述大熊猫圈舍实时图像输入所述识别模型，所述识别模型可以识别出所述大熊猫圈舍实时图像中出现的属于该圈舍中的物体，对应的，当所述大熊猫圈舍实时图像中出现所述识别模型无法识别的物体图像时，发出提示信息，所述无法识别的物体可能是游客私自投喂的食物，也可能是游客的个人物品不慎掉落到大熊猫圈舍，总之都不属于该圈舍应该出现的物品，需要尽快处理，防止大熊猫误食，对大熊猫身体健康造成威胁，所述提示信息可以直接发送给距离较近的安保人员和/或饲养员等工作人员，工作人员收到提示信息前往大熊猫圈舍进行查看，对所述无法识别的物体进行核实和处理，也可以将所述提示信息发送至管理中心，通过管理中心人工识别所述无法识别的物体，以及调配合适的工作人员前往处理；
在本实施方式中，提前获取该圈舍的所有物品的图像进行所述识别模型的训练，再通过所述图像采集器对大熊猫圈舍全区域进行实时监测，将所述大熊猫圈舍实时图像输入所述识别模型，所述识别模型在所述大熊猫圈舍实时图像发现无法识别的物体时，也就是在大熊猫圈舍内出现异物时，发出提示信息，所述提示信息可以直接向工作人员发出通知，工作人员可以第一时间对出现的异物进行核实和移出，也可以发送给管理中心，通过管理中心调配工作人员对异物进行处理，通过管理中心调配工作人员，可以直接调配负责该圈舍熟悉该圈舍内大熊猫的饲养员进行异物的快速处理，通过所述图像采集器对大熊猫圈舍进行实时监控，所述识别模型实时识别，避免通过人为发现异物进入圈舍出现的较大遗漏风险，大大降低大熊猫误食异物的可能性。
在一个可行的实施方式中，所述图像获取模块301还包括边界划分子模块和特征提取子模块，所述边界划分子模块用于将大熊猫图像输入检测网络，输出大熊猫面部图像以及大熊猫前肢图像，所述特征提取子模块用于对所述大熊猫面部图像以及所述大熊猫前肢图像进行特征分析，得到大熊猫进食行为的分类标记，所述图像训练模块302根据所述分类标记更新训练集，得到更新的所述识别模型，所述图像分析模块304还包括部位分析子模块，所述部位分析子模块用于将所述大熊猫圈舍实时图像输入所述识别模型，输出大熊猫面部实时图像以及所述大熊猫前肢实时图像，通过所述大熊猫面部实时图像以及所述大熊猫前肢实时图像识别出大熊猫正在进食时，对所述大熊猫面部以及所述大熊猫前肢区域进行识别，当所述大熊猫面部以及所述大熊猫前肢区域中出现所述识别模型无法识别的物体图像时，发出警报信息。
需要说明的是，所述边界划分子模块使用边界框定位大熊猫的面部及其前肢，所述特征提取子模块通过使用行为标签对大熊猫进行标注，并使用二值标签标注大熊猫面部张嘴/闭嘴状态，具体的可以使用VIA标注软件进行标记，在本实施例中，目标检测网络采用Faster R-CNN网络模型，该模型是一种先进的通用目标检测框架，包括一个特征提取网络、区域候选网络（RPN）、ROI（感兴趣区域）池化层和用于预测包围框类别及精调坐标的全连接层；
还需要说明的是，大熊猫进食流程大多是通过前肢将食物拿起后放入嘴中咀嚼，因此大熊猫出现误食食物的情况时，食物基本都会在前肢和面部出现，在本实施方式中，通过所述边界划分子模块和所述特征提取子模块识别出大熊猫的面部和前肢，以及大熊猫的进食的动作行为，通过所述大熊猫面部实时图像以及所述大熊猫前肢实时图像识别出大熊猫正在进食时，对所述大熊猫面部以及所述大熊猫前肢区域进行识别，当所述大熊猫面部以及所述大熊猫前肢区域中出现所述识别模型无法识别的物体图像时，发出所述警报信息，所述警报信息相对所述提示信息的紧急程度高，所述警报信息可以为预设的大熊猫感兴趣的声音，通过警报信息吸引大熊猫的注意力，起到减缓大熊猫误食异物的时间，管理中心或该圈舍附近的工作人员需要更快速的前往圈舍阻止大熊猫误食食物，甚至在大熊猫发送误食行为后尽快对大熊猫进行医疗或观察。
在一个可行的实施方式中，还包括划分模块，所述划分模块将大熊猫圈舍划分为边缘区域和中心区域，所述边缘区域为大熊猫圈舍靠近看台的区域，所述中心区域为大熊猫圈舍远离所述看台的区域，所述图像采集模块303所述图像采集模块对所述图像采集器进行分配，使对所述边缘区域进行图像采集的所述图像采集器多于对所述中心区域进行图像采集的所述图像采集器。
在一个可行的实施方式中，所述划分模块还包括大熊猫区域划分子模块，所述大熊猫区域划分子模块用于实时划分以大熊猫为中心的圆形区域，所述图像采集模块303调集所述图像采集器对以大熊猫为中心的圆形区域进行独立的图像采集。
在本实施方式中，对大熊猫圈舍进行区域划分，第一方面，游客进行私自投喂或个人物品掉落时，这些异物通常大多是在所述看台附近，通常不会直接出现在远离所述看台的所述中心区域，因此所述图像采集模块303所述图像采集模块对所述图像采集器进行分配，使对所述边缘区域进行图像采集的所述图像采集器多于对所述中心区域进行图像采集的所述图像采集器，对所述边缘区域进行更细致的监控，确保第一时间发现异物；第二方面，游客进行私自投喂时，通常是向大熊猫方向进行抛投食物，且大熊猫周围出现异物时，留给工作人员反应的时间较少，因此所述图像采集模块303调集所述图像采集器对以大熊猫为中心的圆形区域进行独立的图像采集，时刻对大熊猫的位置进行追踪，时刻对以大熊猫为中心的预设直径范围的区域进行独立监控，进一步的可以根据距离大熊猫距离设置不同等级的提醒区域，距离中心的大熊猫越近，则风险等级越高，对大熊猫周边区域进行更细致的监控，确保第一时间发现异物。
在一个可行的实施方式中，所述划分模块还包括时间划分子模块，所述时间划分子模块用于预设开园时间和大熊猫放置圈舍时间，在预设的开园时间内且在大熊猫放置圈舍时间中，所述图像采集模块303通过多个所述图像采集器对大熊猫圈舍内的图像进行实时采集，得到大熊猫圈舍实时图像。
在本实施方式，所述时间划分子模块对时间进行划分，具体的当园区未放开时，没有游客在看台出现也就不会出现私自投喂、个人物品掉落的情况，以及圈舍内没有放置大熊猫时，大熊猫也无法拿到异物，因此所述图像采集模块303可以不对大熊猫圈舍内的图像进行采集，以节省资源。
在一个可行的实施方式中，还包括来源追溯模块，所述来源追溯模块在所述大熊猫圈舍实时图像中出现所述识别模型无法识别的物体图像，所述图像分析模块304发出提示信息时，对所述无法识别的物体图像进行定位，所述图像采集模块303还通过多个所述图像采集器采集所述看台图像，得到看台实时图像，调出所述无法识别的物体图像出现前的所述大熊猫圈舍实时图像，以及对应时间的所述看台实时图像，对所述无法识别的物体图像进行来源追溯，得到所述无法识别的物体是否从所述看台抛出。
在本实施方式中，通过多个所述图像采集器采集所述看台图像，得到所述看台实时图像，调出所述无法识别的物体图像出现前的所述大熊猫圈舍实时图像，以及对应时间的所述看台实时图像，对所述无法识别的物体图像进行来源追溯，具体可以对所述无法识别的物体进行定位后进行视频倒放，得到所述无法识别的物体的来源，如来源确为游客在看台进行私自投喂的食物，可通过视频寻找游客，对游客进行劝导和/或处罚，当游客出现拒不承认时，也可作为证据提供给游客，如来源确为游客在看台参观不慎掉落的个人物品，可通过视频寻找游客，对游客进行提醒和物品归还。
在一个可行的实施方式中，所述图像分析模块304通过所述识别模型识别出大熊猫实时图像，当所述图像分析模块304通过所述大熊猫实时图像识别出大熊猫在预设时间内的动作幅度大于预设阈值时，判定大熊猫处于受惊状态，调出大熊猫受惊前的所述大熊猫圈舍实时图像，以及对应时间的所述看台实时图像，查看是否有所述无法识别的物体或液体从所述大熊猫圈舍看台抛向大熊猫。
需要说明的是，在游客参观过程出现过游客为了吸引大熊猫的注意，在所述看台上向大熊猫泼洒矿泉水，使大熊猫受惊，但由于液体无色且没有固定形状，泼洒到大熊猫圈舍后无法通过识别异物的方式进行识别，因此在本实施方式中，通过所述图像分析模块304通过所述大熊猫实时图像识别出大熊猫在预设时间内的动作幅度大于预设阈值时，由于大熊猫在受惊时会在较短时间内做出较大幅度的动作，以此判定大熊猫处于受惊状态，调出大熊猫受惊前的所述大熊猫圈舍实时图像，以及对应时间的所述看台实时图像，查看是否有所述无法识别的物体或液体从所述大熊猫圈舍看台抛向大熊猫，避免游客向大熊猫泼洒液体却没有识别出异物的情况。
在一个可行的实施方式中，还包括追踪模块，所述追踪模块用于当所述来源追溯模块确定得到所述无法识别的物体从所述看台抛出时，对抛出所述无法识别的物体的抛物人员进行定位，调配所述图像采集器对所述抛物人员进行位置追踪，得到所述抛物人员实时位置。
在本实施方式中，通过所述追踪模块用于当所述来源追溯模块确定得到所述无法识别的物体从所述看台抛出时，对抛出所述无法识别的物体的抛物人员进行定位，提取所述抛物人员的身高、性别、服饰等特点，调配园区内的所述图像采集器对所述抛物人员进行位置追踪，得到所述抛物人员实时位置，通过这种设计追踪所述抛物人员，解决了工作人员在所述抛物人员进行私自投喂等不文明参观行为后离开该大熊猫圈舍后就难以找到所述抛物人员的问题。
在一个可行的实施方式中，所述追踪模块还包括人员追溯子模块，所述人员追溯子模块用于对所述抛物人员进行运动路径进行追溯，至所述抛物人员通过入园闸机进入园区时，通过所述抛物人员的入园时间得到所述抛物人员的购票信息。
需要说明的是，目前游客在入园时通常为实名制购票，在一些软件上进行购票时还会留联系方式，在本实施方式中，进一步的通过所述人员追溯子模块用于对所述抛物人员进行运动路径进行追溯，至所述抛物人员通过入园闸机进入园区时，通过所述抛物人员的入园时间得到所述抛物人员的购票信息，可以通过所述抛物人员的购票信息，包括身份证号、联系方式等找到所述抛物人员，避免所述抛物人员佩戴口罩和/或更换服饰离开该大熊猫圈舍后难以找到所述抛物人员的情况，直接通过购票信息准确找到所述抛物人员，对所述抛物人员进行处罚的警示，进一步的，当所述抛物人员进行运动路径追溯或位置追踪过程中出现提取的特点变化而导致没有持续锁定所述抛物人员的位置时，当所述抛物人员处在图像采集器采集区域内时，更新所述抛物人员的提取特征，再对所述抛物人员进行持续追踪，防止所述抛物人员再次进行私自投喂的不文明参观行为。
在本申请的第二方面，参照图4，提供一种大熊猫圈舍异物识别方法，包括：
S401：获取属于该大熊猫圈舍的物体图像，以及大熊猫图像，并将所述物体图像以及所述大熊猫图像进行标记；
S402：根据所述标记确定图像训练集，通过所述图像训练集对神经网络模型进行迭代训练，训练完成得到识别模型，所述识别模型用于识别属于该大熊猫圈舍内的物体以及大熊猫；
S403：通过多个图像采集器对大熊猫圈舍内的图像进行实时采集，得到大熊猫圈舍实时图像；
S404：将所述大熊猫圈舍实时图像输入所述识别模型，当所述大熊猫圈舍实时图像中出现所述识别模型无法识别的物体图像时，发出提示信息。
在一个可行的实施方式中，将大熊猫图像输入检测网络，输出大熊猫面部图像以及大熊猫前肢图像，对所述大熊猫面部图像以及所述大熊猫前肢图像进行特征分析，得到大熊猫进食行为的分类标记，根据所述分类标记更新训练集，得到更新的所述识别模型，将所述大熊猫圈舍实时图像输入所述识别模型，输出大熊猫面部实时图像以及所述大熊猫前肢实时图像，通过所述大熊猫面部实时图像以及所述大熊猫前肢实时图像识别出大熊猫正在进食时，对所述大熊猫面部以及所述大熊猫前肢区域进行识别，当所述大熊猫面部以及所述大熊猫前肢区域中出现所述识别模型无法识别的物体图像时，发出警报信息。
在一个可行的实施方式中，将大熊猫圈舍划分为边缘区域和中心区域，所述边缘区域为大熊猫圈舍靠近看台的区域，所述中心区域为大熊猫圈舍远离所述看台的区域，所述图像采集模块对所述图像采集器进行分配，使对所述边缘区域进行图像采集的所述图像采集器多于对所述中心区域进行图像采集的所述图像采集器。
在一个可行的实施方式中，实时划分以大熊猫为中心的圆形区域，调集所述图像采集器对以大熊猫为中心的圆形区域进行独立的图像采集。
在一个可行的实施方式中，预设开园时间和大熊猫放置圈舍时间，在预设的开园时间内且在大熊猫放置圈舍时间中，通过多个所述图像采集器对大熊猫圈舍内的图像进行实时采集，得到大熊猫圈舍实时图像。
在一个可行的实施方式中，在所述大熊猫圈舍实时图像中出现所述识别模型无法识别的物体图像，发出提示信息时，对所述无法识别的物体图像进行定位，还通过多个所述图像采集器采集所述看台图像，得到看台实时图像，调出所述无法识别的物体图像出现前的所述大熊猫圈舍实时图像，以及对应时间的所述看台实时图像，对所述无法识别的物体图像进行来源追溯，得到所述无法识别的物体是否从所述看台抛出。
在一个可行的实施方式中，通过所述识别模型识别出大熊猫实时图像，通过所述大熊猫实时图像识别出大熊猫在预设时间内的动作幅度大于预设阈值时，判定大熊猫处于受惊状态，调出大熊猫受惊前的所述大熊猫圈舍实时图像，以及对应时间的所述看台实时图像，查看是否有所述无法识别的物体或液体从所述大熊猫圈舍看台抛向大熊猫。
在一个可行的实施方式中，当确定得到所述无法识别的物体从所述看台抛出时，对抛出所述无法识别的物体的抛物人员进行定位，调配所述图像采集器对所述抛物人员进行位置追踪，得到所述抛物人员实时位置。
在一个可行的实施方式中，对所述抛物人员进行运动路径进行追溯，至所述抛物人员通过入园闸机进入园区时，通过所述抛物人员的入园时间得到所述抛物人员的购票信息。
需要说明的是，本申请实施例的用于一种大熊猫圈舍异物识别方法的具体实施方式参照前述本申请实施例第一方面提出的一种大熊猫圈舍异物识别系统的具体实施方式，在此不再赘述。
在本申请的第三方面，提供一种大熊猫圈舍异物识别电子设备，包括处理器和存储器；该存储器用于存储计算机程序，当该处理器执行该计算机程序时，以使该电子设备执行前述本申请实施例一种大熊猫圈舍异物识别方法的具体实施方式。
在本申请的第四方法，提供一种大熊猫圈舍异物识别可读存储介质，可读存储介质上存储有程序或指令，所述程序或指令被处理器执行实现前述本申请实施例一种大熊猫圈舍异物识别方法的具体实施方式的各个过程。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，Hyper TextMarkup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的物品或者设备中还存在另外的相同要素。
以上对所提供的一种大熊猫圈舍异物识别系统及方法，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的用于一种大熊猫圈舍异物识别方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。
Claims (9)
1.一种大熊猫圈舍异物识别系统，其特征在于，包括：
图像获取模块：所述图像获取模块用于获取属于该大熊猫圈舍的物体图像，以及大熊猫图像，并将所述物体图像以及所述大熊猫图像进行标记；
图像训练模块：所述图像训练模块根据所述标记确定图像训练集，通过所述图像训练集对神经网络模型进行迭代训练，训练完成得到识别模型，所述识别模型用于识别属于该大熊猫圈舍内的物体以及大熊猫；
图像采集模块：所述图像采集模块通过多个图像采集器对大熊猫圈舍内的图像进行实时采集，得到大熊猫圈舍实时图像；
图像分析模块：所述图像分析模块将所述大熊猫圈舍实时图像输入所述识别模型，当所述大熊猫圈舍实时图像中出现所述识别模型无法识别的物体图像时，发出提示信息；
所述图像获取模块还包括边界划分子模块和特征提取子模块，所述边界划分子模块用于将大熊猫图像输入检测网络，输出大熊猫面部图像以及大熊猫前肢图像，所述特征提取子模块用于对所述大熊猫面部图像以及所述大熊猫前肢图像进行特征分析，得到大熊猫进食行为的分类标记，所述图像训练模块根据所述分类标记更新训练集，得到更新的所述识别模型，所述图像分析模块还包括部位分析子模块，所述部位分析子模块用于将所述大熊猫圈舍实时图像输入所述识别模型，输出大熊猫面部实时图像以及大熊猫前肢实时图像，通过所述大熊猫面部实时图像以及所述大熊猫前肢实时图像识别出大熊猫正在进食时，对大熊猫面部以及大熊猫前肢区域进行识别，当所述大熊猫面部以及所述大熊猫前肢区域中出现所述识别模型无法识别的物体图像时，发出警报信息。
2.如权利要求1所述的一种大熊猫圈舍异物识别系统，其特征在于，还包括划分模块，所述划分模块将大熊猫圈舍划分为边缘区域和中心区域，所述边缘区域为大熊猫圈舍靠近看台的区域，所述中心区域为大熊猫圈舍远离所述看台的区域，所述图像采集模块对所述图像采集器进行分配，使对所述边缘区域进行图像采集的所述图像采集器多于对所述中心区域进行图像采集的所述图像采集器。
3.如权利要求2所述的一种大熊猫圈舍异物识别系统，其特征在于，所述划分模块还包括大熊猫区域划分子模块，所述大熊猫区域划分子模块用于实时划分以大熊猫为中心的圆形区域，所述图像采集模块调集所述图像采集器对以大熊猫为中心的圆形区域进行独立的图像采集。
4.如权利要求2所述的一种大熊猫圈舍异物识别系统，其特征在于，所述划分模块还包括时间划分子模块，所述时间划分子模块用于预设开园时间和大熊猫放置圈舍时间，在预设的开园时间内且在大熊猫放置圈舍时间中，所述图像采集模块通过多个所述图像采集器对大熊猫圈舍内的图像进行实时采集，得到大熊猫圈舍实时图像。
5.如权利要求2所述的一种大熊猫圈舍异物识别系统，其特征在于，还包括来源追溯模块，所述来源追溯模块在所述大熊猫圈舍实时图像中出现所述识别模型无法识别的物体图像，所述图像分析模块发出提示信息时，对所述无法识别的物体图像进行定位，所述图像采集模块还通过多个所述图像采集器采集所述看台图像，得到看台实时图像，调出所述无法识别的物体图像出现前的所述大熊猫圈舍实时图像，以及对应时间的所述看台实时图像，对所述无法识别的物体图像进行来源追溯，得到所述无法识别的物体是否从所述看台抛出。
6.如权利要求5所述的一种大熊猫圈舍异物识别系统，其特征在于，所述图像分析模块通过所述识别模型识别出大熊猫实时图像，当所述图像分析模块通过所述大熊猫实时图像识别出大熊猫在预设时间内的动作幅度大于预设阈值时，判定大熊猫处于受惊状态，调出大熊猫受惊前的所述大熊猫圈舍实时图像，以及对应时间的所述看台实时图像，查看是否有所述无法识别的物体或液体从所述大熊猫圈舍看台抛向大熊猫。
7.如权利要求6所述的一种大熊猫圈舍异物识别系统，其特征在于，还包括追踪模块，所述追踪模块用于当所述来源追溯模块确定得到所述无法识别的物体从所述看台抛出时，对抛出所述无法识别的物体的抛物人员进行定位，调配所述图像采集器对所述抛物人员进行位置追踪，得到所述抛物人员实时位置。
8.如权利要求7所述的一种大熊猫圈舍异物识别系统，其特征在于，所述追踪模块还包括人员追溯子模块，所述人员追溯子模块用于对所述抛物人员进行运动路径进行追溯，至所述抛物人员通过入园闸机进入园区时，通过所述抛物人员的入园时间得到所述抛物人员的购票信息。
9.一种大熊猫圈舍异物识别方法，其特征在于，包括：
获取属于该大熊猫圈舍的物体图像，以及大熊猫图像，并将所述物体图像以及所述大熊猫图像进行标记；
根据所述标记确定图像训练集，通过所述图像训练集对神经网络模型进行迭代训练，训练完成得到识别模型，所述识别模型用于识别属于该大熊猫圈舍内的物体以及大熊猫；
通过多个图像采集器对大熊猫圈舍内的图像进行实时采集，得到大熊猫圈舍实时图像；
将所述大熊猫圈舍实时图像输入所述识别模型，当所述大熊猫圈舍实时图像中出现所述识别模型无法识别的物体图像时，发出提示信息；
将大熊猫图像输入检测网络，输出大熊猫面部图像以及大熊猫前肢图像，对所述大熊猫面部图像以及所述大熊猫前肢图像进行特征分析，得到大熊猫进食行为的分类标记，根据所述分类标记更新训练集，得到更新的所述识别模型，将所述大熊猫圈舍实时图像输入所述识别模型，输出大熊猫面部实时图像以及所述大熊猫前肢实时图像，通过所述大熊猫面部实时图像以及所述大熊猫前肢实时图像识别出大熊猫正在进食时，对所述大熊猫面部以及所述大熊猫前肢区域进行识别，当所述大熊猫面部以及所述大熊猫前肢区域中出现所述识别模型无法识别的物体图像时，发出警报信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311416173.7A CN117152798B (zh) | 2023-10-30 | 2023-10-30 | 一种大熊猫圈舍异物识别系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311416173.7A CN117152798B (zh) | 2023-10-30 | 2023-10-30 | 一种大熊猫圈舍异物识别系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117152798A CN117152798A (zh) | 2023-12-01 |
| CN117152798B true CN117152798B (zh) | 2024-01-26 |
Family
ID=88884774
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311416173.7A Active CN117152798B (zh) | 2023-10-30 | 2023-10-30 | 一种大熊猫圈舍异物识别系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117152798B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101852869A (zh) * | 2010-05-18 | 2010-10-06 | 中国民航大学 | 机场跑道外来物检测系统 |
| CN102778701A (zh) * | 2011-05-12 | 2012-11-14 | 颜国顺 | 一种机场跑道外来物检测系统 |
| CN110516529A (zh) * | 2019-07-09 | 2019-11-29 | 杭州电子科技大学 | 一种基于深度学习图像处理的投喂检测方法和系统 |
| CN110738077A (zh) * | 2018-07-19 | 2020-01-31 | 杭州海康慧影科技有限公司 | 一种异物检测方法及装置 |
| WO2020119184A1 (zh) * | 2018-12-12 | 2020-06-18 | 京东数字科技控股有限公司 | 一种家畜的智能投喂系统和方法 |
| CN112016527A (zh) * | 2020-10-19 | 2020-12-01 | 成都大熊猫繁育研究基地 | 基于深度学习的大熊猫行为识别方法、系统、终端及介质 |
| CN113128529A (zh) * | 2019-12-30 | 2021-07-16 | 中移(成都)信息通信科技有限公司 | 牲畜身份识别模型训练方法、识别方法、系统及装置 |
| CN114724025A (zh) * | 2022-03-18 | 2022-07-08 | 上海商汤智能科技有限公司 | 异物检测方法、装置、电子设备及存储介质 |
| CN115331407A (zh) * | 2022-07-20 | 2022-11-11 | 慧之安信息技术股份有限公司 | 一种基于边缘计算的动物园室外智能监控系统 |
| CN115661475A (zh) * | 2022-10-21 | 2023-01-31 | 深圳鲲云信息科技有限公司 | 一种图像异物识别方法、装置、设备及存储介质 |
| CN115918553A (zh) * | 2022-12-28 | 2023-04-07 | 深圳市优必选科技股份有限公司 | 一种猫砂盆清理控制方法、装置、系统及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040208343A1 (en) * | 1998-07-09 | 2004-10-21 | Colorado State University Research Foundation | Apparatus and method for creating a record using biometric information |
| US20230129369A1 (en) * | 2012-09-19 | 2023-04-27 | Botsitter, Llc | Method and System for Remote Monitoring, Care and Maintenance of Animals |
-
2023
- 2023-10-30 CN CN202311416173.7A patent/CN117152798B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101852869A (zh) * | 2010-05-18 | 2010-10-06 | 中国民航大学 | 机场跑道外来物检测系统 |
| CN102778701A (zh) * | 2011-05-12 | 2012-11-14 | 颜国顺 | 一种机场跑道外来物检测系统 |
| CN110738077A (zh) * | 2018-07-19 | 2020-01-31 | 杭州海康慧影科技有限公司 | 一种异物检测方法及装置 |
| WO2020119184A1 (zh) * | 2018-12-12 | 2020-06-18 | 京东数字科技控股有限公司 | 一种家畜的智能投喂系统和方法 |
| CN110516529A (zh) * | 2019-07-09 | 2019-11-29 | 杭州电子科技大学 | 一种基于深度学习图像处理的投喂检测方法和系统 |
| CN113128529A (zh) * | 2019-12-30 | 2021-07-16 | 中移(成都)信息通信科技有限公司 | 牲畜身份识别模型训练方法、识别方法、系统及装置 |
| CN112016527A (zh) * | 2020-10-19 | 2020-12-01 | 成都大熊猫繁育研究基地 | 基于深度学习的大熊猫行为识别方法、系统、终端及介质 |
| CN114724025A (zh) * | 2022-03-18 | 2022-07-08 | 上海商汤智能科技有限公司 | 异物检测方法、装置、电子设备及存储介质 |
| CN115331407A (zh) * | 2022-07-20 | 2022-11-11 | 慧之安信息技术股份有限公司 | 一种基于边缘计算的动物园室外智能监控系统 |
| CN115661475A (zh) * | 2022-10-21 | 2023-01-31 | 深圳鲲云信息科技有限公司 | 一种图像异物识别方法、装置、设备及存储介质 |
| CN115918553A (zh) * | 2022-12-28 | 2023-04-07 | 深圳市优必选科技股份有限公司 | 一种猫砂盆清理控制方法、装置、系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117152798A (zh) | 2023-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hadjur et al. | Toward an intelligent and efficient beehive: A survey of precision beekeeping systems and services | |
| Fogarty et al. | Influence of olfactory and visual cover on nest site selection and nest success for grassland‐nesting birds | |
| Rufener et al. | Finding hens in a haystack: Consistency of movement patterns within and across individual laying hens maintained in large groups | |
| CN112655019A (zh) | 监控农业围栏中的牲畜 | |
| CN116528669A (zh) | 昆虫监测系统及方法 | |
| Suju et al. | FLANN: Fast approximate nearest neighbour search algorithm for elucidating human-wildlife conflicts in forest areas | |
| CN113159244A (zh) | 一种基于物联网的禽类养殖管理系统 | |
| Taylor et al. | Greater sage‐grouse nest survival in Northwestern Wyoming | |
| CN109409209A (zh) | 一种人体行为识别方法与装置 | |
| CN115630967A (zh) | 一种农产品的智能溯源方法、装置、电子设备及存储介质 | |
| CN117152798B (zh) | 一种大熊猫圈舍异物识别系统及方法 | |
| Menezes Pinto et al. | Deforestation simplifies understory bird seed-dispersal networks in human-modified landscapes | |
| Haldar et al. | Application of information and electronic technology for best practice management in livestock production system | |
| CN112800837B (zh) | 一种鸟类识别系统及方法 | |
| CN112183498A (zh) | 一种基于动物识别的边缘计算系统 | |
| Evangelista | Bayesian wingbeat frequency classification and monitoring of flying insects using wireless sensor networks | |
| Hagler et al. | Nest Provisioning and Sociality at Harris's Hawk Nests in South Texas | |
| CN116343018A (zh) | 一种基于图像处理的渔业捕捞智能识别方法、系统及介质 | |
| CN111291597B (zh) | 一种基于图像的人群态势分析方法、装置、设备及系统 | |
| Swanson | Living with Lions: Spatiotemporal aspects of coexistence in Savanna Carnivores | |
| Yoon et al. | A study on the modeling of the IoT-based motion pattern analysis system to exterminating harmful wild animals | |
| Siegford et al. | Practical considerations for the use of precision livestock farming to improve animal welfare | |
| Lee et al. | Development of Smart Livestock Disease Control Strategies and Policy Priorities | |
| Lappin et al. | Using drones equipped with thermal cameras to locate and count quail individuals and coveys: A case study using Northern Bobwhite Colinus virginianus in Mississippi, USA | |
| KR102253236B1 (ko) | 빅데이터를 이용한 농장 질병 분석 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |