CN111950413A - 一种关于抓取物品的视频识别处理方法 - Google Patents
一种关于抓取物品的视频识别处理方法 Download PDFInfo
- Publication number
- CN111950413A CN111950413A CN202010759150.6A CN202010759150A CN111950413A CN 111950413 A CN111950413 A CN 111950413A CN 202010759150 A CN202010759150 A CN 202010759150A CN 111950413 A CN111950413 A CN 111950413A
- Authority
- CN
- China
- Prior art keywords
- video
- picture
- camera
- processor
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 6
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000005192 partition Methods 0.000 claims description 2
- 235000013305 food Nutrition 0.000 abstract description 10
- 238000001514 detection method Methods 0.000 abstract description 8
- 230000033001 locomotion Effects 0.000 abstract description 5
- 230000009545 invasion Effects 0.000 abstract description 2
- 230000000977 initiatory effect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 5
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000219109 Citrullus Species 0.000 description 1
- 235000012828 Citrullus lanatus var citroides Nutrition 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 235000015278 beef Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
Abstract
本发明提供一种关于抓取物品的视频识别处理方法，通过用户安装在冰箱、储物柜等储物空间的摄像头对食物等物品进行摄像移动侦测，当储物空间有物品存进或取出时，摄像头向云端服务器发起移动侦测信号，云端服务器收到信号后，发送指令给摄像头进行视频抓取，同时将该视频发送给服务器，服务端根据用户帐号与摄像头的绑定关系，并存储物品特征码与移动侦测图片。该方法能够根据用户的摄像头发出的移动侦测信号，智能识别用户放入、取出物品，帮助用户能够管理物品，对用户进行提醒，例如根据用户冰箱旁摄像头，能够无侵入式的管理冰箱的食物，随时掌握食物在箱体的放置时间,使得对用户进行提醒，使得用户的生活体验得到提升。
Description
技术领域
本发明涉及图像识别技术领域，尤其涉及一种关于抓取物品的视频识别处理方法。
背景技术
智能家居(smart home,home automation)是以住宅为平台，利用综合布线技术、网络通信技术、安全防范技术、自动控制技术、音视频技术将家居生活有关的设施集成，构建高效的住宅设施与家庭日程事务的管理系统，提升家居安全性、便利性、舒适性、艺术性，并实现环保节能的居住环境。
近年来，随着智能家居的普及，越来越多的家用设备进行了智能化更迭，而现有智能家居中的用于存储食物的冷柜、冰箱、食物柜或置物柜等，其仅仅只具备前端的部分功能，缺少后端的智能化进行支持，存在着智能化不足，功能较少的问题。
发明内容
本发明的目的就在于为了解决上述问题而提供了一种关于抓取物品的视频识别处理方法，能够智能识别用户放入、取出物品。
本发明解决其技术问题所采用的技术方案是：
一种关于抓取物品的视频识别处理方法，包括以下步骤，
S1、获取摄像头视频数据：摄像头检测到镜头前物品达到触发条件会发送一个信号给到视频接收器，视频接收器收到信号后与摄像头建立socket连接，连接建立成功后摄像头往视频接收器发送视频数据；
S2、对视频数据进行解码处理：视频接收器将获取到的视频数据发送给视频分段处理器，视频分段处理器在收到一段数据后开始一个新的线程，持续监控接下来一段时间获取到的原始视频数据，并将此段数据进行解码，并且抓取图片，每段视频首次抓取图片成功后会新建一个视频图片处理器，且将此视频放入视频图片处理器调度线程中的队列，每次抓取到的图片放入视频图片处理器中，整段视频抓取完毕后标识这个视频图片处理器为已抓取完毕；
S3、对视频图片进行处理：在服务器启动时会开启一个视频图片处理器调度线程，这个线程会去持续取出自身队列中的视频图片处理器，当取出到视频图片处理器时，会使用一个图片识别接口调用器，图片识别接口调用器提供调用图片识别接口的函数，能够对图片进行识别且返回图片处理结果，将其结果指定到一个图片识别结果处理器。
进一步的，还包括以下步骤，
S4、图片识别结果处理：图片识别结果处理器将得到的结果数据进行云端存储。
进一步的，在步骤S1中，摄像头往视频接收器发送视频的数据包括视频字节、摄像头id，每段视频唯一id。
进一步的，在步骤S2中，每一个新的线程，以摄像头id作为标识，持续监控接下来1分钟获取到的原始视频数据，每隔3秒钟将此段数据进行解码，并且抓取图片，每秒抓取10帧图片，通过每段视频唯一id作为区分，每段视频首次抓取图片成功后会新建一个视频图片处理器。
进一步的，在步骤S3中，对图片进行识别且返回图片处理结果包括取出或存放的动作、被取出或存放的物品的品类、被取出或存放的物品的数量。
本发明的有益效果是：
通过采用上述技术方案，该方法能够根据用户的摄像头发出的移动侦测信号，智能识别用户放入、取出物品，帮助用户能够管理物品，对用户进行提醒，例如根据用户冰箱旁摄像头，能够无侵入式的管理冰箱的食物，随时掌握食物在箱体的放置时间,使得对用户进行提醒，使得用户的生活体验得到提升。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的关于抓取物品的视频识别处理方法的整体实施流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
本实例提供一种关于抓取物品的视频识别处理方法，根据图1的流程，通过用户安装在冰箱、储物柜等储物空间的摄像头对食物等物品进行摄像移动侦测，当储物空间有物品存进或取出时，摄像头向云端服务器发起移动侦测信号，云端服务器收到信号后，发送指令给摄像头进行视频抓取，同时将该视频发送给服务器，服务端根据用户帐号与摄像头的绑定关系，并存储物品特征码与移动侦测图片。
具体过程如下：
1.获取摄像头视频数据：
摄像头检测到镜头前物品达到触发条件会发送一个信号给到视频接收器，例如定时触发、事件(物品移动)触发、服务器软触发，视频接收器收到信号后与摄像头建立socket连接，连接建立成功后摄像头往视频接收器发送视频数据，发送数据包括视频字节，摄像头id(cameraId)，每段视频唯一id(requestId：用来区分同一摄像头不同时间段的视频)。
2.对视频数据进行解码处理
视频接收器将获取到的视频数据发送给视频分段处理器，因为摄像头每次发送的视频数据是急促的，每次接收到的数据不足以合成一张图片，所以需要使用视频分段处理器来对原始数据进行处理。视频分段处理器会在收到一段数据后开始一个新的线程，以摄像头id(cameraId)作为标识，持续监控接下来一分钟获取到的原始视频数据，每隔3秒钟将此段累计数据进行h264解码，并且抓取图片，每秒抓取10帧(左右)图片，每段视频(通过requestId区分)首次抓取图片成功后会新建一个视频图片处理器，且将此处理器放入视频图片处理器调度线程中的队列。每次抓取到的图片放入视频图片处理器中的容器中，整段视频抓取完毕后会标识这个视频图片处理器为已抓取完毕。
3.对视频图片进行处理
在服务器启动时会开启一个视频图片处理器调度线程，这个线程回去持续取出自身队列中的视频图片处理器，当取出到视频图片处理器时，会使用一个图片识别接口调用器，该调用器提供调用图片识别接口的函数，能够对图片进行识别且返回图片处理结果(包含动作是取出或者存放和对食物等物品猜测的品类还有食物等物品的数量)，然后将其结果指定到一个图片识别结果处理器。
4.图片识别结果处理
图片识别结果处理器会将得到的结果进行云端存储，例如在a冰箱放入苹果1个、放入西瓜3个、取出牛肉2盒。
本发明的上述实施例并不是对本发明保护范围的限定，本发明的实施方式不限于此，凡此种种根据本发明的上述内容，按照本领域的普通技术知识和惯用手段，在不脱离本发明上述基本技术思想前提下，对本发明上述结构做出的其它多种形式的修改、替换或变更，均应落在本发明的保护范围之内。
Claims (6)
1.一种关于抓取物品的视频识别处理方法，其特征在于：包括以下步骤，
S1、获取摄像头视频数据：摄像头检测到镜头前物品达到触发条件会发送一个信号给到视频接收器，视频接收器收到信号后与摄像头建立socket连接，连接建立成功后摄像头往视频接收器发送视频数据；
S2、对视频数据进行解码处理：视频接收器将获取到的视频数据发送给视频分段处理器，视频分段处理器在收到一段数据后开始一个新的线程，持续监控接下来一段时间获取到的原始视频数据，并将此段数据进行解码，并且抓取图片，每段视频首次抓取图片成功后会新建一个视频图片处理器，且将此视频放入视频图片处理器调度线程中的队列，每次抓取到的图片放入视频图片处理器中，整段视频抓取完毕后标识这个视频图片处理器为已抓取完毕；
S3、对视频图片进行处理：在服务器启动时会开启一个视频图片处理器调度线程，这个线程会去持续取出自身队列中的视频图片处理器，当取出到视频图片处理器时，会使用一个图片识别接口调用器，图片识别接口调用器提供调用图片识别接口的函数，能够对图片进行识别且返回图片处理结果，将其结果指定到一个图片识别结果处理器。
2.根据权利要求1所述的一种关于抓取物品的视频识别处理方法，其特征在于：还包括以下步骤，
S4、图片识别结果处理：图片识别结果处理器将得到的结果数据进行云端存储。
3.根据权利要求1所述的一种关于抓取物品的视频识别处理方法，其特征在于：在步骤S1中，摄像头往视频接收器发送视频的数据包括视频字节、摄像头id，每段视频唯一id。
4.根据权利要求3所述的一种关于抓取物品的视频识别处理方法，其特征在于：在步骤S2中，每一个新的线程，以摄像头id作为标识，持续监控接下来1分钟获取到的原始视频数据，每隔3秒钟将此段数据进行解码，并且抓取图片，每秒抓取10帧图片，通过每段视频唯一id作为区分，每段视频首次抓取图片成功后会新建一个视频图片处理器。
5.根据权利要求1所述的一种关于抓取物品的视频识别处理方法，其特征在于：在步骤S1中，触发条件为定时触发、事件触发、服务器软触发之一。
6.根据权利要求1所述的一种关于抓取物品的视频识别处理方法，其特征在于：在步骤S3中，对图片进行识别且返回图片处理结果包括取出或存放的动作、被取出或存放的物品的品类、被取出或存放的物品的数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010759150.6A CN111950413A (zh) | 2020-07-31 | 2020-07-31 | 一种关于抓取物品的视频识别处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010759150.6A CN111950413A (zh) | 2020-07-31 | 2020-07-31 | 一种关于抓取物品的视频识别处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111950413A true CN111950413A (zh) | 2020-11-17 |
Family
ID=73339844
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010759150.6A Pending CN111950413A (zh) | 2020-07-31 | 2020-07-31 | 一种关于抓取物品的视频识别处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111950413A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113676557A (zh) * | 2021-10-21 | 2021-11-19 | 广州微林软件有限公司 | 一种服务器调度系统、方法及其应用 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101790082A (zh) * | 2010-01-14 | 2010-07-28 | 中山大学 | 一种数字家庭网络中的智能家电系统及控制方法 |
| CN102905102A (zh) * | 2012-09-27 | 2013-01-30 | 安科智慧城市技术（中国）有限公司 | 一种抓图视频播放器及抓图方法 |
| CN105450987A (zh) * | 2015-11-12 | 2016-03-30 | 北京弘恒科技有限公司 | 智能识别平台视频监控预警系统 |
| CN109359649A (zh) * | 2017-12-28 | 2019-02-19 | 广州Tcl智能家居科技有限公司 | 一种储物装置的存取物识别方法、存储介质及储物装置 |
-
2020
- 2020-07-31 CN CN202010759150.6A patent/CN111950413A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101790082A (zh) * | 2010-01-14 | 2010-07-28 | 中山大学 | 一种数字家庭网络中的智能家电系统及控制方法 |
| CN102905102A (zh) * | 2012-09-27 | 2013-01-30 | 安科智慧城市技术（中国）有限公司 | 一种抓图视频播放器及抓图方法 |
| CN105450987A (zh) * | 2015-11-12 | 2016-03-30 | 北京弘恒科技有限公司 | 智能识别平台视频监控预警系统 |
| CN109359649A (zh) * | 2017-12-28 | 2019-02-19 | 广州Tcl智能家居科技有限公司 | 一种储物装置的存取物识别方法、存储介质及储物装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113676557A (zh) * | 2021-10-21 | 2021-11-19 | 广州微林软件有限公司 | 一种服务器调度系统、方法及其应用 |
| CN113676557B (zh) * | 2021-10-21 | 2022-02-11 | 广州微林软件有限公司 | 一种服务器调度系统、方法及其应用 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111950414A (zh) | 一种箱柜食物识别系统及识别方法 | |
| CN112242940A (zh) | 一种箱柜食物智能管理系统及管理方法 | |
| CN104896868A (zh) | 一种根据远程图像识别管理冰箱食品列表的方法 | |
| CN105554291B (zh) | 一种用户提醒方法及系统 | |
| KR20160021740A (ko) | 물품 정보 발송/수신 방법, 장치, 프로그램 및 기록매체 | |
| CN100493184C (zh) | 一种电视监控系统及其实现方法 | |
| CN102006511A (zh) | 直播节目的回看方法、装置及终端 | |
| CN104916090B (zh) | 提示信息发送方法及装置 | |
| CN202998337U (zh) | 视频节目识别系统 | |
| CN111950413A (zh) | 一种关于抓取物品的视频识别处理方法 | |
| CN100545820C (zh) | 设备控制装置 | |
| CN103956014A (zh) | 一种远程影像识别防盗方法及系统 | |
| CN102917247A (zh) | 自动识别电视频道和电视节目的方法 | |
| CN103795918A (zh) | 一种拍摄方法和拍摄装置 | |
| CN106101773A (zh) | 内容同屏方法、装置和显示设备 | |
| CN105323484A (zh) | 一种快速拍照的方法及电子设备 | |
| CN112907843A (zh) | 一种基于弱网环境的自提柜存取方法和系统 | |
| CN105760807A (zh) | 体育赛事精彩赛事提醒装置及方法 | |
| CN103945107A (zh) | 拍摄方法和拍摄装置 | |
| CN114493425A (zh) | 一种仓储管理方法、系统、终端设备以及存储介质 | |
| CN113589699A (zh) | 智能家居场景控制方法及装置 | |
| CN109068096A (zh) | 远程可视快递系统及方法 | |
| WO2018146923A1 (ja) | 分散協調システム、機器行動監視装置及び家電機器 | |
| CN113569646A (zh) | 冰箱的异常物品提示方法、装置、存储介质及电子装置 | |
| TWI781411B (zh) | 快速尋找物品的系統及其方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |