CN106767707B - 一种基于结构光的储物状态检测方法及系统 - Google Patents
一种基于结构光的储物状态检测方法及系统 Download PDFInfo
- Publication number
- CN106767707B CN106767707B CN201611173753.8A CN201611173753A CN106767707B CN 106767707 B CN106767707 B CN 106767707B CN 201611173753 A CN201611173753 A CN 201611173753A CN 106767707 B CN106767707 B CN 106767707B
- Authority
- CN
- China
- Prior art keywords
- image
- module
- light source
- infrared
- structure light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
- Geophysics And Detection Of Objects (AREA)
- Studio Devices (AREA)
Abstract
一种基于结构光的储物状态检测方法及系统,基于红外结构光源模块、图像采集模块、图像处理终端进行储物状态检测;所述红外结构光源模块和图像采集模块分别设置于储物格对面;图像处理终端与图像采集模块通信连接;红外结构光源模块向其对面的储物格发出红外光带;图像采集模块采集红外光源照射在储物柜上形成的红外图像并通过LIFI光源通信模块传输至图像处理终端;图像处理终端将接收到的图像与预先提取的各种状态下的储物标准图像作比较和匹配,判断储物状态。本发明采用结构光识别储物状态,降低了图像处理复杂度,同时基于LIFI技术传输图像,提高了通信可靠性,可以满足储物密集、摆放不规则的仓储站点进行储物状态检测的要求。
Description
技术领域
本发明涉及自动检测技术领域,是一种基于结构光的储物状态检测方法及系统。
背景技术
近年来,随着我国电子商务产业快速发展,储物状态检测也开始得到广泛应用和发展。储物状态检测是现代大型物流仓储站点的重要组成部分,在辅助站点掌握库存信息,包括储物位置和储物状态(包括储物数量、储物是否缺失、储物叠放是否平整等特征),保证站点实现快速存取大量物料等方面起着重要作用。
传统的储物状态检测方法长期以来主要以人工检查为主。目前应用于物流行业的储物状态自动检测方法也主要是基于普通光源采集储物图像,再进行一些简单的图像处理,实现一定程度上的自动检测,在某些情形下能够替代人工检查。但在实际应用中,由于储物摆放密集,往往面临识别率低、识别速度慢、通信能力差、模块复杂等问题,难以满足实际应用的要求。
因此,有必要设计一种识别率高、速度快的储物状态检测方法及系统。
发明内容
本发明所解决的技术问题是,针对现有技术的不足,提供一种基于结构光储物状态检测方法及系统,识别率高、速度快。
本发明所采的技术方案为:
一种基于结构光的储物状态检测方法,基于红外结构光源模块、图像采集模块和图像处理终端;所述红外结构光源模块和图像采集模块分别设置于储物格对面;图像处理终端与图像采集模块通信连接;
检测方法包括以下步骤:
步骤1、拍摄准备;
所述红外结构光源模块中的红外光源向对面的储物格发出三道直线型的红外光带(波长都在1000nm至1080nm之间);其中两道分别照射在对面的储物格的左竖梁和右竖梁上,形成定位结构光,剩余一道照射在对面的储物格中储物上;
步骤2、图像采集:
图像采集模块对准对面的储物格进行拍摄;采集红外光源照射在储物格上形成的红外图像;
步骤3、数据传输:
图像采集模块将红外图像传输至图像处理终端;
步骤4、图像处理:
所述图像处理终端将接收到的图像和预先提取的各种状态下的储物标准图像作比较和匹配,判断储物状态。
所述图像采集模块内置LIFI发射单元,所述图像处理终端与LIFI光源通信模块相连;图像采集模块位于LIFI光源通信模块接收范围内,LIFI发射单元与LIFI光源通信模块建立通信连接,并进行图像传输。
所述LIFI光源通信模块置于与各个储物格上方垂直距离为20厘米处且与接收范围内所有图像采集模块距离之和最短的位置,以保证信号的稳定性。
所述图像采集模块的安装位置对齐对面储物格的上梁,并与对面储物格的纵面形成30度至45度的拍摄角度;所述红外结构光源模块的安装位置对齐对面储物格的下梁,照射在储物上的红外光带与图像采集模块保持40-70度角,以提高关键特征采集效率。
所述图像采集模块采用红外高速摄像头,镜头内置950nm波长高通滤光片,与上述红外光源配合,滤除图像干扰信号,提高拍摄精度。
所述图像采集模块的拍摄动作由内部定时器触发。
所述图像采集的图像临时存储在图像采集模块内;但存储在图像采集模块内的图像超过其存储容量75%时,通过LIFI发射单元与LIFI光源通信模块批量传输至图像处理终端。
所述图像采集模块与其对面的储物格编号绑定,通过绑定的储物格编号确定所拍摄的图像对应的储物格。
所述图像采集模块在安装时写入其精确的经纬度信息;通过经纬度信息确定所拍摄的图像对应的储物位置信息。
所述图像比较和匹配包括以下步骤:将接收到的图像二值化,左竖梁、右竖梁和储物在光源照射下呈白色;通过图像中定位结构光形成的两道狭长而光滑的线条快速定位储物格的左竖梁和右竖梁,锁定储物格的内部区域;然后将储物格内部区域的图像与储物标准图像进行特征匹配。
当储物格的对面还设置有储物格时,将红外结构光源模块和图像采集模块分别设置在其对面的储物格的下梁和上梁内。所述LIFI光源通信模块置于两侧储物格上方垂直距离为20厘米处且与接收范围内所有图像采集模块距离之和最短的位置,以保证信号的稳定性。
对于对面不储物的储物架,在其对面置一面储物格墙用于放置图像采集模块和结构红外光源模块。
本发明中,储物格包括上梁、下梁、左竖梁、右竖梁和承物面;储物格内的储物与储物格不直接接触:与储物格的左竖梁和右竖梁均保持5-15cm间距,与上梁保持15-20cm间距,与下梁上的承物面之间由两条10cm高的枕木隔开,以方便图像特征识别和叉车取走储物。储物由硬纸箱包裹,形状规整。
在储物格内区域,由于储物摆放较规整且储物个数一般在10至20左右,个数变化会在采集的图像中产生明显的图像特征,通过特征匹配可以实现对储物状态(储物数量、储物是否缺失、储物叠放是否平整等)的判断。
一种基于结构光储物状态检测系统,包括红外结构光源模块、图像采集模块和图像处理终端;所述红外结构光源模块和图像采集模块分别设置于储物格对面;图像处理终端与图像采集模块通信连接。
有益效果:
本发明采用红外结构光源模块产生定位结构光,采集图像,与一般检测方法采用的普通光源相比,可以直接在采集阶段就突出图像的关键特征,大大提高图像特征匹配速度,实现对密集储物状态的快速、准确检测;
本发明通过LIFI发射单元与LIFI光源通信模,将图像采集模块与图像处理终端之间的普通光源替换为LIFI光源,并确保图像采集模块位于LIFI光源通信模块接收范围内并能够建立稳定的数据传输通路。LIFI光源通信模块作为图像中转站将采集的图像转发给图像处理终端。相对于普通的无线通信模块,LIFI技术具有高速、稳定、密闭性好、结构简单等特点,在密闭性高、光源点多的仓储中具有明显的场景优势;同时降低了通信模块复杂度、提高了图像传输速度、可靠性和稳定性,使本方法更易于维护、推广和普及。
由于本发明大大降低图像处理复杂度,提高了通信可靠性,使得本发明可以用于储物摆放密集、不规则的仓储站点,扩大了适用范围;同时降低了模块复杂度,有利于现场人员维护,易于推广和普及。
附图说明
图1为本发明的结构原理图。
图2为本发明储物格结构原理图。
图3为储物完整时图像采集模块采集图像的二值图像。
图4为从图3中提取的储物格左(右)梁二值图像。
图5为从图3中提取的储物格内部区域二值图像。
图6为缺失一件储物时储物格内部区域二值图像。
图7为缺失所有储物时储物格内部区域二值图像。
附图标记说明:
图中:1为上梁,2为图像采集模块,3为储物,4为红外结构光源模块,5为右竖梁,6为LIFI光源通信模块,7为下梁,8为左竖梁,9为承物面;
具体实施方式
下面结合附图和实施例对本发明的进行详细的描述。
如图1和图2所示,本发明公开了一种基于结构光储物状态检测系统,包括红外结构光源模块4、图像采集模块2和图像处理终端;所述红外结构光源模块4和图像采集模块2分别设置于储物格对面;图像处理终端与图像采集模块通信连接。
本发明还公开了一种基于结构光的储物状态检测方法,利用以上基于结构光储物状态检测系统进行储物状态检测;
检测方法包括以下步骤:
步骤1、拍摄准备;
所述红外结构光源模块中的红外光源向对面的储物格发出三道直线型的红外光带(波长都在1000nm至1080nm之间);其中两道分别照射在对面的储物格的左竖梁8和右竖梁5上,形成定位结构光,剩余一道照射在对面的储物格中储物3上;
步骤2、图像采集:
图像采集模块对准对面的储物格进行拍摄;采集红外光源照射在储物格上形成的红外图像;
步骤3、数据传输:
图像采集模块将红外图像传输至图像处理终端;
步骤4、图像处理:
所述图像处理终端将接收到的图像和预先提取的各种状态下的储物标准图像作比较和匹配,判断储物状态。
所述图像采集模块内置LIFI发射单元,所述图像处理终端与LIFI光源通信模块相连;图像采集模块位于LIFI光源通信模块接收范围内,LIFI发射单元与LIFI光源通信模块建立通信连接,并进行图像传输。
所述LIFI光源通信模块6置于与各个储物格上方垂直距离为20厘米处且与接收范围内所有图像采集模块距离之和最短的位置,以保证信号的稳定性。
所述图像采集模块的安装位置对齐对面储物格的上梁,并与对面储物格的纵面形成30度至45度的拍摄角度;所述红外结构光源模块的安装位置对齐对面储物格的下梁,照射在储物上的红外光带与图像采集模块保持40-70度角,以提高关键特征采集效率。
所述图像采集模块采用红外高速摄像头,镜头内置950nm波长高通滤光片,与上述红外光源配合,滤除图像干扰信号,提高拍摄精度。
所述图像采集模块的拍摄动作由内部定时器触发。
所述图像采集的图像临时存储在图像采集模块内;但存储在图像采集模块内的图像超过其存储容量75%时,通过LIFI发射单元与LIFI光源通信模块批量传输至图像处理终端。
所述图像采集模块与其对面的储物格编号绑定,通过绑定的储物格编号确定所拍摄的图像对应的储物格。
所述图像采集模块在安装时写入其精确的经纬度信息;通过经纬度信息确定所拍摄的图像对应的储物位置信息。
所述图像比较和匹配包括以下步骤:将接收到的图像二值化,左竖梁、右竖梁和储物在光源照射下呈白色;通过图像中定位结构光形成的两道狭长而光滑的线条快速定位储物格的左竖梁和右竖梁,锁定储物格的内部区域;然后将储物格内部区域的图像与储物标准图像进行特征匹配。
当储物格的对面还设置有储物格时,将红外结构光源模块和图像采集模块分别设置在其对面的储物格的下梁和上梁内。所述LIFI光源通信模块置于两侧储物格上方垂直距离为20厘米处且与接收范围内所有图像采集模块距离之和最短的位置,以保证信号的稳定性。
对于对面不储物的储物架,在其对面置一面储物格墙用于放置图像采集模块和结构红外光源模块。
如图7所示,本发明中储物格包括上梁1、下梁7、左竖梁8、右竖梁5和承物面9;储物格内的储物与储物格不直接接触:与储物格的左竖梁和右竖梁均保持5-15cm间距,与上梁保持15-20cm间距,与下梁上的承物面之间由两条10cm高的枕木隔开,以方便图像特征识别和叉车取走储物。储物由硬纸箱包裹,形状规整。
在储物格内区域,由于储物摆放较规整且储物个数一般在10至20左右,个数变化会在采集的图像中产生明显的图像特征,通过特征匹配可以实现对储物状态(储物数量、储物是否缺失、储物叠放是否平整等)的判断。
实验采集得到的储物格图像:
如图3所示为储物完整时图像采集模块采集图像的二值化图像,图中白色部分为三道红外结构光照射时形成。处理时同时截取左右梁区域图3,从而确定储物格内部区域图4。
如图4所示为从图2中截取的储物格左(右)梁图像(在图1中沿着竖直方向扫描得到两条满足长度要求的直线连通域,并记录其水平位置),依据左右梁图像的水平位置截取其之间的区域即为储物格内部区域图像。
如图5所示为从图2中提取的储物格内部区域图像,提取其图像特征,将该特征与预先提取的各种状态下的储物特征进行对比,找出特征相似度最高的标准图像特征,则该标准图像特征所绑定的储物状态类型即为当前所拍摄储物的真实类型。
如图6所示为缺失一件储物时储物格内部区域二值图像,如图7所示为缺失所有储物时储物格内部区域二值图像,与图5相比,有明显差异,且计算量小,可以实现快速、准确地进行特征匹配,检测储物状态。
Claims (6)
1.一种基于结构光的储物状态检测方法,其特征在于,基于红外结构光源模块、图像采集模块、图像处理终端进行储物状态检测;所述红外结构光源模块和图像采集模块分别设置于储物格对面;图像处理终端与图像采集模块通信连接;
所述图像采集模块内置LIFI发射单元,所述图像处理终端与LIFI光源通信模块相连;图像采集模块位于LIFI光源通信模块接收范围内,LIFI发射单元与LIFI光源通信模块建立通信连接,并进行图像传输;LIFI光源通信模块置于两侧储物格上方垂直距离为20厘米处且与接收范围内所有图像采集模块距离之和最短的位置;
所述图像采集模块的安装位置对齐对面储物格的上梁,并与对面储物格的纵面形成30度至45度的拍摄角度;所述红外结构光源模块的安装位置对齐对面储物格的下梁,照射在储物上的红外光带与图像采集模块保持40-70度角;
检测方法包括以下步骤:
步骤1、拍摄准备;
所述红外结构光源模块中的红外光源向对面的储物格发出三道直线型的红外光带;其中两道分别照射在对面的储物格的左竖梁和右竖梁上,形成定位结构光,剩余一道照射在对面的储物格中储物上;
步骤2、图像采集:
图像采集模块对准对面的储物格进行拍摄,采集红外光源照射在储物格上形成的红外图像;所述图像采集模块的拍摄动作由内部定时器触发;
步骤3、数据传输:
采集的图像临时存储在图像采集模块内;当存储在图像采集模块内的图像超过其存储容量75%时,通过LIFI发射单元与LIFI光源通信模块批量传输至图像处理终端;
步骤4、图像处理:
所述图像处理终端将接收到的图像和预先提取的各种状态下的储物标准图像作比较和匹配,判断储物状态。
2.根据权利要求1所述的基于结构光的储物状态检测方法,其特征在于,所述图像采集模块采用红外高速摄像头,镜头内置950nm波长高通滤光片。
3.根据权利要求1所述的基于结构光的储物状态检测方法,其特征在于,所述图像采集模块与其对面的储物格编号绑定,通过绑定的储物格编号确定所拍摄的图像对应的储物格。
4.根据权利要求1所述的基于结构光的储物状态检测方法,其特征在于,所述图像采集模块在安装时写入其精确的经纬度信息;通过经纬度信息确定所拍摄的图像对应的储物位置信息。
5.根据权利要求1~4中任一项所述的基于结构光的储物状态检测方法,其特征在于,所述图像比较和匹配包括以下步骤:将接收到的图像二值化;通过图像中定位结构光形成的两道狭长而光滑的线条快速定位储物格的左竖梁和右竖梁,锁定储物格的内部区域;然后将储物格内部区域的图像与储物标准图像进行特征匹配。
6.一种基于结构光的储物状态检测系统,其特征在于,包括红外结构光源模块、图像采集模块和图像处理终端;所述红外结构光源模块和图像采集模块分别设置于储物格对面;图像处理终端与图像采集模块通信连接;
所述图像采集模块内置LIFI发射单元,所述图像处理终端与LIFI光源通信模块相连;图像采集模块位于LIFI光源通信模块接收范围内,LIFI发射单元与LIFI光源通信模块建立通信连接,并进行图像传输;
系统采用权利要求1~5中任一项所述的方法进行储物状态检测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611173753.8A CN106767707B (zh) | 2016-12-16 | 2016-12-16 | 一种基于结构光的储物状态检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611173753.8A CN106767707B (zh) | 2016-12-16 | 2016-12-16 | 一种基于结构光的储物状态检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106767707A CN106767707A (zh) | 2017-05-31 |
CN106767707B true CN106767707B (zh) | 2019-06-04 |
Family
ID=58891258
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611173753.8A Active CN106767707B (zh) | 2016-12-16 | 2016-12-16 | 一种基于结构光的储物状态检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106767707B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112153184B (zh) | 2019-06-28 | 2022-03-22 | Oppo广东移动通信有限公司 | 移动终端 |
CN114419798A (zh) * | 2022-01-25 | 2022-04-29 | 上海蜜罐科技有限公司 | 快递柜开门指示方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103957060A (zh) * | 2014-05-21 | 2014-07-30 | 中国人民解放军信息工程大学 | 一种可见光接收装置及可见光通信方法 |
CN104359921A (zh) * | 2014-11-20 | 2015-02-18 | 中南大学 | 一种基于结构光的扣件缺失检测方法及其装置 |
CN105184231A (zh) * | 2015-08-14 | 2015-12-23 | 北京京东尚科信息技术有限公司 | 一种储物空间的图像采集系统及方法 |
CN105956776A (zh) * | 2016-05-03 | 2016-09-21 | 上海救要救信息科技有限公司 | 应急物资统计系统及方法 |
CN106210568A (zh) * | 2016-07-15 | 2016-12-07 | 深圳奥比中光科技有限公司 | 图像处理方法以及装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7302109B2 (en) * | 2003-08-28 | 2007-11-27 | General Electric Company | Method and system for image processing for structured light profiling of a part |
KR100801087B1 (ko) * | 2006-07-05 | 2008-02-11 | 삼성전자주식회사 | 스트럭처드 라이트를 이용한 이동체 감지 시스템 및 방법,상기 시스템을 포함하는 이동 로봇 |
US9360307B2 (en) * | 2010-05-07 | 2016-06-07 | Shenzhen Taishan Online Technology Co., Ltd | Structured-light based measuring method and system |
CN106662433B (zh) * | 2014-06-27 | 2019-09-06 | 新加坡恒立私人有限公司 | 结构化光成像系统及方法 |
-
2016
- 2016-12-16 CN CN201611173753.8A patent/CN106767707B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103957060A (zh) * | 2014-05-21 | 2014-07-30 | 中国人民解放军信息工程大学 | 一种可见光接收装置及可见光通信方法 |
CN104359921A (zh) * | 2014-11-20 | 2015-02-18 | 中南大学 | 一种基于结构光的扣件缺失检测方法及其装置 |
CN105184231A (zh) * | 2015-08-14 | 2015-12-23 | 北京京东尚科信息技术有限公司 | 一种储物空间的图像采集系统及方法 |
CN105956776A (zh) * | 2016-05-03 | 2016-09-21 | 上海救要救信息科技有限公司 | 应急物资统计系统及方法 |
CN106210568A (zh) * | 2016-07-15 | 2016-12-07 | 深圳奥比中光科技有限公司 | 图像处理方法以及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN106767707A (zh) | 2017-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104200086B (zh) | 宽基线可见光相机位姿估计方法 | |
CN109242035B (zh) | 车底故障检测装置及方法 | |
CN104359921B (zh) | 一种基于结构光的扣件缺失检测方法及其装置 | |
CN109948563A (zh) | 一种基于深度学习的松材线虫病枯死树检测定位方法 | |
CN106767707B (zh) | 一种基于结构光的储物状态检测方法及系统 | |
WO2024040566A1 (zh) | 基于图像识别的变电站智能巡检系统及方法 | |
CN103640595B (zh) | 一种铁路防护栏网自动检测系统及破损识别方法 | |
CN107507174A (zh) | 基于手持智能巡检的电厂仪表设备图像识别方法及系统 | |
CN102589455B (zh) | 基于激光和视觉技术的立木直径检测装置 | |
CN105608703A (zh) | 一种变电站智能巡检机器人的电流互感器油位检测方法 | |
CN109638959A (zh) | 基于ar和深度学习的电力设备遥信功能调试方法及系统 | |
CN103712604A (zh) | 一种光学多目标三维空间定位方法及系统 | |
CN102842163A (zh) | 仪表读数巡检器及其组成的巡检系统及方法 | |
CN104483647A (zh) | 流水线上自动识别低压电流互感器外观信息的装置及方法 | |
CN113155852A (zh) | 一种传输带的检测方法、装置及电子设备 | |
CN105389555A (zh) | 基于航拍图像的隐患目标分析方法及系统 | |
JP5274173B2 (ja) | 車両検査装置 | |
CN215066222U (zh) | 一种传输带系统 | |
CN105424059B (zh) | 宽基线近红外相机位姿估计方法 | |
CN205142399U (zh) | 船名自动核查抓拍系统 | |
CN104363425B (zh) | 基于视频分析的铁路公里标识别系统 | |
CN206322316U (zh) | 基于视频检测的超高车辆抓拍系统 | |
CN201555560U (zh) | 烟包内衫纸五轮成像检测系统 | |
CN109358058A (zh) | 管道状态检测系统和方法 | |
CN111414890A (zh) | 一种机车车号自动检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |