CN107506023B - 一种墙面图像红外线光斑的追踪方法及系统 - Google Patents

一种墙面图像红外线光斑的追踪方法及系统 Download PDF

Info

Publication number
CN107506023B
CN107506023B CN201710597662.5A CN201710597662A CN107506023B CN 107506023 B CN107506023 B CN 107506023B CN 201710597662 A CN201710597662 A CN 201710597662A CN 107506023 B CN107506023 B CN 107506023B
Authority
CN
China
Prior art keywords
image
black
infrared light
light spots
white image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710597662.5A
Other languages
English (en)
Other versions
CN107506023A (zh
Inventor
胡德志
孙碧亮
袁超飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Mingyue Information Technology Co ltd
Original Assignee
Wuhan Show Baby Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Show Baby Software Co ltd filed Critical Wuhan Show Baby Software Co ltd
Priority to CN201710597662.5A priority Critical patent/CN107506023B/zh
Publication of CN107506023A publication Critical patent/CN107506023A/zh
Application granted granted Critical
Publication of CN107506023B publication Critical patent/CN107506023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种墙面图像红外线光斑的追踪方法及系统，方法包括：S1、通过至少一个摄像头捕获墙面图像；S2、通过OpenCV视觉库对每一帧墙面图像依次进行预处理，得到每一帧墙面图像对应的黑白图像，其中，黑白图像中白色的图像光点为红外线光斑；S3、将当前帧黑白图像中的红外线光斑与上一帧黑白图像中的红外线光斑进行匹配，得到匹配结果；S4、根据匹配结果识别得到每一个红外线光斑的状态以及状态持续时间。本发明的有益效果是：通过对相邻帧图像中的红外线光斑进行匹配和判断，得到每一个红外线光斑的状态及状态持续时间，从而实现对红外线光斑的追踪识别。

Description

一种墙面图像红外线光斑的追踪方法及系统
技术领域
本发明涉及图像处理技术领域，特别涉及一种墙面图像红外线光斑的追踪方法及系统。
背景技术
现有的墙面互动系统，多是让玩家直接的与墙面进行互动来进行游戏体验，比如通过手掌触碰墙面产生简单的游戏效果，即在墙面两侧安装红外线发射器，手掌对红外线会有很好的干扰增强效果，从而在墙面上生成不规则的红外线光斑，并通过识别这些红外线光斑来命令游戏应用执行简单的虚拟物体的爆炸消失，拖动等功能。由于手掌的不同，对红外光的增强效果也不同，导致识别效果也不是非常稳定迅速。并且由于身高及安全性等原因，玩家也无法全方位的触碰到墙面所有的地方，以给予玩家更全面的互动游戏体验效果。
发明内容
本发明提供了一种墙面图像红外线光斑的追踪方法及系统，解决了现有技术的技术问题。
本发明解决上述技术问题的技术方案如下：一种墙面图像红外线光斑的追踪方法，包括：
S1、通过至少一个摄像头实时捕获墙面图像；
S2、通过OpenCV视觉库对每一帧墙面图像依次进行预处理，得到每一帧墙面图像对应的黑白图像，其中，所述黑白图像中白色的图像光点为红外线光斑；
S3、将当前帧黑白图像中的红外线光斑与上一帧黑白图像中的红外线光斑进行匹配，得到匹配结果；
S4、根据所述匹配结果识别得到每一个红外线光斑的状态以及状态持续时间，所述状态包括：显现状态、移动状态、长期不动状态和消失状态。
本发明的有益效果是：本技术方案通过至少一个摄像头全方位捕获墙面图像，通过OpenCV视觉库对捕获到的墙面图像进行图像处理，使得待识别的红外线光斑更稳定更大更易识别，通过对相邻帧图像中的红外线光斑进行匹配和判断，得到每一个红外线光斑的状态及状态持续时间，从而实现对红外线光斑的追踪识别。
在上述技术方案的基础上，本发明还可以做如下改进。
优选地，步骤S2具体包括：
通过OpenCV视觉库对所述墙面图像依次进行图像平滑、图像过滤、图像增强、图像动态阈值二值化、图像膨胀以及图像腐蚀，得到黑白图像。
优选地，步骤S3包括：
S31、通过所述OpenCV视觉库中的轮廓检测算法，计算得到每一帧黑白图像中的红外线光斑的参数；
S32、将当前帧黑白图像中的红外线光斑的参数与上一帧黑白图像中的红外线光斑的参数进行匹配，得到匹配结果。
优选地，所述参数包括：形状、大小、个数和重心坐标。
一种墙面图像红外线光斑的追踪系统，包括：
捕获模块，用于通过至少一个摄像头实时捕获墙面图像；
预处理模块，用于通过OpenCV视觉库对每一帧墙面图像依次进行预处理，得到每一帧墙面图像对应的黑白图像，其中，所述黑白图像中白色的图像光点为红外线光斑；
匹配模块，用于将当前帧黑白图像中的红外线光斑与上一帧黑白图像中的红外线光斑进行匹配，得到匹配结果；
识别模块，用于根据所述匹配结果识别得到每一个红外线光斑的状态以及状态持续时间，所述状态包括：显现状态、移动状态、长期不动状态和消失状态。
优选地，所述预处理模块具体用于：
通过OpenCV视觉库对所述墙面图像依次进行图像平滑、图像过滤、图像增强、图像动态阈值二值化、图像膨胀以及图像腐蚀，得到黑白图像。
优选地，所述匹配模块包括：
计算子模块，用于通过所述OpenCV视觉库中的轮廓检测算法，计算得到每一帧黑白图像中的红外线光斑的参数；
匹配子模块，用于将当前帧黑白图像中的红外线光斑的参数与上一帧黑白图像中的红外线光斑的参数进行匹配，得到匹配结果。
优选地，所述参数包括：形状、大小、个数和重心坐标。
附图说明
图1为本发明实施例提供的一种墙面图像红外线光斑的追踪方法的流程示意图；
图2为本发明另一实施例提供的一种墙面图像红外线光斑的追踪方法的流程示意图；
图3为本发明另一实施例提供的一种墙面图像红外线光斑的追踪系统的结构示意图；
图4为本发明另一实施例提供的一种墙面图像红外线光斑的追踪系统的结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种墙面图像红外线光斑的追踪方法，包括：
S101、通过至少一个摄像头实时捕获墙面图像；
S102、通过OpenCV视觉库对每一帧墙面图像依次进行预处理，得到每一帧墙面图像对应的黑白图像，其中，黑白图像中白色的图像光点为红外线光斑；
S103、将当前帧黑白图像中的红外线光斑与上一帧黑白图像中的红外线光斑进行匹配，得到匹配结果。
S104、根据匹配结果识别得到每一个红外线光斑的状态以及状态持续时间，状态包括：显现状态、移动状态、长期不动状态和消失状态。
通过一个或多个PS3摄像头捕获墙面图像，PS3摄像头通过去除红外线滤镜后可以做到只对红外线光有过滤效果，这样获取到的灰度图像将是一个很明显的黑白图像。基于OpenCV算法，通过一系列图像处理，使得光斑的图像更稳定更大以易于识别。
把当前帧的光斑与上一帧的光斑做匹配，距离近的认为是同一个光斑，存在上一帧中没有被匹配到的光斑判断为消失状态，存在当前帧中没有被匹配到的光斑判断为显现状态，也就是新的光斑，追踪一个光斑的生命周期也是从这个状态开始进行，并开始记录其持续时间。匹配到的旧光斑，基于坐标的变化，如果持续2秒以上，光斑的重心坐标在一定的区域内稳定变化，则判断为长时间不动的状态。在光斑消失之前，其余的判断为移动状态。
通过上述方法不仅可以支持对红外线光斑的快速稳定识别，而且能多点追踪及获取到其大小，形状，坐标，持续时间，状态变化等多种属性参数，基于这些参数可以开发出丰富的墙面互动游戏。
如图2所示，一种墙面图像红外线光斑的追踪方法，包括：
S201、通过至少一个摄像头实时捕获墙面图像。
S202、通过OpenCV视觉库对每一帧墙面图像依次进行图像平滑、图像过滤、图像增强、图像动态阈值二值化、图像膨胀以及图像腐蚀，得到每一帧墙面图像对应的黑白图像。
S203、通过OpenCV视觉库中的轮廓检测算法，计算得到每一帧黑白图像中的红外线光斑的参数。
S204、将当前帧黑白图像中的红外线光斑的参数与上一帧黑白图像中的红外线光斑的参数进行匹配，得到匹配结果，参数包括：形状、大小、个数和重心坐标。
S205、根据匹配结果识别得到每一个红外线光斑的状态以及状态持续时间，状态包括：显现状态、移动状态、长期不动状态和消失状态。
通过一个或多个PS3摄像头捕获墙面图像，PS3摄像头通过去除红外线滤镜后可以做到只对红外线光有过滤效果，这样获取到的灰度图像将是一个很明显的黑白图像。基于OpenCV算法，通过图像平滑，图像过滤，图像增强及图像动态阈值二值化的处理，获取到的每一帧图像都是对一定强度的红外线光斑有稳定呈现效果的黑白图像，白色的图像光点将会是我们要识别追踪的红外线光斑。最后通过一定程度的图像膨胀及图像腐蚀处理，使得光斑的图像更稳定更大以易于识别。
运用OpenCV的轮廓检测算法，计算出每一帧经过S102处理的PS3摄像头传过来的每一帧图像中光斑的大小，个数，重心坐标等参数，并基于OpenCV的相机标定算法，给一个或多个PS3摄像头分配不同的区域，并保存其固定的标定矩阵，从而换算出光斑自投影仪投射在墙面上的坐标对应的在游戏屏幕上的屏幕坐标。
识别计算出当前帧图像中的光斑的相关参数与上一帧图像中光斑的相关参数的区别，识别判断出每一个光斑的显现，移动，长时间不动(2秒)，消失这4个变化状态并记录其持续时间，以达到对光斑追踪功能。相关参数主要是指步骤3中获得的光斑的个数与重心坐标，把当前帧的光斑与上一帧的光斑做匹配，距离近的认为是同一个光斑，存在上一帧中没有被匹配到的光斑判断为消失状态，存在当前帧中没有被匹配到的光斑判断为显现状态，也就是新的光斑，追踪一个光斑的生命周期也是从这个状态开始进行，并开始记录其持续时间。匹配到的旧光斑，基于坐标的变化，如果持续2秒以上，光斑的重心坐标在一定的区域内稳定变化，则判断为长时间不动的状态。在光斑消失之前，其余的判断为移动状态。
如图3所示，一种墙面图像红外线光斑的追踪系统，包括：
捕获模块301，用于通过至少一个摄像头实时捕获墙面图像；
预处理模块302，用于通过OpenCV视觉库对每一帧墙面图像依次进行预处理，得到每一帧墙面图像对应的黑白图像，其中，黑白图像中白色的图像光点为红外线光斑；
匹配模块303，用于将当前帧黑白图像中的红外线光斑与上一帧黑白图像中的红外线光斑进行匹配，得到匹配结果；
识别模块304，用于根据匹配结果识别得到每一个红外线光斑的状态以及状态持续时间，状态包括：显现状态、移动状态、长期不动状态和消失状态。
具体地，预处理模块302具体用于：
通过OpenCV视觉库对墙面图像依次进行图像平滑、图像过滤、图像增强、图像动态阈值二值化、图像膨胀以及图像腐蚀，得到黑白图像。
具体地，如图4所示，匹配模块303包括：
计算子模块3031，用于通过OpenCV视觉库中的轮廓检测算法，计算得到每一帧黑白图像中的红外线光斑的参数；
匹配子模块3032，用于将当前黑白图像中的红外线光斑的参数与上一帧黑白图像中的红外线光斑的参数进行匹配，得到匹配结果，参数包括：形状、大小、个数和重心坐标。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种墙面图像红外线光斑的追踪方法，其特征在于，包括：
S1、通过至少一个摄像头实时捕获墙面图像；
S2、通过OpenCV视觉库对每一帧墙面图像依次进行预处理，得到每一帧墙面图像对应的黑白图像，其中，所述黑白图像中白色的图像光点为红外线光斑；
S3、将当前帧黑白图像中的红外线光斑与上一帧黑白图像中的红外线光斑进行匹配，得到匹配结果；
S4、根据所述匹配结果识别得到每一个红外线光斑的状态以及状态持续时间，所述状态包括：显现状态、移动状态、长期不动状态和消失状态；
步骤S3包括：
S31、通过所述OpenCV视觉库中的轮廓检测算法，计算得到每一帧黑白图像中的红外线光斑的参数；
S32、将当前帧黑白图像中的红外线光斑的参数与上一帧黑白图像中的红外线光斑的参数进行匹配，得到匹配结果。
2.根据权利要求1所述的一种墙面图像红外线光斑的追踪方法，其特征在于，步骤S2具体包括：
通过OpenCV视觉库对所述墙面图像依次进行图像平滑、图像过滤、图像增强、图像动态阈值二值化、图像膨胀以及图像腐蚀，得到黑白图像。
3.根据权利要求1所述的一种墙面图像红外线光斑的追踪方法，其特征在于，所述参数包括：形状、大小、个数和重心坐标。
4.一种墙面图像红外线光斑的追踪系统，其特征在于，包括：
捕获模块，用于通过至少一个摄像头实时捕获墙面图像；
预处理模块，用于通过OpenCV视觉库对每一帧墙面图像依次进行预处理，得到每一帧墙面图像对应的黑白图像，其中，所述黑白图像中白色的图像光点为红外线光斑；
匹配模块，用于将当前帧黑白图像中的红外线光斑与上一帧黑白图像中的红外线光斑进行匹配，得到匹配结果；
识别模块，用于根据所述匹配结果识别得到每一个红外线光斑的状态以及状态持续时间，所述状态包括：显现状态、移动状态、长期不动状态和消失状态；
所述匹配模块包括：
计算子模块，用于通过所述OpenCV视觉库中的轮廓检测算法，计算得到每一帧黑白图像中的红外线光斑的参数；
匹配子模块，用于将当前帧黑白图像中的红外线光斑的参数与上一帧黑白图像中的红外线光斑的参数进行匹配，得到匹配结果。
5.根据权利要求4所述的一种墙面图像红外线光斑的追踪系统，其特征在于，所述预处理模块具体用于：
通过OpenCV视觉库对所述墙面图像依次进行图像平滑、图像过滤、图像增强、图像动态阈值二值化、图像膨胀以及图像腐蚀，得到黑白图像。
6.根据权利要求4所述的一种墙面图像红外线光斑的追踪系统，其特征在于，所述参数包括：形状、大小、个数和重心坐标。
CN201710597662.5A 2017-07-20 2017-07-20 一种墙面图像红外线光斑的追踪方法及系统 Active CN107506023B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710597662.5A CN107506023B (zh) 2017-07-20 2017-07-20 一种墙面图像红外线光斑的追踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710597662.5A CN107506023B (zh) 2017-07-20 2017-07-20 一种墙面图像红外线光斑的追踪方法及系统

Publications (2)

Publication Number Publication Date
CN107506023A CN107506023A (zh) 2017-12-22
CN107506023B true CN107506023B (zh) 2020-12-08

Family

ID=60678931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710597662.5A Active CN107506023B (zh) 2017-07-20 2017-07-20 一种墙面图像红外线光斑的追踪方法及系统

Country Status (1)

Country Link
CN (1) CN107506023B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965653B (zh) * 2022-12-14 2023-11-07 北京字跳网络技术有限公司 一种光斑追踪方法、装置、电子设备及存储介质
CN117522926B (zh) * 2024-01-08 2024-04-02 四川迪晟新达类脑智能技术有限公司 基于fpga硬件平台的红外光斑目标识别和跟踪方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799318A (zh) * 2012-08-13 2012-11-28 深圳先进技术研究院 一种基于双目立体视觉的人机交互方法及系统
CN103065328A (zh) * 2012-12-29 2013-04-24 四川虹微技术有限公司 一种基于红外光斑跟踪的跟踪点频率提升方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1772497B1 (en) * 2004-05-06 2008-08-13 Agfa Graphics N.V. Radiation-curable ink-jet printing
CN203324924U (zh) * 2013-06-27 2013-12-04 嘉善玉成其美软件设计有限公司 一种墙面互动系统
US10089787B2 (en) * 2013-12-26 2018-10-02 Flir Systems Ab Systems and methods for displaying infrared images
CN104834394B (zh) * 2014-02-09 2020-07-31 神画科技（深圳）有限公司 一种互动显示系统
CN106503615B (zh) * 2016-09-20 2019-10-08 北京工业大学 基于多传感器的室内人体检测跟踪和身份识别系统
CN106814963A (zh) * 2016-12-15 2017-06-09 苏州大学 一种基于3d传感器定位技术的人机互动系统及方法
CN106779857A (zh) * 2016-12-23 2017-05-31 湖南晖龙股份有限公司 一种远程控制机器人的购物方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799318A (zh) * 2012-08-13 2012-11-28 深圳先进技术研究院 一种基于双目立体视觉的人机交互方法及系统
CN103065328A (zh) * 2012-12-29 2013-04-24 四川虹微技术有限公司 一种基于红外光斑跟踪的跟踪点频率提升方法

Also Published As

Publication number Publication date
CN107506023A (zh) 2017-12-22

Similar Documents

Publication Publication Date Title
JP5991224B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
CN102193626B (zh) 手势识认装置、手势识认装置的控制方法
US10313657B2 (en) Depth map generation apparatus, method and non-transitory computer-readable medium therefor
CN106056089B (zh) 一种三维姿态识别方法及系统
US9268412B2 (en) Input apparatus having an input recognition unit and input recognition method by using the same
US9148637B2 (en) Face detection and tracking
CN109033985B (zh) 商品识别的处理方法、装置、设备、系统及存储介质
KR102106135B1 (ko) 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법
US20150294158A1 (en) Method and System for Tracking Objects
US20150077520A1 (en) Information processor and information processing method
CN106991418B (zh) 飞虫检测方法、装置及终端
US9171200B2 (en) Gestural interaction identification
US20210209793A1 (en) Object tracking device, object tracking method, and object tracking program
CN105518584A (zh) 利用热区识别交互
CN108176049B (zh) 一种信息提示方法、装置、终端和计算机可读存储介质
JP6803525B2 (ja) 顔検出装置およびこれを備えた顔検出システムならびに顔検出方法
CN107506023B (zh) 一种墙面图像红外线光斑的追踪方法及系统
CN111368785B (zh) 一种摄像头遮挡判断方法、装置、设备及存储介质
CN110572636B (zh) 摄像头脏污检测方法、装置、存储介质及电子设备
JP5277805B2 (ja) 物体抽出装置、物体抽出方法および物体抽出プログラム
CN107213635B (zh) 视野显示方法和装置
US20180210611A1 (en) Television virtual touch control method and system
CN107077730B (zh) 基于剪影的肢寻找器确定
CN102750707A (zh) 一种基于感兴趣区域的图像处理方法和装置
US20140098991A1 (en) Game doll recognition system, recognition method and game system using the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240819

Address after: No. 704, 7th Floor, Unit 1, Building 5, No. 388 Xishun Street, Huazhaobi, Jinniu District, Chengdu City, Sichuan Province 610000

Patentee after: Chengdu Mingyue Information Technology Co.,Ltd.

Country or region after: China

Address before: Room C-6, 1st floor, Hongye Building, No.1 building, Wuda Science Park, No.8 wudayuan Road, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430000

Patentee before: WUHAN AR SHOW SOFTWARE Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right