CN114040097A - 一种基于多通道图像采集融合的大场景交互动作捕捉系统 - Google Patents

一种基于多通道图像采集融合的大场景交互动作捕捉系统 Download PDF

Info

Publication number
CN114040097A
CN114040097A CN202111259136.0A CN202111259136A CN114040097A CN 114040097 A CN114040097 A CN 114040097A CN 202111259136 A CN202111259136 A CN 202111259136A CN 114040097 A CN114040097 A CN 114040097A
Authority
CN
China
Prior art keywords
image
module
fusion
image processing
image acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111259136.0A
Other languages
English (en)
Inventor
孟庆涛
莫滨辉
华林红
汤诗雨
张丰霏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Gold Mantis Culture Development Co Ltd
Original Assignee
Suzhou Gold Mantis Culture Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Gold Mantis Culture Development Co Ltd filed Critical Suzhou Gold Mantis Culture Development Co Ltd
Priority to CN202111259136.0A priority Critical patent/CN114040097A/zh
Publication of CN114040097A publication Critical patent/CN114040097A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/917—Television signal processing therefor for bandwidth reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H04N5/95—Time-base error compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多通道图像采集融合的大场景交互动作捕捉系统，包括：图像采集组件，其用于采集观众图像，被采集画面的区域划分为多个摄像区域，多个数字摄像机分别对应采集多个摄像区域的画面；图像处理组件，其包括图像接受模块、图像处理模块、动作识别模块、互动控制模块、内容存储模块和图像输出模块，图像接受模块通过多个通道对应接收多个数字摄像机采集的源视频信号，图像处理模块将多个数字摄像机的源视频信号进行畸变校准及无缝拼接融合，动作识别模块识别图像处理模块拼接后的视频图像信号中人体的特定动作；显示组件，其用于接收图像信号并进行投影显示。本发明相较于现有技术，实现更大面积的感应检测，减少画面延时。

Description

一种基于多通道图像采集融合的大场景交互动作捕捉系统
技术领域
本发明属于投影互动系统技术领域，尤其涉及一种网络摄像头多通道融合感应检测互动系统。
背景技术
随着新媒体相关技术的完善，墙面互动和地面互动展项已经广泛应用与各大展馆、商业中心、游乐园等。对于户外的、大面积交互场景，目前市面上没有超大尺寸且横宽比可以自定义的电容触摸屏，所以无法使用传统的电容触摸屏作为载体。而拼接屏加红外触摸框的交互形式，则存在成本过高、安装复杂的问题。此外，不管是红外拼接方式还是电容触摸方式，都存在显示器非常脆弱，容易损坏的问题。因此，墙面互动和地面互动展项的方式主要为投影加激光雷达感应互动或者摄像头感应互动。
现有的墙面互动和地面互动展项中，采用传统的USB摄像头进行动作识别，感应检测面积小，互动反应慢，互动效果不佳。
发明内容
本发明的目的在于：提供一种基于多通道图像采集融合的大场景交互动作捕捉系统，通过多个数字摄像机的设置实现更大面积的感应检测，减少画面延时，并且可实现超大空间的交互动作捕捉，布线简单，降低施工难度，节约工程成本。
为了实现上述目的，本发明采用了如下技术方案：一种基于多通道图像采集融合的大场景交互动作捕捉系统，包括：
图像采集组件，其用于采集观众图像，被采集画面的区域划分为多个摄像区域，多个数字摄像机分别对应采集多个摄像区域的画面；
图像处理组件，其包括图像接受模块、图像处理模块、动作识别模块、互动控制模块、内容存储模块和图像输出模块，所述图像接受模块通过多个通道对应接收多个所述网络摄像头采集的源视频信号，所述图像处理模块将多个所述网络摄像头的源视频信号进行拼接，所述动作识别模块识别所述图像处理模块拼接后的视频图像信号中人体的特定动作，所述互动控制模块根据识别出的人体特定动作从所述内容存储模块中获取对应图像信号，并通过所述图像输出模块输出；
显示组件，其用于接收图像输出模块输出的图像信号并进行投影显示。
作为上述技术方案的进一步描述：
图像处理模块包括融合拼接单元和像素调整单元，融合拼接单元用于将多个网络摄像头的源视频信号进行拼接，像素调整单元用于对拼接后的视频画面中重叠部分的畸变像素进行调整和校正。
作为上述技术方案的进一步描述：
图像处理模块还包括亮度调整单元，亮度调整单元用于调整拼接后视频画面中重叠处的亮度，并根据视频场景环境对图像自动白平衡与对比度调整。
作为上述技术方案的进一步描述：
融合拼接单元包括多核心GPU，多核心GPU采用多进程分布计算进行源视频信号拼接的计算处理。
作为上述技术方案的进一步描述：
数字摄像机的投影角度校准，基于投影空间与世界空间坐标，结合深度传感器对检测坐标校准。
作为上述技术方案的进一步描述：
投影显示内容与检测内容实时通讯，低延迟，高准确。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明中，在进行互动时，主机通过高速图像采集与压缩传输算法获取摄像机画面，克服传统RTSP方式数据传输的高网络带宽占用、高延时等问题，实现超低时延、中等带宽占用读取网络摄像头画面，并且降低主机中CPU的要求，降低成本。
2、本发明中，通过多个高速数字摄像机获取被采集画面的区域的观众动作，并通过图像处理模块对多个摄像机采集的源视频信号进行拼接融合，图像处理模块的融合拼接单元在进行源视频信号拼接的计算时，源视频信号拼接的计算分布到GPU的多个核心上，实现多进程计算，极大的提高了计算效率，进而提高互动反应速度，实现快速动作识别。
3、本发明中，数字摄像机获取被采集画面的区域(即感应检测区域)的观众动作时，被采集画面的区域划分为多个摄像区域，多个摄像机分别对应采集多个摄像区域的画面。多个摄像机的设置，有效扩大感应检测区域。
4、本发明中，所用采集设备具有速度快、布线简单、传输距离远、供电便捷等优势，安装简单，降低硬件耗材成本，降低施工难度，节约工程成本。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为一种基于多通道图像采集融合的大场景交互动作捕捉系统的系统架构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种基于多通道图像采集融合的大场景交互动作捕捉系统，包括：
图像采集组件，其用于采集观众图像，被采集画面的区域划分为多个摄像区域，多个数字摄像机分别对应采集多个摄像区域的画面；
图像处理组件，其包括图像接受模块、图像处理模块、动作识别模块、互动控制模块、内容存储模块和图像输出模块，所述图像接受模块通过多个通道对应接收多个所述网络摄像头采集的源视频信号，所述图像处理模块将多个所述网络摄像头的源视频信号进行拼接，所述动作识别模块识别所述图像处理模块拼接后的视频图像信号中人体的特定动作，所述互动控制模块根据识别出的人体特定动作从所述内容存储模块中获取对应图像信号，并通过所述图像输出模块输出；
显示组件，其用于接收图像输出模块输出的图像信号并进行投影显示。
图像处理模块包括融合拼接单元和像素调整单元，融合拼接单元用于将多个网络摄像头的源视频信号进行拼接，像素调整单元用于对拼接后的视频画面中重叠部分的畸变像素进行调整和校正。
图像处理模块还包括亮度调整单元，亮度调整单元用于调整拼接后视频画面中重叠处的亮度，并根据视频场景环境对图像自动白平衡与对比度调整。
融合拼接单元包括多核心GPU，多核心GPU采用多进程分布计算进行源视频信号拼接的计算处理，源视频信号拼接的计算分布到GPU的多个核心上，实现多进程计算，极大提高了计算效率，提高互动反应速度。
数字摄像机的投影角度校准，基于投影空间与世界空间坐标，结合深度传感器对检测坐标校准。
投影显示内容与检测内容实时通讯，低延迟，高准确。
工作原理：在进行互动时，主机通过高速图像采集与压缩传输算法获取摄像机画面，克服传统RTSP方式数据传输的高网络带宽占用、高延时等问题，实现超低时延、中等带宽占用读取网络摄像头画面，并且降低主机中CPU的要求，降低成本。通过多个高速数字摄像机获取被采集画面的区域的观众动作，并通过图像处理模块对多个摄像机采集的源视频信号进行拼接融合，图像处理模块的融合拼接单元在进行源视频信号拼接的计算时，源视频信号拼接的计算分布到GPU的多个核心上，实现多进程计算，极大的提高了计算效率，进而提高互动反应速度，实现快速动作识别。数字摄像机获取被采集画面的区域(即感应检测区域)的观众动作时，被采集画面的区域划分为多个摄像区域，多个摄像机分别对应采集多个摄像区域的画面。多个摄像机的设置，有效扩大感应检测区域。所用采集设备具有速度快、布线简单、传输距离远、供电便捷等优势，安装简单，降低硬件耗材成本，降低施工难度，节约工程成本。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于多通道图像采集融合的大场景交互动作捕捉系统，其特征在于，包括：
图像采集组件，其用于采集观众图像，被采集画面的区域划分为多个摄像区域，多个数字摄像机分别对应采集多个摄像区域的画面；
图像处理组件，其包括图像接受模块、图像处理模块、动作识别模块、互动控制模块、内容存储模块和图像输出模块，所述图像接受模块通过多个通道对应接收多个所述网络摄像头采集的源视频信号，所述图像处理模块将多个所述网络摄像头的源视频信号进行拼接，所述动作识别模块识别所述图像处理模块拼接后的视频图像信号中人体的特定动作，所述互动控制模块根据识别出的人体特定动作从所述内容存储模块中获取对应图像信号，并通过所述图像输出模块输出；
显示组件，其用于接收所述图像输出模块输出的图像信号并进行投影显示。
2.根据权利要求1所述的一种基于多通道图像采集融合的大场景交互动作捕捉系统，其特征在于，所述图像处理模块包括融合拼接单元和像素调整单元，所述融合拼接单元用于将多个所述数字摄像机的源视频信号进行拼接，所述像素调整单元用于对拼接后的视频画面中重叠部分的畸变像素进行调整和校正。
3.根据权利要求2所述的一种基于多通道图像采集融合的大场景交互动作捕捉系统，其特征在于，所述图像处理模块还包括亮度调整单元，所述亮度调整单元用于调整拼接后视频画面中重叠处的亮度，并根据视频场景环境对图像自动白平衡与对比度调整。
4.根据权利要求2所述的一种基于多通道图像采集融合的大场景交互动作捕捉系统，其特征在于，所述融合拼接单元包括多核心GPU，所述多核心GPU采用多进程分布计算进行源视频信号拼接的计算处理。
5.根据权利要求1所述的一种基于多通道图像采集融合的大场景交互动作捕捉系统，其特征在于，所述数字摄像机的投影角度校准，基于投影空间与世界空间坐标，结合深度传感器对检测坐标校准。
6.根据权利要求1所述的一种网络摄像头多通道融合感应检测互动系统，其特征在于，所述投影显示内容与检测内容实时通讯，低延迟，高准确。
CN202111259136.0A 2021-10-27 2021-10-27 一种基于多通道图像采集融合的大场景交互动作捕捉系统 Pending CN114040097A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111259136.0A CN114040097A (zh) 2021-10-27 2021-10-27 一种基于多通道图像采集融合的大场景交互动作捕捉系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111259136.0A CN114040097A (zh) 2021-10-27 2021-10-27 一种基于多通道图像采集融合的大场景交互动作捕捉系统

Publications (1)

Publication Number Publication Date
CN114040097A true CN114040097A (zh) 2022-02-11

Family

ID=80135570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111259136.0A Pending CN114040097A (zh) 2021-10-27 2021-10-27 一种基于多通道图像采集融合的大场景交互动作捕捉系统

Country Status (1)

Country Link
CN (1) CN114040097A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114723896A (zh) * 2022-06-08 2022-07-08 山东无界智能科技有限公司 一种通过摄像机多角度图像捕捉进行ar三维建模系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201178467Y (zh) * 2007-12-27 2009-01-07 黄振强 互动式地面/墙面系统
US20130107021A1 (en) * 2010-07-20 2013-05-02 Primesense Ltd. Interactive Reality Augmentation for Natural Interaction
US20140327610A1 (en) * 2013-05-01 2014-11-06 Meghan Jennifer Athavale Content generation for interactive video projection systems
CN107027013A (zh) * 2016-02-02 2017-08-08 松下知识产权经营株式会社 投射图像调整系统以及投射图像调整方法
CN107423008A (zh) * 2017-03-10 2017-12-01 北京市中视典数字科技有限公司 一种实时多摄像头画面融合方法及场景展示装置
WO2019176594A1 (ja) * 2018-03-16 2019-09-19 富士フイルム株式会社 投影制御装置、投影装置、投影制御方法、及び投影制御プログラム
CN110880161A (zh) * 2019-11-21 2020-03-13 大庆思特传媒科技有限公司 一种多主机多深度摄像头的深度图像拼接融合方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201178467Y (zh) * 2007-12-27 2009-01-07 黄振强 互动式地面/墙面系统
US20130107021A1 (en) * 2010-07-20 2013-05-02 Primesense Ltd. Interactive Reality Augmentation for Natural Interaction
US20140327610A1 (en) * 2013-05-01 2014-11-06 Meghan Jennifer Athavale Content generation for interactive video projection systems
CN107027013A (zh) * 2016-02-02 2017-08-08 松下知识产权经营株式会社 投射图像调整系统以及投射图像调整方法
CN107423008A (zh) * 2017-03-10 2017-12-01 北京市中视典数字科技有限公司 一种实时多摄像头画面融合方法及场景展示装置
WO2019176594A1 (ja) * 2018-03-16 2019-09-19 富士フイルム株式会社 投影制御装置、投影装置、投影制御方法、及び投影制御プログラム
CN110880161A (zh) * 2019-11-21 2020-03-13 大庆思特传媒科技有限公司 一种多主机多深度摄像头的深度图像拼接融合方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘伟;: "基于虚拟现实技术的企业展项的设计", 现代电子技术, no. 24 *
吕昊;张成元;: "基于投影仪摄像机系统的人机交互关键技术研究", 科学技术创新, no. 10 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114723896A (zh) * 2022-06-08 2022-07-08 山东无界智能科技有限公司 一种通过摄像机多角度图像捕捉进行ar三维建模系统

Similar Documents

Publication Publication Date Title
US7719563B2 (en) VTV system
US7688346B2 (en) VTV system
CN110300292B (zh) 投影畸变校正方法、装置、系统及存储介质
US20220360736A1 (en) Method for frame interpolation and related products
US8730302B2 (en) Method and system for enhancing 3D effects for 3D video rendering
CN107341832B (zh) 一种基于红外定位系统的多视角切换拍摄系统和方法
US20140347439A1 (en) Mobile device and system for generating panoramic video
JP2005500721A5 (zh)
CN108648225B (zh) 目标图像获取系统与方法
CN108848354B (zh) 一种vr内容摄像系统及其工作方法
CN108616733B (zh) 一种全景视频图像的拼接方法及全景相机
CN102801963A (zh) 基于高清数字摄像头监控的电子ptz方法及装置
US20120050477A1 (en) Method and System for Utilizing Depth Information for Providing Security Monitoring
CN114040097A (zh) 一种基于多通道图像采集融合的大场景交互动作捕捉系统
CN116017018A (zh) 直播特效渲染方法、装置、设备、可读存储介质及产品
CN113692734A (zh) 用于采集和投影图像的系统和方法，以及该系统的应用
JP2018033107A (ja) 動画の配信装置及び配信方法
US20210233209A1 (en) Image processing device, image processing system, imaging device, image processing method, and recording medium storing program code
CN115004685A (zh) 电子装置和用于在电子装置处显示图像的方法
US20120026309A1 (en) Media display system and adjustment method therefor
CN110554556A (zh) 一种用于多屏幕的空间全息互动操控的方法及系统
CN112887653B (zh) 一种信息处理方法和信息处理装置
CN202818497U (zh) 基于高清数字摄像头监控的电子ptz装置
CN209748722U (zh) 一种投影实时交互装置
US11189047B2 (en) Gaze based rendering for audience engagement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination