CN113552944A - 一种智慧宣传系统 - Google Patents
一种智慧宣传系统 Download PDFInfo
- Publication number
- CN113552944A CN113552944A CN202110821334.5A CN202110821334A CN113552944A CN 113552944 A CN113552944 A CN 113552944A CN 202110821334 A CN202110821334 A CN 202110821334A CN 113552944 A CN113552944 A CN 113552944A
- Authority
- CN
- China
- Prior art keywords
- module
- human body
- image
- unit
- capturing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 claims abstract description 29
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 230000000694 effects Effects 0.000 claims abstract description 10
- 230000009471 action Effects 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 12
- 230000003238 somatosensory effect Effects 0.000 claims description 10
- 230000003416 augmentation Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 230000037237 body shape Effects 0.000 claims description 6
- 230000006698 induction Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 3
- 239000006185 dispersion Substances 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000001939 inductive effect Effects 0.000 claims 1
- 230000002452 interceptive effect Effects 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 abstract description 2
- 230000006872 improvement Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000002265 prevention Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开一种智慧宣传系统，包括人体捕捉单元、图像处理单元、多样化交互单元和分享单元；人像抠图模块包括语义估计模块、细节预测模块和细节融合模块；语义估计模块用于粗糙的对前景掩码进行输出；细节预测模块用于对前景的边界进行细粒度描绘；细节融合模块用于将语义估计模块和细节预测模块生成的特征进行混合。本发明通过采用可视化、智能化、现代化的互动方式体验学习，使在宣传时，通过虚拟的方式向群众宣传，提高群众的注意力，使群众快乐的学习，提高群众学习的效果。
Description
技术领域
本发明涉及宣传系统技术领域，具体为一种智慧宣传系统。
背景技术
以往宣传工作大多是采用书文的方式，随着科技的发展，这种形式已无法满足宣传工作的管理和宣传，同时采用传统的书文形式无法做到与时俱进，其管理效率低下，宣传效果死板不易于年青一代所接受。
发明内容
本发明的目的在于提供一种智慧宣传系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提出了一种智慧宣传系统，包括人体捕捉单元、图像处理单元、多样化交互单元和分享单元；
所述人体捕捉单元用于对人体的动作、身体形态进行捕捉，并形成和人体动作相对应的虚拟物体；
所述图像处理单元用于对人体捕捉单元捕捉到的人像从原场景中扣离出来，所述图像处理单元包括图像调节模块和人像抠图模块，其中：
所述图像调节模块用于降低人体背景和环境光的影响效果，以便于人像抠图模块在常规环境下对流媒体中的人体进行扣离；
所述人像抠图模块用于将人体捕捉单元中捕捉到的人体进行扣离，所述人像抠图模块包括语义估计模块、细节预测模块和细节融合模块，其中：
所述语义估计模块用于粗糙的对前景掩码进行输出；
所述细节预测模块用于对前景的边界进行细粒度描绘；
所述细节融合模块用于将语义估计模块和细节预测模块生成的特征进行混合；
所述多样化交互单元用于通过人体捕捉单元捕捉的人体动作对系统中的命令进行控制；
所述分享单元用于将人体在多样化交互单元中交互的过程进行保存。
作为本技术方案的进一步改进，所述人体捕捉单元包括摄像单元、体感感应模块、采集模块和现实增强数据模块；
所述摄像单元用于拍摄并记录人体的动作；
所述体感感应模块用于对人体的体型边缘和人体的动作进行感应；
所述采集模块用于对体感感应模块感应的人体动作和体型边缘进行采集捕捉；
所述现实增强数据模块用于对采集模块捕捉到的人体动作和体型的读取，并根据人体的动作和体型上叠加虚拟物体。
作为本技术方案的进一步改进，所述体感感应模块采用光学感应中的红外传感对人体的动作进行描述。
作为本技术方案的进一步改进，所述语义估计模块采用低分辨率分支用于估计人类语义；
所述细节预测模块采用高分辨率分支用于辨别人像边界；
所述细节预测模块通过识别语义估计模块传输来的低分辨率的图像以及可见光图像的信息，输出一副高分辨率的红外图像，其步骤如下：
首先对低分辨率红外图像进行插值放大操作，使红外图像与可见光图像大小相同；, 便于后续操作；
对插值放大的红外图像采用自适应边缘提取算法提取边缘,获得红外图像边缘；
计算红外图像与可见光图像的相关性,将红外图像的边缘区域分为相关边缘区域和非相关边缘区域；
在相关区域建立红外图像与可见光图像的二次关系模型,并根据此模型对相关边缘区域进行高频估计；
将获取的高频信息与插值放大的图像进行叠加，获得初始高分辨率红外图像；
采用迭代反投影法优化得到最终的高分辨率红外图像。
所述细节融合模块融合分支用来预测最终的前景蒙版。
作为本技术方案的进一步改进，所述自适应边缘提取算法的公式为：
T(x,y)＝ωL(x,y)G(x,y)-ηL(x,y)
其中，T、L、G分别表示为图像的边缘强度图、背景亮度图和梯度图，T(x,y)表示图像中位置为(x,y)的边缘强度，L(x,y)表示图像中位置为(x,y)的背景亮度，G(x,y)表示位置为(x,v)的梯度最大值，ω和η为权重系数，ηL(x,y)项的目的是为了消除光照不均对边缘检测的影响。
作为本技术方案的进一步改进，所述多样化交互单元包括场景建立模块、人机交互模块、隔空操作模块和场景定制模块；
所述场景建立模块用于根据选择的场景进行设定场景并将图像处理单元扣出的人像放入到场景中；
所述人机交互模块用于人体控制人体捕捉单元形成的虚拟物体；
所述隔空操作模块用于人体控制虚拟物体对系统中出现的物体进行操作；
所述场景定制模块用于对2D/3D场景资源进行定制化输入。
作为本技术方案的进一步改进，所述隔空操作模块采用Otsu分割算法对人体的动作进行捕捉，其算法过程为：
设图像I(x,y)的灰度级为L级，那么图像的邻域平均灰度也分为L级；
设f(x,y)为像素点(x,y)的灰度值，g(x,y)为像素点(x,y)为中心的K*K的像素点集合的灰度平均值。令f(x,y)＝i,g(x,y)＝j，形成了一个二元组(i,j)；
设二元组(i,j)出现的次数为fij,求出二元组对应的概率密度
i、j＝1、2、......、L,其中N为图像像素点总数；
任意选取一个阈值向量(s,t)选取的阈值向量将图像的二维直方图划分成4个区域，B、 C区域代表图像的前景和背景,A、D区域代表噪声点；
设C、B两个区域对应的概率分别为ω1，ω2,对应的均值矢量为μ1，μ2，整个图片所对应的均值矢量为UT；
忽略远离主对角线的点，则有:ω1+ω2≈1，并且UT＝ω1*μ1+ω2*μ2，定义一个类间离散矩阵：
SB(s,t)＝ω1(μ1-μT)T(μ1-μT)+ω2(μ2-μT)T(μ2-μT)
为了衡量这个离散矩阵的大小，采用矩阵的迹来代表矩阵的值,其公式为：
Tr(SB(s,t))＝ω1[(μ1i-μTi)2+(μ1i-μTj)2]+ω2[(μ2i-μTi)2+(μ2i-μTj)2]。
作为本技术方案的进一步改进，所述分享单元包括自动截屏模块、实时分享模块和图片保存模块；
所述自动截屏模块用于对人体在多样化交互单元中的动作进行截屏；
所述实时分享模块用于将自动截屏模块截屏的图片进行分享到社交媒体中；
所述图片保存模块用于将自动截屏模块截屏的图片进行保存。
本发明提出的智慧宣传系统包括操控主机、体感摄像头和大屏显示器，所述体感摄像头铰接在操控主机的一侧其线路和操控主机连接，所述体感摄像头的信号线路和操控主机连接。
与现有技术相比，本发明的有益效果如下：
1、该智慧宣传系统中，采用可视化、智能化、现代化的互动方式体验学习，使在宣传时，通过虚拟的方式向群众宣传，提高群众的注意力，使群众快乐的学习，提高群众学习的效果。
2、该智慧宣传系统中，将宣传的学习加入到虚拟AR中，打破传统的时空限制，打造新型宣传学习方法，将虚拟现实技术融合到群众教育活动中。
3、该智慧宣传系统中，采用人体捕捉单元对人体的体型和动作进行捕捉，以便于通过系统根据人体的动作已形成相对应的虚拟物体和人体图像叠合，以便于操作者在使用AR 时，提高操作者的沉浸感与带入感，从而潜移默化的对群众进行影响；
4、该智慧宣传系统中，通过人像抠图模块对图像进行低分辨提取和高分辨输出，免去了使用绿幕IDE麻烦，已达到快速对体验者进行抠除的作用，使使用者感到身临其境的感觉，进而提高宣传的工作效果。
附图说明
图1为本发明实施例1的整体流程框图；
图2为本发明实施例1的人体捕捉单元框图；
图3为本发明实施例1的图像处理单元框图；
图4为本发明实施例1的人像抠图模块框图；
图5为本发明实施例1的多样化交互单元框图；
图6为本发明实施例1的分享单元框图。
图中各个标号意义为：
1、人体捕捉单元；11、摄像单元；12、体感感应模块；13、采集模块；14、现实增强数据模块；
2、图像处理单元；21、图像调节模块；22、人像抠图模块；221、语义估计模块；222、细节预测模块；223、细节融合模块；
3、多样化交互单元；31、场景建立模块；32、人机交互模块；33、隔空操作模块； 34、场景定制模块；
4、分享单元；41、自动截屏模块；42、实时分享模块；43、图片保存模块；
5、操控主机；6、体感摄像头；7、大屏显示器。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
实施例1
请参阅图1-图6所示，本发明提出了一种智慧宣传系统，包括人体捕捉单元1、图像处理单元2、多样化交互单元3和分享单元4，其中：
人体捕捉单元1用于对人体的动作、身体形态进行捕捉，并形成和人体动作相对应的虚拟物体。人体捕捉单元1包括摄像单元11、体感感应模块12、采集模块13和现实增强数据模块14。摄像单元11用于拍摄并记录人体的动作；体感感应模块12用于对人体的体型边缘和人体的动作进行感应；采集模块13用于对体感感应模块12感应的人体动作和体型边缘进行采集捕捉；现实增强数据模块14用于对采集模块13捕捉到的人体动作和体型的读取，并根据人体的动作和体型上叠加虚拟物体。体感感应模块12采用光学感应中的红外传感对人体的动作进行描述。
图像处理单元2用于对人体捕捉单元1捕捉到的人像从原场景中扣离出来。图像处理单元2包括图像调节模块21和人像抠图模块22。图像调节模块21用于降低人体背景和环境光的影响效果，以便于人像抠图模块22在常规环境下对流媒体中的人体进行扣离；人像抠图模块22用于将人体捕捉单元1中捕捉到的人体进行扣离。人像抠图模块22包括语义估计模块221、细节预测模块222和细节融合模块223；语义估计模块221用于粗糙的对前景掩码进行输出；细节预测模块222用于对前景的边界进行细粒度描绘；细节融合模块223用于将语义估计模块221和细节预测模块222生成的特征进行混合。语义估计模块 221采用低分辨率分支用于估计人类语义；细节预测模块222采用高分辨率分支用于辨别人像边界；细节预测模块222通过识别语义估计模块221传输来的低分辨率的图像以及可见光图像的信息，输出一副高分辨率的红外图像，其步骤如下：
首先对低分辨率红外图像进行插值放大操作，使红外图像与可见光图像大小相同；, 便于后续操作；
对插值放大的红外图像采用自适应边缘提取算法提取边缘,获得红外图像边缘；
自适应边缘提取算法的公式为：
T(x,y)＝ωL(x,y)G(x,y)-ηL(x,y)
其中，T、L、G分别表示为图像的边缘强度图、背景亮度图和梯度图，T(x,y)表示图像中位置为(x,y)的边缘强度，L(x,y)表示图像中位置为(x,y)的背景亮度，G(x,y)表示位置为(x,v)的梯度最大值，ω和η为权重系数，ηL(x,y)项的目的是为了消除光照不均对边缘检测的影响，梯度图表示为：
其中，
其中，gk(i,j)为自适应边缘提取的多方向高通滤波；
在辨别人像边界时，需要对人像的边界进行修正，其修正的算法为：
input:B＝(x1,x2,y1,y2)表示人像边界，mask表示透明度遮罩
Output:B′表示修正后的人像边界
1)initialize set B′＝0
2)for i←x1 to x2 do
3)while
4)do y1←y2+1end
5)while
6)do y1←y2-1 end
7)end for
8)for i←y2 to y1 do
9)while
10)do x1←x1-1 end
11)while
12)do x2←x2+1
13)end for
14)B′←(x1,x2,y1,y2)；
计算红外图像与可见光图像的相关性,将红外图像的边缘区域分为相关边缘区域和非相关边缘区域；
在相关区域建立红外图像与可见光图像的二次关系模型,并根据此模型对相关边缘区域进行高频估计；
将获取的高频信息与插值放大的图像进行叠加，获得初始高分辨率红外图像；
采用迭代反投影法优化得到最终的高分辨率红外图像。
细节融合模块223融合分支用来预测最终的前景蒙版。
多样化交互单元3用于通过人体捕捉单元1捕捉的人体动作对系统中的命令进行控制；
多样化交互单元3包括场景建立模块31、人机交互模块32、隔空操作模块33和场景定制模块34；
场景建立模块31用于根据选择的场景进行设定场景并将图像处理单元2扣出的人像放入到场景中；
人机交互模块32用于人体控制人体捕捉单元1形成的虚拟物体；
隔空操作模块33用于人体控制虚拟物体对系统中出现的物体进行操作；
场景定制模块34用于对2D/3D场景资源进行定制化输入。
其中，隔空操作模块33采用Otsu分割算法对人体的动作进行捕捉，其算法过程为：
设图像I(x,y)的灰度级为L级，那么图像的邻域平均灰度也分为L级；
设f(x,y)为像素点(x,y)的灰度值，g(x,y)为像素点(x,y)为中心的K*K的像素点集合的灰度平均值。令f(x,y)＝i,g(x,y)＝j，形成了一个二元组(i,j)；
设二元组(i,j)出现的次数为fij,求出二元组对应的概率密度
i、j＝1、2、......、L,其中N为图像像素点总数；
任意选取一个阈值向量(s,t)选取的阈值向量将图像的二维直方图划分成4个区域，B、 C区域代表图像的前景和背景,A、D区域代表噪声点；
设C、B两个区域对应的概率分别为ω1，ω2,对应的均值矢量为μ1，μ2，整个图片所对应的均值矢量为UT；
忽略远离主对角线的点，则有:ω1+ω2≈1，并且UT＝ω1*μ1+ω2*μ2，定义一个类间离散矩阵：
SB(s,t)＝ω1(μ1-μT)T(μ1-μT)+ω2(μ2-μT)T(μ2-μT)
为了衡量这个离散矩阵的大小，采用矩阵的迹来代表矩阵的值,其公式为：
Tr(SB(s,t))＝ω1[(μ1i-μTi)2+(μ1i-μTj)2]+ω2[(μ2i-μTi)2+(μ2i-μTj)2]。
分享单元4用于将人体在多样化交互单元3中交互的过程进行保存。
分享单元4包括自动截屏模块41、实时分享模块42和图片保存模块43；
自动截屏模块41用于对人体在多样化交互单元3中的动作进行截屏；
实时分享模块42用于将自动截屏模块41截屏的图片进行分享到社交媒体中；
图片保存模块43用于将自动截屏模块41截屏的图片进行保存，并可通过外界设备进行即时打印，同时也可根据扫码关注公众号实时提取互动。
本发明目的之二在于，一种用于卫生防疫科普的AR交互的装置，包括上述中任意一项的用于卫生防疫科普的AR交互系统，包括操控主机、体感摄像头6和大屏显示器7。作为本技术方案的进一步改进，体感摄像头6铰接在操控主机5的一侧，体感摄像头6线路和操控主机5连接，体感摄像头6的信号线路和操控主机5连接。
应用例1
在宣传主题展厅或宣传室中，将大屏显示器7安装在墙壁上，体感摄像头6和操控主机5的位置按照场地的情况放置在合适的位置，使体感摄像头6便于对体验者进行照射；在开始时，体验者站在屏前，体感摄像头6对体验者进行照射，并通过体感感应模块12 对体验者的外形和动作进行捕捉，并通过现实增强数据模块14加强体验者和场地的区别，同时图像调节模块21降低人体背景和环境光的影响效果，再通过人像抠图模块22将体验者扣离原场景，扣离出来的体验者通过场景建立模块31放入到设定的场景中，此时任务的胸前会出现“金色五角星”，自动截屏模块41会自动进行截屏，并通过图片保存模块 43将照片保存；屏幕中间会提示体验者“请举右手齐肩握拳”，屏幕右边会出现誓示词，体验者跟着画外音一起进行宣誓；宣誓结束后，体验者的胸前会佩戴徽章，自动截屏模块 41会自动进行截屏，并通过图片保存模块43将照片保存；体验完成后，体验者可以扫码取照。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (10)
1.一种智慧宣传系统，包括人体捕捉单元(1)、图像处理单元(2)、多样化交互单元(3)和分享单元(4)；
所述人体捕捉单元(1)用于对人体的动作、身体形态进行捕捉，并形成和人体动作相对应的虚拟物体；
所述图像处理单元(2)用于对人体捕捉单元(1)捕捉到的人像从原场景中扣离出来，所述图像处理单元(2)包括图像调节模块(21)和人像抠图模块(22)，其中：
所述图像调节模块(21)用于降低人体背景和环境光的影响效果，以便于人像抠图模块(22)在常规环境下对流媒体中的人体进行扣离；
所述人像抠图模块(22)用于将人体捕捉单元(1)中捕捉到的人体进行扣离，所述人像抠图模块(22)包括语义估计模块(221)、细节预测模块(222)和细节融合模块(223)，其中：
所述语义估计模块(221)用于粗糙的对前景掩码进行输出；
所述细节预测模块(222)用于对前景的边界进行细粒度描绘；
所述细节融合模块(223)用于将语义估计模块(221)和细节预测模块(222)生成的特征进行混合；
所述多样化交互单元(3)用于通过人体捕捉单元(1)捕捉的人体动作对系统中的命令进行控制；
所述分享单元(4)用于将人体在多样化交互单元(3)中交互的过程进行保存。
2.根据权利要求1所述的智慧宣传系统，其特征在于：所述人体捕捉单元(1)包括摄像单元(11)、体感感应模块(12)、采集模块(13)和现实增强数据模块(14)；
所述摄像单元(11)用于拍摄并记录人体的动作；
所述体感感应模块(12)用于对人体的体型边缘和人体的动作进行感应；
所述采集模块(13)用于对体感感应模块(12)感应的人体动作和体型边缘进行采集捕捉；
所述现实增强数据模块(14)用于对采集模块(13)捕捉到的人体动作和体型的读取，并根据人体的动作和体型上叠加虚拟物体。
3.根据权利要求2所述的智慧宣传系统，其特征在于：所述体感感应模块(12)采用光学感应中的红外传感对人体的动作进行描述。
4.根据权利要求1所述的智慧宣传系统，其特征在于：所述语义估计模块(221)采用低分辨率分支用于估计人类语义，所述细节预测模块(222)采用高分辨率分支用于辨别人像边界，所述细节预测模块(222)通过识别语义估计模块(221)传输来的低分辨率的图像以及可见光图像的信息，输出一副高分辨率的红外图像，其步骤如下：
首先对低分辨率红外图像进行插值放大操作，使红外图像与可见光图像大小相同；,便于后续操作；
对插值放大的红外图像采用自适应边缘提取算法提取边缘,获得红外图像边缘；
计算红外图像与可见光图像的相关性,将红外图像的边缘区域分为相关边缘区域和非相关边缘区域；
在相关区域建立红外图像与可见光图像的二次关系模型,并根据此模型对相关边缘区域进行高频估计；
将获取的高频信息与插值放大的图像进行叠加，获得初始高分辨率红外图像；
采用迭代反投影法优化得到最终的高分辨率红外图像；
所述细节融合模块(223)融合分支用来预测最终的前景蒙版。
5.根据权利要求4所述的智慧宣传系统，其特征在于：所述自适应边缘提取算法的公式为：
T(x,y)＝ωL(x,y)G(x,y)-ηL(x,y)
其中，T、L、G分别表示为图像的边缘强度图、背景亮度图和梯度图，T(x,y)表示图像中位置为(x,y)的边缘强度，L(x,y)表示图像中位置为(x,y)的背景亮度，G(x,y)表示位置为(x,v)的梯度最大值，ω和η为权重系数，ηL(x,y)项的目的是为了消除光照不均对边缘检测的影响。
6.根据权利要求1所述的智慧宣传系统，其特征在于：所述多样化交互单元(3)包括场景建立模块(31)、人机交互模块(32)、隔空操作模块(33)和场景定制模块(34)；
所述场景建立模块(31)用于根据选择的场景进行设定场景并将图像处理单元(2)扣出的人像放入到场景中；
所述人机交互模块(32)用于人体控制人体捕捉单元(1)形成的虚拟物体；
所述隔空操作模块(33)用于人体控制虚拟物体对系统中出现的物体进行操作；
所述场景定制模块(34)用于对2D/3D场景资源进行定制化输入。
7.根据权利要求6所述的智慧宣传系统，其特征在于：所述隔空操作模块(33)采用Otsu分割算法对人体的动作进行捕捉，其算法过程为：
设图像I(x,y)的灰度级为L级，那么图像的邻域平均灰度也分为L级；
设f(x,y)为像素点(x,y)的灰度值，g(x,y)为像素点(x,y)为中心的K*K的像素点集合的灰度平均值。令f(x,y)＝i,g(x,y)＝j，形成了一个二元组(i,j)；
设二元组(i,j)出现的次数为fij,求出二元组对应的概率密度
i、j＝1、2、......、L,其中N为图像像素点总数；
任意选取一个阈值向量(s,t)选取的阈值向量将图像的二维直方图划分成4个区域，B、C区域代表图像的前景和背景,A、D区域代表噪声点；
设C、B两个区域对应的概率分别为ω1，ω2,对应的均值矢量为μ1，μ2，整个图片所对应的均值矢量为UT；
忽略远离主对角线的点，则有:ω1+ω2≈1，并且UT＝ω1*μ1+ω2*μ2，定义一个类间离散矩阵：
SB(s,t)＝ω1(μ1-μT)T(μ1-μT)+ω2(μ2-μT)T(μ2-μT)
为了衡量这个离散矩阵的大小，采用矩阵的迹来代表矩阵的值,其公式为：
8.根据权利要求1所述的智慧宣传系统，其特征在于：所述分享单元(4)包括自动截屏模块(41)、实时分享模块(42)和图片保存模块(43)；
所述自动截屏模块(41)用于对人体在多样化交互单元(3)中的动作进行截屏；
所述实时分享模块(42)用于将自动截屏模块(41)截屏的图片进行分享到社交媒体中；
所述图片保存模块(43)用于将自动截屏模块(41)截屏的图片进行保存。
9.一种智慧宣传系统，其特征在于：包括权利要求1-8中任意一项所述的智慧宣传系统、操控主机(5)、体感摄像头(6)和大屏显示器(7)。
10.根据权利要求9所述的智慧宣传系统，其特征在于：所述体感摄像头(6)铰接在操控主机(5)的一侧其线路和操控主机(5)连接，所述体感摄像头(6)的信号线路和操控主机(5)连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110821334.5A CN113552944B (zh) | 2021-07-20 | 2021-07-20 | 一种智慧宣传系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110821334.5A CN113552944B (zh) | 2021-07-20 | 2021-07-20 | 一种智慧宣传系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113552944A true CN113552944A (zh) | 2021-10-26 |
| CN113552944B CN113552944B (zh) | 2024-03-08 |
Family
ID=78103615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110821334.5A Active CN113552944B (zh) | 2021-07-20 | 2021-07-20 | 一种智慧宣传系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113552944B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116342964A (zh) * | 2023-05-24 | 2023-06-27 | 杭州有朋网络技术有限公司 | 针对于电子商务平台的图片宣传的风控系统及其方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150091891A1 (en) * | 2013-09-30 | 2015-04-02 | Dumedia, Inc. | System and method for non-holographic teleportation |
| CN107092347A (zh) * | 2017-03-10 | 2017-08-25 | 深圳市博乐信息技术有限公司 | 一种增强现实互动系统及图像处理方法 |
| CN110046936A (zh) * | 2019-04-18 | 2019-07-23 | 深圳市博乐信息技术有限公司 | 基于增强现实技术的人机广告交互方法与系统 |
| CN110427100A (zh) * | 2019-07-03 | 2019-11-08 | 武汉子序科技股份有限公司 | 一种基于深度摄像头的动作姿态捕捉系统 |
| CN110933290A (zh) * | 2019-05-08 | 2020-03-27 | 天津科技大学 | 一种基于人机交互的虚拟拍照综合系统及方法 |
| CN110969454A (zh) * | 2018-09-28 | 2020-04-07 | 快创科技（大连）有限公司 | 一种基于智能产品画册的化妆品宣传推广系统 |
| CN111583287A (zh) * | 2020-04-23 | 2020-08-25 | 浙江大学 | 一种用于精细人像图片分割的深度学习模型训练方法 |
| US20210074065A1 (en) * | 2019-09-06 | 2021-03-11 | Speed 3D Inc. | Interactive augmented reality image capturing system |
-
2021
- 2021-07-20 CN CN202110821334.5A patent/CN113552944B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150091891A1 (en) * | 2013-09-30 | 2015-04-02 | Dumedia, Inc. | System and method for non-holographic teleportation |
| CN107092347A (zh) * | 2017-03-10 | 2017-08-25 | 深圳市博乐信息技术有限公司 | 一种增强现实互动系统及图像处理方法 |
| CN110969454A (zh) * | 2018-09-28 | 2020-04-07 | 快创科技（大连）有限公司 | 一种基于智能产品画册的化妆品宣传推广系统 |
| CN110046936A (zh) * | 2019-04-18 | 2019-07-23 | 深圳市博乐信息技术有限公司 | 基于增强现实技术的人机广告交互方法与系统 |
| CN110933290A (zh) * | 2019-05-08 | 2020-03-27 | 天津科技大学 | 一种基于人机交互的虚拟拍照综合系统及方法 |
| CN110427100A (zh) * | 2019-07-03 | 2019-11-08 | 武汉子序科技股份有限公司 | 一种基于深度摄像头的动作姿态捕捉系统 |
| US20210074065A1 (en) * | 2019-09-06 | 2021-03-11 | Speed 3D Inc. | Interactive augmented reality image capturing system |
| CN111583287A (zh) * | 2020-04-23 | 2020-08-25 | 浙江大学 | 一种用于精细人像图片分割的深度学习模型训练方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116342964A (zh) * | 2023-05-24 | 2023-06-27 | 杭州有朋网络技术有限公司 | 针对于电子商务平台的图片宣传的风控系统及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113552944B (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210012127A1 (en) | Action recognition method and apparatus, driving action analysis method and apparatus, and storage medium | |
| CN103927016B (zh) | 一种基于双目视觉的实时三维双手手势识别方法及其系统 | |
| Hsieh et al. | A real time hand gesture recognition system using motion history image | |
| US11176355B2 (en) | Facial image processing method and apparatus, electronic device and computer readable storage medium | |
| KR101198322B1 (ko) | 얼굴 표정 인식 방법 및 시스템 | |
| Yu et al. | Vision-based hand gesture recognition using combinational features | |
| Dash et al. | Designing of marker-based augmented reality learning environment for kids using convolutional neural network architecture | |
| CN112733802B (zh) | 图像的遮挡检测方法、装置、电子设备及存储介质 | |
| CN108268864A (zh) | 人脸识别方法、系统、电子设备和计算机程序产品 | |
| CN111767760A (zh) | 活体检测方法和装置、电子设备及存储介质 | |
| CN101601287A (zh) | 产生照片级真实感图像缩略图的设备和方法 | |
| JP2006506164A5 (zh) | ||
| US11159717B2 (en) | Systems and methods for real time screen display coordinate and shape detection | |
| CN112530019A (zh) | 三维人体重建方法、装置、计算机设备和存储介质 | |
| CN111080670A (zh) | 图像提取方法、装置、设备及存储介质 | |
| KR20130120175A (ko) | 캐리커처 자동 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 | |
| CN111626912A (zh) | 水印去除方法及装置 | |
| CN111638784A (zh) | 人脸表情互动方法、互动装置以及计算机存储介质 | |
| CN115035581A (zh) | 面部表情识别方法、终端设备及存储介质 | |
| CN114445853A (zh) | 一种视觉手势识别系统识别方法 | |
| CN113552944A (zh) | 一种智慧宣传系统 | |
| CN105468249B (zh) | 智能互动系统及其控制方法 | |
| CN108682021A (zh) | 快速手部跟踪方法、装置、终端及存储介质 | |
| CN112199015A (zh) | 智能交互一体机及其书写方法、装置 | |
| CN116912827A (zh) | 基于大模型的可交互式标注方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |