CN114296556A - 一种基于人体姿态的交互显示方法、装置和系统 - Google Patents
一种基于人体姿态的交互显示方法、装置和系统 Download PDFInfo
- Publication number
- CN114296556A CN114296556A CN202111671624.2A CN202111671624A CN114296556A CN 114296556 A CN114296556 A CN 114296556A CN 202111671624 A CN202111671624 A CN 202111671624A CN 114296556 A CN114296556 A CN 114296556A
- Authority
- CN
- China
- Prior art keywords
- human body
- interactive
- display
- control instruction
- depth image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于人体姿态的交互显示方法、装置和系统，用以解决显示画面的交互性差的问题。本申请提供的方案包括：获取深度采集设备对交互区域采集的深度图像；根据目标检测算法识别深度图像中包含人体图像的目标区域；根据目标区域的基准像素值和深度图像的目标区域的像素值识别深度图像中的人体姿态轮廓；根据人体姿态轮廓生成匹配的显示控制指令；将显示控制指令发送至交互显示设备，以控制交互显示设备根据交互画面信息显示与人体姿态轮廓匹配的交互画面。本发明实施例的方案中，深度图像能表征交互区域内的人或物体形态，进而识别出人体姿态轮廓并显示出相应的画面，实现交互性显示，且不受环境明暗影响，能广泛适用于各种场景。
Description
技术领域
本发明涉及显示控制领域，尤其涉及一种基于人体姿态的交互显示方法、装置和系统。
背景技术
在商场内、商业街、车站牌等公共领域，往往会通过显示屏、展示画的形式展示画面。为了吸引行人的注意，显示屏往往会播放动态画面，以生动的形式显示宣传内容。但是，宣传形式越来越丰富，生动的画面已经难以吸引行人的注意。为了优化显示宣传效果，需要增强显示画面的交互性。
如何提高显示画面的交互性，是本申请所要解决的技术问题。
发明内容
本申请实施例的目的是提供一种基于人体姿态的交互显示方法、装置和系统，用以解决显示画面的交互性差的问题。
第一方面，提供了一种基于人体姿态的交互显示方法，包括：
获取深度采集设备对交互区域采集的深度图像，所述深度图像包括阵列排布的多个表征距离的像素值，所述交互区域用于与交互显示设备的显示画面进行交互；
根据目标检测算法识别所述深度图像中包含人体图像的目标区域；
根据所述目标区域的基准像素值和所述深度图像的目标区域的像素值识别所述深度图像中的人体姿态轮廓；
根据所述人体姿态轮廓生成匹配的显示控制指令，所述显示控制指令携带与所述人体姿态轮廓匹配的交互画面信息；
将所述显示控制指令发送至交互显示设备，以控制所述交互显示设备根据所述交互画面信息显示与所述人体姿态轮廓匹配的交互画面。
第二方面，提供了一种基于人体姿态的交互显示装置，包括：
获取模块，获取深度采集设备对交互区域采集的深度图像，所述深度图像包括阵列排布的多个表征距离的像素值，所述交互区域用于与交互显示设备的显示画面进行交互；
第一识别模块，根据目标检测算法识别所述深度图像中包含人体图像的目标区域；
第二识别模块，根据所述目标区域的基准像素值和所述深度图像的目标区域的像素值识别所述深度图像中的人体姿态轮廓；
生成模块，根据所述人体姿态轮廓生成匹配的显示控制指令，所述显示控制指令携带与所述人体姿态轮廓匹配的交互画面信息；
发送模块，将所述显示控制指令发送至交互显示设备，以控制所述交互显示设备根据所述交互画面信息显示与所述人体姿态轮廓匹配的交互画面。
第三方面，提供了一种基于人体姿态的交互显示系统，包括：
如第二方面所述的基于人体姿态的交互显示装置；
与所述基于人体姿态的交互显示装置通信连接的深度传感器，用于采集交互区域的深度图像，所述交互区域用于与交互显示设备的显示画面进行交互；
与所述基于人体姿态的交互显示装置通信连接的交互显示设备，用于显示与所述交互区域的深度图像中的人体姿态轮廓匹配的交互画面；
电源，与所述基于人体姿态的交互显示装置、所述深度传感器和所述交互显示设备电连接，用于向所述基于人体姿态的交互显示装置、所述深度传感器和所述交互显示设备供电。
第四方面，提供了一种电子设备，该电子设备包括处理器、存储器及存储在该存储器上并可在该处理器上运行的计算机程序，该计算机程序被该处理器执行时实现如第一方面的方法的步骤。
第五方面，提供了一种计算机可读存储介质，该计算机可读存储介质上存储计算机程序，该计算机程序被处理器执行时实现如第一方面的方法的步骤。
在本申请实施例中，通过获取深度采集设备对交互区域采集的深度图像，深度图像包括阵列排布的多个表征距离的像素值，交互区域用于与交互显示设备的显示画面进行交互；根据目标检测算法识别深度图像中包含人体图像的目标区域；根据目标区域的基准像素值和深度图像的目标区域的像素值识别深度图像中的人体姿态轮廓；根据人体姿态轮廓生成匹配的显示控制指令，显示控制指令携带与人体姿态轮廓匹配的交互画面信息；将显示控制指令发送至交互显示设备，以控制交互显示设备根据交互画面信息显示与人体姿态轮廓匹配的交互画面。其中，深度图像能表征交互区域内的人或物体形态，进而识别出人体姿态轮廓并显示出相应的画面。深度图像不受光线影响，本方案能应用于逆光场景，也适用于光照不足的夜晚场景。本方案通过目标检测算法来识别人体图像，进而识别出人体姿态轮廓，以生成相匹配的显示控制指令，使交互显示设备显示出与人体姿态相匹配的交互画面，实现交互显示功能。本方案能增强画面显示交互性，增加互动趣味性，有利于增强显示宣传效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明的一个实施例一种基于人体姿态的交互显示方法的流程示意图之一。
图2是本发明的一个实施例一种基于人体姿态的交互显示方法的流程示意图之二。
图3是本发明的一个实施例一种基于人体姿态的交互显示方法的流程示意图之三。
图4是本发明的一个实施例一种基于人体姿态的交互显示方法的流程示意图之四。
图5是本发明的一个实施例一种基于人体姿态的交互显示方法的流程示意图之五。
图6是本发明的一个实施例一种基于人体姿态的交互显示装置的流程示意图。
图7是本发明的一个实施例一种基于人体姿态的交互显示系统的结构示意图。
图8是本发明的一个实施例一种基于人体姿态的交互显示系统的场景示意图之一。
图9是本发明的一个实施例一种基于人体姿态的交互显示系统的场景示意图之二。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本申请中附图编号仅用于区分方案中的各个步骤，不用于限定各个步骤的执行顺序，具体执行顺序以说明书中描述为准。
为了解决现有技术中存在的问题，本申请实施例提供一种基于人体姿态的交互显示方法。本申请实施例提供的方案可以应用于商场、停车场等室内场所，也可以应用于商业街、广场等室外场所。如图1所示，本方案包括以下步骤：
S11：获取深度采集设备对交互区域采集的深度图像，所述深度图像包括阵列排布的多个表征距离的像素值，所述交互区域用于与交互显示设备的显示画面进行交互。
上述深度采集设备可以是用于采集深度图像的设备，例如可以是飞行时间(Timeof Flight，TOF)摄像头。在实际应用中，可以通过一个或多个TOF摄像头对交互区域采集深度图像。深度图像可以通过阵列排布的多个像素值展现，每个像素值表达摄像头与相应点位之间的距离。
上述交互区域用于与交互显示设备的显示画面进行交互，可选的，交互区域可以位于交互显示设备显示画面的一侧，使位于交互区域内的用户能观看到显示画面，从而优化交互体验。
其中，交互区域与交互显示设备的显示画面的相对位置可以根据环境需求设定。举例而言，交互显示设备的显示画面可以垂直于地面设置，交互区域可以是显示画面前方的区域，用户可以站在交互区域内面对显示画面做出不同的动作，由交互显示设备显示相应的交互画面，实现交互显示。
或者，交互显示设备可以是地砖屏，交互区域可以是地砖屏所在的区域，用户可以站在地砖屏上做出动作，由地砖屏显示交互画面。再或者，交互显示设备也可以是悬挂在高处的“天幕”，朝地面方向显示交互画面。交互区域可以是交互显示设备相应的地面区域。用户可以站在交互区域内做动作，并抬头观看悬挂在上空的交互画面。
另外，交互显示设备可以是多个显示子设备拼接成一体的显示屏，或是多个相互间隔的显示屏，也可以是柔性显示屏、透明显示屏等。在实际应用中，可以根据环境需求来选择合适的交互显示设备。
S12：根据目标检测算法识别所述深度图像中包含人体图像的目标区域。
上述目标检测算法可以是利用预训练的模型识别目标在图像中的位置的方法，也可以称为物体检测算法。换言之，目标检测算法用于识别图像中是否有目标，在有目标的情况下确定目标所在区域。在实际应用中，目标检测算法的种类很多，例如RCNN(RecurrentConvolutional Neural Networks)算法、Fast RCNN算法、Faster RCNN算法、FPN(FeaturePyramid Networks)算法等。本申请实施例以Faster RCNN算法进行说明，该Faster RCNN算法整合了特征抽取、proposal提取、bounding box regression、classification等通能，具有较优的综合性能，能够实现高速准确的目标检测。
在本步骤中，可以通过预训练的人体识别模型来识别深度图像中包含人体图像的目标区域。当人体识别模型识别到深度图像中包含人体，则框定人体所在的区域作为目标区域，该目标区域也可以称为检测框，检测框可以是矩形。
S13：根据所述目标区域的基准像素值和所述深度图像的目标区域的像素值识别所述深度图像中的人体姿态轮廓。
基于上述步骤识别的包含人体图像的目标区域，本步骤中从目标区域中根据像素值识别出人体姿态轮廓。
可选的，基准像素值可以是在目标区域内没有行人或移动物体的情况下，预先由深度采集设备采集到的深度图像的像素值。基于上述步骤识别得到的目标区域，将包含人体图像的像素值与预先采集到的基准像素值进行比对，根据像素值差值来确定人体所在区域。
具体的，深度采集摄像头往往是通过发射脉冲光并接收反射回的脉冲光来确定时间差，推算出摄像头与物体之间的距离。本步骤中预先采集的基准像素值是交互区域内没有人的情况下摄像头与环境物体之间的距离。如果有人进入交互区域，由深度采集摄像头发射的脉冲光会更早接触到反射面(即人体表面)，即脉冲光的飞行时间更短，更快反射回深度采集摄像头。
通过比对基准像素值与同一位置的包含人体图像的像素值之间的差值，即可确定出该位置是否是人体所在位置，从而将人体所在位置的像素筛选出来，从而确定出人体姿态轮廓。
在本步骤中，人体姿态轮廓可以是不规则的闭合图形，该图形内的像素所在位置即人体在深度图像中的位置。
可选的，还可以在一段时间内连续获取深度图像，通过差帧算法优化识别到的人体姿态轮廓的准确性。或者，结合编码、视觉词袋(visual bag of words)等方法提高人体姿态轮廓的准确性。
S14：根据所述人体姿态轮廓生成匹配的显示控制指令，所述显示控制指令携带与所述人体姿态轮廓匹配的交互画面信息。
在本步骤中，可以基于预设对应关系确定与上述步骤识别得到的人体姿态轮廓匹配的显示控制指令。举例而言，当人体姿态轮廓与预设人体姿态轮廓的形状匹配度大于或等于预设匹配度，则显示第一画面，如果匹配度小于预设匹配度，则显示第二画面。
其中，显示控制指令可以根据交互显示设备的功能确定。
比如，当交互显示设备包括多个单色LED(light-emitting diode)时，交互画面信息中可以包括开启哪些LED，或者，关闭哪些LED。
当交互显示设备包括多个彩色LED时，交互画面信息中还可以包括开启的LED的颜色值，该颜色值也可以是基于时间变化的，从而使显示画面展现出变色的显示效果。
如果交互显示设备包括可调节亮度的LED，那么，交互画面信息中也可以包括LED的亮度值，该亮度值也可以是基于时间变化的，从而使显示画面展现出频闪、跑马灯等丰富的显示效果。
S15：将所述显示控制指令发送至交互显示设备，以控制所述交互显示设备根据所述交互画面信息显示与所述人体姿态轮廓匹配的交互画面。
本步骤中，通过将显示控制指令发送至交互显示设备的方式，控制交互显示设备显示交互画面。
其中，显示控制指令可以通过有线或无线的方式，直接或间接发送至交互显示设备。如果交互显示设备是由多个子设备拼接成一体的显示设备，还可以通过处理器对显示控制指令进行解析，根据子设备所在位置执行指令的下发，从而控制交互显示设备整体显示出交互画面。
本方案可以应用于商场等场所，实现用户与显示屏的交互。其中，深度图像能表征交互区域内的人或物体形态，进而识别出人体姿态轮廓并显示出相应的画面。深度图像不受光线影响，本方案能应用于逆光场景，也适用于光照不足的夜晚场景。本方案通过目标检测算法来识别人体图像，进而识别出人体姿态轮廓，以生成相匹配的显示控制指令，使交互显示设备显示出与人体姿态相匹配的交互画面，实现交互显示功能。本方案能增强画面显示交互性，增加互动趣味性，有利于增强显示宣传效果。
基于上述实施例提供的方案，可选的，如图2所示，上述步骤S14，根据所述人体姿态轮廓生成匹配的显示控制指令，包括：
S21：将所述人体形态轮廓按预设比例模拟投影至所述交互显示设备的显示画面上。
本步骤中，对识别得到的人体形态轮廓进行缩放，并模拟投影至显示画面。
可选的，对人体形态轮廓进行缩放，使缩放后的人体形态轮廓在模拟投影后的显示画面中完整显示。
可选的，还可以对人体形态轮廓进行旋转、水平或垂直翻转等图像处理。或者，根据人体形态轮廓的连通性进行优化等。
S22：确定所述显示画面中位于投影后的人体形态轮廓内的第一像素点和位于投影后的人体形态轮廓外的第二像素点。
基于上述步骤模拟投影后的人体形态轮廓，该封闭图形对显示画面中的各像素点进行了划分。本步骤中，确定出人体形态轮廓内的第一像素点，以及人体形态轮廓外的第二像素点。本步骤中通过人体形态轮廓对显示画面进行分割，得到对应于人体形态的第一像素点和对应于背景的第二像素点。
S23：根据所述第一像素点和所述第二像素点生成所述显示控制指令，所述显示控制指令用于控制所述交互显示设备的所述第一像素点以第一状态发光且所述第二像素点以第二状态发光，其中，所述第一状态与所述第二状态不同。
在本步骤中，对第一像素点和第二像素点设置不同的发光状态，以生成显示控制指令。生成的显示控制指令用于控制第一像素点和第二像素点差异性发光，使得交互画面上能展现出近似于人体形态的画面。
具体的，第一状态与第二状态不同。其中，发光状态可以根据交互显示设备的功能设定。比如说，第一状态为高亮度，第二状态为低亮度。再比如，第一状态为发红光，第二状态为发白光。
通过本申请实施例提供的方案，根据人体形态轮廓模拟投影到显示画面的方式，划分得到表征人体形态的第一像素点和表征背景的第二像素点，生成的显示控制指令能够控制交互显示设备显示出与交互区域内的人体姿态相似的图形，有效提升显示交互性，提高交互趣味性。
基于上述实施例提供的方案，可选的，如图3所示，在步骤S21之后，还包括：
S31：确定与所述投影后的人体形态轮廓重合的第三像素点。
本步骤中，将与投影后的人体形态轮廓重合的像素点确定为第三像素点，该第三像素点表征人体形态轮廓，用于分隔上述第一像素点和第二像素点。该第三像素点可以作为轮廓边框强化显示第一像素点的形状，能有利于实现丰富有趣的交互画面。
其中，上述步骤S23，包括：
S32：根据所述第一像素点、所述第二像素点和所述第三像素点生成所述显示控制指令，所述显示控制指令还用于控制所述交互显示设备的所述第三像素点以第三状态发光，其中，所述第三状态与所述第一状态或所述第二状态不同。
通过本申请实施例生成的显示控制指令，不仅能控制表征人体姿态的第一像素点与表征背景的第二像素点差异化显示，还通过第三像素点强化第一像素点的轮廓，使第一像素点显示效果更佳突出，优化交互画面的显示效果。
基于上述实施例提供的方案，可选的，如图4所示，上述步骤S12，包括：
S41：将所述深度图像输入预训练的目标检测模型Faster RCNN，以获取所述人体识别模型输出的所述目标区域。
本申请实施例通过Faster RCNN实现人体目标检测，该目标检测模型可以是预先训练得到的，本实施例对目标检测模型的预先训练方法进行介绍。
预先获取用于训练模型的样本数据，该样本数据可以为包含人体的深度图像，对应的样本标签表征该样本图像是否包含人体。其中，样本图像中可以包括各种姿态的人体，用以优化模型识别效果。
Faster RCNN目标检测模型的损失函数定义如下：
其中i表示第i个先验框anchor，pi是第i个anchor是目标的预测概率，该anchor是正pi*＝1，负pi*＝0。在本实施例中，ti是4维向量，即边框回归(Bounding-Box，bbox)的参数化坐标。ti*表示和正anchor相关联的真值bbox；Lcls表示二分类的log loss(是否是目标)，Lreg表示robust loss(Fast RCNN中)。
进一步的，上述bbox坐标如下：
tx＝(x-xa)/wa，ty＝(y-ya)/ha，
tw＝log(w/wa)，th＝log(h/ha)，
其中，x表示预测值，xa表示anchor值，x*表示真值；y表示预测值，ya表示anchor值，y*表示真值；相应的，w、t、h的表示方式与上述x和y相同。
基于上述实施例提供的方案，可选的，如图5所示，上述步骤S14之后，还包括：
S51：根据所述显示控制指令生成匹配的照明控制指令，所述照明控制指令用于控制照明设备对所述交互区域中包含人体图像的目标区域进行照明。
在本步骤中，基于显示控制指令生成匹配的照明控制指令，该照明控制指令用于优化交互画面的交互效果。
其中，照明设备例如可以是射灯、地板屏等设备。照明控制指令具体可以根据照明设备的类型与功能设定，例如，根据显示控制指令中的显示颜色，控制射灯以相同颜色发光，从而对交互区域中对应于目标区域的位置进行照明。
或者，控制地板屏在交互区域中对应于目标区域的位置亮起，使位于交互区域中的用户脚下的地面亮起，增加互动性和趣味性。
S52：将所述照明控制指令发送至所述照明设备。
在本步骤中，可以通过有线或无线的方式发送照明控制指令。如果照明设备有多个，则可以对照明控制指令进行解析，将解析后的照明控制指令发送至相应的照明设备，以优化对目标区域的照明效果。
为了解决现有技术中存在的问题，本申请实施例还提供一种基于人体姿态的交互显示装置60，如图6所示，包括：
获取模块61，获取深度采集设备对交互区域采集的深度图像，所述深度图像包括阵列排布的多个表征距离的像素值，所述交互区域用于与交互显示设备的显示画面进行交互；
第一识别模块62，根据目标检测算法识别所述深度图像中包含人体图像的目标区域；
第二识别模块63，根据所述目标区域的基准像素值和所述深度图像的目标区域的像素值识别所述深度图像中的人体姿态轮廓；
生成模块64，根据所述人体姿态轮廓生成匹配的显示控制指令，所述显示控制指令携带与所述人体姿态轮廓匹配的交互画面信息；
发送模块65，将所述显示控制指令发送至交互显示设备，以控制所述交互显示设备根据所述交互画面信息显示与所述人体姿态轮廓匹配的交互画面。
本申请实施例提供的装置可以应用于商场等场所，实现用户与显示屏的交互。其中，深度图像能表征交互区域内的人或物体形态，进而识别出人体姿态轮廓并显示出相应的画面。深度图像不受光线影响，本方案能应用于逆光场景，也适用于光照不足的夜晚场景。本方案通过目标检测算法来识别人体图像，进而识别出人体姿态轮廓，以生成相匹配的显示控制指令，使交互显示设备显示出与人体姿态相匹配的交互画面，实现交互显示功能。本方案能增强画面显示交互性，增加互动趣味性，有利于增强显示宣传效果。
另外，其中，本申请实施例提供的装置中的上述模块还可以实现上述方法实施例提供的方法步骤。或者，本申请实施例提供的装置还可以包括除上述模块以外的其他模块，用以实现上述方法实施例提供的方法步骤。且本申请实施例提供的装置能够实现上述方法实施例所能达到的技术效果。
为了解决现有技术中存在的问题，本申请实施例还提供一种基于人体姿态的交互显示系统，如图7所示，包括：
如上述实施例所述的基于人体姿态的交互显示装置71；
与所述基于人体姿态的交互显示装置71通信连接的深度传感器72，用于采集交互区域的深度图像，所述交互区域用于与交互显示设备的显示画面进行交互；
与所述基于人体姿态的交互显示装置71通信连接的交互显示设备73，用于显示与所述交互区域的深度图像中的人体姿态轮廓匹配的交互画面；
电源74，与所述基于人体姿态的交互显示装置71、所述深度传感器72和所述交互显示设备73电连接，用于向所述基于人体姿态的交互显示装置71、所述深度传感器72和所述交互显示设备供电73。
在本申请实施例提供的系统中，基于人体姿态的交互显示装置具体可以是处理器，或是具有数据处理功能的笔记本、手机、智能手表等。
深度传感器具体可以是TOF摄像头，用于采集交互区域的深度图像。可选的，该TOF摄像头的数量可以有多个。具体可以设置在交互区域周边，也可以设置在交互显示设备的边框上。
交互显示设备可以是具有显示功能的设备，该交互显示设备可以垂直于地面设备，也可以作为地板屏设置在地板上，或者作为“天幕”悬挂在空中并向地面方向显示交互画面。
另外，交互显示设备可以是柔性屏，也可以是透明屏，具体可以根据实际需求设定。
本申请实施例提供的系统可以应用于商场等场所，实现用户与显示屏的交互。其中，深度图像能表征交互区域内的人或物体形态，进而识别出人体姿态轮廓并显示出相应的画面。深度图像不受光线影响，本方案能应用于逆光场景，也适用于光照不足的夜晚场景。本方案通过目标检测算法来识别人体图像，进而识别出人体姿态轮廓，以生成相匹配的显示控制指令，使交互显示设备显示出与人体姿态相匹配的交互画面，实现交互显示功能。本方案能增强画面显示交互性，增加互动趣味性，有利于增强显示宣传效果。
基于上述实施例提供的系统，所述交互显示设备包括发光显示屏，所述发光显示屏包括阵列排布的发光二极管LED或荧光灯。
上述发光二极管能高效地将电能转换成光能，具有体积小、易集成、可实现的发光颜色多等优点。
与LED相比，荧光灯具有更优的装饰性效果，寿命长且光效高，由于其具有显色好的优点，尤其适用于构建展示性画面，能够起到优化显示画面，吸引行人的效果。
基于上述实施例提供的系统，如图8所示，所述发光显示屏垂直于地面设置；
所述深度传感器设置于所述发光显示屏的边框位置，用于采集所述发光显示屏的显示画面一侧的相邻的交互区域的深度图像。
在本实施例提供的系统中，发光显示屏垂直设置于地面上，且深度传感器设置在发光显示屏的边框位置。
可选的，深度传感器设置在发光显示屏的远离地面的边框上，用以从较高位置拍摄交互区域的深度图像。在交互区域中的人数较多的情况下，从较高的位置拍摄交互区域的深度图像，能避免多人之间相互遮挡，提高识别人体姿态轮廓的准确性。
其中，交互区域设置在发光显示屏的显示画面一侧的地面上，站在交互区域内的用户可以直接观看到发光显示屏的显示画面，实时看到交互画面能进一步增强互动性。
基于上述实施例提供的方案，如图9所示，系统还包括：
与所述基于人体姿态的交互显示装置通信连接的至少一个照明设备，所述照明设备用于对所述交互区域中包含人体图像的目标区域进行照明。
上述照明设备例如包括射灯、地板屏等设备。上述射灯可以设置于交互显示设备的边框上，地板屏可以设置于交互区域中。站在交互区域中的用户不仅能看到交互显示设备的交互画面，还能看到所在位置的地板屏亮起、射灯照射到自己所在的位置。本申请实施例提供的系统，能在交互画面提供交互显示功能的基础上，进一步通过照明设备增强交互体验，提高互动趣味性。
优选的，本发明实施例还提供一种电子设备，包括处理器，存储器，存储在存储器上并可在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述一种基于人体姿态的交互显示方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述一种基于人体姿态的交互显示方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(RandomAccess Memory，简称RAM)、磁碟或者光盘等。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (12)
1.一种基于人体姿态的交互显示方法，其特征在于，包括：
获取深度采集设备对交互区域采集的深度图像，所述深度图像包括阵列排布的多个表征距离的像素值，所述交互区域用于与交互显示设备的显示画面进行交互；
根据目标检测算法识别所述深度图像中包含人体图像的目标区域；
根据所述目标区域的基准像素值和所述深度图像的目标区域的像素值识别所述深度图像中的人体姿态轮廓；
根据所述人体姿态轮廓生成匹配的显示控制指令，所述显示控制指令携带与所述人体姿态轮廓匹配的交互画面信息；
将所述显示控制指令发送至交互显示设备，以控制所述交互显示设备根据所述交互画面信息显示与所述人体姿态轮廓匹配的交互画面。
2.如权利要求1所述的方法，其特征在于，根据所述人体姿态轮廓生成匹配的显示控制指令，包括：
将所述人体形态轮廓按预设比例模拟投影至所述交互显示设备的显示画面上；
确定所述显示画面中位于投影后的人体形态轮廓内的第一像素点和位于投影后的人体形态轮廓外的第二像素点；
根据所述第一像素点和所述第二像素点生成所述显示控制指令，所述显示控制指令用于控制所述交互显示设备的所述第一像素点以第一状态发光且所述第二像素点以第二状态发光，其中，所述第一状态与所述第二状态不同。
3.如权利要求2所述的方法，其特征在于，将所述人体形态轮廓按预设比例模拟投影至所述交互显示设备的显示画面上之后，还包括：
确定与所述投影后的人体形态轮廓重合的第三像素点；
其中，根据所述第一像素点和所述第二像素点生成所述显示控制指令，包括：
根据所述第一像素点、所述第二像素点和所述第三像素点生成所述显示控制指令，所述显示控制指令还用于控制所述交互显示设备的所述第三像素点以第三状态发光，其中，所述第三状态与所述第一状态或所述第二状态不同。
4.如权利要求1所述的方法，其特征在于，根据目标检测算法识别所述深度图像中包含人体图像的目标区域，包括：
将所述深度图像输入预训练的目标检测模型Faster RCNN，以获取所述人体识别模型输出的所述目标区域。
5.如权利要求1所述的方法，其特征在于，根据所述人体姿态轮廓生成匹配的显示控制指令之后，还包括：
根据所述显示控制指令生成匹配的照明控制指令，所述照明控制指令用于控制照明设备对所述交互区域中包含人体图像的目标区域进行照明；
将所述照明控制指令发送至所述照明设备。
6.一种基于人体姿态的交互显示装置，其特征在于，包括：
获取模块，获取深度采集设备对交互区域采集的深度图像，所述深度图像包括阵列排布的多个表征距离的像素值，所述交互区域用于与交互显示设备的显示画面进行交互；
第一识别模块，根据目标检测算法识别所述深度图像中包含人体图像的目标区域；
第二识别模块，根据所述目标区域的基准像素值和所述深度图像的目标区域的像素值识别所述深度图像中的人体姿态轮廓；
生成模块，根据所述人体姿态轮廓生成匹配的显示控制指令，所述显示控制指令携带与所述人体姿态轮廓匹配的交互画面信息；
发送模块，将所述显示控制指令发送至交互显示设备，以控制所述交互显示设备根据所述交互画面信息显示与所述人体姿态轮廓匹配的交互画面。
7.一种基于人体姿态的交互显示系统，其特征在于，包括：
如权利要求6所述的基于人体姿态的交互显示装置；
与所述基于人体姿态的交互显示装置通信连接的深度传感器，用于采集交互区域的深度图像，所述交互区域用于与交互显示设备的显示画面进行交互；
与所述基于人体姿态的交互显示装置通信连接的交互显示设备，用于显示与所述交互区域的深度图像中的人体姿态轮廓匹配的交互画面；
电源，与所述基于人体姿态的交互显示装置、所述深度传感器和所述交互显示设备电连接，用于向所述基于人体姿态的交互显示装置、所述深度传感器和所述交互显示设备供电。
8.如权利要求7所述的系统，其特征在于，所述交互显示设备包括发光显示屏，所述发光显示屏包括阵列排布的发光二极管LED或荧光灯。
9.如权利要求8所述的系统，其特征在于，所述发光显示屏垂直于地面设置，所述深度传感器包括飞行时间TOF摄像头；
所述深度传感器设置于所述发光显示屏的边框位置，用于采集所述发光显示屏的显示画面一侧的相邻的交互区域的深度图像。
10.如权利要求7所述的系统，其特征在于，还包括：
与所述基于人体姿态的交互显示装置通信连接的至少一个照明设备，所述照明设备用于对所述交互区域中包含人体图像的目标区域进行照明。
11.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的方法的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111671624.2A CN114296556A (zh) | 2021-12-31 | 2021-12-31 | 一种基于人体姿态的交互显示方法、装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111671624.2A CN114296556A (zh) | 2021-12-31 | 2021-12-31 | 一种基于人体姿态的交互显示方法、装置和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114296556A true CN114296556A (zh) | 2022-04-08 |
Family
ID=80973815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111671624.2A Pending CN114296556A (zh) | 2021-12-31 | 2021-12-31 | 一种基于人体姿态的交互显示方法、装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114296556A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114697627A (zh) * | 2022-06-01 | 2022-07-01 | 深圳市美特乐光电科技有限公司 | 用于投影仪的人眼保护方法以及投影仪 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103529943A (zh) * | 2013-10-17 | 2014-01-22 | 合肥金诺数码科技股份有限公司 | 一种基于流体物理模拟系统的人体投影交互方法 |
| CN103544713A (zh) * | 2013-10-17 | 2014-01-29 | 芜湖金诺数字多媒体有限公司 | 一种基于刚体物理模拟系统的人体投影交互方法 |
| CN108510594A (zh) * | 2018-02-27 | 2018-09-07 | 吉林省行氏动漫科技有限公司 | 虚拟试衣方法、装置及终端设备 |
| CN109521879A (zh) * | 2018-11-19 | 2019-03-26 | 网易（杭州）网络有限公司 | 交互式投影控制方法、装置、存储介质及电子设备 |
| CN112445326A (zh) * | 2019-09-03 | 2021-03-05 | 浙江舜宇智能光学技术有限公司 | 一种基于tof相机的投影交互方法及其系统和电子设备 |
| CN113688710A (zh) * | 2021-08-17 | 2021-11-23 | 哈尔滨医科大学 | 儿童孤独症训练系统及其方法 |
-
2021
- 2021-12-31 CN CN202111671624.2A patent/CN114296556A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103529943A (zh) * | 2013-10-17 | 2014-01-22 | 合肥金诺数码科技股份有限公司 | 一种基于流体物理模拟系统的人体投影交互方法 |
| CN103544713A (zh) * | 2013-10-17 | 2014-01-29 | 芜湖金诺数字多媒体有限公司 | 一种基于刚体物理模拟系统的人体投影交互方法 |
| CN108510594A (zh) * | 2018-02-27 | 2018-09-07 | 吉林省行氏动漫科技有限公司 | 虚拟试衣方法、装置及终端设备 |
| CN109521879A (zh) * | 2018-11-19 | 2019-03-26 | 网易（杭州）网络有限公司 | 交互式投影控制方法、装置、存储介质及电子设备 |
| CN112445326A (zh) * | 2019-09-03 | 2021-03-05 | 浙江舜宇智能光学技术有限公司 | 一种基于tof相机的投影交互方法及其系统和电子设备 |
| CN113688710A (zh) * | 2021-08-17 | 2021-11-23 | 哈尔滨医科大学 | 儿童孤独症训练系统及其方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114697627A (zh) * | 2022-06-01 | 2022-07-01 | 深圳市美特乐光电科技有限公司 | 用于投影仪的人眼保护方法以及投影仪 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cuevas et al. | Labeled dataset for integral evaluation of moving object detection algorithms: LASIESTA | |
| US9047514B2 (en) | Apparatus, system and method for projecting images onto predefined portions of objects | |
| US10163256B2 (en) | Method and system for generating a three-dimensional model | |
| CN101542538B (zh) | 用来对光进行建模的方法与系统 | |
| CN109328359A (zh) | 用于库存跟踪的多摄像机系统 | |
| WO2020211427A1 (zh) | 基于扫描点云数据的分割与识别方法、系统及存储介质 | |
| CN104766270A (zh) | 一种基于鱼眼镜头的虚实光照融合方法 | |
| CN1582567A (zh) | 交互式视频显示系统 | |
| CN105659200A (zh) | 用于显示图形用户界面的方法、设备和系统 | |
| CN102298786A (zh) | 一种虚拟绘画实现的装置及其方法 | |
| US11354885B1 (en) | Image data and simulated illumination maps | |
| Chun et al. | Real-time smart lighting control using human motion tracking from depth camera | |
| WO2019214643A1 (zh) | 通过光通信装置对能够自主移动的机器进行导引的方法 | |
| CN104699389A (zh) | 互动显示方法及其电子装置 | |
| CN112149348A (zh) | 一种基于无人货柜场景的仿真空间模型训练数据生成方法 | |
| CN114296556A (zh) | 一种基于人体姿态的交互显示方法、装置和系统 | |
| Corral-Soto et al. | Understanding strengths and weaknesses of complementary sensor modalities in early fusion for object detection | |
| CN111402409A (zh) | 一种展馆设计光照条件模型系统 | |
| CN109325926B (zh) | 自动滤镜实现方法、存储介质、设备及系统 | |
| US11854233B1 (en) | Detecting overexposure in images from sunlight | |
| Wei et al. | Simulating shadow interactions for outdoor augmented reality with RGBD data | |
| CN112991665A (zh) | 烟雾探测方法、烟雾探测装置以及烟雾探测系统 | |
| CN110943778A (zh) | 光通信装置以及用于传输和接收信息的方法 | |
| CN110532860A (zh) | 基于rgb led灯具的可见光条纹码调制与识别方法 | |
| KR20200008227A (ko) | 제스처 기반 nui를 이용한 조명효과 제어 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |