CN107544673A - 基于深度图信息的体感交互方法和体感交互系统 - Google Patents

基于深度图信息的体感交互方法和体感交互系统 Download PDF

Info

Publication number
CN107544673A
CN107544673A CN201710747270.2A CN201710747270A CN107544673A CN 107544673 A CN107544673 A CN 107544673A CN 201710747270 A CN201710747270 A CN 201710747270A CN 107544673 A CN107544673 A CN 107544673A
Authority
CN
China
Prior art keywords
human body
palm
induction region
feeling interaction
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710747270.2A
Other languages
English (en)
Inventor
周晓军
杨高峰
李骊
王行
李朔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Wisdom Electronic Technology Co Ltd
Original Assignee
Shanghai Wisdom Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Wisdom Electronic Technology Co Ltd filed Critical Shanghai Wisdom Electronic Technology Co Ltd
Priority to CN201710747270.2A priority Critical patent/CN107544673A/zh
Publication of CN107544673A publication Critical patent/CN107544673A/zh
Pending legal-status Critical Current

Links

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于深度图信息的体感交互方法和交互系统。所述体感交互方法包括:获取当前用户的人体信息,其中,所述人体信息包括人体的三维图像,深度图像以及彩色图像;根据所述人体信息,判断所述用户的人体是否进入预定感应区域;当所述用户的人体进入预定感应区域时,所述深度图像呈现用户的实时人体动作图像;基于所述实时人体动作图像,按照预设指令,改变屏幕的显示状态,以实现体感交互。本发明的体感交互方法,能够不需要依赖外部输入设备,仅仅可以通过感应人体的动作,就能进行划动屏幕等的操作,可以提高用户体验。

Description

基于深度图信息的体感交互方法和体感交互系统
技术领域
本发明涉及虚拟交互方法,具体涉及一种基于深度图信息的体感交互方法和一种基于深度图信息的体感交互系统。
背景技术
一般的,人机交互技术是指通过输入、输出设备,以有效的方式实现人与机器对话的技术。现有的人机交互的交互方式通常是通过鼠标、键盘、用手去触摸屏等外部设备与机器系统进行交互。比如当需要控制屏幕滚动时,要么通过鼠标拖动实现屏幕滚动,要么通过人体如手指等在触摸屏上进行滑动实现屏幕滚动,但是,这样操作会很麻烦,使得用户控制屏幕滚动的操作必须依赖于外部设备,束缚了用户的行为方式。
因此,如何设计出一种不依赖于外部设备实现人机交互的设备成为本领域亟待解决的技术问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一,提出了一种基于深度图信息的体感交互方法和一种基于深度图信息的体感交互系统。
为了实现上述目的,本发明的第一方面,提供了一种基于深度图信息的体感交互方法,所述方法包括:
获取当前用户的人体信息,其中,所述人体信息包括人体的三维图像,深度图像以及彩色图像;
根据所述人体信息,判断所述用户的人体是否进入预定感应区域;
当所述用户的人体进入预定感应区域时,所述深度图像呈现用户的实时人体动作图像;
基于所述实时人体动作图像,按照预设指令,改变屏幕的显示状态,以实现体感交互。
优选地,所述根据所述人体信息,判断所述用户的人体是否进入预定感应区域的步骤包括:
基于所述人体的三维图像,提取用户的关键特征参数;其中,所述关键特征参数包括人体三维坐标和人体部位的运动轨迹;
根据所述人体三维坐标,判断所述用户的人体是否进入预定感应区域。
优选地,所述基于所述人体的三维图像,提取用户的关键特征参数的步骤包括:
基于所述人体的三维图像,生成人体骨架图像;
对所述人体骨架图像的基准区域进行坐标标记,其中,所述基准区域为除去人体手臂以外的其他骨架点;
根据基准区域的坐标标记,获得人体三维坐标和人体部位的运动轨迹。
优选地,所述基于所述实时人体动作图像,按照预设指令,改变屏幕的显示状态,以实现体感交互的步骤包括:
所述深度图像高亮人体部位的显示状态,所述人体部位包括手掌;
根据所述手掌的移动轨迹,按照预设指令,改变屏幕的显示状态。
优选地,所述根据所述手掌的移动轨迹,按照预设指令,改变屏幕的显示状态的步骤包括:
当所述手掌呈伸开状态时,根据所述手掌的移动轨迹,控制屏幕隔空划屏或翻页,或,
当所述手掌呈拳头状态时,所述预定感应区域包括上感应区域、下感应区域、左感应区域和右感应区域,其中,以手掌拳头为中心点,位于拳头上方的区域为所述上感应区域、位于拳头下方的区域为所述下感应区域、位于拳头左方的区域为所述左感应区域以及位于拳头右方的区域为所述右感应区域;当所述手掌的移动距离大于零时,根据所述手掌的移动轨迹,控制屏幕以连续或零散的方式向与所述手掌的移动轨迹所对应的感应区域的方向滑动。
本发明的第二方面,提供了一种基于深度图信息的体感交互系统,所述系统包括:
图像获取模块,所述图像获取模块用于获取当前用户的人体信息,其中,所述人体信息包括人体的三维图像,深度图像以及彩色图像;
判断模块,所述判断模块用于根据所述人体信息,判断所述用户的人体是否进入预定感应区域;
显示模块,所述显示模块用于当所述用户的人体进入预定感应区域时,所述深度图像呈现用户的实时人体动作图像;
控制模块,所述控制模块用于基于所述实时人体动作图像,按照预设指令,改变屏幕的显示状态,以实现体感交互。
优选地,所述体感交互系统还包括特征提取模块,所述特征提取模块用于基于所述人体的三维图像,提取用户的关键特征参数;其中,所述关键特征参数包括人体三维坐标和人体部位的运动轨迹;
所述判断模块还用于根据所述人体三维坐标,判断所述用户的人体是否进入预定感应区域。
优选地,所述特征提取模块还用于基于所述人体的三维图像,生成人体骨架图像;以及,
对所述人体骨架图像的基准区域进行坐标标记,其中,所述基准区域为除去人体手臂以外的其他骨架点;以及,
根据基准区域的坐标标记,获得人体三维坐标和人体部位的运动轨迹。
优选地,所述显示模块还用于高亮人体部位的显示状态,所述人体部位包括手掌;
所述控制模块还用于根据所述手掌的移动轨迹,按照预设指令,改变屏幕的显示状态。
优选地,所述控制模块还用于:
当所述手掌呈伸开状态时,根据所述手掌的移动轨迹,控制屏幕隔空划屏或翻页,或,
当所述手掌呈拳头状态时,所述预定感应区域包括上感应区域、下感应区域、左感应区域和右感应区域,其中,以手掌拳头为中心点,位于拳头上方的区域为所述上感应区域、位于拳头下方的区域为所述下感应区域、位于拳头左方的区域为所述左感应区域以及位于拳头右方的区域为所述右感应区域;当所述手掌的移动距离大于零时,根据所述手掌的移动轨迹,控制屏幕以连续或零散的方式向与所述手掌的移动轨迹所对应的感应区域的方向滑动。
本发明的体感交互方法,首先通过获取当前用户的人体信息,其次,根据人体信息判断当前用户的人体是否进入到了预定感应区域,再次,当所述用户的人体进入预定感应区域时,所述深度图像呈现用户的实时人体动作图像,最后,基于所述实时人体动作图像,按照预设指令,改变屏幕的显示状态,以实现体感交互。因此,本发明的基于深度图信息的体感交互方法,能够不需要依赖外部输入设备,仅仅可以通过感应人体的动作,就能进行划动屏幕等的操作,可以提高用户体验。
本发明的体感交互系统,首先通过图像获取模块获取当前用户的人体信息,其次,判断模块根据人体信息判断当前用户的人体是否进入到了预定感应区域,再次,显示模块,当所述用户的人体进入预定感应区域时,所述深度图像呈现用户的实时人体动作图像,最后,控制模块基于所述实时人体动作图像,按照预设指令,改变屏幕的显示状态,以实现体感交互。因此,本发明的基于深度图信息的体感交互系统,能够不需要依赖外部输入设备,仅仅可以通过感应人体的动作,就能进行划动屏幕等的操作,可以提高用户体验。
附图说明
附图是用来提供对本发明的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明,但并不构成对本发明的限制。在附图中:
图1为本发明第一实施例中基于深度图信息的体感交互方法的流程图;
图2为本发明第二实施例中用户的人体处于预定感应区域时的示意图;
图3为本发明第三实施例中用户的手掌呈高亮状态的示意图;
图4为本发明第四实施例中用户的手掌实现人机交互的示意图;
图5为本发明第五实施例中基于深度图信息的体感交互系统的结构示意图。
附图标记说明
100:体感交互系统;
110:图像获取模块;
120:判断模块;
130:显示模块;
140:控制模块;
150:特征提取模块。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
参考图1,本发明的第一方面,涉及一种基于深度图信息的体感交互方法S100,所述方法S100包括:
S110、获取当前用户的人体信息,其中,所述人体信息包括人体的三维图像,深度图像以及彩色图像。
需要说明的是,对于如何获取当前用户的人体信息,并没有作出限定。具体地,例如,可以采用摄像机获取当前用户的人体信息,当然,也可以通过其他的图像获取工具来对当前用户的人体信息进行获取。
进一步需要说明的是,在该步骤中,可以对当前用户的人体信息进行实时获取,当然,也可以按照某一时间间隔获取当前用户的人体信息,在此并不作限定。
S120、根据所述人体信息,判断所述用户的人体是否进入预定感应区域。
在本步骤中,对于如何确定用户的人体是否进入预定感应区域并没有作出限定。具体地,例如,如图2所示,可以根据人体信息,确定人体距离屏幕的距离,之后根据该距离判断人体是否进入到了该预定感应区域,也就是说,只有当用户的人体进入到了该预定感应区域以后,该用户的人体所作出的相关动作(例如,来回移动手掌、晃动头部等),才能够操作当前的屏幕的显示状态(例如,翻页或滚动等),如图2所示,当判断用户的人体进入到预定感应区域以后,屏幕上可以作出相应提示,例如,用“√”进行提示,当屏幕上出现“√”时,表示当前用户的人体已经进入到预定感应区域,当用户作出相关动作后,可以控制屏幕作出相应改变,以实现体感交互。
应当理解的是,上述预定感应区域可以根据实际需要进行确定,对于不同的交互设备,其所对应的预定感应区域不同,所谓的预定感应区域,实际上是感应有效区域,只有当用户处于该预定感应区域内时,才能够对当前的屏幕进行操作,否则,无法对当前的屏幕进行操作。
S130、当所述用户的人体进入预定感应区域时,所述深度图像呈现用户的实时人体动作图像。
具体地,当用户的人体进入预定感应区域时,上述所获取的深度图像中,会呈现当前用户的实时人体动作图像,例如,在预定感应区域内的用户,深度图像可以实时显示当前用户的手掌的状态,例如,当前用户的手掌是伸开状态还是呈拳头状态等。当然,该深度图像除了可以实时显示当前用户的手掌的状态以外,还可以实时显示当前用户的其他人体部位的显示状态。当然,该深度图像还可以实时显示当前用户的全部人体部位的图像,只不过不同人体部位的图像以不同亮度或者不同色彩进行显示,以示区分。
S140、基于所述实时人体动作图像,按照预设指令,改变屏幕的显示状态,以实现体感交互。
具体地,在本步骤中,可以根据所获取到的实时人体动作图像,例如,可以根据当前用户的手掌的状态,例如,在深度图像中,当获取到用户的手掌呈伸开状态时,根据预设指令,例如,该预设指令可以是手掌移动翻页或隔空划屏等。具体地,如果用户手掌进行平行移动,则可以根据用户的手掌移动的轨迹,对当前屏幕进行翻页或隔空划屏等。
需要说明的是,除了上述可以根据用户的手掌的状态改变屏幕的显示状态,从而可以实现体感交互以外,还可以利用当前用户的其他部位,例如,还可以是当前用户的头部,当用户的头部发生移动时,按照预设的指令,可以同样对屏幕进行操作,以实现体感交互,当然,还可以是利用用户的脚部等其他部位。
进一步需要说明的是,对于上述的预设指令,并没有作出限定,在实际应用时,可以根据实际需要进行确定,例如,当利用用户的手掌进行改变屏幕的显示状态时,该预设指令可以是:手掌呈伸开状态时,手掌移动翻页或隔空划屏;手掌呈拳头状态时,手掌移动滚动等。当然该预设指令也可以为其他对应的操作等。
本实施例的基于深度图信息的体感交互方法,首先通过获取当前用户的人体信息,其次,根据人体信息判断当前用户的人体是否进入到了预定感应区域,再次,当所述用户的人体进入预定感应区域时,所述深度图像呈现用户的实时人体动作图像,最后,基于所述实时人体动作图像,按照预设指令,改变屏幕的显示状态,以实现体感交互。因此,本实施例的基于深度图信息的体感交互方法,能够不需要依赖外部输入设备,仅仅可以通过感应人体的动作,就能进行划动屏幕等的操作,可以提高用户体验。
优选地,上述步骤S120的步骤还包括:
基于所述人体的三维图像,提取用户的关键特征参数;其中,所述关键特征参数包括人体三维坐标和人体部位的运动轨迹。
根据所述人体三维坐标,判断所述用户的人体是否进入预定感应区域。
也就是说,在步骤中,是通过对人体的三维图像,提取用户的关键特征参数,例如,人体三维坐标和人体部位的运动轨迹。对于所获得的人体三维坐标,可以根据该人体三维坐标,进行判断用户的人体是否进入到了预定感应区域内,当用户的人体进入到了预定感应区域以内时,如图2所示,屏幕会呈现“√”。对于所获取到的人体部位的运动轨迹,可以根据该人体部位的运动轨迹,对屏幕进行操作,实现体感交互。
需要说明的是,对于人体部位具体是用户人体的哪个部位并没有作出限定,例如,该人体部位可以是手掌、头部、脚等部位。
本实施例的基于深度图信息的体感交互方法,根据所获取到的人体的三维图像,提取相关的关键特征参数,并根据该关键特征参数确定人体三维坐标,从而可以判断用户的人体是否进入到了预定感应区域以内。因此,本实施例的体感交互方法,方法简单,且能够有效提高交互体验。
优选地,上述基于所述人体的三维图像,提取用户的关键特征参数的步骤包括:
基于所述人体的三维图像,生成人体骨架图像;
对所述人体骨架图像的基准区域进行坐标标记,其中,所述基准区域为除去人体手臂以外的其他骨架点;
根据基准区域的坐标标记,获得人体三维坐标和人体部位的运动轨迹。
本实施例的基于深度图信息的体感交互方法,是一种具体地获取当前用户的人体三维坐标以及人体部位的运动轨迹的方法,其利用所获取到的人体三维图像,生成人体骨架图像,并对该人体骨架图像的基准区域进行坐标标记,从而可以获得人体三维坐标和人体部位的运动轨迹。因此,本实施例的体感交互方法,确定人体三维坐标和人体部位的运动轨迹的方法简单,且能够有效确定人体三维坐标和人体部位的运动轨迹,因此,能够实现精准操作,进一步的能够提高用户交互体验。
优选地,上述步骤S140还包括:
所述深度图像高亮人体部位的显示状态,所述人体部位包括手掌;
根据所述手掌的移动轨迹,按照预设指令,改变屏幕的显示状态。
也就是说,如图3所示,在该步骤中,在人体交互界面,也就是操作屏幕上,会高亮显示可以操作该屏幕的人体部位,例如,手掌,当然,除了手掌的相关动作可以实现人机交互以外,还可以是人体部位的其他部位,例如,人体的头部或脚部等,相应地,当该部位为人机交互部位时,同样会高亮显示该部位,例如,高亮显示人体的头部或脚部等。
应当理解的是,上述除了可以高亮显示当前可以实现人机交互的人体部位以外,还可以采用其他的方式以进行区分。例如,可以实现人机交互的部位可以用不同的颜色进行突出显示等。
本实施例的基于深度图信息的体感交互方法,可以高亮显示当前用户的实现人机交互的人体部位(例如,手掌),便于用户在深度图像中可以实时观察其手掌所处的位置,以便对当前屏幕的状态进行准确操作,也就是说,可以使得用户的手掌的运动轨迹更加精准,从而可以准确改变当前屏幕的显示状态(例如,翻页或隔空划屏或滑动等),进而能够进一步地提高用户交互体验。
优选地,上述根据所述手掌的移动轨迹,按照预设指令,改变屏幕的显示状态的步骤包括:
如图4所示,当所述手掌呈伸开状态时,根据所述手掌的移动轨迹,控制屏幕隔空划屏或翻页。
具体地,如图4所示,用户将手掌放置到标志有“请把手移动到此处”的位置处,从右向左快速挥动,可以实现划屏,或者从上往下快速挥动,可以实现快速翻页等。
另外,当所述手掌呈拳头状态时,所述预定感应区域包括上感应区域、下感应区域、左感应区域和右感应区域,其中,以手掌拳头为中心点,位于拳头上方的区域为所述上感应区域、位于拳头下方的区域为所述下感应区域、位于拳头左方的区域为所述左感应区域以及位于拳头右方的区域为所述右感应区域;当所述手掌的移动距离大于零时,根据所述手掌的移动轨迹,控制屏幕以连续或零散的方式向与所述手掌的移动轨迹所对应的感应区域的方向滑动。
也就是说,当用户的手掌变成拳头时,上述的预定感应区域便以拳头为中心分为了四个不同的感应区域,当手掌朝向某一位置移动时,例如,手掌朝向上移动时,也就是说,此时,上感应区域可以感应到该手掌的移动,从而可以根据手掌的移动轨迹,对当前的屏幕向上滑动或滚动等。
本实施例的基于深度图信息的体感交互方法,利用手掌的不同状态,呈伸开状态或呈拳头状态以及手掌处于不同状态的移动轨迹,对屏幕进行操作,可以便捷实现人机交互,因此,本实施例的基于深度图信息的体感交互方法,操作简单,能够进一步地提高用户交互体验。
本发明的第二方面,提供了一种基于深度图信息的体感交互系统100,所述系统包括:
图像获取模块110,所述图像获取模块110用于获取当前用户的人体信息,其中,所述人体信息包括人体的三维图像,深度图像以及彩色图像;
判断模块120,所述判断模块120用于根据所述人体信息,判断所述用户的人体是否进入预定感应区域;
显示模块130,所述显示模块130用于当所述用户的人体进入预定感应区域时,所述深度图像呈现用户的实时人体动作图像;
控制模块140,所述控制模块140用于基于所述实时人体动作图像,按照预设指令,改变屏幕的显示状态,以实现体感交互。
需要说明的是,对于图像获取模块110的具体结构并没有作出限定,例如,该图像获取模块110可以是3D相机,当然,该图像获取模块110还可以是其他能够获取图像的结构。
进一步需要说明的是,对于显示模块130,其可以是体感交互系统的显示屏,该显示屏可以是液晶显示屏,还可以是OLED显示屏,当然,其还可以是具有触控功能的液晶显示屏或OLED显示屏等。
仍需要说明的是,对于判断模块120的具体结构并没有作出限定,例如,该判断模块120可以是存储有相应地程序指令,以完成对应的功能。当然,该判断模块120也可以是由硬件组成。
最后需要说明的是,对于控制模块140的具体结构并没有作出限定,例如,该控制模块140可以是CPU,还可以是单片机等结构。
优选地,所述体感交互系统100还包括特征提取模块150,所述特征提取模块150用于基于所述人体的三维图像,提取用户的关键特征参数;其中,所述关键特征参数包括人体三维坐标和人体部位的运动轨迹;
所述判断模块120还用于根据所述人体三维坐标,判断所述用户的人体是否进入预定感应区域。
优选地,所述特征提取模块150还用于基于所述人体的三维图像,生成人体骨架图像;以及,
对所述人体骨架图像的基准区域进行坐标标记,其中,所述基准区域为除去人体手臂以外的其他骨架点;以及,
根据基准区域的坐标标记,获得人体三维坐标和人体部位的运动轨迹。
优选地,所述显示模块130还用于高亮人体部位的显示状态,所述人体部位包括手掌;
所述控制模块140还用于根据所述手掌的移动轨迹,按照预设指令,改变屏幕的显示状态。
优选地,所述控制模块140还用于:
当所述手掌呈伸开状态时,根据所述手掌的移动轨迹,控制屏幕隔空划屏或翻页,或,
当所述手掌呈拳头状态时,所述预定感应区域包括上感应区域、下感应区域、左感应区域和右感应区域,其中,以手掌拳头为中心点,位于拳头上方的区域为所述上感应区域、位于拳头下方的区域为所述下感应区域、位于拳头左方的区域为所述左感应区域以及位于拳头右方的区域为所述右感应区域;当所述手掌的移动距离大于零时,根据所述手掌的移动轨迹,控制屏幕以连续或零散的方式向与所述手掌的移动轨迹所对应的感应区域的方向滑动。
具体地可以参考上述方法主题的相关记载,在此并不作赘述。
本实施例结构的基于深度图信息的体感交互系统,首先通过图像获取模块110获取当前用户的人体信息,其次,判断模块120根据人体信息判断当前用户的人体是否进入到了预定感应区域,再次,显示模块130,当所述用户的人体进入预定感应区域时,所述深度图像呈现用户的实时人体动作图像,最后,控制模块140基于所述实时人体动作图像,按照预设指令,改变屏幕的显示状态,以实现体感交互。因此,本实施例的基于深度图信息的体感交互系统,能够不需要依赖外部输入设备,仅仅可以通过感应人体的动作,就能进行划动屏幕等的操作,可以提高用户体验。
可以理解的是,以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式,然而本发明并不局限于此。对于本领域内的普通技术人员而言,在不脱离本发明的精神和实质的情况下,可以做出各种变型和改进,这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种基于深度图信息的体感交互方法,其特征在于,所述方法包括:
获取当前用户的人体信息,其中,所述人体信息包括人体的三维图像,深度图像以及彩色图像;
根据所述人体信息,判断所述用户的人体是否进入预定感应区域;
当所述用户的人体进入预定感应区域时,所述深度图像呈现用户的实时人体动作图像;
基于所述实时人体动作图像,按照预设指令,改变屏幕的显示状态,以实现体感交互。
2.根据权利要求1所述的体感交互方法,其特征在于,所述根据所述人体信息,判断所述用户的人体是否进入预定感应区域的步骤包括:
基于所述人体的三维图像,提取用户的关键特征参数;其中,所述关键特征参数包括人体三维坐标和人体部位的运动轨迹;
根据所述人体三维坐标,判断所述用户的人体是否进入预定感应区域。
3.根据权利要求2所述的体感交互方法,其特征在于,所述基于所述人体的三维图像,提取用户的关键特征参数的步骤包括:
基于所述人体的三维图像,生成人体骨架图像;
对所述人体骨架图像的基准区域进行坐标标记,其中,所述基准区域为除去人体手臂以外的其他骨架点;
根据基准区域的坐标标记,获得人体三维坐标和人体部位的运动轨迹。
4.根据权利要求3所述的体感交互方法,其特征在于,所述基于所述实时人体动作图像,按照预设指令,改变屏幕的显示状态,以实现体感交互的步骤包括:
所述深度图像高亮人体部位的显示状态,所述人体部位包括手掌;
根据所述手掌的移动轨迹,按照预设指令,改变屏幕的显示状态。
5.根据权利要求4所述的体感交互方法,其特征在于,所述根据所述手掌的移动轨迹,按照预设指令,改变屏幕的显示状态的步骤包括:
当所述手掌呈伸开状态时,根据所述手掌的移动轨迹,控制屏幕隔空划屏或翻页,或,
当所述手掌呈拳头状态时,所述预定感应区域包括上感应区域、下感应区域、左感应区域和右感应区域,其中,以手掌拳头为中心点,位于拳头上方的区域为所述上感应区域、位于拳头下方的区域为所述下感应区域、位于拳头左方的区域为所述左感应区域以及位于拳头右方的区域为所述右感应区域;当所述手掌的移动距离大于零时,根据所述手掌的移动轨迹,控制屏幕以连续或零散的方式向与所述手掌的移动轨迹所对应的感应区域的方向滑动。
6.一种基于深度图信息的体感交互系统,其特征在于,所述系统包括:
图像获取模块,所述图像获取模块用于获取当前用户的人体信息,其中,所述人体信息包括人体的三维图像,深度图像以及彩色图像;
判断模块,所述判断模块用于根据所述人体信息,判断所述用户的人体是否进入预定感应区域;
显示模块,所述显示模块用于当所述用户的人体进入预定感应区域时,所述深度图像呈现用户的实时人体动作图像;
控制模块,所述控制模块用于基于所述实时人体动作图像,按照预设指令,改变屏幕的显示状态,以实现体感交互。
7.根据权利要求6所述的体感交互系统,其特征在于,所述体感交互系统还包括特征提取模块,所述特征提取模块用于基于所述人体的三维图像,提取用户的关键特征参数;其中,所述关键特征参数包括人体三维坐标和人体部位的运动轨迹;
所述判断模块还用于根据所述人体三维坐标,判断所述用户的人体是否进入预定感应区域。
8.根据权利要求7所述的体感交互系统,其特征在于,所述特征提取模块还用于基于所述人体的三维图像,生成人体骨架图像;以及,
对所述人体骨架图像的基准区域进行坐标标记,其中,所述基准区域为除去人体手臂以外的其他骨架点;以及,
根据基准区域的坐标标记,获得人体三维坐标和人体部位的运动轨迹。
9.根据权利要求8所述的体感交互系统,其特征在于,所述显示模块还用于高亮人体部位的显示状态,所述人体部位包括手掌;
所述控制模块还用于根据所述手掌的移动轨迹,按照预设指令,改变屏幕的显示状态。
10.根据权利要求9所述的体感交互系统,其特征在于,所述控制模块还用于:
当所述手掌呈伸开状态时,根据所述手掌的移动轨迹,控制屏幕隔空划屏或翻页,或,
当所述手掌呈拳头状态时,所述预定感应区域包括上感应区域、下感应区域、左感应区域和右感应区域,其中,以手掌拳头为中心点,位于拳头上方的区域为所述上感应区域、位于拳头下方的区域为所述下感应区域、位于拳头左方的区域为所述左感应区域以及位于拳头右方的区域为所述右感应区域;当所述手掌的移动距离大于零时,根据所述手掌的移动轨迹,控制屏幕以连续或零散的方式向与所述手掌的移动轨迹所对应的感应区域的方向滑动。
CN201710747270.2A 2017-08-25 2017-08-25 基于深度图信息的体感交互方法和体感交互系统 Pending CN107544673A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710747270.2A CN107544673A (zh) 2017-08-25 2017-08-25 基于深度图信息的体感交互方法和体感交互系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710747270.2A CN107544673A (zh) 2017-08-25 2017-08-25 基于深度图信息的体感交互方法和体感交互系统

Publications (1)

Publication Number Publication Date
CN107544673A true CN107544673A (zh) 2018-01-05

Family

ID=60957882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710747270.2A Pending CN107544673A (zh) 2017-08-25 2017-08-25 基于深度图信息的体感交互方法和体感交互系统

Country Status (1)

Country Link
CN (1) CN107544673A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108874141A (zh) * 2018-06-25 2018-11-23 北京京东金融科技控股有限公司 一种体感浏览方法和装置
CN110096132A (zh) * 2018-01-30 2019-08-06 北京亮亮视野科技有限公司 一种消除智能眼镜消息通知的方法与智能眼镜
CN110096926A (zh) * 2018-01-30 2019-08-06 北京亮亮视野科技有限公司 一种放缩智能眼镜屏幕的方法与智能眼镜
CN111282261A (zh) * 2020-01-22 2020-06-16 京东方科技集团股份有限公司 人机交互方法及装置、体感游戏设备
CN112099634A (zh) * 2020-09-17 2020-12-18 珠海格力电器股份有限公司 基于头部动作的交互操作方法、装置、存储介质及终端
CN112363659A (zh) * 2020-11-09 2021-02-12 平安普惠企业管理有限公司 App界面操作方法、装置、电子设备及存储介质
CN112578908A (zh) * 2020-12-09 2021-03-30 京东数字科技控股股份有限公司 一种基于广告机的体感交互方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778661A (zh) * 2014-01-10 2015-07-15 北京三星通信技术研究有限公司 在姿态估计中使用的骨架平滑方法和设备
CN104915004A (zh) * 2015-05-29 2015-09-16 深圳奥比中光科技有限公司 一种体感控制屏幕滚动方法、体感交互系统及电子设备
CN104915003A (zh) * 2015-05-29 2015-09-16 深圳奥比中光科技有限公司 一种体感控制参数调整的方法、体感交互系统及电子设备
US20160252966A1 (en) * 2013-10-04 2016-09-01 Macron Co., Ltd. Method by which eyeglass-type display device recognizes and inputs movement

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160252966A1 (en) * 2013-10-04 2016-09-01 Macron Co., Ltd. Method by which eyeglass-type display device recognizes and inputs movement
CN104778661A (zh) * 2014-01-10 2015-07-15 北京三星通信技术研究有限公司 在姿态估计中使用的骨架平滑方法和设备
CN104915004A (zh) * 2015-05-29 2015-09-16 深圳奥比中光科技有限公司 一种体感控制屏幕滚动方法、体感交互系统及电子设备
CN104915003A (zh) * 2015-05-29 2015-09-16 深圳奥比中光科技有限公司 一种体感控制参数调整的方法、体感交互系统及电子设备

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110096132A (zh) * 2018-01-30 2019-08-06 北京亮亮视野科技有限公司 一种消除智能眼镜消息通知的方法与智能眼镜
CN110096926A (zh) * 2018-01-30 2019-08-06 北京亮亮视野科技有限公司 一种放缩智能眼镜屏幕的方法与智能眼镜
CN108874141A (zh) * 2018-06-25 2018-11-23 北京京东金融科技控股有限公司 一种体感浏览方法和装置
CN108874141B (zh) * 2018-06-25 2021-03-30 京东数字科技控股有限公司 一种体感浏览方法和装置
CN111282261A (zh) * 2020-01-22 2020-06-16 京东方科技集团股份有限公司 人机交互方法及装置、体感游戏设备
WO2021147989A1 (zh) * 2020-01-22 2021-07-29 京东方科技集团股份有限公司 人机交互方法及装置、体感游戏设备
CN111282261B (zh) * 2020-01-22 2023-08-08 京东方科技集团股份有限公司 人机交互方法及装置、体感游戏设备
CN112099634A (zh) * 2020-09-17 2020-12-18 珠海格力电器股份有限公司 基于头部动作的交互操作方法、装置、存储介质及终端
CN112363659A (zh) * 2020-11-09 2021-02-12 平安普惠企业管理有限公司 App界面操作方法、装置、电子设备及存储介质
CN112578908A (zh) * 2020-12-09 2021-03-30 京东数字科技控股股份有限公司 一种基于广告机的体感交互方法和装置

Similar Documents

Publication Publication Date Title
CN107544673A (zh) 基于深度图信息的体感交互方法和体感交互系统
JP6702489B2 (ja) ヘッドマウントディスプレイ、情報処理方法、及びプログラム
EP2620849B1 (en) Operation input apparatus, operation input method, and program
JP6744990B2 (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
KR101227610B1 (ko) 화상인식장치 및 조작판정방법과 이를 위한 프로그램을 기록한 컴퓨터 판독가능한 기록매체
JP4286556B2 (ja) 画像表示装置
JP5515067B2 (ja) 操作入力装置および操作判定方法並びにプログラム
KR20170081272A (ko) 가상 현실 환경에서의 내비게이션을 위한 방법, 시스템 및 장치
WO2007061057A1 (ja) ジェスチャー入力装置、及び方法
US20140022171A1 (en) System and method for controlling an external system using a remote device with a depth sensor
CN106023308A (zh) 一种体感交互快速三维建模辅助系统及其方法
JP2004078977A (ja) インターフェイス装置
CN107533366A (zh) 信息显示装置和信息显示方法
JP6095478B2 (ja) 入力操作装置
CN113407095A (zh) 终端设备的绘制内容处理方法、装置及终端设备
US20160054839A1 (en) Interactive Object Contour Detection Algorithm for Touchscreens Application
CN105242776A (zh) 一种智能眼镜的控制方法及智能眼镜
CN108349687A (zh) 用于通过输入电梯呼叫来起始电梯服务的系统和方法
CN107168538A (zh) 一种基于肢体动作进行情感运算的3d校园导览方法及系统
KR101447958B1 (ko) 신체 부분 검출 방법 및 장치
JP5665396B2 (ja) 情報処理装置およびその制御方法
KR101542671B1 (ko) 공간 터치 방법 및 공간 터치 장치
JP2007310914A (ja) マウス代替方法、マウス代替プログラム、および記録媒体
CN104536575A (zh) 一种基于3d传感的大屏互动系统实现方法
JP6441417B2 (ja) リハビリテーション支援システム及びコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180105