CN105718052A - 一种纠正体感交互追踪失败的指示方法及装置 - Google Patents

一种纠正体感交互追踪失败的指示方法及装置 Download PDF

Info

Publication number
CN105718052A
CN105718052A CN201610030853.9A CN201610030853A CN105718052A CN 105718052 A CN105718052 A CN 105718052A CN 201610030853 A CN201610030853 A CN 201610030853A CN 105718052 A CN105718052 A CN 105718052A
Authority
CN
China
Prior art keywords
feeling interaction
body feeling
border
physical space
space coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610030853.9A
Other languages
English (en)
Other versions
CN105718052B (zh
Inventor
李英杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201610030853.9A priority Critical patent/CN105718052B/zh
Publication of CN105718052A publication Critical patent/CN105718052A/zh
Priority to PCT/CN2016/102954 priority patent/WO2017124789A1/zh
Priority to US15/542,353 priority patent/US9990031B2/en
Application granted granted Critical
Publication of CN105718052B publication Critical patent/CN105718052B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Abstract

本发明实施利提供一种纠正体感交互追踪失败的指示方法及装置,涉及人机交互技术领域,可达到指导用户在体感交互追踪失败时进行快速纠正的目的。上述方法包括:获取人体在地面的实际体感交互范围的边界的物理空间坐标和人体各个关键部位点的物理空间坐标;若判断体感交互追踪失败,则根据实际体感交互范围的边界的物理空间坐标、以及距离当前最近一次获取的各个关键部位点中至少一个关键部位点的物理空间坐标,在地面或与地面平行的平面上,得到人体相对实际体感交互范围的边界的当前位置;将实际体感交互范围的边界和当前位置相对实际体感交互范围的边界的距离按比例缩小,并通过辅助图像显示在显示界面的预定位置处。用于体感交互。

Description

一种纠正体感交互追踪失败的指示方法及装置
技术领域
本发明涉及人机交互技术领域,尤其涉及一种纠正体感交互追踪失败的指示方法及装置。
背景技术
随着科学技术的高速发展,人机交互方式已不局限于鼠标和键盘,更高层次的人机交互理念对交互方式提出了巨大的需求,目前语音识别、体感技术等都是科研人员的研究重点。
基于体感技术的新一代的体感设备,可以依靠实时捕捉使用者的动作就可以达到输入功能。由于体感设备不通过直接接触的方式来进行交互,而是直接用使用者的身体动作来进行交互,用这种方式与终端进行交互能更加提高用户的人机交互体验。
目前,具有体感交互功能的设备越来越普及,体感技术在人机交互中的应用也越来越多,例如体感康复设备、体感游戏等。然而,体感设备对使用环境是有很高要求的,包括距离,环境光线或者使用者的衣服,以及角度等,尤其是在使用过程中,比如玩一些体感游戏时,由于使用者处于移动状态,这样对人体的追踪偶尔失败是不可避免的。
发明内容
本发明的实施例提供一种纠正体感交互追踪失败的指示方法及装置,可达到指导用户在体感交互追踪失败时进行快速纠正的目的。
为达到上述目的,本发明的实施例采用如下技术方案:
一方面,本发明实施例提供一种纠正体感交互追踪失败的指示方法,包括:获取人体在地面的实际体感交互范围的边界的物理空间坐标和人体各个关键部位点的物理空间坐标;若判断体感交互追踪失败,则根据所述实际体感交互范围的边界的物理空间坐标、以及距离当前最近一次获取的所述各个关键部位点中至少一个关键部位点的物理空间坐标,在地面或与地面平行的平面上,得到人体相对所述实际体感交互范围的边界的当前位置;将所述实际体感交互范围的边界和所述当前位置相对所述实际体感交互范围的边界的距离按比例缩小,并通过辅助图像显示在显示界面的预定位置处。
优选的,在进行体感交互前,所述方法还包括:读取所述辅助图像的参数,所述辅助图像的参数包括:所述辅助图像的位置、大小、是否一直显示以及自动消失延时时间;通过所述显示界面显示所述参数,以使用户对所述参数进行设置,若接收到对所述参数的重新设置,则将所述辅助图像的参数存储为最新,否则,退出对所述辅助图像的参数的设置。
进一步优选的,若所述辅助图像的参数设置为一直显示,则所述辅助图像一直显示在所述显示界面的预定位置处;或者,若所述辅助图像的参数设置为不是一直显示且所述自动消失延时时间不为零,则在所述自动消失延时时间内,所述辅助图像显示在显示界面的预定位置处。
其中,在体感交互正常追踪过程中,根据所述实际体感交互范围的边界的物理空间坐标、以及当前所述各个关键部位点中至少一个关键部位点的物理空间坐标,在地面或与地面平行的平面上得到人体相对所述实际体感交互范围的边界的当前位置。
优选的,根据所述实际体感交互范围的边界的物理空间坐标、以及距离当前最近一次获取的所述各个关键部位点中至少一个关键部位点的物理空间坐标,在地面或与地面平行的平面上,得到人体相对所述实际体感交互范围的边界的当前位置,包括:
根据所述实际体感交互范围的边界的物理空间坐标、以及距离当前最近一次获取的所述各个关键部位点中至少一个关键部位点的物理空间坐标,若判断得到当前人体位于所述实际体感交互范围的边界内,则将在地面或与地面平行的平面上得到的,距离当前最近一次人体相对所述实际体感交互范围的边界的位置作为所述当前位置;
若判断得到当前人体位于所述实际体感交互范围的边界外,则根据距离当前最近一次获取的所述至少一个关键部位点的物理空间坐标、以及人体移动方向,计算得到当前人体的所述至少一个关键部位点的物理空间坐标,并在地面或与地面平行的平面上,得到人体相对所述实际体感交互范围的边界的当前位置。
进一步优选的,根据所述实际体感交互范围的边界的物理空间坐标、以及距离当前最近一次获取的所述各个关键部位点中至少一个关键部位点的物理空间坐标,若判断得到当前人体位于所述实际体感交互范围的边界内,则将在地面或与地面平行的平面上得到的,距离当前最近一次人体相对所述实际体感交互范围边界的位置作为所述当前位置,包括:
根据距离当前最近一次获取的所述至少一个关键部位点的物理空间坐标,得到以所述至少一个关键部位点的平均物理空间坐标为圆心,以在捕获每帧图像时间内,普通人体的最大移动距离为半径的圆形范围;
根据所述实际体感交互范围的边界的物理空间坐标,若所述圆形范围在所述实际体感交互范围的边界内,则判断得到当前人体位于所述实际体感交互范围的边界内,将在地面或与地面平行的平面上得到的,距离当前最近一次人体相对所述实际体感交互范围边界的位置作为所述当前位置。
进一步优选的,若所述圆形范围不完全在所述实际体感交互范围的边界内,所述方法还包括:
对捕获的当前图像进行逐行处理,并对以所述当前图像中的预设位置为中心,在捕获每帧图像时间内,普通人体的最大移动距离范围内的点进行计数,若计数结果大于预设阈值,则判断得到当前人体位于所述实际体感交互范围的边界内,否则,判断得到当前人体位于所述实际体感交互范围的边界外。
其中,所述预设位置为距离当前最近一次捕获的图像中,躯干上的点对应的位置。
进一步优选的,根据距离当前最近一次获取的所述至少一个关键部位点的物理空间坐标、以及人体移动方向,计算得到人体当前的所述至少一个关键部位点的物理空间坐标,并在地面或与地面平行的平面上得到人体相对所述实际体感交互范围边界的当前位置,包括:
根据距离当前最近一次获取的所述至少一个关键部位点的物理空间坐标、以及人体移动方向,按照在捕获每帧图像时间内,普通人体的最大移动距离,计算得到当前人体的所述至少一个关键部位点的物理空间坐标;根据当前人体的所述至少一个关键部位点的物理空间坐标,在地面或与地面平行的平面上得到人体相对所述实际体感交互范围的边界的当前位置;
其中,所述移动方向根据体感交互追踪失败前,距离当前最近一次获取的所述至少一个关键部位点的物理空间坐标,以及与距离当前最近一次的前一次获取的所述至少一个关键部位点的物理空间坐标对比后得到。
优选的,当体感交互追踪失败时,且将所述辅助图像显示在显示界面后,所述方法还包括:发出提示使用者移动的信息。
优选的,所述人体各个关键部位点为人体关节点。
另一方面,本发明实施例还提供了一种纠正体感交互追踪失败的指示装置,所述装置包括:获取模块、与所述获取模块相连的处理模块、以及与所述获取模块和所述处理模块均相连的控制模块。
所述获取模块,用于获取人体在地面的实际体感交互范围的边界的物理空间坐标和人体各个关键部位点的物理空间坐标;
处理模块,用于若判断体感交互追踪失败,则根据所述获取模块获取的所述实际体感交互范围的边界的物理空间坐标、以及距离当前最近一次获取的所述各个关键部位点中至少一个关键部位点的物理空间坐标,在地面或与地面平行的平面上,得到人体相对所述实际体感交互范围的边界的当前位置;
控制模块,用于将所述获取模块获取的所述实际体感交互范围的边界、以及所述处理模块得到的所述当前位置相对所述实际体感交互范围的边界的距离按比例缩小,并通过辅助图像显示在显示界面的预定位置处。
优选的,所述装置还包括与所述控制模块相连的读取模块,所述读取模块用于在进行体感交互前,读取所述辅助图像的参数,所述辅助图像的参数包括:所述辅助图像的位置、大小、是否一直显示以及自动消失延时时间;在此情况下,所述控制模块,还用于通过所述显示界面显示所述参数,以使用户对所述参数进行设置,若接收到对所述参数的重新设置,则将所述辅助图像的参数存储为最新,否则,退出对所述辅助图像的参数的设置。
进一步优选的,若所述辅助图像的参数设置为一直显示,则所述控制模块将所述辅助图像一直显示在所述显示界面的预定位置处;或者,若所述辅助图像的参数设置为不是一直显示且所述自动消失延时时间不为零,则所述控制模块在所述自动消失延时时间内,将所述辅助图像显示在所述显示界面的预定位置处。
基于此,所述处理模块还用于在体感交互正常追踪过程中,根据所述实际体感交互范围的边界的物理空间坐标、以及当前所述各个关键部位点中至少一个关键部位点的物理空间坐标,在地面或与地面平行的平面上得到人体相对所述实际体感交互范围的边界的当前位置。
优选的,所述处理模块,具体用于在判断体感交互追踪失败时,根据所述实际体感交互范围的边界的物理空间坐标、以及距离当前最近一次获取的所述各个关键部位点中至少一个关键部位点的物理空间坐标,若判断得到当前人体位于所述实际体感交互范围的边界内,则将在地面或与地面平行的平面上得到的,距离当前最近一次人体相对所述实际体感交互范围的边界的位置作为所述当前位置;
若判断得到当前人体位于所述实际体感交互范围的边界外,则根据距离当前最近一次获取的所述至少一个关键部位点的物理空间坐标、以及人体移动方向,计算得到当前人体的所述至少一个关键部位点的物理空间坐标,并在地面或与地面平行的平面上,得到人体相对所述实际体感交互范围的边界的当前位置。
进一步优选的,所述处理模块,根据距离当前最近一次获取的所述至少一个关键部位点的物理空间坐标,得到以所述至少一个关键部位点的平均物理空间坐标为圆心,以在捕获每帧图像时间内,普通人体的最大移动距离为半径的圆形范围;
根据所述实际体感交互范围的边界的物理空间坐标,若所述圆形范围在所述实际体感交互范围的边界内,则判断得到当前人体位于所述实际体感交互范围的边界内,将在地面或与地面平行的平面上得到的,距离当前最近一次人体相对所述实际体感交互范围边界的位置作为所述当前位置。
进一步优选的,若所述圆形范围不完全在所述实际体感交互范围的边界内,则所述处理模块还对捕获的当前图像进行逐行处理,并对以所述当前图像中的预设位置为中心,在捕获每帧图像时间内,普通人体的最大移动距离范围内的点进行计数,若计数结果大于预设阈值,则判断得到当前人体位于所述实际体感交互范围的边界内,否则,判断得到当前人体位于所述实际体感交互范围的边界外。
其中,所述预设位置为距离当前最近一次捕获的图像中,躯干上的点对应的位置。
进一步优选的,若当前人体位于所述实际体感交互范围的边界外,则所述处理模块,根据距离当前最近一次获取的所述至少一个关键部位点的物理空间坐标、以及人体移动方向,按照在捕获每帧图像时间内,普通人体的最大移动距离,计算得到当前人体的所述至少一个关键部位点的物理空间坐标;根据当前人体的所述至少一个关键部位点的物理空间坐标,在地面或与地面平行的平面上得到人体相对所述实际体感交互范围的边界的当前位置。
其中,所述移动方向根据体感交互追踪失败前,距离当前最近一次获取的所述至少一个关键部位点的物理空间坐标,以及与距离当前最近一次的前一次获取的所述至少一个关键部位点的物理空间坐标对比后得到。
优选的,所述控制模块,还用于当体感交互追踪失败时,且在将所述辅助图像显示在显示界面后,发出提示使用者移动的信息。
本发明实施例提供一种纠正体感交互追踪失败的指示方法及装置,在体感交互过程中,通过获取实际体感交互范围的边界的物理空间坐标和人体的各个关键部位点的物理空间坐标,当体感交互追踪失败时,根据所述实际体感交互范围的边界的物理空间坐标以及距离当前最近一次获取的各个关键部位点中至少一个关键部位点的物理空间坐标,在地面或与地面平行的平面上,可以得到人体相对实际体感交互范围的边界的当前位置,并将实际体感交互范围的边界和当前位置相对实际体感交互范围的边界的距离按比例缩小,并以辅助图像的形式显示在显示界面上。这样,基于辅助图像的显示,可直观的给出人体相对实际体感交互范围的边界的当前位置,从而使得用户据此快速的调整自身的位置或人为(用户自己或其他人)调整深度摄像头的角度,从而使体感交互正常追踪,因此,本发明实施例可达到指示用户在体感交互追踪失败时进行快速纠正的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种纠正体感交互追踪失败的指示方法的流程示意图;
图2为本发明实施例提供的计算实际交互范围的示意图;
图3为本发明实施例提供的体感交互设备以及交互范围的示意图;
图4为本发明实施例提供的确定人体移动方向以及当前物理空间坐标的示意图;
图5为本发明实施例提供的辅助图像的示意图;
图6为本发明实施例提供的一种具体实施例的流程示意图;
图7本发明实施例提供的一种纠正体感交互追踪失败的指示装置的示意图一;
图8为本发明实施例提供的一种纠正体感交互追踪失败的指示装置的示意图二。
附图标记:10-深度摄像机;20-显示界面;30-辅助图像;40-在辅助图像中当前人体的位置;50-获取模块;60-处理模块;70-控制模块;80-读取模块。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种纠正体感交互追踪失败的指示方法,该方法可应用于体感交互设备,该体感交互设备例如可以包括终端和深度摄像机。
如图1所示,上述方法包括:
S101、获取人体在地面的实际体感交互范围的边界的物理空间坐标和人体各个关键部位点的物理空间坐标。
此处,可通过深度摄像机获取人体在地面的实际体感交互范围的边界的物理空间坐标和人体各个关键部位点的物理空间坐标。
本领域技术人员应该明白,在体感交互追踪失败时,则不能捕获相应的图像,也就不能获取人体各个关键部位点的物理空间坐标,因此,此步骤是在体感交互正常追踪过程中,获取的人体在地面的实际体感交互范围的边界的物理空间坐标和人体各个关键部位点的物理空间坐标。
由于深度摄像机的视角具有一定的范围且深度摄像机具有能识别的最远距离和最近距离,若超出深度摄像机的视角范围,或人体与深度摄像机的距离小于最近识别距离,或人体与深度摄像机的距离大于最远识别距离,则深度摄像机都将不能获取到人体各个关键部位点的物理空间坐标,从而不能进行正常的体感交互,即体感交互追踪失败。
其中,最近距离和最远距离都是深度摄像机在地面的投影与人体在地面的投影之间的距离。深度摄像机的最近识别距离和最远识别距离与深度摄像机的性能有关。大多数深度摄像机的最近识别距离为0.5m左右,最远识别距离为3m左右。
具体的,由于深度摄像机具有一定的视角,以及最近识别距离和最远识别距离,因而得到的人体在地面的实际体感交互范围是一个梯形范围。如图2-图3所示,根据深度摄像机10的视角α及深度摄像机10能识别的最近距离L1和最远距离L2,通过计算可以得到梯形的上底AD、下底BC及腰AB和CD的长度,从而可以获得深度摄像机10能识别的体感交互范围,即得到由ABCD构成的梯形范围。
其中, A D = 2 · t a n α 2 · L 1 , B C = 2 · t a n α 2 · L 2 , 例如,深度摄像机的视角为50°左右,深度摄像机能识别的最短距离L1为0.5米,最长距离L2为3米,通过计算可以得到
在此基础上,基于确定的梯形范围,通过深度摄像机10便可以知道上述梯形边界的物理空间坐标。此外,通过深度摄像机10还可以获取人体各个关键部位点的物理空间坐标。其中,对于深度摄像机10来说,其按帧捕获图像,基于每帧捕获的图像,便可以得到图像上每个关键部位点的物理空间坐标。
本发明实施例中,不对人体各个关键部位点进行限定,可以是人体关节点,例如,人体躯干关节点、头部关节点、手部关节点、腿部关节点等。
S102、若判断体感交互追踪失败,则根据实际体感交互范围的边界的物理空间坐标、以及距离当前最近一次获取的各个关键部位点中至少一个关键部位点的物理空间坐标,在地面或与地面平行的平面上,得到人体相对实际体感交互范围的边界的当前位置。
此处,若获取不到人体各个关键部位点的物理空间坐标,则判断为判断体感交互追踪失败。
基于距离当前最近一次获取的各个关键部位点的物理空间坐标,可以只采用其中一个关键部位点的物理空间坐标,在此情况下,由于躯干、头部在人体的正中位置,最能代表人体当前的位置,因此优选采用距离当前最近一次获取的人体的躯干上的点或头部的点的物理空间坐标。
或者,也可以采用两个或两个以上关键部位点的物理空间坐标,在此情况下,可对两个或两个以上关键部位点的物理空间坐标求平均,得到平均物理空间坐标。
基于距离当前最近一次获取的各个关键部位点中至少一个关键部位点的物理空间坐标,首先可以得到当前所述至少一个关键部位点的物理空间坐标,之后,基于当前所述至少一个关键部位点的物理空间坐标,可将其与实际体感交互范围的边界的物理空间坐标都投影到地面或与地面平行的平面上,而得到人体相对所述实际体感交互范围的边界的当前位置。
需要说明的是,第一,在体感交互正常追踪过程中,每次获取的各个关键部位点的物理空间坐标都可以被记录,或者,在获取当前的各个关键部位点的物理空间坐标之前,只记录距离当前最近一次获取的各个关键部位点的物理空间坐标。
第二,上述平均物理空间坐标,即为将两个或两个以上关键部位点的x、y和z值分别求平均后得到的物理空间坐标。
S103、将实际体感交互范围的边界和当前位置相对实际体感交互范围的边界的距离按比例缩小,并通过辅助图像显示在显示界面的预定位置处。
此处,可将辅助图像显示在终端的显示界面。
不对缩小的比例进行限定,例如可以将实际体感交互范围的边界和当前位置相对实际体感交互范围的边界的距离同时缩小1/10、1/15、1/20等。此处,需要说明的是,缩小的比例还与辅助图像的尺寸有关,由于将实际体感交互范围的边界和当前位置相对实际体感交互范围的边界的距离缩小后通过辅助图像显示在终端的显示界面的预定位置处,为了不影响体感交互过程的进行,辅助图像不能占显示界面的比例过大,因此缩小的比例应根据辅助图像的尺寸进行合理设置。
参考图3所示,辅助图像30可以设置在显示界面20的左上角,当然也可以显示在左下角、右上角、右下角等,只要不影响体感交互即可。
在辅助图像30中当前人体的位置40可采用特定的标识进行指示,例如可采用黑色的点进行指示。
本发明实施例在体感交互过程中,通过获取实际体感交互范围的边界的物理空间坐标和人体的各个关键部位点的物理空间坐标,当体感交互追踪失败时,根据所述实际体感交互范围的边界的物理空间坐标以及距离当前最近一次获取的各个关键部位点中至少一个关键部位点的物理空间坐标,在地面或与地面平行的平面上,可以得到人体相对实际体感交互范围的边界的当前位置,并将实际体感交互范围的边界和当前位置相对实际体感交互范围的边界的距离按比例缩小,并以辅助图像的形式显示在显示界面上。这样,基于辅助图像的显示,可直观的给出人体相对实际体感交互范围的边界的当前位置,从而使得用户据此快速的调整自身的位置或人为(用户自己或其他人)调整深度摄像头的角度,从而使体感交互正常追踪,因此,本发明实施例可达到指示用户在体感交互追踪失败时进行快速纠正的目的。
优选的,当体感交互追踪失败时,且将辅助图像显示在终端的显示界面后,所述方法还包括:发出提示使用者移动的信息。例如,发出文字信息或语音信息等。这样可以进一步的指导用户在体感交互追踪失败时进行快速纠正。
优选的,在进行体感交互前,所述方法还包括:读取所述辅助图像的参数,所述辅助图像的参数包括:所述辅助图像的位置、大小、是否一直显示以及自动消失延时时间;通过所述终端的显示界面显示所述参数,以使用户对所述参数进行设置,若接收到对所述参数的重新设置,则将所述辅助图像的参数存储为最新,否则,退出对所述辅助图像的参数的设置。
需要说明的是,第一,辅助图像的位置即为上述的预定位置。
第二,不对辅助图像的尺寸进行限定,辅助图像的尺寸可以根据显示界面的大小进行合理设置,且不影响体感交互。辅助图像所占的面积可以是显示界面面积的1/3及以下,例如可以为1/5。
第三,辅助图像可以一直显示,也可以仅在体感交互追踪失败时进行显示,其中只有在用户选择仅在体感交互追踪失败时进行显示的情况下,上述自动消失延时时间才可被设置。其中,自动消失延时时间可以为零,在此情况下,体感交互正常追踪,则辅助图像立即消失;自动消失延时时间也可以不为零,例如可以为5s或10s等,在此情况下,体感交互正常追踪后,辅助图像显示相应的设置时间后才消失。
本发明实施例中,由于可根据用户的喜好选择辅助图像的显示方式,因此,可以提高用户体验。
进一步的,若辅助图像的参数设置为一直显示,则辅助图像一直显示在终端的显示界面的预定位置处;或者,若辅助图像的参数设置为不是一直显示且自动消失延时时间不为零,则在自动消失延时时间内,辅助图像显示在所述终端的显示界面的预定位置处。
其中,在体感交互正常追踪过程中,根据实际体感交互范围的边界的物理空间坐标、以及当前各个关键部位点中至少一个关键部位点的物理空间坐标,在地面或与地面平行的平面上得到人体相对所述实际体感交互范围的边界的当前位置。
此处,在体感交互正常追踪过程中,基于当前所述至少一个关键部位点的物理空间坐标,可将其与实际体感交互范围的边界的物理空间坐标都投影到地面或与地面平行的平面上,而得到人体相对所述实际体感交互范围的边界的当前位置。基于此,将实际体感交互范围的边界和当前位置相对实际体感交互范围的边界的距离按比例缩小后,便可通过辅助图像显示在终端的显示界面的预定位置处。
基于上述,步骤S102,具体可以是:
在体感交互追踪失败时,根据实际体感交互范围的边界的物理空间坐标、以及距离当前最近一次获取的各个关键部位点中至少一个关键部位点的物理空间坐标,若判断得到当前人体位于实际体感交互范围的边界内,则将在地面或与地面平行的平面上得到的,距离当前最近一次人体相对实际体感交互范围的边界的位置作为当前位置。
若判断得到当前人体位于实际体感交互范围的边界外,则根据距离当前最近一次获取的所述至少一个关键部位点的物理空间坐标、以及人体移动方向,计算得到当前人体的所述至少一个关键部位点的物理空间坐标,并在地面或与地面平行的平面上,得到人体相对所述实际体感交互范围的边界的当前位置。
其中,可以根据距离当前最近一次获取的各个关键部位点中一个关键部位点例如躯干关节点或头部关节点的物理空间坐标,或对多个关键部位点的物理空间坐标求平均值得到的平均物理坐标,判断当前人体是否位于实际体感交互范围内。
此处,不对根据距离当前最近一次获取的各个关键部位点中至少一个关键部位点的物理空间坐标,判断当前人体是否位于实际体感交互范围内的方法进行限定。
本发明实施例中,距离当前最近一次人体相对实际体感交互范围的边界的位置,可以根据人体在地面的实际体感交互范围的边界的物理空间坐标和距离当前最近一次获取的上述一个关键部位点例如躯干关节点物理空间坐标,或距离当前最近一次获取的上述多个关键部位点的平均物理空间坐标,并将上述物理空间坐标都转换到位于地面或与地面平行的平面上的二维坐标得到。
其中,将距离当前最近一次人体相对实际体感交互范围的边界的位置作为当前位置,也即当前人体的各个关键部位点的物理空间坐标,为距离当前最近一次人体的各个关键部位点的物理空间坐标。
需要说明的是,本发明实施例中,采用的各个关键部位点中至少一个关键部位点,从始至终都是固定的某个某些关键部位点。
进一步优选的,可以根据距离当前最近一次获取的所述至少一个关键部位点的物理空间坐标,得到以所述至少一个关键部位点的平均物理空间坐标为圆心,以在深度摄像机捕获每帧图像时间内,普通人体的最大移动距离为半径的圆形范围;根据实际体感交互范围的边界的物理空间坐标,若该圆形范围在实际体感交互范围的边界内,则判断得到当前人体位于实际体感交互范围的边界内,将在地面或与地面平行的平面上得到的,距离当前最近一次人体相对实际体感交互范围边界的位置作为当前位置。
基于此,用户根据辅助图像,可以知道自身未超出实际体感交互范围,从而可以判断是自身没有被识别到,其原因可能是动作不标准,或光线或系统问题,在此情况下,用户可以稍微动一下或调整光线,看是否能被正常追踪。
具体的,可以根据距离当前最近一次获取的所述各个关键部位点中一个关键部位点例如躯干关节点或头部关节点的物理空间坐标,得到以该关键部位点的物理空间坐标为圆心,以在所述深度摄像机捕获每帧图像时间内,普通人体的最大移动距离为半径的圆形范围。在此情况下,上述的平均物理空间坐标即为该关键部位点的物理空间坐标。
或者,可以根据距离当前最近一次获取的所述各个关键部位点中至少两个关键部位点的物理空间坐标,计算得到平均物理空间坐标,并以该平均物理空间坐标为圆心,以在所述深度摄像机捕获每帧图像时间内,普通人体的最大移动距离为半径的圆形范围。
其中,在圆形范围知道的情况下,也即知道圆形范围边界的物理空间坐标。
此处,需要说明的是,根据普通人体的最大速度为10m/s左右,以及深度摄像机的捕获图像的频率大于30帧/s可知,深度摄像机捕获每帧图像时间内,普通人体最大移动距离为0.3m左右。
以下通过具体的实施例进行说明:
若距离当前最近一次深度摄像机获取的躯干的关节点的物理空间坐标为(x,y,z),以点(x,y,z)为圆心,普通人体最大移动距离0.3为半径,在平行于地面的平面上可以获得一个圆形范围,将圆形范围边界的物理空间坐标和实际体感交互范围的边界的物理空间坐标转换到位于地面或与地面平行的平面上的二维坐标,即可判断该圆形范围是否在实际体感交互范围内。若圆形范围在实际体感交互范围的边界内,则判断得到当前人体位于实际体感交互范围的边界内,从而将距离当前最近一次人体相对实际体感交互范围的边界的位置作为当前位置。其中,可以根据距离当前最近一次深度摄像机获取的躯干的关节点的物理空间坐标(x,y,z)和实际体感交互范围的边界的物理空间坐标,将二者投影到地面或与地面平行的平面上,得到距离当前最近一次人体相对实际体感交互范围的边界的位置。
进一步的,若上述圆形范围不完全在实际体感交互范围的边界内,所述方法还包括:对深度摄像机捕获的当前图像进行逐行处理,并对以当前图像中的预设位置为中心,在深度摄像机捕获每帧图像时间内,普通人体的最大移动距离范围内的点进行计数,若计数结果大于预设阈值,则判断得到当前人体位于实际体感交互范围的边界内,否则,判断得到当前人体位于实际体感交互范围的边界外。其中,预设位置为距离当前最近一次深度摄像机捕获的图像中,躯干上的点对应的位置。
需要说明的是,即使在体感交互追踪失败时,深度摄像机10也是能捕获相应图像的,只是该图像不能被识别。
此处,不对所述预设阈值进行限定,以能在上述计数点大于该预设阈值,便可以判断是当前人体位于实际体感交互范围的边界内为准。
通过本发明实施例更加准确的判断人体是否位于实际体感交互范围的边界内。
基于上述,若判断得到当前人体位于实际体感交互范围外,具体的:可以根据距离当前最近一次获取的所述至少一个关键部位点的物理空间坐标、以及人体移动方向,按照在所述深度摄像机捕获每帧图像时间内,普通人体的最大移动距离,计算得到当前人体的所述至少一个关键部位点的物理空间坐标;根据当前人体的所述至少一个关键部位点的物理空间坐标,在地面或与地面平行的平面上得到人体相对所述实际体感交互范围的边界的当前位置。
其中,所述移动方向根据体感交互追踪失败前,距离当前最近一次获取的所述至少一个关键部位点的物理空间坐标,以及与距离当前最近一次的前一次获取的所述至少一个关键部位点的物理空间坐标对比后得到。
需要说明的是,即使只有距离当前最近一次获取的人体的各个关键部位点的物理空间坐标被记录,也可以在记录此时人体的各个关键部位点的物理空间坐标时,根据上一次获取的人体的各个关键部位点的物理空间坐标,得到人体的移动方向。
此处,以人体躯干关节点为例进行说明。如图4所示,在体感交互追踪失败前,若距离当前最近一次获取的躯干关节点的物理空间坐标E是(1.3,2,1),距离当前最近一次的前一次获取的躯干关节点的物理空间坐标F是(1,2,1),通过对比两次获得的物理空间坐标,即可知道人体沿X轴方向移动(图中虚线箭头所示)。由于每帧图像时间内,普通人体的最大移动距离为0.3m,因此,可以得到当前人体躯关节点的物理空间坐标G为(1.6,2,1)。根据得到的当前人体躯关节点的物理空间坐标G(1.6,2,1)和实际体感交互范围的边界的物理空间坐标,将二者投影到地面或与地面平行的平面,便可得到人体相对实际体感交互范围的边界的当前位置。
基于上述描述,以图5为例进行说明,图中黑色点代表辅助图像中当前人体的位置40,梯形代表实际体感交互范围的边界,若黑色点在梯形的下方,则使用者只要向前移动就可以进入梯形范围,即进入体感交互范围;若黑色点在梯形的上方,则使用者只要退后就可以进入梯形范围;若黑色点在梯形的左侧,则使用者只要向右移动就可以进入梯形范围;若黑色点在梯形的右侧,则使用者只要向左移动就可以进入梯形范围。
本发明实施例提供一种具体实施例,以详细描述一种体感交互追踪失败的纠正方法。如图6所示,该方法包括:
S201、在体感交互设备启动后,读取辅助图像的参数。
其中,辅助图像的参数包括:所述辅助图像的位置、大小、是否一直显示以及自动消失延时时间。
S202、判断用户是否对所述辅助图像的参数进行设置,若是,执行S203,否则执行S204。
本发明实施例以用户选择辅助图像不是一直显示以及自动消失延时不为零为例。
S203、接收用户对辅助图像的参数的设置并保存为最新。
S204、进行体感交互。
其中,在体感交互正常追踪过程中,通过所述深度摄像机获取人体在地面的实际体感交互范围的边界的物理空间坐标和人体各个关节点的物理空间坐标。
S205、在追踪异常时,判断是退出还是追踪失败。
在此过程中,若不能进行正常追踪,即识别不到人体的各关节点的物理空间坐标,且判断为体感交互追踪失败,则进行S206,若判断为退出程序,则结束。
S206、显示辅助图像。之后若可以正常追踪,则进行S204。
具体的,根据所述实际体感交互范围的边界的物理空间坐标、以及距离当前最近一次获取的躯干关节点的物理空间坐标,在地面或与地面平行的平面上,得到人体相对实际体感交互范围的边界的当前位置;将所述实际体感交互范围的边界和当前位置相对实际体感交互范围的边界的距离按比例缩小,并通过辅助图像显示在终端的显示界面的预定位置处。
当正常追踪之后,在自动消失延时时间内,仍然显示辅助图像。
此时,可根据实际体感交互范围的边界的物理空间坐标、以及当前躯干关节点的物理空间坐标,在地面或与地面平行的平面上得到人体相对所述实际体感交互范围的边界的当前位置。将所述实际体感交互范围的边界和当前位置相对实际体感交互范围的边界的距离按比例缩小,并通过辅助图像显示在终端的显示界面的预定位置处。
本发明实施利还提供了一种体感交互追踪失败的纠正装置,可应用于体感交互设备,该体感交互设备例如可以包括终端和深度摄像机。其中,该装置例如可以集成在终端的运算控制单元中。
如图7所示,该装置包括:获取模块50、与获取模块50相连的处理模块60、以及与获取模块50和处理模块60均相连的控制模块70。
获取模块50,用于获取人体在地面的实际体感交互范围的边界的物理空间坐标和人体各个关键部位点的物理空间坐标。
此处,可通过深度摄像机获取人体在地面的实际体感交互范围的边界的物理空间坐标和人体各个关键部位点的物理空间坐标。
本领域技术人员应该明白,在体感交互追踪失败时,则不能捕获相应的图像,也就不能获取人体各个关键部位点的物理空间坐标,因此,此步骤是在体感交互正常追踪过程中,获取的人体在地面的实际体感交互范围的边界的物理空间坐标和人体各个关键部位点的物理空间坐标。
由于深度摄像机具有一定的视角,以及最近识别距离和最远识别距离,因而得到的人体在地面的实际体感交互范围是一个梯形范围。
在此基础上,基于确定的梯形范围,通过深度摄像机10便可以知道上述梯形边界的物理空间坐标。此外,通过深度摄像机10还可以获取人体各个关键部位点的物理空间坐标。其中,对于深度摄像机10来说,其按帧捕获图像,基于每帧捕获的图像,便可以得到图像上每个关键部位点的物理空间坐标。
本发明实施例中,不对人体各个关键部位点进行限定,可以是人体关节点,例如,人体躯干关节点、头部关节点、手部关节点、腿部关节点等。
处理模块60,用于若判断体感交互追踪失败,则根据获取模块50获取的实际体感交互范围的边界的物理空间坐标、以及距离当前最近一次获取的所述各个关键部位点中至少一个关键部位点的物理空间坐标,在地面或与地面平行的平面上,得到人体相对所述实际体感交互范围的边界的当前位置。
基于距离当前最近一次获取的各个关键部位点的物理空间坐标,可以只采用其中一个关键部位点的物理空间坐标,在此情况下,由于躯干、头部在人体的正中位置,最能代表人体当前的位置,因此优选采用距离当前最近一次获取的人体的躯干上的点或头部的点的物理空间坐标。
或者,也可以采用两个或两个以上关键部位点的物理空间坐标,在此情况下,可对两个或两个以上关键部位点的物理空间坐标求平均,得到平均物理空间坐标。
基于距离当前最近一次获取的各个关键部位点中至少一个关键部位点的物理空间坐标,首先可以得到当前所述至少一个关键部位点的物理空间坐标,之后,基于当前所述至少一个关键部位点的物理空间坐标,可将其与实际体感交互范围的边界的物理空间坐标都投影到地面或与地面平行的平面上,而得到人体相对所述实际体感交互范围的边界的当前位置。
控制模块70,用于将获取模块50获取的实际体感交互范围的边界、以及处理模块60得到的当前位置相对所述实际体感交互范围的边界的距离按比例缩小,并通过辅助图像显示在显示界面的预定位置处。
此处,可将辅助图像显示在终端的显示界面。
辅助图像可以设置在显示界面的左上角,当然也可以显示在左下角、右上角、右下角等,只要不影响体感交互即可。在辅助图像中当前人体的位置可采用特定的标识进行指示。
本发明实施例在体感交互过程中,获取模块50通过深度摄像机获取实际体感交互范围的边界的物理空间坐标和人体的各个关键部位点的物理空间坐标,当体感交互追踪失败时,处理模块60根据所述实际体感交互范围的边界的物理空间坐标以及距离当前最近一次获取的各个关键部位点中至少一个关键部位点的物理空间坐标,在地面或与地面平行的平面上,可以得到人体相对实际体感交互范围的边界的当前位置,基于此,通过控制模块70将实际体感交互范围的边界和当前位置相对实际体感交互范围的边界的距离按比例缩小,并以辅助图像的形式显示在显示界面上。这样,基于辅助图像的显示,可直观的给出人体相对实际体感交互范围的边界的当前位置,从而使得用户据此快速的调整自身的位置或人为(用户自己或其他人)调整深度摄像头的角度,从而使体感交互正常追踪,因此,本发明实施例可达到指导用户在体感交互追踪失败时进行快速纠正的目的。
优选的,控制模块70,还用于当体感交互追踪失败时,且在将所述辅助图像显示在终端的显示界面后,通过所述终端发出提示使用者移动的信息。
优选的,如图8所示,上述纠正装置还包括与控制模块70相连的读取模块80,读取模块80用于在进行体感交互前,读取所述辅助图像的参数,所述辅助图像的参数包括:所述辅助图像的位置、大小、是否一直显示以及自动消失延时时间。
基于此,控制模块70,还用于通过所述终端的显示界面显示所述参数,以使用户对所述参数进行设置,若接收到对所述参数的重新设置,则将所述辅助图像的参数存储为最新,否则,退出对所述辅助图像的参数的设置。
此处,基于用户的选择,辅助图像可以一直显示,也可以仅在体感交互追踪失败时进行显示,其中只有在用户选择仅在体感交互追踪失败时进行显示的情况下,上述自动消失延时时间才可被设置。其中,自动消失延时时间可以为零,在此情况下,体感交互正常追踪,则辅助图像立即消失;自动消失延时时间也可以不为零,例如可以为5s或10s等,在此情况下,体感交互正常追踪后,辅助图像显示相应的设置时间后才消失。
本发明实施例中,由于可根据用户的喜好选择辅助图像的显示方式,因此,可以提高用户体验。
进一步的,若辅助图像的参数设置为一直显示,则控制模块70将辅助图像一直显示在终端的显示界面的预定位置处;或者,若辅助图像的参数设置为不是一直显示且自动消失延时时间不为零,则控制模块70在自动消失延时时间内,将辅助图像显示在所述终端的显示界面的预定位置处。
基于此,处理模块60还用于在体感交互正常追踪过程中,根据所述实际体感交互范围的边界的物理空间坐标、以及当前所述各个关键部位点中至少一个关键部位点的物理空间坐标,在地面或与地面平行的平面上得到人体相对所述实际体感交互范围的边界的当前位置。
此处,在体感交互正常追踪过程中,处理模块60可基于当前所述至少一个关键部位点的物理空间坐标,可将其与实际体感交互范围的边界的物理空间坐标都投影到地面或与地面平行的平面上,而得到人体相对所述实际体感交互范围的边界的当前位置。基于此,控制模块70可将实际体感交互范围的边界和当前位置相对实际体感交互范围的边界的距离按比例缩小后,便可通过辅助图像显示在终端的显示界面的预定位置处。
基于上述,处理模块60,具体用于在判断体感交互追踪失败时,根据实际体感交互范围的边界的物理空间坐标、以及距离当前最近一次获取的各个关键部位点中至少一个关键部位点的物理空间坐标,若判断得到当前人体位于实际体感交互范围的边界内,则将在地面或与地面平行的平面上得到的,距离当前最近一次人体相对实际体感交互范围的边界的位置作为所述当前位置;若判断得到当前人体位于实际体感交互范围的边界外,则根据距离当前最近一次获取的所述至少一个关键部位点的物理空间坐标、以及人体移动方向,计算得到当前人体的所述至少一个关键部位点的物理空间坐标,并在地面或与地面平行的平面上,得到人体相对所述实际体感交互范围的边界的当前位置。
其中,可以根据距离当前最近一次获取的各个关键部位点中一个关键部位点例如躯干关节点或头部关节点的物理空间坐标,或对多个关键部位点的物理空间坐标求平均值得到的平均物理坐标,判断当前人体是否位于实际体感交互范围内。
此处,不对根据距离当前最近一次获取的各个关键部位点中至少一个关键部位点的物理空间坐标,判断当前人体是否位于实际体感交互范围内的方法进行限定。
本发明实施例中,距离当前最近一次人体相对实际体感交互范围的边界的位置,可以根据人体在地面的实际体感交互范围的边界的物理空间坐标和距离当前最近一次获取的上述一个关键部位点例如躯干关节点物理空间坐标,或距离当前最近一次获取的上述多个关键部位点的平均物理空间坐标,并将上述物理空间坐标都转换到位于地面或与地面平行的平面上的二维坐标得到。
其中,将距离当前最近一次人体相对实际体感交互范围的边界的位置作为当前位置,也即当前人体的各个关键部位点的物理空间坐标,为距离当前最近一次人体的各个关键部位点的物理空间坐标。
进一步优选的,处理模块60,根据距离当前最近一次获取的所述至少一个关键部位点的物理空间坐标,得到以所述至少一个关键部位点的平均物理空间坐标为圆心,以在深度摄像机捕获每帧图像时间内,普通人体的最大移动距离为半径的圆形范围;根据实际体感交互范围的边界的物理空间坐标,若圆形范围在实际体感交互范围的边界内,则判断得到当前人体位于实际体感交互范围的边界内,将在地面或与地面平行的平面上得到的,距离当前最近一次人体相对所述实际体感交互范围边界的位置作为所述当前位置。
具体的,可以根据距离当前最近一次获取的所述各个关键部位点中一个关键部位点例如躯干关节点或头部关节点的物理空间坐标,得到以该关键部位点的物理空间坐标为圆心,以在所述深度摄像机捕获每帧图像时间内,普通人体的最大移动距离为半径的圆形范围。在此情况下,上述的平均物理空间坐标即为该关键部位点的物理空间坐标。
或者,可以根据距离当前最近一次获取的所述各个关键部位点中至少两个关键部位点的物理空间坐标,计算得到平均物理空间坐标,并以该平均物理空间坐标为圆心,以在所述深度摄像机捕获每帧图像时间内,普通人体的最大移动距离为半径的圆形范围。
其中,在圆形范围知道的情况下,也即知道圆形范围边界的物理空间坐标。
需要说明的是,根据普通人体的最大速度为10m/s左右,以及深度摄像机的捕获图像的频率大于30帧/s可知,深度摄像机捕获每帧图像时间内,普通人体最大移动距离为0.3m左右。
进一步的,若圆形范围不完全在实际体感交互范围的边界内,则处理模块60还对深度摄像机捕获的当前图像进行逐行处理,并对以所述当前图像中的预设位置为中心,在所述深度摄像机捕获每帧图像时间内,普通人体的最大移动距离范围内的点进行计数,若计数结果大于预设阈值,则判断得到当前人体位于实际体感交互范围的边界内,否则,判断得到当前人体位于所述实际体感交互范围的边界外;其中,所述预设位置为距离当前最近一次深度摄像机捕获的图像中,躯干上的点对应的位置。
需要说明的是,即使在体感交互追踪失败时,深度摄像机也是能捕获相应图像的,只是该图像不能被识别。
基于上述,若当前人体位于所述实际体感交互范围外,则处理模块60,根据距离当前最近一次获取的所述至少一个关键部位点的物理空间坐标、以及人体移动方向,按照在深度摄像机捕获每帧图像时间内,普通人体的最大移动距离,计算得到当前人体的所述至少一个关键部位点的物理空间坐标;根据当前人体的所述至少一个关键部位点的物理空间坐标,在地面或与地面平行的平面上得到人体相对实际体感交互范围的边界的当前位置。
其中,移动方向根据体感交互追踪失败前,距离当前最近一次获取的所述至少一个关键部位点的物理空间坐标,以及与距离当前最近一次的前一次获取的所述至少一个关键部位点的物理空间坐标对比后得到。
需要说明的是,即使只有距离当前最近一次获取的人体的各个关键部位点的物理空间坐标被记录,也可以在记录此时人体的各个关键部位点的物理空间坐标时,根据上一次获取的人体的各个关键部位点的物理空间坐标,得到人体的移动方向。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (17)

1.一种纠正体感交互追踪失败的指示方法,其特征在于,包括:
获取人体在地面的实际体感交互范围的边界的物理空间坐标和人体各个关键部位点的物理空间坐标;
若判断体感交互追踪失败,则根据所述实际体感交互范围的边界的物理空间坐标、以及距离当前最近一次获取的所述各个关键部位点中至少一个关键部位点的物理空间坐标,在地面或与地面平行的平面上,得到人体相对所述实际体感交互范围的边界的当前位置;
将所述实际体感交互范围的边界和所述当前位置相对所述实际体感交互范围的边界的距离按比例缩小,并通过辅助图像显示在显示界面的预定位置处。
2.根据权利要求1所述的方法,其特征在于,在进行体感交互前,所述方法还包括:
读取所述辅助图像的参数,所述辅助图像的参数包括:所述辅助图像的位置、大小、是否一直显示以及自动消失延时时间;
通过所述显示界面显示所述参数,以使用户对所述参数进行设置,若接收到对所述参数的重新设置,则将所述辅助图像的参数存储为最新,否则,退出对所述辅助图像的参数的设置。
3.根据权利要求2所述的方法,其特征在于,若所述辅助图像的参数设置为一直显示,则所述辅助图像一直显示在所述显示界面的预定位置处;或者,若所述辅助图像的参数设置为不是一直显示且所述自动消失延时时间不为零,则在所述自动消失延时时间内,所述辅助图像显示在所述显示界面的预定位置处;
其中,在体感交互正常追踪过程中,根据获取的所述实际体感交互范围的边界的物理空间坐标、以及当前所述各个关键部位点中至少一个关键部位点的物理空间坐标,在地面或与地面平行的平面上得到人体相对所述实际体感交互范围的边界的当前位置。
4.根据权利要求1所述的方法,其特征在于,根据所述实际体感交互范围的边界的物理空间坐标、以及距离当前最近一次获取的所述各个关键部位点中至少一个关键部位点的物理空间坐标,在地面或与地面平行的平面上,得到人体相对所述实际体感交互范围的边界的当前位置,包括:
根据所述实际体感交互范围的边界的物理空间坐标、以及距离当前最近一次获取的所述各个关键部位点中至少一个关键部位点的物理空间坐标,若判断得到当前人体位于所述实际体感交互范围的边界内,则将在地面或与地面平行的平面上得到的,距离当前最近一次人体相对所述实际体感交互范围的边界的位置作为所述当前位置;
若判断得到当前人体位于所述实际体感交互范围的边界外,则根据距离当前最近一次获取的所述至少一个关键部位点的物理空间坐标、以及人体移动方向,计算得到当前人体的所述至少一个关键部位点的物理空间坐标,并在地面或与地面平行的平面上,得到人体相对所述实际体感交互范围的边界的当前位置。
5.根据权利要求4所述的方法,其特征在于,根据所述实际体感交互范围的边界的物理空间坐标、以及距离当前最近一次获取的所述各个关键部位点中至少一个关键部位点的物理空间坐标,若判断得到当前人体位于所述实际体感交互范围的边界内,则将在地面或与地面平行的平面上得到的,距离当前最近一次人体相对所述实际体感交互范围的边界的位置作为所述当前位置,包括:
根据距离当前最近一次获取的所述至少一个关键部位点的物理空间坐标,得到以所述至少一个关键部位点的平均物理空间坐标为圆心,以在捕获每帧图像时间内,普通人体的最大移动距离为半径的圆形范围;
根据所述实际体感交互范围的边界的物理空间坐标,若所述圆形范围在所述实际体感交互范围的边界内,则判断得到当前人体位于所述实际体感交互范围的边界内,将在地面或与地面平行的平面上得到的,距离当前最近一次人体相对所述实际体感交互范围边界的位置作为所述当前位置。
6.根据权利要求5所述的方法,其特征在于,若所述圆形范围不完全在所述实际体感交互范围的边界内,所述方法还包括:
对捕获的当前图像进行逐行处理,并对以所述当前图像中的预设位置为中心,在捕获每帧图像时间内,普通人体的最大移动距离范围内的点进行计数,若计数结果大于预设阈值,则判断得到当前人体位于所述实际体感交互范围的边界内,否则,判断得到当前人体位于所述实际体感交互范围的边界外;
其中,所述预设位置为距离当前最近一次捕获的图像中,躯干上的点对应的位置。
7.根据权利要求6所述的方法,其特征在于,根据距离当前最近一次获取的所述至少一个关键部位点的物理空间坐标、以及人体移动方向,计算得到人体当前的所述至少一个关键部位点的物理空间坐标,并在地面或与地面平行的平面上,得到人体相对所述实际体感交互范围的边界的当前位置,包括:
根据距离当前最近一次获取的所述至少一个关键部位点的物理空间坐标、以及人体移动方向,按照在捕获每帧图像时间内,普通人体的最大移动距离,计算得到当前人体的所述至少一个关键部位点的物理空间坐标;
根据当前人体的所述至少一个关键部位点的物理空间坐标,在地面或与地面平行的平面上得到人体相对所述实际体感交互范围的边界的当前位置;
其中,所述移动方向根据体感交互追踪失败前,距离当前最近一次获取的所述至少一个关键部位点的物理空间坐标,以及与距离当前最近一次的前一次获取的所述至少一个关键部位点的物理空间坐标对比后得到。
8.根据权利要求1所述的方法,其特征在于,当体感交互追踪失败时,且将所述辅助图像显示在所述显示界面后,所述方法还包括:发出提示使用者移动的信息。
9.根据权利要求1所述的方法,其特征在于,所述人体各个关键部位点为人体关节点。
10.一种纠正体感交互追踪失败的指示装置,其特征在于,所述装置包括:获取模块、与所述获取模块相连的处理模块、以及与所述获取模块和所述处理模块均相连的控制模块;
所述获取模块,用于获取人体在地面的实际体感交互范围的边界的物理空间坐标和人体各个关键部位点的物理空间坐标;
处理模块,用于若判断体感交互追踪失败,则根据所述获取模块获取的所述实际体感交互范围的边界的物理空间坐标、以及距离当前最近一次获取的所述各个关键部位点中至少一个关键部位点的物理空间坐标,在地面或与地面平行的平面上,得到人体相对所述实际体感交互范围的边界的当前位置;
控制模块,用于将所述获取模块获取的所述实际体感交互范围的边界、以及所述处理模块得到的所述当前位置相对所述实际体感交互范围的边界的距离按比例缩小,并通过辅助图像显示在显示界面的预定位置处。
11.根据权利要求10所述的装置,其特征在于,所述装置还包括与所述控制模块相连的读取模块,所述读取模块用于在进行体感交互前,读取所述辅助图像的参数,所述辅助图像的参数包括:所述辅助图像的位置、大小、是否一直显示以及自动消失延时时间;
所述控制模块,还用于通过所述显示界面显示所述参数,以使用户对所述参数进行设置,若接收到对所述参数的重新设置,则将所述辅助图像的参数存储为最新,否则,退出对所述辅助图像的参数的设置。
12.根据权利要求11所述的装置,其特征在于,若所述辅助图像的参数设置为一直显示,则所述控制模块将所述辅助图像一直显示在所述显示界面的预定位置处;或者,若所述辅助图像的参数设置为不是一直显示且所述自动消失延时时间不为零,则所述控制模块在所述自动消失延时时间内,将所述辅助图像显示在所述显示界面的预定位置处;
所述处理模块还用于在体感交互正常追踪过程中,根据获取的所述实际体感交互范围的边界的物理空间坐标、以及当前所述各个关键部位点中至少一个关键部位点的物理空间坐标,在地面或与地面平行的平面上得到人体相对所述实际体感交互范围的边界的当前位置。
13.根据权利要求10所述的装置,其特征在于,所述处理模块,具体用于在判断体感交互追踪失败时,根据所述实际体感交互范围的边界的物理空间坐标、以及距离当前最近一次获取的所述各个关键部位点中至少一个关键部位点的物理空间坐标,若判断得到当前人体位于所述实际体感交互范围的边界内,则将在地面或与地面平行的平面上得到的,距离当前最近一次人体相对所述实际体感交互范围的边界的位置作为所述当前位置;
若判断得到当前人体位于所述实际体感交互范围的边界外,则根据距离当前最近一次获取的所述至少一个关键部位点的物理空间坐标、以及人体移动方向,计算得到当前人体的所述至少一个关键部位点的物理空间坐标,并在地面或与地面平行的平面上,得到人体相对所述实际体感交互范围的边界的当前位置。
14.根据权利要求13所述的装置,其特征在于,所述处理模块,根据距离当前最近一次获取的所述至少一个关键部位点的物理空间坐标,得到以所述至少一个关键部位点的平均物理空间坐标为圆心,以在捕获每帧图像时间内,普通人体的最大移动距离为半径的圆形范围;
根据所述实际体感交互范围的边界的物理空间坐标,若所述圆形范围在所述实际体感交互范围的边界内,则判断得到当前人体位于所述实际体感交互范围的边界内,将在地面或与地面平行的平面上得到的,距离当前最近一次人体相对所述实际体感交互范围边界的位置作为所述当前位置。
15.根据权利要求14所述的装置,其特征在于,若所述圆形范围不完全在所述实际体感交互范围的边界内,则所述处理模块还对捕获的当前图像进行逐行处理,并对以所述当前图像中的预设位置为中心,在捕获每帧图像时间内,普通人体的最大移动距离范围内的点进行计数,若计数结果大于预设阈值,则判断得到当前人体位于所述实际体感交互范围的边界内,否则,判断得到当前人体位于所述实际体感交互范围的边界外;
其中,所述预设位置为距离当前最近一次捕获的图像中,躯干上的点对应的位置。
16.根据权利要求15所述的装置,其特征在于,若当前人体位于所述实际体感交互范围的边界外,则所述处理模块,根据距离当前最近一次获取的所述至少一个关键部位点的物理空间坐标、以及人体移动方向,按照在捕获每帧图像时间内,普通人体的最大移动距离,计算得到当前人体的所述至少一个关键部位点的物理空间坐标;
根据当前人体的所述至少一个关键部位点的物理空间坐标,在地面或与地面平行的平面上得到人体相对所述实际体感交互范围的边界的当前位置;
其中,所述移动方向根据体感交互追踪失败前,距离当前最近一次获取的所述至少一个关键部位点的物理空间坐标,以及与距离当前最近一次的前一次获取的所述至少一个关键部位点的物理空间坐标对比后得到。
17.根据权利要求10所述的装置,其特征在于,所述控制模块,还用于当体感交互追踪失败时,且在将所述辅助图像显示在显示界面后,发出提示使用者移动的信息。
CN201610030853.9A 2016-01-18 2016-01-18 一种纠正体感交互追踪失败的指示方法及装置 Active CN105718052B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610030853.9A CN105718052B (zh) 2016-01-18 2016-01-18 一种纠正体感交互追踪失败的指示方法及装置
PCT/CN2016/102954 WO2017124789A1 (zh) 2016-01-18 2016-10-21 纠正体感交互追踪失败的指示方法及装置
US15/542,353 US9990031B2 (en) 2016-01-18 2016-10-21 Indicating method and device for correcting failure of motion-sensing interaction tracking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610030853.9A CN105718052B (zh) 2016-01-18 2016-01-18 一种纠正体感交互追踪失败的指示方法及装置

Publications (2)

Publication Number Publication Date
CN105718052A true CN105718052A (zh) 2016-06-29
CN105718052B CN105718052B (zh) 2018-09-11

Family

ID=56147150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610030853.9A Active CN105718052B (zh) 2016-01-18 2016-01-18 一种纠正体感交互追踪失败的指示方法及装置

Country Status (3)

Country Link
US (1) US9990031B2 (zh)
CN (1) CN105718052B (zh)
WO (1) WO2017124789A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017124789A1 (zh) * 2016-01-18 2017-07-27 京东方科技集团股份有限公司 纠正体感交互追踪失败的指示方法及装置
CN107015644A (zh) * 2017-03-22 2017-08-04 腾讯科技(深圳)有限公司 虚拟场景中游标的位置调节方法及装置
CN109520415A (zh) * 2018-09-18 2019-03-26 武汉移动互联工业技术研究院有限公司 通过摄像头实现六自由度传感的方法及系统
CN112908468A (zh) * 2021-01-23 2021-06-04 方翔 一种基于5g网络的智慧医疗管理系统
CN115376237A (zh) * 2022-07-28 2022-11-22 北京航天名翰网络科技有限公司 一种非接触式自助报到系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129292A (zh) * 2010-01-15 2011-07-20 微软公司 在运动捕捉系统中识别用户意图
CN102129293A (zh) * 2010-01-15 2011-07-20 微软公司 在运动捕捉系统中跟踪用户组
CN102184020A (zh) * 2010-05-18 2011-09-14 微软公司 用于操纵用户界面的姿势和姿势修改
CN102426480A (zh) * 2011-11-03 2012-04-25 康佳集团股份有限公司 一种人机交互系统及其实时手势跟踪处理方法
CN102486676A (zh) * 2010-12-03 2012-06-06 财团法人资讯工业策进会 人机互动装置及其方法
CN104363435A (zh) * 2014-09-26 2015-02-18 深圳超多维光电子有限公司 跟踪状态指示方法及显示装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8896531B2 (en) * 2008-04-24 2014-11-25 Oblong Industries, Inc. Fast fingertip detection for initializing a vision-based hand tracker
US9952673B2 (en) * 2009-04-02 2018-04-24 Oblong Industries, Inc. Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control
JP5944781B2 (ja) * 2012-07-31 2016-07-05 株式会社デンソーアイティーラボラトリ 移動体認識システム、移動体認識プログラム、及び移動体認識方法
CN103777748A (zh) 2012-10-26 2014-05-07 华为技术有限公司 一种体感输入方法及装置
US20160091966A1 (en) 2014-09-26 2016-03-31 Superd Co., Ltd. Stereoscopic tracking status indicating method and display apparatus
CN105718052B (zh) * 2016-01-18 2018-09-11 京东方科技集团股份有限公司 一种纠正体感交互追踪失败的指示方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129292A (zh) * 2010-01-15 2011-07-20 微软公司 在运动捕捉系统中识别用户意图
CN102129293A (zh) * 2010-01-15 2011-07-20 微软公司 在运动捕捉系统中跟踪用户组
CN102184020A (zh) * 2010-05-18 2011-09-14 微软公司 用于操纵用户界面的姿势和姿势修改
CN102486676A (zh) * 2010-12-03 2012-06-06 财团法人资讯工业策进会 人机互动装置及其方法
CN102426480A (zh) * 2011-11-03 2012-04-25 康佳集团股份有限公司 一种人机交互系统及其实时手势跟踪处理方法
CN104363435A (zh) * 2014-09-26 2015-02-18 深圳超多维光电子有限公司 跟踪状态指示方法及显示装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017124789A1 (zh) * 2016-01-18 2017-07-27 京东方科技集团股份有限公司 纠正体感交互追踪失败的指示方法及装置
US9990031B2 (en) 2016-01-18 2018-06-05 Boe Technology Group Co., Ltd. Indicating method and device for correcting failure of motion-sensing interaction tracking
CN107015644A (zh) * 2017-03-22 2017-08-04 腾讯科技(深圳)有限公司 虚拟场景中游标的位置调节方法及装置
CN109520415A (zh) * 2018-09-18 2019-03-26 武汉移动互联工业技术研究院有限公司 通过摄像头实现六自由度传感的方法及系统
CN112908468A (zh) * 2021-01-23 2021-06-04 方翔 一种基于5g网络的智慧医疗管理系统
CN112908468B (zh) * 2021-01-23 2024-01-12 上海熙软科技有限公司 一种基于5g网络的智慧医疗管理系统
CN115376237A (zh) * 2022-07-28 2022-11-22 北京航天名翰网络科技有限公司 一种非接触式自助报到系统
CN115376237B (zh) * 2022-07-28 2024-02-20 北京航天名翰网络科技有限公司 一种非接触式自助报到系统

Also Published As

Publication number Publication date
US9990031B2 (en) 2018-06-05
WO2017124789A1 (zh) 2017-07-27
CN105718052B (zh) 2018-09-11
US20180067544A1 (en) 2018-03-08

Similar Documents

Publication Publication Date Title
CN105718052A (zh) 一种纠正体感交互追踪失败的指示方法及装置
JP6621798B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN108900767B (zh) 相机装置及其控制方法
CN101739567B (zh) 终端装置和显示控制方法
CN109960401B (zh) 一种基于人脸追踪的动向投影方法、装置及其系统
CN104364712A (zh) 用于捕获全景图像的方法和装置
US20100111441A1 (en) Methods, components, arrangements, and computer program products for handling images
JP5264844B2 (ja) ジェスチャ認識装置及び方法
WO2018040180A1 (zh) 一种拍摄方法以及装置
CN105892642A (zh) 一种根据眼部动作对终端进行控制的方法及装置
KR20180027361A (ko) 증강 현실 장면을 재생할 때 자동 줌을 위한 방법들, 디바이스들, 및 시스템들
CN104583902A (zh) 改进的手势的识别
US20160117077A1 (en) Multi-Depth-Interval Refocusing Method and Apparatus and Electronic Device
CN110414419A (zh) 一种基于移动端观看者的姿势检测系统及方法
US20220286623A1 (en) Image preview method and apparatus, electronic device, and storage medium
JP2003280805A (ja) データ入力装置
CN104508680A (zh) 改善之视讯追踪
US20230209204A1 (en) Display apparatus and camera tracking method
KR20100064162A (ko) 디지털 영상 처리기에서 스포츠 자세 교정 장치 및 방법
CN112492201B (zh) 拍照方法、装置及电子设备
CN103034042A (zh) 一种全景拍摄方法及装置
CN109640150B (zh) 参考视频画面的调整方法、设备及装置
CN111783659B (zh) 基于机器视觉远程放样方法、装置及终端设备、存储介质
JP2009194697A (ja) 指示システム、指示プログラム及び指示装置
CN115002443A (zh) 图像采集的处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant