CN115118867A - 交互方法、装置、显示设备及存储介质 - Google Patents

交互方法、装置、显示设备及存储介质 Download PDF

Info

Publication number
CN115118867A
CN115118867A CN202110306843.4A CN202110306843A CN115118867A CN 115118867 A CN115118867 A CN 115118867A CN 202110306843 A CN202110306843 A CN 202110306843A CN 115118867 A CN115118867 A CN 115118867A
Authority
CN
China
Prior art keywords
measurement
parameter
sensing
perception
wireless
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110306843.4A
Other languages
English (en)
Other versions
CN115118867B (zh
Inventor
徐金虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Jimi Technology Co Ltd
Original Assignee
Chengdu Jimi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Jimi Technology Co Ltd filed Critical Chengdu Jimi Technology Co Ltd
Priority to CN202110306843.4A priority Critical patent/CN115118867B/zh
Publication of CN115118867A publication Critical patent/CN115118867A/zh
Application granted granted Critical
Publication of CN115118867B publication Critical patent/CN115118867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268Signal distribution or switching
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Abstract

本申请涉及显示设备控制领域,具体而言,涉及一种交互方法、装置、显示设备及存储介质。所述方法包括步骤:检测显示设备的网络参数和无线感知功能参数后,发送无线感知测量请求;根据无线感知测量请求判断无线感知测量是否仅由显示设备的无线模块进行感知测量,若是,则所述显示设备的无线模块进行感知测量和反馈感知测量结果;若否,则所述显示设备的无线模块和响应设备协商感知测量并获取感知测量结果,所述响应设备为支持无线感知的设备;根据感知测量结果指示所述显示设备的控制模块执行操作。本申请通过无线感知测量手势状态,从而控制显示设备,实现交互。

Description

交互方法、装置、显示设备及存储介质
技术领域
本申请涉及显示设备控制技术领域,具体而言,涉及一种交互方法、装置、显示设备及存储介质。
背景技术
在802.11系统中,接入设备AP STA和终端设备Non-AP STA在内部都部署有MAC层和PHY层,其中MAC层的主要功能有信道管理、连接管理、服务质量管理、功率控制和时间同步等,PHY层的主要功能有调制、编码和传输等。
MAC层和PHY层在概念上都包括分别称为MAC层管理单元MLME(MAC sublayermanagement entity)和物理层管理单元PLME(PHY sublayer management entity)的管理实体。这些单元提供了低层管理服务接口,通过这些接口可以调用低层管理功能。
为了提供正确的MAC操作,每个STA包括Non-AP STA和AP STA,每个STA中都有一个高层管理单元,如SME(station management entity,设备管理单元),SME表示在MAC层之上的高层管理实体,是一个独立于层的实体,它位于单独的管理平面中。SME的作用:该单元负责诸如从各种层管理单元(MLME和PLME)收集与层相关的状态之类的功能,类似地,其还会设置特定层的参数值。SME通常代表一般的系统管理实体执行此类功能。各个层之间通过定义的原语进行交互。
802.11be网络,也称为Extremely High Throughput(EHT)网络,通过一系列系统特性和多种机制增强功能以实现极高的吞吐量。随着无线局域网(WLAN)的使用持续增长,对于在许多环境(例如家庭,企业和热点)中提供无线数据服务越来越重要。802.11be网络旨在通过进一步提高总吞吐量和降低延迟来确保WLAN的竞争力,同时确保与旧版技术标准向后兼容和共存。在2.4GHz,5GHz和6GHz频段运行的802.11兼容设备。
发明内容
本申请实施例的目的在于,提供一种交互方法、装置、显示设备及存储介质以解决上述问题。
第一方面,本申请实施例提供的交互方法,应用于显示设备,包括:
检测显示设备的网络参数和无线感知功能参数后,发送无线感知测量请求;
根据无线感知测量请求判断无线感知测量是否仅由显示设备的无线模块进行感知测量,若是,则所述显示设备的无线模块进行感知测量和反馈感知测量结果;若否,则所述显示设备的无线模块和响应设备协商感知测量并获取感知测量结果,所述响应设备为支持无线感知的设备;
根据感知测量结果指示所述显示设备的控制模块执行操作:
若感知测量结果result_code为FAILED,则不作处理;若感知测量结果result_code为SUCCESS,则所述显示设备的控制模块执行交互,所述交互包括以下的一种或者多种:画面切换、音视频进度调节、界面遥控。
优选地,所述根据无线感知测量请求判断无线感知测量是否仅由显示设备的无线模块进行感知测量,若是,则所述显示设备的无线模块进行感知测量和反馈感知测量结果;若否,则所述显示设备的无线模块和响应设备协商感知测量并获取感知测量结果,所述响应设备为支持无线感知的显示设备包括如下步骤:
所述显示设备的无线模块包括媒体接入层管理单元MLME和设备管理单元SME,其中MLME负责执行无线感知测量过程,SME负责根据应用单元的无线感知测量请求设置测量参数,发起感知测量进程;
MLME接收SME发送的MLME-SENSMEARUREMENT.request原语,MLME-SENSMEARUREMENT.request原语包括参与感知测量的设备的地址参数PeerSTAAddress和感知测量参数;
判断PeerSTAAddress的值是否为所述显示设备的无线模块地址,若是,则所述显示设备的无线模块根据MLME-SENSMEARUREMENT.request原语中的感知测量参数进行感知测量;若否,则所述显示设备的无线模块发送Sensing request帧至PeerSTAAddress对应的设备协商感知测量和报告。
优选地,所述显示设备的无线模块发送Sensing request帧至PeerSTAAddress对应的设备协商感知测量和报告包括如下步骤:
所述显示设备的无线模块作为感知进程发起者,PeerSTAAddress对应的设备作为感知进程响应者;
感知进程发起者发送sensing request帧至感知进程响应者;
感知进程发起者的MLME接收感知进程响应者发送的sensing response帧后,发送MLME-SENSMEARUREMENT.confirm原语至SME,所述sensing response帧包括标识是否支持感知进程发起者的请求的参数status code;
感知进程发起者发送感知数据包至感知进程响应者;
感知进程发起者接收感知进程响应者进行感知测量后发送的sensing report帧,所述sensing report帧中包含测量结果;
感知进程发起者的MLME发送MLME-SENSREPORT.indication原语至SME,所述MLME-SENSREPORT.indication原语中包含测量结果。
优选地,所述感知测量参数包括表示测量配置的参数Measurementconfiguration,所述参数Measurement configuration包括测量控制参数Measurementcontrol;所述测量控制参数Measurement control包括用于表示当前无线感知测量进程的参数Measurement ID、表示上报结果类型的参数Measurement type和表示执行测量频段的参数M-band。
优选地,所述参数Measurement configuration还包括事件测量参数Eventprofile,所述事件测量参数Event profile包括至少一个Event,所述Event包括表示事件标识的参数Event ID和表示事件判断条件的参数Threshold。
优选地,所述参数Measurement configuration还包括周期性测量参数Periodical profile,所述周期性测量参数Periodical profile包括表示发送报告间隔的参数Report Interval、表示发送报告数量的参数Max Number和表示报告项的参数Reportitem。
优选地,所述Report item包括以下的一种或者多种:距离、角度、位置、心率、呼吸速率、、有人和无人。
优选地,所述Threshold包括以下的一种或者多种:测量距离,视场角范围和目标状态。
优选地,所述sensing request帧、sensing response帧均包括表示帧类型的参数Action和表示参与感知进程的设备的角色的参数Role configuration,所述sensingrequest帧还包括表示测量配置的参数Measurement configuration。
优选地,所述参数Role configuration的值包括感知发起者的地址或标识、感知响应者的地址或标识、感知发送者的地址或标识和感知接收者的的地址或标识的一项或者多项。
优选地,所述MLME-SENSMEARUREMENT.confirm原语包括参与感知测量的设备的地址参数PeerSTAAddress和表示是否支持感知进程发起者的请求的参数Status code。
优选地,所述sensing report帧包括表示帧类型的参数Action和表示测量报告的参数Sens-report。
优选地,所述参数Sens-report包括表示测量控制的参数Measurement control,所述参数Measurement control包括表示用于标识当前无线感知测量进程的参数Measurement ID和表示测量类型的参数Measurement type。
优选地,所述参数Sens-report还包括周期性测量报告Periodical report,所述周期性测量报告Periodical report包括表示测量项结果的参数Result item和表示已报告次数的参数Report number。
优选地,所述Sens-report还包括事件测量报告Event report,所述事件测量报告Event report包括表示事件标识的参数Event ID和表示检测到该事件的时间的参数Detect time。
优选地,所述MLME-SENSREPORT.indication原语包括表示参与感知测量的设备的地址参数PeerSTAAddress和表示测量报告的参数Sens-report。
优选地,所述显示设备的无线模块根据MLME-SENSMEARUREMENT.request原语中的感知测量参数进行感知测量包括如下步骤:
无线感知测量请求包括表示事件标识的参数Event ID;
若PeerSTAAddress的值为所述显示设备的无线模块地址,则根据Event ID查找本地设置,根据事件设置的参数,发送感知信号并接收回波信号进行测量。
优选地,所述根据感知测量结果指示所述显示设备的控制模块执行操作包括步骤:
将感知测量结果进行预处理后输入识别模型获取识别结果;所述识别模型为已训练的手势识别模型;
根据识别结果执行交互,所述交互包括以下的一种或者多种:画面切换、音视频进度调节、界面遥控。
优选地,所述无线感知测量请求包括表示事件标识的参数Event ID和表示检测时长的参数period。
第二方面,本申请实施例中提供的装置,包括:
应用模块,用于检测显示设备网络参数和无线感知功能参数,发送无线感知测量请求;
感知模块,用于根据无线感知测量请求判断无线感知测量是否仅由显示设备的无线模块进行感知测量,若是,则所述显示设备的无线模块进行感知测量和反馈感知测量结果;若否,则所述显示设备的无线模块和响应设备协商感知测量并获取感知测量结果,所述响应设备为支持无线感知的显示设备;
控制模块,用于根据感知测量结果控制所述显示设备执行预设的操作,若感知测量结果result_code为FAILED,则不作处理;若感知测量结果result_code为SUCCESS,则所述显示设备的控制模块执行交互,所述交互包括以下的一种或者多种:画面切换、音视频进度调节、界面遥控。
本申请实施例提供的装置具有与上述第一方面,或第一方面的任意一种可选的实施方式所提供的交互方法相同的有益效果,此处不作赘述。
第三方面,本申请实施例提供的显示设备,包括处理器和存储器,存储器上存储有计算机程序,处理器用于执行计算机程序,以实现上述第一方面,或第一方面的任意一种可选的实施方式所提供的交互方法。
本申请实施例提供的显示设备具有与上述第一方面,或第一方面的任意一种可选的实施方式所提供的交互方法相同的有益效果,此处不作赘述。
第四方面,本申请实施例还提供了一种存储介质,存储介质上存储有计算机程序,计算机程序被执行时,实现上述第一方面,或第一方面的任意一种可选的实施方式所提供的交互方法。
本申请实施例提供的存储介质具有与上述第一方面,或第一方面的任意一种可选的实施方式所提供的交互方法相同的有益效果,此处不作赘述。
有益效果:本申请通过无线感知测量获取显示设备场景中目标对象的手势实现交互,避免采用摄像头实现手势识别需要光照条件等缺点,通过无线感知测量设备的分配,判断是否由显示设备完成无线感知测量或者显示设备和其他设备协作完成无线感知测量,确保无线感知测量的精确度和兼容性。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请方法流程示意图;
图2为本申请显示设备无线感知功能结构示意图;
图3为本申请显示设备界面示意图;
图4为本申请手势示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。此外,应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
经发明人研究发现,大多数家庭都有安装投影设备,投影设备的交互方式比较单一或固定,大多使用的是遥控器或者是红外笔。无线感知技术是一种新的技术,它可以基于现有的无线网络及设备,使用现有无线信号实现运动检测、手势识别以及生物特征测量。在无线感知中,通过使用基于信道状态信息CSI或基于Radar的方式检测环境中由物体、宠物和人的运动引起的变化,而不需要被检测的对象佩戴任何设备或者手持任何设备。因此发明人基于现有显示设备,提出一种交互方法。
如图1所示,一种交互方法,应用于显示设备,包括:
检测显示设备的网络参数和无线感知功能参数后,发送无线感知测量请求;
根据无线感知测量请求判断无线感知测量是否仅由显示设备的无线模块进行感知测量,若是,则所述显示设备的无线模块进行感知测量和反馈感知测量结果;若否,则所述显示设备的无线模块和响应设备协商感知测量并获取感知测量结果,所述响应设备为支持无线感知的设备;
根据感知测量结果指示所述显示设备的控制模块执行操作:
若感知测量结果result_code为FAILED,则不作处理;若感知测量结果result_code为SUCCESS,则所述显示设备的控制模块执行交互,所述交互包括以下的一种或者多种:画面切换、音视频进度调节、界面遥控。
具体地,显示设备以智能投影仪为例进行说明:
首先对本申请涉及的专业术语进行说明:
缩略语 英文全称 中文说明
SME station management entity 设备管理实体
MLME mac layer management entity 媒体接入层管理实体
PLME physical layer management entity 物理层管理实体
STA station 设备
AP access point 接入点设备
如图2所示,智能投影仪使用android系统,应用单元application可以使用java编写的带UI界面控制的程序。实现如下功能:
判断是否连接网络。如果联网,application上的按钮可以正常点击,若没有连接网络,则application上的所有按钮都呈现灰色,并且无法点击。
如果已连接网络,则可选选择是否开启手势检测模式开关,此开关默认关闭。当首次点击手势检测时,application会向网关发送ping服务命令,并计算ping的使用时间,当每帧ping之间的时间超过1s时,application会提示“网络信号弱,无法检测”的提示,此提示意味着当前网络无法用作感知检测。检测网络情况确保无线感知测量的前提,同时检测网络具体情况,确保无线感知测量的速率。
当application判断投影设备已连接网络,设置开关为打开时,Application发送sensing_start(EventID,period)命令给终端管理实体SME;其中EventID设置为“manualtesting”,表示需要进行手势检测,period设置为T1,表示需要检测的时长,当T1=0时表示一直检测,SME根据sensing_start(EventID,period)命令,执行无线感知进程,其中SME执行无线感知进程具体为:
①发送MLME-SENSMEARUREMENT.request原语给MLME,原语中包含参数如表1:
表1
参数 说明
PeerSTAAddress 设置为参与感知测量的设备的地址;
Measurement configuration 测量配置
其中Measurement configuration设置如表2:
表2
Figure BDA0002988061780000091
其中Measurement control设置如表3:
表3
Figure BDA0002988061780000092
其中Periodical profile设置如表4:
表4
Figure BDA0002988061780000101
其中Event profile设置如表5:
表5
Figure BDA0002988061780000102
其中,Event1-EventN在本地预先设置如表6:
表6
Event ID Threshold
事件标识 事件判断的条件
示例如下:
事件定义Event A1(sleep):测量距离在D1米以内,视场角范围为(H1,V1)发生的目标是否产生手势;
则Event1-N设置如表7:
表7
Event ID Threshold
EventA1 (D1,H1,V1)
②MLME接收到MLME-SENSMEARUREMENT.request原语后,
a:如果PeerSTAAddress的值为本投影设备的地址,则根据Event ID查找本地设置,根据事件设置的参数,发送感知信号并自己接收回波信号进行测量;
B:如果PeerSTAAddress的值为其他设备的地址,则作为感知进程发起者(STA)发送Sensing request帧给PeerSTAAddress对应的设备,即感知进程响应者(AP)。sensingrequest帧设置如表8:
表8
参数 说明
Action 帧类型,设置为Sensing request
Role configuration 参与感知进程的设备的角色
Measurement configuration 测量配置
其中Role configuration设置如表9,下述四个参数可以都包含,没有对应值的设置为空,或者仅包含有明确值的参数:
表9
Figure BDA0002988061780000111
感知进程响应者(AP)接收到Sensing request帧后,根据Sensing SID判断是否支持请求的感知业务,如果支持,则设置参数status code的值为SUCCESS,如果不支持,则设置参数status code的值为REFUSED,发送sensing response帧给感知进程的发起者(STA),sensing response帧设置如表10:
表10
参数 说明
Action 帧类型,设置为Sensing response
Status code 是否支持STA的请求
Role configuration 参与感知进程的设备的角色
感知进程发起者(STA)的MLME接收到sensing response帧后,发送MLME-SENSMEARUREMENT.confirm原语给SME,原语设置如表11:
表11
参数 说明
PeerSTAAddress AP的地址;
Status code 是否支持STA的请求
感知进程发起者(STA)发送感知数据包给感知进程响应者(AP);感知进程响应者(AP)接收感知数据包,测量信道状态信息CSI,并根据Measurement configuration执行上报;如果Measurement type中包含“event-based”,根据Event profile中设置的事件,对列出的event ID,根据事件的定义和threshold参数对测量结果进行判断,当满足条件时,发送测量报告;
感知进程响应者(AP)发送sensing report帧给STA,sensing report帧设置如表12:
表12
参数 说明
Action 帧类型,设置为Sensing report
Sens-report 测量报告
其中Sens-report设置如表13:
表13
Figure BDA0002988061780000131
其中Measurement control设置如表14:
表14
Figure BDA0002988061780000132
其中Periodical report设置如表15:
表15
Result item Report number(可选)
测量项的结果 已报告的次数
其中Event report设置如表16:
表16
Figure BDA0002988061780000133
感知进程发起者(STA)的MLME接收到sensing report后,发送MLME-SENSREPORT.indication原语给SME,原语设置如表17:
表17
Figure BDA0002988061780000141
③SME如果接收到成功检测到事件的报告,则设置该事件对应的result_code为SUCCESS,如果在指定时间T1内,没有接收到检测到事件的报告,则设置该事件对应的result_code为FAILED;
④Application间隔时间循环发送sensing_result(eventID,result_code)获取事件检测结果。
若Application接收到的result_code为FAILED,则不作任何的处理,若为SUCCESS,则投影仪的控制模块对应执行预设的操作;预设的操作包括将测量结果经过预处理后输入手势识别模型,手势识别模型输出识别结果,所述控制模块根据识别结果调用event事件即遥控器调用的接口,实现遥控器功能,包括电影的播放,暂停,快进,快退、应用的确定进入与退出和界面的左右翻页等操作
如图3所示,Application的UI界面有设备检测按钮,打开以及关闭设备等按钮以及一些参数配置的窗口。界面包括设备检测、感知开关、人数检测、手势检测、睡眠检测以及环境检测等功能。application安装时会提示调用Android Manager的PowerManager服务,需要获取相关权限,点击确定后application才可以正常安装,安装后首次打开界面如图3所示。点击检测设备,如果检测装置已与投影设备连接并正常上电,然后点击手势检测按钮,软件界面会弹出手势检测功能界面相应的参数输出。点击设备开关按钮,设备会关闭运行或启动运行。如果是关闭运行,application参数栏会变灰,相应参数不在显示。此开关默认关闭,下次启动默认之前设置的启动状态。
手势识别模型训练阶段流程如下:
使用EVL-NN训练神经网络模型预测各个手势的分类,神经网络是基于Python-3.6.5,整个网络的框架是Pytorch-0.4.1。
输入EVL-NN的是一个尺寸为10×28的二维矩阵。它最开始通过了一个7×7×64kernel-size的卷积层(3paddings&2strides),再通过了一个ReLU层和一个kernel为3×3的Maxpooling层(3paddings&2strides),然后通过两个EVL神经网络的模块,其中每个模块都包含两个kernel为3×3的卷积层(1padding&1stride)和一个BatchNorm层(0.1momentum&64batches)。在每个模块中,两个卷积层通过一个ReLU层连接。最后,两个fc层再继续进行值的预测。将初始训练速率设置为10-4,其后每20个周期(epoch)减少到之前的十分之一(一个周期被定义为整个训练集的一次完整传递),训练在80个周期后停止。
EVL-NN模块适用于训练单元size较小的数据,其中每一层神经网络的传递都没有发生对数据size的改变,因此它能够专注于每一个有可能对分类有贡献的特征的提取。
其中,手势包括如下手势,如图(2)所示:
手势1-双击:弯曲右手中指,无名指,小指,使它们的指尖接触掌心。伸出食指与拇指并使二者围成椭圆,两根手指指尖分开,虎口打开,右手小臂与地面呈一定斜角,上下活动手腕从而带动右手上下敲击两次。
手势2-左划:右手自然打开,手臂沿水平面向左移动,滑动过程中保持虎口打开。
手势3-右划:右手自然打开,手臂沿水平面向右移动,滑动过程中保持虎口打开。
手势4-顺时针旋转:右手呈握拳状,垂直于投影面。右手大拇指,中指,无名指,小指弯曲接触掌心,食指伸出。食指以手腕为轴,顺时针旋转画圆。
手势5-逆时针旋转:右手呈握拳状,垂直于投影面。右手大拇指,中指,无名指,小指弯曲接触掌心,食指伸出。食指以手腕为轴,逆时针旋转画圆。
请参阅图2,本申请实施例提供一种显示设备示意性结构框图,其可以是智能手机、平板电脑显示设备等。显示设备包括智能电视或者智能投影仪。应当理解,图2所示的结构仅为示意,本申请实施例提供的显示设备还可以具有比图2更少或更多的组件,或是具有与图2所示不同的配置,本申请实施例对此不作具体限制。
基于与上述交互方法同样的发明构思,本申请实施例还提供了一种装置;所述装置包括:
应用模块,用于检测显示设备网络参数和无线感知功能参数,发送无线感知测量请求;
感知模块,用于根据无线感知测量请求判断无线感知测量是否仅由显示设备的无线模块进行感知测量,若是,则所述显示设备的无线模块进行感知测量和反馈感知测量结果;若否,则所述显示设备的无线模块和响应设备协商感知测量并获取感知测量结果,所述响应设备为支持无线感知的显示设备;
控制模块,用于根据感知测量结果控制所述显示设备执行预设的操作,若感知测量结果result_code为FAILED,则不作处理;若感知测量结果result_code为SUCCESS,则所述显示设备的控制模块执行交互,所述交互包括以下的一种或者多种:画面切换、音视频进度调节、界面遥控。
所述应用模块包括界面单元和检测单元,所述界面单元用于显示检测参数、功能开关和设备信息;检测参数包括手势参数,功能开关包括设备开关、设备检测开关;设备信息包括设备型号、软件版本和硬件版本。所述检测单元用于检测界面单元的按钮状态实现网络检测和手势识别功能开关检测。
所述感知模块包括无线模块,所述无线模块用于确定感知测量执行设备后进行无线感知测量,具体无线感知测量细节基于CSI是现有技术,在此不进行赘述。无线模块具体的参数设置如上所述。
所述控制模块包括交互单元,所述交互单元用于进行画面切换和/或音视频进度调节和/或界面遥控。
综上,本申请通过无线感知测量获取观影人手势,从而实现观影人与显示设备间的无感交互,基于现有的无线设备,丰富显示设备功能。通过判断显示设备进行感知测量还是显示设备和响应设备协商感知测量,便于无线感知测量的稳定性、兼容性等,优化无线感知测量功能。
此外,本申请实施例还提供了一种显示设备,包括处理器和存储器,所述存储器上存储有计算机程序,所述处理器用于执行所述计算机程序,以实现上述方法实施例所提供的交互方法,具体可参见上述方法实施例,本申请实施例中对此不作赘述。
此外,本申请实施例还提供了一种存储介质,存储介质上存储有计算机程序,计算机程序被执行时,实现上述方法实施例所提供的交互方法,具体可参见上述方法实施例,本申请实施例中对此不作赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请每个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是每个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请每个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、随机存取存储器(Random Access Memory,RAM)、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
此外,需要说明的是,在本文中,诸如“第一”、“第二”、“第三”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。

Claims (22)

1.一种交互方法,其特征在于,应用于显示设备,包括:
检测显示设备的网络参数和无线感知功能参数后,发送无线感知测量请求;
根据无线感知测量请求判断无线感知测量是否仅由显示设备的无线模块进行感知测量,若是,则所述显示设备的无线模块进行感知测量和反馈感知测量结果;若否,则所述显示设备的无线模块和响应设备协商感知测量并获取感知测量结果,所述响应设备为支持无线感知的设备;
根据感知测量结果指示所述显示设备的控制模块执行操作:
若感知测量结果result_code为FAILED,则不作处理;若感知测量结果result_code为SUCCESS,则所述显示设备的控制模块执行交互,所述交互包括以下的一种或者多种:画面切换、音视频进度调节、界面遥控。
2.根据权利要求1所述的交互方法,其特征在于,所述根据无线感知测量请求判断无线感知测量是否仅由显示设备的无线模块进行感知测量,若是,则所述显示设备的无线模块进行感知测量和反馈感知测量结果;若否,则所述显示设备的无线模块和响应设备协商感知测量并获取感知测量结果,所述响应设备为支持无线感知的显示设备包括如下步骤:
所述显示设备的无线模块包括媒体接入层管理单元MLME和设备管理单元SME,其中MLME负责执行无线感知测量过程,SME负责根据应用单元的无线感知测量请求设置测量参数,发起感知测量进程;
MLME接收SME发送的MLME-SENSMEARUREMENT.request原语,MLME-SENSMEARUREMENT.request原语包括参与感知测量的设备的地址参数PeerSTAAddress和感知测量参数;
判断PeerSTAAddress的值是否为所述显示设备的无线模块地址,若是,则所述显示设备的无线模块根据MLME-SENSMEARUREMENT.request原语中的感知测量参数进行感知测量;若否,则所述显示设备的无线模块发送Sensing request帧至PeerSTAAddress对应的设备协商感知测量和报告。
3.根据权利要求2所述的一种交互方法,其特征在于,所述显示设备的无线模块发送Sensing request帧至PeerSTAAddress对应的设备协商感知测量和报告包括如下步骤:
所述显示设备的无线模块作为感知进程发起者,PeerSTAAddress对应的设备作为感知进程响应者;
感知进程发起者发送sensing request帧至感知进程响应者;
感知进程发起者的MLME接收感知进程响应者发送的sensing response帧后,发送MLME-SENSMEARUREMENT.confirm原语至SME,所述sensing response帧包括标识是否支持感知进程发起者的请求的参数status code;
感知进程发起者发送感知数据包至感知进程响应者;
感知进程发起者接收感知进程响应者进行感知测量后发送的sensing report帧,所述sensing report帧中包含测量结果;
感知进程发起者的MLME发送MLME-SENSREPORT.indication原语至SME,所述MLME-SENSREPORT.indication原语中包含测量结果。
4.根据权利要求2所述的一种交互方法,其特征在于,所述感知测量参数包括表示测量配置的参数Measurement configuration,所述参数Measurement configuration包括测量控制参数Measurement control;所述测量控制参数Measurement control包括用于表示当前无线感知测量进程的参数Measurement ID、表示上报结果类型的参数Measurement type和表示执行测量频段的参数M-band。
5.根据权利要求4所述的一种交互方法,其特征在于,所述参数Measurementconfiguration还包括事件测量参数Event profile,所述事件测量参数Event profile包括至少一个Event,所述Event包括表示事件标识的参数Event ID和表示事件判断条件的参数Threshold。
6.根据权利要求4所述的一种交互方法,其特征在于,所述参数Measurementconfiguration还包括周期性测量参数Periodical profile,所述周期性测量参数Periodical profile包括表示发送报告间隔的参数Report Interval、表示发送报告数量的参数Max Number和表示报告项的参数Report item。
7.根据权利要求6所述的一种交互方法,其特征在于,所述Report item包括以下的一种或者多种:距离、角度、位置、心率、呼吸速率、、有人和无人。
8.根据权利要求5所述的一种交互方法,其特征在于,所述Threshold包括以下的一种或者多种:测量距离,视场角范围和目标状态。
9.根据权利要求3所述的一种交互方法,其特征在于,所述sensing request帧、sensing response帧均包括表示帧类型的参数Action和表示参与感知进程的设备的角色的参数Role configuration,所述sensing request帧还包括表示测量配置的参数Measurement configuration。
10.根据权利要求9所述的一种交互方法,其特征在于,所述参数Role configuration的值包括感知发起者的地址或标识、感知响应者的地址或标识、感知发送者的地址或标识和感知接收者的的地址或标识的一项或者多项。
11.根据权利要求3所述的一种交互方法,其特征在于,所述MLME-SENSMEARUREMENT.confirm原语包括参与感知测量的设备的地址参数PeerSTAAddress和表示是否支持感知进程发起者的请求的参数Status code。
12.根据权利要求3所述的一种交互方法,其特征在于,所述sensing report帧包括表示帧类型的参数Action和表示测量报告的参数Sens-report。
13.根据权利要求12所述的一种交互方法,其特征在于,所述参数Sens-report包括表示测量控制的参数Measurement control,所述参数Measurement control包括表示用于标识当前无线感知测量进程的参数Measurement ID和表示测量类型的参数Measurementtype。
14.根据权利要求12所述的一种交互方法,其特征在于,所述参数Sens-report还包括周期性测量报告Periodical report,所述周期性测量报告Periodical report包括表示测量项结果的参数Result item和表示已报告次数的参数Report number。
15.根据权利要求12所述的一种交互方法,其特征在于,所述Sens-report还包括事件测量报告Event report,所述事件测量报告Event report包括表示事件标识的参数EventID和表示检测到该事件的时间的参数Detect time。
16.根据权利要求3所述的一种交互方法,其特征在于,所述MLME-SENSREPORT.indication原语包括表示参与感知测量的设备的地址参数PeerSTAAddress和表示测量报告的参数Sens-report。
17.根据权利要求2所述的一种交互方法,其特征在于,所述显示设备的无线模块根据MLME-SENSMEARUREMENT.request原语中的感知测量参数进行感知测量包括如下步骤:
无线感知测量请求包括表示事件标识的参数Event ID;
若PeerSTAAddress的值为所述显示设备的无线模块地址,则根据Event ID查找本地设置,根据事件设置的参数,发送感知信号并接收回波信号进行测量。
18.根据权利要求1所述的交互方法,其特征在于,所述根据感知测量结果指示所述显示设备的控制模块执行操作包括步骤:
将感知测量结果进行预处理后输入识别模型获取识别结果;所述识别模型为已训练的手势识别模型;
根据识别结果执行交互,所述交互包括以下的一种或者多种:画面切换、音视频进度调节、界面遥控。
19.根据权利要求1所述的交互方法,其特征在于,所述无线感知测量请求包括表示事件标识的参数Event ID和表示检测时长的参数period。
20.一种装置,其特征在于,包括:
应用模块,用于检测显示设备网络参数和无线感知功能参数,发送无线感知测量请求;
感知模块,用于根据无线感知测量请求判断无线感知测量是否仅由显示设备的无线模块进行感知测量,若是,则所述显示设备的无线模块进行感知测量和反馈感知测量结果;若否,则所述显示设备的无线模块和响应设备协商感知测量并获取感知测量结果,所述响应设备为支持无线感知的显示设备;
控制模块,用于根据感知测量结果控制所述显示设备执行预设的操作,若感知测量结果result_code为FAILED,则不作处理;若感知测量结果result_code为SUCCESS,则所述显示设备的控制模块执行交互,所述交互包括以下的一种或者多种:画面切换、音视频进度调节、界面遥控。
21.一种显示设备,其特征在于,包括处理器和存储器,所述存储器上存储有计算机程序,所述处理器用于执行所述计算机程序,以实现权利要求1~19中任意一项所述的交互方法。
22.一种存储介质,所述存储介质上存储有计算机程序,其特征在于,所述计算机程序被执行时,实现权利要求1~19中任意一项所述的交互方法。
CN202110306843.4A 2021-03-23 2021-03-23 交互方法、装置、显示设备及存储介质 Active CN115118867B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110306843.4A CN115118867B (zh) 2021-03-23 2021-03-23 交互方法、装置、显示设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110306843.4A CN115118867B (zh) 2021-03-23 2021-03-23 交互方法、装置、显示设备及存储介质

Publications (2)

Publication Number Publication Date
CN115118867A true CN115118867A (zh) 2022-09-27
CN115118867B CN115118867B (zh) 2023-07-25

Family

ID=83323922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110306843.4A Active CN115118867B (zh) 2021-03-23 2021-03-23 交互方法、装置、显示设备及存储介质

Country Status (1)

Country Link
CN (1) CN115118867B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105376267A (zh) * 2014-08-09 2016-03-02 星际空间(天津)科技发展有限公司 一种移动终端无线感知信息处理系统及处理方法
US20180278922A1 (en) * 2017-03-22 2018-09-27 Bragi GmbH Wireless earpiece with a projector
WO2019184585A1 (zh) * 2018-03-29 2019-10-03 深圳大学 一种基于WiFi感知控制家用电器的方法及系统
US20190394290A1 (en) * 2016-12-13 2019-12-26 Huizhou Tcl Mobile Communication Co., Ltd. Information push method and system
CN111225146A (zh) * 2020-01-16 2020-06-02 深圳市广道高新技术股份有限公司 基于无线感知的安防辅助监控方法、系统及存储介质
CN111641913A (zh) * 2020-04-14 2020-09-08 浙江大华技术股份有限公司 屏幕亮度控制方法、装置、计算机设备和可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105376267A (zh) * 2014-08-09 2016-03-02 星际空间(天津)科技发展有限公司 一种移动终端无线感知信息处理系统及处理方法
US20190394290A1 (en) * 2016-12-13 2019-12-26 Huizhou Tcl Mobile Communication Co., Ltd. Information push method and system
US20180278922A1 (en) * 2017-03-22 2018-09-27 Bragi GmbH Wireless earpiece with a projector
WO2019184585A1 (zh) * 2018-03-29 2019-10-03 深圳大学 一种基于WiFi感知控制家用电器的方法及系统
CN111225146A (zh) * 2020-01-16 2020-06-02 深圳市广道高新技术股份有限公司 基于无线感知的安防辅助监控方法、系统及存储介质
CN111641913A (zh) * 2020-04-14 2020-09-08 浙江大华技术股份有限公司 屏幕亮度控制方法、装置、计算机设备和可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SOLOMON TRAININ: "IEEE P802.11 Wireless LANs", Retrieved from the Internet <URL:https://www.ieee802.org/11/PARs/P802.11bf.pdf> *

Also Published As

Publication number Publication date
CN115118867B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
JP5567206B2 (ja) コンピューティングデバイスインターフェース
US20160196042A1 (en) Gesture enabled simultaneous selection of range and value
CN109074819A (zh) 基于操作-声音的多模式命令的优选控制方法及应用其的电子设备
WO2016145883A1 (zh) 屏幕控制方法、终端和计算机存储介质
CN105760102B (zh) 终端交互控制方法、装置及应用程序交互控制方法
CN107643828A (zh) 对车辆中的用户行为进行识别和响应的方法和系统
CN108052366B (zh) 应用图标显示方法、终端及存储介质
CN108920066B (zh) 触摸屏滑动调整方法、调整装置及触控设备
US20160246366A1 (en) Control method and control apparatus for electronic equipment and electronic equipment
US20140253444A1 (en) Mobile communication devices and man-machine interface (mmi) operation methods thereof
US20130169533A1 (en) System and Method of Cursor Position Control Based on the Vestibulo-Ocular Reflex
US20210365160A1 (en) Method for interface operation and terminal, storage medium thereof
EP3933552A1 (en) Method and device for determining gaze position of user, storage medium, and electronic apparatus
CN108605165A (zh) 在电子设备中生成视频缩略图的方法及电子设备
US10969827B2 (en) Electronic device and method for controlling user interface therein
US20190339858A1 (en) Method and apparatus for adjusting virtual key of mobile terminal
WO2020220154A1 (zh) 屏幕显示切换方法、显示设备、可移动平台
CN110083742B (zh) 一种视频查询方法和装置
WO2018059552A1 (zh) 屏幕显示控制方法、装置及移动终端和计算机存储介质
CN110007838B (zh) 擦除控件的处理方法、装置和设备
WO2015085874A1 (zh) 一种手势识别方法及装置
CN115118867B (zh) 交互方法、装置、显示设备及存储介质
CN103543825A (zh) 摄像机光标系统
US20230393649A1 (en) Method and device for inputting information
WO2022078154A1 (zh) 显示设备及媒资播放方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 610000 building 4, zone a, Tianfu Software Park, No. 1129, shijicheng Road, high tech Zone, Chengdu, Sichuan

Applicant after: Jimi Technology Co.,Ltd.

Address before: No.2, floor 2, unit 1, building 4, Tianfu Software Park, no.1129, shijicheng Road, hi tech Zone, Chengdu, Sichuan 610041

Applicant before: Chengdu Jimi Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant