CN111464869B - 一种运动位置检测方法、屏幕亮度调节方法及智能设备 - Google Patents

一种运动位置检测方法、屏幕亮度调节方法及智能设备 Download PDF

Info

Publication number
CN111464869B
CN111464869B CN202010317428.4A CN202010317428A CN111464869B CN 111464869 B CN111464869 B CN 111464869B CN 202010317428 A CN202010317428 A CN 202010317428A CN 111464869 B CN111464869 B CN 111464869B
Authority
CN
China
Prior art keywords
channel state
state information
neural network
data
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010317428.4A
Other languages
English (en)
Other versions
CN111464869A (zh
Inventor
曹贵宝
何志峰
鞠伟明
程志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Priority to CN202010317428.4A priority Critical patent/CN111464869B/zh
Publication of CN111464869A publication Critical patent/CN111464869A/zh
Application granted granted Critical
Publication of CN111464869B publication Critical patent/CN111464869B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast

Abstract

本申请公开一种运动检测方法、屏幕亮度调节方法及智能设备。运动位置检测方法包括当信道状态信息的数据发生变化时，将信道状态信息的变化数据输入训练好的模型中，输出运动位置，模型包括卷积神经网络‑长短时记忆循环神经网络架构模型。基于人体运动导致信道状态信息数据的变化，且人体的动作具有一定时序性，不同位置导致信道状态信息数据不同。本申请实施例对采集的信道状态信息变化数据进行建模，来训练机器学习模型，并训练好的模型部署在智能设备上。智能设备实时收集信道状态信息的变化数据，根据变化数据判断出用户运动位置。本申请可以在不佩戴任何设备，且不泄漏个人隐私的情况下检测用户运动位置，并根据用户运动位置调节屏幕亮度。

Description

一种运动位置检测方法、屏幕亮度调节方法及智能设备
技术领域
本申请涉及位置检测技术领域，特别涉及一种运动位置检测方法、屏幕亮度调节方法及智能设备。
背景技术
随着近年来人工智能快速发展，人机交互技术的发展一直备受关注。由于有许多旨在监视室内人员活动和行为的应用，人类活动识别得到极大的关注。常规的人体运动检测与识别通常采用传感器、摄像头等手段，在现有系统中，个人必须佩戴配备有运动传感器的设备，传感器数据在可穿戴设备上本地处理或传输到服务器以进行特征提取，然后使用监督学习算法进行分类来识别诸如睡觉，坐着，站着，走路和跑步等活动。
但是，始终佩戴设备很麻烦，并且对于许多被动活动识别应用程序(人们可能没有携带任何传感器或无线设备)可能无法佩戴。虽然基于摄像头的系统可用于被动活动识别，但视线要求是此类系统的主要限制。此外，基于摄像机的方法存在隐私问题，因此无法在许多环境中使用。因此，基于无线信号的无源监控系统没有侵犯人们的隐私，是可取的，但是此类方法都不能提供位置的信息。
发明内容
本申请的目的在于提供一种运动位置检测方法、屏幕亮度调节方法及智能设备，用以在不佩戴任何设备，且不泄漏个人隐私的情况下检测到用户的运动位置，并根据用户的运动位置调节屏幕亮度。
第一方面，本申请实施例提供一种智能设备，包括：
通信器，用于实时接收信道状态信息的数据；
控制器，用于执行：
当所述信道状态信息的数据发生变化时，将所述信道状态信息的变化数据输入训练好的模型中，输出运动位置，所述模型包括卷积神经网络-长短时记忆循环神经网络架构模型。
在一些实施例中，所述模型的训练方法，包括：
采集预设区域内信道状态信息的变化数据；
构建卷积神经网络-长短时记忆循环神经网络架构模型；
将预设区域内信道状态信息的变化数据输入到构建的卷积神经网络-长短时记忆循环神经网络架构模型中进行训练及参数调优，模型迭代，得到训练好的模型。
在一些实施例中，所述预设区域内信道状态信息的变化数据由预设人员在所述预设区域内做无规则运动产生。
在一些实施例中，所述卷积神经网络-长短时记忆循环神经网络架构包括输入层、卷积层、最大池化层、两层长短时记忆循环神经网络结构和softmax层；
所述输入层，用于接收信道状态信息的变化数据；
所述卷积层，用于对所述变化数据进行降噪和特征提取，得到特征数据；
所述最大池化层，用于对所述特征数据进行降采样；
所述长短时记忆循环神经网络结构，用于对降采样后的数据进行时序模型训练；
所述softmax层，用于输出运动位置。
第二方面，本申请实施例提供一种智能设备，所述智能设备包括显示设备，所述显示设备包括：
显示器，用于显示图形用户界面；
通信器，用于实时接收信道状态信息的数据；
控制器，用于执行：
根据运动位置，调节所述显示器的屏幕亮度。
第三方面，本申请实施例提供一种运动位置检测方法，包括：
当信道状态信息的数据发生变化时，将所述信道状态信息的变化数据输入训练好的模型中，输出运动位置，所述模型包括卷积神经网络-长短时记忆循环神经网络架构模型。
在一些实施例中，所述模型的训练方法，包括：
采集预设区域内信道状态信息的变化数据；
构建卷积神经网络-长短时记忆循环神经网络架构模型；
将预设区域内信道状态信息的变化数据输入到构建的卷积神经网络-长短时记忆循环神经网络架构模型中进行训练及参数调优，模型迭代，得到训练好的模型。
在一些实施例中，所述预设区域内信道状态信息的变化数据由预设人员在所述预设区域内做无规则运动产生。
在一些实施例中，所述卷积神经网络-长短时记忆循环神经网络架构包括输入层、卷积层、最大池化层、两层长短时记忆循环神经网络结构和softmax层；
所述输入层，用于接收信道状态信息的变化数据；
所述卷积层，用于对所述变化数据进行降噪和特征提取，得到特征数据；
所述最大池化层，用于对所述特征数据进行降采样；
所述长短时记忆循环神经网络结构，用于对降采样后的数据进行时序模型训练；
所述softmax层，用于输出的运动位置。
第四方面，本申请实施例提供一种屏幕亮度调节方法，应用于显示设备，包括：
根据运动位置，调节显示器的屏幕亮度。
在上述实施例中，基于人体运动导致信道状态信息数据的变化，且人体的动作具有一定的时序性，不同的位置导致信道状态信息数据不同。通过采集的信道状态信息变化数据进行建模，来训练机器学习模型，并训练好的模型部署在智能设备上。智能设备实时收集信道状态信息的变化数据，根据变化数据判断出人体运动位置。本申请在不佩戴任何设备，且不泄漏个人隐私的情况下检测到用户的运动位置，并根据用户的运动位置调节屏幕亮度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A中示例性示出了智能设备与无线访问接入点之间操作场景的示意图；
图1B中示例性示出了显示设备的配置框图；
图1C中示例性示出了显示设备存储器中操作系统的架构配置框图；
图2A为根据本申请实施例示出的一种模型训练方法的流程图；
图2B为根据本申请实施例示出的一种无线访问接入点和智能设备之间区域划分示意图；
图2C为根据本申请实施例示出的一种卷积神经网络-长短时记忆循环神经网络架构模型图；
图2D为根据本申请实施例示出的一种屏幕亮度调节方法的流程图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本申请中的术语“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphicuserinterface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在显示设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
图1A中示例性示出了智能设备与无线访问接入点之间操作场景的示意图。如图1A所示，无线访问接入点100和智能设备之间可以通过无线方式进行通信。智能设备包括显示设备200。
无线访问接入点100(Access Point，AP)包括单纯性无线接入点(无线AP)和无线路由器(含无线网关、无线网桥)。
显示设备200可提供广播接收功能和计算机支持功能的网络电视功能。显示设备可以实施为，数字电视、网络电视、互联网协议电视(IPTV)等。
显示设备200，可以是液晶显示器、有机发光显示器、投影设备。具体显示设备类型、尺寸大小和分辨率等不作限定。
图1B中示例性示出了显示设备200的硬件配置框图。如图1B所示，显示设备200中可以包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、存储器260、用户接口265、视频处理器270、显示器275、音频处理器280、音频输出接口285、供电电源290。
调谐解调器210，通过有线或无线方式接收广播电视信号，可以进行放大、混频和谐振等调制解调处理，用于从多个无线或有线广播电视信号中解调出用户所选择的电视频道的频率中所携带的音视频信号，以及附加信息(例如EPG数据)。
调谐解调器210，可根据用户选择，以及由控制器250控制，响应用户选择的电视频道的频率以及该频率所携带的电视信号。
调谐解调器210，根据电视信号的广播制式不同，可以接收信号的途径有很多种，诸如：地面广播、有线广播、卫星广播或互联网广播等；以及根据调制类型不同，可以数字调制方式或模拟调制方式；以及根据接收电视信号的种类不同，可以解调模拟信号和数字信号。
在其他一些示例性实施例中，调谐解调器210也可在外部设备中，如外部机顶盒等。这样，机顶盒通过调制解调后输出电视信号，经过外部装置接口240输入至显示设备200中。
通信器220，是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如显示设备200可将内容数据发送至经由通信器220连接的外部设备，或者，从经由通信器220连接的外部设备浏览和下载内容数据。通信器220可以包括WIFI模块221、蓝牙通信协议模块222、有线以太网通信协议模块223等网络通信协议模块或近场通信协议模块，从而通信器220可根据控制器250的控制接收控制信号，并将控制信号实现为WIFI信号、蓝牙信号、射频信号等。
检测器230，是显示设备200用于采集外部环境或与外部交互的信号的组件。检测器230可以包括声音采集器231，如麦克风，可以用于接收用户的声音，如用户控制显示设备200的控制指令的语音信号；或者，可以采集用于识别环境场景类型的环境声音，实现显示设备200可以自适应环境噪声。
在其他一些示例性实施例中，检测器230，还可以包括图像采集器232，如相机、摄像头等，可以用于采集外部环境场景，以自适应变化显示设备200的显示参数；以及用于采集用户的属性或与用户交互手势，以实现显示设备与用户之间互动的功能。
在其他一些示例性实施例中，检测器230，还可以包括光接收器，用于采集环境光线强度，以自适应显示设备200的显示参数变化等。
在其他一些示例性实施例中，检测器230，还可以包括温度传感器，如通过感测环境温度，显示设备200可自适应调整图像的显示色温。示例性的，当温度偏高的环境时，可调整显示设备200显示图像色温偏冷色调；当温度偏低的环境时，可以调整显示设备200显示图像色温偏暖色调。
外部装置接口240，是提供控制器250控制显示设备200与外部设备间数据传输的组件。外部装置接口240可按照有线/无线方式与诸如机顶盒、游戏装置、笔记本电脑等外部设备连接，可接收外部设备的诸如视频信号(例如运动图像)、音频信号(例如音乐)、附加信息(例如EPG)等数据。
其中，外部装置接口240可以包括：高清多媒体接口(HDMI)端子241、复合视频消隐同步(CVBS)端子242、模拟或数字分量端子243、通用串行总线(USB)端子244、组件(Component)端子(图中未示出)、红绿蓝(RGB)端子(图中未示出)等任一个或多个。
控制器250，通过运行存储在存储器260上的各种软件控制程序(如操作系统和各种应用程序)，来控制显示设备200的工作和响应用户的操作。例如，控制器可实现为芯片(System-on-a-Chip，SOC)。
如图1B所示，控制器250包括随机存取存储器(RAM)251、只读存储器(ROM)252、图形处理器253、CPU处理器254、通信接口255、以及通信总线256。其中，RAM251、ROM252以及图形处理器253、CPU处理器254通信接口255通过通信总线256相连接。
ROM252，用于存储各种系统启动指令。如在接收到开机信号时，显示设备200电源开始启动，CPU处理器254运行ROM252中的系统启动指令，将存储在存储器260的操作系统拷贝至RAM251中，以开始运行启动操作系统。当操作系统启动完成后，CPU处理器254再将存储器260中各种应用程序拷贝至RAM251中，然后，开始运行启动各种应用程序。
图形处理器253，用于产生各种图形对象，如图标、操作菜单、以及用户输入指令显示图形等。图形处理器253可以包括运算器，用于通过接收用户输入各种交互指令进行运算，进而根据显示属性显示各种对象；以及包括渲染器，用于产生基于运算器得到的各种对象，将进行渲染的结果显示在显示器275上。
CPU处理器254，用于执行存储在存储器260中的操作系统和应用程序指令。以及根据接收的用户输入指令，来执行各种应用程序、数据和内容的处理，以便最终显示和播放各种音视频内容。
在一些示例性实施例中，CPU处理器254，可以包括多个处理器。多个处理器可包括一个主处理器以及多个或一个子处理器。主处理器，用于在显示设备预加载模式中执行显示设备200的一些初始化操作，和/或，在正常模式下显示画面的操作。多个或一个子处理器，用于执行在显示设备待机模式等状态下的一种操作。
通信接口255，可包括第一接口到第n接口。这些接口可以是经由网络被连接到外部设备的网络接口。
控制器250可以控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器275上显示的GUI对象的用户输入命令，控制器250便可以执行与由用户输入命令选择的对象有关的操作。例如，控制器可实现为SOC(System on Chip,，系统级芯片)或者MCU(Micro Control Unit，微控制单元)。
其中，该对象可以是可选对象中的任何一个，例如超链接或图标。该与所选择的对象有关的操作，例如显示连接到超链接页面、文档、图像等操作，或者执行与对象相对应的程序的操作。该用于选择GUI对象的用户输入命令，可以是通过连接到显示设备200的各种输入装置(例如，鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。
存储器260，用于存储驱动和控制显示设备200运行的各种类型的数据、软件程序或应用程序。存储器260可以包括易失性和/或非易失性存储器。而术语“存储器”包括存储器260、控制器250的RAM251和ROM252、或显示设备200中的存储卡。
在一些实施例中，存储器260具体用于存储驱动显示设备200中控制器250的运行程序；存储显示设备200内置的和用户从外部设备下载的各种应用程序；存储用于配置由显示器275提供的各种GUI、与GUI相关的各种对象及用于选择GUI对象的选择器的视觉效果图像等数据。
在一些实施例中，存储器260具体用于存储调谐解调器210、通信器220、检测器230、外部装置接口240、视频处理器270、显示器275、音频处理器280等的驱动程序和相关数据，例如从外部装置接口接收的外部数据(例如音视频数据)或用户接口接收的用户数据(例如按键信息、语音信息、触摸信息等)。
在一些实施例中，存储器260具体存储用于表示操作系统(OS)的软件和/或程序，这些软件和/或程序可包括，例如：内核、中间件、应用编程接口(API)和/或应用程序。示例性的，内核可控制或管理系统资源，以及其它程序所实施的功能(如所述中间件、API或应用程序)；同时，内核可以提供接口，以允许中间件、API或应用程序访问控制器，以实现控制或管理系统资源。
图1C中示例性示出了显示设备200存储器中操作系统的架构配置框图。该操作系统架构从上到下依次是应用层、中间件层和内核层。
应用层，系统内置的应用程序以及非系统级的应用程序都是属于应用层。负责与用户进行直接交互。应用层可包括多个应用程序，如设置应用程序、电子帖应用程序、媒体中心应用程序等。这些应用程序可被实现为Web应用，其基于WebKit引擎来执行，具体可基于HTML5、层叠样式表(CSS)和JavaScript来开发并执行。
这里，HTML，全称为超文本标记语言(HyperText Markup Language)，是一种用于创建网页的标准标记语言，通过标记标签来描述网页，HTML标签用以说明文字、图形、动画、声音、表格、链接等，浏览器会读取HTML文档，解释文档内标签的内容，并以网页的形式显示出来。
CSS，全称为层叠样式表(Cascading Style Sheets)，是一种用来表现HTML文件样式的计算机语言，可以用来定义样式结构，如字体、颜色、位置等的语言。CSS样式可以直接存储与HTML网页或者单独的样式文件中，实现对网页中样式的控制。
JavaScript，是一种应用于Web网页编程的语言，可以插入HTML页面并由浏览器解释执行。其中Web应用的交互逻辑都是通过JavaScript实现。JavaScript可以通过浏览器，封装JavaScript扩展接口，实现与内核层的通信，
中间件层，可以提供一些标准化的接口，以支持各种环境和系统的操作。例如，中间件层可以实现为与数据广播相关的中间件的多媒体和超媒体信息编码专家组(MHEG)，还可以实现为与外部设备通信相关的中间件的DLNA中间件，还可以实现为提供显示设备内各应用程序所运行的浏览器环境的中间件等。
内核层，提供核心系统服务，例如：文件管理、内存管理、进程管理、网络管理、系统安全权限管理等服务。内核层可以被实现为基于各种操作系统的内核，例如，基于Linux操作系统的内核。
内核层也同时提供系统软件和硬件之间的通信，为各种硬件提供设备驱动服务，例如：为显示器提供显示驱动程序、为摄像头提供摄像头驱动程序、为遥控器提供按键驱动程序、为WIFI模块提供WiFi驱动程序、为音频输出接口提供音频驱动程序、为电源管理(PM)模块提供电源管理驱动等。
用户接口265，接收各种用户交互。具体的，用于将用户的输入信号发送给控制器250，或者，将从控制器250的输出信号传送给用户。示例性的，遥控器100A可将用户输入的诸如电源开关信号、频道选择信号、音量调节信号等输入信号发送至用户接口265，再由用户接口265转送至控制器250；或者，遥控器100A可接收经控制器250处理从用户接口265输出的音频、视频或数据等输出信号，并且显示接收的输出信号或将接收的输出信号输出为音频或振动形式。
在一些实施例中，用户可在显示器275上显示的图形用户界面(GUI)输入用户命令，则用户接口265通过GUI接收用户输入命令。确切的说，用户接口265可接收用于控制选择器在GUI中的位置以选择不同的对象或项目的用户输入命令。
或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户接口265通过传感器识别出声音或手势，来接收用户输入命令。
视频处理器270，用于接收外部的视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频数据处理，可得到直接在显示器275上显示或播放的视频信号。
示例的，视频处理器270，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。
其中，解复用模块，用于对输入音视频数据流进行解复用处理，如输入MPEG-2流(基于数字存储媒体运动图像和语音的压缩标准),则解复用模块将其进行解复用成视频信号和音频信号等。
视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。
图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。
帧率转换模块，用于对输入视频的帧率进行转换，如将输入的60Hz视频的帧率转换为120Hz或240Hz的帧率，通常的格式采用如插帧方式实现。
显示格式化模块，用于将帧率转换模块输出的信号，改变为符合诸如显示器显示格式的信号，如将帧率转换模块输出的信号进行格式转换以输出RGB数据信号。
显示器275，用于接收源自视频处理器270输入的图像信号，进行显示视频内容、图像以及菜单操控界面。显示视频内容，可以来自调谐解调器210接收的广播信号中的视频内容，也可以来自通信器220或外部装置接口240输入的视频内容。显示器275，同时显示显示设备200中产生且用于控制显示设备200的用户操控界面UI。
以及，显示器275可以包括用于呈现画面的显示屏组件以及驱动图像显示的驱动组件。或者，倘若显示器275为一种投影显示器，还可以包括一种投影装置和投影屏幕。
音频处理器280，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等音频数据处理，得到可以在扬声器286中播放的音频信号。
示例性的，音频处理器280可以支持各种音频格式。例如MPEG-2、MPEG-4、高级音频编码(AAC)、高效AAC(HE-AAC)等格式。
音频输出接口285，用于在控制器250的控制下接收音频处理器280输出的音频信号，音频输出接口285可包括扬声器286，或输出至外接设备的发生装置的外接音响输出端子287，如耳机输出端子。
在其他一些示例性实施例中，视频处理器270可以包括一个或多个芯片组成。音频处理器280，也可以包括一个或多个芯片组成。
以及，在其他一些示例性实施例中，视频处理器270和音频处理器280，可以为单独的芯片，也可以与控制器250一起集成在一个或多个芯片中。
供电电源290，用于在控制器250的控制下，将外部电源输入的电力为显示设备200提供电源供电支持。供电电源290可以是安装在显示设备200内部的内置电源电路，也可以是安装在显示设备200外部的电源。
参阅图2A，本申请实施例提供一种模型训练方法，包括：
步骤S31：采集预设区域内信道状态信息的变化数据；
在一些实施例中，预设区域内信道状态信息的变化数据由预设人员在所述预设区域内做无规则运动产生。人的移动会改变无线信道的多径特性，会导致无线信号反射发生变化，从而导致信道状态信息发生变化。本申请实施例可以采集同一区域内不同体型人员做无规则运动的信道状态信息的变化数据，也可以采集针对某一种体型的人员做无规则运动的信道状态信息的变化数据。
示例性的，参阅图2B，将显示设备200前室内区域划分为M(米)*N(米)大小的区域，例如，4m*3m大小的区域。将整个区域按照分为20个空格，每个空格大小为0.8m*0.75m。无线访问接入点100摆放位置位于显示设备200的对面的位置。
选择不同体型(身高和体重)的人在每一个方格区域内做不同的无规则的运动，然后利用显示设备200的通信器220的WIFI模块221采集与无线访问接入点100之间的交互的信道状态信息的原始数据。
记录在每个区域内运动的标签对应区域的编号，并保存取得的数据来获得训练集合<R,label>，其中R代表原始数据，label代表的是数据属于哪一区域0-20的数值，整个的数据集合可以表现为[R1,1][R2,2]……[R20,20]。
步骤S32：构建卷积神经网络-长短时记忆循环神经网络架构模型；
由于人的活动是具有连续性的特性，所以时序对于动作的检测是非常重要的。同时WiFi信号的采集过程中根据环境的而不同很容易受到不同的信号的干扰，所以噪声的处理也是一个重要的因素。基于此分析，本申请设计一种新的集成的架构来进行运动位置检测。人的运动具有时间序列性，循环神经网络(Recurrent Neural Network，RNN)是目前处理时间序列的佼佼者，相比于传统的时间序列算法，使用起来更方便，不需要太多的前提假设，也不需太多的参数调节，更重要的是有学习能力，因此是一种'智能'算法。RNN中的长短时记忆循环神经网络(Long-Short Term Memory RNN，LSTM)是目前解决这一时间序列问题的突出算法。而卷积神经网络算法(Convolutional Neural Network，CNN)是特征提取和去噪方法领域的佼佼者，因此基于两者特长，本申请融合卷积神经网络和长短时记忆循环神经网络架构，集成一个新的网络框架，有效的提高泛化能力和识别能力。
在一些实施例中，参阅图2C，所述卷积神经网络-长短时记忆循环神经网络架构包括输入层(input)、卷积层(convld)、最大池化层(max-poolingld)、两层长短时记忆循环神经网络结构(LSTM)和softmax层；
所述输入层，用于接收信道状态信息的变化数据，即在数据采集阶段获得的原始数据；
所述卷积层，用于对所述变化数据进行降噪和特征提取，得到特征数据；
所述最大池化层，用于对所述特征数据进行降采样；
降采样可以增加模型训练效率。
所述长短时记忆循环神经网络结构，用于对降采样后的数据进行时序模型训练；
所述softmax层，用于输出运动位置(Movement position)。
本申请实施例中仅仅采用一层卷积层是为了对原始数据的特征提取以及降噪并且能很好的保留更全的特征，来输入到LSTM的网络中，从而训练出更具鲁棒性的方法模型。
步骤S33：将预设区域内信道状态信息的变化数据输入到构建的卷积神经网络-长短时记忆循环神经网络架构模型中进行训练及参数调优，模型迭代，得到训练好的模型。
模型的训练是在Google深度学习框架TensorFlow下进行的。对于步骤S31采集的数据[R,label]，输入到步骤S32的构建的模型CNN-LSTM网络架构中，进行模型的训练以及参数的调优，模型迭代。最终会输出一个训练好的模型，即卷积神经网络-长短时记忆循环神经网络架构模型，该模型是线下进行训练。
在一些实施例中，利用不同体型人员做无规则运动的信道状态信息变化数据训练得到的模型更具有通用性。利用相同体型人员做无规则运动的信道状态信息变化数据训练得到的模型更具有针对性，用户根据自己的体型选择与自己相符的模型得到运动位置的准确性更高。
在一些实施例中，将训练好的模型部署到显示设备上，部署在显示设备端的模型是基于TensorFlow lite来实现的。将线下训练好的模型保存为savedmodel模式，然后利用TFlite converter转为tflite模型，然后将tflite轻量级的模型部署到client电视端。
本申请实施例提供一种运动位置检测方法，包括：
当信道状态信息的数据发生变化时，将所述信道状态信息的变化数据输入训练好的模型中，输出运动位置，所述模型包括卷积神经网络-长短时记忆循环神经网络架构模型。
将训练好的模型移植到智能设备上之后，当用户从事一项活动时，身体的运动会影响无线信号并改变系统的多径分布，人体运动会导致无线信号反射发生变化，从而导致信道状态信息发生变化。智能设备实时收集由用户运动导致的信道状态信息的变化数据，将该变化数据输入到训练好的模型中，从而得到用户的运动位置。
目前基于无线信号的运动检测以及定位系统，只能实现其中的一种功能。基于WiFi的运动检测方式，只能检测室内的运动状态而不能确定运动的位置，而基于WiFi的室内定位方案，只能检测在某个位置静止时候的定位，移动过程中的定位实现精确度很低。本申请实施例为了解决在实现在运动过程中定位的问题，提出一种基于CNN-LSTM的融合的运动位置检测方法。本申请可以有效的解决运动过程中的位置检测问题，由于利用WiFi信号，避免个人隐私泄漏问题。
参阅图2D，本申请实施例提供一种屏幕亮度调节方法，应用于显示设备，包括：
步骤S41：确定输出运动位置与所述显示设备的距离；
步骤S42：如果所述运动位置与所述显示设备的距离小于第一预设距离，将显示器的屏幕亮度调节至第一亮度值；
步骤S43：如果所述运动位置与所述显示设备的距离大于第二预设距离，将显示器的屏幕亮度调节至第二亮度值。
示例性的，第一预设距离为1m，第二预设距离为3m。当用户的运动位置距离显示设备的距离为2m时，显示设备的屏幕亮度为正常亮度值50。当用户的运动位置距离显示设备的距离为0.8m时，显示设备的屏幕亮度调暗一些，调节至第一亮度值40。当用户的运动位置距离显示设备的距离为3.5m时，显示设备的屏幕亮度调亮一些，调节至第二亮度值60。
本申请实施例通过从信道状态信息数据流中提取特征并使用机器学习技术来构建深度集成网络模型的方法来完成人体运动定位功能，并且应用于显示设备屏幕亮度自动调节上。根据人体靠近或者远离电视来自动的调整屏幕的亮度，进而保护人的眼睛，确保用户的健康体验。
在上述实施例中，基于人体运动导致信道状态信息数据的变化，且人体的动作具有一定的时序性，不同的位置导致信道状态信息数据不同。通过采集的信道状态信息变化数据进行建模，来训练机器学习模型，并训练好的模型部署在智能设备上。智能设备实时收集信道状态信息的变化数据，根据变化数据判断出人体运动位置。本申请在不佩戴任何设备，且不泄漏个人隐私的情况下检测到用户的运动位置，并根据用户的运动位置调节屏幕亮度。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种智能设备，其特征在于，包括：
通信器，用于实时接收信道状态信息的数据；其中，所述信道状态是指当样本在所述通信器与无线访问接入点之间的子区域移动时的信道状态信息；所述子区域是指将所述通信器与无线访问接入点之间区域划分得到的区域；
控制器，用于执行：
记录所述信道状态信息和所述子区域的映射关系；
采集预设区域内信道状态信息的变化数据，所述预设区域内信道状态信息的变化数据包括相同体型人员做无规则运动的信道状态信息变化数据以及不同体型人员做无规则运动的信道状态信息变化数据；
构建卷积神经网络-长短时记忆循环神经网络架构模型；
将所述预设区域内信道状态信息的变化数据代入所述卷积神经网络-长短时记忆循环神经网络架构模型进行模型训练，得到训练好的模型；
当信道状态信息的数据发生变化时，将所述信道状态信息的变化数据输入训练好的模型中，输出运动位置。
2.根据权利要求1所述的智能设备，其特征在于，所述模型的训练方法，包括：
采集预设区域内信道状态信息的变化数据；
构建卷积神经网络-长短时记忆循环神经网络架构模型；
将预设区域内信道状态信息的变化数据输入到构建的卷积神经网络-长短时记忆循环神经网络架构模型中进行训练及参数调优，模型迭代，得到训练好的模型。
3.根据权利要求2所述的智能设备，其特征在于，所述预设区域内信道状态信息的变化数据由预设人员在所述预设区域内做无规则运动产生。
4.根据权利要求1所述的智能设备，其特征在于，所述卷积神经网络-长短时记忆循环神经网络架构包括输入层、卷积层、最大池化层、两层长短时记忆循环神经网络结构和softmax层；
所述输入层，用于接收信道状态信息的变化数据；
所述卷积层，用于对所述变化数据进行降噪和特征提取，得到特征数据；
所述最大池化层，用于对所述特征数据进行降采样；
所述长短时记忆循环神经网络结构，用于对降采样后的数据进行时序模型训练；
所述softmax层，用于输出运动位置。
5.一种智能设备，其特征在于，所述智能设备包括显示设备，所述显示设备包括：
显示器，用于显示图形用户界面；
通信器，用于实时接收信道状态信息的数据；
控制器，用于执行：
根据权利要求1-4任一项所述的智能设备输出的运动位置，确定输出运动位置与所述显示设备的距离；
如果所述运动位置与所述显示设备的距离小于第一预设距离，将显示器的屏幕亮度调节至第一亮度值；
如果所述运动位置与所述显示设备的距离大于第二预设距离，将显示器的屏幕亮度调节至第二亮度值。
6.一种运动位置检测方法，其特征在于，包括：
当信道状态信息的数据发生变化时，将所述信道状态信息的变化数据输入训练好的模型中，输出运动位置，所述模型包括卷积神经网络-长短时记忆循环神经网络架构模型；其中，所述信道状态是指当样本在通信器与无线访问接入点之间的子区域移动时的信道状态信息；所述子区域是指将所述通信器与无线访问接入点之间区域划分得到的区域；
所述变化数据包括所述信道状态信息和所述子区域的映射关系；
其中，所述卷积神经网络-长短时记忆循环神经网络架构模型是由预设区域内信道状态信息的变化数据训练得到的；所述预设区域内信道状态信息的变化数据包括相同体型人员做无规则运动的信道状态信息变化数据以及不同体型人员做无规则运动的信道状态信息变化数据。
7.根据权利要求6所述的方法，其特征在于，所述模型的训练方法，包括：
采集预设区域内信道状态信息的变化数据；
构建卷积神经网络-长短时记忆循环神经网络架构模型；
将预设区域内信道状态信息的变化数据输入到构建的卷积神经网络-长短时记忆循环神经网络架构模型中进行训练及参数调优，模型迭代，得到训练好的模型。
8.根据权利要求7所述的方法，其特征在于，所述预设区域内信道状态信息的变化数据由预设人员在所述预设区域内做无规则运动产生。
9.根据权利要求6所述的方法，其特征在于，所述卷积神经网络-长短时记忆循环神经网络架构包括输入层、卷积层、最大池化层、两层长短时记忆循环神经网络结构和softmax层；
所述输入层，用于接收信道状态信息的变化数据；
所述卷积层，用于对所述变化数据进行降噪和特征提取，得到特征数据；
所述最大池化层，用于对所述特征数据进行降采样；
所述长短时记忆循环神经网络结构，用于对降采样后的数据进行时序模型训练；
所述softmax层，用于输出的运动位置。
10.一种屏幕亮度调节方法，其特征在于，应用于显示设备，包括：
根据权利要求6-9任一项所述的方法输出的运动位置，
确定输出运动位置与所述显示设备的距离调节所述显示器的屏幕亮度；
如果所述运动位置与所述显示设备的距离小于第一预设距离，将显示器的屏幕亮度调节至第一亮度值；
如果所述运动位置与所述显示设备的距离大于第二预设距离，将显示器的屏幕亮度调节至第二亮度值。
CN202010317428.4A 2020-04-21 2020-04-21 一种运动位置检测方法、屏幕亮度调节方法及智能设备 Active CN111464869B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010317428.4A CN111464869B (zh) 2020-04-21 2020-04-21 一种运动位置检测方法、屏幕亮度调节方法及智能设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010317428.4A CN111464869B (zh) 2020-04-21 2020-04-21 一种运动位置检测方法、屏幕亮度调节方法及智能设备

Publications (2)

Publication Number Publication Date
CN111464869A CN111464869A (zh) 2020-07-28
CN111464869B true CN111464869B (zh) 2022-06-14

Family

ID=71680257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010317428.4A Active CN111464869B (zh) 2020-04-21 2020-04-21 一种运动位置检测方法、屏幕亮度调节方法及智能设备

Country Status (1)

Country Link
CN (1) CN111464869B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668439A (zh) * 2020-12-23 2021-04-16 中国科学技术大学 基于无线信号的人体姿势估计方法及装置
CN112887245B (zh) * 2021-01-08 2022-10-11 鹏城实验室 高动态信道的符号检测方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104616633A (zh) * 2015-02-27 2015-05-13 上海天奕达电子科技有限公司 一种便携式终端的显示屏调节方法及装置
CN106131958A (zh) * 2016-08-09 2016-11-16 电子科技大学 一种基于信道状态信息和支持向量机的室内被动定位方法
CN106658590A (zh) * 2016-12-28 2017-05-10 南京航空航天大学 基于WiFi信道状态信息多人室内环境状态监控系统的设计与实现
CN108882151A (zh) * 2018-07-02 2018-11-23 上海大学 基于csi信息区域化标注的室内定位方法
CN110082716A (zh) * 2019-04-29 2019-08-02 徐州医科大学 一种医院复杂环境室内定位系统及定位方法
CN110288018A (zh) * 2019-06-24 2019-09-27 桂林电子科技大学 一种融合深度学习模型的WiFi身份识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106535134B (zh) * 2016-11-22 2020-02-11 上海斐讯数据通信技术有限公司 一种基于wifi的多房间定位方法及服务器
CN108200644B (zh) * 2018-01-10 2020-06-02 浙江工业大学 一种基于网络可视图的无源室内定位方法
KR102030128B1 (ko) * 2018-02-28 2019-11-08 한국과학기술원 기계학습을 이용한 무선 백홀망 자원할당방법 및 자원할당 장치
CN110475221B (zh) * 2019-07-15 2021-05-04 南京邮电大学 一种基于信道状态信息的人员动作识别和位置估计方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104616633A (zh) * 2015-02-27 2015-05-13 上海天奕达电子科技有限公司 一种便携式终端的显示屏调节方法及装置
CN106131958A (zh) * 2016-08-09 2016-11-16 电子科技大学 一种基于信道状态信息和支持向量机的室内被动定位方法
CN106658590A (zh) * 2016-12-28 2017-05-10 南京航空航天大学 基于WiFi信道状态信息多人室内环境状态监控系统的设计与实现
CN108882151A (zh) * 2018-07-02 2018-11-23 上海大学 基于csi信息区域化标注的室内定位方法
CN110082716A (zh) * 2019-04-29 2019-08-02 徐州医科大学 一种医院复杂环境室内定位系统及定位方法
CN110288018A (zh) * 2019-06-24 2019-09-27 桂林电子科技大学 一种融合深度学习模型的WiFi身份识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
利用信道状态信息的室内定位方法;刘逸博等;《计算机工程与应用》;20161231(第22期);238-247 *

Also Published As

Publication number Publication date
CN111464869A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN109618206B (zh) 呈现用户界面的方法和显示设备
CN111182345B (zh) 一种控件的显示方法及显示设备
CN111447502A (zh) Epg用户界面的显示方法及显示设备
CN112511882B (zh) 一种显示设备及语音唤起方法
CN111984763B (zh) 一种答问处理方法及智能设备
CN109960556B (zh) 一种显示设备
CN111836109A (zh) 显示设备、服务器及自动更新栏目框的方法
CN111625169B (zh) 一种遥控器浏览网页的方法及显示设备
CN111897478A (zh) 一种页面显示方法及显示设备
CN111556350B (zh) 一种智能终端及人机交互方法
CN111464869B (zh) 一种运动位置检测方法、屏幕亮度调节方法及智能设备
CN112492390A (zh) 一种显示设备及内容推荐方法
CN111417027A (zh) 网页视频全屏播放切换小窗口播放的方法及显示设备
CN111045557A (zh) 焦点对象的移动方法及显示设备
CN111104020A (zh) 用户界面设置方法、存储介质及显示设备
CN113347413A (zh) 一种窗口位置检测方法及显示设备
CN111757154A (zh) 一种遥控器控制网页光标的方法及显示设备
CN112004126A (zh) 搜索结果显示方法及显示设备
CN111417022A (zh) 冲突检测方法及显示设备
CN113158757B (zh) 显示设备及手势控制方法
CN112473121B (zh) 一种显示设备及基于肢体识别的躲避球显示方法
CN113115093B (zh) 一种显示设备及详情页展示方法
CN112261289B (zh) 显示设备及ai算法结果获取方法
CN111314739B (zh) 一种图像处理方法、服务器及显示设备
CN111988648A (zh) 时间显示方法及显示设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant