CN117499724A - 终端设备及其控制方法 - Google Patents
终端设备及其控制方法 Download PDFInfo
- Publication number
- CN117499724A CN117499724A CN202311270483.2A CN202311270483A CN117499724A CN 117499724 A CN117499724 A CN 117499724A CN 202311270483 A CN202311270483 A CN 202311270483A CN 117499724 A CN117499724 A CN 117499724A
- Authority
- CN
- China
- Prior art keywords
- user
- current
- image
- limb
- target user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 109
- 210000003414 extremity Anatomy 0.000 claims description 131
- 210000003423 ankle Anatomy 0.000 claims description 14
- 210000003127 knee Anatomy 0.000 claims description 14
- 206010063385 Intellectualisation Diseases 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 22
- 238000004891 communication Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 235000008694 Humulus lupulus Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种终端设备及其控制方法,其中,终端设备包括图像采集器,被配置为采集图像;控制器,被配置为:接收当前图像,其中,当前图像为图像采集器当前采集的图像;对当前图像进行用户识别,得到对应的用户识别结果;若当前图像对应的用户识别结果中包括至少一个用户的肢体信息,则从至少一个用户中确定当前目标用户;基于当前目标用户的肢体信息检测当前目标用户是否位于终端设备的用户使用区域内,得到对应的检测结果;若当前图像为当前控制周期内的最后一帧图像,则基于当前控制周期内的至少一帧图像对应的检测结果控制终端设备的工作状态。根据本申请实施例可提升终端设备的控制的方便性和智能化,进而提高用户体验。
Description
技术领域
本申请实施例涉及智能控制技术。更具体地讲,涉及一种终端设备及其控制方法。
背景技术
目前,终端设备通常通过遥控器、语音等方式来控制其工作状态,例如,智能电视通常通过遥控器上的开启/暂停待机键、语音输入″开始播放/暂停播放,待机″指令等方式来开启或停止播放。
但是,当用户找不到遥控器、或者用户口音较重导致终端设备无法准确识别语音指令时,用户将无法控制终端设备,因此目前的控制方式还不够方便和智能化。
发明内容
本申请示例性的实施方式提供一种终端设备及其控制方法,可提升终端设备的控制的方便性和智能化,进而提高用户体验。
本申请实施例提供技术方案如下:
第一方面,本申请实施例提供了一种终端设备,包括:
图像采集器,被配置为采集图像;
控制器,被配置为:
接收当前图像,其中,当前图像为图像采集器当前采集的图像;
对当前图像进行用户识别,得到对应的用户识别结果;
若当前图像对应的用户识别结果中包括至少一个用户的肢体信息,则从至少一个用户中确定当前目标用户;
基于当前目标用户的肢体信息检测当前目标用户是否位于终端设备的用户使用区域内,得到对应的检测结果;
若当前图像为当前控制周期内的最后一帧图像,则基于当前控制周期内的至少一帧图像对应的检测结果控制终端设备的工作状态。
第二方面,本申请实施例提供了一种控制方法,应用于终端设备,所述方法包括:
接收当前图像,其中,当前图像为图像采集器当前采集的图像;
对当前图像进行用户识别,得到对应的用户识别结果;
若当前图像对应的用户识别结果中包括至少一个用户的肢体信息,则从至少一个用户中确定当前目标用户;
基于当前目标用户的肢体信息检测当前目标用户是否位于终端设备的用户使用区域内,得到对应的检测结果;
若当前图像为当前控制周期内的最后一帧图像,则基于当前控制周期内的至少一帧图像对应的检测结果控制终端设备的工作状态。
第三方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,当所述计算机程序被计算设备执行时,使得所述计算设备实现第二方面或第二方面任一实施例所述的控制方法。
由以上技术方案可知,本申请实施例提供的终端设备及其控制方法,控制器可以接收图像采集器当前采集的当前图像,进而对当前图像进行用户识别,得到对应的用户识别结果,若当前图像对应的用户识别结果中包括至少一个用户的肢体信息,控制器可以从至少一个用户中确定当前目标用户,进而基于当前目标用户的肢体信息检测当前目标用户是否位于终端设备的用户使用区域内,得到对应的检测结果,若当前图像为当前控制周期内的最后一帧图像,控制器可以基于当前控制周期内的至少一帧图像对应的检测结果控制终端设备的工作状态。采用上述技术方案,控制器可针对当前图像判断当前图像对应的当前目标用户是否位于用户使用区域内,即判断用户使用区域内针对当前目标用户有人/无人,进而基于当前控制周期内的至少一帧图像对应的有人/无人情况控制终端设备的工作状态,可见,本申请实施例,无需用户主动通过遥控器或语音等方式向终端设备输入控制指令以控制终端设备的工作状态,终端设备可自动判断用户使用区域内有人/无人进而基于有人/无人情况控制工作状态,如此,使得终端设备的控制更加方便和智能。
附图说明
图1示例性示出了根据实施例中终端设备的操作场景的示意图;
图2示例性示出了根据实施例中一种图像采集器在终端设备上的设置示意图;
图3示例性示出了根据实施例中另一种图像采集器在终端设备上的设置示意图;
图4示例性示出了根据示例性实施例中终端设备的配置框图;
图5示例性的示出了本申请实施例提供的控制方法的流程示意图;
图6示例性的示出了本申请实施例提供的获取当前智能控制状态的逻辑示意图;
图7示例性的示出了本申请实施例提供的图像坐标系的示意图;
图8示例性的示出了本申请实施例提供的多个关键肢体点的顺序及其表示意义的示意图;
图9示例性的示出了本申请实施例提供的一种确定当前目标用户的逻辑示意图;
图10示例性的示出了本申请实施例提供的另一种确定当前目标用户的逻辑示意图;
图11示例性示出了本公开实施例提供的另一种控制方法的流程示意图;
图12示例性示出了本公开实施例提供的左右肩关键点和左右跨关键点位于用户使用区域内的示意图;
图13示例性示出了本公开实施例提供的左肩关键点和左跨关键点位于用户使用区域内的示意图;
图14示例性示出了本公开实施例提供的右肩关键点和右跨关键点位于用户使用区域内的示意图;
图15示例性示出了本公开实施例提供的左右跨关键点位于用户使用区域内的示意图;
图16示例性示出了本公开实施例提供的左右肩关键点位于用户使用区域内的示意图;
图17示例性示出了本公开实施例提供的又一种控制方法的流程示意图。
具体实施方式
为使本申请的目的和实施方式更加清楚,下面将结合本申请示例性实施例中的附图,对本申请示例性实施方式进行清楚、完整地描述,显然,描述的示例性实施例仅是本申请一部分实施例,而不是全部的实施例。
需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语″第一″、″第二″、″第三″等是用于区别类似或同类的对象或实体,而不必然意味着限定特定的顺序或先后次序,除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
术语″包括″和″具有″以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的所有组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请实施例提供的终端设备可以具有多种实施形式,例如,可以是(PersonalComputer,PC)智能电视(如图1所示)、照明设备、音箱、冰箱、洗衣机、空调、智能窗帘、路由器、机顶盒、手机、个人计算机、激光投影设备、显示器(monitor)、电子白板(electronicbulletin board)、可穿戴设备、车载设备、电子桌面(electronic table)等。
图1示例性示出了根据实施例中终端设备的操作场景的示意图。如图1所示,用户可通过进入/离开用户使用区域200来控制终端设备100,其中,终端设备100包括控制器和图像采集器。
在一些实施例中,终端设备100还与服务器300进行数据通信。可允许终端设备100通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器300可以向终端设备100提供各种内容和互动。服务器300可以是一个集群,也可以是多个集群,可以包括一类或多类服务器300。
图2示例性示出了根据实施例中一种图像采集器在终端设备上的设置示意图。图3示例性示出了根据实施例中另一种图像采集器在终端设备上的设置示意图。如图2所示,图像采集器110可以包括直插式摄像头111,插在终端设备左侧的接口上,如图3所示,图像采集器110可以包括连线坐式摄像头112,通过数据线连接在终端设备上端的接口上,并且将连线坐式摄像头112放置在终端设备的前侧。
图4示例性示出了根据示例性实施例中终端设备的配置框图。如图4所示,终端设备100包括控制器120和检测器,其中,检测器包括图像采集器110。当然,终端设备还可以包括调谐解调器、通信器、检测器、外部装置接口、显示器、音频输出接口、存储器、供电电源、用户接口中的至少一种。
在一些实施例中控制器120包括处理器,视频处理器,音频处理器,图形处理器,RAM,ROM,用于输入/输出的第一接口至第n接口。
图像采集器110,如摄像头,可以用于采集外部环境场景、用户的属性或用户交互手势。
显示器包括用于呈现画面的显示屏组件,以及驱动图像显示的驱动组件,用于接收源自控制器120输出的图像信号,进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面。
显示器可为液晶显示器、OLED显示器、以及投影显示器,还可以为一种投影装置和投影屏幕。
通信器是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如:通信器可以包括Wifi模块,蓝牙模块,有线以太网模块等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器中的至少一种。终端设备100可以通过通信器与外部终端设备或服务器300建立控制信号和数据信号的发送和接收。
用户接口,可用于接收用户输入(如:通过红外遥控器等)的控制信号。
检测器用于采集外部环境或与外部交互的信号。例如,检测器包括光接收器,用于采集环境光线强度的传感器;或者,检测器包括声音采集器,如麦克风等,用于接收外部声音。
外部装置接口可以包括但不限于如下:高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
调谐解调器通过有线或无线接收方式接收广播电视信号,以及从多个无线或有线广播电视信号中解调出音视频信号,如以及EPG数据信号。
在一些实施例中,终端设备100和调谐解调器可以位于不同的分体设备中,即调谐解调器也可在终端设备100所在的主体设备的外置设备中,如外置机顶盒等。
控制器120,通过存储在存储器上中各种软件控制程序,来控制终端设备的工作和响应用户的操作。控制器120控制终端设备100的整体操作。例如:响应于接收到用于选择在显示器上显示UI对象的用户命令,控制器120便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中控制器120包括中央处理器(Central Processing Unit,CPU),视频处理器,音频处理器,图形处理器(Graphics Processing Unit,GPU),RAM RandomAccess Memory,RAM),ROM(Read-Only Memory,ROM),用于输入/输出的第一接口至第n接口,通信总线(Bus)等中的至少一种。
用户可在显示器上显示的图形用户界面(GUI)输入用户命令,则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。
″用户界面″,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
在一些实施例中,控制器120可以接收当前图像,其中,当前图像为图像采集器110当前采集的图像;对当前图像进行用户识别,得到对应的用户识别结果;若当前图像对应的用户识别结果中包括至少一个用户的肢体信息,则从至少一个用户中确定当前目标用户;基于当前目标用户的肢体信息检测当前目标用户是否位于终端设备的用户使用区域内,得到对应的检测结果;若当前图像为当前控制周期内的最后一帧图像,则基于当前控制周期内的至少一帧图像对应的检测结果控制终端设备的工作状态。
在另一些实施例中,控制器120从至少一个用户中确定当前目标用户的方式可以为:对当前图像进行手势识别,得到对应的手势识别结果;若当前图像对应的手势识别结果中包括切换手势,则将至少一个用户中做出切换手势的用户确定为当前目标用户;若手势识别结果中不包括切换手势,则基于肢体信息将历史目标用户与至少一个用户进行匹配,其中,历史目标用户为基于上一帧图像确定的目标用户;若至少一个用户中存在与历史目标用户相匹配的用户,则将历史目标用户作为当前目标用户;若至少一个用户中不存在与历史目标用户相匹配的用户,则从至少一个用户中选取肢体信息满足预设条件的用户作为当前目标用户。
在又一些实施例中,肢体信息包括多个关键肢体点的位置信息和置信度信息,多个关键肢体点包括第一目标关键肢体点,第一目标关键肢体点包左右肩关键点、和/或左右跨关键点;其中,控制器120基于当前目标用户的肢体信息检测当前目标用户是否位于终端设备的用户使用区域内,得到对应的检测结果的方式可以为:若第一目标关键肢体点的位置信息不为空、且置信度信息大于第一预设置信度阈值,则确定当前目标用户位于用户使用区域内。
在再一些实施例中,若至少一个第一目标关键肢体点的位置信息为空、或置信度信息小于等于第一预设置信度阈值,则控制器120还可以确定当前目标用户沿目标方向在当前图像中的站位;若当前目标用户的站位为位于中部,则确定当前目标用户位于用户使用区域内。
在再一些实施例中,多个关键肢体点包括第二目标关键肢体点,其中,控制器120还可以:若当前目标用户的站位为位于边缘,则确定第二目标关键肢体点中位置信息为空、且置信度信息小于等于第二预设置信度阈值的第二目标关键点的数量,其中,当当前目标用户的站位为偏左时,第二目标关键肢体点包括左耳关键点、左肩关键点、左跨关键点、左膝关键点、和/或左踝关键点,当当前目标用户的站位为偏右时,第二目标关键肢体点包括右耳关键点、右肩关键点、右跨关键点、右膝关键点、和/或右踝关键点;若数量大于预设数量阈值时,则确定当前目标用户位于用户使用区域内,否则,确定当前目标用户没有位于用户使用区域内。
在再一些实施例中,控制器120确定当前目标用户在目标方向上的站位的方式可以为:获取当前图像在目标方向上的宽度;基于当前目标用户的多个关键肢体点的位置信息确定当前目标用户的肢体中心点的位置信息;基于肢体中心点的位置信息和宽度确定当前目标用户在目标方向上的站位。
在再一些实施例中,若当前图像为当前控制周期内的最后一帧图像,则控制器120基于当前控制周期内的至少一帧图像对应的检测结果控制终端设备的工作状态的方式可以为:若当前图像与其前N帧图像对应的检测结果相同,则将当前图像对应的检测结果确定为最终检测结果,其中,N为正整数且小于当前控制周期内的图像总数;基于最终检测结果控制终端设备的工作状态。
在再一些实施例中,控制器120还可以:若当前图像以及其前N帧图像中存在至少两帧检测结果不同的图像,则基于当前控制周期内的所有图像对应的检测结果确定最终检测结果;基于最终检测结果控制终端设备的工作状态。
在再一些实施例中,控制器120基于当前控制周期内的所有图像对应的检测结果确定最终检测结果的方式可以为:针对当前控制周期内的每帧图像,若其对应的检测结果为位于用户使用区域内则标记第一数值,若其对应的检测结果为没有位于用户使用区域内则标记第二数值;将当前控制周期内各帧图像标记的数值进行权重加和,得到加和值;若加和值大于预设加和阈值,则确定最终检测结果为位于用户使用区域内,否则确定最终检测结果为没有位于用户使用区域内。
图5示例性的示出了本申请实施例提供的控制方法的流程示意图,如图5所示,本申请实施例提供的控制方法包括如下步骤:
S510、接收当前图像,其中,当前图像为图像采集器当前采集的图像。
在本公开实施例中,终端设备的用户使用区域为图像采集器的采集区域。图像采集器可以将当前对采集区域进行采集得到的图像(即当前图像)发送至控制器。如此,控制器可以接收到当前图像。
具体的,用户使用区域即用户在使用终端设备时可能会处于的位置的集合,当用户位于用户使用区域内时,表明用户正在使用终端设备,当用户离开使用区域时,表明用户暂停使用终端设备。
具体的,当前图像的图像类型可以包括二值图像、灰度图像、彩色图像等,但并不限于此。
可选地,在S510之前还包括:获取当前智能控制状态。相应地,若当前智能控制状态处于有效状态,则控制图像采集器对采集区域进行采集得到当前图像,并接收当前图像。
示例性的,图6示例性的示出了本申请实施例提供的获取当前智能控制状态的逻辑示意图。参见图6,开关监听管理可以监测智能控制开关变化结果,例如,开关监听管理可以采用注册方式通过监听数据库contentObserver(callback),得到智能控制开关变化的通知,但并不限于此。控制器可以接收开关监听管理发送的智能控制开关变化结果,若智能控制开关变化结果为开启,则控制器可以控制冲突检测模块检测智能控制业务(即本申请的控制方法对应的控制业务)是否与当前正在进行的业务存在冲突,若不存在冲突则确定智能控制状态为有效,否则确定智能控制状态为无效。
可以理解的是,在当前智能控制状态为有效的情况下,再开启智能控制,可避免智能控制影响其他正在进行业务,进而保证终端设备的正常运行。
S520、对当前图像进行用户识别,得到对应的用户识别结果。
在本公开实施例中,控制器可以对当前图像中的用户进行识别,得到对应的用户识别结果,若未识别到用户,则用户识别结果为空,若识别到至少一个用户,则用户识别结果中包括识别到的用户的肢体信息。
具体的,肢体信息为描述用户的肢体特征的信息。例如,肢体信息可以包括多个关键肢体点的位置信息、多个关键肢体点的置信度信息、多个关键肢体点的顺序和表示意义、以及肢体轮廓信息等,但并不限于此。
关键肢体点为肢体上的关键点。例如,关键肢体点可以包括面部器官对应的关键点、骨骼关节对应的关键点等,但并不限于此。
关键肢体点的位置信息可以采用关键肢体点在图像坐标系下的坐标表示,但并不限于此。图像坐标系的建立方式有多种,例如,图7示例性的示出了本申请实施例提供的图像坐标系的示意图。参见图7,图像的左上角为坐标原点,从坐标原点出发向右为X正方向,从坐标原点出发向下为Y正方向,但并不限于此。
关键肢体点的置信度信息用于表征关键肢体点的可靠度。
关键肢体点的顺序用于表征关键肢体点在多个关键肢体点中的排序,关键肢体点的表示意义用于表征关键肢体点对应于肢体上的哪个部位。例如,图8示例性的示出了本申请实施例提供的多个关键肢体点的顺序及其表示意义的示意图,参见图8,关键肢体点及其顺序如下,0鼻子关键点、1左眼关键点、2右眼关键点、3左耳关键点、4右耳关键点、5左肩关键点、6右肩关键点、7左肘关键点、8右肘关键点、9左腕关键点、10右腕关键点、11左胯关键点、12右胯关键点、13左膝关键点、14右膝关键点、15左踝关键点、16右踝关键点、17左手心关键点、18右手心关键点,但并不限于此。
肢体轮廓信息用于描述肢体的人形轮廓。
具体的,对当前图像进行用户识别的具体实施方式有多种,下面就典型实例进行说明,但并不构成对本申请的限定。
在一些实施例中,S320可以包括:将当前图像输入用户识别模型,并获取用户识别模型输出的用户识别结果,其中,用户识别模型预先通过样本图像及其对应的用户识别结果训练完成。
当然,在另一些实施例中,还可以利用语义分割将用户所在区域分别出来,进而利用边缘检测算法对用户所在区域进行边缘检测得到肢体轮廓信息,利用本领域技术人员可知的任意关键肢体点提取算法对用户所在区域进行特征识别得到关键肢体点的位置信息。
S530、若当前图像对应的用户识别结果中包括至少一个用户的肢体信息,则从至少一个用户中确定当前目标用户。
可选地,若当前图像对应的用户识别结果为空,则确定用户使用区域无用户。进一步可选地,当用户使用区域无用户时,可以控制电子设备进入休眠状态或关机,以节省功耗。
具体地,当前目标用户为当前图像对应的目标用户。其中,目标用户是否位于用户使用区域(即针对目标用户,用户使用区域有人/无人的情况),为控制终端设备的工作状态的参考因素。
具体地,从至少一个用户中确定当前目标用户的具体实施方式有多种,下面就典型示例进行说明,但并不构成对本申请的限定。
在一些实施例中,从至少一个用户中确定当前目标用户可以包括:从至少一个用户中随机选取一个作为当前目标用户。
在另一些实施例中,从至少一个用户中确定当前目标用户可以包括:S5311、若至少一个用户的总数为1,则将该用户作为当前目标用户;S5312、若至少一个用户的总数大于1,则基于至少一个用户的肢体信息,从至少一个用户中确定当前目标用户。
可选地,S5312可以包括:S53121、基于肢体信息将历史目标用户与至少一个用户进行匹配,其中,历史目标用户为基于上一帧图像确定的目标用户;若至少一个用户中存在与历史目标用户相匹配的用户,则将历史目标用户作为当前目标用户;若至少一个用户中不存在与历史目标用户相匹配的用户,则从至少一个用户中选取满足预设条件的用户作为当前目标用户。
具体地,可以采用本领域技术人员可知的任意匹配算法将历史目标用户与至少一个用户(即从当前图像中识别出的用户)进行匹配,以实现对历史目标用户的追踪。可选地,基于肢体信息中的肢体轮廓信息将历史目标用户与至少一个用户进行匹配。例如,针对至少一个用户(即从当前图像中识别出的用户)中的每个用户,基于该用户的肢体轮廓信息确定该用户的肢体尺寸信息(即肢体宽度和高度),并基于肢体尺寸信息计算该用户和历史目标用户的重叠度(Intersection over Union,IOU),进而基于IOU确定该用户与历史目标用户是否匹配。又例如,至少一个用户(即从当前图像中识别出的用户)和上一帧图像中识别出的用户两两之间组成用户对;针对每个用户对,基于该用户对中两用户的肢体轮廓信息分别确定该两用户的肢体尺寸信息(即肢体宽度和高度),并基于肢体尺寸信息计算该两用户的IOU;基于各用户对中两用户的IOU,将上一帧图像中识别出的用户与当前图像中识别出的用户进行匹配;若当前图像中识别出的用户中存在与历史目标用户相匹配的用户,将其作为当前目标用户。
具体地,预设条件的具体内容本领域技术人员可根据实际情况设置,此处不作限定。例如,预设条件可以包括如下至少一项:距离图像采集器的距离最小、肢体尺寸最大、所属人群优先级最高等。
示例性的,图9示例性的示出了本申请实施例提供的一种确定当前目标用户的逻辑示意图。参见图9,针对当前图像对应的用户识别结果,若检测到没有用户,直接结束,若检测到用户数量为一个,则将该用户作为当前目标用户,若检测到用户数量为多个,则基于目标追踪切换(即S53121)从中选取当前目标用户。
在又一些实施例中,从至少一个用户中确定当前目标用户可以包括:S5321、对当前图像进行手势识别,得到对应的手势识别结果;S5322、若当前图像对应的手势识别结果中包括切换手势,则将至少一个用户中做出切换手势的用户确定为当前目标用户;S5323、若手势识别结果中不包括切换手势,则基于肢体信息将历史目标用户与至少一个用户进行匹配,其中,历史目标用户为基于上一帧图像确定的目标用户;若至少一个用户中存在与历史目标用户相匹配的用户,则将历史目标用户作为当前目标用户;若至少一个用户中不存在与历史目标用户相匹配的用户,则从至少一个用户中选取满足预设条件的用户作为当前目标用户。
具体地,切换手势的具体手势类型本领域技术人员可根据实际情况设置,此处不作限定。例如,切换手势可以为握拳手势、竖大拇指手势、五指并拢手势、剪刀手手势等。
具体地,S5323与S53121类似,此处不再赘述。
示例性的,图10示例性的示出了本申请实施例提供的另一种确定当前目标用户的逻辑示意图。参见图10,针对当前图像对应的手势识别结果,若出现切换手势,则切换目标,将作出切换手势的用户作为当前目标用户,若没有出现切换手势,则基于当前图像对应的用户识别结果进行目标追踪切换(即S5323),得到当前目标用户。
可以理解的是,通过设置切换手势,可实现当前目标用户的灵活切换,在不存在切换手势时,通过目标追踪切换确定当前目标用户,可使当前目标用户的确定方式简单、便捷,有利于降低实现难度。
S540、基于当前目标用户的肢体信息检测当前目标用户是否位于终端设备的用户使用区域内,得到对应的检测结果。
具体地,检测结果要么是当前目标用户位于用户使用区域内,即用户使用区域内针对当前目标用户有人,要么是当前目标用户没有位于用户使用区域内,即用户使用区域内针对当前目标用户无人。
在一些实施例中,S540可以包括:将当前目标用户的肢体信息输入预先训练好的检测模型,并获取检测模型输出的检测结果。
S550、若当前图像为当前控制周期内的最后一帧图像,则基于当前控制周期内的至少一帧图像对应的检测结果控制终端设备的工作状态。
具体地,每个控制周期内需要采集的图像数量,本领域技术人员可根据实际情况设置,对此不作限定。例如,每个控制周期内可以采集1帧图像,也可以采集大于1帧图像,比如2帧、3帧、10帧等。
具体地,可以基于当前控制周期内的至少一帧图像对应的检测结果确定最终检测结果,即该控制周期针对用户使用区域有人/无人的检测结果,进而基于最终检测结果控制终端设备的工作状态。
在一些实施例中,针对当前控制周期内的所有图像对应的检测结果,若当前目标用户位于用户使用区域内的数量较多,则最终检测结果为当前目标用户位于用户使用区域内,否则,最终检测结果为当前目标用户没有位于用户使用区域内。
本申请的控制方法所应用于的终端设备不同,基于最终检测结果控制终端设备的具体工作状态不同,本领域技术人员可根据终端设备的具体类型进行设置,对此不作限定。下面就典型示例进行说明,但并不构成对本申请的限定。
例如,当终端设备为智能电视时,可以基于最终检测结果控制智能电视的播控,具体地,若最终检测结果为针对用户使用区域有人,则控制智能电视播放,若最终检测结果为针对用户使用区域无人,则控制智能电视停止播放。
又例如,当终端设备为照明设备时,可以基于最终检测结果控制照明设备的开关,具体地,若最终检测结果为针对用户使用区域有人,则控制照明设备打开,若最终检测结果为针对用户使用区域无人,则控制照明设备关闭。
本申请实施例,控制器可针对当前图像判断当前图像对应的当前目标用户是否位于用户使用区域内,即判断用户使用区域内针对当前目标用户有人/无人,进而基于当前控制周期内的至少一帧图像对应的有人/无人情况控制终端设备的工作状态,可见,本申请实施例,无需用户主动通过遥控器或语音等方式向终端设备输入控制指令以控制终端设备的工作状态,终端设备可自动判断用户使用区域内有人/无人进而基于有人/无人情况控制工作状态,如此,使得终端设备的控制更加方便和智能。
图11示例性示出了本公开实施例提供的另一种控制方法的流程示意图。本公开实施例在上述实施例的基础上进行优化,本公开实施例可以与上述一个或者多个实施例中各个可选方案结合。
如图11所示,该控制方法可以包括如下步骤。
S1110、接收当前图像,其中,当前图像为图像采集器当前采集的图像。
具体地,S1110与S510类似,此处不再赘述。
S1120、对当前图像进行用户识别,得到对应的用户识别结果。
具体地,S1120与S520类似,此处不再赘述。
S1130、若当前图像对应的用户识别结果中包括至少一个用户的肢体信息,则从至少一个用户中确定当前目标用户,其中,肢体信息包括多个关键肢体点的位置信息和置信度信息,多个关键肢体点包括第一目标关键肢体点,第一目标关键肢体点包括左右肩关键点、和/或左右跨关键点。
具体地,S1130与S530中类似内容,此处不再赘述。
具体地,左右肩关键点即左肩关键点和右肩关键点。左右跨关键点即左跨关键点和右跨关键点。
S1140、若第一目标关键肢体点的位置信息不为空、且置信度信息大于第一预设置信度阈值,则确定当前目标用户位于用户使用区域内。
具体地,第一预设置信度阈值的具体值本领域技术人员可根据实际情况设置,对此不作限定。例如,第一预设置信度阈值大于等于0.5,比如0.6、0.7、0.8等。
具体地,第一目标关键肢体点的位置信息不为空表明第一目标关键肢体点在图像采集区域内(即用户使用区域内),置信度信息大于第一预设置信度阈值表明第一目标关键肢体点的位置信息比较可靠;第一目标关键肢体点的位置信息为空表明第一目标关键肢体点不在图像采集区域内(即用户使用区域内),置信度信息小于等于第一预设置信度阈值表明第一目标关键肢体点的位置信息比较不可靠。
当然,在另一些实施例中,当第一目标关键肢体点包括左右肩关键点和左右跨关键点时,也可以先检测左肩关键点和右肩关键点,若左肩关键点和右肩关键点的位置信息不为空、且置信度信息大于第一预设置信度阈值,则确定当前目标用户位于用户使用区域内,否则,继续检测左跨关键点和右跨关键点,若左跨关键点和右跨关键点的位置信息不为空、且置信度信息大于第一预设置信度阈值,则确定当前目标用户位于用户使用区域内。
示例性的,图12示例性示出了本公开实施例提供的左右肩关键点和左右跨关键点位于用户使用区域内的示意图,在该情况下确定当前目标用户位于用户使用区域内。图13示例性示出了本公开实施例提供的左肩关键点和左跨关键点位于用户使用区域内的示意图,在该情况下后续可进一步检测是否位于用户使用区域内。图14示例性示出了本公开实施例提供的右肩关键点和右跨关键点位于用户使用区域内的示意图,在该情况下后续可进一步检测是否位于用户使用区域内。图15示例性示出了本公开实施例提供的左右跨关键点位于用户使用区域内的示意图,在该情况下确定当前目标用户位于用户使用区域内。图16示例性示出了本公开实施例提供的左右肩关键点位于用户使用区域内的示意图,在该情况下确定当前目标用户位于用户使用区域内。
可以理解的是,左右肩关键点和左右跨关键点是躯干上的关键点,当左右肩关键点、和/或左右跨关键点的位置信息不为空、且置信度信息大于第一预设置信度阈值,表明当前目标用户的躯干部分位于用户使用区域内,在该情况下,确定当前目标用户位于用户使用区域内比较符合事实,可靠性较高。并且,由于左右肩关键点和左右跨关键点是躯干上的关键点,其位置信息发生变化的概率较小,稳健性较强。比如,当用户手臂晃动时,左肘关键点、右肘关键点、左腕关键点、右腕关键点、左手心关键点、右手心关键点的位置信息会发生变化,腿部晃动时,左膝关键点、右膝关键点、左踝关键点、右踝关键点的位置信息会发生变化,头部晃动时,鼻子关键点、左眼关键点、右眼关键点、左耳关键点、和右耳关键点的位置信息会发生变化,但是,用户无论是手臂晃动、腿部晃动还是头部晃动,躯干上的左右肩关键点和左右跨关键点的位置信息发生变化的概率较小。因此,基于左右肩关键点、和/或左右跨关键点的位置信息检测当前目标用户是否位于用户使用区域内,可使检测结果的稳健性更强,降低相邻两帧图像中出现有人无人的跳变的风险。
在一些实施例中,该方法还包括:若至少一个第一目标关键肢体点的位置信息为空、或置信度信息小于等于第一预设置信度阈值,则确定当前目标用户没有位于用户使用区域内。
在一些实施例中,该方法还包括:S1150、若至少一个第一目标关键肢体点的位置信息为空、或置信度信息小于等于第一预设置信度阈值,则确定当前目标用户沿目标方向在当前图像中的站位;S1160、若当前目标用户的站位为位于中部,则确定当前目标用户位于用户使用区域内。
具体地,目标方向包括水平方向和/或竖直方向。针对水平方向,当前目标用户的站位要么位于当前图像中的中部,要么位于当前图像中的边缘(即偏左或偏右)。针对竖直方向,则当前目标用户的站位要么位于当前图像中的中部,要么位于当前图像中的边缘(即偏上或偏下)。
在一些实施例中,S1150可以包括:将当前目标用户的多个关键肢体点的位置信息和置信度信息输入训练好的站位识别模型,并获取站位识别模型输出的当前目标用户的站位。
在另一些实施例中,S1150可以包括:获取当前图像在目标方向上的宽度;基于当前目标用户的多个关键肢体点的位置信息确定当前目标用户在目标方向上的肢体中心点的位置信息;基于肢体中心点的位置信息和宽度确定当前目标用户在目标方向上的站位。
具体地,可以基于多个关键肢体点在目标方向上的坐标值确定当前目标用户在目标方向上的肢体中心点的位置信息。可选地,从多个关键肢体点在目标方向上的坐标值中,选取最大值和最小值,基于该最大值和最小值确定当前目标用户在目标方向上的肢体中心点的位置信息。
例如,若目标方向包括水平方向,则在水平方向上的肢体中心点的位置信息可通过如下公式进行计算:
body_centerx=(maxx-minx)/2+minx,
其中,body_center_x为在水平方向上的肢体中心点的位置信息,maxx为多个关键肢体点在水平方向上的坐标值中的最大值,minx为多个关键肢体点在竖直方向上的坐标值中的最小值。
又例如,若目标方向包括竖直方向,则在竖直方向上的肢体中心点的位置信息可通过如下公式进行计算:
body_centery=(maxy-miny)/2+miny,
其中,body_center_y为在竖直方向上的肢体中心点的位置信息,maxy为多个关键肢体点在竖直方向上的坐标值中的最大值,miny为多个关键肢体点在竖直方向上的坐标值中的最小值。
具体地,基于当前图像在目标方向上的宽度可以确定目标方向上的中部和边缘分别对应的坐标范围区间,进而基于在目标方向上的肢体中心点的位置信息所落在的坐标范围区间,可确定当前目标用户在目标方向上的站位。
例如,针对水平方向,当前图像中左侧四分之一宽度对应的坐标范围区间与偏左关联,右侧四分之一宽度对应的坐标范围区间与偏右关联,中间二分之一宽度对应的坐标范围区间与中部关联。
因此,若多个关键肢体点的位置信息所在的作坐标系如图7所示,则当body_center x<screen_width/4时,确定当前目标用户在水平方向上的站位为偏左;当body_centerx>screen_width3/4时,确定当前目标用户在水平方向上的站位为偏右,当screen_width/4<body_centerx<screen_width3/4时,确定当前目标用户在水平方向上的站位为偏右。其中,screen_width/4为从左侧开始计量四分之一宽度处对应的坐标值,screen_width3/4为从左侧开始计量四分之三宽度处对应的坐标值。
又例如,针对竖直方向,当前图像中上侧四分之一宽度对应的坐标范围区间与偏上关联,下侧四分之一宽度对应的坐标范围区间与偏下关联,中间二分之一宽度对应的坐标范围区间与中部关联。
因此,若多个关键肢体点的位置信息所在的作坐标系如图7所示,则当body_center y<screen_height/4时,确定当前目标用户在竖直方向上的站位为偏上;当body_center y>screen_height3/4时,确定当前目标用户在竖直方向上的站位为偏下,当screen_height/4<body_center y<screen_height 3/4时,确定当前目标用户在竖直方向上的站位为偏下。其中,screen_height/4为从上侧开始计量四分之一宽度处对应的坐标值,screen_height 3/4为从上侧开始计量四分之三宽度处对应的坐标值。
可以理解的是,基于肢体中心点的位置信息和宽度确定当前目标用户在目标方向上的站位,使得站位的确定方式简单,便捷,有利于降低实现难度。
可以理解的是,若至少一个第一目标关键肢体点的位置信息为空、或置信度信息小于等于第一预设置信度阈值,则表明当前目标用户的部分躯干没有位于用户使用区域内,在该情况下,通过确定当前目标用户在目标方向上的站位进一步来检测当前目标用户是否位于用户使用区域内,可使检测结果更符合实际需求,更可靠,降低相邻两帧图像中出现有人无人的跳变的风险。
在一些实施例中,该方法还包括:若当前目标用户的站位为位于边缘,则确定当前目标用户没有位于用户使用区域内。
在另一些实施例中,该方法还包括:S1170、若当前目标用户的站位为位于边缘,则确定第二目标关键肢体点中位置信息为空、且置信度信息小于等于第二预设置信度阈值的第二目标关键点的数量,其中,当当前目标用户的站位为偏左时,第二目标关键肢体点包括左耳关键点、左肩关键点、左跨关键点、左膝关键点、和/或左踝关键点,当当前目标用户的站位为偏右时,第二目标关键肢体点包括右耳关键点、右肩关键点、右跨关键点、右膝关键点、和/或右踝关键点;当当前目标用户的站位为偏上时,第二目标关键肢体点包括左耳关键点、右耳关键点、左肩关键点、和/或右肩关键点;当当前目标用户的站位为偏下时,第二目标关键肢体点包括左跨关键点、右跨关键点、左膝关键点、右膝关键点、左踝关键点,和/或右踝关键点;S1180、若数量大于预设数量阈值时,则确定当前目标用户位于用户使用区域内,否则,确定当前目标用户没有位于用户使用区域内。
具体地,第二预设置信度阈值的具体值本领域技术人员可根据实际情况设置,对此不作限定。例如,第二预设置信度阈值大于等于0.5,比如0.6、0.7、0.8等。
具体地,预设数量阈值的具体值本领域技术人员可根据实际情况设置,对此不作限定。例如,预设数量阈值大于等于第二目标关键肢体点数量的一半。
可以理解的是,在当前目标用户的站位为位于边缘的情况下,基于第二目标关键肢体点中位置信息进一步来检测当前目标用户是否位于用户使用区域内,可使检测结果更符合实际需求,更可靠,降低相邻两帧图像中出现有人无人的跳变的风险。
S1190、若当前图像为当前控制周期内的最后一帧图像,则基于当前控制周期内的至少一帧图像对应的检测结果控制终端设备的工作状态。
具体地,S1190与S550类似,此处不再赘述。
本申请实施例,考虑到图像采集器采集的图像存在边缘特性,即当前目标用户可能位于图像中的边缘,影响对当前目标用户是否位于用户使用区域内的检测的稳健性,进而可能会导致当前目标用户在边缘场景时终端设备的工作状态频繁变化,比如当控制智能电视的播控时,会导致播控存在启停闪烁现象。然而,在申请实施例中,控制器可在第一目标关键肢体点的位置信息不为空、且置信度信息大于第一预设置信度阈值的情况下,确定当前目标用户位于用户使用区域内,使得检测结果的稳健性较强,降低相邻两帧图像中出现有人无人的跳变的风险。并且,在至少一个第一目标关键肢体点的位置信息为空、或置信度信息小于等于第一预设置信度阈值的情况下,控制器可进一步基于第二目标关键肢体点的位置信息和置信度信息检测当前目标用户是否位于用户使用区域内,可进一步增强检测结果的稳健性。
图17示例性示出了本公开实施例提供的又一种控制方法的流程示意图。本公开实施例在上述实施例的基础上进行优化,本公开实施例可以与上述一个或者多个实施例中各个可选方案结合。
如图17所示,该控制方法可以包括如下步骤。
S1710、接收当前图像,其中,当前图像为图像采集器当前采集的图像。
具体地,S1710与S510类似,此处不再赘述。
S1720、对当前图像进行用户识别,得到对应的用户识别结果。
具体地,S1720与S520类似,此处不再赘述。
S1730、若当前图像对应的用户识别结果中包括至少一个用户的肢体信息,则从至少一个用户中确定当前目标用户。
具体地,S1730与S530类似,此处不再赘述。
S1740、基于当前目标用户的肢体信息检测当前目标用户是否位于终端设备的用户使用区域内,得到对应的检测结果。
具体地,S1740与S540类似,此处不再赘述。
S1750、若当前图像为当前控制周期内的最后一帧图像,当前图像与其前N帧图像对应的检测结果相同,则将当前图像对应的检测结果确定为最终检测结果,其中,N为正整数且小于当前控制周期内的图像总数。
具体地,N具体值本领域技术人员可根据实际情况设置,此处不作限定。例如,N为2、3等。
具体地,若当前图像与其前N帧图像对应的检测结果均为当前目标用户位于用户使用区域内,则将最终检测结果确定为当前目标用户位于用户使用区域内;若当前图像与其前N帧图像对应的检测结果均为当前目标用户没有位于用户使用区域内,则将最终检测结果确定为当前目标用户没有位于用户使用区域内。
可以理解的是,若当前图像为当前控制周期内的最后一帧图像,那么当前图像与其前N帧图像的采集时刻距离当前时刻更近,它们对应的检测结果更能体现当前目标用户是否位于用户使用区域内的实际情况,当它们对应的检测结果相同时,将它们对应的检测结果作为最终检测结果,既能快速确定最终检测结果,又可使最终检测结果更贴合当前实际情况。
可选地,该方法还包括:S1760、若当前图像以及其前N帧图像中存在至少两帧检测结果不同的图像,则基于当前控制周期内的所有图像对应的检测结果确定最终检测结果。
可以理解的是,通过设置若当前图像以及其前N帧图像中至少两帧图像对应的检测结果不同,则基于当前控制周期内的所有图像对应的检测结果确定最终检测结果,可基于更多帧图像对应的检测结果确定最终检测结果,进而使得最终检测结果更准确。
进一步可选地,基于当前控制周期内的所有图像对应的检测结果确定最终检测结果,包括:针对当前控制周期内的每帧图像,若其对应的检测结果为位于用户使用区域内则标记第一数值,若其对应的检测结果为没有位于用户使用区域内则标记第二数值;将当前控制周期内各帧图像标记的数值进行权重加和,得到加和值;若加和值大于预设加和阈值,则确定最终检测结果为位于用户使用区域内,否则确定最终检测结果为没有位于用户使用区域内。
具体地,第一数值大于第二数值,例如第一数值为1,第二数值为0。
具体地,在进行权重加和时,图像的采集时刻越早,其对应的数值的权重值越小。可以理解的是,图像的采集时刻越早,便距离当前时刻越远,对应的检测结果与当前实际情况相同的可能性越小,因此,通过设置图像的采集时刻越早,其对应的数值的权重值越小,可使更能体现当前实际情况的检测结果对最终检测结果的影响越大,有利于使最终检测结果更贴近当前实际情况。
需要说明的是,这里所述″图像的采集时刻越早,其对应的数值的权重值越小″包括如下两种情况,第一种:同一控制周期内各帧图像对应的数值的权重值不同,例如,同一控制周期内包括10帧图像,第10帧图像(即当前图像)对应的数值的权重值为1.0,第9帧图像对应的数值的权重值为0.9,第8帧图像对应的数值的权重值为0.8,第7帧图像对应的数值的权重值为0.7,第6帧图像对应的数值的权重值为0.6,第5帧图像对应的数值的权重值为0.5,第4帧图像对应的数值的权重值为0.4,第3帧图像对应的数值的权重值为0.3,第2帧图像对应的数值的权重值为0.2,第1帧图像对应的数值的权重值为0.1。第二种:同一控制周期内存在两帧图像对应的数值的权重值相同,例如,同一控制周期内包括10帧图像,第10帧图像(即当前图像)、第9帧图像、第8帧图像对应的数值的权重值为1.0,第7帧图像、第6帧图像、第5帧图像、第4帧图像对应的数值的权重值为0.5,第3帧图像、第2帧图像、第1帧图像对应的数值的权重值为0.2。
具体地,预设加和阈值的具体值本领域技术人员可根据实际情况设置,此处不作限定。
S1770、基于最终检测结果控制终端设备的工作状态。
具体地,S1770和S550中相同内容类似,此处不再赘述。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释,已经结合具体的实施方式进行了上述说明。但是,上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导,可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用,从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。
Claims (10)
1.一种终端设备,其特征在于,包括:
图像采集器,被配置为采集图像;
控制器,被配置为:
接收当前图像,其中,所述当前图像为所述图像采集器当前采集的图像;
对所述当前图像进行用户识别,得到对应的用户识别结果;
若所述当前图像对应的用户识别结果中包括至少一个用户的肢体信息,则从所述至少一个用户中确定当前目标用户;
基于所述当前目标用户的肢体信息检测所述当前目标用户是否位于所述终端设备的用户使用区域内,得到对应的检测结果;
若所述当前图像为当前控制周期内的最后一帧图像,则基于所述当前控制周期内的至少一帧图像对应的检测结果控制所述终端设备的工作状态。
2.根据权利要求1所述的设备,其特征在于,所述从所述至少一个用户中确定当前目标用户,包括:
对所述当前图像进行手势识别,得到对应的手势识别结果;
若所述当前图像对应的手势识别结果中包括切换手势,则将所述至少一个用户中做出所述切换手势的用户确定为所述当前目标用户;
若所述手势识别结果中不包括切换手势,则基于肢体信息将历史目标用户与所述至少一个用户进行匹配,其中,所述历史目标用户为基于上一帧图像确定的目标用户;
若所述至少一个用户中存在与所述历史目标用户相匹配的用户,则将所述历史目标用户作为所述当前目标用户;
若所述至少一个用户中不存在与所述历史目标用户相匹配的用户,则从所述至少一个用户中选取满足预设条件的用户作为所述当前目标用户。
3.根据权利要求1所述的设备,其特征在于,所述肢体信息包括多个关键肢体点的位置信息和置信度信息,所述多个关键肢体点包括第一目标关键肢体点,所述第一目标关键肢体点包括左右肩关键点、和/或左右跨关键点;
其中,所述基于所述当前目标用户的肢体信息检测所述当前目标用户是否位于所述终端设备的用户使用区域内,得到对应的检测结果,包括:
若所述第一目标关键肢体点的位置信息不为空、且置信度信息大于第一预设置信度阈值,则确定所述当前目标用户位于所述用户使用区域内。
4.根据权利要求3所述的设备,其特征在于,所述控制器还被配置为:
若至少一个所述第一目标关键肢体点的位置信息为空、或置信度信息小于等于所述第一预设置信度阈值,则确定所述当前目标用户沿目标方向在所述当前图像中的站位;
若所述当前目标用户的站位为位于中部,则确定所述当前目标用户位于所述用户使用区域内。
5.根据权利要求4所述的设备,其特征在于,所述多个关键肢体点包括第二目标关键肢体点,
其中,所述控制器还被配置为:
若所述当前目标用户的站位为位于边缘,则确定所述第二目标关键肢体点中位置信息为空、且置信度信息小于等于第二预设置信度阈值的第二目标关键点的数量,其中,当所述当前目标用户的站位为偏左时,所述第二目标关键肢体点包括左耳关键点、左肩关键点、左跨关键点、左膝关键点、和/或左踝关键点,当所述当前目标用户的站位为偏右时,所述第二目标关键肢体点包括右耳关键点、右肩关键点、右跨关键点、右膝关键点、和/或右踝关键点;当所述当前目标用户的站位为偏上时,所述第二目标关键肢体点包括左耳关键点、右耳关键点、左肩关键点、和/或右肩关键点;当所述当前目标用户的站位为偏下时,所述第二目标关键肢体点包括左跨关键点、右跨关键点、左膝关键点、右膝关键点、左踝关键点,和/或右踝关键点;
若所述数量大于预设数量阈值时,则确定所述当前目标用户位于所述用户使用区域内,否则,确定所述当前目标用户没有位于所述用户使用区域内。
6.根据权利要求4或5所述的设备,其特征在于,所述确定所述当前目标用户在目标方向上的站位,包括:
获取所述当前图像在所述目标方向上的宽度;
基于所述当前目标用户的多个关键肢体点的位置信息确定所述当前目标用户在所述目标方向上的肢体中心点的位置信息;
基于所述肢体中心点的位置信息和所述宽度确定所述当前目标用户在目标方向上的站位。
7.根据权利要求1所述的设备,其特征在于,所述若所述当前图像为当前控制周期内的最后一帧图像,则基于所述当前控制周期内的至少一帧图像对应的检测结果控制所述终端设备的工作状态,包括:
若所述当前图像与其前N帧图像对应的检测结果相同,则将所述当前图像对应的检测结果确定为最终检测结果,其中,N为正整数且小于所述当前控制周期内的图像总数;
基于所述最终检测结果控制所述终端设备的工作状态。
8.根据权利要求7所述的设备,其特征在于,所述控制器还被配置为:
若所述当前图像以及其前N帧图像中存在至少两帧检测结果不同的图像,则基于所述当前控制周期内的所有图像对应的检测结果确定最终检测结果。
9.根据权利要求8所述的设备,其特征在于,所述基于所述当前控制周期内的所有图像对应的检测结果确定最终检测结果,包括:
针对所述当前控制周期内的每帧图像,若其对应的检测结果为位于所述用户使用区域内则标记第一数值,若其对应的检测结果为没有位于所述用户使用区域内则标记第二数值;
将所述当前控制周期内各帧图像标记的数值进行权重加和,得到加和值;
若所述加和值大于预设加和阈值,则确定所述最终检测结果为位于所述用户使用区域内,否则确定所述最终检测结果为没有位于所述用户使用区域内。
10.一种控制方法,其特征在于,应用于终端设备,所述方法包括:
接收当前图像,其中,所述当前图像为图像采集器当前采集的图像;
对所述当前图像进行用户识别,得到对应的用户识别结果;
若所述当前图像对应的用户识别结果中包括至少一个用户的肢体信息,则从所述至少一个用户中确定当前目标用户;
基于所述当前目标用户的肢体信息检测所述当前目标用户是否位于所述终端设备的用户使用区域内,得到对应的检测结果;
若所述当前图像为当前控制周期内的最后一帧图像,则基于所述当前控制周期内的至少一帧图像对应的检测结果控制所述终端设备的工作状态。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311270483.2A CN117499724A (zh) | 2023-09-27 | 2023-09-27 | 终端设备及其控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311270483.2A CN117499724A (zh) | 2023-09-27 | 2023-09-27 | 终端设备及其控制方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117499724A true CN117499724A (zh) | 2024-02-02 |
Family
ID=89675258
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311270483.2A Pending CN117499724A (zh) | 2023-09-27 | 2023-09-27 | 终端设备及其控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117499724A (zh) |
-
2023
- 2023-09-27 CN CN202311270483.2A patent/CN117499724A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8464160B2 (en) | User interface device, user interface method, and recording medium | |
JP5829390B2 (ja) | 情報処理装置、および情報処理方法 | |
US8842890B2 (en) | Method and device for detecting a gesture from a user and for performing desired processing in accordance with the detected gesture | |
CN107977652B (zh) | 一种屏幕显示内容的提取方法及移动终端 | |
KR102155129B1 (ko) | 디스플레이 장치, 디스플레이 장치의 제어 방법 및 디스플레이 시스템 | |
CN108762877B (zh) | 一种移动终端界面的控制方法及移动终端 | |
WO2022100262A1 (zh) | 显示设备、人体姿态检测方法及应用 | |
CN109558046B (zh) | 一种信息显示方法及终端设备 | |
CN111556350B (zh) | 一种智能终端及人机交互方法 | |
CN113495617A (zh) | 设备控制的方法、装置、终端设备以及存储介质 | |
CN106063288B (zh) | 显示装置及其频道地图管理方法 | |
KR20180025754A (ko) | 디스플레이장치 및 그 제어방법 | |
CN109947988B (zh) | 一种信息处理方法、装置、终端设备及服务器 | |
CN103986845A (zh) | 信息处理方法和信息处理设备 | |
US9805390B2 (en) | Display control apparatus, display control method, and program | |
CN109819331B (zh) | 一种视频通话方法、装置、移动终端 | |
CN117499724A (zh) | 终端设备及其控制方法 | |
CN114647983A (zh) | 显示设备及基于人像的距离检测方法 | |
CN111679737B (zh) | 手部分割方法和电子设备 | |
KR102160736B1 (ko) | 디스플레이 장치 및 디스플레이 장치의 표시 방법 | |
CN109788124B (zh) | 一种功能栏的启动位置确定方法及装置、移动终端 | |
CN111813741A (zh) | 文件的共享方法及电子设备 | |
CN114302206B (zh) | 一种内容显示方法、显示设备及服务器 | |
CN113709564B (zh) | 基于5g电视的预警方法、5g电视及可读存储介质 | |
CN114327058B (zh) | 显示设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |