CN116391163A - 电子设备、方法和存储介质 - Google Patents
电子设备、方法和存储介质 Download PDFInfo
- Publication number
- CN116391163A CN116391163A CN202180073970.2A CN202180073970A CN116391163A CN 116391163 A CN116391163 A CN 116391163A CN 202180073970 A CN202180073970 A CN 202180073970A CN 116391163 A CN116391163 A CN 116391163A
- Authority
- CN
- China
- Prior art keywords
- user
- handheld device
- hand
- distance data
- processing circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 41
- 230000008859 change Effects 0.000 claims description 11
- 230000002146 bilateral effect Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 210000001061 forehead Anatomy 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000003447 ipsilateral effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/026—Details of the structure or mounting of specific components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/026—Details of the structure or mounting of specific components
- H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/725—Cordless telephones
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Environmental & Geological Engineering (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开涉及电子设备、方法和存储介质。一种用于手持式设备的电子设备，包括处理电路，处理电路被配置为：获取与所述手持式设备的用户的一个或多个身体特征相关联的距离数据；通过基于所述距离数据确定所述手持式设备相对于所述用户的方向，判断所述用户当前操作所述手持式设备的使用手；以及根据判断的结果，呈现适于所述用户的使用手操作的用户界面(UI)。
Description
本申请要求2020年11月4日提交的标题为“电子设备、方法和存储介质”的中国专利申请202011216016.8的优先权，该中国专利申请的公开内容在此作为整体并入于此。
本公开总体上涉及诸如智能手机之类的手持式用户设备，更具体而言，涉及用户正在操作手持式设备的使用手的判断方法。
近年来，诸如智能手机之类的手持式用户设备日益普及。这种手持式设备通常配备触摸屏幕，除了视觉呈现的目的以外，还可以借助于在屏幕上显示的包含虚拟操作部件(如虚拟按键)的UI来提供与用户的交互，从而减少了实体按键的使用。然而，为了提供更好的操作和视觉体验，手持式设备的屏幕尺寸越来越大，这无形中增加了用户在单手握住设备的同时操作设备的难度。虽然可以通过优化UI设计来让用户的手能够方便地完成屏幕上的每个操作，但是这需要判断用户当前操作设备的是左手还是右手，以便将UI呈现为适于操作的形式。
目前已经提出了多种判断用户的使用手的方法。例如，专利文献1(CN105468269A)公开了利用手机上安装的接近传感器201-209和201’-209’来检测用户的哪个手正在握住手机，如图1A中所示。专利文献2(JP2012023554A)公开了利用陀螺仪或加速度计等传感器来检测从而判断用户的哪个手正在握住手机，如图1B中所示。但是陀螺仪或加速度计受运动状态或重力(垂直方向)影响，当用户走或躺时这种判断方法的效果不好，因此其应用场景受限。此外，专利文献3(CN108958603A)公开了利用普通的RGB相机来捕获用户的面部，并根据左脸和右脸的不同面积来判断用户的使用手。但是RGB传感器受亮度条件限制，并且精度不高，因为面积比率在不 同的头部姿势下有歧义。
因此，存在应用范围更广且高度精确地判断用户正在用哪只手操作设备的需求。
发明内容
在此部分给出了关于本公开的简要概述，以便提供关于本公开的一些方面的基本理解。但是，应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图用来确定本公开的关键性部分或重要部分，也不是意图用来限定本公开的范围。其目的仅仅是以简化的形式给出关于本公开的某些概念，以此作为稍后给出的更详细描述的前序。
根据本公开的一个方面，提供了一种用于手持式设备的电子设备，包括处理电路，处理电路被配置为：获取与所述手持式设备的用户的一个或多个身体特征相关联的距离数据；基于所述距离数据确定所述手持式设备相对于所述用户的方向；基于所确定的方法判断所述用户当前操作所述手持式设备的使用手；以及根据判断的结果，呈现适于所述用户的使用手操作的用户界面(UI)。
根据本公开的另一个方面，提供了一种手持式设备，包括：深度相机，用于获得关于所述手持式设备的用户的深度图像；以及处理电路，被配置为：基于所述深度图像，获取与所述用户的一个或多个身体特征相关联的距离数据；基于所述距离数据确定所述手持式设备相对于所述用户的方向；基于所确定的方向判断所述用户当前操作所述手持式设备的使用手；根据判断的结果，呈现适于所述用户的使用手操作的用户界面(UI)。
根据本公开的另一个方面，提供了一种用于手持式设备的方法，包括：获取与所述手持式设备的用户的一个或多个身体特征相关联的距离数据；基于所述距离数据确定所述手持式设备相对于所述用户的方向；基于所确定的方向判断所述用户当前操作所述手持式设备的使用手；以及根据判断的结果，呈现适于所述用户的使用手操作的用户界面(UI)。
根据本公开的另一个方面，提供了一种存储有可执行指令的非暂时性计算机可读存储介质，所述可执行指令当被执行时实现上面所述的方法。
通过应用本公开的一个或多个方面，可以方便、精确地判断用户操作手持式设备的使用手并呈现适于用户操作的UI。
本公开可以通过参考下文中结合附图所给出的详细描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的要素。所有附图连同下面的详细说明一起包含在本说明书中并形成说明书的一部分，用来进一步举例说明本公开的实施例和解释本公开的原理和优点。其中：
图1A-1B示出了现有技术中判断使用手的示意图；
图2示出作为手持式设备的示例的智能手机的硬件配置；
图3A示出了根据本公开的电子设备的框图；
图3B示出了根据本公开的方法的流程图；
图4A-4B示出了确定手持式设备相对于用户的方向的示例；
图5A-5B示出了确定手持式设备相对于用户的方向的另一示例；
图6A-6B示出了确定手持式设备相对于用户的方向的另一示例。
在下文中将参照附图来详细描述本公开的各种示例性实施例。为了清楚和简明起见，在本说明书中并未描述实施例的所有实现方式。然而应注意，在实现本公开的实施例时可以根据特定需求做出很多特定于实现方式的设置。
此外，还应注意，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与本公开的技术方案密切相关的处理步骤和/或设备结构。以下对于示例性实施例的描述仅仅是说明性的，不意在作为对本公开及其应用的任何限制。
图2是示出作为本公开的手持式设备的示例的智能手机1600的硬件配置的框图。应理解，虽然本公开以智能手机为例进行描述，但是可以应用本公开的技术内容的手 持式设备并不限于智能手机，而是可以被实现为各种类型的移动终端，诸如平板电脑、个人计算机(PC)、掌上电脑、智能助理、便携式游戏终端、便携式数字摄像装置等等。
智能手机1600包括处理器1601、存储器1602、存储装置1603、外部连接接口1604、RGB相机1605、深度相机1606、传感器1607、麦克风1608、输入装置1609、显示装置1610、扬声器1611、无线通信子系统1612、总线1617、电池1618等，这些部件通过总线1617彼此连接。电池1618经由馈线(图2中未示出)为智能手机1600的各个部件提供电力。
处理器1601可以实现为例如CPU或片上系统(SoC)，并且总体控制智能手机1600的功能。处理器1601可以包括在计算系统中执行功能的数字电路系统、模拟电路系统或混合信号(模拟信号和数字信号的组合)电路系统的各种实现，诸如集成电路(IC)、专用集成电路(ASIC)之类的电路、单独处理器核心的部分或电路、整个处理器核心、单独的处理器、诸如现场可编程门阵列(FPGA)的可编程硬件设备、和/或包括多个处理器的系统。
存储器1602用于存储数据和由处理器1601执行的程序，例如可以是易失性存储器和/或非易失性存储器，包括但不限于随机存储存储器(RAM)、动态随机存储存储器(DRAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、闪存存储器等。存储装置1603作为存储器1602的补充，可以包括诸如半导体存储器和硬盘之类的存储介质。外部连接接口1604是用于将外部装置(诸如存储卡和通用串行总线(USB)装置)连接至智能手机1600的接口。
输入装置1609包括例如键盘、小键盘、按键或开关，用于接收从用户输入的操作或信息。显示装置1610包括屏幕(诸如液晶显示器(LCD)和有机发光二极管(OLED)显示器)，并且显示智能手机1600的输出图像，诸如包含虚拟操作部件的UI。典型地，显示装置1610可以被实现为触摸屏幕，其包括被配置为检测显示装置1610的屏幕上的触摸的触摸传感器，由此，触摸屏幕既是显示装置，又可以充当输入装置。
麦克风1608将输入到智能手机1600的声音转换为音频信号。利用语音识别技术，来自用户的指令可以以语音的形式通过麦克风1608输入到智能手机1600，由此麦克风 1608也可以充当输入装置。扬声器1611将从智能手机1600输出的音频信号转换为声音。
无线通信子系统1612用于执行无线通信。无线通信子系统1612可以支持任何蜂窝通信方案(诸如4G LTE或5G NR等等)，或者另外类型的无线通信方案，诸如短距离无线通信方案、近场通信方案和无线局域网(LAN)方案。无线通信子系统1612可以包括例如BB处理器和RF电路、天线开关、天线等。
智能手机1600还包括用于捕获外界图像的RGB相机1605。RGB相机1605包括光学部件和图像传感器(诸如电荷耦合器件(CCD)传感器和互补金属氧化物半导体(CMOS)传感器)。经过光学部件的光被图像传感器捕获和光电转换，并由例如处理器1601处理以生成图像。智能手机1600可以包括不止一个RGB相机1605，例如前置或后置的多个相机。RGB相机1605可以由广角相机模块、超广角相机模块、长焦相机模块等组成，以提供优秀的拍摄效果。
除了传统的RGB相机1605以外，智能手机1600还可以包括用于获得深度信息的深度相机1606。深度相机有时也被称为3D相机，顾名思义，就是通过该相机能检测出拍摄空间的景深距离，越来越普及地用于诸如对象识别、行为识别、场景建模等应用场景。相比较传统的相机，深度相机在功能上添加了一个深度测量，从而更方便准确的感知周围的环境及变化。取决于所利用的技术，深度相机1606可以包括飞行时间(Time of Flight，TOF)相机、结构光(Structured Light)相机、双目立体视觉(Binocular Stereo Vision)相机等，但是不限于此。下面简单介绍这几种深度相机。
TOF相机采用主动探测方式，通过测量光的飞行时间来取得距离。具体而言，光发射器(例如LED或激光二极管)向目标连续发射调制过的光脉冲，一般是不可见的红外光，光脉冲遇到物体反射后，由光接收器(例如，特制的CMOS传感器)接收反射光。因为光速的原因，通过直接测量光的飞行时间实际不可行，一般通过检测用一定手段调制后的光波的相位偏移来实现。TOF技术根据调制方法的不同，一般可以分为两种：脉冲调制(Pulsed Modulation)和连续波调制(Continuous Wave Modulation)。因为已知光速和调制光的波长，运算单元利用发射的脉冲光和接收的脉冲光之间的相位偏移，能快速准确计算出到物体的深度距离。TOF相机可以同时得到整幅图像的深度信息，即，二维的深度点云信息，图像上的每个点的值代表着相机和 物体之间的距离的值(即，深度值)，而不像RGB相机是光强度值。TOF相机的优点主要有：1)检测距离远。在激光能量够的情况下可达几十米。2)受环境光干扰比较小。但是TOF技术也有一些显而易见的问题，例如对设备要求高，特别是时间测量模块；计算资源消耗大，在检测相位偏移时需要多次采样积分，运算量大；限于资源消耗和滤波，帧率和分辨率都没办法做到较高。
结构光相机同样采用主动探测方式，其原理是通过光发射器(例如近红外激光器)将具有一定结构特征(诸如经过编码的图像或伪随机散斑光点)的光线投射到被拍摄物体上，再由专门的光接收器捕获发射回来的结构光图案。这种具备一定结构的光线会因被拍摄物体的不同深度区域而被捕获到不同的图像相位信息，然后通过运算单元根据三角测量原理，将这种结构的变化换算成深度信息。和TOF相机相比，结构光相机的运算量小、功耗低，在近距离范围内精度更高，所以在人脸识别，手势识别方面极具优势，但是容易受环境光干扰、室外体验差，并且随检测距离增加，精度会变差。
双目立体视觉相机采用被动探测方式。双目立体视觉是机器视觉的一种重要形式，其利用成像设备(例如传统的RGB相机)从不同的位置获取被测物体的两幅图像，基于视差原理计算图像对应点间的位置偏差，从而获取物体三维几何信息的方法。双目立体视觉相机对硬件要求低，普通的RGB相机即可，并且室内外都适用，只要光线合适。但是其缺点也是非常明显，例如对环境光照非常敏感、不适用单调缺乏纹理的场景、计算复杂度高、基线限制了测量范围，等等。
智能手机1600还可以包括其它的传感器1607，诸如光线传感器、重力传感器、接近传感器、指纹传感器等等。除此之外，智能手机1600通常还会配备陀螺仪传感器、加速度传感器等以便于检测其运动状态或姿态。
应理解，以上仅示意性地描述了智能手机作为手持式设备的示例及其代表性部件，并不意味着这些部件都是根据本公开的手持式设备所必需的。
根据本公开的实施例，手持式设备可以根据用户正在用哪只手操作设备来自适应地呈现UI。下面将结合图3A和3B来描述根据本公开的用于自适应UI呈现的电子设备及其执行的方法。
图3A示出了电子设备1000的框图。电子设备1000包括处理电路1001以及潜 在的其它电路。处理电路1001可以例如被实现为诸如上面所述的处理器1601之类的处理器。如图3A中所示，处理电路1001包括获取单元1002、判断单元1003和呈现单元1004，并且可以被配置为执行图3B中所示的方法。
处理电路1001的获取单元1002被配置为获取与手持式设备的用户的一个或多个身体特征相关联的距离数据(即，执行图3B中的步骤S1001)。
根据本公开的实施例，用户的身体特征可以包括各种面部特征或其它身体特征。在一个示例中，用户的身体特征包括前额、鼻尖、嘴巴、下巴等特征。在另一个示例中，用户的身体特征包括一对左右对称的特征，诸如眼睛、肩膀等。获取单元1002要针对哪些身体特征获取距离数据可以取决于具体的判断方法，下面将详细描述。
与用户的身体特征相关联的距离数据可以从深度相机对用户拍摄的深度图像获取。深度图像将从深度相机的光接收器(例如TOF传感器)到用户身体的距离(深度)作为像素值。也就是说，深度图像包含所拍摄到的用户身体特征的距离信息。典型地，深度图像可以被表示为二维的点云，当将深度相机的传感器平面的两个方向看作X、Y方向(例如，水平方向为X方向、垂直方向为Y方向)并且将传感器平面的法线方向(深度方向)看作Z方向从而建立坐标系时，深度图像的像素值可以表示为(x
i，y
i，z
i)，其中x
i、y
i、z
i分别是三维方向上的距离。
在一个示例中，处理电路1001可以对深度相机获得深度图像进行图像识别处理，以识别需要的身体特征。现有技术中已经存在许多这样的图像识别处理，诸如各种分类方法、人工智能等，这里不再赘述。然后，获取单元1002可以从深度图像获得对应的像素值作为与身体特征相关联的距离数据。
在另一个示例中，手持式设备可以利用RGB相机和深度相机来同时获得用户的图像，由RGB相机获得的RGB图像和由深度相机获得的深度图像可以是相互对准的。甚至存在RGB相机和深度相机集成的情况，这样的相机可以同时获得用户的RGB值和距离作为像素值。处理电路1001可以对RGB图像进行图像识别处理以识别需要的身体特征。然后基于深度图像和RGB图像的像素点之间的对应关系，获取单元1002可以从深度图像获得对应的像素值作为与身体特征相关联的距离数据。
判断单元1003可以被配置为基于获取单元1002获取的距离数据来判断用户当前操作手持式设备的使用手(即，执行图3B中的步骤S1002)。具体而言，基于与用户的一个或多个身体特征相关联的距离数据，判断单元1003可以首先确定手持式设备相对于用户的方向。这里介绍确定手持式设备相对于用户的方向的几个示例。
在一个示例中，判断单元1003可以基于与身体特征相关联的距离数据来计算身体特征相对于手持式设备的方位角。图4A和4B分别示出了当用户用右手和左手握住手持式设备时，鼻尖相对于手持式设备的方向的正视图和顶视图。应理解，虽然图4A和4B以鼻尖作为身体特征的示例，但是本公开不限于此，身体特征还可以是前额、嘴巴、下巴等。
如图中所示，如果使用深度相机的传感器作为中心建立坐标系，则用户鼻尖的方位角可以计算为
其中x是鼻尖在X方向(例如水平方向)上的距离，z是鼻尖在Z方向(例如传感器平面的法线方向，也就是深度方向)上的距离。如图4A中所示，当手持式设备位于用户的右方时，由于x为正值，则θ应大于0；而如图4B中所示，当手持式设备位于用户的左方时，由于x为负值，则θ应小于0。因此，通过将计算的方位角与预定阈值(例如0)相比较，就可以确定手持式设备相对于用户的方向。
应理解，这里的预定阈值不限于0，而是可以在考虑容差的情况下被适当地设置，例如如果计算的方位角θ大于5°、10°或其它阈值，则确定手持式设备位于用户的左方，而如果计算的方位角θ小于-5°、-10°或其它阈值，则确定手持式设备位于用户的右方。
在另一个示例中，判断单元1003可以考虑不止一个身体特征，而是可以考虑两个甚至更多个身体特征，诸如眼睛、肩膀等。图5A和5B示出了针对眼睛计算方位角的示例。如图5A中所示，当手持式设备位于用户的右方时，右眼的方位角θR应小于左眼的方位角θL；而当手持式设备位于用户的左方时，右眼的方位角θR应大于左眼的方位角θL。因此，通过比较两只眼睛的方位角，可以确定手持式设备是位于用户的左方还是右方。
事实上，从图5A和5B可以看出，手持式设备相对于用户所位于的方向总是对应于具有较小方位角的身体特征(例如眼睛)。举例来说，在图5A中，手持式设备 位于用户的右方，则对应于具有较小方位角的右眼，而在图5B中，手持式设备位于用户的左方，则对应于具有较小方位角的左眼。这意味着使用手与具有较小方位角的身体特征存在同侧关系。
在又一个示例中，判断单元1004可以基于与一对身体特征相关联的距离数据来计算身体特征与手持式设备之间的距离。图6A和6B示出了针对眼睛计算距离的示例。应理解，这里考虑的身体特征可以不限于眼睛，而可以是一对左右对称的任何身体特征，例如肩膀。通过如上建立坐标系，则任一眼睛的距离可以计算为
其中x是眼睛在X方向(例如水平方向)上的距离，z是眼睛在Z方向(例如传感器平面的法线方向，也就是深度方向)上的距离。
如图6A中所示，当手持式设备位于用户的右方时，右眼的距离dR应小于左眼的距离dL，而当手持设备位于用户的左方时，右眼的距离dR应大于左眼的距离dL。因此，通过比较两只眼睛的距离，可以确定手持式设备位于用户的左方还是右方。同样地，可以发现，手持式设备相对于用户所位于的方向总是对应于具有较小距离的眼睛。这意味着使用手与具有较小距离的身体特征存在同侧关系。
虽然上面描述了基于与身体特征相关联的深度数据来确定手持式设备相对于用户的方向的几个示例性方法，但是本公开不限于此。可以使用任何方法，只要能够达到相同的目的即可。例如，可以采用机器学习的方法，通过用深度图像或距离数据作为输入训练集、用手持式设备相对于用户的方向作为输出训练集，可以构建模型，诸如神经网络模型，并且在使用时，判断单元1003可以向模型输入相应的深度图像或由获取单元1002获取的距离数据，以得到模型的预测输出。
在确定手持式设备相对于用户的方向后，判断单元1003可以判断用户正在使用哪只手握住手持式设备。通常情况下，当用户左手握住手持式设备时，设备位于用户的左前方，而当用户右手握住手持式设备时，设备位于用户的右前方。由此，判断单元1003可以根据手持式设备相对于用户的方向来相应地判断用户操作手持式设备的使用手。
可能存在用户左手握住手持式设备但手持式设备位于用户右方或者相反的情况。在这种情况下，判断单元1003可能会得到错误的判断结果。根据本公开的实施例，处理电路1001还可以利用来自除深度相机以外的附加传感器的感测数据来校正判断单元 1003的判断结果。
在一个示例中，处理电路1001可以利用加速度传感器的感测数据来检测手持式设备的运动轨迹，假设手持式设备发生从左到右的运动、跨过了用户正面而位于用户的右方，则处理电路1001可以结合检测到的运动轨迹而将判断单元1003的判断结果校正为使用手为左手，反之亦然。
在另一个示例中，处理电路1001可以利用陀螺仪传感器的感测数据来检测手持式设备的姿态，并集合人体工程学和人脸位置来综合判断用户的使用手。
在又一个示例中，处理电路1001可以控制显示判断单元1003的判断结果，并提示用户给予确认。举例来说，可以在屏幕上显示“检测到当前的使用手为左手？”，用户可以通过点击“是”或“否”来予以确认。
回到图3A和3B，根据所判断的使用手，处理电路1001的呈现单元1004可以呈现适于用户的使用手操作的UI(即，执行图3B中的步骤S1003)。例如，当判断用户正在用左手握住手持式设备时，呈现单元1004可以将需要用户操作的UI部件呈现为靠近屏幕的左侧，以使得处于用户左手的手指可触及的范围内。相反，当判断用户正在用右手握住手持式设备时，呈现单元1004可以将需要用户操作的UI部件呈现为靠近屏幕的右侧，以使得处于用户右手的手指可触及的范围内。
本公开的使用手判断方法可以仅利用设备上普遍配备的深度相机来推断用户正在用哪只手握住并操作手持式设备，而无需配备特定的传感器。此外，本公开的使用手判断方法受光照条件的影响小，可以保证广泛的应用场景和较高的精度。
上面所述的方法过程可以在许多场合下执行，以提供用户操作UI的方便性。
例如，当用户解锁手持式设备时，可以执行本公开的技术，例如在用户进行面部识别或按下解锁键的同时启动深度相机拍摄深度图像，并基于所拍摄的深度图像判断使用手，从而在解锁的屏幕上直接呈现适于用户操作的UI。
或者，当通过诸如陀螺仪传感器或加速度传感器等检测到手持式设备的姿态或使用场景发生变化时，例如用户从站立变为躺下、用户拿起手机、用户的左右手交换等，由这种变化触发本公开的方法过程的执行。
此外，当通过相机或其它传感器检测到手持式设备相对于用户的方向发生反转变 化时，例如，从用户的左方移到右方或从右方移到左方，可以启动本公开的使用手判断，手持式设备可以在屏幕上向用户呈现是否改变使用手的询问，如果从用户接收的回应是确认使用手改变，则随后呈现改变的UI，反之如果用户回应使用手未改变，则UI也无需改变。
根据本公开的实施例，可以想到各种实现本公开的概念的实现方式，包括但不限于：
1)、一种用于手持式设备的电子设备，包括：处理电路，被配置为：获取与所述手持式设备的用户的一个或多个身体特征相关联的距离数据；基于所述距离数据确定所述手持式设备相对于所述用户的方向；基于所确定的方向，判断所述用户当前操作所述手持式设备的使用手；以及根据判断的结果，呈现适于所述用户的使用手操作的用户界面(UI)。
2)、根据1)所述的电子设备，其中，所述处理电路进一步被配置为：基于由深度相机获得的关于所述用户的深度图像，识别所述一个或多个身体特征，并获取所述距离数据。
3)、根据1)所述的电子设备，其中，所述处理电路进一步被配置为：基于由RGB相机获得的关于所述用户的RGB图像，识别所述一个或多个身体特征；以及从由深度相机获得的深度图像中获取与所识别的一个或多个身体特征相关联的距离数据。
4)、根据1)所述的电子设备，其中，所述处理电路进一步被配置为：基于所述距离数据，计算所述用户的一个或多个身体特征相对于所述手持式设备的方位角，并基于所述方位角确定所述手持式设备相对于所述用户的方向。
5)、根据1)所述的电子设备，其中，所述处理电路进一步被配置为：基于所述距离数据，计算并比较所述用户的一对左右对称的身体特征与所述手持式设备之间的距离，并基于所述距离确定所述手持式设备相对于所述用户的方向。
6)、根据1)所述的电子设备，其中，所述身体特征包括以下至少之一：鼻尖、下巴、前额、嘴巴、眼睛、肩膀。
7)、根据1)所述的电子设备，其中，所述处理电路进一步被配置为：在所述 手持式设备相对于所述用户的方向发生反转变化时，向所述用户呈现是否改变使用手的询问；从所述用户接收对于询问的回应；根据接收到的回应确定是否改变所述用户界面(UI)。
8)、根据1)所述的电子设备，其中，所述深度相机是以下之一：飞行时间(TOF)相机、结构光相机、双目立体视觉相机。
9)、一种手持式设备，包括：深度相机，用于获得关于所述手持式设备的用户的深度图像；以及处理电路，被配置为：基于所述深度图像，获取与所述用户的一个或多个身体特征相关联的距离数据；基于所述距离数据确定所述手持式设备相对于所述用户的方向；基于所确定的方向，判断所述用户当前操作所述手持式设备的使用手；根据判断的结果，呈现适于所述用户的使用手操作的用户界面(UI)。
10)、根据9)所述的手持式设备，其中，所述处理电路进一步被配置为：基于所述深度图像，识别所述一个或多个身体特征，并获取所述距离数据。
11)、根据9)所述的手持式设备，还包括用于捕获RGB图像的RGB相机，其中，所述处理电路进一步被配置为：基于由RGB相机捕获的关于所述用户的RGB图像，识别所述一个或多个身体特征；以及从由深度相机获得的深度图像中获取与所识别的一个或多个身体特征相关联的距离数据。
12)、根据9)所述的手持式设备，其中，所述处理电路进一步被配置为：基于所述距离数据，计算所述用户的一个或多个身体特征相对于所述手持式设备的方位角，并基于所述方位角确定所述手持式设备相对于所述用户的方向。
13)、根据9)所述的手持式设备，其中，所述处理电路进一步被配置为：基于所述距离数据，计算并比较所述用户的一对左右对称的身体特征与所述手持式设备之间的距离，并基于所述距离确定所述手持式设备相对于所述用户的方向。
14)、根据9)所述的手持式设备，其中，所述深度相机是以下之一：飞行时间(TOF)相机、结构光相机、双目立体视觉相机。
15)、一种用于手持式设备的方法，包括：获取与所述手持式设备的用户的一个或多个身体特征相关联的距离数据；基于所述距离数据确定所述手持式设备相对于所述用户的方向；基于所确定的方向，判断所述用户当前操作所述手持式设备的 使用手；以及根据判断的结果，呈现适于所述用户的使用手操作的用户界面(UI)。
16)、一种存储有可执行指令的非暂时性计算机可读存储介质，所述可执行指令当被执行时实现根据15)述的方法。
以上参照附图描述了本公开的示例性实施例，但是本公开当然不限于以上示例。本领域技术人员可在所附权利要求的范围内得到各种变更和修改，并且应理解这些变更和修改自然将落入本公开的技术范围内。
例如，在以上实施例中包括在一个单元中的多个功能可以由分开的装置来实现。替选地，在以上实施例中由多个单元实现的多个功能可分别由分开的装置来实现。另外，以上功能之一可由多个单元来实现。无需说，这样的配置包括在本公开的技术范围内。
在该说明书中，流程图中所描述的步骤不仅包括以所述顺序按时间序列执行的处理，而且包括并行地或单独地而不是必须按时间序列执行的处理。此外，甚至在按时间序列处理的步骤中，无需说，也可以适当地改变该顺序。
虽然已经详细说明了本公开及其优点，但是应当理解在不脱离由所附的权利要求所限定的本公开的精神和范围的情况下可以进行各种改变、替代和变换。而且，本公开实施例的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (16)
- 一种用于手持式设备的电子设备，包括：处理电路，被配置为：获取与所述手持式设备的用户的一个或多个身体特征相关联的距离数据；基于所述距离数据确定所述手持式设备相对于所述用户的方向；基于所确定的方向，判断所述用户当前操作所述手持式设备的使用手；以及根据判断的结果，呈现适于所述用户的使用手操作的用户界面(UI)。
- 根据权利要求1所述的电子设备，其中，所述处理电路进一步被配置为：基于由深度相机获得的关于所述用户的深度图像，识别所述一个或多个身体特征，并获取所述距离数据。
- 根据权利要求1所述的电子设备，其中，所述处理电路进一步被配置为：基于由RGB相机获得的关于所述用户的RGB图像，识别所述一个或多个身体特征；以及从由深度相机获得的深度图像中获取与所识别的一个或多个身体特征相关联的距离数据。
- 根据权利要求1所述的电子设备，其中，所述处理电路进一步被配置为：基于所述距离数据，计算所述用户的一个或多个身体特征相对于所述手持式设备的方位角，并基于所述方位角确定所述手持式设备相对于所述用户的方向。
- 根据权利要求1所述的电子设备，其中，所述处理电路进一步被配置为：基于所述距离数据，计算并比较所述用户的一对左右对称的身体特征与所述手持式设备之间的距离，并基于所述距离确定所述手持式设备相对于所述用户的方向。
- 根据权利要求1所述的电子设备，其中，所述身体特征包括以下至少之一：鼻尖、下巴、前额、嘴巴、眼睛、肩膀。
- 根据权利要求1所述的电子设备，其中，所述处理电路进一步被配置为：在所述手持式设备相对于所述用户的方向发生反转变化时，向所述用户呈现是否改变使用手的询问；从所述用户接收对于询问的回应；根据接收到的回应确定是否改变所述用户界面(UI)。
- 根据权利要求1所述的电子设备，其中，所述深度相机是以下之一：飞行时间(TOF)相机、结构光相机、双目立体视觉相机。
- 一种手持式设备，包括：深度相机，用于获得关于所述手持式设备的用户的深度图像；以及处理电路，被配置为：基于所述深度图像，获取与所述用户的一个或多个身体特征相关联的距离数据；基于所述距离数据确定所述手持式设备相对于所述用户的方向；基于所确定的方向，判断所述用户当前操作所述手持式设备的使用手；根据判断的结果，呈现适于所述用户的使用手操作的用户界面(UI)。
- 根据权利要求9所述的手持式设备，其中，所述处理电路进一步被配置为：基于所述深度图像，识别所述一个或多个身体特征，并获取所述距离数据。
- 根据权利要求9所述的手持式设备，还包括用于捕获RGB图像的RGB相机，其中，所述处理电路进一步被配置为：基于由RGB相机捕获的关于所述用户的RGB图像，识别所述一个或多个身体特征；以及从由深度相机获得的深度图像中获取与所识别的一个或多个身体特征相关联的距离数据。
- 根据权利要求9所述的手持式设备，其中，所述处理电路进一步被配置为：基于所述距离数据，计算所述用户的一个或多个身体特征相对于所述手持式设 备的方位角，并基于所述方位角确定所述手持式设备相对于所述用户的方向。
- 根据权利要求9所述的手持式设备，其中，所述处理电路进一步被配置为：基于所述距离数据，计算并比较所述用户的一对左右对称的身体特征与所述手持式设备之间的距离，并基于所述距离确定所述手持式设备相对于所述用户的方向。
- 根据权利要求9所述的手持式设备，其中，所述深度相机是以下之一：飞行时间(TOF)相机、结构光相机、双目立体视觉相机。
- 一种用于手持式设备的方法，包括：获取与所述手持式设备的用户的一个或多个身体特征相关联的距离数据；基于所述距离数据确定所述手持式设备相对于所述用户的方向；基于所确定的方向，判断所述用户当前操作所述手持式设备的使用手；以及根据判断的结果，呈现适于所述用户的使用手操作的用户界面(UI)。
- 一种存储有可执行指令的非暂时性计算机可读存储介质，所述可执行指令当被执行时实现根据权利要求15所述的方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011216016.8A CN114449069A (zh) | 2020-11-04 | 2020-11-04 | 电子设备、方法和存储介质 |
| CN2020112160168 | 2020-11-04 | ||
| PCT/CN2021/128556 WO2022095915A1 (zh) | 2020-11-04 | 2021-11-04 | 电子设备、方法和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116391163A true CN116391163A (zh) | 2023-07-04 |
Family
ID=81362133
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011216016.8A Pending CN114449069A (zh) | 2020-11-04 | 2020-11-04 | 电子设备、方法和存储介质 |
| CN202180073970.2A Pending CN116391163A (zh) | 2020-11-04 | 2021-11-04 | 电子设备、方法和存储介质 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011216016.8A Pending CN114449069A (zh) | 2020-11-04 | 2020-11-04 | 电子设备、方法和存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (2) | CN114449069A (zh) |
| WO (1) | WO2022095915A1 (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105302448A (zh) * | 2014-06-18 | 2016-02-03 | 中兴通讯股份有限公司 | 调整移动终端界面的方法、装置及终端 |
| CN108572730A (zh) * | 2017-03-10 | 2018-09-25 | 埃尔特菲斯项目公司 | 用于使用深度感知相机与计算机实现的交互式应用程序进行交互的系统和方法 |
| CN109656359A (zh) * | 2018-11-26 | 2019-04-19 | 深圳奥比中光科技有限公司 | 3d体感交互适配方法、系统、终端设备和可读存储介质 |
| WO2019244645A1 (ja) * | 2018-06-20 | 2019-12-26 | ソニー株式会社 | プログラム、認識装置、及び、認識方法 |
| CN111125659A (zh) * | 2018-10-31 | 2020-05-08 | 北京小米移动软件有限公司 | 输入组件、解锁方法、电子设备、机器可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110289455A1 (en) * | 2010-05-18 | 2011-11-24 | Microsoft Corporation | Gestures And Gesture Recognition For Manipulating A User-Interface |
| US20160224123A1 (en) * | 2015-02-02 | 2016-08-04 | Augumenta Ltd | Method and system to control electronic devices through gestures |
-
2020
- 2020-11-04 CN CN202011216016.8A patent/CN114449069A/zh active Pending
-
2021
- 2021-11-04 WO PCT/CN2021/128556 patent/WO2022095915A1/zh active Application Filing
- 2021-11-04 CN CN202180073970.2A patent/CN116391163A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105302448A (zh) * | 2014-06-18 | 2016-02-03 | 中兴通讯股份有限公司 | 调整移动终端界面的方法、装置及终端 |
| CN108572730A (zh) * | 2017-03-10 | 2018-09-25 | 埃尔特菲斯项目公司 | 用于使用深度感知相机与计算机实现的交互式应用程序进行交互的系统和方法 |
| WO2019244645A1 (ja) * | 2018-06-20 | 2019-12-26 | ソニー株式会社 | プログラム、認識装置、及び、認識方法 |
| CN111125659A (zh) * | 2018-10-31 | 2020-05-08 | 北京小米移动软件有限公司 | 输入组件、解锁方法、电子设备、机器可读存储介质 |
| CN109656359A (zh) * | 2018-11-26 | 2019-04-19 | 深圳奥比中光科技有限公司 | 3d体感交互适配方法、系统、终端设备和可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022095915A1 (zh) | 2022-05-12 |
| CN114449069A (zh) | 2022-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10564392B2 (en) | Imaging apparatus and focus control method | |
| US11222440B2 (en) | Position and pose determining method, apparatus, smart device, and storage medium | |
| EP3943881A1 (en) | Method and apparatus for measuring geometric parameter of object, and terminal | |
| KR102664688B1 (ko) | 가상 캐릭터 기반 촬영 모드를 제공하는 전자 장치 및 이의 동작 방법 | |
| EP2984541B1 (en) | Near-plane segmentation using pulsed light source | |
| US20140037135A1 (en) | Context-driven adjustment of camera parameters | |
| US9465444B1 (en) | Object recognition for gesture tracking | |
| WO2018107679A1 (zh) | 一种动态三维图像获取的方法和设备 | |
| KR101985674B1 (ko) | 비접촉식 사용자 인터페이스 동작 인식 방법 및 그 장치 | |
| CN112005548B (zh) | 生成深度信息的方法和支持该方法的电子设备 | |
| CN112543901A (zh) | 根据外部对象的位置的改变显示与外部对象相对应的替身的电子装置 | |
| US20150009119A1 (en) | Built-in design of camera system for imaging and gesture processing applications | |
| US11048923B2 (en) | Electronic device and gesture recognition method thereof | |
| US9880634B2 (en) | Gesture input apparatus, gesture input method, and program for wearable terminal | |
| US10607069B2 (en) | Determining a pointing vector for gestures performed before a depth camera | |
| CN111602139A (zh) | 图像处理方法、装置、控制终端及可移动设备 | |
| CN112150560B (zh) | 确定消失点的方法、装置及计算机存储介质 | |
| US11284020B2 (en) | Apparatus and method for displaying graphic elements according to object | |
| CN115526983A (zh) | 一种三维重建方法及相关设备 | |
| CN113260951A (zh) | 基于指距或手接近的淡入用户界面显示 | |
| CN111127541A (zh) | 车辆尺寸的确定方法、装置及存储介质 | |
| WO2022095915A1 (zh) | 电子设备、方法和存储介质 | |
| WO2022161011A1 (zh) | 生成图像的方法和电子设备 | |
| CN115066882A (zh) | 用于执行自动对焦的电子装置和方法 | |
| KR102179432B1 (ko) | 3차원 정보를 검출하는 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |