CN106774850A - 一种移动终端及其交互控制方法 - Google Patents

一种移动终端及其交互控制方法 Download PDF

Info

Publication number
CN106774850A
CN106774850A CN201611060596.XA CN201611060596A CN106774850A CN 106774850 A CN106774850 A CN 106774850A CN 201611060596 A CN201611060596 A CN 201611060596A CN 106774850 A CN106774850 A CN 106774850A
Authority
CN
China
Prior art keywords
image
interactive object
mobile terminal
depth
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611060596.XA
Other languages
English (en)
Other versions
CN106774850B (zh
Inventor
黄源浩
刘龙
肖振中
许星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orbbec Inc
Original Assignee
Shenzhen Orbbec Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Orbbec Co Ltd filed Critical Shenzhen Orbbec Co Ltd
Priority to CN201611060596.XA priority Critical patent/CN106774850B/zh
Publication of CN106774850A publication Critical patent/CN106774850A/zh
Application granted granted Critical
Publication of CN106774850B publication Critical patent/CN106774850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种移动终端及其交互控制方法，该交互控制方法包括：从移动终端的非显示屏一侧采集包含交互对象的目标区域的深度图像；在深度图像中识别交互对象的动作，并将识别结果转化为相应的控制指令；执行控制指令。通过上述方式，本发明能够在非显示屏一侧对移动终端进行控制，有利于实现对大屏装置的单手操作。

Description

一种移动终端及其交互控制方法
技术领域
本发明涉及移动终端控制技术领域，特别是涉及一种移动终端及其交互控制方法。
背景技术
随着移动互联网的普及以及人们对手机等智能设备的功能要求越来越高，同时兼备通讯、上网以及视频播放等功能是目前手机最为基本的配置。目前手机的尺寸几乎进入了大屏时代，单手操作手机已经摇不可及，尽管如此，兼顾较大屏幕以及单手操作依然是目前用户对手机的的诉求。
在手机背后增加功能键是一种解决单手操作的方案，但是无疑会影响手机背面的美观，因而这种方案一直没有被用户接受。
在手机背面增加额外的触摸屏是一种更佳的实现单手操作的方案，这种方案通过在背面利用手指的操控实现对手机屏幕无法单手操作区域的控制。但是这种方案成本较高，因而无法成为主流的单手操作方案。
发明内容
本发明主要解决的技术问题是提供一种移动终端及其交互控制方法，能够在非显示屏一侧对移动终端进行控制，有利于实现对大屏装置的单手操作。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种移动终端的交互控制方法，该交互控制方法包括：从移动终端的非显示屏一侧采集包含交互对象的目标区域的深度图像；在深度图像中识别交互对象的动作，并将识别结果转化为相应的控制指令；执行控制指令。
其中，从移动终端的非显示屏一侧采集包含交互对象的目标区域的深度图像，包括：利用投影模组向交互对象投影不可见光图像；利用采集模组从移动终端的非显示屏一侧采集包含交互对象的目标区域的不可见光图像；根据不可见光图像，获取目标区域的深度信息，从而得到深度图像。
其中，根据不可见光图像，获取目标区域的深度信息，从而得到深度图像，包括：对不可见光图像以及预存的参考图像进行相关计算，得到不可见光图像与参考图像的偏移值；根据偏移值以及预存的采集设备参数计算得到不可见光图像中每个像素的深度值，以得到深度图像；其中，采集设备包括投影模组以及采集模组。
其中，根据偏移值以及预存的采集设备参数计算得到不可见光图像中每个像素的深度值，具体为：根据以下公式计算得到不可见光图像中每个像素的深度值：其中，ZD不可见光图像中每个像素点的深度值，Z0为参考图像中每个像素点的深度值，B为投影模组与采集模组之间的距离，f为采集模组的焦距，Δu为偏移值。
其中，从移动终端的非显示屏一侧采集包含交互对象的目标区域的深度图像，包括：利用激光发射模组向交互对象发射激光；利用激光接收模组从移动终端的非显示屏一侧接收反射激光；根据发射激光以及接收反射激光的时间差来计算得到包含交互对象的目标区域的深度信息，以得到深度图像。
其中，在深度图像中识别交互对象的动作，并将识别结果转化为相应的控制指令，包括：对深度图像进行预处理；从深度图像中提取出交互对象的图像部分；对图像部分进行分析，以识别出交互对象的动作，并将识别结果转化为相应的控制指令。
其中，交互对象为手指；对图像部分进行分析，以识别出交互对象的动作，并将识别结果转化为相应的控制指令，包括：对手指的图像部分进行处理，以提取手指的骨架图像；对骨架图像进行定位，以确定手指的指尖位置；根据手指的指尖位置、手指的指尖运动轨迹以及手指的骨架图像中的至少一种，确定手指的手势或运动轨迹；根据手指的手势或运动轨迹，生成相应的控制指令。
其中，移动终端的非显示屏一侧为与移动终端的显示屏相对的一侧；执行控制指令，包括：根据控制指令，控制显示屏执行相应的显示操作。
为解决上述技术问题，本发明采用的另一个技术方案是：提供深度图像采集器，设置于移动终端的非显示屏一侧，用于采集包含交互对象的目标区域的深度图像；处理器，用于在深度图像中识别交互对象的动作，并将识别结果转化为相应的控制指令；处理器还用于执行控制指令。
其中，处理器具体用于：对深度图像进行预处理；从深度图像中提取出交互对象的图像部分；对图像部分进行分析，以识别出交互对象的动作，并将识别结果转化为相应的控制指令。
本发明的有益效果是：区别于现有技术的情况，本发明的移动终端的交互控制方法包括：从移动终端的非显示屏一侧采集包含交互对象的目标区域的深度图像；在深度图像中识别交互对象的动作，并将识别结果转化为相应的控制指令；执行控制指令。通过上述方式，能够在显示屏上进行触控操作的同时，在非显示屏一侧通过交互对象的动作来实现对移动终端的控制，实现了在非显示屏一侧对移动终端的控制，有利于实现对大屏装置的单手操作。
附图说明
图1是本发明移动终端的交互控制方法一实施方式的流程示意图；
图2是本发明移动终端的交互控制方法一实施方式中S11一具体实施例的流程示意图；
图3是本发明移动终端的交互控制方法一实施方式中S11另一具体实施例的流程示意图；
图4是本发明移动终端的交互控制方法一实施方式中S118一具体实施例的流程示意图；
图5是本发明移动终端的交互控制方法一实施方式中S12一具体实施例的流程示意图；
图6是本发明移动终端的交互控制方法一实施方式中S123一具体实施例的流程示意图；
图7是本发明移动终端一实施方式的结构示意图；
图8是本发明移动终端一实施方式中的操作示意图。
具体实施方式
参阅图1，图1是本发明移动终端的交互控制方法一实施方式的流程示意图，该交互控制方法包括：
S11：从移动终端的非显示屏一侧采集包含交互对象的目标区域的深度图像。
其中，移动终端可以是手机、平板电脑等可移动的终端，或智能手表等穿戴设备。
可以理解的，移动终端通常包含显示屏，如手机的显示屏设置于手机的正面，而非显示屏一侧是指手机的侧面或者背面。
其中，交互对象可以是用户身体的某个部位，也可以是专用的交互工具，例如专用交互笔、穿戴指环等。
可选的，交互对象一般为用户的手，特别地，一般用户需要手持移动终端，手指处于移动终端的非显示屏一侧，因此，交互对象可以是手指。
其中，目标区域为移动终端的图像采集器所采集的空间区域，该图像采集器可以是深度图像采集器等。其中，该目标区域的深度图像中包含有交互对象。
另外，采集的目标区域的图像可以是单个一帧图像，也可以连续采集的图像序列，即连续的图像帧。
可选的，深度图像采集器可以是基于结构光的深度相机，也可以是基于TOF原理的深度相机。其中，TOF(Time of flight，飞行时间)是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行(往返)时间来得到目标物距离。
下面具体介绍基于TOF原理的深度相机。
如图2所示，具体地，该深度相机可以包括激光发射模组以及激光接收模组，则S11可以具体包括：
S111：利用激光发射模组向交互对象发射激光。
S112：利用激光接收模组从移动终端的非显示屏一侧接收反射激光。
S113：根据发射激光以及接收反射激光的时间差来计算得到包含交互对象的目标区域的深度信息，以得到深度图像。
下面具体介绍基于结构光的深度相机。
如图3所示，具体地，结构光深度相机包括投影模组以及采集模组，若采用结构光深度相机来获取目标区域的深度图像，则S11可以具体包括：
S116：利用投影模组向交互对象投影不可见光图像。
S117：利用采集模组从移动终端的非显示屏一侧采集包含交互对象的目标区域的不可见光图像。
可选的，在一实施方式中，该结构光深度相机为红外结构光深度相机，其中的投影模组为红外投影模组，采集模组为红外相机。
具体地，红外投影模组向交互对象投影不规则的散斑图案，反射后，由红外相机进行采集。之所以要采用散斑图案，是便于后续将采集的图像与参考图像进行比较。
S118：根据不可见光图像，获取目标区域的深度信息，从而得到深度图像。
如图4所示可选的，在一实施方式中，S113可以具体包括：
S1181：对不可见光图像以及预存的参考图像进行相关计算，得到不可见光图像与参考图像的偏移值。
具体地，该不可见光图像是上述的红外散斑图像，在该步骤中，可以将采集的红外散斑图像中的散斑图案与参考图像中的散斑图案进行比较，从而确定采集的不可见光图像与参考图像的像素偏移值。
值得注意的是，参考图像是预先采集的已知深度的散斑图像。具体地，通过上述红外投影模组向已知深度的平面投影相同散斑图案的红外光，然后再通过红外相机采集得到的。
S1182：根据偏移值以及预存的采集设备参数计算得到不可见光图像中每个像素的深度值，以得到深度图像。
在一具体的实施例中，S1182可以具体为：
根据以下公式计算得到不可见光图像中每个像素的深度值：
其中，ZD不可见光图像中每个像素点的深度值，Z0为参考图像中每个像素点的深度值，B为投影模组与采集模组之间的距离，f为采集模组的焦距，Δu为偏移值。
S12：在深度图像中识别交互对象的动作，并将识别结果转化为相应的控制指令。
其中，交互对象的动作可以是交互对象上目标点的位置，也可以是交互对象的形状及其变化、运动轨迹等等。
如图5所示，可选的，在一具体的实施例中，S12可以具体包括：
S121：对深度图像进行预处理。
其中，图像预处理用来将图像进行去噪、锐化，或者格式转换等处理以突出图像的细节，便于后续的处理。
S122：从深度图像中提取出交互对象的图像部分。
其中，图像提取也可以叫图像分割，图像分割主要用来从图像中分割出手指部分，对于深度图像，可以根据深度图像中每个像素的深度值来对图像进行分割从而得到手指部分的图像。
可以理解的，当交互对象(手指)在目标空间进行交互时，由于手指离移动终端的距离较近，例如手机，手指一般与移动终端的距离不会超过10厘米，而环境区域的深度则远远超过了10厘米。因此，可以根据深度信息对深度图像进行分割。
在图像分割后，还可以利用其他边缘检测算法比如canny算法对分割出的手指部分的图像进行完善。
S123：对图像部分进行分析，以识别出交互对象的动作，并将识别结果转化为相应的控制指令。
如图6所示，可选的，在一具体的实施例中，交互对象为手指。则S123可以具体包括如下步骤：
S1231：对手指的图像部分进行处理，以提取手指的骨架图像。
通过对手指的图像部分进行细化处理，比如利用形态学或者中轴变换算法进行骨架提取。
S1232：对骨架图像进行定位，以确定手指的指尖位置。
可以理解的，手指一般为长条形，其一端处于目标区域中的某个位置，其另一端则超出目标区域的边缘，因此，可以根据交互对象的端点位置判断出手指的指尖位置。
S1233：根据手指的指尖位置、手指的指尖运动轨迹以及手指的骨架图像中的至少一种，确定手指的手势或运动轨迹。
其中，对手指的手势或运动轨迹确认可以采用分类器识别的方法。
首先选取相应的分类器，并进行训练学习。所输入的用于训练的特征主要是手指骨架、指尖、以及指尖运动轨迹等特征。识别过程则是将当前识别的特征输入分类器，经分类器分类后输出的则是当前识别的结果。
其中，手指的位置可以采用静态识别，而手指的轨迹可以采用动态识别。对于静态识别可以利用基于决策树、神经网络等算法的分类器，而对于动态识别则可以利用基于贝叶斯、隐马尔可夫模型等算法的分类器。另外，也可以借助于更为简单有效的模板匹配识别方法，比如双手指的V形手势，则可以通过计算两根骨架的夹角来进行识别。因此具体识别算法可以根据具体要求进行调整，不局限于基于分类器的识别算法。
S1234：根据手指的手势或运动轨迹，生成相应的控制指令。
S13：执行控制指令。
其中，控制指令包括对应移动终端各种功能的控制指令，开/关机、解/锁屏、音量调节以及其他应用程序的控制。
可选的，在一实施例中，移动终端的非显示屏一侧为与移动终端的显示屏相对的一侧；S1234可以具体为：根据控制指令，控制显示屏执行相应的显示操作。
举例而言，显示屏用于显示图形并响应处理器的控制指令执行对图形的操作；除此之外，显示屏还可以响应触摸指令并执行对图像的操作，比如翻页、点击等操作。
可以理解的，上述实施方式的交互控制方法可以单独设置于一控制模式中，当移动终端的模式切换到交互控制模式后，才执行上述方法步骤。
其中，移动终端可以接收用户的操作指令开启交互控制模式，也可以在移动终端进入相应的应用场景时，自动进入交互控制模式。
下面以一实际的应用场景，对本实施方式进行说明：
当用户单手手持手机，观看相册图片时，在翻阅图片时需要使用另一只手来进行滑动操作或使用大拇指在显示屏上滑动，操作较为不便。
在一实施例中，在手机背面伸出食指以及中指，并在深度图像采集器前面形成V形的手势，深度图像采集器采集到该图像后，经处理器识别后控制手机进入交互控制模式，并在显示屏上显示出控制光标。随后通过手指的移动或滞留等操作来控制光标的移动以及点击等来操控显示屏。
在另一实施例中，当用户打开相册时，开启交互控制模式，用户可以采用食指或其他手指在手机的背面来对相册进行调节控制。例如，通过在手机背面的目标区域晃动食指来进行图片的翻页，通过食指与手机之间的距离来实现图片的放大与缩小。
区别于现有技术，本实施方式的移动终端的交互控制方法包括：从移动终端的非显示屏一侧采集包含交互对象的目标区域的深度图像；在深度图像中识别交互对象的动作，并将识别结果转化为相应的控制指令；执行控制指令。通过上述方式，能够在显示屏上进行触控操作的同时，在非显示屏一侧通过交互对象的动作来实现对移动终端的控制，实现了在非显示屏一侧对移动终端的控制，有利于实现对大屏装置的单手操作。
参阅图7，图7是本发明移动终端一实施方式的结构示意图，该移动终端至少包括深度图像采集器71以及处理器72。
图像采集器71，设置于移动终端的非显示屏一侧，用于采集包含交互对象的目标区域的深度图像。
可选的，图像采集器71为微距图像采集器。
处理器72，用于在深度图像中识别交互对象的动作，并将识别结果转化为相应的控制指令。
处理器72还用于执行控制指令。
可选的，在一实施方式中，处理器72具体用于：
对不可见光图像以及预存的参考图像进行相关计算，得到不可见光图像与参考图像的偏移值；根据偏移值以及预存的采集设备参数计算得到不可见光图像中每个像素的深度值，以得到深度图像；其中，采集设备包括投影模组以及采集模组。
其中，处理器72具体用于根据以下公式计算得到不可见光图像中每个像素的深度值：
其中，ZD不可见光图像中每个像素点的深度值，Z0为参考图像中每个像素点的深度值，B为投影模组与采集模组之间的距离，f为采集模组的焦距，Δu为偏移值。
可选的，在一实施方式中，处理器72具体用于：
对深度图像进行预处理；从深度图像中提取出交互对象的图像部分；对图像部分进行分析，以识别出交互对象的动作，并将识别结果转化为相应的控制指令。
可选的，在其他实施方式中，交互对象为手指，处理器72具体用于：
对手指的图像部分进行处理，以提取手指的骨架图像；对骨架图像进行定位，以确定手指的指尖位置；根据手指的指尖位置、手指的指尖运动轨迹以及手指的骨架图像中的至少一种，确定手指的手势或运动轨迹；根据手指的手势或运动轨迹，生成相应的控制指令。
可选的，该移动终端还包括显示屏；处理器72还用于根据控制指令，控制显示屏执行相应的显示操作。
可选的，该移动终端还包括照明装置，用于对目标区域进行照明。
在本发明所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本发明各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述其他实施方式中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。
参阅图8，下面以一应用场景对本实施方式进行说明：
其中，移动终端80包括图像采集器81以及处理器(设置于移动终端80的内部，未标示)。在用户单手操作时，即通过手指(如食指)在移动终端的背部对移动终端进行控制。
特别的，通过手指的位置、移动轨迹或者手势符号(如V型)，可以对移动终端的显示屏上的显示画面进行控制。
区别于现有技术，本实施方式的移动终端包括：深度图像采集器，设置于移动终端的非显示屏一侧，用于采集包含交互对象的目标区域的深度图像；处理器，用于在深度图像中识别交互对象的动作，并将识别结果转化为相应的控制指令；处理器还用于执行控制指令。通过上述方式，能够在显示屏上进行触控操作的同时，在非显示屏一侧通过交互对象的动作来实现对移动终端的控制，实现了在非显示屏一侧对移动终端的控制，有利于实现对大屏装置的单手操作。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种移动终端的交互控制方法，其特征在于，包括：
从移动终端的非显示屏一侧采集包含交互对象的目标区域的深度图像；
在所述深度图像中识别所述交互对象的动作，并将识别结果转化为相应的控制指令；
执行所述控制指令。
2.根据权利要求1所述的交互控制方法，其特征在于，
所述从移动终端的非显示屏一侧采集包含交互对象的目标区域的深度图像，包括：
利用投影模组向所述交互对象投影不可见光图像；
利用采集模组从移动终端的非显示屏一侧采集包含交互对象的目标区域的不可见光图像；
根据所述不可见光图像，获取所述目标区域的深度信息，从而得到所述深度图像。
3.根据权利要求2所述的交互控制方法，其特征在于，
所述根据所述不可见光图像，获取所述目标区域的深度信息，从而得到所述深度图像，包括：
对所述不可见光图像以及预存的参考图像进行相关计算，得到所述不可见光图像与所述参考图像的偏移值；
根据所述偏移值以及预存的采集设备参数计算得到所述不可见光图像中每个像素的深度值，以得到所述深度图像；
其中，所述采集设备包括所述投影模组以及所述采集模组。
4.根据权利要求3所述的交互控制方法，其特征在于，
所述根据所述偏移值以及预存的采集设备参数计算得到所述不可见光图像中每个像素的深度值，具体为：
根据以下公式计算得到所述不可见光图像中每个像素的深度值：
Z D = BfZ 0 B f - Z 0 Δ u ;
其中，ZD所述不可见光图像中每个像素点的深度值，Z0为所述参考图像中每个像素点的深度值，B为所述投影模组与所述采集模组之间的距离，f为所述采集模组的焦距，Δu为所述偏移值。
5.根据权利要求1所述的交互控制方法，其特征在于，
所述从移动终端的非显示屏一侧采集包含交互对象的目标区域的深度图像，包括：
利用激光发射模组向所述交互对象发射激光；
利用激光接收模组从移动终端的非显示屏一侧接收反射激光；
根据发射激光以及接收反射激光的时间差来计算得到包含交互对象的目标区域的深度信息，以得到所述深度图像。
6.根据权利要求1所述的交互控制方法，其特征在于，
所述在所述深度图像中识别所述交互对象的动作，并将识别结果转化为相应的控制指令，包括：
对所述深度图像进行预处理；
从所述深度图像中提取出所述交互对象的图像部分；
对所述图像部分进行分析，以识别出所述交互对象的动作，并将识别结果转化为相应的控制指令。
7.根据权利要求6所述的交互控制方法，其特征在于，
所述交互对象为手指；
所述对所述图像部分进行分析，以识别出所述交互对象的动作，并将识别结果转化为相应的控制指令，包括：
对所述手指的图像部分进行处理，以提取所述手指的骨架图像；
对所述骨架图像进行定位，以确定所述手指的指尖位置；
根据所述手指的指尖位置、所述手指的指尖运动轨迹以及所述手指的骨架图像中的至少一种，确定所述手指的手势或运动轨迹；
根据所述手指的手势或运动轨迹，生成相应的控制指令。
8.根据权利要求1所述的交互控制方法，其特征在于，
所述移动终端的非显示屏一侧为与所述移动终端的显示屏相对的一侧；
所述执行所述控制指令，包括：
根据所述控制指令，控制所述显示屏执行相应的显示操作。
9.一种移动终端，其特征在于，包括：
深度图像采集器，设置于所述移动终端的非显示屏一侧，用于采集包含交互对象的目标区域的深度图像；
处理器，用于在所述深度图像中识别所述交互对象的动作，并将识别结果转化为相应的控制指令；
所述处理器还用于执行所述控制指令。
10.根据权利要求9所述的移动终端，其特征在于，
所述处理器具体用于：
对所述深度图像进行预处理；
从所述深度图像中提取出所述交互对象的图像部分；
对所述图像部分进行分析，以识别出所述交互对象的动作，并将识别结果转化为相应的控制指令。
CN201611060596.XA 2016-11-24 2016-11-24 一种移动终端及其交互控制方法 Active CN106774850B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611060596.XA CN106774850B (zh) 2016-11-24 2016-11-24 一种移动终端及其交互控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611060596.XA CN106774850B (zh) 2016-11-24 2016-11-24 一种移动终端及其交互控制方法

Publications (2)

Publication Number Publication Date
CN106774850A true CN106774850A (zh) 2017-05-31
CN106774850B CN106774850B (zh) 2020-06-30

Family

ID=58913212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611060596.XA Active CN106774850B (zh) 2016-11-24 2016-11-24 一种移动终端及其交互控制方法

Country Status (1)

Country Link
CN (1) CN106774850B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107493428A (zh) * 2017-08-09 2017-12-19 广东欧珀移动通信有限公司 拍摄控制方法和装置
CN107506633A (zh) * 2017-07-31 2017-12-22 广东欧珀移动通信有限公司 基于结构光的解锁方法、装置及移动设备
CN107589834A (zh) * 2017-08-09 2018-01-16 广东欧珀移动通信有限公司 终端设备操作方法及装置、终端设备
CN107818585A (zh) * 2017-09-27 2018-03-20 歌尔科技有限公司 用户手指位置信息的确定方法及装置、投影仪、投影系统
WO2019071468A1 (zh) * 2017-10-11 2019-04-18 深圳市柔宇科技有限公司 一种智能终端的信息交互方法及智能终端
WO2019113825A1 (en) * 2017-12-13 2019-06-20 SZ DJI Technology Co., Ltd. Depth information based pose determination for mobile platforms, and associated systems and methods
CN109917922A (zh) * 2019-03-28 2019-06-21 更藏多杰 一种交互方法及可穿戴交互设备
WO2020029917A1 (zh) * 2018-08-06 2020-02-13 北京旷视科技有限公司 图像处理方法、装置和图像处理设备
CN110888536A (zh) * 2019-12-12 2020-03-17 北方工业大学 基于mems激光扫描的手指交互识别系统
CN111988493A (zh) * 2019-05-21 2020-11-24 北京小米移动软件有限公司 交互处理方法、装置、设备及存储介质
WO2021097600A1 (zh) * 2019-11-18 2021-05-27 华为技术有限公司 一种隔空交互方法、装置和设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120032950A1 (en) * 2010-08-03 2012-02-09 Samsung Electronics Co., Ltd. Apparatus and method for synthesizing additional information while rendering object in 3d graphic-based terminal
CN102999152A (zh) * 2011-09-09 2013-03-27 康佳集团股份有限公司 一种手势动作识别方法和系统
WO2014088158A1 (ko) * 2012-12-06 2014-06-12 한국기술교육대학교 산학협력단 모바일 단말기의 터치 입력장치와 그 방법
CN104463146A (zh) * 2014-12-30 2015-03-25 华南师范大学 基于近红外tof相机深度信息的姿势识别方法和装置
CN104866081A (zh) * 2014-02-25 2015-08-26 中兴通讯股份有限公司 一种终端操作方法、装置及终端
CN104978011A (zh) * 2014-04-02 2015-10-14 联想(北京)有限公司 电子设备及其控制方法
CN105528060A (zh) * 2014-09-30 2016-04-27 联想(北京)有限公司 终端设备和控制方法
CN105824173A (zh) * 2015-01-27 2016-08-03 财团法人工业技术研究院 交互式投影仪及其用于确定对象的深度信息的操作方法
CN106055091A (zh) * 2016-05-16 2016-10-26 电子科技大学 一种基于深度信息和校正方式的手部姿态估计方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120032950A1 (en) * 2010-08-03 2012-02-09 Samsung Electronics Co., Ltd. Apparatus and method for synthesizing additional information while rendering object in 3d graphic-based terminal
CN102999152A (zh) * 2011-09-09 2013-03-27 康佳集团股份有限公司 一种手势动作识别方法和系统
WO2014088158A1 (ko) * 2012-12-06 2014-06-12 한국기술교육대학교 산학협력단 모바일 단말기의 터치 입력장치와 그 방법
CN104866081A (zh) * 2014-02-25 2015-08-26 中兴通讯股份有限公司 一种终端操作方法、装置及终端
CN104978011A (zh) * 2014-04-02 2015-10-14 联想(北京)有限公司 电子设备及其控制方法
CN105528060A (zh) * 2014-09-30 2016-04-27 联想(北京)有限公司 终端设备和控制方法
CN104463146A (zh) * 2014-12-30 2015-03-25 华南师范大学 基于近红外tof相机深度信息的姿势识别方法和装置
CN105824173A (zh) * 2015-01-27 2016-08-03 财团法人工业技术研究院 交互式投影仪及其用于确定对象的深度信息的操作方法
CN106055091A (zh) * 2016-05-16 2016-10-26 电子科技大学 一种基于深度信息和校正方式的手部姿态估计方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506633A (zh) * 2017-07-31 2017-12-22 广东欧珀移动通信有限公司 基于结构光的解锁方法、装置及移动设备
CN107589834B (zh) * 2017-08-09 2020-08-07 Oppo广东移动通信有限公司 终端设备操作方法及装置、终端设备
CN107589834A (zh) * 2017-08-09 2018-01-16 广东欧珀移动通信有限公司 终端设备操作方法及装置、终端设备
CN107493428A (zh) * 2017-08-09 2017-12-19 广东欧珀移动通信有限公司 拍摄控制方法和装置
CN107818585B (zh) * 2017-09-27 2020-05-29 歌尔科技有限公司 用户手指位置信息的确定方法及装置、投影仪、投影系统
CN107818585A (zh) * 2017-09-27 2018-03-20 歌尔科技有限公司 用户手指位置信息的确定方法及装置、投影仪、投影系统
WO2019071468A1 (zh) * 2017-10-11 2019-04-18 深圳市柔宇科技有限公司 一种智能终端的信息交互方法及智能终端
WO2019113825A1 (en) * 2017-12-13 2019-06-20 SZ DJI Technology Co., Ltd. Depth information based pose determination for mobile platforms, and associated systems and methods
US11714482B2 (en) 2017-12-13 2023-08-01 SZ DJI Technology Co., Ltd. Depth information based pose determination for mobile platforms, and associated systems and methods
CN111480136A (zh) * 2017-12-13 2020-07-31 深圳市大疆创新科技有限公司 移动平台的基于深度信息的姿势确定以及相关系统和方法
WO2020029917A1 (zh) * 2018-08-06 2020-02-13 北京旷视科技有限公司 图像处理方法、装置和图像处理设备
US11461908B2 (en) 2018-08-06 2022-10-04 Beijing Kuangshi Technology Co., Ltd. Image processing method and apparatus, and image processing device using infrared binocular cameras to obtain three-dimensional data
CN109917922A (zh) * 2019-03-28 2019-06-21 更藏多杰 一种交互方法及可穿戴交互设备
CN111988493A (zh) * 2019-05-21 2020-11-24 北京小米移动软件有限公司 交互处理方法、装置、设备及存储介质
CN111988493B (zh) * 2019-05-21 2021-11-30 北京小米移动软件有限公司 交互处理方法、装置、设备及存储介质
WO2021097600A1 (zh) * 2019-11-18 2021-05-27 华为技术有限公司 一种隔空交互方法、装置和设备
CN110888536B (zh) * 2019-12-12 2023-04-28 北方工业大学 基于mems激光扫描的手指交互识别系统
CN110888536A (zh) * 2019-12-12 2020-03-17 北方工业大学 基于mems激光扫描的手指交互识别系统

Also Published As

Publication number Publication date
CN106774850B (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
CN106774850A (zh) 一种移动终端及其交互控制方法
KR102460737B1 (ko) 공중 필기 인식을 위한 방법, 장치, 기기 및 컴퓨터 판독 가능한 저장 매체
Xu A real-time hand gesture recognition and human-computer interaction system
CN102231093B (zh) 一种屏幕定位控制方法及装置
CN105487673B (zh) 一种人机交互系统、方法及装置
Kılıboz et al. A hand gesture recognition technique for human–computer interaction
US20120327125A1 (en) System and method for close-range movement tracking
JP6571108B2 (ja) モバイル機器用三次元ジェスチャのリアルタイム認識及び追跡システム
CN107578023A (zh) 人机交互手势识别方法、装置及系统
CN114138121B (zh) 用户手势识别方法、装置、系统、存储介质及计算设备
CN103777748A (zh) 一种体感输入方法及装置
US11562489B2 (en) Pixel-wise hand segmentation of multi-modal hand activity video dataset
EP4307096A1 (en) Key function execution method, apparatus and device, and storage medium
KR102431386B1 (ko) 손 제스처 인식에 기초한 인터랙션 홀로그램 디스플레이 방법 및 시스템
Sharma et al. Air-swipe gesture recognition using OpenCV in Android devices
Kumarage et al. Real-time sign language gesture recognition using still-image comparison & motion recognition
CN106569716B (zh) 单手操控方法及操控系统
CN106648423A (zh) 移动终端及其交互控制方法
CN112702517B (zh) 显示控制方法、装置及电子设备
CN109947243A (zh) 基于触摸手检测的智能电子设备手势捕获与识别技术
Dani et al. Mid-air fingertip-based user interaction in mixed reality
CN113282164A (zh) 一种处理方法和装置
Nikhil et al. Finger recognition and gesture based virtual keyboard
Dhamanskar et al. Human computer interaction using hand gestures and voice
Zheng Human gesture recognition in computer vision research

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 518057 Guangdong city of Shenzhen province Nanshan District Hing Road three No. 8 China University of Geosciences research base in building A808

Patentee after: Obi Zhongguang Technology Group Co., Ltd

Address before: 518057 Guangdong city of Shenzhen province Nanshan District Hing Road three No. 8 China University of Geosciences research base in building A808

Patentee before: SHENZHEN ORBBEC Co.,Ltd.

CP01 Change in the name or title of a patent holder