CN112034981A - 显示终端控制方法、显示终端及计算机可读存储介质 - Google Patents

显示终端控制方法、显示终端及计算机可读存储介质 Download PDF

Info

Publication number
CN112034981A
CN112034981A CN202010848357.0A CN202010848357A CN112034981A CN 112034981 A CN112034981 A CN 112034981A CN 202010848357 A CN202010848357 A CN 202010848357A CN 112034981 A CN112034981 A CN 112034981A
Authority
CN
China
Prior art keywords
gesture
gesture recognition
display terminal
preset
executed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010848357.0A
Other languages
English (en)
Inventor
冯鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Skyworth RGB Electronics Co Ltd
Original Assignee
Shenzhen Skyworth RGB Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Skyworth RGB Electronics Co Ltd filed Critical Shenzhen Skyworth RGB Electronics Co Ltd
Priority to CN202010848357.0A priority Critical patent/CN112034981A/zh
Publication of CN112034981A publication Critical patent/CN112034981A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提出的一种显示终端控制方法、显示终端及计算机可读存储介质，所述方法包括：获取用户图像信息，并对所述用户图像信息进行手势识别，以获取待执行手势；在预设手势特征库中匹配与所述待执行手势对应的预设手势，并获取与所述预设手势对应的预设指令；执行与所述预设指令对应的操作。通过识别用户的手势来执行对应的操作，使得能够在不借助外部设备的情况下控制显示终端，方便用户的使用。

Description

显示终端控制方法、显示终端及计算机可读存储介质
技术领域
本发明涉及显示终端控制领域，尤其涉及一种显示终端控制方法、显示终端及计算机可读存储介质。
背景技术
现有的显示终端多采用遥控器等的方式进行控制，这用户在控制显示终端时过于依赖遥控器，当出现遥控器丢失或故障的情况，则难以进行显示终端的控制，使得用户使用显示终端的操作过于复杂。
发明内容
本发明的主要目的在于提出一种显示终端控制方法、显示终端及计算机可读存储介质，旨在解决现有技术中对于显示终端的控制过于复杂的问题。
为实现上述目的，本发明提供一种显示终端控制方法，所述方法包括：
获取用户图像信息，并对所述用户图像信息进行手势识别，以获取待执行手势；
在预设手势特征库中匹配与所述待执行手势对应的预设手势，并获取与所述预设手势对应的预设指令；
执行与所述预设指令对应的操作。
可选地，所述对所述用户图像信息进行手势识别，以获取待执行手势的步骤包括：
对所述用户图像信息进行肤色检测，以获得基于用户肤色的二值化图像；
根据所述二值化图像对所述用户图像进行手势识别；
根据手势识别结果生成待执行手势。
可选地，所述根据所述二值化图像对所述用户图像进行手势识别的步骤包括：
对所述二值化图像进行形态学处理；
将进行形态学处理后的二值化图像进行轮廓提取，以获得手势轮廓图像；
根据所述手势轮廓图像对所述用户图像进行手势识别。
可选地，所述根据所述手势轮廓图像对所述用户图像进行手势识别的步骤包括：
对所述手势轮廓图像进行特征提取，以获得手势轮廓图像对应的傅里叶描述子；
将所述手势轮廓图像对应的傅里叶描述子输入至训练完成的手势识别模型，并运行所述训练完成的手势识别模块；
所述将手势识别结果作为待执行手势的步骤包括：
将所述手势识别模型输出的预测手势作为待执行手势。
可选地，所述获取用户图像信息，并对所述用户图像信息进行手势识别的步骤之前包括：
采集不同预设手势对应的傅里叶描述子作为样本库；
根据样本库对待训练的手势识别模型进行训练，直至训练完成获得训练完成的手势识别模型。
可选地，所述根据样本库对待训练的手势识别模型进行训练，直至训练完成获得训练完成的手势识别模型的步骤包括：
将样本库中的傅里叶描述子输入待训练的手势识别模型，运行所述手势识别模型后输出预测手势；
根据输出的预测手势和输入的傅里叶描述子对应的预设手势对待训练的手势识别模型的参数进行修改；
执行：将样本库中的傅里叶描述子输入待训练的手势识别模型，运行所述手势识别模型后输出预测手势的步骤，直至手势识别模型符合预设条件，将手势识别模型设置为训练完成的手势识别模型。
可选地，所述根据手势识别结果生成待执行手势的步骤包括：
获取第一预设时间内的手势识别结果，并判断所述第一预设时间内的手势识别结果是否均一致；
若是，则根据手势识别结果生成待执行手势。
可选地，所述根据手势识别结果生成待执行手势的步骤包括：
根据第二预设时间内获取到的多个手势识别结果得到在第二预设时间内的手势轨迹；
将所述手势轨迹作为待执行手势。
为实现上述目的，本发明还提供一种显示终端，所述显示终端包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的显示终端控制方法的步骤。
为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的显示终端控制方法的步骤。
本发明提出的一种显示终端控制方法、显示终端及计算机可读存储介质，所述方法包括：获取用户图像信息，并对所述用户图像信息进行手势识别，以获取待执行手势；在预设手势特征库中匹配与所述待执行手势对应的预设手势，并获取与所述预设手势对应的预设指令；执行与所述预设指令对应的操作。通过识别用户的手势来执行对应的操作，使得能够在不借助外部设备的情况下控制显示终端，方便用户的使用。
附图说明
图1为本发明显示终端控制方法第一实施例的流程示意图；
图2为本发明显示终端控制方法第二实施例步骤S10的细化流程图；
图3为本发明显示终端控制方法第三实施例步骤S21的细化流程图；
图4为本发明显示终端控制方法第五实施例预设手势示意图；
图5为本发明显示终端的模块结构示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供一种显示终端控制方法，参照图1，图1为本发明显示终端控制方法第一实施例的流程示意图，所述方法包括步骤：
步骤S10，获取用户图像信息，并对所述用户图像信息进行手势识别，以获取待执行手势；
可以通过显示终端的摄像头来获取用户图像信息，在对所述用户图像信息进行手势识别之前，可以先对所述用户图像信息进行预处理，以提高手势识别的准确率。
步骤S20，在预设手势特征库中匹配与所述待执行手势对应的预设手势，并获取与所述预设手势对应的预设指令；
所述预设手势特征库中包含多个预设手势，所述预设手势为显示终端出厂时即设置完成的，每个预设手势均对应一个预设指令，所述预设指令在出厂时进行设置，用户可以根据自己的需要更改设置预设手势对应的预设指令。进一步的，用户可以根据自己需要增加预设手势，并为其分配对应的预设指令。
步骤S30，执行与所述预设指令对应的操作。
在获取到与所述预设手势对应的预设指令之后，执行与所述预设指令对应的操作，所述预设指令可以包括打开或关闭对应的应用的指令，常用的应用包括Netflix、youtube以及prime video等，还可以包括对显示终端的基本操作，如关机、音量调节以及换台等，本实施例的预设指令可以被设置为显示终端能够进行的任何操作，对于具体的预设指令设置，本申请不做限制。
本实施例通过识别用户的手势来执行对应的操作，使得能够在不借助外部设备的情况下控制显示终端，方便用户的使用。
进一步地，参见图2，在基于本发明的第一实施例所提出的本发明显示终端控制方法第二实施例中，所述步骤S10包括步骤：
步骤S11，对所述用户图像信息进行肤色检测，以获得基于用户肤色的二值化图像；
步骤S12，根据所述二值化图像对所述用户图像进行手势识别；
步骤S13，根据手势识别结果生成待执行手势。
肤色是人体表面最直观的特征之一，通过对肤色进行检测能够很好地将人体与周遭环境进行区分，本实施例中采用椭圆肤色检测模型，即将所述用户图像信息中的每个像素点映射至YCrCb空间，其中Y表示明亮度，即灰阶值；Cr表示色度，Cb表示饱和度，然后依次判断每个像素点是否处于YCrCb空间中的肤色区域，若像素点处于YCrCb空间中的肤色区域，则将该像素点标记为肤色像素点，并将该像素点设置为白色，若像素点不处于YCrCb空间中的肤色区域则将该像素点标记为环境像素点，并将该像素点设置为黑色，在对用户图像的所有像素点进行判断之后，即可得出基于用户肤色的黑白图像，即二值化图像，白色区域为肤色区域，黑色区域为环境区域。在获取到基于用户肤色的二值化图像之后，再基于所述二值化图像进行手势识别，以得到手势识别结果，并将所述手势识别结果作为待执行手势。
本实施例通过获取基于用户肤色的二值化图像，并基于所述二值化图像对所述用户图像进行手势识别，使得能够提高手势识别的准确率。
进一步地，参见图3，在基于本发明的第二实施例所提出的本发明显示终端控制方法第三实施例中，所述步骤S21包括步骤：
步骤S211，对所述二值化图像进行形态学处理，并对处理后的二值化图像进行形态学处理；
步骤S212，将进行形态学处理后的二值化图像进行轮廓提取，以获得手势轮廓图像；
步骤S213，根据所述手势轮廓图像对所述用户图像进行手势识别。
形态学处理用于从图像中提取对表达和描绘区域形状有意义的图像分量，使后续的识别工作能够抓住目标对象最为本质的形状特征。所述形态学处理的步骤主要为腐蚀和膨胀，膨胀或者腐蚀操作就是将图像与核进行卷积。核多数情况下，核是一个小的中间带有参考点和实心正方形或者圆盘，膨胀是求局部最大值的操作，使图像中的高亮区域，即二值化图像中的肤色区域，逐渐增长，腐蚀是求局部最小值的操作，使图像中的高亮区域逐渐减小。通过先膨胀后腐蚀的闭运算可以消除二值化图像中的噪点，通过先腐蚀后膨胀的开运算可以消除二值化图像中肤色区域内部的孔洞。
在获取到进行形态学处理后的二值化图像之后，对二值化图像进行边缘检测和分割以对二值化图像进行轮廓提取。轮廓提取的步骤还可以是将形态学处理中的膨胀图像减去腐蚀图像来获得手势轮廓。本实施例对于具体的轮廓提取方法不做限定。
本实施例通过对二值化图像进行形态学处理以及轮廓提取获得手势轮廓图像，再根据手势轮廓图像对所述用户图像进行手势识别，使得能够提高手势识别的准确率。
进一步地，在基于本发明的第三实施例所提出的本发明显示终端控制方法第四实施例中，所述步骤S213包括步骤：
步骤S2131，对所述手势轮廓图像进行特征提取，以获得手势轮廓图像对应的傅里叶描述子；
步骤S2132，将所述手势轮廓图像对应的傅里叶描述子输入至训练完成的手势识别模型，并运行所述训练完成的手势识别模块；
所述步骤S13的步骤包括：
步骤S131，将所述手势识别模型输出的预测手势作为待执行手势。
傅里叶描述子是一种图像特征，具体来说，是一个用来描述轮廓的特征参数。其基本思想是用物体边界信息的傅里叶变换作为形状特征，将轮廓特征从空间域变换到频域内，提取频域信息作为图像的特征向量。即用一个向量代表一个轮廓，将轮廓数字化，从而能更好地区分不同的轮廓，进而达到识别物体的目的。
本实施例通过对手势轮廓图像进行特征提取获得对应的傅里叶描述子，并根据傅里叶描述子进行手势识别，使得能够提高手势识别的准确率。
进一步地，在基于本发明的第四实施例所提出的本发明显示终端控制方法第五实施例中，在所述步骤S10之前包括步骤：
步骤S40，采集不同预设手势对应的傅里叶描述子作为样本库；
步骤S50，根据样本库对待训练的手势识别模型进行训练，直至训练完成获得训练完成的手势识别模型。
参见图4，图4中包括预设手势1～10对应的手势图像。需要说明的是，图四中列出的预设手势仅用于本发明，并不用于限定本发明，可以根据实际使用需求设置不同数量或形状的预设手势。
采集手势图像保存至手势图像库，可以将手势图像进行旋转或平移等操作来扩充手势图像库，对整个手势图像库中的每张照片中的手势轮廓线计算傅里叶描述子并保存，得到了已有的样本库。
进一步地，所述步骤S50包括步骤：
步骤S51，将样本库中的傅里叶描述子输入待训练的手势识别模型，运行所述手势识别模型后输出预测手势；
步骤S52，根据输出的预测手势和输入的傅里叶描述子对应的预设手势对待训练的手势识别模型的参数进行修改；
执行步骤S51，直至手势识别模型符合预设条件，将手势识别模型设置为训练完成的手势识别模型。
本实施例中，所述手势识别模型采用SVM(Support Vector Machine，支持向量机)模型。其中，模型训练的过程可以包括：将傅里叶描述子输入至手势识别模型，以使所述手势识别模型输出预测手势，并使累计训练次数自加1；比较所述傅里叶描述子对应的预设手势与所述预测手势，以获取损失函数；根据所述损失函数对手势识别模型的参数进行调整，以更新所述手势识别模型；判断所述累计训练次数是否达到预设训练阈值；其中，当所述累计训练次数达到预设训练阈值时，停止训练，将达到预设训练阈值时的手势识别模型作为训练完成的手势识别模型；当所述累计训练次数未达到预设训练阈值时，获取新的傅里叶描述子并执行将傅里叶描述子输入至手势识别模型的步骤。在其他实施例中，模型训练还可以通过判断损失函数是否符合预设要求，以确定是否训练完成。所述损失函数是用来估量模型的预测值与真实值的不一致程度的，即本实施例中预测手势与所述傅里叶描述子对应的预设手势的不一致程度，它是一个非负实值函数。
本实施例给出了手势识别训练的完整过程，使得训练完成的手势识别模型符合实际使用需要。
进一步地，在基于本发明的第二实施例所提出的本发明显示终端控制方法第七实施例中，所述步骤S13包括步骤：
步骤S131，获取第一预设时间内的手势识别结果，并判断所述第一预设时间内的手势识别结果是否均一致；
步骤S132，若是，则根据手势识别结果生成待执行手势。
在实际使用过程中，由于需要持续获取用户图像信息并对其进行识别，因此，在用户未主观做出控制手势时，可能存在误将用户手部动作识别为预设手势，并执行对应的预设指令的操作，影响用户的正常使用。为了解决这一问题，设置第一预设时间，只有当用户手部姿势被识别为预设手势且保持该预设手势第一预设时间不变，才执行预设手势对应的预设操作。
本实施例通过在第一预设时间内用户均保持一预设手势时才执行该预设手势对应的预设指令，避免误识别影响用户使用。
进一步地，在基于本发明的第二实施例所提出的本发明显示终端控制方法第八实施例中，所述步骤S13包括步骤：
步骤S131，根据第二预设时间内获取到的多个手势识别结果得到在第二预设时间内的手势轨迹；
步骤S132，将所述手势轨迹作为待执行手势。
当识别到一个预设手势时，开始计时，在第二预设时间内，每识别一次预设手势即记录一次手势位置，在第二预设时间结束时，将记录的手势位置按照记录时间依次连接，以得到手势轨迹，在根据手势轨迹在预设手势特征库中匹配对应的预设指令。
本实施例通过获取第二预设时间内的手势轨迹并根据收拾轨迹执行对应的预设指令，拓宽的预设手势容量，使得用户能够使用更多的手势进行快捷操作。
参照图5，在硬件结构上所述显示终端可以包括通信模块10、存储器20以及处理器30等部件。在所述显示终端中，所述处理器30分别与所述存储器20以及所述通信模块10连接，所述存储器20上存储有计算机程序，所述计算机程序同时被处理器30执行，所述计算机程序执行时实现上述方法实施例的步骤。
通信模块10，可通过网络与外部通讯设备连接。通信模块10可以接收外部通讯设备发出的请求，还可以发送请求、指令及信息至所述外部通讯设备，所述外部通讯设备可以是其它显示终端、服务器或者物联网设备，例如电视等等。
存储器20，可用于存储软件程序以及各种数据。存储器20可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如获取用户图像信息，并对所述用户图像信息进行手势识别，以获取待执行手势)等；存储数据区可包括数据库，存储数据区可存储根据系统的使用所创建的数据或信息等。此外，存储器20可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器30，是显示终端的控制中心，利用各种接口和线路连接整个显示终端的各个部分，通过运行或执行存储在存储器20内的软件程序和/或模块，以及调用存储在存储器20内的数据，执行显示终端的各种功能和处理数据，从而对显示终端进行整体监控。处理器30可包括一个或多个处理单元；可选地，处理器30可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器30中。
尽管图5未示出，但上述显示终端还可以包括电路控制模块，所述电路控制模块用于与电源连接，保证其他部件的正常工作。本领域技术人员可以理解，图5中示出的显示终端结构并不构成对显示终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提出一种计算机可读存储介质，其上存储有计算机程序。所述计算机可读存储介质可以是图5的显示终端中的存储器20，也可以是如ROM(Read-Only Memory，只读存储器)/RAM(Random Access Memory，随机存取存储器)、磁碟、光盘中的至少一种，所述计算机可读存储介质包括若干指令用以使得一台具有处理器的终端设备(可以是电视，汽车，手机，计算机，服务器，终端，或者网络设备等)执行本发明各个实施例所述的方法。
在本发明中，术语“第一”“第二”“第三”“第四”“第五”仅用于描述的目的，而不能理解为指示或暗示相对重要性，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，本发明保护的范围并不局限于此，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改和替换，这些变化、修改和替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种显示终端控制方法，其特征在于，所述方法包括：
获取用户图像信息，并对所述用户图像信息进行手势识别，以获取待执行手势；
在预设手势特征库中匹配与所述待执行手势对应的预设手势，并获取与所述预设手势对应的预设指令；
执行与所述预设指令对应的操作。
2.如权利要求1所述的显示终端控制方法，其特征在于，所述对所述用户图像信息进行手势识别，以获取待执行手势的步骤包括：
对所述用户图像信息进行肤色检测，以获得基于用户肤色的二值化图像；
根据所述二值化图像对所述用户图像进行手势识别；
根据手势识别结果生成待执行手势。
3.如权利要求2所述的显示终端控制方法，其特征在于，所述根据所述二值化图像对所述用户图像进行手势识别的步骤包括：
对所述二值化图像进行形态学处理；
将进行形态学处理后的二值化图像进行轮廓提取，以获得手势轮廓图像；
根据所述手势轮廓图像对所述用户图像进行手势识别。
4.如权利要求3所述的显示终端控制方法，其特征在于，所述根据所述手势轮廓图像对所述用户图像进行手势识别的步骤包括：
对所述手势轮廓图像进行特征提取，以获得手势轮廓图像对应的傅里叶描述子；
将所述手势轮廓图像对应的傅里叶描述子输入至训练完成的手势识别模型，并运行所述训练完成的手势识别模块；
所述将手势识别结果作为待执行手势的步骤包括：
将所述手势识别模型输出的预测手势作为待执行手势。
5.如权利要求4所述的显示终端控制方法，其特征在于，所述获取用户图像信息，并对所述用户图像信息进行手势识别的步骤之前包括：
采集不同预设手势对应的傅里叶描述子作为样本库；
根据样本库对待训练的手势识别模型进行训练，直至训练完成获得训练完成的手势识别模型。
6.如权利要求5所述的显示终端控制方法，其特征在于，所述根据样本库对待训练的手势识别模型进行训练，直至训练完成获得训练完成的手势识别模型的步骤包括：
将样本库中的傅里叶描述子输入待训练的手势识别模型，运行所述手势识别模型后输出预测手势；
根据输出的预测手势和输入的傅里叶描述子对应的预设手势对待训练的手势识别模型的参数进行修改；
执行：将样本库中的傅里叶描述子输入待训练的手势识别模型，运行所述手势识别模型后输出预测手势的步骤，直至手势识别模型符合预设条件，将手势识别模型设置为训练完成的手势识别模型。
7.如权利要求2所述的显示终端控制方法，其特征在于，所述根据手势识别结果生成待执行手势的步骤包括：
获取第一预设时间内的手势识别结果，并判断所述第一预设时间内的手势识别结果是否均一致；
若是，则根据手势识别结果生成待执行手势。
8.如权利要求2所述的显示终端控制方法，其特征在于，所述根据手势识别结果生成待执行手势的步骤包括：
根据第二预设时间内获取到的多个手势识别结果得到在第二预设时间内的手势轨迹；
将所述手势轨迹作为待执行手势。
9.一种显示终端，其特征在于，所述显示终端包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的显示终端控制方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的显示终端控制方法的步骤。
CN202010848357.0A 2020-08-20 2020-08-20 显示终端控制方法、显示终端及计算机可读存储介质 Pending CN112034981A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010848357.0A CN112034981A (zh) 2020-08-20 2020-08-20 显示终端控制方法、显示终端及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010848357.0A CN112034981A (zh) 2020-08-20 2020-08-20 显示终端控制方法、显示终端及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN112034981A true CN112034981A (zh) 2020-12-04

Family

ID=73581733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010848357.0A Pending CN112034981A (zh) 2020-08-20 2020-08-20 显示终端控制方法、显示终端及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112034981A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113468986A (zh) * 2021-06-16 2021-10-01 武汉理工大学 一种基于手势识别的空调控制方法及系统
CN116758462A (zh) * 2023-08-22 2023-09-15 江西师范大学 一种情感极性分析方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103869974A (zh) * 2012-12-18 2014-06-18 现代自动车株式会社 用于手势有效部分检测的系统和方法
CN107357517A (zh) * 2017-07-17 2017-11-17 梧州井儿铺贸易有限公司 一种基于手势识别的解锁装置
CN109165555A (zh) * 2018-07-24 2019-01-08 广东数相智能科技有限公司 基于图像识别的人机猜拳方法、装置与存储介质
CN109190496A (zh) * 2018-08-09 2019-01-11 华南理工大学 一种基于多特征融合的单目静态手势识别方法
CN109214297A (zh) * 2018-08-09 2019-01-15 华南理工大学 一种结合深度信息与肤色信息的静态手势识别方法
CN109359538A (zh) * 2018-09-14 2019-02-19 广州杰赛科技股份有限公司 卷积神经网络的训练方法、手势识别方法、装置及设备
CN109710066A (zh) * 2018-12-19 2019-05-03 平安普惠企业管理有限公司 基于手势识别的交互方法、装置、存储介质和电子设备
CN111027395A (zh) * 2019-11-13 2020-04-17 珠海亿智电子科技有限公司 手势识别方法、装置、终端设备及计算机可读存储介质
CN111158491A (zh) * 2019-12-31 2020-05-15 苏州莱孚斯特电子科技有限公司 一种应用于车载hud的手势识别人机交互方法
CN111552368A (zh) * 2019-05-16 2020-08-18 毛文涛 一种车载人机交互方法及车载设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103869974A (zh) * 2012-12-18 2014-06-18 现代自动车株式会社 用于手势有效部分检测的系统和方法
CN107357517A (zh) * 2017-07-17 2017-11-17 梧州井儿铺贸易有限公司 一种基于手势识别的解锁装置
CN109165555A (zh) * 2018-07-24 2019-01-08 广东数相智能科技有限公司 基于图像识别的人机猜拳方法、装置与存储介质
CN109190496A (zh) * 2018-08-09 2019-01-11 华南理工大学 一种基于多特征融合的单目静态手势识别方法
CN109214297A (zh) * 2018-08-09 2019-01-15 华南理工大学 一种结合深度信息与肤色信息的静态手势识别方法
CN109359538A (zh) * 2018-09-14 2019-02-19 广州杰赛科技股份有限公司 卷积神经网络的训练方法、手势识别方法、装置及设备
CN109710066A (zh) * 2018-12-19 2019-05-03 平安普惠企业管理有限公司 基于手势识别的交互方法、装置、存储介质和电子设备
CN111552368A (zh) * 2019-05-16 2020-08-18 毛文涛 一种车载人机交互方法及车载设备
CN111027395A (zh) * 2019-11-13 2020-04-17 珠海亿智电子科技有限公司 手势识别方法、装置、终端设备及计算机可读存储介质
CN111158491A (zh) * 2019-12-31 2020-05-15 苏州莱孚斯特电子科技有限公司 一种应用于车载hud的手势识别人机交互方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113468986A (zh) * 2021-06-16 2021-10-01 武汉理工大学 一种基于手势识别的空调控制方法及系统
CN116758462A (zh) * 2023-08-22 2023-09-15 江西师范大学 一种情感极性分析方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US10445562B2 (en) AU feature recognition method and device, and storage medium
CN107358241B (zh) 图像处理方法、装置、存储介质及电子设备
CN108108739B (zh) 图像目标区域的检测方法、装置、x射线系统及存储介质
CN108154086B (zh) 一种图像提取方法、装置及电子设备
CN111814810A (zh) 图像识别方法、装置、电子设备及存储介质
CN107633237B (zh) 图像背景分割方法、装置、设备及介质
WO2019033569A1 (zh) 眼球动作分析方法、装置及存储介质
CN106875408B (zh) 用于截图的方法、装置及终端设备
US11402918B2 (en) Method for controlling terminal apparatus, apparatus for controlling terminal apparatus, and computer-program product
CN112034981A (zh) 显示终端控制方法、显示终端及计算机可读存储介质
CN107944381B (zh) 人脸跟踪方法、装置、终端及存储介质
WO2019033568A1 (zh) 嘴唇动作捕捉方法、装置及存储介质
EP3091507A1 (en) Object recognition apparatus and control method therefor
CN111080665B (zh) 图像边框识别方法、装置、设备和计算机存储介质
CN111126147B (zh) 图像处理方法、装置和电子系统
CN110599514B (zh) 图像分割的方法、装置、电子设备及存储介质
CN110163151B (zh) 人脸模型的训练方法、装置、计算机设备和存储介质
CN116188379A (zh) 边缘缺陷检测方法、装置、电子设备及存储介质
CN109711287B (zh) 人脸采集方法及相关产品
CN114998369A (zh) 图像处理方法、装置、存储介质及电子设备
CN113221601A (zh) 字符识别方法、装置及计算机可读存储介质
CN113158773B (zh) 一种活体检测模型的训练方法及训练装置
CN111160173B (zh) 一种基于机器人的手势识别方法及机器人
CN111310703B (zh) 基于卷积神经网络的身份识别方法、装置、设备及介质
CN108805883B (zh) 一种图像分割方法、图像分割装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201204

RJ01 Rejection of invention patent application after publication