CN107894836A - 基于手势和语音识别的遥感图像处理与展示的人机交互方法 - Google Patents

基于手势和语音识别的遥感图像处理与展示的人机交互方法 Download PDF

Info

Publication number
CN107894836A
CN107894836A CN201711173262.8A CN201711173262A CN107894836A CN 107894836 A CN107894836 A CN 107894836A CN 201711173262 A CN201711173262 A CN 201711173262A CN 107894836 A CN107894836 A CN 107894836A
Authority
CN
China
Prior art keywords
remote sensing
interactive
image processing
user
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711173262.8A
Other languages
English (en)
Other versions
CN107894836B (zh
Inventor
刘扬
郑逢斌
杨舒帆
赵虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University
Original Assignee
Henan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University filed Critical Henan University
Priority to CN201711173262.8A priority Critical patent/CN107894836B/zh
Publication of CN107894836A publication Critical patent/CN107894836A/zh
Application granted granted Critical
Publication of CN107894836B publication Critical patent/CN107894836B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints

Abstract

一种基于手势和语音识别的遥感图像处理与展示的人机交互方法，包括：交互信息获取，用户身份认证，交互信息识别，交互流程生成与处理，以及遥感图像处理与展示。本方法通过Kinect阵列基于深度学习方法获取用户人脸和声纹身份信息，在数字地球上利用手势识别和语音识别构造交互命令，依据遥感知识图谱和交互上下文生成交互流程，并调用遥感图像处理服务进行处理，实现遥感图像处理与展示的智能化人机交互。本发明采用多模态的用户身份信息，可防止其他无关人员的语音和肢体在交互过程的干扰；采用手势和语音智能化交互控制，能有效提升系统交互效率和展示效果，从而有利于遥感图像软件系统的处理与展示的人性化操作。

Description

基于手势和语音识别的遥感图像处理与展示的人机交互方法
技术领域
本发明涉及一种遥感图像处理与展示的人机交互技术，特别是基于语音和手势识别的遥感图像处理与展示的人机交互方法。
背景技术
随着高分辨率对地观测系统的发展，遥感图像处理和展示应用需要日益激增。现有的遥感图像处理和展示方法，一般采用字符命令界面或者图形用户界面，用户通过键盘和鼠标进行操作，不利于用户现场处理过程演示和执行结果可视化展示。
基于深度学习和认知计算在手势识别、语音识别等应用的发展使得人机交互呈现人性化、自然化的趋势。将手势识别和语音识别用于遥感图像处理与展示系统，可在用户进行演讲、演示和实时操控时，获得更为自然的交互体验和理想的展示效果。
发明内容
本发明的目的在于提供一种基于语音和手势识别的遥感图像处理与展示的人机交互方法。它能够克服己有技术的不足，将手势识别和语音识别用于遥感图像处理与展示系统，可在用户进行演讲、演示和实时操控时，获得更为自然的交互体验和理想的展示效果，能有效地解决现有遥感图像处理系统的在展示控制时存在的人机交互问题。
其解决方案是：本发明采用智能用户界面，提供一种基于手势和语音的遥感图像处理与展示的人机交互方法，该方法包括如下步骤：
步骤S1：交互信息获取，通过Kinect阵列获取交互用户的身份和交互的音视频信息；
步骤S2：用户身份认证，根据步骤S1采集的人脸和声纹信息，利用深度学习进行人脸识别和声纹识别，实现交互用户身份的认证识别，并记录下交互用户的身份ID；
步骤S3：交互信息识别，对通过身份认证的用户所发出的语音和手势，利用基于深度学习方法分别进行处理和识别，形成人机交互的命令及参数；
步骤S4：交互流程生成与处理，由遥感知识图谱和交互上下文，将交互命令、交互参数以及由交互选择的数据共同生成图像处理流程的实例，并依据处理流程实施处理。
步骤S5：遥感图像处理与展示，遥感图像处理和展示由若干组件化的相对独立的程序模块共同构成，具体包括用于遥感图像处理的预处理服务模块和后处理服务模块，以及数字地球的遥感图像三维展示服务模块和平面展示服务模块。
所述步骤S1的交互信息获取的方法，由以下步骤实现：
步骤S11：由Kinect阵列的RGB-D摄像头捕获用户的交互视频，并从交互视频提取用户的人脸信息和手势控制交互信息；
步骤S12：由Kinect的麦克风阵列(4Mic)录取用户的交互音频，并从交互音频提取用户的声纹信息和语音交互控制信息；从而获取交互用户的身份信息和交互命令的音视频信息。
所述步骤S2的用户身份认证方法，由以下步骤实现：
步骤S21：利用深度学习提取交互用户的人脸特征，并与用户注册时所采集的人脸身份信息进行比对和认证；
步骤S22：利用深度学习提取交互用户的声纹特征，并与用户注册时所采集的声纹身份信息进行比对和认证；
步骤S23：若人脸认证和声纹认证均成功识别，则通过用户登录，并允许进行下一步操作，并记录下交互用户的身份。
所述步骤S3的交互信息识别方法，由以下步骤实现：
步骤S31利用基于深度学习的声纹识别和语音识别算法，分别从交互音频里提取交互用户的声纹信息和语音命令；
步骤S32利用基于深度学习的人脸识别和手势识别算法，分别从交互视频里提取交互用户的人脸信息和手势命令；
步骤S33如果交互者声纹或人脸属于登录用户的身份，则根据语音识别结果和手势识别结果生成交互命令和命令参数，并允许执行后续的步骤S4处理。
所述步骤S4的交互流程生成与处理方法，由以下步骤实现：
步骤S41根据步骤S3识别出遥感图像处理命令和交互上下文，检索遥感知识图谱，检查执行图像处理命令所需输入参数及数据是否完备；
步骤S42在数字地球上提示用户从遥感图像库中选择待处理遥感数据，处理方法和参数,以及处理后的遥感图像数据描述；
步骤S43待交互信息收集完毕，则根据交互命令和上下文生成相应处理流程描述，构造流程处理任务；同时调用遥感图像处理服务，并对该流程处理任务的状态、执行和等待信息进行控制和管理。
所述步骤S5的遥感图像处理与展示方法，由以下步骤实现：
步骤S51根据步骤S4交互流程描述，选择遥感图像预处理或后处理服务，调用服务方法实现遥感图像处理，并将处理过程和结果实时反馈给流程处理的任务监控；
步骤S52根据步骤S4交互流程描述，在数字地球上展示待处理遥感图像，遥感图像处理中间结果，以及生成最终图像的多分辨率金字塔和分层切片，从而实现遥感图像的智能化处理和可视化展示。
本发明采用上述技术方案，通过Kinect阵列基于深度学习获取用户人脸和声纹身份信息，用人脸、声纹对用户交互身份进行甄别，在数字地球上利用手势识别和语音识别构造交互命令，依据遥感知识图谱和交互上下文生成交互流程，并调用遥感图像处理服务进行处理，实现遥感图像处理与展示的智能化人机交互。采用多模态的用户身份信息，可防止其他未登录人员的语音和肢体信息对交互流程的干扰；采用手势和语音的智能化交互控制，能有效提升系统交互效率和展示效果，从而有利于遥感软件展示系统的人性化操作。
附图说明
图1为基于手势和语音识别的遥感图像处理与展示的人机交互方法流程图。
图2为用户身份认证和交互信息的生成流程图。
图3为遥感图像处理与展示的人机交互处理流程图。
具体实施方式
为了使本发明的目的及优点更加清晰，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面结合附图详细描述本发明的具体实施方式。
如图1所示，本发明涉及的一种基于语音和手势识别的遥感图像处理与展示的人机交互方法，其步骤包括：交互信息获取、用户身份认证、交互信息识别、交互流程生成与处理和遥感图像处理与展示。
图1和图2，提供面向遥感图像处理与展示应用系统的用户身份认证和交互信息的生成流程，包括如下步骤：
步骤S1：交互信息获取，通过Kinect阵列获取交互用户的身份和交互的音视频信息；
上述步骤S1的交互信息获取，由以下步骤实现：
步骤S11：由Kinect阵列的RGB-D摄像头捕获用户的交互视频Uv，并从Uv中检测用户的人脸图像信息Imf和提取交互手势控制图像Ich；
步骤S12：由Kinect的麦克风阵列(4Mic)录取用户的交互音频Ua，并从Ua中检测说话人音频Auv和提取交互语音控制音频Acs。
步骤S2：用户身份认证，根据步骤S1采集的人脸图像Imf和声纹信息Auv，利用深度学习调用人脸识别和声纹识别算法，实现交互用户身份的认证识别，并记录下交互用户的身份ID；
上述步骤S2的用户身份认证，由以下步骤实现：
步骤S21：利用人脸深度神经网络(DNNf)提取从人脸图像Imf中提取交互用户的人脸特征FFf，并与用户注册时所采集的人脸特征FFR进行身份比对，认证出用户人脸身份IDf，即：
步骤S22：利用深度神经网络(DNNv)提取从声纹信息Auv中提取交互用户的声纹特征FSv，并与用户注册时所采集的声纹特征FSR进行身份比对，认证出用户声纹身份IDv，即：
步骤S23：若人脸认证和声纹认证均成功识别，则通过用户登录，允许可进行下一步操作，并记录下交互用户的身份IDr，即：
步骤S3：交互信息识别，对通过身份认证的用户IDr所发出的语音控制音频Acs和手势控制图像Ich，利用基于深度学习方法分别进行处理和识别，形成人机交互的命令ICc及参数Rf；
上述步骤S3所述的交互信息识别，由以下步骤实现：
步骤S31，基于深度学习的声纹识别和语音识别算法，分别从交互音频Ua里提取交互用户的声纹信息IDv和语音命令ICs，即：
其中语音命令ICs主要用于替代鼠标控制，在系统中选择图像处理算法，参数设置，以及按钮执行等功能，系统具体定义如下语音命令：
图像预处理命令：“几何校正”、“辐射校正”、“图像配准”、“图像融合”等；
图像后处理命令：“道路提取”、“油库检测”、“机场检测”、“舰船检测”、“舰船识别”等；
数字地球命令：“ROI标注”、“ROI导航”、“距离测量”、“卫星轨道仿真”、“遥感图像检索”等。
其中所有的命令都对应相应的图像处理和展示服务。
步骤S32，基于深度学习的人脸识别和手势识别算法，分别从交互视频Uv里提取交互用户的人脸信息IDf和手势命令ICh，即：
其中手势命令ICh主要用于在数字地球上从遥感图像库选择待处理数据，具体定义如下手势命令：
数字地球摄像机的位置移动命令描述：右手紧握代表手势的开始，握紧之后移动右手视角随手移动，松开握紧的手表示手势结束；
数字地球摄像机的视角放大命令描述：两手平放并握紧，两手之间的距离变大视角也随之变大，两手松开代表手势结束；
数字地球摄像机的视角缩小命令描述：两手平放并握紧，两手之间的距离缩小视角也随之缩小，两手松开代表手势结束。
步骤S33，如果交互者声纹或人脸属于登录用户的身份IDR，即：
进一步根据语音命令ICs或手势命令ICh、命令参数列表Ref、待处理图像IMrs,生成交互命令ICc，并允许执行步骤S4操作，即：
图1和图3，提供了遥感图像处理与展示的人机交互处理流程，包括如下步骤：
步骤S4：交互流程生成与处理，由交互上下文STC,遥感知识图谱KG和语音命令ICc共同生成图像处理流程的任务描述IPD，并依据流程IPD实施流程处理；
上述步骤S4所述的交互流程生成与处理，由以下步骤实现：
步骤S41，根据步骤S3识别出遥感图像处理命令ICc和描述当前交互命令的上下文STC，检索遥感知识图谱KG=<ICc, ICpre, Refcur>，查询执行图像处理命令ICc所需输入参数列表Refcur及待处理图像IMrs的完备性；
步骤S42，在数字地球上提示用户从遥感图像库中选择待处理图像IMrs，图像处理方法，算法参数列表Refcur，以及处理后的图像数据描述IPrs；
步骤S43，待全部交互信息收集完毕，则根据交互命令ICc和上下文STC生成相应处理流程描述序列IPD=<ICc1, ICc2, …, ICcn>。生成流程处理任务Task，同时调用遥感图像处理服务，并对该流程处理任务的等待、执行等状态进行管理。
步骤S5：遥感图像处理与展示，遥感图像处理和展示由若干组件化的相对独立的程序模块共同构成，具体包括用于遥感图像处理的预处理服务RISp和后处理服务RISa，以及数字地球的遥感图像的三维展示服务IPS3和平面展示服务IPS2；
上述步骤S5所述的遥感图像处理与展示，由以下步骤实现：
步骤S51，根据交互流程描述IPD，选择遥感图像预处理RISp或后处理服务RISa，调用服务方法实现遥感图像处理，并将处理过程和结果实时反馈给流程处理的任务监控Task；
步骤S52，根据交互流程描述IPD，在数字地球上调用三维展示服务IPS3和平面展示服务IPS2，展示待处理遥感图像IMrs，遥感图像处理中间结果，以及生成最终图像的多分辨率金字塔和分层切片，从而实现遥感图像的智能化处理和可视化展示。

Claims (6)

1.一种基于手势和语音识别的遥感图像处理与展示的人机交互方法，其特征在于，包括以下步骤：
步骤S1：交互信息获取，通过Kinect阵列获取交互用户的身份和交互的音视频信息；
步骤S2：用户身份认证，根据步骤S1采集的人脸和声纹信息，利用深度学习进行人脸识别和声纹识别，实现交互用户身份的认证识别，并记录下交互用户的身份ID；
步骤S3：交互信息识别，对通过身份认证的用户所发出的语音和手势，利用基于深度学习方法分别进行处理和识别，形成人机交互的命令及参数；
步骤S4：交互流程生成与处理，由遥感知识图谱和交互上下文，将交互命令、交互参数以及由交互选择的数据共同生成图像处理流程的实例，并依据处理流程实施处理；
步骤S5：遥感图像处理与展示，遥感图像处理和展示由若干组件化的相对独立的程序模块共同构成，具体包括用于遥感图像处理的预处理服务模块和后处理服务模块，以及数字地球的遥感图像三维展示服务模块和平面展示服务模块。
2.根据权利要求1所述的基于手势和语音识别的遥感图像处理与展示的人机交互方法，其特征在于，所述步骤S1的交互信息获取的具体方法，包括以下步骤：
步骤S11：由Kinect阵列的RGB-D摄像头捕获用户的交互视频，并从交互视频提取用户的人脸信息和手势控制交互信息；
步骤S12：由Kinect的麦克风阵列(4Mic)录取用户的交互音频，并从交互音频提取用户的声纹信息和语音交互控制信息。
3.根据权利要求1所述的基于手势识别和语音识别的遥感图像处理与展示的人机交互方法，其特征在于，所述步骤S2的用户身份认证的具体方法，包括以下步骤：
步骤S21：利用深度学习提取交互用户的人脸特征，并与用户注册时所采集的人脸身份信息进行比对和认证；
步骤S22：利用深度学习提取交互用户的声纹特征，并与用户注册时所采集的声纹身份信息进行比对和认证；
步骤S23：若人脸认证和声纹认证均成功识别，则通过用户登录，并允许进行下一步操作，并记录下交互用户的身份。
4.根据权利要求1所述的基于手势和语音识别的遥感图像处理与展示的人机交互方法，其特征在于，所述步骤S3的交互信息识别的具体方法，包括以下步骤：
步骤S31，基于深度学习的声纹识别和语音识别算法，分别从交互音频里提取交互用户的声纹信息和语音命令；
步骤S32，基于深度学习的人脸识别和手势识别算法，分别从交互视频里提取交互用户的人脸信息和手势命令；
步骤S33，如果交互者声纹或人脸属于登录用户的身份，则根据语音识别结果和手势识别结果生成交互命令和命令参数，并允许执行后续的步骤S4处理。
5.根据权利要求1所述的基于手势和语音识别的遥感图像处理与展示的人机交互方法，其特征在于，所述步骤S4的交互流程生成与处理的具体方法，包括以下步骤：
步骤S41，根据步骤S3识别出遥感图像处理命令和交互上下文，检索遥感知识图谱，检查执行图像处理命令所需输入参数及数据是否完备；
步骤S42，在数字地球上提示用户从遥感图像库中选择待处理遥感数据，处理方法和参数,以及处理后的遥感图像数据描述；
步骤S43，待交互信息收集完毕，则根据交互命令和上下文生成相应处理流程描述，构造流程处理任务；同时调用遥感图像处理服务，并对该流程处理任务的状态、执行和等待信息进行控制和管理。
6.根据权利要求1所述的基于手势和语音识别的遥感图像处理与展示的人机交互方法，其特征在于，所述步骤S5的遥感图像处理与展示的具体方法，包括以下步骤：
步骤S51，根据步骤S4交互流程描述，选择遥感图像预处理或后处理服务，调用服务方法实现遥感图像处理，并将处理过程和结果实时反馈给流程处理的任务监控；
步骤S52，根据步骤S4交互流程描述，在数字地球上展示待处理遥感图像，遥感图像处理中间结果，以及生成最终图像的多分辨率金字塔和分层切片，从而实现遥感图像的智能化处理和可视化展示。
CN201711173262.8A 2017-11-22 2017-11-22 基于手势和语音识别的遥感图像处理与展示的人机交互方法 Active CN107894836B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711173262.8A CN107894836B (zh) 2017-11-22 2017-11-22 基于手势和语音识别的遥感图像处理与展示的人机交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711173262.8A CN107894836B (zh) 2017-11-22 2017-11-22 基于手势和语音识别的遥感图像处理与展示的人机交互方法

Publications (2)

Publication Number Publication Date
CN107894836A true CN107894836A (zh) 2018-04-10
CN107894836B CN107894836B (zh) 2020-10-09

Family

ID=61805805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711173262.8A Active CN107894836B (zh) 2017-11-22 2017-11-22 基于手势和语音识别的遥感图像处理与展示的人机交互方法

Country Status (1)

Country Link
CN (1) CN107894836B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664631A (zh) * 2018-05-15 2018-10-16 科影视讯（北京）信息科技有限公司 一种通过音视频数据文件指示调节展示展览的控制方法和装置
CN109658851A (zh) * 2018-12-28 2019-04-19 吉林建筑大学城建学院 一种单片机和计算机远程控制绿色校园智能多媒体宣传栏
CN110287616A (zh) * 2019-06-28 2019-09-27 中国科学院空间应用工程与技术中心 一种沉浸式空间微重力流体遥科学实验平行系统及方法
CN111353034A (zh) * 2020-02-28 2020-06-30 重庆百事得大牛机器人有限公司 基于手势采集的法律事实矫正系统及方法
CN112256134A (zh) * 2020-10-28 2021-01-22 南京瑞巨数码科技有限公司 一种人工智能数字交互展示装置
CN112836193A (zh) * 2021-01-25 2021-05-25 深圳市工勘岩土集团有限公司 遥感自动化处理系统以及遥感自动化处理方法
CN113171472A (zh) * 2020-05-26 2021-07-27 中科王府(北京)科技有限公司 一种消毒机器人
CN114035689A (zh) * 2021-11-26 2022-02-11 朱芳程 一种基于人工智能的可追随飞行人机交互系统和方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1959717A (zh) * 2006-10-09 2007-05-09 北京道达天际软件技术有限公司 订单驱动的海量遥感数据集群化预处理系统及其方法
CN101110079A (zh) * 2007-06-27 2008-01-23 中国科学院遥感应用研究所 一种数字地球原型系统
CN105426723A (zh) * 2015-11-20 2016-03-23 北京得意音通技术有限责任公司 基于声纹识别、人脸识别以及同步活体检测的身份认证方法及系统
CN105847684A (zh) * 2016-03-31 2016-08-10 深圳奥比中光科技有限公司 无人机
US20170285754A1 (en) * 2015-09-28 2017-10-05 Elwha Llc Systems and methods for providing gesture indicative data via a head wearable computing device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1959717A (zh) * 2006-10-09 2007-05-09 北京道达天际软件技术有限公司 订单驱动的海量遥感数据集群化预处理系统及其方法
CN101110079A (zh) * 2007-06-27 2008-01-23 中国科学院遥感应用研究所 一种数字地球原型系统
US20170285754A1 (en) * 2015-09-28 2017-10-05 Elwha Llc Systems and methods for providing gesture indicative data via a head wearable computing device
CN105426723A (zh) * 2015-11-20 2016-03-23 北京得意音通技术有限责任公司 基于声纹识别、人脸识别以及同步活体检测的身份认证方法及系统
CN105847684A (zh) * 2016-03-31 2016-08-10 深圳奥比中光科技有限公司 无人机

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664631A (zh) * 2018-05-15 2018-10-16 科影视讯（北京）信息科技有限公司 一种通过音视频数据文件指示调节展示展览的控制方法和装置
CN109658851A (zh) * 2018-12-28 2019-04-19 吉林建筑大学城建学院 一种单片机和计算机远程控制绿色校园智能多媒体宣传栏
CN110287616A (zh) * 2019-06-28 2019-09-27 中国科学院空间应用工程与技术中心 一种沉浸式空间微重力流体遥科学实验平行系统及方法
CN110287616B (zh) * 2019-06-28 2023-11-17 中国科学院空间应用工程与技术中心 一种沉浸式空间微重力流体遥科学实验平行系统及方法
CN111353034A (zh) * 2020-02-28 2020-06-30 重庆百事得大牛机器人有限公司 基于手势采集的法律事实矫正系统及方法
CN113171472A (zh) * 2020-05-26 2021-07-27 中科王府(北京)科技有限公司 一种消毒机器人
CN112256134A (zh) * 2020-10-28 2021-01-22 南京瑞巨数码科技有限公司 一种人工智能数字交互展示装置
CN112836193A (zh) * 2021-01-25 2021-05-25 深圳市工勘岩土集团有限公司 遥感自动化处理系统以及遥感自动化处理方法
CN114035689A (zh) * 2021-11-26 2022-02-11 朱芳程 一种基于人工智能的可追随飞行人机交互系统和方法

Also Published As

Publication number Publication date
CN107894836B (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN107894836A (zh) 基于手势和语音识别的遥感图像处理与展示的人机交互方法
US11080520B2 (en) Automatic machine recognition of sign language gestures
US20190341058A1 (en) Joint neural network for speaker recognition
KR102230473B1 (ko) 비디오 회의에서의 감정 인식
JP7386545B2 (ja) 画像中の物体を識別するための方法、及び当該方法を実施するためのモバイル装置
Chen et al. A real-time dynamic hand gesture recognition system using kinect sensor
CN113424197A (zh) 机器学习辅助自改进对象识别系统和方法
Zhao et al. An immersive system with multi-modal human-computer interaction
CN105184058B (zh) 一种悄悄话机器人
Geetha et al. A vision based dynamic gesture recognition of indian sign language on kinect based depth images
Alsaadi Study on most popular behavioral biometrics, advantages, disadvantages and recent applications: A review
CN110738161A (zh) 一种基于改进生成式对抗网络的人脸图像矫正方法
CN103140862A (zh) 用户界面系统及其操作方法
CN109447232A (zh) 机器人主动问询方法、装置、电子设备及存储介质
KR20180054407A (ko) 로봇 시스템
CN106926252A (zh) 一种酒店智能机器人服务方法
CN109214346A (zh) 基于层次信息传递的图片人体动作识别方法
Liu et al. Gesture Recognition for UAV-based Rescue Operation based on Deep Learning.
Saitoh et al. SSSD: Speech scene database by smart device for visual speech recognition
US20230251745A1 (en) Systems and methods for providing on-screen virtual keyboards
CN111695010A (zh) 在无需文本标签的情况下学习感官媒介关联的系统和方法
US11216648B2 (en) Method and device for facial image recognition
CN107578015A (zh) 一种基于深度学习的第一印象识别与回馈系统及方法
Reda et al. SVBiComm: Sign-Voice Bidirectional Communication System for Normal,“Deaf/Dumb” and Blind People based on Machine Learning
CN109375766A (zh) 一种基于手势控制的新型学习方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant