CN116560509A - 一种基于视觉核心算法的人机交互系统及方法 - Google Patents
一种基于视觉核心算法的人机交互系统及方法 Download PDFInfo
- Publication number
- CN116560509A CN116560509A CN202310556199.5A CN202310556199A CN116560509A CN 116560509 A CN116560509 A CN 116560509A CN 202310556199 A CN202310556199 A CN 202310556199A CN 116560509 A CN116560509 A CN 116560509A
- Authority
- CN
- China
- Prior art keywords
- gesture
- real
- time
- original
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000000007 visual effect Effects 0.000 title claims abstract description 24
- 238000012790 confirmation Methods 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims description 10
- 230000004048 modification Effects 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于视觉核心算法的人机交互方法及系统，人机交互方法包括：获取手势视频，根据手势视频确定若干原始手势图像；获取数据库内各初始任务信息；获取用户发送的确认信息，根据确认信息，确定原始手势图像关联的至少一初始任务信息；获取实时视频，根据实时视频确认至少一实时手势图像；根据实时手势图像和各原始手势图像，判断各原始手势图像中是否存在和实时手势图像相同的原始手势图像。通过对手势视频的分割、最终和关联各初始任务信息，以使用户可以根据数据库内已经的各种初始任务信息，实现人机的快速交互，降低了用户的使用难度，利于整体的普及。
Description
技术领域
本发明涉及人机交互技术领域，尤其涉及一种基于视觉核心算法的人机交互系统及方法。
背景技术
人机交互系统(Human-computerinteraction，简称HCI)是研究人与计算机之间通过相互理解的交流与通信，在最大程度上为人们完成信息管理、服务和处理等功能，使计算机真正成为人们工作学习的和谐助手的一门技术科学。现有的人机交互系统一般是用户通过输入设备(例如键盘)向人机交互系统输入文字信息，再由人机交互系统识别该文字信息进行反馈，整个交互过程中需要用户熟悉整个人机交互系统的反馈逻辑，用户输入的文字信息人机交互系统可能会无法识别，从而导致人机交互系统无法给出反馈或者无法给出用户需要的反馈，影响用户的正常使用。
发明内容
本发明的主要目的在于提供一种基于视觉核心算法的人机交互系统及方法，旨在解决用户使用人机交互系统困难的问题。
为实现上述目的，本发明提供的一种基于视觉核心算法的人机交互方法，其特征在于，所述人机交互方法包括：
获取手势视频，根据所述手势视频确定若干原始手势图像；
获取数据库内各初始任务信息，并分别向用户显示各所述初始任务信息和各所述原始手势图像；
获取用户发送的确认信息，根据所述确认信息，确定所述原始手势图像关联的至少一所述初始任务信息；
获取实时视频，根据所述实时视频确认至少一所述实时手势图像；
根据所述实时手势图像和各所述原始手势图像，判断各所述原始手势图像中是否存在和所述实时手势图像相同的所述原始手势图像；
当任一所述实时手势图像和所述原始手势图像相同时，根据该所述原始手势图像信息确认关联的所述初始任务信息，并根据所述初始任务信息执行工作任务；
当各所述实时手势图像和所述原始手势图像均不相同时，执行所述获取实时视频，根据所述实时视频确认至少一所述实时手势图像的步骤。
优选的，所述获取用户发送的确认信息，根据所述确认信息，确定所述原始手势图像关联的至少一所述初始任务信息的步骤，还包括：
获取初始身份信息，根据所述初始身份信息、各所述原始手势图像和各所述原始手势图像关联的各所述初始任务信息建立个人信息库；
所述获取实时视频，根据所述实时视频确认至少一所述实时手势图像的步骤，包括：
获取所述实时视频，根据所述实时视频确认所述实时身份信息和至少一所述实时手势图像；
根据所述实时身份信息确认所述个人信息库；
根据所述个人信息库，执行所述根据所述实时手势图像和各所述原始手势图像，判断各所述原始手势图像中是否存在和所述实时手势图像相同的所述原始手势图像的步骤。
优选的，所述根据所述实时身份信息确认所述个人信息库的步骤，还包括：
获取所述个人信息库内各所述初始任务信息的执行次数，根据各所述执行次数对所述初始任务信息进行排序；
根据预设推荐数量和各所述初始任务信息的排序，向用户显示若干所述初始任务信息。
优选的，所述根据所述实时身份信息确认所述个人信息库的步骤，还包括：
分别获取所述个人信息库内各所述初始任务信息的执行时间和当前时间点；
根据所述当前时间和各所述执行时间，判断各所述执行时间中是存在和所述当前时间点存在的所述执行时间；
当任一所述执行时间和所述当前时间相同时，根据所述执行时间确定所述初始任务信息，并向用户显示该所述任务信息；
当各所述执行时间和所述当前时间均不相同时，根据所述个人信息库，执行所述根据所述实时手势图像和各所述原始手势图像，判断各所述原始手势图像中是否存在和所述实时手势图像相同的所述原始手势图像的步骤。
优选的，所述获取手势视频，根据所述手势视频确定若干原始手势图像的步骤，包括：
获取所述手势视频，根据所述手势视频分别确定确认手势图像和若干所述原始手势图像；
所述获取用户发送的确认信息，根据所述确认信息，确定所述原始手势图像关联的至少一所述初始任务信息的步骤，包括：
获取用户发送的确认手势图像，根据所述确认手势图像，确定所述原始手势图像关联的至少一所述初始任务信息。
优选的，所述人机交互方法还包括：
根据预设输入次数，用户输出对应次数的所述确认手势图像，执行结束命令。
优选的，所述人机交互方法还包括：
通过用户获取修改信息，根据所述修改信息确认个人任务信息；
所述获取数据库内各初始任务信息，并分别通过用户显示各所述初始任务信息和各所述原始手势图像的步骤，包括：
获取数据库内各所述初始任务信息，并分别向用户显示各所述初始任务信息、各所述原始手势图像和各所述个人任务信息；
所述获取用户发送的确认手势图像，根据所述确认手势图像，确定所述原始手势图像关联的至少一所述初始任务信息的步骤，包括：
获取用户发送的确认手势图像，根据所述确认手势图像，确定所述原始手势图像关联的至少一所述初始任务信息，或确定所述原始手势图像关联的至少一所述个人任务信息；
所述当任一所述实时手势图像和所述原始手势图像相同时，根据该所述原始手势图像信息确认关联的所述初始任务信息，并根据所述初始任务信息执行工作任务的步骤，包括：
当任一所述实时手势图像和所述原始手势图像相同时，根据该所述原始手势图像信息确认关联的所述初始任务信息或所述个人任务信息，并根据所述初始任务信息或所述个人任务信息执行工作任务。
此外，为实现上述目的，本发明还提供一种基于视觉核心算法的人机交互系统，所述系统应用于上述任一所述的一种基于视觉核心算法的人机交互方法，所述系统包括服务器、处理模块和辅助模块，所述服务器分别信号连接所述处理模块和所述辅助模块：
所述辅助模块用于获取手势视频，根据所述手势视频确定若干原始手势图像；获取数据库内各初始任务信息，并分别向用户显示各所述初始任务信息和各所述原始手势图像；获取实时视频，根据所述实时视频确认至少一所述实时手势图像；
所述服务器用于获取用户发送的确认信息，根据所述确认信息，确定所述原始手势图像关联的至少一所述初始任务信息；
所述处理模块用于根据所述实时手势图像和各所述原始手势图像，判断各所述原始手势图像中是否存在和所述实时手势图像相同的所述原始手势图像；当任一所述实时手势图像和所述原始手势图像相同时，根据该所述原始手势图像信息确认关联的所述初始任务信息，并根据所述初始任务信息执行工作任务；当各所述实时手势图像和所述原始手势图像均不相同时，执行所述获取实时视频，根据所述实时视频确认至少一所述实时手势图像的步骤
通过对手势视频的分割、最终和关联各初始任务信息，以使用户可以根据数据库内已经的各种初始任务信息，实现人机的快速交互，降低了用户的使用难度，利于整体的普及。
附图说明
图1为本发明一种基于视觉核心算法的人机交互方法的流程示意图；
图2为本发明一种基于视觉核心算法的人机交互系统的功能模块示意图。
本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
请参阅图1，为实现上述目的，本发明的第一实施例中提供一种基于视觉核心算法的人机交互方法，人机交互方法包括：
步骤S10，获取手势视频，根据手势视频确定若干原始手势图像；
步骤S20，获取数据库内各初始任务信息，并分别向用户显示各初始任务信息和各原始手势图像；具体的，初始任务信息为数据库自带的操作程序或空白文档或音乐等。
步骤S30，获取用户发送的确认信息，根据确认信息，确定原始手势图像关联的至少一初始任务信息；
步骤S40，获取实时视频，根据实时视频确认至少一实时手势图像；
步骤S50，根据实时手势图像和各原始手势图像，判断各原始手势图像中是否存在和实时手势图像相同的原始手势图像；
步骤S60，当任一实时手势图像和原始手势图像相同时，根据该原始手势图像信息确认关联的初始任务信息，并根据初始任务信息执行工作任务；
步骤S70，当各实时手势图像和原始手势图像均不相同时，执行获取实时视频，根据实时视频确认至少一实时手势图像的步骤。
通过对手势视频的分割、最终和关联各初始任务信息，以使用户可以根据数据库内已经的各种初始任务信息，实现人机的快速交互，降低了用户的使用难度，利于整体的普及。
在本发明提出的一种基于视觉核心算法的人机交互方法的第二实施例中，基于第一实施例，步骤S30，还包括：
步骤S31，获取初始身份信息，根据初始身份信息、各原始手势图像和各原始手势图像关联的各初始任务信息建立个人信息库；
步骤S40，包括：
步骤S41，获取实时视频，根据实时视频确认实时身份信息和至少一实时手势图像；
步骤S42，根据实时身份信息确认个人信息库；
步骤S43，根据个人信息库，执行步骤S50。
根据不同的用户建立对应的个人信息库，方便多用户使用场景(例如家庭智能家居的控制，以及个人日程的定制等)。
在本发明提出的一种基于视觉核心算法的人机交互方法的第三实施例中，基于第二实施例，步骤S42，还包括：
步骤S44，获取个人信息库内各初始任务信息的执行次数，根据各执行次数对初始任务信息进行排序；
步骤S45，根据预设推荐数量和各初始任务信息的排序，向用户显示若干初始任务信息。
根据用户的使用次数向用户推荐多个日常使用的初始任务信息，可以方便用户的快速选择。
具体的，步骤S45，还包括：
步骤S46，判断显示的初始任务信息是否大于一：
步骤S47，若是，根据各初始任务信息显示对应的原始手势图像，以及显示确认手势图像，用户通过使用确认手势图像同时确认当前显示的各初始任务信息；
步骤S48，若否，显示确认手势图像，用户通过确认手势图像时确认当前显示的初始任务信息。
实现对多个任务的快速选择，提高了用户的确认速度。
在本发明提出的一种基于视觉核心算法的人机交互方法的第四实施例中，基于第二实施例，步骤S42，还包括：
步骤S49，分别获取个人信息库内各初始任务信息的执行时间和当前时间点；
步骤S410，根据当前时间和各执行时间，判断各执行时间中是存在和当前时间点存在的执行时间；
步骤S411，当任一执行时间和当前时间相同时，根据执行时间确定初始任务信息，并向用户显示该任务信息；
步骤S412，当各执行时间和当前时间均不相同时，根据个人信息库，执行根据实时手势图像和各原始手势图像，判断各原始手势图像中是否存在和实时手势图像相同的原始手势图像的步骤。
根据执行时间和当前时间点推荐初始任务信息，以使用户可以快速根据日常需求进行快速悬着。
具体的，步骤S410，包括：
步骤S413，根据预设时间段和当前时间确定实时时间区间，例如，预设时间段未1小时，当前时间点未13点，实时时间区间未12点30分至13点30分之间。
步骤S414，根据实时时间区间和各执行时间，判断各执行时间是否位于实时时间区间内；
步骤S411，包括：
若是，根据执行时间确定初始任务信息，并向用户显示该任务信息；
步骤S412，包括：
若否，根据个人信息库，执行根据实时手势图像和各原始手势图像，判断各原始手势图像中是否存在和实时手势图像相同的原始手势图像的步骤。
具体的，步骤S40，包括：
步骤S413，获取实时视频，根据实时视频确认至少一实时手势图像；
步骤S414，根据实时手势图像确定实时背景场景；根据实时背景场景向用户显示任务类别；
步骤S415，向用户获取选择信息，根据选择信息确定任务类别，根据任务类别确认至少一初始任务信息；
步骤S416，根据预设推荐数量和个初始任务信息，确定向用户显示若干初始任务信息，
任务类别包括工作、休闲、娱乐、休息和运动等，各类别均对于若干初始任务信息，根据用户当前位置提供任务类别选择，再根据任务类别提供初始任务信息，可以更好的为用户提供服务。
在本发明提出的一种基于视觉核心算法的人机交互方法的第五实施例中，基于第一实施例至第四实施例中任一，步骤S10，包括：
步骤S11，获取手势视频，根据手势视频分别确定确认手势图像和若干原始手势图像；
步骤S20，包括：
步骤S21，获取用户发送的确认手势图像，根据确认手势图像，确定原始手势图像关联的至少一初始任务信息。
通过添加确认手势，提高整体作业效率。
在本发明提出的一种基于视觉核心算法的人机交互方法的第六实施例中，基于第五实施例，人机交互方法还包括：
步骤S80，根据预设输入次数，用户输出对应次数的确认手势图像，执行结束命令。
通过多次确认手势图像的使用，将整个执行过程结束，完成快速关闭。
在本发明提出的一种基于视觉核心算法的人机交互方法的第七实施例中，基于第六实施例，人机交互方法还包括：
步骤S90，通过用户获取修改信息，根据修改信息确认个人任务信息；
步骤S20，包括：
步骤S22，获取数据库内各初始任务信息，并分别向用户显示各初始任务信息、各原始手势图像和各个人任务信息；
步骤S30，包括：
步骤S32，获取用户发送的确认手势图像，根据确认手势图像，确定原始手势图像关联的至少一初始任务信息，或确定原始手势图像关联的至少一个人任务信息；
步骤S60，包括：
步骤S61，当任一实时手势图像和原始手势图像相同时，根据该原始手势图像信息确认关联的初始任务信息或个人任务信息，并根据初始任务信息或个人任务信息执行工作任务。
用户根据自行需求添加个人任务信息，为用户提供更加智能化的服务，有效的提高了服务质量。
请参阅图2，一种基于视觉核心算法的人机交互系统，系统应用于上述任一的一种基于视觉核心算法的人机交互方法，系统包括服务器、处理模块和辅助模块，服务器分别信号连接处理模块和辅助模块：
辅助模块用于获取手势视频，根据手势视频确定若干原始手势图像；获取数据库内各初始任务信息，并分别向用户显示各初始任务信息和各原始手势图像；获取实时视频，根据实时视频确认至少一实时手势图像；
服务器用于获取用户发送的确认信息，根据确认信息，确定原始手势图像关联的至少一初始任务信息；
处理模块用于根据实时手势图像和各原始手势图像，判断各原始手势图像中是否存在和实时手势图像相同的原始手势图像；当任一实时手势图像和原始手势图像相同时，根据该原始手势图像信息确认关联的初始任务信息，并根据初始任务信息执行工作任务；当各实时手势图像和原始手势图像均不相同时，执行获取实时视频，根据实时视频确认至少一实时手势图像的步骤
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备进入本发明各个实施例所述的方法。
在本说明书的描述中，参考术语“一实施例”、“另一实施例”、“其他实施例”、或“第一实施例～第X实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料、方法步骤或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种基于视觉核心算法的人机交互方法，其特征在于，所述人机交互方法包括：
获取手势视频，根据所述手势视频确定若干原始手势图像；
获取数据库内各初始任务信息，并分别向用户显示各所述初始任务信息和各所述原始手势图像；
获取用户发送的确认信息，根据所述确认信息，确定所述原始手势图像关联的至少一所述初始任务信息；
获取实时视频，根据所述实时视频确认至少一所述实时手势图像；
根据所述实时手势图像和各所述原始手势图像，判断各所述原始手势图像中是否存在和所述实时手势图像相同的所述原始手势图像；
当任一所述实时手势图像和所述原始手势图像相同时，根据所述原始手势图像信息确认关联的所述初始任务信息，并根据所述初始任务信息执行工作任务；
当各所述实时手势图像和所述原始手势图像均不相同时，执行所述获取实时视频，根据所述实时视频确认至少一所述实时手势图像的步骤。
2.根据权利要求1所述的一种基于视觉核心算法的人机交互方法，其特征在于，所述获取用户发送的确认信息，根据所述确认信息，确定所述原始手势图像关联的至少一所述初始任务信息的步骤，包括：
获取初始身份信息，根据所述初始身份信息、各所述原始手势图像和各所述原始手势图像关联的各所述初始任务信息建立个人信息库；
所述获取实时视频，根据所述实时视频确认至少一所述实时手势图像的步骤，包括：
获取所述实时视频，根据所述实时视频确认所述实时身份信息和至少一所述实时手势图像；
根据所述实时身份信息确认所述个人信息库；
根据所述个人信息库，执行所述根据所述实时手势图像和各所述原始手势图像，判断各所述原始手势图像中是否存在和所述实时手势图像相同的所述原始手势图像的步骤。
3.根据权利要求2所述的一种基于视觉核心算法的人机交互方法，其特征在于，所述根据所述实时身份信息确认所述个人信息库的步骤，还包括：
获取所述个人信息库内各所述初始任务信息的执行次数，根据各所述执行次数对所述初始任务信息进行排序；
根据预设推荐数量和各所述初始任务信息的排序，向用户显示若干所述初始任务信息。
4.根据权利要求2所述的一种基于视觉核心算法的人机交互方法，其特征在于，所述根据所述实时身份信息确认所述个人信息库的步骤，还包括：
分别获取所述个人信息库内各所述初始任务信息的执行时间和当前时间点；
根据所述当前时间和各所述执行时间，判断各所述执行时间中是存在和所述当前时间点存在的所述执行时间；
当任一所述执行时间和所述当前时间相同时，根据所述执行时间确定所述初始任务信息，并向用户显示该所述任务信息；
当各所述执行时间和所述当前时间均不相同时，根据所述个人信息库，执行所述根据所述实时手势图像和各所述原始手势图像，判断各所述原始手势图像中是否存在和所述实时手势图像相同的所述原始手势图像的步骤。
5.根据权利要求1-4任一所述的一种基于视觉核心算法的人机交互方法，其特征在于，所述获取手势视频，根据所述手势视频确定若干原始手势图像的步骤，包括：
获取所述手势视频，根据所述手势视频分别确定确认手势图像和若干所述原始手势图像；
所述获取用户发送的确认信息，根据所述确认信息，确定所述原始手势图像关联的至少一所述初始任务信息的步骤，还包括：
获取用户发送的确认手势图像，根据所述确认手势图像，确定所述原始手势图像关联的至少一所述初始任务信息。
6.根据权利要求5所述的一种基于视觉核心算法的人机交互方法，其特征在于，所述人机交互方法还包括：
根据预设输入次数，用户输出对应次数的所述确认手势图像，执行结束命令。
7.根据权利要求5所述的一种基于视觉核心算法的人机交互方法，其特征在于，所述人机交互方法还包括：
通过用户获取修改信息，根据所述修改信息确认个人任务信息；
所述获取数据库内各初始任务信息，并分别通过用户显示各所述初始任务信息和各所述原始手势图像的步骤，包括：
获取数据库内各所述初始任务信息，并分别向用户显示各所述初始任务信息、各所述原始手势图像和各所述个人任务信息；
所述获取用户发送的确认手势图像，根据所述确认手势图像，确定所述原始手势图像关联的至少一所述初始任务信息的步骤，包括：
获取用户发送的确认手势图像，根据所述确认手势图像，确定所述原始手势图像关联的至少一所述初始任务信息，或确定所述原始手势图像关联的至少一所述个人任务信息；
所述当任一所述实时手势图像和所述原始手势图像相同时，根据该所述原始手势图像信息确认关联的所述初始任务信息，并根据所述初始任务信息执行工作任务的步骤，包括：
当任一所述实时手势图像和所述原始手势图像相同时，根据该所述原始手势图像信息确认关联的所述初始任务信息或所述个人任务信息，并根据所述初始任务信息或所述个人任务信息执行工作任务。
8.一种基于视觉核心算法的人机交互系统，其特征在于，所述系统应用上述权利要求1-7任一所述的一种基于视觉核心算法的人机交互方法，所述系统包括服务器、处理模块和辅助模块，所述服务器分别信号连接所述处理模块和所述辅助模块：
所述辅助模块用于获取手势视频，根据所述手势视频确定若干原始手势图像；获取数据库内各初始任务信息，并分别向用户显示各所述初始任务信息和各所述原始手势图像；获取实时视频，根据所述实时视频确认至少一所述实时手势图像；
所述服务器用于获取用户发送的确认信息，根据所述确认信息，确定所述原始手势图像关联的至少一所述初始任务信息；
所述处理模块用于根据所述实时手势图像和各所述原始手势图像，判断各所述原始手势图像中是否存在和所述实时手势图像相同的所述原始手势图像；当任一所述实时手势图像和所述原始手势图像相同时，根据该所述原始手势图像信息确认关联的所述初始任务信息，并根据所述初始任务信息执行工作任务；当各所述实时手势图像和所述原始手势图像均不相同时，执行所述获取实时视频，根据所述实时视频确认至少一所述实时手势图像的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310556199.5A CN116560509A (zh) | 2023-05-17 | 2023-05-17 | 一种基于视觉核心算法的人机交互系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310556199.5A CN116560509A (zh) | 2023-05-17 | 2023-05-17 | 一种基于视觉核心算法的人机交互系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116560509A true CN116560509A (zh) | 2023-08-08 |
Family
ID=87485808
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310556199.5A Pending CN116560509A (zh) | 2023-05-17 | 2023-05-17 | 一种基于视觉核心算法的人机交互系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116560509A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102981742A (zh) * | 2012-11-28 | 2013-03-20 | 无锡市爱福瑞科技发展有限公司 | 基于计算机视觉的手势交互系统 |
| WO2016107231A1 (zh) * | 2014-12-30 | 2016-07-07 | 青岛歌尔声学科技有限公司 | 一种3d场景中输入手势的系统和方法 |
| CN109101290A (zh) * | 2018-06-28 | 2018-12-28 | 努比亚技术有限公司 | 一种快捷控制设置方法、终端及计算机可读存储介质 |
| CN109857314A (zh) * | 2018-12-29 | 2019-06-07 | 百度在线网络技术（北京）有限公司 | 有屏设备的手势控制方法和装置 |
| CN111427454A (zh) * | 2020-04-09 | 2020-07-17 | 上海汽车集团股份有限公司 | 一种手势控制系统及方法 |
| WO2022116282A1 (zh) * | 2020-12-04 | 2022-06-09 | 郑州中业科技股份有限公司 | 基于动态手势识别的人机交互方法及系统 |
| CN115904204A (zh) * | 2022-10-28 | 2023-04-04 | 重庆长安新能源汽车科技有限公司 | 新能源汽车可编程手势的控制方法、存储介质和汽车 |
-
2023
- 2023-05-17 CN CN202310556199.5A patent/CN116560509A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102981742A (zh) * | 2012-11-28 | 2013-03-20 | 无锡市爱福瑞科技发展有限公司 | 基于计算机视觉的手势交互系统 |
| WO2016107231A1 (zh) * | 2014-12-30 | 2016-07-07 | 青岛歌尔声学科技有限公司 | 一种3d场景中输入手势的系统和方法 |
| CN109101290A (zh) * | 2018-06-28 | 2018-12-28 | 努比亚技术有限公司 | 一种快捷控制设置方法、终端及计算机可读存储介质 |
| CN109857314A (zh) * | 2018-12-29 | 2019-06-07 | 百度在线网络技术（北京）有限公司 | 有屏设备的手势控制方法和装置 |
| CN111427454A (zh) * | 2020-04-09 | 2020-07-17 | 上海汽车集团股份有限公司 | 一种手势控制系统及方法 |
| WO2022116282A1 (zh) * | 2020-12-04 | 2022-06-09 | 郑州中业科技股份有限公司 | 基于动态手势识别的人机交互方法及系统 |
| CN115904204A (zh) * | 2022-10-28 | 2023-04-04 | 重庆长安新能源汽车科技有限公司 | 新能源汽车可编程手势的控制方法、存储介质和汽车 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106502638B (zh) | 用于提供视听反馈的设备、方法和图形用户界面 | |
| KR102222421B1 (ko) | 캡처된 이미지들과 관련된 메타 데이터 저장 | |
| US7548859B2 (en) | Method and system for assisting users in interacting with multi-modal dialog systems | |
| CN106663127A (zh) | 一种虚拟机器人的交互方法、系统及机器人 | |
| KR102002974B1 (ko) | 인공지능 기반의 자동 로고생성 시스템 및 이를 이용한 로고생성 서비스 방법 | |
| CN109343706B (zh) | 一种交互系统及其实现方法 | |
| US20080104512A1 (en) | Method and apparatus for providing realtime feedback in a voice dialog system | |
| CN113703585A (zh) | 交互方法、装置、电子设备及存储介质 | |
| CN116560509A (zh) | 一种基于视觉核心算法的人机交互系统及方法 | |
| CN112286422B (zh) | 一种信息显示方法及装置 | |
| CN111488147A (zh) | 一种智能布局方法及装置 | |
| CN110109730A (zh) | 用于提供视听反馈的设备、方法和图形用户界面 | |
| US20180067475A1 (en) | Natural language user interface for computer-aided design systems | |
| WO2007017796A2 (en) | Method for introducing interaction pattern and application functionalities | |
| CN117520490A (zh) | 一种人机对话方法、系统以及相关装置 | |
| JP4515892B2 (ja) | 連携制御装置、連携制御方法およびサービス連携システム | |
| CN104166459A (zh) | 用于管理语音系统的对话的方法和系统 | |
| JP2003030392A (ja) | アクション管理支援システム | |
| CN100462919C (zh) | 用于提供听觉用户接口的系统和方法 | |
| JP7193595B2 (ja) | 情報共有支援装置、情報共有支援方法、およびプログラム | |
| CN110262867A (zh) | 一种基于车载系统的远程控制方法和装置 | |
| EP0448496B1 (en) | Dynamic selective correlation of graphic entities | |
| CN110822646A (zh) | 空调器的控制方法、空调器及存储介质 | |
| CN112115157A (zh) | 响应装置、响应方法及存储介质 | |
| CN114816625B (zh) | 一种自动交互系统界面设计方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |