CN118011893A - 一种基于人工智能的人机交互系统 - Google Patents
一种基于人工智能的人机交互系统 Download PDFInfo
- Publication number
- CN118011893A CN118011893A CN202410029707.9A CN202410029707A CN118011893A CN 118011893 A CN118011893 A CN 118011893A CN 202410029707 A CN202410029707 A CN 202410029707A CN 118011893 A CN118011893 A CN 118011893A
- Authority
- CN
- China
- Prior art keywords
- user
- module
- equipment
- data
- human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 44
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 18
- 230000009471 action Effects 0.000 claims abstract description 77
- 230000000007 visual effect Effects 0.000 claims abstract description 53
- 230000006399 behavior Effects 0.000 claims abstract description 33
- 238000013480 data collection Methods 0.000 claims abstract description 13
- 238000004891 communication Methods 0.000 claims abstract description 4
- 210000003128 head Anatomy 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 21
- 210000005252 bulbus oculi Anatomy 0.000 claims description 18
- 230000000875 corresponding effect Effects 0.000 claims description 18
- 230000007613 environmental effect Effects 0.000 claims description 18
- 238000005286 illumination Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 230000001678 irradiating effect Effects 0.000 claims description 6
- 230000001276 controlling effect Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000004873 anchoring Methods 0.000 claims description 3
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims 1
- 238000012795 verification Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Collating Specific Patterns (AREA)
Abstract
本发明公开了一种基于人工智能的人机交互系统，包括数据采集模块、人机交互模块和设备控制模块，其特征在于：所述数据收集模块用于收集用户虹膜的反射红外线数据、拍摄房间内的视觉图像和收集房间内的环境数据，所述人机交互模块用于分析并选择用户想要调整的智能家居、分析用户的动作指令意图，所述设备控制模块用于分析用户所处的场景和环境并根据用户的行为调整智能家居，所述数据采集模块、人机交互模块和设备控制模块相互通信连接，所述数据采集模块包括红外装置模块、视觉模块和传感器模块，所述红外装置模块用于向用户眼球照射红外线采集用户的虹膜特征，本发明，具有提高判断准确性和用户体验的特点。
Description
技术领域
本发明涉及人机交互技术领域，具体为一种基于人工智能的人机交互系统。
背景技术
随着互联网技术的快速发展，人们家中的家居电器逐渐趋于智能化，智能家居是通过物联网技术将家中的各种电器连接在一起，并通过智能联网控制，目前，大多数智能家居是通过语音控制，但在家人在休息时，语音控制会影响到家人休息，因此又出现了视觉指令控制，然而，由于人们的肢体行为具有非常强的随机性，用户可能会在不经意间做出指令动作，现有技术无法准确分析用户的意图，容易出现误判或无响应的情况，可能会出现用户的意图和做的动作指令不符，影响用户体验，而且，由于用户使用设备的随机性强，现有技术无法根据用户的使用习惯调整设备，使用户拥有更好的使用体验，因此，设计提高判断准确性和用户体验的一种基于人工智能的人机交互系统是很有必要的。
发明内容
本发明的目的在于提供一种基于人工智能的人机交互系统，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种基于人工智能的人机交互系统，包括数据采集模块、人机交互模块和设备控制模块，其特征在于：所述数据收集模块用于收集用户虹膜的反射红外线数据、拍摄房间内的视觉图像和收集房间内的环境数据，所述人机交互模块用于分析并选择用户想要调整的智能家居、分析用户的动作指令意图，所述设备控制模块用于分析用户所处的场景和环境并根据用户的行为调整智能家居，所述数据采集模块、人机交互模块和设备控制模块相互通信连接；
所述设备选择模块包括设备分析子模块、虹膜识别子模块和动作数别模块，所述设备分析子模块用于分析设备的位置，所述虹膜识别子模块用于识别用户眼球虹膜的特征数据，所述动作识别子模块用于进一步判断用户是否存在调整设备的意图；
所述指令分析模块包括特征抽取子模块、指令判断子模块和场景选择子模块，所述特征抽取子模块用于对视频进行抽帧并提取每一帧图像中的用户行为特征，所述指令判断子模块用于对比判断提取的用户行为特征是否符合动作指令，所述场景选择模块用于分析周围环境和用户的行为特征，根据分析结果选择对应的场景。
根据上述技术方案，所述数据采集模块包括红外装置模块、视觉模块和传感器模块，所述红外装置模块用于向用户眼球照射红外线采集用户的虹膜特征，所述视觉模块用于采集用户在房间内的行为动作视觉图像，所述传感器模块用于采集房间内的环境数据。
根据上述技术方案，所述人机交互模块包括设备选择模块和指令分析模块，所述设备选择模块用于识别用户的设备调整指令，并分析用户的虹膜数据选择相应的设备，所述指令分析模块用于分析用户做出的行为动作并判断用户是否存在调整设备的意图。
根据上述技术方案，所述设备控制模块包括环境模块、行为分析模块，所述环境分析模块用于检测周围的环境，所述行为分析模块用于分析当前场景下用户的动作指令进行分析。
根据上述技术方案，所述设备控制模块还包括设备调整模块，所述设备调整模块用于根据用户的动作指令对设备的运行状态进行调整。
根据上述技术方案，所述人机交互系统的运行方法主要包括以下步骤：
步骤S1：通过视觉模块，将房间内的用户和智能家居进行锚定，实时拍摄房间内的视觉图像，通过红外装置模块，利用红外线对用户眼球进行照射，收集用户虹膜数据，通过传感器模块，将房间内的环境数据录入系统；
步骤S2：在判断用户想要调整的设备时，系统发出电信号触发设备选择模块启动，开始分析用户面朝设备的角度以及眼球虹膜数据，并根据分析结果确定用户想要调整的设备；
步骤S3：在确定用户想要调整的设备后，系统启动指令分析模块，开始分析用户所处场景，并在当前场景中判断用户做的动作指令是否符合信号触发标准，调整设备；
步骤S4：在用户使用系统的过程中，系统收集用户的使用习惯，启动习惯分析模块，开始分析用户的使用习惯，根据用户的使用习惯多设备进行调整。
根据上述技术方案，所述步骤S2进一步包括以下步骤：
步骤S21：调取摄像模块拍摄的房间内视觉图像，扫描并识别图像中的设备轮廓特征节点和人体头部特征节点，根据设备轮廓特征节点和人体头部特征节点分别构建设备轮廓模型和人体头部模型，在房间模型中建立三维坐标系并测量设备的坐标和人体头部模型的坐标，测量人体头部面朝方向与设备所在竖直平面的夹角及人体头部面朝方向与水平面的夹角，通过公式计算人体头部模型与设备所在平面的交点坐标为：
Z3＝Z2
式中，(X3，Y3，Z3)表示交点的坐标，(X1，Y1，Z1)表示人体头部模型的坐标，Z2表示设备所在竖直平面的竖轴坐标，θ1表示人体面向向量与设备所在竖直平面的夹角，θ2表示人体面向向量与水平面的夹角；
步骤S22：通过两点间距离公式计算当前交点与到设备之间的距离L，若距离L大于系统设定阈值，则将与该距离对应的设备标记为非选择状态，反之则将设备标记为备选状态，调取备选状态的的所有设备，将距离L进行升序排序，将距离最小的设备标记为用户预选设备，调取用户的虹膜数据和动作数据，判断用户的虹膜特征和动作特征是否符合条件，根据判断结果对设备进行控制。
根据上述技术方案，所述步骤S22进一步包括以下步骤：
步骤S221：调取红外线扫描数据，根据红外线扫描数据构建用户的眼球虹膜模型，在用户眼球虹膜模型中根据设备的所在坐标构建红外线照射点，利用红外线照射测量虹膜与红外线之间的夹角，若虹膜与红外线之间的夹角大于第一阈值且小于第二阈值，则将当前设备标记为用户选择设备，反之则将当前设备标记为非选择设备，调取所有的的用户选择设备，识别设备中是否有用户预选标签，若当前设备中存在用户预选标签，则调动当前设备为待机状态，反之则系统无响应；
步骤S222：调取用户动作的视觉图像，扫描并识别用户的人体轮廓特征，节点，根据用户轮廓特征节点构建人体轮廓模型，将人体轮廓模型与系统中的触发模型进行重合对比，若人体轮廓模型与系统中的触发模型相似度大于阈值，系统触发当前设备启动，反之则系统继续进行验证。
根据上述技术方案，所述步骤S3进一步包括以下步骤：
步骤S31：调取当前视觉图像，识别视觉图像中的位置标签，读取位置标签中的场景设定，根据场景设定调取设备对应的调整动作指令，扫描并识别当前视觉图像中用户的轮廓特征节点，当视觉图像中检测到轮廓节点数小于阈值时，调取红外热感图像，扫描并识别人体轮廓节点，若检测不到人体轮廓节点，则标记当前场景没有用户，系统不做调整，反之则标记当前场景内有用户，系统打开灯光利用视觉模块拍摄视觉图像；
步骤S32：识别视觉图像中的每一帧图像，根据系统设定的第一频率将视觉图像进行裁剪，扫描裁剪后的图像，识别图像中的动作指令特征，将识别的动作指令特征与系统设定的动作指令特征进行对比，当相似度小于系统设定最小阈值时，系统不做响应，当相似度大于系统设定最大阈值时，根据系统设定的第二频率对视觉图像进行裁剪，扫描并识别图像中的动作指令特征，将收集的全部动作指令特征分别与系统数据库中对应的动作指令特征进行对比，通过公式计算当前动作指令特征的平均相似度式中，i＝1,2,3......n，/>表示当前动作指令特征的平均相似率，Si表示每个动作指令特征的相似度，β表示对动作指令特征平均值的误差系数，若当前动作指令特征的平均值大于系统设定阈值，则调取设备执行当前动作指令，反之则系统不做响应。
根据上述技术方案，所述步骤S4中调取系统数据库中的设备历史使用记录和使用时的环境数据及视觉图像数据，抽取用户的设备使用习惯特征、使用时的环境特征和使用时的用户行为习惯特征，将上述数据作为样本训练用户习惯模型，调取传感器模块收集的房间内的环境数据，识别当前房间内的温度、湿度和光照数据，将房间内的光照、湿度、温度数据导入用户习惯模型，对比用户的习惯光照、温度、湿度数据，若不相符，则调整相应设备进行调节，反之则不做调整，当用户处于睡眠状态下清醒时，调取视觉图像，识别视觉图像中的用户行为特征，对比系统抽取的用户习惯行为特征，若相似度大于阈值，则根据用户的使用习惯控制设备的开启。
与现有技术相比，本发明所达到的有益效果是：本发明，通过将图像转化为房间模型，能够精准测量出设备和人体头部的坐标，进而进准计算出用户目光聚集点的坐标，通过计算交点与设备之间的距离，判断交点与设备之间的距离是否满足条件，能够将影响系统判断的因素剔除，进而能够更加准确的判断用户所选择的设备，极大地提高了系统的准确性，通过利用虹膜识别对设备进行二次验证，系统选择双验证通过的设备做为选择设备，能够保障系统在选择设备时出现误判，导致响应错误影响用户的体验，进而提高系统的准确性和用户体验感，通过检测视觉模块中的轮廓节点数是否满足系统设定的数量，能够避免因光线原因导致视觉模块拍摄的视觉图像不完整，导致无法识别完整的动作指令，能够避免抽取的动作指令特征或出现误差，导致系统判断出现错误，极大地提高了系统的准确性，通过对动作指令也正进行初步判断，在进一步进行判断，能够使对动作指令的判断更加准确，避免出现误判、错判现象，进一步提高了系统的准确性，通过分析用户的使用习惯训练用户习惯模型，能够使系统根据用户的使用习惯对房间内的智能家居进行调节，为用户提供更加舒适的服务，极大地提高了用户的使用体验。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明的系统模块组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供技术方案：一种基于人工智能的人机交互系统，包括数据采集模块、人机交互模块和设备控制模块，其特征在于：数据收集模块用于收集用户虹膜的反射红外线数据、拍摄房间内的视觉图像和收集房间内的环境数据，人机交互模块用于分析并选择用户想要调整的智能家居、分析用户的动作指令意图，设备控制模块用于分析用户所处的场景和环境并根据用户的行为调整智能家居，数据采集模块、人机交互模块和设备控制模块相互通信连接；
设备选择模块包括设备分析子模块、虹膜识别子模块和动作数别模块，设备分析子模块用于分析设备的位置，虹膜识别子模块用于识别用户眼球虹膜的特征数据，动作识别子模块用于进一步判断用户是否存在调整设备的意图；
指令分析模块包括特征抽取子模块、指令判断子模块和场景选择子模块，特征抽取子模块用于对视频进行抽帧并提取每一帧图像中的用户行为特征，指令判断子模块用于对比判断提取的用户行为特征是否符合动作指令，场景选择模块用于分析周围环境和用户的行为特征，根据分析结果选择对应的场景。
数据采集模块包括红外装置模块、视觉模块和传感器模块，红外装置模块用于向用户眼球照射红外线采集用户的虹膜特征，视觉模块用于采集用户在房间内的行为动作视觉图像，传感器模块用于采集房间内的环境数据。
人机交互模块包括设备选择模块和指令分析模块，设备选择模块用于识别用户的设备调整指令，并分析用户的虹膜数据选择相应的设备，指令分析模块用于分析用户做出的行为动作并判断用户是否存在调整设备的意图。
设备控制模块包括环境模块、行为分析模块，环境分析模块用于检测周围的环境，行为分析模块用于分析当前场景下用户的动作指令进行分析。
设备控制模块还包括设备调整模块，设备调整模块用于根据用户的动作指令对设备的运行状态进行调整。
人机交互系统的运行方法主要包括以下步骤：
步骤S1：通过视觉模块，将房间内的用户和智能家居进行锚定，实时拍摄房间内的视觉图像，通过红外装置模块，利用红外线对用户眼球进行照射，收集用户虹膜数据，通过传感器模块，将房间内的环境数据录入系统；
步骤S2：在判断用户想要调整的设备时，系统发出电信号触发设备选择模块启动，开始分析用户面朝设备的角度以及眼球虹膜数据，并根据分析结果确定用户想要调整的设备；
步骤S3：在确定用户想要调整的设备后，系统启动指令分析模块，开始分析用户所处场景，并在当前场景中判断用户做的动作指令是否符合信号触发标准，调整设备；
步骤S4：在用户使用系统的过程中，系统收集用户的使用习惯，启动习惯分析模块，开始分析用户的使用习惯，根据用户的使用习惯多设备进行调整。
步骤S2进一步包括以下步骤：
步骤S21：调取摄像模块拍摄的房间内视觉图像，扫描并识别图像中的设备轮廓特征节点和人体头部特征节点，根据设备轮廓特征节点和人体头部特征节点分别构建设备轮廓模型和人体头部模型，在房间模型中建立三维坐标系并测量设备的坐标和人体头部模型的坐标，测量人体头部面朝方向与设备所在竖直平面的夹角及人体头部面朝方向与水平面的夹角，通过公式计算人体头部模型与设备所在平面的交点坐标为：
Z3＝Z2，
式中，(X3，Y3，Z3)表示交点的坐标，(X1，Y1，Z1)表示人体头部模型的坐标，Z2表示设备所在竖直平面的竖轴坐标，θ1表示人体面向向量与设备所在竖直平面的夹角，θ2表示人体面向向量与水平面的夹角，通过将图像转化为房间模型，能够精准测量出设备和人体头部的坐标，进而进准计算出用户目光聚集点的坐标；
步骤S22：通过两点间距离公式计算当前交点与到设备之间的距离L，若距离L大于系统设定阈值，则将与该距离对应的设备标记为非选择状态，反之则将设备标记为备选状态，调取备选状态的的所有设备，将距离L进行升序排序，将距离最小的设备标记为用户预选设备，调取用户的虹膜数据和动作数据，判断用户的虹膜特征和动作特征是否符合条件，根据判断结果对设备进行控制，通过计算交点与设备之间的距离，判断交点与设备之间的距离是否满足条件，能够将影响系统判断的因素剔除，进而能够更加准确的判断用户所选择的设备，极大地提高了系统的准确性。
步骤S22进一步包括以下步骤：
步骤S221：调取红外线扫描数据，根据红外线扫描数据构建用户的眼球虹膜模型，在用户眼球虹膜模型中根据设备的所在坐标构建红外线照射点，利用红外线照射测量虹膜与红外线之间的夹角，若虹膜与红外线之间的夹角大于第一阈值且小于第二阈值，则将当前设备标记为用户选择设备，反之则将当前设备标记为非选择设备，调取所有的的用户选择设备，识别设备中是否有用户预选标签，若当前设备中存在用户预选标签，则调动当前设备为待机状态，反之则系统无响应，通过利用虹膜识别对设备进行二次验证，系统选择双验证通过的设备做为选择设备，能够保障系统在选择设备时出现误判，导致响应错误影响用户的体验，进而提高系统的准确性和用户体验感；
步骤S222：调取用户动作的视觉图像，扫描并识别用户的人体轮廓特征，节点，根据用户轮廓特征节点构建人体轮廓模型，将人体轮廓模型与系统中的触发模型进行重合对比，若人体轮廓模型与系统中的触发模型相似度大于阈值，系统触发当前设备启动，反之则系统继续进行验证。
步骤S3进一步包括以下步骤：
步骤S31：调取当前视觉图像，识别视觉图像中的位置标签，读取位置标签中的场景设定，根据场景设定调取设备对应的调整动作指令，扫描并识别当前视觉图像中用户的轮廓特征节点，当视觉图像中检测到轮廓节点数小于阈值时，调取红外热感图像，扫描并识别人体轮廓节点，若检测不到人体轮廓节点，则标记当前场景没有用户，系统不做调整，反之则标记当前场景内有用户，系统打开灯光利用视觉模块拍摄视觉图像，通过检测视觉模块中的轮廓节点数是否满足系统设定的数量，能够避免因光线原因导致视觉模块拍摄的视觉图像不完整，导致无法识别完整的动作指令，能够避免抽取的动作指令特征或出现误差，导致系统判断出现错误，极大地提高了系统的准确性；
步骤S32：识别视觉图像中的每一帧图像，根据系统设定的第一频率将视觉图像进行裁剪，扫描裁剪后的图像，识别图像中的动作指令特征，将识别的动作指令特征与系统设定的动作指令特征进行对比，当相似度小于系统设定最小阈值时，系统不做响应，当相似度大于系统设定最大阈值时，根据系统设定的第二频率对视觉图像进行裁剪，扫描并识别图像中的动作指令特征，将收集的全部动作指令特征分别与系统数据库中对应的动作指令特征进行对比，通过公式计算当前动作指令特征的平均相似度式中，i＝1,2,3......n，/>表示当前动作指令特征的平均相似率，Si表示每个动作指令特征的相似度，β表示对动作指令特征平均值的误差系数，若当前动作指令特征的平均值大于系统设定阈值，则调取设备执行当前动作指令，反之则系统不做响应，通过对动作指令也正进行初步判断，在进一步进行判断，能够使对动作指令的判断更加准确，避免出现误判、错判现象，进一步提高了系统的准确性。
步骤S4中调取系统数据库中的设备历史使用记录和使用时的环境数据及视觉图像数据，抽取用户的设备使用习惯特征、使用时的环境特征和使用时的用户行为习惯特征，将上述数据作为样本训练用户习惯模型，调取传感器模块收集的房间内的环境数据，识别当前房间内的温度、湿度和光照数据，将房间内的光照、湿度、温度数据导入用户习惯模型，对比用户的习惯光照、温度、湿度数据，若不相符，则调整相应设备进行调节，反之则不做调整，当用户处于睡眠状态下清醒时，调取视觉图像，识别视觉图像中的用户行为特征，对比系统抽取的用户习惯行为特征，若相似度大于阈值，则根据用户的使用习惯控制设备的开启，通过分析用户的使用习惯训练用户习惯模型，能够使系统根据用户的使用习惯对房间内的智能家居进行调节，为用户提供更加舒适的服务，极大地提高了用户的使用体验。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于人工智能的人机交互系统，包括数据采集模块、人机交互模块和设备控制模块，其特征在于：所述数据收集模块用于收集用户虹膜的反射红外线数据、拍摄房间内的视觉图像和收集房间内的环境数据，所述人机交互模块用于分析并选择用户想要调整的智能家居、分析用户的动作指令意图，所述设备控制模块用于分析用户所处的场景和环境并根据用户的行为调整智能家居，所述数据采集模块、人机交互模块和设备控制模块相互通信连接；
所述设备选择模块包括设备分析子模块、虹膜识别子模块和动作数别模块，所述设备分析子模块用于分析设备的位置，所述虹膜识别子模块用于识别用户眼球虹膜的特征数据，所述动作识别子模块用于进一步判断用户是否存在调整设备的意图；
所述指令分析模块包括特征抽取子模块、指令判断子模块和场景选择子模块，所述特征抽取子模块用于对视频进行抽帧并提取每一帧图像中的用户行为特征，所述指令判断子模块用于对比判断提取的用户行为特征是否符合动作指令，所述场景选择模块用于分析周围环境和用户的行为特征，根据分析结果选择对应的场景。
2.根据权利要求1所述的一种基于人工智能的人机交互系统，其特征在于：所述数据采集模块包括红外装置模块、视觉模块和传感器模块，所述红外装置模块用于向用户眼球照射红外线采集用户的虹膜特征，所述视觉模块用于采集用户在房间内的行为动作视觉图像，所述传感器模块用于采集房间内的环境数据。
3.根据权利要求2所述的一种基于人工智能的人机交互系统，其特征在于：所述人机交互模块包括设备选择模块和指令分析模块，所述设备选择模块用于识别用户的设备调整指令，并分析用户的虹膜数据选择相应的设备，所述指令分析模块用于分析用户做出的行为动作并判断用户是否存在调整设备的意图。
4.根据权利要求3所述的一种基于人工智能的人机交互系统，其特征在于：所述设备控制模块包括环境模块、行为分析模块，所述环境分析模块用于检测周围的环境，所述行为分析模块用于分析当前场景下用户的动作指令进行分析。
5.根据权利要求4所述的一种基于人工智能的人机交互系统，其特征在于：所述设备控制模块还包括设备调整模块，所述设备调整模块用于根据用户的动作指令对设备的运行状态进行调整。
6.根据权利要求5所述的一种基于人工智能的人机交互系统，其特征在于：所述人机交互系统的运行方法主要包括以下步骤：
步骤S1：通过视觉模块，将房间内的用户和智能家居进行锚定，实时拍摄房间内的视觉图像，通过红外装置模块，利用红外线对用户眼球进行照射，收集用户虹膜数据，通过传感器模块，将房间内的环境数据录入系统；
步骤S2：在判断用户想要调整的设备时，系统发出电信号触发设备选择模块启动，开始分析用户面朝设备的角度以及眼球虹膜数据，并根据分析结果确定用户想要调整的设备；
步骤S3：在确定用户想要调整的设备后，系统启动指令分析模块，开始分析用户所处场景，并在当前场景中判断用户做的动作指令是否符合信号触发标准，调整设备；
步骤S4：在用户使用系统的过程中，系统收集用户的使用习惯，启动习惯分析模块，开始分析用户的使用习惯，根据用户的使用习惯多设备进行调整。
7.根据权利要求6所述的一种基于人工智能的人机交互系统，其特征在于：所述步骤S2进一步包括以下步骤：
步骤S21：调取摄像模块拍摄的房间内视觉图像，扫描并识别图像中的设备轮廓特征节点和人体头部特征节点，根据设备轮廓特征节点和人体头部特征节点分别构建设备轮廓模型和人体头部模型，在房间模型中建立三维坐标系并测量设备的坐标和人体头部模型的坐标，测量人体头部面朝方向与设备所在竖直平面的夹角及人体头部面朝方向与水平面的夹角，通过公式计算人体头部模型与设备所在平面的交点坐标为：
式中，(X3，Y3，Z3)表示交点的坐标，(X1，Y1，Z1)表示人体头部模型的坐标，Z2表示设备所在竖直平面的竖轴坐标，θ1表示人体面向向量与设备所在竖直平面的夹角，θ2表示人体面向向量与水平面的夹角；
步骤S22：通过两点间距离公式计算当前交点与到设备之间的距离L，若距离L大于系统设定阈值，则将与该距离对应的设备标记为非选择状态，反之则将设备标记为备选状态，调取备选状态的的所有设备，将距离L进行升序排序，将距离最小的设备标记为用户预选设备，调取用户的虹膜数据和动作数据，判断用户的虹膜特征和动作特征是否符合条件，根据判断结果对设备进行控制。
8.根据权利要求7所述的一种基于人工智能的人机交互系统，其特征在于：所述步骤S22进一步包括以下步骤：
步骤S221：调取红外线扫描数据，根据红外线扫描数据构建用户的眼球虹膜模型，在用户眼球虹膜模型中根据设备的所在坐标构建红外线照射点，利用红外线照射测量虹膜与红外线之间的夹角，若虹膜与红外线之间的夹角大于第一阈值且小于第二阈值，则将当前设备标记为用户选择设备，反之则将当前设备标记为非选择设备，调取所有的的用户选择设备，识别设备中是否有用户预选标签，若当前设备中存在用户预选标签，则调动当前设备为待机状态，反之则系统无响应；
步骤S222：调取用户动作的视觉图像，扫描并识别用户的人体轮廓特征，节点，根据用户轮廓特征节点构建人体轮廓模型，将人体轮廓模型与系统中的触发模型进行重合对比，若人体轮廓模型与系统中的触发模型相似度大于阈值，系统触发当前设备启动，反之则系统继续进行验证。
9.根据权利要求8所述的一种基于人工智能的人机交互系统，其特征在于：所述步骤S3进一步包括以下步骤：
步骤S31：调取当前视觉图像，识别视觉图像中的位置标签，读取位置标签中的场景设定，根据场景设定调取设备对应的调整动作指令，扫描并识别当前视觉图像中用户的轮廓特征节点，当视觉图像中检测到轮廓节点数小于阈值时，调取红外热感图像，扫描并识别人体轮廓节点，若检测不到人体轮廓节点，则标记当前场景没有用户，系统不做调整，反之则标记当前场景内有用户，系统打开灯光利用视觉模块拍摄视觉图像；
步骤S32：识别视觉图像中的每一帧图像，根据系统设定的第一频率将视觉图像进行裁剪，扫描裁剪后的图像，识别图像中的动作指令特征，将识别的动作指令特征与系统设定的动作指令特征进行对比，当相似度小于系统设定最小阈值时，系统不做响应，当相似度大于系统设定最大阈值时，根据系统设定的第二频率对视觉图像进行裁剪，扫描并识别图像中的动作指令特征，将收集的全部动作指令特征分别与系统数据库中对应的动作指令特征进行对比，通过公式计算当前动作指令特征的平均相似度式中，i＝1,2,3......n，S表示当前动作指令特征的平均相似率，Si表示每个动作指令特征的相似度，β表示对动作指令特征平均值的误差系数，若当前动作指令特征的平均值大于系统设定阈值，则调取设备执行当前动作指令，反之则系统不做响应。
10.根据权利要求9所述的一种基于人工智能的人机交互系统，其特征在于：所述步骤S4中调取系统数据库中的设备历史使用记录和使用时的环境数据及视觉图像数据，抽取用户的设备使用习惯特征、使用时的环境特征和使用时的用户行为习惯特征，将上述数据作为样本训练用户习惯模型，调取传感器模块收集的房间内的环境数据，识别当前房间内的温度、湿度和光照数据，将房间内的光照、湿度、温度数据导入用户习惯模型，对比用户的习惯光照、温度、湿度数据，若不相符，则调整相应设备进行调节，反之则不做调整，当用户处于睡眠状态下清醒时，调取视觉图像，识别视觉图像中的用户行为特征，对比系统抽取的用户习惯行为特征，若相似度大于阈值，则根据用户的使用习惯控制设备的开启。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410029707.9A CN118011893A (zh) | 2024-01-09 | 2024-01-09 | 一种基于人工智能的人机交互系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410029707.9A CN118011893A (zh) | 2024-01-09 | 2024-01-09 | 一种基于人工智能的人机交互系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118011893A true CN118011893A (zh) | 2024-05-10 |
Family
ID=90947121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410029707.9A Pending CN118011893A (zh) | 2024-01-09 | 2024-01-09 | 一种基于人工智能的人机交互系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118011893A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160139664A1 (en) * | 2014-11-14 | 2016-05-19 | Boe Technology Group Co., Ltd. | Line-of-sight processing method, line-of-sight processing system and wearable device |
| CN107239139A (zh) * | 2017-05-18 | 2017-10-10 | 刘国华 | 基于正视的人机交互方法与系统 |
| US20170293354A1 (en) * | 2016-04-09 | 2017-10-12 | Beihang University | Calculation method of line-of-sight direction based on analysis and match of iris contour in human eye image |
| JP2018149234A (ja) * | 2017-03-15 | 2018-09-27 | 公立大学法人広島市立大学 | 注視点推定システム、注視点推定方法及び注視点推定プログラム |
| WO2023000808A1 (zh) * | 2021-07-21 | 2023-01-26 | 青岛海尔空调器有限总公司 | 用于控制智能家电的方法及装置、智能眼镜 |
| CN116013289A (zh) * | 2022-12-09 | 2023-04-25 | 上海思寒环保科技有限公司 | 基于人工智能的声控管理系统 |
| CN116866103A (zh) * | 2023-07-28 | 2023-10-10 | 高辰宇 | 一种基于nerf的室内家电交互智能判断方法 |
| CN117355013A (zh) * | 2023-10-07 | 2024-01-05 | 深圳高力特通用电气有限公司 | 一种基于视觉感知的led智能照明控制系统 |
-
2024
- 2024-01-09 CN CN202410029707.9A patent/CN118011893A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160139664A1 (en) * | 2014-11-14 | 2016-05-19 | Boe Technology Group Co., Ltd. | Line-of-sight processing method, line-of-sight processing system and wearable device |
| US20170293354A1 (en) * | 2016-04-09 | 2017-10-12 | Beihang University | Calculation method of line-of-sight direction based on analysis and match of iris contour in human eye image |
| JP2018149234A (ja) * | 2017-03-15 | 2018-09-27 | 公立大学法人広島市立大学 | 注視点推定システム、注視点推定方法及び注視点推定プログラム |
| CN107239139A (zh) * | 2017-05-18 | 2017-10-10 | 刘国华 | 基于正视的人机交互方法与系统 |
| US20200209950A1 (en) * | 2017-05-18 | 2020-07-02 | Guohua Liu | Device-facing human-computer interaction method and system |
| WO2023000808A1 (zh) * | 2021-07-21 | 2023-01-26 | 青岛海尔空调器有限总公司 | 用于控制智能家电的方法及装置、智能眼镜 |
| CN116013289A (zh) * | 2022-12-09 | 2023-04-25 | 上海思寒环保科技有限公司 | 基于人工智能的声控管理系统 |
| CN116866103A (zh) * | 2023-07-28 | 2023-10-10 | 高辰宇 | 一种基于nerf的室内家电交互智能判断方法 |
| CN117355013A (zh) * | 2023-10-07 | 2024-01-05 | 深圳高力特通用电气有限公司 | 一种基于视觉感知的led智能照明控制系统 |
Non-Patent Citations (2)
| Title |
|---|
| 潘榕;谢于迪;: "智能电视中的人机交互技术", 数码世界, no. 10, 1 October 2015 (2015-10-01) * |
| 肖志勇;秦华标;: "基于视线跟踪和手势识别的人机交互", 计算机工程, no. 15, 5 August 2009 (2009-08-05) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105700363B (zh) | 一种智能家居设备语音控制装置的唤醒方法及系统 | |
| EP3422246A1 (en) | Method for awakening intelligent robot, and intelligent robot | |
| CN103902961B (zh) | 一种人脸识别方法及装置 | |
| CN109377616A (zh) | 一种基于二维人脸识别的门禁控制系统 | |
| CN111797771B (zh) | 一种基于迭代学习的弱监督视频行为检测方法及系统 | |
| CN111145739A (zh) | 一种基于视觉的免唤醒语音识别方法、计算机可读存储介质及空调 | |
| JP2006293644A (ja) | 情報処理装置、情報処理方法 | |
| CN109817013A (zh) | 基于视频流的停车位状态识别方法及装置 | |
| CN102262727A (zh) | 客户采集终端人脸图像质量实时监控方法 | |
| CN111128157B (zh) | 一种智能家电的免唤醒语音识别控制方法、计算机可读存储介质及空调 | |
| CN111192574A (zh) | 智能语音交互方法、移动终端和计算机可读存储介质 | |
| CN106295558A (zh) | 一种猪只行为节律分析方法 | |
| US10915739B2 (en) | Face recognition device, face recognition method, and computer readable storage medium | |
| CN111832400A (zh) | 一种基于概率神经网络的口罩佩戴情况的监测系统及方法 | |
| US20230237699A1 (en) | Method and system for itelligently controlling children's usage of screen terminal | |
| CN110781778B (zh) | 一种门禁控制方法、装置、存储介质及家居系统 | |
| CN105631410B (zh) | 一种基于智能视频处理技术的课堂检测方法 | |
| CN113378691A (zh) | 基于实时用户行为分析的智能家居管理系统及方法 | |
| CN118011893A (zh) | 一种基于人工智能的人机交互系统 | |
| CN110555929B (zh) | 一种实验室门禁验证系统与验证方法 | |
| CN110594179B (zh) | 风扇及风扇控制方法 | |
| CN110471303A (zh) | 一种基于计算机视觉的家居智能控制方法 | |
| CN110148234A (zh) | 校园刷脸接送交互方法、存储介质及系统 | |
| CN106548112A (zh) | 一种身份识别方法及系统 | |
| CN112802051A (zh) | 基于神经网络的篮球投篮曲线的拟合方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |