CN111126137A - 一种交互控制方法、装置、终端及计算机可读介质 - Google Patents

一种交互控制方法、装置、终端及计算机可读介质 Download PDF

Info

Publication number
CN111126137A
CN111126137A CN201911129061.7A CN201911129061A CN111126137A CN 111126137 A CN111126137 A CN 111126137A CN 201911129061 A CN201911129061 A CN 201911129061A CN 111126137 A CN111126137 A CN 111126137A
Authority
CN
China
Prior art keywords
sound source
image
eyes
face
control instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911129061.7A
Other languages
English (en)
Other versions
CN111126137B (zh
Inventor
郑文成
王子
王慧君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN201911129061.7A priority Critical patent/CN111126137B/zh
Publication of CN111126137A publication Critical patent/CN111126137A/zh
Application granted granted Critical
Publication of CN111126137B publication Critical patent/CN111126137B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/22—Position of source determined by co-ordinating a plurality of position lines defined by path-difference measurements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种交互控制方法、装置、终端及计算机可读介质，所述方法包括：若在所述屏幕中当前显示的图像中检测到眼睛，检测音频采集阵列是否接收到用于控制空调的语音控制指令；若接收到所述语音控制指令，对发出所述语音控制指令的声源进行声源定位，得到声源位置；将所述图像中眼睛的注视方向调整至朝向所述声源位置。本发明能够使图像中的眼睛与声源进行互动，进而，可以使交互过程形象生动。

Description

一种交互控制方法、装置、终端及计算机可读介质
技术领域
本发明涉及计算机领域，尤其涉及一种交互控制方法、装置、终端及计算机可读介质。
背景技术
随着生活的不断提高，空调已经成为常用的电器，因此人们更加关注空调的功能。目前，空调可以根据用户的遥控指令运行，而且遥控指令需要通过遥控器发送。
然而，空调本身虽然有显示的功能，但只有一个较小的可以显示温度等参数的屏幕。当用户通过遥控器发送指令，空调接收指令后发出提示音提示用户操作成功，但这个交互过程在视觉上不够形象生动。
发明内容
针对用户使用空调的交互过程不够形象生动的技术问题，为了解决上述技术问题或者至少部分地解决上述技术问题，本发明提供了一种交互控制方法、装置、终端及计算机可读介质。
第一方面，本发明提供了交互控制方法，应用于空调，所述空调中包括屏幕和音频采集阵列，所述方法包括：
若在所述屏幕中当前显示的图像中检测到眼睛，检测音频采集阵列是否接收到用于控制空调的语音控制指令；
若接收到所述语音控制指令，对发出所述语音控制指令的声源进行声源定位，得到声源位置；
将所述图像中眼睛的注视方向调整至朝向所述声源位置。
可选的，所述方法还包括：
将所述图像的图像特征与预设的眼睛特征进行匹配，得到匹配结果；
若根据所述匹配结果确定匹配成功，则确定在所述图像中检测到眼睛。
可选的，所述对发出所述语音控制指令的声源进行声源定位，得到声源位置的步骤，包括：
获取音频采集阵列中多个阵元接收与所述语音控制指令对应的音频信号的时间差；
根据不同阵元接收音频信号的时间差进行声源定位，得到声源位置。
可选的，将所述图像中眼睛的注视方向调整至朝向所述声源位置，包括：
若声源定位得到一个声源位置，对所述图像中的眼睛进行检测，得到所述眼睛的注视方向，并根据所述注视方向确定注视方向射线；
确定所述图像中眼睛在现实坐标系的坐标位置及所述坐标位置与所述声源位置的连线；
计算所述连线与所述注视方向射线之间的三维向量夹角；
按照所述三维向量夹角对眼睛的注视方向进行调整，以使所述注视方向朝向所述声源位置。
可选的，将所述图像中眼睛的注视方向调整至朝向所述声源位置，还包括：
若声源定位得到多个不同的声源位置，根据多个位置调整所述图像中眼睛的注视方向，以使所述眼睛的注视方向跟随声源移动。
可选的，所述方法还包括：
对所述图像进行脸部检测，得到脸部区域及所述脸部三维偏转角度；
根据所述三维偏转角度确定脸部朝向及脸部朝向射线；
在所述脸部朝向射线与所述屏幕垂线之间的夹角满足预设眼睛检测条件时，执行将所述图像中眼睛的注视方向调整至朝向所述声源位置的步骤。
可选的，所述方法还包括：
在所述脸部朝向射线与所述屏幕垂线之间的夹角满足预设眼睛检测条件时，获取所述图像的清晰度；
若所述图像的清晰度超过预设清晰度阈值，执行将所述图像中眼睛的注视方向调整至朝向所述声源位置的步骤。
第二方面，本发明提供了一种交互控制装置，其特征在于，应用于空调，所述空调中包括屏幕和音频采集阵列，包括：
检测模块，用于若在所述屏幕中当前显示的图像中检测到眼睛，检测音频采集阵列是否接收到用于控制空调的语音控制指令；
声源定位模块，用于若接收到所述语音控制指令，对发出所述语音控制指令的声源进行声源定位，得到声源位置；
图像处理模块，用于将所述图像中眼睛的注视方向调整至朝向所述声源位置。
第三方面，本发明提供了一种终端，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法的步骤。
第四方面，本发明提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行第一方面所述的方法。
本发明实施例提供的上述技术方案与现有技术相比具有如下优点：
本发明实施例提供的该方法，若在所述屏幕中当前显示的图像中检测到眼睛，检测音频采集阵列是否接收到用于控制空调的语音控制指令；若接收到所述语音控制指令，对发出所述语音控制指令的声源进行声源定位，得到声源位置；将所述图像中眼睛的注视方向调整至朝向所述声源位置。
本发明实施例通过对发出所述语音控制指令的声源进行声源定位，然后将图像中眼睛的注视方向调整至朝向所述声源位置，使图像中的眼睛与声源进行互动，进而，可以使交互过程形象生动。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例提供的一种交互控制方法的流程示意图；
图2为本发明一个实施例提供的一种交互控制方法的流程示意图；
图3为本发明一个实施例提供的一种交互控制方法的流程示意图；
图4为本发明一个实施例提供的一种交互控制方法的流程示意图；
图5为本发明一个实施例提供的一种交互控制方法的流程示意图；
图6为本发明一个实施例提供的一种交互控制方法的流程示意图；
图7为本发明又一实施例提供的一种交互控制装置的结构图；
图8为本发明又一实施例提供的一种终端的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
当用户通过遥控器发送指令，空调接收指令后发出提示音提示用户操作成功，但这个交互过程在视觉上不够形象生动。为此，本发明实施例提供的一种交互控制方法、装置、终端及计算机可读介质，所述方法可以应用于空调，所述空调中包括屏幕和音频采集阵列，如图1所示，所述交互控制方法可以包括以下步骤：
步骤S101，若在所述屏幕中当前显示的图像中检测到眼睛，检测音频采集阵列是否接收到用于控制空调的语音控制指令；
在本发明实施例中，所述图像可以是系统预先设定的，或者用户自己通过使用客户端传送给空调的。
若接收到所述语音控制指令，步骤S102，对发出所述语音控制指令的声源进行声源定位，得到声源位置；
步骤S103，将所述图像中眼睛的注视方向调整至朝向所述声源位置。
本发明实施例中，若在所述屏幕中当前显示的图像中检测到眼睛，检测音频采集阵列是否接收到用于控制空调的语音控制指令；若接收到所述语音控制指令，对发出所述语音控制指令的声源进行声源定位，得到声源位置；将所述图像中眼睛的注视方向调整至朝向所述声源位置。
本发明实施例通过对发出所述语音控制指令的声源进行声源定位，然后将图像中眼睛的注视方向调整至朝向所述声源位置，使图像中的眼睛与声源进行互动，进而，可以使交互过程形象生动。
本发明实施例提供的一种交互控制方法，如图2所示，所述交互控制方法可以包括以下步骤：
步骤S201，将所述图像的图像特征与预设的眼睛特征进行匹配，得到匹配结果；
步骤S202，若根据所述匹配结果确定匹配成功，则确定在所述图像中检测到眼睛。
在本发明实施例中，将图像的图像特征与预设的眼睛特征进行匹配，得到匹配结果，若匹配结果确定显示成功，则确定在图像中检测到眼睛。
本发明实施例提供的一种交互控制方法，如图3所示，所述交互控制方法可以包括以下步骤：
步骤S101，若在所述屏幕中当前显示的图像中检测到眼睛，检测音频采集阵列是否接收到用于控制空调的语音控制指令；
若接收到所述语音控制指令，步骤S301，获取音频采集阵列中多个阵元接收与所述语音控制指令对应的音频信号的时间差；
步骤S302，根据不同阵元接收音频信号的时间差进行声源定位，得到声源位置；
步骤S103，将所述图像中眼睛的注视方向调整至朝向所述声源位置。
本发明实施例中，获取音频采集阵列中多个阵元接收与所述语音控制指令对应的音频信号的时间差，根据不同阵元接收音频信号的时间差进行声源定位，所以可以得到声源位置。
基于上述实施例，本发明实施例提供的一种交互控制方法，如图4所示，步骤S103包括：
步骤S401，若声源定位得到一个声源位置，对所述图像中的眼睛进行检测，得到所述眼睛的注视方向，并根据所述注视方向确定注视方向射线；
在本发明实施例中，若声源定位得到一个声源位置，对所述图像中的眼睛进行检测，得到所述眼睛的当前的注视方向，并且根据注视方向确定注视方向射线，例如，在现实中，以图像中眼睛为原点0，建立三维笛卡尔坐标系，在平面oxy上，眼睛的注视方向为正前方，注视方向射线为正前方射线L1。
步骤S402，确定所述图像中眼睛在现实坐标系的坐标位置及所述坐标位置与所述声源位置的连线；
根据上述三维笛卡尔坐标系，眼睛的坐标位置为M(0,0,0)，声源位置可视为一个声源点S，将原点0与声源点S之间连线，连线名称为L2。
步骤S403，计算所述连线与所述注视方向射线之间的三维向量夹角；
在该步骤中，计算连线L2与注视方向射线L1之间的三维向量夹角。
步骤S404，按照所述三维向量夹角对眼睛的注视方向进行调整，以使所述注视方向朝向所述声源位置。
示例性地，根据计算，三维向量夹角为a1度,按照所述三维向量夹角对眼睛的注视方向进行调整时，将a1度调整到0度，因此注视方向朝向所述声源位置。
本发明实施例中，根据眼睛的注视方向确定注视方向射线，确定眼睛的坐标位置与所述声源位置的连线，然后计算注视方向射线与连线之间的三维向量夹角，最后按照三维向量夹角对眼睛的注视方向进行调整，以使所述注视方向朝向所述声源位置，因此，可以根据调整三维向量夹角，使图像中的眼睛注视方向朝向所述声源位置。
基于上述实施例，本发明实施例提供的一种交互控制方法，步骤S103还包括：
若声源定位得到多个不同的声源位置，根据多个位置调整所述图像中眼睛的注视方向，以使所述眼睛的注视方向跟随声源移动。
若声源定位得到多个不同的声源位置，上述实施例已说明第一个声源位置，在此不再赘述。示例性地，声源定位得到第二个声源位置时,检测图像中眼睛的上一次调整后的注视方向，并且根据注视方向确定注视方向射线，例如，在平面oxy上，眼睛的注视方向为偏向x轴正方向的左侧方向45度，注视方向射线为左侧方向45度射线L3；
第二个声源位置可视为一个声源点S1，将原点0与声源点S1之间连线，连线名称为L4；
计算连线L4与注视方向射线L3之间的三维向量夹角，示例性地，根据计算，三维向量夹角为a2度,按照所述三维向量夹角对眼睛的注视方向进行调整时，将a2度调整到0度，因此注视方向朝向第二个声源位置，实现图像中眼睛的注视方向跟随声源移动。
本发明实施例提供的一种交互控制方法，如图5所示，所述交互控制方法可以包括以下步骤：
步骤S501，对所述图像进行脸部检测，得到脸部区域及所述脸部三维偏转角度；
在本发明实施例中，对所述图像进行脸部检测，根据上述三维笛卡尔坐标系，得到脸部区域，在平面oxz上，得到脸部三维偏转角度为偏向x轴正方向的左侧方向30度。
步骤S502，根据所述三维偏转角度确定脸部朝向及脸部朝向射线；
脸部三维偏转角度为偏向x轴正方向的左侧方向30度，因此脸部朝向射线为L5。
步骤S503，在所述脸部朝向射线与所述屏幕垂线之间的夹角满足预设眼睛检测条件时，执行将所述图像中眼睛的注视方向调整至朝向所述声源位置的步骤。
所述预设眼睛检测条件可以指脸部朝向射线与屏幕垂线之间的夹角在最大范围与最小范围之间。
示例性地，当脸部朝向射线与屏幕垂线之间的夹角为0时，说明显示的面部朝向为正前方，满足预设眼睛检测条件，因此可以检测到图像中双眼；
当脸部朝向射线与屏幕垂线之间的夹角为90时，说明显示的面部朝向为侧方向，不满足预设眼睛检测条件，因此不可以检测到图像中双眼。
本发明实施例中，对所述图像进行脸部检测，得到脸部区域及所述脸部三维偏转角度，根据所述三维偏转角度确定脸部朝向及脸部朝向射线，然后判断脸部朝向射线与所述屏幕垂线之间的夹角是否满足预设眼睛检测条件，如果满足预设眼睛检测条件，则可以执行将所述图像中眼睛的注视方向调整至朝向所述声源位置的步骤，因此，当脸部朝向射线与屏幕垂线之间的夹角满足预设眼睛检测条件时，才可以进行下一步的调整眼睛注视方向步骤。
基于上述实施例，本发明实施例提供的一种交互控制方法，如图6所示，所述交互控制方法可以包括以下步骤：
步骤S601，在所述脸部朝向射线与所述屏幕垂线之间的夹角满足预设眼睛检测条件时，获取所述图像的清晰度；
步骤S602，若所述图像的清晰度超过预设清晰度阈值，执行将所述图像中眼睛的注视方向调整至朝向所述声源位置的步骤。
本发明实施例提供的一种交互控制装置，应用于空调，所述空调中包括屏幕和音频采集阵列，如图7所示，包括：
检测模块71，用于若在所述屏幕中当前显示的图像中检测到眼睛，检测音频采集阵列是否接收到用于控制空调的语音控制指令；
声源定位模块72，用于若接收到所述语音控制指令，对发出所述语音控制指令的声源进行声源定位，得到声源位置；
图像处理模块73，用于将所述图像中眼睛的注视方向调整至朝向所述声源位置。
本发明实施例提供的该装置，检测模块，用于若在所述屏幕中当前显示的图像中检测到眼睛，检测音频采集阵列是否接收到用于控制空调的语音控制指令；声源定位模块，用于若接收到所述语音控制指令，对发出所述语音控制指令的声源进行声源定位，得到声源位置；图像处理模块，用于将所述图像中眼睛的注视方向调整至朝向所述声源位置。
本发明实施例通过对发出所述语音控制指令的声源进行声源定位，然后将图像中眼睛的注视方向调整至朝向所述声源位置，使图像中的眼睛与声源进行互动，进而，可以使交互过程形象生动。
在本发明的又一实施例中，还提供一种终端，包括：处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法实施例所述的方法的步骤。
本发明实施例提供的终端，处理器通过执行存储器上所存放的程序实现了若在所述屏幕中当前显示的图像中检测到眼睛，检测音频采集阵列是否接收到用于控制空调的语音控制指令；若接收到所述语音控制指令，对发出所述语音控制指令的声源进行声源定位，得到声源位置；将所述图像中眼睛的注视方向调整至朝向所述声源位置，实现图像中的眼睛与声源进行互动，进而，可以使交互过程形象生动。
上述终端提到的通信总线1140可以是外设部件互连标准(PeripheralComponentInterconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture，简称EISA)总线等。该通信总线1140可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口1120用于上述终端与其他设备之间的通信。
存储器1130可以包括随机存取存储器(RandomAccessMemory，简称RAM)，也可以包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器1110可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明的又一实施例中，还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行所述方法实施例所述的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidStateDisk(SSD))等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种交互控制方法，其特征在于，应用于空调，所述空调中包括屏幕和音频采集阵列，所述方法包括：
若在所述屏幕中当前显示的图像中检测到眼睛，检测音频采集阵列是否接收到用于控制空调的语音控制指令；
若接收到所述语音控制指令，对发出所述语音控制指令的声源进行声源定位，得到声源位置；
将所述图像中眼睛的注视方向调整至朝向所述声源位置。
2.根据权利要求1所述的交互控制方法，其特征在于，所述方法还包括：
将所述图像的图像特征与预设的眼睛特征进行匹配，得到匹配结果；
若根据所述匹配结果确定匹配成功，则确定在所述图像中检测到眼睛。
3.根据权利要求1所述的交互控制方法，其特征在于，所述对发出所述语音控制指令的声源进行声源定位，得到声源位置的步骤，包括：
获取音频采集阵列中多个阵元接收与所述语音控制指令对应的音频信号的时间差；
根据不同阵元接收音频信号的时间差进行声源定位，得到声源位置。
4.根据权利要求1所述的交互控制方法，其特征在于，将所述图像中眼睛的注视方向调整至朝向所述声源位置，包括：
若声源定位得到一个声源位置，对所述图像中的眼睛进行检测，得到所述眼睛的注视方向，并根据所述注视方向确定注视方向射线；
确定所述图像中眼睛在现实坐标系的坐标位置及所述坐标位置与所述声源位置的连线；
计算所述连线与所述注视方向射线之间的三维向量夹角；
按照所述三维向量夹角对眼睛的注视方向进行调整，以使所述注视方向朝向所述声源位置。
5.根据权利要求4所述的交互控制方法，其特征在于，将所述图像中眼睛的注视方向调整至朝向所述声源位置，还包括：
若声源定位得到多个不同的声源位置，根据多个位置调整所述图像中眼睛的注视方向，以使所述眼睛的注视方向跟随声源移动。
6.根据权利要求1所述的交互控制方法，其特征在于，所述方法还包括：
对所述图像进行脸部检测，得到脸部区域及所述脸部三维偏转角度；
根据所述三维偏转角度确定脸部朝向及脸部朝向射线；
在所述脸部朝向射线与所述屏幕垂线之间的夹角满足预设眼睛检测条件时，执行将所述图像中眼睛的注视方向调整至朝向所述声源位置的步骤。
7.根据权利要求6所述的交互控制方法，其特征在于，所述方法还包括：
在所述脸部朝向射线与所述屏幕垂线之间的夹角满足预设眼睛检测条件时，获取所述图像的清晰度；
若所述图像的清晰度超过预设清晰度阈值，执行将所述图像中眼睛的注视方向调整至朝向所述声源位置的步骤。
8.一种交互控制装置，其特征在于，应用于空调，所述空调中包括屏幕和音频采集阵列，包括：
检测模块，用于若在所述屏幕中当前显示的图像中检测到眼睛，检测音频采集阵列是否接收到用于控制空调的语音控制指令；
声源定位模块，用于若接收到所述语音控制指令，对发出所述语音控制指令的声源进行声源定位，得到声源位置；
图像处理模块，用于将所述图像中眼睛的注视方向调整至朝向所述声源位置。
9.一种空调，包括：处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至7任一项所述的方法的步骤。
10.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1至7任一所述方法。
CN201911129061.7A 2019-11-18 2019-11-18 一种交互控制方法、装置、终端及计算机可读介质 Active CN111126137B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911129061.7A CN111126137B (zh) 2019-11-18 2019-11-18 一种交互控制方法、装置、终端及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911129061.7A CN111126137B (zh) 2019-11-18 2019-11-18 一种交互控制方法、装置、终端及计算机可读介质

Publications (2)

Publication Number Publication Date
CN111126137A true CN111126137A (zh) 2020-05-08
CN111126137B CN111126137B (zh) 2021-02-19

Family

ID=70495965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911129061.7A Active CN111126137B (zh) 2019-11-18 2019-11-18 一种交互控制方法、装置、终端及计算机可读介质

Country Status (1)

Country Link
CN (1) CN111126137B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140347397A1 (en) * 2013-05-22 2014-11-27 Nvidia Corporation Method and system for adjusting screen orientation of a mobile device
KR20160094190A (ko) * 2015-01-30 2016-08-09 한국전자통신연구원 시선 추적 장치 및 방법
CN108870650A (zh) * 2018-07-12 2018-11-23 四川虹美智能科技有限公司 一种空调及一种空调的控制方法
CN109389069A (zh) * 2018-09-28 2019-02-26 北京市商汤科技开发有限公司 注视点判断方法和装置、电子设备和计算机存储介质
CN110062200A (zh) * 2018-01-19 2019-07-26 浙江宇视科技有限公司 视频监控方法、装置、网络摄像机及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140347397A1 (en) * 2013-05-22 2014-11-27 Nvidia Corporation Method and system for adjusting screen orientation of a mobile device
KR20160094190A (ko) * 2015-01-30 2016-08-09 한국전자통신연구원 시선 추적 장치 및 방법
CN110062200A (zh) * 2018-01-19 2019-07-26 浙江宇视科技有限公司 视频监控方法、装置、网络摄像机及存储介质
CN108870650A (zh) * 2018-07-12 2018-11-23 四川虹美智能科技有限公司 一种空调及一种空调的控制方法
CN109389069A (zh) * 2018-09-28 2019-02-26 北京市商汤科技开发有限公司 注视点判断方法和装置、电子设备和计算机存储介质

Also Published As

Publication number Publication date
CN111126137B (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
CN112040468B (zh) 用于车辆交互的方法、计算设备和计算机存储介质
CN109032039B (zh) 一种语音控制的方法及装置
US11445026B2 (en) Methods, systems, and media for indicating a security status of an internet of things device
US11656691B2 (en) Terminal device control method and terminal device
US20210358093A1 (en) Method and device of correcting image distortion, display device, computer readable medium, electronic device
CN109521978B (zh) 一种内容显示方法及终端设备
CN108037826B (zh) 信息处理方法及用于使计算机实施该信息处理方法的程序
KR20200028771A (ko) 사용자 의도 기반 제스처 인식 방법 및 장치
CN108052407A (zh) 一种应用程序崩溃防护方法、装置、设备及存储介质
CN109996050A (zh) 投影机器人的控制方法及控制装置
TWI699717B (zh) 資料處理方法、終端設備和資料處理系統
KR20210134251A (ko) 사용자 이미지 식별 모델 업데이트 방법 및 장치
CN113470112A (zh) 图像处理方法、装置、存储介质以及终端
CN111126137B (zh) 一种交互控制方法、装置、终端及计算机可读介质
KR102329770B1 (ko) 푸시 알림을 제공하기 위한 방법 및 그 전자 장치
EP3309660B1 (en) Method for detecting input device, and detection device
KR20220085834A (ko) 전자 기기 및 포커싱 방법
KR102462204B1 (ko) 진동을 제공하기 위한 장치 및 방법
CN113766139B (zh) 一种调焦的装置和方法
CN115601316A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN112203131B (zh) 一种基于显示设备的提示方法、装置及存储介质
JP2024513728A (ja) ＩｏＴサービスを提供する装置及びその方法
CN112540673A (zh) 虚拟环境交互方法及设备
US8755819B1 (en) Device location determination using images
US20230213969A1 (en) Control method, apparatus, electronic devices, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant