CN108170266A - 智能设备控制方法、装置及设备 - Google Patents
智能设备控制方法、装置及设备 Download PDFInfo
- Publication number
- CN108170266A CN108170266A CN201711422668.5A CN201711422668A CN108170266A CN 108170266 A CN108170266 A CN 108170266A CN 201711422668 A CN201711422668 A CN 201711422668A CN 108170266 A CN108170266 A CN 108170266A
- Authority
- CN
- China
- Prior art keywords
- user
- sign language
- service data
- camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000003993 interaction Effects 0.000 claims abstract description 69
- 230000009471 action Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims 1
- 230000002452 interceptive effect Effects 0.000 abstract 2
- 230000001960 triggered effect Effects 0.000 description 18
- 230000004888 barrier function Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提出一种智能设备控制方法、装置及设备，其中方法包括：在获取到手语交互指令时，触发启动智能设备的摄像头，或者触发启动终端中的摄像头，其中，终端中安装有与智能设备对应的客户端；通过摄像头采集手语图像；根据预设的手语数据库，对采集的手语图像进行识别，确定用户意图；根据用户意图向用户返回服务数据。该方法使得智能设备与用户之间的交互不再局限于语音交互，帮助具有语言障碍的用户实现与智能设备之间的人机交互，增强了用户利用智能设备进行信息交互的便利性，改善了用户体验。
Description
技术领域
本发明涉及电子技术领域，特别涉及一种智能设备控制方法、装置及设备。
背景技术
随着语音识别技术的飞速发展，人机语音交互的应用场景越来越普遍，人机语音交互系统可以为用户提供有效的人机交互功能，通过语音与机器进行交流，让机器明白人说的是什么，并给出相应的回答。例如，通过人机语音交互系统获取某个地方的天气状况，也可以通过人机语音交互系统为用户指引路径，告诉人们想要去的地方的路线等。
在实际使用过程中，对于无语言障碍的用户而言，通过上述方式与机器交互时，具有很大的便利性，但是，对于具有语言障碍的用户而言，由于无法正常发音，导致用户在与机器进行信息交互时，无法通过语音交互的方式对机器进行控制，从而降低了用户使用智能设备的便利性，影响使用体验。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种智能设备控制方法，该方法使得智能设备与用户之间的交互不再局限于语音交互，帮助具有语言障碍的用户实现与智能设备之间的人机交互，增强了用户利用智能设备进行信息交互的便利性，改善了用户体验。
本发明的第二个目的在于提出一种智能设备控制装置。
本发明的第三个目的在于提出一种智能设备。
本发明的第四个目的在于提出一种计算机可读存储介质。
为达上述目的，本发明第一方面实施例提出了一种智能设备控制方法，该方法包括：
在获取到手语交互指令时，触发启动智能设备的摄像头，或者触发启动终端中的摄像头，其中，所述终端中安装有与所述智能设备对应的客户端；
通过所述摄像头采集手语图像；
根据预设的手语数据库，对所述采集的手语图像进行识别，确定用户意图；
根据所述用户意图向用户返回服务数据。
本实施例提供的智能设备控制方法中，在获取到手语交互指令时，触发启动智能设备的摄像头或者触发启动终端中的摄像头，以通过摄像头采集手语图像，然后根据预设的手语数据库，对采集的手语图像进行识别，确定用户意图，并根据用户意图向用户返回服务数据。由此，使得智能设备与用户之间的交互不再局限于语音交互，帮助具有语言障碍的用户实现与智能设备之间的人机交互，增强了用户利用智能设备进行信息交互的便利性，改善了用户体验。
另外，本发明上述实施例提出的智能设备控制方法还可以具有如下附加的技术特征：
在本发明的一个实施例中，所述预设的手语数据库，包括手语图像与文本信息的对应关系；
所述采集的手语图像包括N帧图像，其中N为大于1的正整数；
所述对所述手语图像进行识别，包括：
分别将各帧图像与手语数据库中的图像进行匹配，确定各帧图像分别对应的各目标文本；
根据各图像的采集顺序及各目标文本，确定用户意图。
在本发明的另一个实施例中，所述向用户返回服务器数据，包括：
通过所述智能设备向用户返回服务数据；
或者，
通过所述终端向用户返回服务数据。
在本发明的另一个实施例中，所述向用户返回服务数据，包括：
通过语音播报的形式，向用户返回服务数据；
或者，
通过文本显示的形式，向用户返回服务数据；
或者，
通过动画展示的形式，向用户返回服务数据。
在本发明的另一个实施例中，所述通过动画展示的形式，向用户返回服务数据之前，还包括：
获取到用户发送的动画展示指令。
在本发明的另一个实施例中，所述动画展示指令中包括目标动画人物；
所述通过动画展示的形式，向用户返回服务数据，包括：
根据所述预设的手语数据库，确定与所述服务数据对应的手语动作；
根据所述手语动作，控制所述目标动画人物进行服务数据展示。
为达上述目的，本发明第二方面实施例提出了一种智能设备控制装置，包括：
触发模块，用于在获取到手语交互指令时，触发启动智能设备的摄像头，或者触发启动终端中的摄像头，其中，所述终端中安装有与所述智能设备对应的客户端；
采集模块，用于通过所述摄像头采集手语图像；
识别模块，用于根据预设的手语数据库，对所述采集的手语图像进行识别，确定用户意图；
反馈模块，用于根据所述用户意图向用户返回服务数据。
本实施例提供的智能设备控制装置中，在获取到手语交互指令时，触发启动智能设备的摄像头或者触发启动终端中的摄像头，以通过摄像头采集手语图像，然后根据预设的手语数据库，对采集的手语图像进行识别，确定用户意图，并根据用户意图向用户返回服务数据。由此，使得智能设备与用户之间的交互不再局限于语音交互，帮助具有语言障碍的用户实现与智能设备之间的人机交互，增强了用户利用智能设备进行信息交互的便利性，改善了用户体验。
另外，本发明上述实施例提出的智能设备控制装置还可以具有如下附加的技术特征：
在本发明的一个实施例中，所述预设的手语数据库，包括手语图像与文本信息的对应关系；
所述采集的手语图像包括N帧图像，其中N为大于1的正整数；
所述识别模块包括：
匹配子单元，用于分别将各帧图像与手语数据库中的图像进行匹配，确定各帧图像分别对应的各目标文本；
确定子单元，用于根据各图像的采集顺序及各目标文本，确定用户意图。
在本发明的另一个实施例中，所述反馈模块具体包括：
通过所述智能设备向用户返回服务数据；
或者，
通过所述终端向用户返回服务数据。
在本发明的另一个实施例中，所述反馈模块具体包括：
通过语音播报的形式，向用户返回服务数据；
或者，
通过文本显示的形式，向用户返回服务数据；
或者，
通过动画展示的形式，向用户返回服务数据。
在本发明的另一个实施例中，还包括：所述通过动画展示的形式，向用户返回服务数据之前，还包括：
获取模块，用于获取到用户发送的动画展示指令。
在本发明的另一个实施例中，所述动画展示指令中包括目标动画人物；
所述通过动画展示的形式，向用户返回服务数据，包括：
根据所述预设的手语数据库，确定与所述服务数据对应的手语动作；
根据所述手语动作，控制所述目标动画人物进行服务数据展示。
为达上述目的，本发明第三方面实施例提出了一种智能设备，包括：存储器、处理器及摄像头；
所述存储器，用于存储可执行程序代码；
所述显示屏，用于采集手语图像；
所述处理器，用于读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现第一方面实施例所述的智能设备控制方法。
本实施例提供的智能设备中，在获取到手语交互指令时，触发启动智能设备的摄像头或者触发启动终端中的摄像头，以通过摄像头采集手语图像，然后根据预设的手语数据库，对采集的手语图像进行识别，确定用户意图，并根据用户意图向用户返回服务数据。由此，使得智能设备与用户之间的交互不再局限于语音交互，帮助具有语言障碍的用户实现与智能设备之间的人机交互，增强了用户利用智能设备进行信息交互的便利性，改善了用户体验。
为达上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面实施例所述的智能设备控制方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明一个实施例的智能设备控制方法的流程图；
图2为本发明一个实施例的对采集的手语图像进行识别的流程图
图3为本发明另一个实施例的智能设备控制方法的流程图；
图4为本发明一个实施例的智能设备控制装置的结构示意图；
图5为本发明另一个实施例的智能设备控制装置的结构示意图；
图6为本发明一个实施例的智能设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本发明实施例主要针对目前具有语言障碍的用户，由于无法正常发音导致用户在与机器进行信息交互时，无法通过语音交互的方式对机器进行控制，从而降低了用户使用智能设备的便利性问题，提出一种智能设备控制方法。
本发明提出的智能设备控制方法，在获取到手语交互指令时，通过触发启动智能设备的摄像头，或者触发启动终端中的摄像头来采集手语头像，然后根据预设的手语数据库，对采集的手语图像进行识别确定出用户意图，然后根据用户意图向用户返回服务数据。由此，使得智能设备与用户之间的交互不再局限于语音交互，帮助具有语言障碍的用户实现与智能设备之间的人机交互，增强了用户利用智能设备进行信息交互的便利性，改善了用户体验。
下面结合附图对本发明实施例提出的智能设备控制方法进行详细描述。
图1为本发明一个实施例的智能设备控制方法的流程图。
如图1所示，该智能设备控制方法可以包括以下步骤：
步骤101，在获取到手语交互指令时，触发启动智能设备的摄像头，或者触发启动终端中的摄像头，其中，终端中安装有与智能设备对应的客户端。
具体的，本实施例提供的智能设备控制方法，可以由本发明提供的智能设备控制装置执行，上述装置被配置于智能设备中，以实现对信息交互进行控制。
其中，在本发明实施例中智能设备可以是，但不限于：智能音箱、智能空调、智能电视机、智能冰箱、智能手机等等，本实施例对此不作具体限定。
本实施例中终端可以是，但不限于：智能手机、平板电脑、个人数字助理等等，此处对其不作具体限定。
具体实现时，用户可在终端的客户端界面上选择“使用手语”功能按键，来触发手语交互指令，并且当智能设备控制装置获取到手语交互指令时，可根据上述指令触发启动智能设备的摄像头，或者触发启动终端中的摄像头。
其中，在本实施例智能设备控制装置获取到手语交互指令之后，可优先启动智能设备的摄像头，以节省数据传输所花费的时间及带宽。
可选地，在本实施例中，终端与智能设备可以基于近场通信方式进行通信。例如：无线保真(Wireless Fidelity，WiFi)，蓝牙，紫蜂协议(ZigBee)等等，本实施例对此不做限定。
步骤102，通过摄像头采集手语图像。
具体的，在启动智能设备的摄像头，或者启动终端中的摄像头之后，智能设备控制装置可控制上述摄像头对用户的手语图像进行采集。
具体实现时，为了能够采集到画面清晰的图像，智能设备控制装置在控制摄像头采集手语图像时，可实时在智能设备或者终端的显示屏上显示人机对话界面，以提示用户以合适的角度及距离面对摄像头，来做手语动作。
其中，用户做的手语动作可以是“请告诉我北京市明天的天气如何？”等等，此处对其不作具体限定。
进一步的，本实施例的摄像头在采集手语图像时，还可在智能设备或者终端的显示屏上实时显示采集的手语图像，以方便用户查看智能设备或者终端采集的手语图像是否准备，清晰。
为了方便用户能够同时看到采集的手语图像和人机对话内容，终端或者智能设备的显示屏还可以以分屏的形式，在显示屏中分别显示采集的实时手语图像和人机对话内容。
其中，终端或者智能设备的显示屏可以是上下分屏，即上半屏显示实时手语图像，下半屏显示人机对话内容，或者，上半屏显示人机对话内容，下半屏显示实时手语图像。
当然上述分屏形式也可以是以左右分屏，即左半屏显示实时手语图像，右半屏显示人机对话内容，或者，左半屏显示人机对话内容，右半屏显示实时手语图像等等。本实施例对此不作具体限定。
需要说明的是，在本实施例中，摄像头采集的手语图像可以为视频，也可以为不连续的多帧图像等等，对此不作具体限定。
步骤103，根据预设的手语数据库，对采集的手语图像进行识别，确定用户意图。
在本实施例中，预设的手语数据库可以是智能设备默认的，也可以是用户根据需要自定义设置的，本实施例对此不作具体限定。
并且，预设的手语数据库中包括手语图像与文本信息的对应关系。
具体的，在采集到手语图像后，智能设备控制装置可将采集的手语图像与预设的手语数据库进行匹配，以对手语图像进行识别确定出用户的真实意图。
其中，若摄像头采集的手语图像包括N帧图像，其中N为大于1的正整数，则智能设备控制装置可将上述N帧图像分别于预设的手语数据库进行匹配，以对上述N帧图像进行识别并确定出用户的意图。
具体实现时，可参见图2中记载的步骤，对采集的手语图像进行识别。
图2为本发明一个实施例的对采集的手语图像进行识别的流程图。
如图2所示，对采集的手语图像进行识别可以包括以下步骤：
步骤201，分别将各帧图像与手语数据库中的图像进行匹配，确定各帧图像分别对应的各目标文本。
具体的，智能设备控制装置可先利用图像识别技术将手语图像进行相应处理，得到多帧图像，然后将上述各帧图像分别与手语数据库中的图像进行匹配。若匹配成功则将匹配成功的图像对应的文本信息作为各帧图像的各目标文本，否则向用户显示匹配失败，请重新输入手语动作的提示信息。
步骤202，根据各图像的采集顺序及各目标文本，确定用户意图。
具体的，由于摄像头采集的手语图像都具备对应的采集时间，因此当本实施例采集的手语图像中的各帧图像均与手语数据库中的图像匹配成功时，智能设备控制装置可根据各帧图像采集的时间，对匹配的图像及对应的目标文本进行排序组合，以得到语句通顺的文本信息。然后，根据上述语句通顺的文本信息即可确定出用户意图。
步骤104，根据用户意图向用户返回服务数据。
具体的，若确定出用户的意图为查询所在地理位置的天气信息，比如“请告诉我北京市明天的天气如何？”，则智能设备控制装置可根据上述用户意图，获取对应的响应信息，并向用户返回对应的服务数据，比如：“北京明天晴转多云，最高气温27度”。
在具体实现时，本实施例可通过以下实现方式，向用户返回服务数据，举例说明如下：
作为第一种实现方式，
通过智能设备向用户返回服务数据。
具体的，由于在实际使用时，智能设备可以具备显示屏，因此为了减少信息传输所花费的时间，本实施例在确定出用户的意图之后，可直接通过智能设备的显示屏，返回服务数据，使得用户可以更快速高效的获取需要的信息。
作为第二种实现方式，
通过终端向用户返回服务数据。
具体的，用户有时可能距离智能设备距离比较远，因此通过智能设备向用户返回服务数据时，用户可能无法看到返回的服务数据，因此本实施例可将服务数据通过终端向用户进行展示，使得用户在任何地方对智能设备进行控制时，都能够及时有效的获取到智能设备反馈的服务数据，进一步提高了用户使用体验。
需要说明的是，上述两种实现方式不仅可单独进行实时，还可以两者结合进行实施，本实施例对此不作具体限定。
可以理解的是，本实施例的智能设备控制装置，通过控制智能设备的摄像头，或者终端中的摄像头采集手语图像，并对采集的手语图像进行识别确定用户意图，然后根据用户意图向用户返回对应的服务数据，使得具有语言障碍的用户，也能够与智能设备通过手语进行信息交互，进一步扩大了智能设备与不同群体用户之间的信息交互范围，满足了不同人群的交互需求。
本实施例提供的智能设备控制方法中，在获取到手语交互指令时，触发启动智能设备的摄像头或者触发启动终端中的摄像头，以通过摄像头采集手语图像，然后根据预设的手语数据库，对采集的手语图像进行识别，确定用户意图，并根据用户意图向用户返回服务数据。由此，使得智能设备与用户之间的交互不再局限于语音交互，帮助具有语言障碍的用户实现与智能设备之间的人机交互，增强了用户利用智能设备进行信息交互的便利性，改善了用户体验。
通过上述分析可知，本发明通过智能设备的摄像头，或者终端中的摄像头采集手语图像，并对采集的手语图像进行识别确定出用户意图，然后根据用户意图向用户返回服务数据。具体实现时，为了满足用户个性化需求，本实施例的智能设备控制装置还可向用户提供多种服务数据展示形式，以使用户可以根据自身需求选择对应的展示形式，来展示返回的服务数据。下面结合图3，对本发明智能设备控制方法中向用户返回服务数据过程进行进一步的说明。
图3为本发明的另一个实施例的智能设备控制方法的流程图。
如图3所示，该智能设备控制方法可以包括以下步骤：
步骤301，在获取到手语交互指令时，触发启动智能设备的摄像头，或者触发启动终端中的摄像头，其中，终端中安装有与智能设备对应的客户端。
步骤302，通过摄像头采集手语图像。
步骤303，根据预设的手语数据库，对采集的手语图像进行识别，确定用户意图。
步骤304，根据用户意图，以动画展示的形式，向用户返回服务数据。
具体的，本实施例在以动画展示的形式，向用户返回服务数据之前，需要用户在终端显示界面或者智能设备的显示界面中选择动画展示功能，以使得智能设备控制装置在获取到用户发送的动画展示指令之后，根据上述指令向用户以动画展示方式，返回服务数据。
其中，智能设备控制装置根据用户发送的动画展示指令，以动画展示的方式返回服务数据时，选取的动画人物可以是系统默认的，也可以是用户自定义设置的，此处对其不作具体限定。
进一步的，为了满足用户个性化的需求，本实施例的智能设备控制装置中还可以包括预设的动画人物数据库，当用户在触发动画展示指令时，还可以选择目标动画人物，以使得用户可以根据自身喜好，选择不同的动画人物进行服务数据展示。
其中，动画人物可以是卡通人物等等，本实施例对此不作具体限定。
具体实现时，智能设备控制装置可根据预设的手语数据库，确定与服务数据对应的手语动作，然后根据手语动作，控制目标动画人物进行服务数据展示。
也就是说，当确定用户选择动画人物进行服务数据展示时，智能设备控制装置在利用预设的手语数据库确定出用户意图之后，需要将用户意图转换为对应的手语动作，然后通过目标动画人物按照上述手语动作展示对应的服务数据。
此外，本实施例在智能设备控制装置中还可以设置背景数据库，即当用户在触发动画展示指令时，还可以选择动画人物对应的目标背景，以使动画人物可以在选择的目标背景下进行服务数据展示。
其中，背景数据库中可以包括静态背景，也可以包括动态背景，此处对其不作具体限定。
需要说明的是，上述选择的目标动画人物和目标背景可以是单独实施，也可以是两者结合实施，本实施例对此不作具体限定。
在本发明的另一个实施例中，本实施例的智能设备的控制方法中除了以动画展示的形式，向用户返回服务数据之外，还可以通过以下几种方式向用户返回服务数据，举例说明如下：
第一种实现方式：通过语音播报的形式，向用户返回服务数据。
具体实现时，用户可通过选择终端或者智能设备的显示界面中语音播报功能，以使终端或者智能设备以语音播报的形式，向用户返回服务数据。
第二种实现方式：通过文本显示的形式，向用户返回服务数据。
具体实现时，用户可通过选择终端或者智能设备的显示界面中文本显示功能，以使终端或者智能设备以文本显示的形式，向用户返回服务数据。
也就是说，在智能设备控制装置向用户返回服务数据之前，用户可以根据自身需要在终端或者智能设备的显示界面中选择对应的返回形式，进行服务数据反馈。
本发明实施例的智能设备控制方法，在获取到手语交互指令时，触发启动智能设备的摄像头，或者触发启动终端中的摄像头，以通过摄像头采集手语图像，然后根据预设的手语数据库，对采集的手语图像进行识别，以确定出用户意图，然后根据用户意图，及用户选择的展示形式，向用户返回服务数据。由此，使得智能设备与用户之间的交互不再局限于语音交互，帮助具有语言障碍用户实现与智能设备之间的人机交互，增强了用户利用智能设备进行信息交互的便利性。同时，还使得用户可以根据自身喜好选择不同的服务数据展现形式，满足了用户个性化需求，提升了用户体验。
下面参照附图描述本发明实施例提出的智能设备控制装置。
图4为本发明一个实施例的智能设备控制装置的结构示意图。
参照图4，该装置包括：触发模块11、采集模块12、识别模块13以及反馈模块14。
其中，触发模块11用于在获取到手语交互指令时，触发启动智能设备的摄像头，或者触发启动终端中的摄像头，其中，所述终端中安装有与所述智能设备对应的客户端；
采集模块12用于通过所述摄像头采集手语图像；
识别模块13用于根据预设的手语数据库，对所述采集的手语图像进行识别，确定用户意图；
反馈模块14用于根据所述用户意图向用户返回服务数据。
在本发明的一个实施例中，如图5所示，所述预设的手语数据库，包括手语图像与文本信息的对应关系；
所述采集的手语图像包括N帧图像，其中N为大于1的正整数；
所述识别模块13包括：匹配子单元131和确定子单元132。
其中，匹配子单元131用于分别将各帧图像与手语数据库中的图像进行匹配，确定各帧图像分别对应的各目标文本；
确定子单元132用于根据各图像的采集顺序及各目标文本，确定用户意图。
在本发明的另一个实施例中，所述反馈模块14具体包括：
通过所述智能设备向用户返回服务数据；
或者，
通过所述终端向用户返回服务数据。
进一步的，在本发明的另一个实施例中，所述反馈模块14具体包括：
通过语音播报的形式，向用户返回服务数据；
或者，
通过文本显示的形式，向用户返回服务数据；
或者，
通过动画展示的形式，向用户返回服务数据。
在本发明的另一个实施例中，所述通过动画展示的形式，向用户返回服务数据之前，还包括：获取模块。
其中，获取模块，用于获取到用户发送的动画展示指令。
在本发明的另一个实施例中，所述动画展示指令中包括目标动画人物；
所述通过动画展示的形式，向用户返回服务数据，包括：
根据所述预设的手语数据库，确定与所述服务数据对应的手语动作；
根据所述手语动作，控制所述目标动画人物进行服务数据展示。
需要说明的是，本实施例的智能设备控制装置的实施过程和技术原理参见前述对智能设备控制方法实施例的解释说明，此处不再赘述。
本实施例提供的图像处理装置中，在获取到手语交互指令时，触发启动智能设备的摄像头或者触发启动终端中的摄像头，以通过摄像头采集手语图像，然后根据预设的手语数据库，对采集的手语图像进行识别，确定用户意图，并根据用户意图向用户返回服务数据。由此，使得智能设备与用户之间的交互不再局限于语音交互，帮助具有语言障碍的用户实现与智能设备之间的人机交互，增强了用户利用智能设备进行信息交互的便利性，改善了用户体验。
为了实现上述实施例，本发明还提出了一种智能设备。
图6为本发明一个实施例的智能设备的结构示意图。
如图6所示，该智能设备包括：存储器21、处理器22及摄像头23；
所述存储器21用于存储可执行程序代码；
所述摄像头23用于采集手语图像；
所述处理器22用于读取所述存储器21中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现第一方面实施例所述的智能设备控制方法。
需要说明的是，本实施例的智能设备的实施过程和技术原理参见前述对智能设备控制方法实施例的解释说明，此处不再赘述。
本实施例提供的智能设备中，在获取到手语交互指令时，触发启动智能设备的摄像头或者触发启动终端中的摄像头，以通过摄像头采集手语图像，然后根据预设的手语数据库，对采集的手语图像进行识别，确定用户意图，并根据用户意图向用户返回服务数据。由此，使得智能设备与用户之间的交互不再局限于语音交互，帮助具有语言障碍的用户实现与智能设备之间的人机交互，增强了用户利用智能设备进行信息交互的便利性，改善了用户体验。
为了实现上述目的，本发明还公开了一种计算机可读存储介质，该计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面实施例所述的智能设备控制方法。其中方法包括：在获取到手语交互指令时，触发启动智能设备的摄像头，或者触发启动终端中的摄像头，其中，所述终端中安装有与所述智能设备对应的客户端；通过所述摄像头采集手语图像；根据预设的手语数据库，对所述采集的手语图像进行识别，确定用户意图；根据所述用户意图向用户返回服务数据。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种智能设备控制方法，其特征在于，包括：
在获取到手语交互指令时，触发启动智能设备的摄像头，或者触发启动终端中的摄像头，其中，所述终端中安装有与所述智能设备对应的客户端；
通过所述摄像头采集手语图像；
根据预设的手语数据库，对所述采集的手语图像进行识别，确定用户意图；
根据所述用户意图向用户返回服务数据。
2.如权利要求1所述的方法，其特征在于，所述预设的手语数据库，包括手语图像与文本信息的对应关系；
所述采集的手语图像包括N帧图像，其中N为大于1的正整数；
所述对所述手语图像进行识别，包括：
分别将各帧图像与手语数据库中的图像进行匹配，确定各帧图像分别对应的各目标文本；
根据各图像的采集顺序及各目标文本，确定用户意图。
3.如权利要求1所述的方法，其特征在于，所述向用户返回服务器数据，包括：
通过所述智能设备向用户返回服务数据；
或者，
通过所述终端向用户返回服务数据。
4.如权利要求1所述的方法，其特征在于，所述向用户返回服务数据，包括：
通过语音播报的形式，向用户返回服务数据；
或者，
通过文本显示的形式，向用户返回服务数据；
或者，
通过动画展示的形式，向用户返回服务数据。
5.如权利要求4所述的方法，其特征在于，所述通过动画展示的形式，向用户返回服务数据之前，还包括：
获取到用户发送的动画展示指令。
6.如权利要求5所述的方法，其特征在于，所述动画展示指令中包括目标动画人物；
所述通过动画展示的形式，向用户返回服务数据，包括：
根据所述预设的手语数据库，确定与所述服务数据对应的手语动作；
根据所述手语动作，控制所述目标动画人物进行服务数据展示。
7.一种智能设备控制装置，其特征在于，包括：
触发模块，用于在获取到手语交互指令时，触发启动智能设备的摄像头，或者触发启动终端中的摄像头，其中，所述终端中安装有与所述智能设备对应的客户端；
采集模块，用于通过所述摄像头采集手语图像；
识别模块，用于根据预设的手语数据库，对所述采集的手语图像进行识别，确定用户意图；
反馈模块，用于根据所述用户意图向用户返回服务数据。
8.如权利要求7所述的装置，其特征在于，所述预设的手语数据库，包括手语图像与文本信息的对应关系；
所述采集的手语图像包括N帧图像，其中N为大于1的正整数；
所述识别模块包括：
匹配子单元，用于分别将各帧图像与手语数据库中的图像进行匹配，确定各帧图像分别对应的各目标文本；
确定子单元，用于根据各图像的采集顺序及各目标文本，确定用户意图。
9.一种智能设备，其特征在于，包括：存储器、处理器及摄像头；
所述存储器，用于存储可执行程序代码；
所述摄像头，用于采集手语图像；
所述处理器，用于读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-6任一所述的智能设备控制方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6任一所述的智能设备控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711422668.5A CN108170266A (zh) | 2017-12-25 | 2017-12-25 | 智能设备控制方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711422668.5A CN108170266A (zh) | 2017-12-25 | 2017-12-25 | 智能设备控制方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108170266A true CN108170266A (zh) | 2018-06-15 |
Family
ID=62520412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711422668.5A Pending CN108170266A (zh) | 2017-12-25 | 2017-12-25 | 智能设备控制方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108170266A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109032356A (zh) * | 2018-07-27 | 2018-12-18 | 深圳绿米联创科技有限公司 | 手语控制方法、装置及系统 |
| CN110138961A (zh) * | 2019-04-15 | 2019-08-16 | 平安普惠企业管理有限公司 | 智能语音助手的控制方法、装置、介质及设备 |
| CN110824940A (zh) * | 2019-11-07 | 2020-02-21 | 深圳市欧瑞博科技有限公司 | 控制智能家居设备的方法、装置、电子设备及存储介质 |
| CN111383305A (zh) * | 2018-12-27 | 2020-07-07 | 北京奇虎科技有限公司 | 智能终端中目标对象的识别方法、装置、电子设备 |
| CN111913585A (zh) * | 2020-09-21 | 2020-11-10 | 北京百度网讯科技有限公司 | 一种手势识别方法、装置、设备及存储介质 |
| CN112233505A (zh) * | 2020-09-29 | 2021-01-15 | 浩辰科技(深圳)有限公司 | 一种新型盲童交互学习系统 |
| WO2022226919A1 (zh) * | 2021-04-29 | 2022-11-03 | 华为技术有限公司 | 与乘客交流的方法及相关装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103699214A (zh) * | 2013-07-08 | 2014-04-02 | 济南大学 | 一种基于三维自然手势的三维跟踪和交互方法 |
| KR20140107946A (ko) * | 2013-02-28 | 2014-09-05 | 경북대학교 산학협력단 | 인증 장치 및 그 인증 방법 |
| CN104484037A (zh) * | 2014-12-12 | 2015-04-01 | 三星电子（中国）研发中心 | 通过可穿戴设备进行智能控制的方法及该可穿戴设备 |
| CN105204351A (zh) * | 2015-08-24 | 2015-12-30 | 珠海格力电器股份有限公司 | 空调机组的控制方法及装置 |
| CN106043150A (zh) * | 2016-08-04 | 2016-10-26 | 歌尔科技有限公司 | 一种带语音识别功能的车载投影系统 |
-
2017
- 2017-12-25 CN CN201711422668.5A patent/CN108170266A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140107946A (ko) * | 2013-02-28 | 2014-09-05 | 경북대학교 산학협력단 | 인증 장치 및 그 인증 방법 |
| CN103699214A (zh) * | 2013-07-08 | 2014-04-02 | 济南大学 | 一种基于三维自然手势的三维跟踪和交互方法 |
| CN104484037A (zh) * | 2014-12-12 | 2015-04-01 | 三星电子（中国）研发中心 | 通过可穿戴设备进行智能控制的方法及该可穿戴设备 |
| CN105204351A (zh) * | 2015-08-24 | 2015-12-30 | 珠海格力电器股份有限公司 | 空调机组的控制方法及装置 |
| CN106043150A (zh) * | 2016-08-04 | 2016-10-26 | 歌尔科技有限公司 | 一种带语音识别功能的车载投影系统 |
Non-Patent Citations (1)
| Title |
|---|
| 黄丽霞，周丽霞，赵丽梅: "《信息检索教程[M]》", 31 December 2014 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109032356A (zh) * | 2018-07-27 | 2018-12-18 | 深圳绿米联创科技有限公司 | 手语控制方法、装置及系统 |
| CN111383305A (zh) * | 2018-12-27 | 2020-07-07 | 北京奇虎科技有限公司 | 智能终端中目标对象的识别方法、装置、电子设备 |
| CN110138961A (zh) * | 2019-04-15 | 2019-08-16 | 平安普惠企业管理有限公司 | 智能语音助手的控制方法、装置、介质及设备 |
| CN110824940A (zh) * | 2019-11-07 | 2020-02-21 | 深圳市欧瑞博科技有限公司 | 控制智能家居设备的方法、装置、电子设备及存储介质 |
| CN111913585A (zh) * | 2020-09-21 | 2020-11-10 | 北京百度网讯科技有限公司 | 一种手势识别方法、装置、设备及存储介质 |
| CN112233505A (zh) * | 2020-09-29 | 2021-01-15 | 浩辰科技(深圳)有限公司 | 一种新型盲童交互学习系统 |
| WO2022226919A1 (zh) * | 2021-04-29 | 2022-11-03 | 华为技术有限公司 | 与乘客交流的方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108170266A (zh) | 智能设备控制方法、装置及设备 | |
| US10971188B2 (en) | Apparatus and method for editing content | |
| US11474779B2 (en) | Method and apparatus for processing information | |
| CN111683263B (zh) | 直播指导方法、装置、设备及计算机可读存储介质 | |
| US20180276899A1 (en) | Method, apparatus, and system for generating an ar application and rendering an ar instance | |
| CN108847214B (zh) | 语音处理方法、客户端、装置、终端、服务器和存储介质 | |
| CN110333836B (zh) | 信息的投屏方法、装置、存储介质和电子装置 | |
| CN109992237B (zh) | 智能语音设备控制方法、装置、计算机设备和存储介质 | |
| CN112437353B (zh) | 视频处理方法、视频处理装置、电子设备和可读存储介质 | |
| CN108304368B (zh) | 文本信息的类型识别方法和装置及存储介质和处理器 | |
| CN110691281B (zh) | 视频播放处理方法、终端设备、服务器及存储介质 | |
| CN109525877B (zh) | 基于视频的信息获取方法和装置 | |
| US20210389856A1 (en) | Method and electronic device for displaying interactive content | |
| CN110992937B (zh) | 语言离线识别方法、终端及可读存储介质 | |
| CN107229403B (zh) | 一种信息内容选择方法及装置 | |
| CN104811745A (zh) | 一种视频内容的展示方法及装置 | |
| CN107515870B (zh) | 一种搜索方法和装置、一种用于搜索的装置 | |
| CN114450969A (zh) | 视频截屏方法、终端及计算机可读存储介质 | |
| CN115396738A (zh) | 一种视频播放方法、装置、设备及存储介质 | |
| CN110868632B (zh) | 视频处理方法、装置、存储介质及电子设备 | |
| CN104156151A (zh) | 图片显示方法和装置 | |
| CN109922457B (zh) | 信息交互方法、装置及系统 | |
| CN111639158B (zh) | 一种学习内容的显示方法及电子设备 | |
| CN109727597A (zh) | 语音信息的交互辅助方法和装置 | |
| CN117995184A (zh) | 一种低注意力下的人机交互方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180615 |
|
| RJ01 | Rejection of invention patent application after publication |