CN113138669A - 电子设备的图像获取方法、装置、系统及电子设备 - Google Patents

电子设备的图像获取方法、装置、系统及电子设备 Download PDF

Info

Publication number
CN113138669A
CN113138669A CN202110462283.1A CN202110462283A CN113138669A CN 113138669 A CN113138669 A CN 113138669A CN 202110462283 A CN202110462283 A CN 202110462283A CN 113138669 A CN113138669 A CN 113138669A
Authority
CN
China
Prior art keywords
action
image acquisition
head
electronic equipment
recognition result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110462283.1A
Other languages
English (en)
Inventor
裴璇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110462283.1A priority Critical patent/CN113138669A/zh
Publication of CN113138669A publication Critical patent/CN113138669A/zh
Priority to PCT/CN2022/085407 priority patent/WO2022228068A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Abstract

本申请提供一种电子设备的图像获取方法、装置、系统及电子设备。电子设备与可穿戴设备通信连接,电子设备的图像获取方法包括检测到图像获取请求时,发送第一消息,其中,第一消息用于通知可穿戴设备收集头部动作信息;接收头部动作信息,并根据头部动作信息进行动作识别,生成动作识别结果;若动作识别结果符合预设动作,控制电子设备执行对应的图像获取操作。本申请的电子设备的图像获取方法、装置、系统及电子设备中,电子设备通过可穿戴设备获取用户头部动作信息,并对用户头部动作信息进行识别,从而控制电子设备执行不同的图像获取操作,使得用户能够远程进行拍照摄像等图像获取操作,提高了拍照的自由度,丰富了人机交互方式。

Description

电子设备的图像获取方法、装置、系统及电子设备
技术领域
本申请涉及电子技术领域,更具体而言,涉及一种电子设备的图像获取方法、装置、系统及电子设备。
背景技术
近年来,随着科技及经济的发展,手机、平板电脑等电子设备迅速普及。大多数用户在使用电子设备时,需要接触操控以使电子设备做出相应的操作,例如,手机可根据用户的操作播放音乐,视频等。然而,这些操作都需要用户直接触控显示屏,人机交互方式非常局限。
发明内容
本申请提供了一种电子设备的图像获取方法、装置、系统及电子设备,丰富了人机交互的交互方式。
本申请一个方面提供了一种电子设备的图像获取方法,电子设备与可穿戴设备通信连接,图像获取方法包括:当检测到图像获取请求时,发送第一消息,其中,第一消息用于通知可穿戴设备收集头部动作信息;接收头部动作信息,并根据头部动作信息进行动作识别,生成动作识别结果;若动作识别结果符合预设动作,控制电子设备执行对应的图像获取操作。
在另一方面,本申请还提供了一种图像获取装置,图像获取装置与可穿戴设备通信连接,图像获取装置包括:消息发送模块,用于在检测到图像获取请求时,发送第一消息,其中,第一消息用于通知可穿戴设备收集头部动作信息;动作识别模块,用于接收头部动作信息,并根据头部动作信息进行动作识别,生成动作识别结果;操作执行模块,用于在动作识别结果符合预设动作时,控制电子设备执行对应的图像获取操作。
在另一方面,本申请还提供了一种电子设备,电子设备与可穿戴设备通信连接,电子设备包括一个或多个处理器以及存储器;一个或多个程序被存储在存储器中并被配置为由一个或多个处理器执行以实现上述的方法。
在又一方面,本申请还提供了一种图像获取系统,包括电子设备与可穿戴设备;电子设备与可穿戴设备通信连接;电子设备包括处理器,处理器用于:在检测到图像获取请求时,发送第一消息,其中,第一消息用于通知可穿戴设备收集头部动作信息;接收头部动作信息,并根据头部动作信息进行动作识别,生成动作识别结果;在动作识别结果符合预设动作时,控制电子设备执行对应的图像获取操作。
本申请提供的电子设备的图像获取方法、装置、系统及电子设备,电子设备通过可穿戴设备获取用户头部动作信息,并对用户头部动作信息进行识别,不同的头部动作信息对应不同的操作,从而控制电子设备执行不同的图像获取操作。通过上述方法,用户可以不手握电子设备,远程进行拍照摄像等图像获取操作,大大拓展了人机交互的交互方式,提高了拍照的自由度及质量。
本申请的实施例的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实施例的实践了解到。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提出的一种图像获取系统的示意图;
图2是本申请一实施例提出的一种电子设备的图像获取方法的流程图;
图3是本申请另一实施例提出的一种电子设备的图像获取方法的流程图;
图4是本申请又一实施例提出的一种电子设备的图像获取方法的流程图;
图5是图4中提出的电子设备的图像获取方法的一种结构示意图;
图6是图4中提出的电子设备的图像获取方法的另一种结构示意图;
图7是本申请再一实施例提出的一种电子设备的图像获取方法的流程图;
图8是图7中提出的图像获取方法的一种结构示意图;
图9是本申请一实施例提出的一种图像获取装置的结构框图;
图10是本申请一实施例提出的一种电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
为了本申请实施例所示方案易于理解,下面对本申请实施例中出现的若干名词进行介绍。
人机交互:人机交互是指人与计算机之间使用某种对话语言,以一定的交互方式,为完成确定任务的人与计算机之间的信息交换过程。人机交互功能主要靠可输入输出的外部设备和相应的软件来完成。可供人机交互使用的设备主要有键盘显示、鼠标、各种模式识别设备等。与这些设备相应的软件就是操作系统提供人机交互功能的部分。人机交互部分的主要作用是控制有关设备的运行和理解并执行通过人机交互设备传来的有关的各种命令和要求。早期的人机交互设施是键盘显示器。操作员通过键盘打入命令,操作系统接到命令后立即执行并将结果通过显示器显示。打入的命令可以有不同方式,但每一条命令的解释是清楚的,唯一的。
人脸识别:人脸识别,是基于人的脸部特征信息进行身份识别的生物识别技术。用摄像机采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸。
姿态识别:人体姿态识别在本申请中被定义为人体关键点的定位问题,即人体骨骼关键点检测,也称为姿态估计,这一直以来是计算机视觉领域的重要关注点。人体骨骼关键点检测主要检测人体的关键点信息,如关节,五官等,通过关键点描述人体骨骼信息。
近年来,随着科技及经济的发展,手机、平板电脑等电子设备迅速普及。大多数用户在使用电子设备时,需要接触操控以使电子设备做出相应的操作,例如,手机可根据用户的操作播放音乐,视频等。然而,这些操作都需要用户直接触控显示屏,人机交互方式非常局限。
随着无线蓝牙耳机的普及,新的人机交互方式开始出现。如何发展出更多基于无线蓝牙耳机的人机交互方式,以适应多种场景、不同用户的各种需求,是当前需要考虑的问题。基于头部动作的新的交互方式在便捷的同时提供了更好的私密保护,是一个可以前进的方向。
请参阅图1,本申请一实施例提出的一种图像获取系统100的示意图,该图像获取系统100可以包括电子设备110以及可穿戴设备120。如图1所示,所述电子设备110可以为智能手机、平板电脑、智能穿戴设备(如智能手环、智能手表等)、智慧大屏、网关、车载设备以及笔记本电脑等,所述可穿戴设备120可以包括智能眼镜、智能耳机、智能耳环或智能项圈中的至少一种。当可穿戴设备120是智能耳机时,该智能耳机可以是TWS(True WirelessStereo,真无线立体声)耳机。
可选地,该可穿戴设备120可以为单个组件,该可穿戴设备120也可以包括第一组件和第二组件。在一种可能的方式中,第一组件和第二组件可以是各自独立的组件,第一组件在物理形态上是一个独立的设备,第二组件在物理形态上也是一个独立的设备。比如,当可穿戴设备是TWS耳机时,第一组件是TWS耳机中的左侧耳机,第二组件是TWS耳机中的右侧耳机。或者,当可穿戴设备是智能耳环时,第一组件是智能耳环中的左侧耳环,第二组件是智能耳环中的右侧耳环。
在另一种可能的实现方式中,第一组件和第二组件是同一个可穿戴设备120中设置在不同位置的组件。比如,当可穿戴设备120是智能眼镜时,第一组件被设置是左侧眼镜腿中,第二组件被设置在右侧眼镜腿中。
电子设备110和可穿戴设备120通信连接,其中,电子设备110和可穿戴设备120之间可以通过无线连接,也可以通过实体连接线进行连接。电子设备110与可穿戴设备120可以通过无线通信协议建立通信链路,其中,无线通信协议可以包括Wlan协议、蓝牙协议或者ZigBee协议等。
所述电子设备110包括处理器1120。所述电子设备110还可以包括显示屏跟摄像头。处理器1120在检测到图像获取请求时,发送第一消息,其中,第一消息用于通知可穿戴设备120收集头部动作信息。随后,处理器1120接收头部动作信息,并根据头部动作信息进行动作识别,生成动作识别结果。在动作识别结果符合预设动作时,处理器1120控制电子设备110执行对应的图像获取操作。这里的图像获取操作可以为拍照摄像,也可以为视频直播、视频会议等。电子设备110通过可穿戴设备120获取用户头部动作信息并执行对应操作,拍照或摄像时无需点击显示屏,也无需手动操控可穿戴设备120,免去了自拍者必须手握手机,使用自拍杆或用手触碰耳机的某些位置的拍照按键的困扰,大幅提高了拍照的自由度和成片的质量。
所述可穿戴设备120可以包括加速度传感器或磁力传感器,或加速度传感器和磁力传感器。加速度传感器可以侦测、感应突然地加速或减速,用于获取头部的加速度数据。磁力传感器可以获取磁场数据,侦测出头部的线速度或角速度。可选地,采用加速度传感器和磁力传感器采集加速度数据和磁场数据,电子设备根据加速度数据和磁场数据计算头部姿态角,进而可以根据姿态角判断头部姿态。
所述电子设备110中可以包括动作识别模块,用于对可穿戴设备120采集的传感器数据进行动作识别,进而可以通过动作识别结果对电子设备110进行控制。
在一种实施例中,图像获取系统100包括电子设备110及可穿戴设备120,电子设备110与可穿戴设备120通信连接。电子设备110的处理器1120在检测到图像获取请求时,发送第一消息,所述第一消息用于通知可穿戴设备120收集头部动作信息。所述可穿戴设备120通过加速度传感器及磁力传感器侦测头部动作信息,并发送给电子设备110。电子设备110的处理器1120接收所述头部动作信息,并根据所述头部动作信息进行动作识别,生成所述动作识别结果;在所述动作识别结果符合预设动作时,处理器1120控制所述电子设备执行对应的图像获取操作。
请参阅图2,本申请实施例提供的一种电子设备的图像获取方法,所述电子设备与可穿戴设备通信连接,所述方法包括:
01:当检测到图像获取请求时,发送第一消息,其中,所述第一消息用于通知所述可穿戴设备收集头部动作信息;
本申请实施例中检测到图像获取请求即为电子设备中检测到用户的图像获取触发操作,触发方式可以是用户点击显示屏触发,也可以是语音触发,还可以是按键触发。该应用可以为相机中拍照或录像,也可以为视频通话、视频会议或直播。当电子设备检测到用户的图像获取请求时,电子设备向可穿戴设备发送第一消息,其中,所述第一消息用于通知可穿戴设备收集头部动作信息。
作为一种实现方式,电子设备向可穿戴设备发送第一消息,可以发送连续信号,也可以发送离散信号。具体的,当发送离散信号时,可以为单位时间内发送一次或多次信号后停止,譬如每秒发送三次或五次通知消息;也可以为不间断发送消息,直到接收到可穿戴设备发送的信息。此信息可以为可穿戴设备发送的头部动作信息,也可以单纯为可穿戴设备表示接收到头部动作信息的反馈信息。
可选地,可穿戴设备可以包括加速度传感器和磁力传感器。加速度传感器可以为三轴传感器,当可穿戴设备接收到电子设备发送的第一消息,可穿戴设备内置的三轴加速度传感器开始从X、Y、Z三个维度采集传感器数据,同时磁力传感器采集磁场数据。可穿戴设备将两种数据发送给电子设备,用于识别头部动作信息。
可选地,所述头部动作信息包括但不限于:摇头,点头,抬头和摆头。摇头是以颈部为基轴旋转头部的动作,旋转时下颌角几乎保持在同一水平面上;点头为将头部朝向胸前下含的动作;抬头即仰起头的动作,下颌角向远离胸部方向运动;摆头为以颈部为旋转中心,朝向两肩左右偏转的动作,偏转时左侧下颌角靠近一侧肩部,远离另一侧肩部,头部与背部几乎保持在同一水平面上。
在本申请实施例中,电子设备在发送第一消息之前,还可以检测电子设备是否与可穿戴设备处于连接状态,若电子设备与可穿戴设备处于连接状态,电子设备再发送第一消息。
具体的,电子设备与可穿戴设备之间的连接状态可以包括处于连接状态和没有处于连接状态,其中,没有处于连接状态包括非连接状态和连接中断状态。
作为其中一种方式,可以通过查看电子设备的状态值的方式来判断电子设备与可穿戴设备之间的连接状态,具体的,可以预先为电子设备设置两个不同的状态值,当电子设备连接可穿戴设备时,返回第一状态值,当电子设备没有连接可穿戴设备时,返回第二状态值,从而可以通过检测第一状态值和第二状态值的方式来确定电子设备是否与可穿戴设备处于连接状态。示例性的,预先将电子设备的第一状态值设置为1,将电子设备的第二状态值设置为0,若检测到电子设备的状态值为1,则确定电子设备与可穿戴设备处于连接状态,若检测到电子设备返回的状态值为0,则确定电子设备与可穿戴设备处于非连接状态。可选的,若在时间顺序上检测到相邻时刻电子设备返回的状态值由1变为0,则确定电子设备与可穿戴设备处于连接中断状态。
作为其中另一种方式,电子设备在连接可穿戴设备和断开可穿戴设备的时候都会发送广播,所以,电子设备可以通过监听广播的方式,确定电子设备是否与可穿戴设备处于连接状态。
04:接收所述头部动作信息,并根据所述头部动作信息进行动作识别,生成所述动作识别结果;
本申请实施例中,所述头部动作信息即加速度传感器和磁力传感器数据,电子设备接收可穿戴设备的加速度传感器和磁力传感器数据,并将其导入动作识别模型中,获取动作识别模型输出的动作分类结果。具体地,电子设备根据接收到的头部动作信息,求取三轴加速度传感器数据的X、Y、Z三个通道的值的平均值,并将该平均值与磁力传感器数据一起输入动作识别模型中进行动作分类。
具体的,电子设备根据加速度传感器数据平均值与磁力传感器数据一起计算出姿态角数据,根据姿态角数据进行动作分类识别。
在一些实施例中,所述动作识别发生在可穿戴设备端。所述动作识别结果为所述可穿戴设备根据所述头部动作信息进行动作识别后生成。电子设备接收所述动作识别结果,之后进行步骤07。
07:若所述动作识别结果符合预设动作,控制所述电子设备执行对应的图像获取操作。
在本申请的一实施例中,若动作识别结果为预先设置的头部动作(如点头、摇头、摆头、抬头、转头等),则控制电子设备执行该头部动作对应的图像获取操作。上述方法在图像获取过程中无需点击显示屏,也无需手动操控可穿戴设备,用户可以远程自由的控制进行图像获取操作,大幅提高了拍照的自由度和成片的质量。
在一些实施例中,动作识别结果符合预设动作还包括动作识别结果符合预设动作幅度。可选地,当动作识别结果符合预设动作时,将姿态角数据与预设的角度阈值进行比较,当姿态角数据大于预设角度阈值时,控制电子设备执行对应的图像获取操作。
在一种实现方式中,将点头动作的角度阈值设置为面向地面向下运动20度,若检测到用户的头部面向地面向下运动的幅度超过20度,则控制电子设备执行点头对应的图像获取操作;若检测到用户头部面向地面向下运动的幅度没有超过20度,不执行对应的图像获取操作。相应的,可以检测用户的头部以颈部为旋转中心,朝向左肩或向右肩偏转的幅度是否超过预设的幅度(此时头部与背部在同一水平面上),当检测到用户的头部朝向左肩或向右肩偏转的幅度超过预设的角度时,控制电子设备执行摆头对应的图像获取操作;若检测到用户的头部朝向左肩或向右肩偏转的幅度没有超过预设的角度时,则不执行图像获取操作。示例性的,可以预先将摆头动作的预设角度设置为朝向左肩或朝向右肩偏转45度,当检测到用户的头部朝向左肩或朝向右肩偏转超过45度时,控制电子设备执行摆头对应的图像获取操作。设置角度阈值增加了动作识别结果判断的步骤,提高了动作触发阈值,从而使得在图像获取期间,因用户调整姿势或随机动作而导致发生误触的几率降低。
请参阅图3,在某些实施例中,01:当检测到图像获取请求时,发送第一消息,其中,所述第一消息用于通知所述可穿戴设备收集头部动作信息,可包括:
012:当检测到所述图像获取请求时,判断指定事件是否存在;
014:若所述指定事件存在,则发送第一消息,其中,所述第一消息用于通知所述可穿戴设备收集头部动作信息;
04:接收所述头部动作信息,并根据所述头部动作信息进行动作识别,生成所述动作识别结果;
07:若所述动作识别结果符合预设动作,控制所述电子设备执行对应的图像获取操作。
具体而言,当电子设备检测到图像获取请求时,需要识别指定事件是否存在。如若指定事件存在,电子设备向可穿戴设备发送第一消息,通知可穿戴设备收集用户头部动作信息。之后电子设备接收所述头部动作信息,并根据所述头部动作信息进行动作识别,生成所述动作识别结果。如若所述动作识别结果符合预设动作,控制所述电子设备执行对应的图像获取操作。增加识别指定事件是否存在这一判断步骤,提高了判断条件,能够防止用户还未准备好时因移动而产生的误操作。
请参阅图4,图4为本申请另一实施例提出的一种电子设备的图像获取方法的流程图。图4提供的图像获取方法,上述识别指定事件是否存在为识别人脸是否存在或识别姿态匹配成功是否存在。07:若所述动作识别结果符合预设动作,控制所述电子设备执行对应的图像获取操作,包括:
072:当所述动作识别结果为第一动作时,在第一预设时间后控制所述电子设备执行拍摄操作并存储所述拍摄结果;
和/或,当所述动作识别结果为第二动作时,控制所述电子设备执行切换操作。
结合图4,在某些实施例中,当电子设备检测到用户申请拍摄等操作时,首先会进行人脸识别或姿态识别操作,即检测摄像头拍摄范围内是否录入人脸或者用户是否按指定姿势站位。此处摄像头可以为前置摄像头也可以为后置摄像头。当电子设备识别到人脸或识别出姿势匹配成功时,会向可穿戴设备发送收集用户头部信息的通知。可穿戴设备收到通知后会不断收集用户头部信息并向电子设备发送。电子设备接收所述头部动作信息,并根据所述头部动作信息进行动作识别,生成所述动作识别结果。当所述动作识别结果为第一动作时,在第一预设时间后控制所述电子设备执行拍摄操作并存储所述拍摄结果;和/或,当所述动作识别结果为第二动作时,控制所述电子设备执行切换操作。当所述动作识别结果为第二动作时,控制所述电子设备执行切换操作。在执行完该图像获取操作后,电子设备会根据可穿戴设备发送的头部动作信息进入下一次识别操作。上述图像获取方法中,耳机对用户动作的监听不是打开相机后就开始的,而是通过检测到人脸入镜或摆出正确的姿态来触发,避免了在走到拍照位置和调整姿势的过程中头部的动作发生误触。
具体地,所述第一动作可以为点头、抬头、转头、摇头或摆头中任一种或其他几种组合,所述第二动作可以为不同于所述第一动作的点头、抬头、转头、摇头或摆头的这几个动作或其他头部动作中的任一种或其他几种的组合,此处不做限制。举例来说,第一动作可以为点头,第二动作可以为摇头。所述切换操作可以为切换滤镜或切换姿势提示框,并且分为向左切换与向右切换。左摇头可以对应向左切换操作,右摇头可以对应向右切换操作。同样地,第一动作可以为左右摇头,第二动作可以为点头和抬头,其中点头可对应向左切换(或切换到上一个),抬头可对应向右切换(或切换到下一个);也可以点头对应向右切换(或切换到上一个),摇头对应向左切换(或切换到下一个)。
具体地,所述第一预设时间可以为3秒或5秒或其他任何时间,第一预设时间为用户随心设置,此处不做限定。
请结合图4及图5,在一种实现例中,用户点开相机自拍模式,手机内置的深度学习人脸识别模型开始工作。当检测到人脸后,人机交互的自拍辅助系统被激活,手机向蓝牙耳机发送通知,蓝牙耳机开始收集用户的头部动作信息并发送给手机。手机进行动作识别判断,当识别到一个点头动作,相机开始倒计时3秒时间,计时结束后自动拍照,然后继续监听耳机动作反馈。当手机识别到一个摇头动作,相机按照预设顺序切换滤镜,左摇切至上一个,右摇切至下一个。
请结合图4及图6,在另一种实施例中,用户点开姿势提示拍照模式,相机界面生成半透明的拍照姿势提示框,以剪影的形式提示拍照者摆姿势的方法,此时手机内置的深度学习姿态检测模块开始工作,当检测到人的四肢、头、躯干共6个节点都与提示框基本符合后,系统被激活,手机向蓝牙耳机发送通知,蓝牙耳机开始收集用户的头部动作信息并发送给手机。手机实时进行动作识别判断。当识别到一个点头动作时,相机开始倒计时5秒,计时结束后自动拍照,然后继续监听耳机动作反馈。当手机识别到一个摇头动作,相机按照预设顺序切换姿势提示框,左摇切至上一个,右摇切至下一个,此时相机界面会刷新显示新的提示框。
在又一种实施例中,所述图像获取操作可以为视频直播,用户进入所述视频直播页面,当用户点头时,手机识别到点头操作打开麦克风;当用户摇头时,向左摇头对应于切换到当前滤镜左边的滤镜,向右摇头对应于切换到当前滤镜右边的滤镜。
请参阅图7,图7为本申请再一实施例提出的一种电子设备的图像获取方法的流程图。图7提供的图像获取方法,07:若所述动作识别结果符合预设动作,控制所述电子设备执行对应的图像获取操作,可包括:
073:当所述动作识别结果为第一动作时,控制所述电子设备执行录制操作或停止录制操作;和/或,当所述动作识别结果为第二动作时,控制所述电子设备执行结束录制操作并存储所述录制结果,其中所述第二动作不同于所述第一动作。
在某些实施例中,当电子设备检测到用户申请拍摄等操作时,发送用于通知所述可穿戴设备收集头部动作信息的第一消息。可穿戴设备收到通知后会不断收集用户头部动作信息并向电子设备发送。电子设备接收所述头部动作信息,并根据所述头部动作信息进行动作识别,生成所述动作识别结果。当所述动作识别结果为第一动作时,控制所述电子设备执行录制操作或停止录制操作。具体地,当所述电子设备处于录制状态且所述动作识别结果为第一动作时,执行停止录制操作;当所述电子设备处于停止录制状态且所述动作识别结果为第一动作时,执行录制操作;和/或,当所述动作识别结果为第二动作时,控制所述电子设备执行结束录制操作并存储所述录制结果,其中所述第二动作不同于所述第一动作。在执行完该图像获取操作后,电子设备会根据可穿戴设备发送的头部动作信息进入下一次识别操作。
具体地,所述第一动作可以为点头、抬头、转头、摇头或摆头中任一种或其他几种组合,所述第二动作可以为不同于所述第一动作的点头、抬头、转头、摇头或摆头的这几个动作或其他头部动作中的任一种或其他几种的组合,此处不做限制。
请结合图7及图8,在一种实施例中提供了一种自拍辅助系统中的辅助摄像功能。如图所示,用户点击录像模式,系统被激活,此时,无线蓝牙耳机内置的传感器会将收集到的信号数据不断的发送给移动端,移动端将进行动作识别判断。当移动端识别到一个点头动作,此时相机如果正在录制,就会自动暂停录制;如果在暂停状态,就会自动继续录制。当移动端识别到一个摇头动作,无论相机在录制还是暂停状态,都会自动结束录制。这种视频录制方式可以解放双手,满足残障人士的使用,提供了新的人机交互方式。
在另一种实施例中,所述图像获取请求为视频会议请求。当手机检测到用户进入视频会议页面,向耳机发送开始收集头部动作信息的通知。耳机收到信息后开始收集头部动作信息并持续向手机发送,手机根据接收到的头部动作信息进行识别并进行判断。如果识别出用户执行了转头操作,所述转头操作为头绕脖颈至少一圈(即360度)的操作,若当前麦克风和/或摄像头为关闭状态,则打开麦克风和/或摄像头;若当前麦克风和/或摄像头为打开状态,则关闭麦克风和/或摄像头。如果识别出用户执行力连续摆头操作(左右摆头重复至少三次),则退出当前视频会议。
在某些实施例中,04中的所述根据所述头部动作信息进行动作识别,生成所述动作识别结果,可以包括:根据所述头部动作信息,基于卷积神经网络模型进行所述动作识别,输出所述动作识别结果。
具体地,本申请实施例提供了一种图像获取方法,该方法包括:当检测到图像获取请求时,发送第一消息,其中,所述第一消息用于通知所述可穿戴设备收集头部动作信息;接收所述头部动作信息,并根据所述头部动作信息,基于卷积神经网络模型进行所述动作识别,输出所述动作识别结果;若所述动作识别结果符合预设动作,控制所述电子设备执行对应的图像获取操作。基于卷积神经网络模型的图像获取方法涉及到的模型对不同人群有比较好的泛化能力,以及对噪声有较强的抗干扰能力。
可选地,本申请实施例提供的图像获取方法还包括:当所述动作识别结果为第三动作时,控制所述电子设备执行调节焦距操作。
具体地,此处第三动作可以为不同于第一动作及第二动作的任一头部动作。举例来说,若第三动作为摆头,则在用户进行录像或拍照时,用户向左摆头可以增加焦距,从而拍摄近景;用户向右摆头可以减小焦距,从而拍摄远景。每次摆头对应5mm的焦距变化。此处焦距变化及动作与焦距对应关系均可人为设定,不做强行限制。本实施例中通过设定不同的动作对应不同的焦距,使得人机交互过程中可以灵活的拍摄远景跟近景,提高拍摄的灵活度。
可选地,本申请实施例提供的图像获取方法还包括:当所述动作识别结果为第四动作时,控制所述电子设备执行连拍操作;所述连拍操作为在第二预设时间后,拍摄预设数量的图像。
具体的,此处第四动作可以为不同于第一动作、第二动作及第三动作的任一头部动作。举例来说,若第四动作为抬头,则电子设备在检测到用户为拍照模式时,通知可穿戴设备检测用户的头部动作。电子设备获取该头部动作信息后进行识别,若识别到抬头动作,则执行连拍操作,电子设备在第二预设时间后拍摄预设数量的图像,这里第二预设时间及预设数量均不做限制,预设数量可以为5张或者10张,第二预设时间可以为3秒后或者5秒后。更具体地,所述连拍操作可以设定每秒拍摄的帧率,譬如每秒10帧。本实施例中通过设定连拍对应的动作,使得用户可以远程实现连拍,提高了用户的人机交互体验。
请参阅图9,本申请提供了一种图像获取装置,所述图像获取装置运行于电子设备,且与可穿戴设备通信连接,所述图像获取装置包括消息发送模块210、动作识别模块220以及操作执行模块230。
消息发送模块210,用于在检测到图像获取请求时,发送第一消息,其中,所述第一消息用于通知所述可穿戴设备收集头部动作信息;
动作识别模块220,用于接收所述头部动作信息,并根据所述头部动作信息进行动作识别,生成所述动作识别结果;
操作执行模块230,用于在所述动作识别结果符合预设动作时,控制所述电子设备执行对应的图像获取操作。
本实施例中的图像获取装置使得解放双手的拍摄方式成为可能。
一种可行的实现方式中,所述消息发送模块210,用于在检测到所述图像获取请求时,判断指定事件是否存在;若所述指定事件存在,则发送第一消息,其中,所述第一消息用于通知所述可穿戴设备收集头部动作信息;
动作识别模块220,用于接收所述头部动作信息,并根据所述头部动作信息进行动作识别,生成所述动作识别结果;
操作执行模块230,用于在所述动作识别结果符合预设动作时,控制所述电子设备执行对应的图像获取操作。
具体地,操作执行模块230,用于在所述动作识别结果为第一动作时,在第一预设时间后控制所述电子设备执行拍摄操作并存储所述拍摄结果;和/或,当所述动作识别结果为第二动作时,控制所述电子设备执行切换操作。
另一种可行的实现方式中,所述消息发送模块210,用于在检测到图像获取请求时,发送第一消息,其中,所述第一消息用于通知所述可穿戴设备收集头部动作信息;
动作识别模块220,用于接收所述头部动作信息,并根据所述头部动作信息进行动作识别,生成所述动作识别结果;
操作执行模块230,用于在所述动作识别结果为第一动作时,控制所述电子设备基于当前状态选择执行录制操作或停止录制操作;和/或,当所述动作识别结果为第二动作时,控制所述电子设备执行结束录制操作并存储所述录制结果。
一种可行的实现方式中,操作执行模块230,还用于在所述动作识别结果为第三动作时,控制所述电子设备执行调节焦距操作。
一种可行的实现方式中,操作执行模块230,还用于在所述动作识别结果为第四动作时,控制所述电子设备执行连拍操作;所述连拍操作为在第二预设时间后,拍摄预设数量的图像。
请参阅图10,图10为一个实施例中电子设备的内部结构示意图。结合图10与图1,所述电子设备110与可穿戴设备通信120连接。如图10所示,该电子设备包括通过系统总线连接的一个或多个处理器1120、存储器1140、摄像头1160以及显示器1180。一个或多个程序被存储在所述存储器1140中并被配置为由所述一个或多个处理器1120执行该图像获取方法所对应的的步骤。
其中,处理器1120可以包括一个或者多个处理核。处理器1120利用各种接口和线路连接整个电子设备110内的各个部分,通过运行或执行存储在存储器1140内的指令、程序、代码集或指令集,以及调用存储在存储器1140内的数据,执行电子设备110的各种功能和处理数据。可选地,处理器1120可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。处理器1120可集成中央处理器(Central Processing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器1120中,单独通过一块通信芯片进行实现。
存储器1140可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器1140可用于存储指令、程序、代码、代码集或指令集。存储器1140可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备110在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
所述摄像头1160用于接收用户的图像信息。一种可能的实现方式中,摄像头1160可以是一个单独的组件。另一种可能的方式中,摄像头1160是包含多个摄像头单元的摄像头模块。本申请实施例不对摄像头1160的具体实现方式进行限定。
所述显示屏1180用于显示电子设备110的信息。一种可能的实现方式中,显示屏1180可以包括触控功能,用于接收用户的触控信息。
在本说明书的描述中,参考术语“某些实施方式”、“一个例子中”、“示例地”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (10)

1.一种电子设备的图像获取方法,所述电子设备与可穿戴设备通信连接,其特征在于,所述方法包括:
当检测到图像获取请求时,发送第一消息,其中,所述第一消息用于通知所述可穿戴设备收集头部动作信息;
接收所述头部动作信息,并根据所述头部动作信息进行动作识别,生成所述动作识别结果;
若所述动作识别结果符合预设动作,控制所述电子设备执行对应的图像获取操作。
2.根据权利要求1所述的图像获取方法,其特征在于,所述当检测到图像获取请求时,发送第一消息,包括:
当检测到所述图像获取请求时,判断指定事件是否存在;
若所述指定事件存在,则发送第一消息,其中,所述第一消息用于通知所述可穿戴设备收集头部动作信息。
3.根据权利要求2所述的图像获取方法,其特征在于,所述判断指定事件是否存在包括识别人脸是否存在或识别姿态匹配是否成功,所述若所述动作识别结果符合预设动作,控制所述电子设备执行对应的图像获取操作,包括:
当所述动作识别结果为第一动作时,在第一预设时间后控制所述电子设备执行拍摄操作并存储所述拍摄结果;
和/或,当所述动作识别结果为第二动作时,控制所述电子设备执行切换操作。
4.根据权利要求1所述的图像获取方法,其特征在于,若所述动作识别结果符合预设动作,控制所述电子设备执行对应的图像获取操作,包括:
当所述动作识别结果为第一动作时,控制所述电子设备基于当前状态选择执行录制操作或停止录制操作;
和/或,当所述动作识别结果为第二动作时,控制所述电子设备执行结束录制操作并存储所述录制结果。
5.根据权利要求1所述的图像获取方法,其特征在于,所述根据所述头部动作信息进行动作识别,生成所述动作识别结果,包括:
根据所述头部动作信息,基于卷积神经网络模型进行所述动作识别,输出所述动作识别结果。
6.根据权利要求3或4所述的图像获取方法,其特征在于,所述方法还包括:
当所述动作识别结果为第三动作时,控制所述电子设备执行调节焦距操作。
7.根据权利要求3所述的图像获取方法,其特征在于,所述方法还包括:
当所述动作识别结果为第四动作时,控制所述电子设备执行连拍操作;所述连拍操作为在第二预设时间后,拍摄预设数量的图像。
8.一种图像获取装置,所述图像获取装置与可穿戴设备通信连接,其特征在于,所述图像获取装置包括:
消息发送模块,用于在检测到图像获取请求时,发送第一消息,其中,所述第一消息用于通知所述可穿戴设备收集头部动作信息;
动作识别模块,用于接收所述头部动作信息,并根据所述头部动作信息进行动作识别,生成所述动作识别结果;
操作执行模块,用于在所述动作识别结果符合预设动作时,控制所述电子设备执行对应的图像获取操作。
9.一种电子设备,所述电子设备与可穿戴设备通信连接,其特征在于,所述电子设备包括一个或多个处理器以及存储器;一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行权利要求1-7任一所述的方法。
10.一种图像获取系统,其特征在于,所述系统包括电子设备与可穿戴设备;
所述电子设备与所述可穿戴设备通信连接;
所述电子设备包括处理器,所述处理器用于:
在检测到图像获取请求时,发送第一消息,其中,所述第一消息用于通知所述可穿戴设备收集头部动作信息;
接收所述头部动作信息,并根据所述头部动作信息进行动作识别,生成所述动作识别结果;
在所述动作识别结果符合预设动作时,控制所述电子设备执行对应的图像获取操作。
CN202110462283.1A 2021-04-27 2021-04-27 电子设备的图像获取方法、装置、系统及电子设备 Pending CN113138669A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110462283.1A CN113138669A (zh) 2021-04-27 2021-04-27 电子设备的图像获取方法、装置、系统及电子设备
PCT/CN2022/085407 WO2022228068A1 (zh) 2021-04-27 2022-04-06 电子设备的图像获取方法、装置、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110462283.1A CN113138669A (zh) 2021-04-27 2021-04-27 电子设备的图像获取方法、装置、系统及电子设备

Publications (1)

Publication Number Publication Date
CN113138669A true CN113138669A (zh) 2021-07-20

Family

ID=76816136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110462283.1A Pending CN113138669A (zh) 2021-04-27 2021-04-27 电子设备的图像获取方法、装置、系统及电子设备

Country Status (2)

Country Link
CN (1) CN113138669A (zh)
WO (1) WO2022228068A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114253397A (zh) * 2021-11-18 2022-03-29 深圳大学 一种基于耳戴式惯性传感器的智能设备交互系统
CN114401341A (zh) * 2022-01-12 2022-04-26 Oppo广东移动通信有限公司 摄像头的控制方法、装置、电子设备及存储介质
WO2022228068A1 (zh) * 2021-04-27 2022-11-03 Oppo广东移动通信有限公司 电子设备的图像获取方法、装置、系统及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102946516A (zh) * 2012-11-28 2013-02-27 广东欧珀移动通信有限公司 移动终端检测眨眼动作实现自拍的方法及移动终端
CN103279253A (zh) * 2013-05-23 2013-09-04 广东欧珀移动通信有限公司 一种主题设置方法及终端设备
CN103713732A (zh) * 2012-09-28 2014-04-09 王潮 一种个人随身装置
US20140320532A1 (en) * 2013-04-30 2014-10-30 Intellectual Discovery Co., Ltd. Wearable electronic device and method of controlling the same
CN104394312A (zh) * 2014-10-23 2015-03-04 小米科技有限责任公司 拍摄控制方法及装置
CN106227331A (zh) * 2016-07-08 2016-12-14 广东小天才科技有限公司 应用于电子终端的试题搜索方法和装置
CN106896917A (zh) * 2017-02-21 2017-06-27 北京小米移动软件有限公司 辅助用户体验虚拟现实的方法及装置、电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9413947B2 (en) * 2014-07-31 2016-08-09 Google Technology Holdings LLC Capturing images of active subjects according to activity profiles
CN109144245B (zh) * 2018-07-04 2021-09-14 Oppo(重庆)智能科技有限公司 设备控制方法及相关产品
CN108965722A (zh) * 2018-08-22 2018-12-07 奇酷互联网络科技(深圳)有限公司 一种拍摄控制方法及可穿戴设备
CN110162204B (zh) * 2018-10-09 2022-08-12 腾讯科技(深圳)有限公司 触发设备功能的方法、装置以及控制进行图像捕获的方法
CN113138669A (zh) * 2021-04-27 2021-07-20 Oppo广东移动通信有限公司 电子设备的图像获取方法、装置、系统及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103713732A (zh) * 2012-09-28 2014-04-09 王潮 一种个人随身装置
CN102946516A (zh) * 2012-11-28 2013-02-27 广东欧珀移动通信有限公司 移动终端检测眨眼动作实现自拍的方法及移动终端
US20140320532A1 (en) * 2013-04-30 2014-10-30 Intellectual Discovery Co., Ltd. Wearable electronic device and method of controlling the same
CN103279253A (zh) * 2013-05-23 2013-09-04 广东欧珀移动通信有限公司 一种主题设置方法及终端设备
CN104394312A (zh) * 2014-10-23 2015-03-04 小米科技有限责任公司 拍摄控制方法及装置
CN106227331A (zh) * 2016-07-08 2016-12-14 广东小天才科技有限公司 应用于电子终端的试题搜索方法和装置
CN106896917A (zh) * 2017-02-21 2017-06-27 北京小米移动软件有限公司 辅助用户体验虚拟现实的方法及装置、电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022228068A1 (zh) * 2021-04-27 2022-11-03 Oppo广东移动通信有限公司 电子设备的图像获取方法、装置、系统及电子设备
CN114253397A (zh) * 2021-11-18 2022-03-29 深圳大学 一种基于耳戴式惯性传感器的智能设备交互系统
CN114401341A (zh) * 2022-01-12 2022-04-26 Oppo广东移动通信有限公司 摄像头的控制方法、装置、电子设备及存储介质
CN114401341B (zh) * 2022-01-12 2023-08-29 Oppo广东移动通信有限公司 摄像头的控制方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2022228068A1 (zh) 2022-11-03

Similar Documents

Publication Publication Date Title
CN113138669A (zh) 电子设备的图像获取方法、装置、系统及电子设备
CN112911182B (zh) 游戏互动方法、装置、终端及存储介质
KR101078057B1 (ko) 영상인식기법을 이용한 촬영 제어 기능을 구비한 이동단말 및 영상인식기법을 이용한 촬영 제어 시스템
US11170580B2 (en) Information processing device, information processing method, and recording medium
JP6298558B1 (ja) 仮想空間を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
CN108712603B (zh) 一种图像处理方法及移动终端
CN105320262A (zh) 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
JP6452440B2 (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム
CN109151546A (zh) 一种视频处理方法、终端及计算机可读存储介质
CN111583355B (zh) 面部形象生成方法、装置、电子设备及可读存储介质
WO2020078319A1 (zh) 基于手势的操控方法及终端设备
JP7279646B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN108319363A (zh) 基于vr的产品展示方法、装置及电子设备
TWI684117B (zh) 一種手勢帖遙控操作的方法及手勢帖遙控裝置
CN109688253A (zh) 一种拍摄方法及终端
CN109819167A (zh) 一种图像处理方法、装置和移动终端
JP2012175136A (ja) カメラシステムおよびその制御方法
CN108647633A (zh) 识别跟踪方法、识别跟踪装置和机器人
WO2024067468A1 (zh) 基于图像识别的交互控制方法、装置及设备
CN109039851B (zh) 交互数据处理方法、装置、计算机设备和存储介质
CN114520002A (zh) 一种处理语音的方法及电子设备
CN111415421A (zh) 虚拟物体控制方法、装置、存储介质及增强现实设备
WO2012008553A1 (ja) ロボットシステム
CN106791407A (zh) 一种自拍控制方法和系统
US10503278B2 (en) Information processing apparatus and information processing method that controls position of displayed object corresponding to a pointing object based on positional relationship between a user and a display region

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination