CN108881724B - 一种图像获取方法、装置、设备及存储介质 - Google Patents

一种图像获取方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN108881724B
CN108881724B CN201810783967.XA CN201810783967A CN108881724B CN 108881724 B CN108881724 B CN 108881724B CN 201810783967 A CN201810783967 A CN 201810783967A CN 108881724 B CN108881724 B CN 108881724B
Authority
CN
China
Prior art keywords
photographing
user
image acquisition
gazing
horizontal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810783967.XA
Other languages
English (en)
Other versions
CN108881724A (zh
Inventor
孔祥晖
严海
黄通兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 7Invensun Technology Co Ltd
Original Assignee
Beijing 7Invensun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing 7Invensun Technology Co Ltd filed Critical Beijing 7Invensun Technology Co Ltd
Priority to CN201810783967.XA priority Critical patent/CN108881724B/zh
Publication of CN108881724A publication Critical patent/CN108881724A/zh
Application granted granted Critical
Publication of CN108881724B publication Critical patent/CN108881724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Abstract

本发明实施例公开了一种图像获取方法、装置、设备及存储介质，方法包括：获取用户的图像获取指令；通过面部追踪装置获取用户的注视信息，其中所述注视信息包括注视点和/或注视方向；根据所述注视信息，确定图像获取的位置和/或方向以进行图像获取。本发明实施例的技术方案实现根据用户需求实时调整拍照摄像头的拍照位置，从而提高设备中摄像头对焦的灵活性，进而获取满足用户需求的拍照图像。

Description

一种图像获取方法、装置、设备及存储介质
技术领域
本发明实施例涉及设备技术领域，尤其涉及一种图像获取方法、装置、设备及存储介质。
背景技术
近年来，智能终端作为革命性的创新产品被越来越多的人使用，并可用于各种领域。在具备相机的智能终端中，可以根据用户眼部的操作完成拍照上传、信息浏览、收发短信、查询天气路况等操作。
发明人在实现本发明的过程中，发现现有技术存在如下缺陷：虽然现有的智能终端可以根据用户的眼部运动情况如眨眼等控制指令控制摄像头拍照，但摄像头只能在固定的拍照位置进行拍照，在固定的拍照位置进行拍照时，所获取的图片可能由于焦点位置不准确导致无法满足用户的拍照需求。
发明内容
本发明实施例提供一种图像获取方法、装置、设备及存储介质，实现根据用户需求实时调整拍照摄像头的拍照位置，从而提高设备中摄像头对焦的灵活性，进而获取满足用户需求的拍照图像。
第一方面，本发明实施例提供了一种图像获取方法，包括：
获取用户的图像获取指令；
通过面部追踪装置获取用户的注视信息，其中所述注视信息包括注视点和/或注视方向；
根据所述注视信息，确定图像获取的位置和/或方向以进行图像获取。
第二方面，本发明实施例还提供了一种图像获取装置，包括：
指令获取模块，用于获取用户的图像获取指令；
信息获取模块，用于通过面部追踪装置获取用户的注视信息，其中所述注视信息包括注视点和/或注视方向；
图像获取模块，用于根据所述注视信息，确定图像获取的位置和/或方向以进行图像获取。
第三方面，本发明实施例还提供了一种设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所提供的图像获取方法。
第四方面，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所提供的图像获取方法。
本发明实施例通过获取用户的图像获取指令后，通过面部追踪装置获取用户的注视信息，根据所述注视信息，确定图像获取的位置和/或方向以进行图像获取，解决现有设备中摄像头只通过固定的拍照位置进行拍照的问题，实现根据用户需求实时调整拍照摄像头的拍照位置，从而提高设备中摄像头对焦的灵活性，进而获取满足用户需求的拍照图像。
附图说明
图1是本发明实施例一提供的一种图像获取方法的流程图；
图2a是本发明实施例一提供的一种图像获取方法的流程图；
图2b是发明实施例二提供的一种确定拍照摄像头拍照方向的示意图；
图3是本发明实施例三提供的一种图像获取装置的示意图；
图4为本发明实施例四提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。
另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1是本发明实施例一提供的一种图像获取方法的流程图，本实施例可适用于根据用户的注视情况调整摄像头的拍照方向并拍照，该方法可以由图像获取装置来执行，该装置可以由软件和/或硬件的方式来实现，并一般可集成在设备(典型的，各类智能眼镜或智能头盔等智能头戴式设备)中，如图1所示，该方法包括如下操作：
S110、获取用户的图像获取指令。
在本发明实施例中，在使用设备中的摄像头进行拍照前，首先需要获取用户的图像获取指令。
在本发明的一个可选实施例中，所述获取用户的图像获取指令，可以包括：获取所述用户的当前面部动作，当所述当前面部动作与所述图像获取指令对应预存的面部动作相匹配时，将所述当前面部动作作为所述图像获取指令；或获取所述用户触发预设功能键时发送的功能指令，将所述功能指令作为所述图像获取指令。
其中，预存的面部动作可以是眨眼、眼球向上看或眼球向下看等眼部动作，或者微笑和摇头等动作，预设功能键可以是设备上的按键或触摸键等。
在本发明实施例中，获取用户的图像获取指令可以通过两种方式实现：(1)通过识别用户的当前面部动作来识别图像获取指令。通过此方式获取图像获取指令时需要预先了解设备中哪些预先规定的面部动作与图像获取指令相匹配。例如，在使用设备之前，用户通过阅读相应的使用说明书了解到快速眨眼两次对应图像获取指令，则在用户想要拍照时，快速眨眼两次即可。或者，用户通过阅读相应的使用说明书了解到微笑表情对应图像获取指令，则在用户想要拍照时，面对前置摄像头微笑即可。其中，与图像获取指令匹配的面部动作可以由设备预先定义，也可以由用户自定义。(2)通过触发设备中相应的功能键生成图像获取指令。本发明实施例还可以通过在设备中设置快捷键的方式指定相应的功能键对应拍照功能，其中，快捷键对应的图像获取指令可以由设备预先设置，也可以由用户通过自定义的方式设置。
当然，本领域技术人员还可以根据实际需求，在本技术方案的技术背景下，建立其他获取用户的图像获取指令的方案，例如通过识别用户的语音指令来获取图像获取指令等，本发明实施例对此并不进行限制。
S120、通过面部追踪装置获取用户的注视信息，其中所述注视信息包括注视点和/或注视方向。
其中，面部追踪装置用于对用户的眼球进行拍照以获取用户的眼球运动轨迹，可以采用摄像头等面部追踪设备。在本发明实施例中，面部追踪装置还可以用于对用户的面部进行拍照以获取用户的面部表情或动作等，作为图像获取指令。
在本发明实施例中，在拍照时为了实现根据用户需求实时调整拍照摄像头的拍照位置，可以将用户的注视点和注视方向为依据，利用用户的眼球的注视信息来实时调整拍照摄像头的拍照位置。
S130、根据所述注视信息，确定图像获取的位置和/或方向以进行图像获取。
在本发明实施例中，获取到用户的注视信息后，即可以根据注视信息来确定图像获取的位置和/或方向，并根据确定的位置信息和方向信息来获取图像。
在本发明实施例中，面部追踪装置可以采用红外光源与红外传感器的组合、或采用红外热成像传感器，本发明实施例对此并不进行限制。本发明实施例可以采用两个不同的摄像头分别作为面部追踪装置和拍照摄像头。其中，面部追踪装置可以面向用户的人脸方向，拍照摄像头可以背向用户的人脸方向，两个摄像头分工合作，可以提高拍照的速度。
在本发明实施例中，在获取用户的注视点和注视方向后，可以通过拍照方向映射表中记录的第一对应关系以及通过面部追踪装置获取的注视方向确定拍照摄像头在水平面上基于设定水平参考方向的水平旋转角度，通过拍照方向映射表中记录的第二对应关系以及通过面部追踪装置获取的注视点确定拍照摄像头在与水平面垂直的竖直面上基于设定竖直参考方向的垂直旋转角度。确定水平旋转角度和垂直旋转角度后，拍照摄像头的拍照方向即确定。
在本发明的一个可选实施例中，在所述根据所述注视信息，确定图像获取的位置和/或方向以进行图像获取之后，还包括：通过无线收发模块将所述拍照摄像头获取的图像发送至外部的电子设备。其中，无线收发模块可以是蓝牙模块、Wi-Fi(Wireless-Fidelity，无线保真)模块以及其他类型的无线通信模块等。外部的电子设备可以是智能手机、平板电脑、笔记本或台式电脑等各种类型的可以接收图片的电子设备。
本发明实施例通过获取用户的图像获取指令后，通过面部追踪装置获取用户的注视信息，根据所述注视信息，确定图像获取的位置和/或方向以进行图像获取，解决现有设备中摄像头只通过固定的拍照位置进行拍照的问题，实现根据用户需求实时调整拍照摄像头的拍照位置，从而提高设备中摄像头对焦的灵活性，进而获取满足用户需求的拍照图像。
实施例二
图2a是本发明实施例二提供的一种图像获取方法的流程图，本实施例以上述实施例为基础进行具体化，给出了通过面部追踪装置获取用户的注视信息以及根据所述注视信息，确定图像获取的位置和/或方向以进行图像获取的具体实现方式，相应的，如图2a所示，本实施例的方法包括如下操作：
S210、获取用户的图像获取指令。
S220、通过所述面部追踪装置采用瞳孔和角膜反射光斑中心定位方法或瞳孔中心定位方法获取用户的注视信息。
其中，瞳孔和角膜反射光斑中心定位方法或瞳孔中心定位方法都是实现眼球追踪的一种方式。在现有技术中，除了瞳孔和角膜反射光斑中心定位方法或瞳孔中心定位方法，还存在多种其他类型的眼球追踪技术。需要说明的是，本发明实施例并不对面部追踪装置获取用户的注视信息所采用的眼球追踪技术进行限定，通过获取眼图可以实现眼球追踪的任何方法都可以作为面部追踪装置获取用户的注视信息的实现方式。
在本发明的一个可选实施例中，可以通过面部追踪装置采用瞳孔和角膜反射光斑中心定位方法，即瞳孔-角膜反射法来确定用户的注视信息。瞳孔-角膜反射法的工作原理可以简单概括为：获取眼部图像；根据眼部图像估计注视信息。瞳孔-角膜反射法的硬件要求体现在两方面：(1)光源：一个或多个红外光源，采用红外光线不会影响眼睛的视觉。如果采用多个光源，可以预定的方式对其进行排列，例如品字形或一字形等。(2)图像采集设备：例如红外摄像设备、红外图像传感器、照相机或摄像机等。瞳孔-角膜反射法可以分为两个主要环节：(1)获取眼部图像：该环节需要光源照向眼睛，由图像采集设备对眼部进行拍摄，相应拍摄光源在角膜上的反射点即光斑(也称为普尔钦斑)，由此获取带有光斑的眼部图像。(2)注视信息(即视线/注视点)估计：随着眼球转动时，瞳孔中心与光斑的相对位置关系随之发生变化，相应采集到的带有光斑的若干眼部图像反映出这样的位置变化关系；根据位置变化关系进行视线/注视点估计。
在本发明的另外一个可选实施例中，还可以通过面部追踪装置采用瞳孔中心定位方法获取用户注视信息。当面部追踪装置采用瞳孔中心定位方法获取用户注视信息时，S220具体可以包括如下步骤：
S221、获取所述面部追踪装置在所述用户的眼球在当前位置时拍摄的当前位置眼图。
S222、将所述当前位置眼图中的瞳孔中心位置作为当前瞳孔中心位置。
S223、根据所述当前瞳孔中心位置和所述用户的基准瞳孔中心位置之间的位置关系，确定所述用户的注视方向和/或注视点。
具体的，通过面部追踪装置获取用户的注视信息。可以通过面部追踪装置拍摄用户的眼球的当前位置眼图，并获取当前位置眼图中的瞳孔中心位置，将当前位置眼图中的瞳孔中心位置作为当前瞳孔中心位置，用于与基准瞳孔中心位置作对比，从而确定注视信息。
需要说明的是，本发明实施例中的面部追踪装置可以是红外热成像传感器。另外，从面部追踪装置拍照的眼图中确定瞳孔中心位置是一种较为成熟的现有技术手段，现有技术中存在多种瞳孔中心定位方法，本发明实施例对此不再详述。
相应的，在获取到当前瞳孔中心位置后，将当前瞳孔中心位置和基准瞳孔中心位置作对比，以确定当前瞳孔中心位置与基准瞳孔中心位置之间的相对距离和相对方向。然后根据基准瞳孔中心位置，以及当前瞳孔中心位置与基准瞳孔中心位置之间的相对距离和相对方向，确定用户的注视点和注视方向。在本发明实施例中，利用瞳孔中心位置可以准确、快速地确定注视区域。
在本发明的一个可选实施例中，在所述通过面部追踪装置获取用户的注视信息之前，还包括：预先获取所述面部追踪装置正对所述用户的眼球时拍摄的基准眼图，并将所述基准眼图中的瞳孔中心位置作为所述用户的基准瞳孔中心位置。
其中，基准眼图指的是智能头戴式设备中摄像头正对用户眼球时拍摄到的眼部图片，基准眼图中用户眼球的瞳孔中心位置通常位于基准眼图的中心位置。
在本发明实施例中，在获取用户的注视信息之前，可以首先获取一个基准眼图作为依据，并将基准眼图中的瞳孔中心位置作为用户的基准瞳孔中心位置来判断用户的眼球的注视信息。
S230、根据所述注视信息，查询预设的拍照方向映射表；并根据所述拍照方向映射表确定所述图像的拍照方向和拍照位置以进行图像获取。
其中，拍照方向映射表记录注视信息与拍照方向之间的对应关系。拍照摄像头是用于拍摄外景的摄像头。在本发明实施例中，根据用户的眼球的注视信息确定相应的拍照方向可以由设备中内置的控制器完成，同时控制器确定好拍照摄像头后，需要控制拍照摄像头由当前位置调整到拍照方向对应的位置。拍照摄像头调整到拍照方向后，即定位到用户的目标拍照方向，然后根据拍照摄像头获取的图像信息在拍照摄像头的多种对焦模式(如中心对焦、多重对焦、单次自动对焦、人工智能伺服自动对焦以及人工智能自动对焦等)中自动选择其中一种对焦模式并进行拍照。同时，拍照摄像头还可以设置白平衡或曝光等效果，拍照摄像头可以使用摄像头所有的拍照功能，本发明实施例对此并不进行限制。
在本发明的一个可选实施例中，所述拍照方向包括：拍照摄像头在水平面上基于设定水平参考方向的水平旋转角度，以及所述拍照摄像头在与所述水平面垂直的竖直面上基于设定竖直参考方向的垂直旋转角度；所述拍照方向映射表，包括：水平旋转角度与注视方向之间的第一对应关系，以及垂直旋转角度与注视点之间的第二对应关系。
其中，当用户的头部保持竖立时，设定水平参考方向可以是拍照摄像头正背向用户人脸时摄像头的水平中心线方向，设定竖直参考方向可以是拍照摄像头正背向用户人脸时摄像头的竖直中心线方向。如果用户的头部没有保持竖立(如头部左摆、右摆、上仰或低头，注意，在水平方向头部左转和右转的情况仍然属于竖立的情况)，则设定水平参考方向和设定竖直参考方向可以同样随着头部在水平方向和竖直方向的偏转角度(可由设备中相应的传感器如陀螺仪等获取)进行等角度偏转。第一对应关系和第二对应关系可以是线性关系，也可以是非线性关系。
S240、根据所述注视信息，确定图像获取的位置和/或方向以进行图像获取。
相应的，S240具体可以包括如下步骤：
S241、获取所述拍照摄像头当前位置相对于所述水平参考方向以及所述竖直参考方向的偏转方向。
在本发明实施例中，在确定拍照摄像头的拍照方向时，可以首先获取拍照摄像头的当前位置相对于参考方向的偏转角度。也即，首先获取拍照摄像头当前位置相对于水平参考方向以及竖直参考方向的偏转方向。
S242、根据所述偏转方向以及所述拍照方向，确定所述拍照摄像头的水平调整角度以及竖直调整角度。
S243、控制所述拍照摄像头在所述水平面上旋转所述水平调整角度，并在所述竖直面上旋转所述竖直调整角度，以将所述拍照摄像头调整至所述拍照方向和拍照位置。
在本发明实施例中，获取到拍照摄像头当前位置的偏转方向后，基于拍照方向映射表所确定的拍照方向确定拍照摄像头实际要调整的角度，并控制拍照摄像头在水平方向和竖直方向按照确定的调整角度进行调整，以使拍照摄像头旋转到确定的拍照位置。举例而言，如果配置摄像头当前位置的偏转方向为：水平方向向左偏转30°，竖直方向向上偏转30°，确定的拍照方向为水平方向偏转60°，竖直方向偏转45°，则水平调整角度为水平方向向左偏转30°，竖直方向向上偏转15°。由此可见，本发明实施例中的拍照摄像头能够更加准确地获取用户想要拍照的具体方向，实现灵活对焦，结合摄像头本身具备的对焦模式为用户提供拍照位置以及对焦方向准确度较高的拍照图像，进而真正为用户提供满足其需求的拍照图像。
图2b是发明实施例二提供的一种确定拍照摄像头拍照方向的示意图，在一个具体的例子中，结合图2b说明拍照摄像头如何根据注视信息确定拍照方向和拍照位置。在图2b中，标号(1)对应的图片为注视点在平面坐标系中的示意图，其中，平面坐标系中的原点o可以是设备的显示镜片的光学中心在平面上的映射点。标号(2)对应的图片为拍照摄像头调整拍照方向的俯视图，标号(3)对应的图片为拍照摄像头调整拍照方向的侧视图。假设注视点A的具体位置为：在y轴上的垂直投影a的坐标为10mm，且由y轴向左偏移角α，其中，坐标原点o为基准瞳孔中心位置。则通过标号(1)中的坐标系可以确定，与注视点A对应的注视方向为水平向左偏转角α。
相应的，第一对应关系可以采用D1＝k1α，其中，D1为拍照方向对应的水平旋转角度，k1为水平增量系数。可以是具体的数值，也可以是其他类型的表达式。k1的取值或表达式的形式可以根据实际需求进行设定，并可以通过大量的实验进行准确性求证后为k1赋值或建立表达式，本发明实施例对此并不进行限制。假设k1取1，α取30°，拍照摄像头当前位置与设定水平参考方向和设竖直参考方向之间的夹角均为0。由此，通过第一对应关系可以确定D1为30°。在图2b标号(2)的俯视图中，标注拍照摄像头C的一侧为拍照摄像头的镜头侧，L1为设定水平参考方向所在的水平线(或水平线偏离一定角度)。在通过第一对应关系确定水平旋转角度为30°后，拍照摄像头C需要由当前位置水平向左偏转30°。
相应的，第一对应关系可以采用D2＝k2aβ，其中，D2为拍照方向对应的垂直旋转角度，k2为竖直增量系数，可以是具体的数值，也可以是其他类型的表达式。k2的取值或表达式的形式可以根据实际需求进行设定，并可以通过大量的实验进行准确性求证后为k2赋值或建立表达式，本发明实施例对此并不进行限制。β为基准角度，β的取值仍需要通过大量的实验进行准确性求证后根据实际需求进行设定。假设k2取1，β取6°/mm，a为10mm。拍照摄像头当前位置与设定水平参考方向和设竖直参考方向之间的夹角均为0。由此，通过第二对应关系可以确定D2为60°。在图2b标号(3)的侧视图中，标注拍照摄像头C的一侧为拍照摄像头的镜头侧，L2为设定竖直参考方向所在的竖直线(或竖直线偏离一定角度)。在通过第二对应关系确定水平旋转角度为60°后，拍照摄像头C需要由当前位置竖直向后偏转60°。
需要说明的是，如果采用两个摄像头分别作为面部追踪装置和拍照摄像头，则设备需要实时掌握拍照摄像头的当前位置与水平参考方向以及竖直参考方向的偏转方向，从而直接控制拍照摄像头由当前位置调整至拍照方向对应的位置。
实施例三
图3是本发明实施例三提供的一种图像获取装置的示意图，如图3所示，所述装置包括：指令获取模块310、信息获取模块320以及图像获取模块330，其中：
指令获取模块310，用于获取用户的图像获取指令；
信息获取模块320，用于通过面部追踪装置获取用户的注视信息，其中所述注视信息包括注视点和/或注视方向；
图像获取模块330，用于根据所述注视信息，确定图像获取的位置和/或方向以进行图像获取。
本发明实施例通过获取用户的图像获取指令后，通过面部追踪装置获取用户的注视信息，根据所述注视信息，确定图像获取的位置和/或方向以进行图像获取，解决现有设备中摄像头只通过固定的拍照位置进行拍照的问题，实现根据用户需求实时调整拍照摄像头的拍照位置，从而提高设备中摄像头对焦的灵活性，进而获取满足用户需求的拍照图像。
可选的，图像获取模块330，还用于根据所述注视信息，查询预设的拍照方向映射表；根据所述拍照方向映射表确定所述图像的拍照方向和拍照位置以进行图像获取。
可选的，信息获取模块320，还用于通过所述面部追踪装置采用瞳孔和角膜反射光斑中心定位方法或瞳孔中心定位方法获取所述用户的注视信息。
可选的，信息获取模块320，还用于获取所述面部追踪装置在所述用户的眼球在当前位置时拍摄的当前位置眼图；将所述当前位置眼图中的瞳孔中心位置作为当前瞳孔中心位置；根据所述当前瞳孔中心位置和所述用户的基准瞳孔中心位置之间的位置关系，确定所述用户的注视方向和/或注视点。
可选的，所述拍照方向包括：拍照摄像头在水平面上基于设定水平参考方向的水平旋转角度，以及所述拍照摄像头在与所述水平面垂直的竖直面上基于设定竖直参考方向的垂直旋转角度；所述拍照方向映射表，包括：水平旋转角度与注视方向之间的第一对应关系，以及垂直旋转角度与注视点之间的第二对应关系。
可选的，图像获取模块330，还用于获取所述拍照摄像头当前位置相对于所述水平参考方向以及所述竖直参考方向的偏转方向；根据所述偏转方向以及所述拍照方向，确定所述拍照摄像头的水平调整角度以及竖直调整角度；控制所述拍照摄像头在所述水平面上旋转所述水平调整角度，并在所述竖直面上旋转所述竖直调整角度，以将所述拍照摄像头调整至所述拍照方向和拍照位置。
可选的，所述装置还包括：基准位置获取模块340，用于预先获取所述面部追踪装置正对所述用户的眼球时拍摄的基准眼图，并将所述基准眼图中的瞳孔中心位置作为所述用户的基准瞳孔中心位置。
可选的，指令获取模块310，还用于获取所述用户的当前面部动作，当所述当前面部动作与所述图像获取指令对应预存的面部动作相匹配时，将所述当前面部动作作为所述图像获取指令；或获取所述用户触发预设功能键时发送的功能指令，将所述功能指令作为所述图像获取指令。
可选的，所述装置还包括：图像发送模块350，用于通过无线收发模块将所述摄像头获取的图像发送至外部的电子设备。
上述图像获取装置可执行本发明任意实施例所提供的图像获取方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的图像获取方法。
实施例四
图4为本发明实施例四提供的一种设备的结构示意图。图4示出了适于用来实现本发明实施方式的设备412的框图。图4显示的设备412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。设备412典型的可以是智能可穿戴设备或其他智能终端，如智能手机或平板电脑等。设备412需可以同时具备两个摄像头。
如图4所示，设备412以通用计算设备的形式表现。设备412的组件可以包括但不限于：一个或者多个处理器416，存储装置428，连接不同系统组件(包括存储装置428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(MicroChannel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)430和/或高速缓存存储器432。设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(Compact Disc-ReadOnly Memory，CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块426的程序436，可以存储在例如存储装置428中，这样的程序模块426包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块426通常执行本发明所描述的实施例中的功能和/或方法。
设备412也可以与一个或多个外部设备414(例如键盘、指向设备、摄像头、显示器424等)通信，还可与一个或者多个使得用户能与该设备412交互的设备通信，和/或与使得该设备412能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网WideArea Network，WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器420通过总线418与设备412的其它模块通信。应当明白，尽管图中未示出，可以结合设备412使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器416通过运行存储在存储装置428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明上述实施例所提供的图像获取方法。
也即，所述处理单元执行所述程序时实现：获取用户的图像获取指令；通过面部追踪装置获取用户的注视信息，其中所述注视信息包括注视点和/或注视方向；根据所述注视信息，确定图像获取的位置和/或方向以进行图像获取。
通过所述设备获取用户的图像获取指令后，通过面部追踪装置获取用户的注视信息，根据所述注视信息，确定图像获取的位置和/或方向以进行图像获取，解决现有设备中摄像头只通过固定的拍照位置进行拍照的问题，实现根据用户需求实时调整拍照摄像头的拍照位置，从而提高设备中摄像头对焦的灵活性，进而获取满足用户需求的拍照图像。
实施例五
本发明实施例五还提供一种存储计算机程序的计算机存储介质，所述计算机程序在由计算机处理器执行时用于执行本发明上述实施例任一所述的图像获取方法。
也即：所述计算机程序在由计算机处理器执行时实现：获取用户的图像获取指令；通过面部追踪装置获取用户的注视信息，其中所述注视信息包括注视点和/或注视方向；根据所述注视信息，确定图像获取的位置和/或方向以进行图像获取。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器((Erasable Programmable ReadOnly Memory，EPROM)或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种图像获取方法，其特征在于，包括：
获取用户的图像获取指令；
通过面部追踪装置获取用户的注视信息，其中所述注视信息包括注视点和/或注视方向；
根据所述注视信息，确定图像获取的位置和/或方向以进行图像获取；
其中，所述根据所述注视信息，确定图像获取的位置和/或方向以进行图像获取，包括：
根据所述注视信息，查询预设的拍照方向映射表；
根据所述拍照方向映射表确定所述图像的拍照方向和拍照位置以进行图像获取；
所述拍照方向包括：拍照摄像头在水平面上基于设定水平参考方向的水平旋转角度，以及所述拍照摄像头在与所述水平面垂直的竖直面上基于设定竖直参考方向的垂直旋转角度；
所述拍照方向映射表，包括：水平旋转角度与注视方向之间的第一对应关系，以及垂直旋转角度与注视点之间的第二对应关系；
其中，所述第一对应关系包括：D1＝k1α，其中，D1为拍照方向对应的水平旋转角度，k1为水平增量系数，α为注视方向中的水平偏转角；
所述第二对应关系包括：D2＝k2aβ，其中，D2为拍照方向对应的垂直旋转角度，k2为竖直增量系数，a为注视点在y轴上的垂直投影，β为基准角度；
其中，根据所述注视信息，确定图像获取的位置和/或方向以进行图像获取，还包括：
获取所述拍照摄像头当前位置相对于所述水平参考方向以及所述竖直参考方向的偏转方向；
根据所述偏转方向以及所述拍照方向，确定所述拍照摄像头的水平调整角度以及竖直调整角度；
控制所述拍照摄像头在所述水平面上旋转所述水平调整角度，并在所述竖直面上旋转所述竖直调整角度，以将所述拍照摄像头调整至所述拍照方向和拍照位置。
2.根据权利要求1所述的方法，其特征在于，所述通过面部追踪装置获取用户的注视信息，包括：
通过所述面部追踪装置采用瞳孔和角膜反射光斑中心定位方法或瞳孔中心定位方法获取所述用户的注视信息。
3.根据权利要求2所述的方法，其特征在于，所述瞳孔中心定位方法，包括：
获取所述面部追踪装置在所述用户的眼球在当前位置时拍摄的当前位置眼图；
将所述当前位置眼图中的瞳孔中心位置作为当前瞳孔中心位置；
根据所述当前瞳孔中心位置和所述用户的基准瞳孔中心位置之间的位置关系，确定所述用户的注视方向和/或注视点。
4.根据权利要求3所述的方法，其特征在于，在所述通过面部追踪装置获取用户的注视信息之前，还包括：
预先获取所述面部追踪装置正对所述用户的眼球时拍摄的基准眼图，并将所述基准眼图中的瞳孔中心位置作为所述用户的基准瞳孔中心位置。
5.根据权利要求1所述的方法，其特征在于，所述获取用户的图像获取指令，包括：
获取所述用户的当前面部动作，当所述当前面部动作与所述图像获取指令对应预存的面部动作相匹配时，将所述当前面部动作作为所述图像获取指令；或
获取所述用户触发预设功能键时发送的功能指令，将所述功能指令作为所述图像获取指令。
6.根据权利要求1所述的方法，其特征在于，在根据所述注视信息，确定图像获取的位置和/或方向以进行图像获取之后，还包括：
通过无线收发模块将所述拍照摄像头获取的图像发送至外部的电子设备。
7.一种图像获取装置，其特征在于，包括：
指令获取模块，用于获取用户的图像获取指令；
信息获取模块，用于通过面部追踪装置获取用户的注视信息，其中所述注视信息包括注视点和/或注视方向；
图像获取模块，用于根据所述注视信息，确定图像获取的位置和/或方向以进行图像获取；
其中，所述图像获取模块还用于根据所述注视信息，查询预设的拍照方向映射表；根据所述拍照方向映射表确定所述图像的拍照方向和拍照位置以进行图像获取；
所述拍照方向包括：拍照摄像头在水平面上基于设定水平参考方向的水平旋转角度，以及所述拍照摄像头在与所述水平面垂直的竖直面上基于设定竖直参考方向的垂直旋转角度；所述拍照方向映射表，包括：水平旋转角度与注视方向之间的第一对应关系，以及垂直旋转角度与注视点之间的第二对应关系；
其中，所述第一对应关系包括：D1＝k1α，其中，D1为拍照方向对应的水平旋转角度，k1为水平增量系数，α为注视方向中的水平偏转角；
所述第二对应关系包括：D2＝k2aβ，其中，D2为拍照方向对应的垂直旋转角度，k2为竖直增量系数，a为注视点在y轴上的垂直投影，β为基准角度；
其中，所述图像获取模块，还用于：
获取所述拍照摄像头当前位置相对于所述水平参考方向以及所述竖直参考方向的偏转方向；
根据所述偏转方向以及所述拍照方向，确定所述拍照摄像头的水平调整角度以及竖直调整角度；
控制所述拍照摄像头在所述水平面上旋转所述水平调整角度，并在所述竖直面上旋转所述竖直调整角度，以将所述拍照摄像头调整至所述拍照方向和拍照位置。
8.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的基于设备的图像获取方法。
9.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的基于设备的图像获取方法。
CN201810783967.XA 2018-07-17 2018-07-17 一种图像获取方法、装置、设备及存储介质 Active CN108881724B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810783967.XA CN108881724B (zh) 2018-07-17 2018-07-17 一种图像获取方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810783967.XA CN108881724B (zh) 2018-07-17 2018-07-17 一种图像获取方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN108881724A CN108881724A (zh) 2018-11-23
CN108881724B true CN108881724B (zh) 2021-09-21

Family

ID=64302736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810783967.XA Active CN108881724B (zh) 2018-07-17 2018-07-17 一种图像获取方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN108881724B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635761B (zh) * 2018-12-18 2021-09-10 北京七鑫易维信息技术有限公司 一种虹膜识别图像确定方法、装置、终端设备及存储介质
CN109814448A (zh) * 2019-01-16 2019-05-28 北京七鑫易维信息技术有限公司 一种车载多模态控制方法及系统
CN109522887A (zh) * 2019-01-24 2019-03-26 北京七鑫易维信息技术有限公司 一种视线追踪方法、装置、设备及存储介质
CN112118380B (zh) * 2019-06-19 2022-10-25 北京小米移动软件有限公司 相机操控方法、装置、设备及存储介质
CN112738388B (zh) * 2019-10-28 2022-10-18 七鑫易维(深圳)科技有限公司 拍照处理方法、系统、电子设备及存储介质
CN111225157B (zh) * 2020-03-03 2022-01-14 Oppo广东移动通信有限公司 追焦方法及相关设备
CN113965692A (zh) * 2020-11-30 2022-01-21 深圳卡多希科技有限公司 一种光源点控制摄像头装置转动的方法和装置
CN115695768A (zh) * 2021-07-26 2023-02-03 北京有竹居网络技术有限公司 拍摄方法、装置、电子设备、存储介质和计算机程序产品
CN114302054B (zh) * 2021-11-30 2023-06-20 歌尔科技有限公司 一种ar设备的拍照方法及其ar设备
CN114173061B (zh) * 2021-12-13 2023-09-29 深圳万兴软件有限公司 一种多模态摄像控制方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05107454A (ja) * 1991-10-12 1993-04-30 Canon Inc 焦点検出手段と視線検出手段とを有したカメラ
JPH06138378A (ja) * 1992-10-28 1994-05-20 Canon Inc 焦点検出手段と視線検出手段とを有したカメラ
CN103297696A (zh) * 2013-05-24 2013-09-11 北京小米科技有限责任公司 拍摄方法、装置和终端
CN105554384A (zh) * 2015-12-17 2016-05-04 上海青橙实业有限公司 可穿戴设备及拍摄方法
CN107333059A (zh) * 2017-06-26 2017-11-07 维沃移动通信有限公司 一种拍照方法和移动终端
CN108234872A (zh) * 2018-01-03 2018-06-29 上海传英信息技术有限公司 移动终端及其拍照方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9445005B2 (en) * 2013-07-22 2016-09-13 Canon Kabushiki Kaisha Optical device capable of selecting focus detection point, method of controlling the same, and storage medium

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05107454A (ja) * 1991-10-12 1993-04-30 Canon Inc 焦点検出手段と視線検出手段とを有したカメラ
JPH06138378A (ja) * 1992-10-28 1994-05-20 Canon Inc 焦点検出手段と視線検出手段とを有したカメラ
CN103297696A (zh) * 2013-05-24 2013-09-11 北京小米科技有限责任公司 拍摄方法、装置和终端
CN105554384A (zh) * 2015-12-17 2016-05-04 上海青橙实业有限公司 可穿戴设备及拍摄方法
CN107333059A (zh) * 2017-06-26 2017-11-07 维沃移动通信有限公司 一种拍照方法和移动终端
CN108234872A (zh) * 2018-01-03 2018-06-29 上海传英信息技术有限公司 移动终端及其拍照方法

Also Published As

Publication number Publication date
CN108881724A (zh) 2018-11-23

Similar Documents

Publication Publication Date Title
CN108881724B (zh) 一种图像获取方法、装置、设备及存储介质
US10650533B2 (en) Apparatus and method for estimating eye gaze location
US10593088B2 (en) System and method for enabling mirror video chat using a wearable display device
AU2019282933B2 (en) Smart glasses, method and device for tracking eyeball trajectory, and storage medium
US11127380B2 (en) Content stabilization for head-mounted displays
CN107462992B (zh) 一种头戴显示设备的调节方法、装置及头戴显示设备
US10866492B2 (en) Method and system for controlling tracking photographing of stabilizer
US11381751B2 (en) Handheld gimbal control method, handheld gimbal, and handheld device
CN108200340A (zh) 能够检测眼睛视线的拍照装置及拍照方法
CN111290580B (zh) 基于视线追踪的校准方法及相关装置
CN109002796A (zh) 一种图像采集方法、装置和系统以及电子设备
KR20170093440A (ko) 회전장치를 이용하여 디바이스가 촬영대상을 추적하게 하는 방법 및 장치
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
KR20100038897A (ko) 눈동자 시선 추정 장치 및 추정 방법
CN108156387A (zh) 通过检测眼睛视线自动结束摄像的装置及方法
KR101817436B1 (ko) 안구 전위 센서를 이용한 영상 표시 장치 및 제어 방법
JP4568024B2 (ja) 眼球運動測定装置、及び眼球運動測定プログラム
US11933611B2 (en) Target direction determining device, control system, and method and program for aiming surveying device at a target
EP3139586B1 (en) Image shooting processing method and device
US9986138B2 (en) Eyetracker mounts for use with handheld devices
WO2023137715A1 (zh) 云台控制方法、装置、可移动平台与计算机可读介质
CN114302054B (zh) 一种ar设备的拍照方法及其ar设备
KR20190143287A (ko) 홍채와 촬영 장치간 거리 예측 방법 및 이를 수행하기 위한 단말
JP2021040183A (ja) 画像処理装置及び画像処理方法
CN113780414A (zh) 眼动行为分析方法、图像渲染方法、组件、装置和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant