CN109120847A - 一种图像获取设备的控制方法及装置 - Google Patents

一种图像获取设备的控制方法及装置 Download PDF

Info

Publication number
CN109120847A
CN109120847A CN201810935421.1A CN201810935421A CN109120847A CN 109120847 A CN109120847 A CN 109120847A CN 201810935421 A CN201810935421 A CN 201810935421A CN 109120847 A CN109120847 A CN 109120847A
Authority
CN
China
Prior art keywords
equipment
image
image acquisition
shooting
obtains
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810935421.1A
Other languages
English (en)
Other versions
CN109120847B (zh
Inventor
付阳
王云飞
黄通兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 7Invensun Technology Co Ltd
Beijing Qixin Yiwei Information Technology Co Ltd
Original Assignee
Beijing Qixin Yiwei Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qixin Yiwei Information Technology Co Ltd filed Critical Beijing Qixin Yiwei Information Technology Co Ltd
Priority to CN201810935421.1A priority Critical patent/CN109120847B/zh
Publication of CN109120847A publication Critical patent/CN109120847A/zh
Priority to AU2019322663A priority patent/AU2019322663B2/en
Priority to EP19850614.9A priority patent/EP3840360A4/en
Priority to US17/266,636 priority patent/US11853471B2/en
Priority to JP2021507975A priority patent/JP7305749B2/ja
Priority to PCT/CN2019/085961 priority patent/WO2020034669A1/zh
Application granted granted Critical
Publication of CN109120847B publication Critical patent/CN109120847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/144Image acquisition using a slot moved over the image; using discrete sensing elements at predetermined points; using automatic curve following means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/16Image acquisition using multiple overlapping images; Image stitching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Software Systems (AREA)
  • Vascular Medicine (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本申请公开了一种图像获取设备的控制方法及装置,包括:获取多个图像获取设备拍摄的图像;根据多个图像获取设备拍摄的图像确定多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备;控制活跃图像获取设备以第一配置拍摄图像,控制非活跃图像获取设备以第二配置拍摄图像;获取活跃图像获取设备发送的活跃图像获取设备拍摄的图像,获取非活跃图像获取设备发送的非活跃图像获取设备拍摄的图像;活跃图像获取设备发送活跃图像获取设备拍摄的图像所需的带宽,大于非活跃图像获取设备发送非活跃图像获取设备拍摄的图像所需的带宽。并非所有图像获取设备将图像发送给控制器所需的带宽均比较大,故节省了传输多个图像获取设备拍摄的图像的带宽。

Description

一种图像获取设备的控制方法及装置
技术领域
本申请涉及眼球追踪技术领域,特别是涉及一种图像获取设备的控制方法及装置。
背景技术
眼球追踪技术是指通过分析目标对象眼部运动得到目标对象注视点的技术。主流技术主要依靠基于红外频段的人眼图像,分析人眼特征信息,进而得出目标对象注视点。
目前,遥测眼球追踪技术中通常采用多个图像获取设备拍摄目标对象图像,将所述多个图像获取设备拍摄的图像传输给控制器,从而使得控制器基于拍摄的目标对象图像分析人眼特征信息,进而得出目标对象的注视点。
但是,将多个图像获取设备拍摄的图像均发送给控制器,可能需要比较大的传输带宽。而传输带宽会受限于具体的传输协议,从而导致实际带宽不能满足传输多个图像获取设备所拍摄的图像的带宽要求。
发明内容
本申请提供一种图像获取设备的控制方法及装置,可以节省传输所述多个图像获取设备拍摄的图像的带宽。
第一方面,本申请实施例提供一种图像获取设备的控制方法,包括:
获取多个图像获取设备拍摄的图像;
根据所述多个图像获取设备拍摄的图像确定所述多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备;
控制所述活跃图像获取设备以第一配置拍摄图像,控制所述非活跃图像获取设备以第二配置拍摄图像;
获取所述活跃图像获取设备发送的所述活跃图像获取设备拍摄的图像,以及获取所述非活跃图像获取设备发送的所述非活跃图像获取设备拍摄的图像;
其中,所述活跃图像获取设备发送所述活跃图像获取设备拍摄的图像所需的带宽,大于所述非活跃图像获取设备发送所述非活跃图像获取设备拍摄的图像所需的带宽。
可选的,所述根据所述多个图像获取设备拍摄的图像确定所述多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备,包括:
根据所述多个图像获取设备拍摄的图像获取目标对象的位置;
根据所述多个图像获取设备与所述目标对象之间的相对位置确定所述多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备。
可选的,所述根据所述多个图像获取设备拍摄的图像确定所述多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备,包括:
将拍摄的图像中不包括所述目标对象的图像获取设备,确定为所述非活跃图像获取设备;
从待选图像获取设备中确定活跃图像获取设备;其中,所述待选图像获取设备为所述多个图像获取设备中除了所述非活跃图像获取设备之外的图像获取设备。
可选的,所述控制所述活跃图像获取设备以第一配置拍摄图像,控制所述非活跃图像获取设备以第二配置拍摄图像,包括:
控制所述活跃图像获取设备以第一频率拍摄图像,控制所述非活跃图像获取设备以第二频率拍摄图像,其中,所述第一频率大于所述第二频率;和/或,
控制所述活跃图像获取设备以第一图像位宽拍摄图像,控制所述非活跃图像获取设备以第二图像位宽拍摄图像,其中,所述第一位宽大于所述第二位宽;和/或,
控制所述活跃图像获取设备以第一分辨率拍摄图像,控制所述非活跃图像获取设备以第二分辨率拍摄图像;其中,所述第一分辨率大于所述第二分辨率。
可选的,所述获取所述活跃图像获取设备发送的所述活跃图像获取设备拍摄的图像,以及获取所述非活跃图像获取设备发送的所述非活跃图像获取设备拍摄的图像,包括:
获取以第一压缩比压缩后得到的所述活跃图像获取设备发送的所述活跃图像获取设备拍摄的图像,以及,获取以第二压缩比压缩后得到的所述非活跃图像获取设备发送的所述非活跃图像获取设备拍摄的图像;其中,所述第一压缩比小于所述第二压缩比。
可选的,所述方法还包括:
根据所述多个图像获取设备与所述目标对象之间的相对位置,调节所述第一频率,和/或,调节所述第二频率。
可选的,所述方法还包括:
根据所述活跃图像获取设备拍摄的图像的清晰度,调节所述第一频率,和/或,调节所述第二频率。
可选的,所述方法还包括:
根据所述活跃图像获取设备连续拍摄的若干帧图像的特征,确定所述目标对象与所述活跃图像获取设备之间的距离的变化趋势;
根据所述距离变化趋势判断所述活跃图像获取设备切换为所述非活跃图像获取设备的可能性;
若所述可能性大于或者等于预设阈值,则加快所述非活跃图像获取设备拍摄图像的频率。
可选的,所述多个图像获取设备包括第一图像获取设备和第二图像获取设备;
所述根据所述多个图像获取设备拍摄的图像获取目标对象的位置,包括:
获取所述第一图像获取设备拍摄的包含所述目标对象的第一图像,根据所述第一图像的特征确定所述目标对象与所述第一图像获取设备之间的距离;
和/或,
获取所述第二图像获取设备拍摄的包含所述目标对象的第二图像,根据所述第二图像的特征确定所述目标对象与所述第二图像获取设备之间的距离。
可选的,所述根据所述多个图像获取设备与所述目标对象之间的相对位置确定所述多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备,包括:
若所述目标对象与所述第一图像获取设备之间的距离,处于第一距离区间,确定所述第一图像获取设备为活跃图像获取设备,确定所述第二图像获取设备为非活跃图像;其中,所述第一距离区间根据所述第一图像获取设备的对焦位置确定;和/或,
若所述目标对象与所述第一图像获取设备之间的距离,处于第二距离区间,确定所述第一图像获取设备为非活跃图像获取设备,确定所述第二图像获取设备为活跃图像获取设备;其中,第二距离区间根据所述第二图像获取设备的对焦位置确定;
可选的,所述多个图像获取设备中的任意两个图像获取设备之间的距离小于预设距离阈值;所述多个图像获取设备中至少存在两个对焦位置不同的图像获取设备。
第二方面,本申请实施例提供一种图像获取设备的控制装置,包括:
第一获取单元,用于获取多个图像获取设备拍摄的图像;
第一确定单元,用于根据所述多个图像获取设备拍摄的图像确定所述多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备;
控制单元,用于控制所述活跃图像获取设备以第一配置拍摄图像,控制所述非活跃图像获取设备以第二配置拍摄图像;
第二获取单元,用于获取所述活跃图像获取设备发送的所述活跃图像获取设备拍摄的图像,以及获取所述非活跃图像获取设备发送的所述非活跃图像获取设备拍摄的图像;
其中,所述活跃图像获取设备发送所述活跃图像获取设备拍摄的图像所需的带宽,大于所述非活跃图像获取设备发送所述非活跃图像获取设备拍摄的图像所需的带宽。
可选的,所述第一确定单元,具体用于:
根据所述多个图像获取设备拍摄的图像获取目标对象的位置;
根据所述多个图像获取设备与所述目标对象之间的相对位置确定所述多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备。
可选的,所述第一确定单元,具体用于:
将拍摄的图像中不包括所述目标对象的图像获取设备,确定为所述非活跃图像获取设备;
从待选图像获取设备中确定活跃图像获取设备;其中,所述待选图像获取设备为所述多个图像获取设备中除了所述非活跃图像获取设备之外的图像获取设备。
可选的,所述控制单元,具体用于:
控制所述活跃图像获取设备以第一频率拍摄图像,控制所述非活跃图像获取设备以第二频率拍摄图像,其中,所述第一频率大于所述第二频率;和/或,
控制所述活跃图像获取设备以第一图像位宽拍摄图像,控制所述非活跃图像获取设备以第二图像位宽拍摄图像,其中,所述第一位宽大于所述第二位宽;和/或,
控制所述活跃图像获取设备以第一分辨率拍摄图像,控制所述非活跃图像获取设备以第二分辨率拍摄图像;其中,所述第一分辨率大于所述第二分辨率。
可选的,所述第二获取单元,具体用于:
获取以第一压缩比压缩后得到的所述活跃图像获取设备发送的所述活跃图像获取设备拍摄的图像,以及,获取以第二压缩比压缩后得到的所述非活跃图像获取设备发送的所述非活跃图像获取设备拍摄的图像;其中,所述第一压缩比小于所述第二压缩比。
可选的,所述装置还包括:
第一调节单元,用于根据所述多个图像获取设备与所述目标对象之间的相对位置,调节所述第一频率,和/或,调节所述第二频率。
可选的,所述装置还包括:
第二调节单元,用于根据所述活跃图像获取设备拍摄的图像的清晰度,调节所述第一频率,和/或,调节所述第二频率。
可选的,所述装置还包括:
第二确定单元,用于根据所述活跃图像获取设备连续拍摄的若干帧图像的特征,确定所述目标对象与所述活跃图像获取设备之间的距离的变化趋势;
判断单元,用于根据所述距离变化趋势判断所述活跃图像获取设备切换为所述非活跃图像获取设备的可能性;
频率加快单元,用于若所述可能性大于或者等于预设阈值,则加快所述非活跃图像获取设备拍摄图像的频率。
可选的,所述多个图像获取设备包括第一图像获取设备和第二图像获取设备;
所述根据所述多个图像获取设备拍摄的图像获取目标对象的位置,包括:
获取所述第一图像获取设备拍摄的包含所述目标对象的第一图像,根据所述第一图像的特征确定所述目标对象与所述第一图像获取设备之间的距离;
和/或,
获取所述第二图像获取设备拍摄的包含所述目标对象的第二图像,根据所述第二图像的特征确定所述目标对象与所述第二图像获取设备之间的距离。
可选的,所述根据所述多个图像获取设备与所述目标对象之间的相对位置确定所述多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备,包括:
若所述目标对象与所述第一图像获取设备之间的距离,处于第一距离区间,确定所述第一图像获取设备为活跃图像获取设备,确定所述第二图像获取设备为非活跃图像;其中,所述第一距离区间根据所述第一图像获取设备的对焦位置确定;和/或,
若所述目标对象与所述第一图像获取设备之间的距离,处于第二距离区间,确定所述第一图像获取设备为非活跃图像获取设备,确定所述第二图像获取设备为活跃图像获取设备;其中,第二距离区间根据所述第二图像获取设备的对焦位置确定;
可选的,所述多个图像获取设备中的任意两个图像获取设备之间的距离小于预设距离阈值;所述多个图像获取设备中至少存在两个对焦位置不同的图像获取设备。
与现有技术相比,本申请实施例具有以下优点:
本申请实施例提供的图像获取设备的控制方法及装置,包括:获取多个图像获取设备拍摄的图像;根据所述多个图像获取设备拍摄的图像确定所述多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备;控制所述活跃图像获取设备以第一配置拍摄图像,控制所述非活跃图像获取设备以第二配置拍摄图像;获取所述活跃图像获取设备发送的所述活跃图像获取设备拍摄的图像,以及获取所述非活跃图像获取设备发送的所述非活跃图像获取设备拍摄的图像;其中,所述活跃图像获取设备发送所述活跃图像获取设备拍摄的图像所需的带宽,大于所述非活跃图像获取设备发送所述非活跃图像获取设备拍摄的图像所需的带宽。由此可见,利用本申请实施例提供的图像获取设备的控制方法及装置,可以确定出多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备,并控制活跃图像获取设备以第一配置拍摄图像,非活跃图像获取设备以第二策略拍摄图像,使得非活跃图像获取设备将其拍摄的图像发送给控制器时所需的带宽比较小,小于活跃图像获取设备将其拍摄的图像发送给控制器时所需的带宽,而不是所有图像获取设备将其拍摄的图像发送给控制器时所需的带宽均比较大(例如等于活跃图像获取设备将其拍摄的图像发送给控制器时所需的带宽),从而节省了传输所述多个图像获取设备拍摄的图像的带宽。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像获取设备的控制方法的流程示意图;
图2为本申请实施例提供的一种调节所述图像获取设备拍摄图像的频率的方法的流程示意图;
图3为本申请实施例提供的一种图像获取设备的控制装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
一方面,本申请的发明人经过研究发现,目前,遥测眼球追踪技术中通常采用多个图像获取设备以相同的拍摄频率拍摄目标对象图像,将所述多个图像获取设备拍摄的图像传输给控制器,从而使得控制器基于拍摄的目标对象图像分析人眼特征信息,进而得出目标对象的注视点。而为了能够准确的分析出目标对象的注视点,多个图像获得设备的拍摄频率一般设置的比较高。
但是,将多个图像获取设备拍摄的图像均发送给控制器,可能需要比较大的传输带宽。而传输带宽会受限于具体的传输协议,从而导致实际带宽不能满足传输多个图像获取设备所拍摄的图像的带宽要求。
另一方面,本申请的发明人经过研究发现,在一些场景中,使用所述多个图像获取设备中的某一个或某几个图像获取设备所拍摄的图像,就可以准确的分析出目标对象的注视点。也就是说,存在一个或者一些图像获取设备,其拍摄的图像对分析目标对象的注视点的贡献很小。对于这种情况,可以降低这些对分析目标对象的注视点的贡献很小的图像获取设备拍摄图像的频率,从而节省传输所述多个图像获取设备拍摄的图像的带宽。
鉴于此,本申请实施例提供一种图像获取设备的控制方法及装置,包括:获取多个图像获取设备拍摄的图像;根据所述多个图像获取设备拍摄的图像确定所述多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备;控制所述活跃图像获取设备以第一配置拍摄图像,控制所述非活跃图像获取设备以第二配置拍摄图像;获取所述活跃图像获取设备发送的所述活跃图像获取设备拍摄的图像,以及获取所述非活跃图像获取设备发送的所述非活跃图像获取设备拍摄的图像;其中,所述活跃图像获取设备发送所述活跃图像获取设备拍摄的图像所需的带宽,大于所述非活跃图像获取设备发送所述非活跃图像获取设备拍摄的图像所需的带宽。
由此可见,利用本申请实施例提供的图像获取设备的控制方法及装置,可以确定出多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备,并控制活跃图像获取设备以第一配置拍摄图像,非活跃图像获取设备以第二策略拍摄图像,使得非活跃图像获取设备将其拍摄的图像发送给控制器时所需的带宽比较小,小于活跃图像获取设备将其拍摄的图像发送给控制器时所需的带宽,而不是所有图像获取设备将其拍摄的图像发送给控制器时所需的带宽均比较大(例如等于活跃图像获取设备将其拍摄的图像发送给控制器时所需的带宽),从而节省了传输所述多个图像获取设备拍摄的图像的带宽。
下面结合附图,详细说明本申请的各种非限制性实施方式。
示例性方法
参见图1,该图为本申请实施例提供的一种图像获取设备的控制方法的流程示意图。
在本申请实施例中,所述方法可以应用于遥测式眼球追踪系统。遥测式眼球追踪系统可以包括图像获取设备和控制器。图像获取设备可以获取包括目标对象的图像。控制器可以根据所述包括目标对象的图像分析目标对象眼部运动得到目标对象注视点。
具体地,遥测式眼球追踪系统可以包含多个图像获取设备,这多个图像获取设备可以以近似的视角拍摄相同的场景,这多个图像获取设备中至少存在两个对角位置不同的图像获取设备。
本申请实施例提供的图像获取设备的控制方法,例如可以通过以下步骤S101-S104实现。
S101:获取多个图像获取设备拍摄的图像。
需要说明的是,本申请实施例不具体限定所述图像获取设备,所述图像获取设备例如可以为摄像机。
需要说明的是,在本申请实施例中,控制器和图像获取设备之间可以通过网络建立连接,因此,在本申请实施例的一种可能的实现方式中,控制器可以通过网络获取所述多个图像获取设备拍摄的图像。
S102:根据所述多个图像获取设备拍摄的图像确定所述多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备。
如前文所述,在一些场景中,使用所述多个图像获取设备中的某一个或某几个图像获取设备所拍摄的图像,就可以准确的分析出目标对象的注视点。
需要说明的是,所谓活跃图像获取设备,可以理解成对分析目标对象的注视点贡献大的图像获取设备。所谓非活跃图像获取设备,可以理解成对分析目标对象的注视点贡献小的图像获取设备。
需要说明的是,在本申请实施例中,步骤S102在具体实现时可以有多种实现方式,以下介绍两种可能的实现方式。
第一种实现方式:可以通过如下步骤A-B确定活跃图像获取设备和非活跃图像获取设备。
步骤A:根据所述多个图像获取设备拍摄的图像获取目标对象的位置。
需要说明的是,在本申请实施例中,所述图像获取系统中的图像获取设备可以用于拍摄包括目标对象的图像,所述图像获取设备可以为照相机、摄像机等。所述图像获取设备拍摄图像之后,可以将拍摄的图像发送给控制器,控制器可以根据所述图像分析目标对象眼部运动得到目标对象注视点。
可以理解的是,目标对象与图像获取设备的之间的距离不同,所述图像获取设备拍摄的图像中与目标对象相关的特征也可能不同。因此,可以根据所述多个图像获取设备拍摄的图像获取目标对象的位置。
需要说明的是,本申请实施例对所述多个图像获取设备不做限定,作为一种示例,所述多个图像获取设备中的任意两个图像获取设备之间的距离差小于预设距离阈值;所述多个图像获取设备中至少存在两个对焦位置不同的图像获取设备。
需要说明的是,所述多个图像获取设备中的任意两个图像获取设备之间的距离小于预设距离阈值,可以认为在拍摄包含目标对象的图像时,目标对象与任意两个图像获取设备之间的距离之间的差值比较小,即可以认为所述多个图像获取设备之间的距离很小。即可以粗略的认为所述多个图像获取设备所处的位置相同。例如,目标对象与第三图像获取设备之间的距离为第三距离,目标对象与第四图像获取设备之间的距离为第四距离,第三距离和第四距离之前的差值比较小,则可以粗略的认为第三图像获取设备和第四获取设备所处的位置相同。
本申请不具体限定所述预设距离阈值,作为一种示例,所述预设距离阈值可以为10厘米。
本申请实施例不具体限定所述多个图像获取设备的焦距或对焦位置的具体取值。
步骤B:根据所述多个图像获取设备与所述目标对象之间的相对位置确定所述多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备。
在本申请实施例中,获取多个图像获取设备与目标对象之间的相对位置之后,即可根据该相对位置确定多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备。
第二种实现方式:可以通过如下方式确定多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备。
将拍摄的图像中不包括所述目标对象的图像获取设备,确定为所述非活跃图像获取设备;从待选图像获取设备中确定活跃图像获取设备;其中,所述待选图像获取设备为所述多个图像获取设备中除了所述非活跃图像获取设备之外的图像获取设备。
可以理解的是,多个图像获取设备的视场角可能不同,因此,可能存在一些图像获取设备,并不能拍摄到包含目标对象的图像,而遥测眼球追踪技术要根据目标对象的人眼特征信息,进而得出目标对象的注视点,若图像中不包含目标对象,则无法通过该不包含目标对象的图像得出目标对象的注视点。因此,在本申请实施例中,可以将拍摄的图像中不包括所述目标对象的图像获取设备,确定为所述非活跃图像获取设备,然后,从除了非活跃图像获取设备之外的其它图像获取设备即待选图像获取设备中,确定出活跃图像获取设备。
需要说明的是,本申请实施例不具体限定从待选图像获取设备中确定活跃图像获取设备的具体方式,作为一种示例,可以采用以上步骤A-B所述的方法从待选图像获取设备中确定活跃图像获取设备。
S103:控制所述活跃图像获取设备以第一配置拍摄图像,控制所述非活跃图像获取设备以第二配置拍摄图像。
S104:获取所述活跃图像获取设备发送的所述活跃图像获取设备拍摄的图像,以及获取所述非活跃图像获取设备发送的所述非活跃图像获取设备拍摄的图像。
关于步骤S103和步骤S104,需要说明的是,本申请实施例不具体限定第一配置和第二配置,第一配置和第二配置的具体设置可以根据实际情况确定。
如前文,利用所述活跃图像获取设备拍摄的图像可以分析出目标对象的注视点,为了使得分析的目标对象的注视点更加准确,可以进一步结合非活跃图像获取设备拍摄的图像分析目标对象的注视点。因此,可以控制活跃图像获取设备以第一配置拍摄图像,非活跃图像获取设备以第二策略拍摄图像,使得非活跃图像获取设备将其拍摄的图像发送给控制器时所需的带宽比较小,小于活跃图像获取设备将其拍摄的图像发送给控制器时所需的带宽,而不是所有图像获取设备将其拍摄的图像发送给控制器时所需的带宽均比较大(例如等于活跃图像获取设备将其拍摄的图像发送给控制器时所需的带宽),从而节省了传输所述多个图像获取设备拍摄的图像的带宽。
为了使得非活跃图像获取设备将其拍摄的图像发送给控制器时所需的带宽比较小,小于活跃图像获取设备将其拍摄的图像发送给控制器时所需的带宽,在本申请实施例的一种可能的实现方式中,步骤S103在具体实现时,可以通过如下方式实现:
控制所述活跃图像获取设备以第一频率拍摄图像,控制所述非活跃图像获取设备以第二频率拍摄图像,其中,所述第一频率大于所述第二频率;
本申请实施例不具体限定所述第一频率和所述第二频率的具体取值,所述第一频率的具体取值和所述第二频率的具体取值可以根据实际情况确定。作为一种示例,所述第一频率可以为30Hz,所述第二频率可以为6Hz。
可以理解的是,非活跃图像获取设备拍摄图像的频率比较低,因此,非活跃图像发送其拍摄的图像所需的带宽比较小。
和/或,
控制所述活跃图像获取设备以第一图像位宽拍摄图像,控制所述非活跃图像获取设备以第二图像位宽拍摄图像,其中,所述第一位宽大于所述第二位宽;
需要说明的是,本申请实施例不具体限定所述第一图像位宽和第二图像位宽的具体取值,所述第一图像位宽和第二图像位宽的具体取值可以根据实际情况确定。作为一种示例,所述第一图像位宽可以为8比特,所述第二图像位宽可以为4比特。
以理解的是,非活跃图像获取设备拍摄图像的图像位宽比较低,因此,非活跃图像发送其拍摄的图像所需的带宽比较小。
和/或,
控制所述活跃图像获取设备以第一分辨率拍摄图像,控制所述非活跃图像获取设备以第二分辨率拍摄图像;其中,所述第一分辨率大于所述第二分辨率。
需要说明的是,本申请实施例不具体限定所述第一分辨率和第二分辨率的具体取值,所述第一分辨率和第二分辨率的具体取值可以根据实际情况确定。作为一种示例,所述第一分辨率可以为2000*1000,所述第二分辨率可以为500*250。
可以理解的是,非活跃图像获取设备拍摄图像的图像分辨率比较低,因此,非活跃图像发送其拍摄的图像所需的带宽比较小。
为了使得非活跃图像获取设备将其拍摄的图像发送给控制器时所需的带宽比较小,小于活跃图像获取设备将其拍摄的图像发送给控制器时所需的带宽,在本申请实施例的一种可能的实现方式中,步骤S104在具体实现时,可以通过如下方式实现。
获取以第一压缩比压缩后得到的所述活跃图像获取设备发送的所述活跃图像获取设备拍摄的图像,以及,获取以第二压缩比压缩后得到的所述非活跃图像获取设备发送的所述非活跃图像获取设备拍摄的图像;其中,所述第一压缩比小于所述第二压缩比。
需要说明的是,本申请实施例不具体限定第一压缩比和第二压缩比的具体取值,作为一种示例,所述第一压缩比可以为一个比较小的数值,例如为0,所述第二压缩比可以为一个大于第一压缩比的值,例如为2。即活跃图像获取设备将其拍摄的图像发送给控制器时,可以以较小的压缩比对图像进行压缩,或者不进行压缩,以提供较高的图像质量,以便于准确的分析出目标对象的注视点。而非活跃图像获取设备将其拍摄的图像发送给控制器时,可以以较高压缩比进行压缩,以减小图像尺寸,从而减少将该图像发送给控制器所需的带宽。
可以理解的是,所述图像获取设备拍摄图像的过程中,目标对象的位置可能会发生改变,例如,目标对象朝着远离活跃图像获取设备的方向移动。因此,基于所述活跃图像获取设备以第一频率拍摄图像,和所述非活跃图像获取设备以第二频率拍摄图像,可能并不能准确的分析出目标对象的注视点。
因此,在本申请实施例中,还可以对所述第一频率和所述第二频率进行调节。从而使得利用所述活跃图像获取设备拍摄的图像和所述非活跃图像获取设备拍摄的图像,可以准确的分析出目标对象的注视点。
需要说明的是,对所述第一频率和所述第二频率进行调节,可以有多种实现方式。以下将介绍三种可能的实现方式。
第一种可能的实现方式:可以根据所述多个图像获取设备与所述目标对象之间的相对位置,调节所述第一频率,和/或,调节所述第二频率。
可以理解的是,所述活跃图像获取设备对应有拍摄效果比较好的第一拍摄区域,在该第一拍摄区域内拍摄的图像的清晰度比较高。因此,根据所述多个图像获取设备与所述目标对象之间的相对位置,调节所述第一频率,和/或,调节所述第二频率,在具体实现时,可以判断所述目标对象是否在所述第一拍摄区域内,若所述目标对象在所述第一拍摄区域内,则减小所述第二频率的数值,若所述目标对象在所述第一拍摄区域外,则增大所述第二频率的数值。
可以理解的是,目标对象在所述第一拍摄区域内,则说明基于该活跃图像获取设备拍摄的图像可以准确的分析出目标对象的注视点,此时,可以减小所述第二频率的数值。若目标对象在所述第一拍摄区域外,则说明基于该活跃图像获取设备拍摄的图像可能不可以准确的分析出目标对象的注视点,此时,可以增大所述第二频率的数值,从而结合所述活跃图像获取设备拍摄的图像和所述非活跃图像获取设备拍摄的图像,提高分析目标对象的注视点的准确性。
可以理解的是,所述非活跃图像获取设备对应有拍摄效果比较好的第二拍摄区域,在该第二拍摄区域内拍摄的图像的清晰度比较高。因此,根据所述多个图像获取设备与所述目标对象之间的相对位置,调节所述第一频率,和/或,调节所述第二频率,在具体实现时,可以判断所述目标对象是否在所述第二拍摄区域内,若所述目标对象在所述第二拍摄区域内,则增加所述第二频率的数值,减小所述第一频率的数值。
可以理解的是,若所述目标对象在所述第二拍摄区域内,则说明基于该非活跃图像获取设备拍摄的图像可以准确的分析出目标对象的注视点,此时,可以减小所述第一频率的数值,相应的,增大所述第二频率的数值。
第二种可能的实现方式:可以根据所述活跃图像获取设备拍摄的图像的清晰度,调节所述第一频率,和/或,调节所述第二频率。
具体地,若所述活跃图像获取设备拍摄的图像的清晰度大于或者等于清晰度阈值,则可以减小所述第二频率的数值,若所述活跃图像获取设备拍摄的图像的清晰度小于清晰度阈值,则可以增加所述第二频率的数值。
可以理解的是,若所述活跃图像获取设备拍摄的图像的清晰度大于或者等于清晰度阈值,则说明基于该活跃图像获取设备拍摄的图像可以准确的分析出目标对象的注视点,此时,可以减小所述第二频率的数值。若所述活跃图像获取设备拍摄的图像的清晰度小于清晰度阈值,则说明基于该活跃图像获取设备拍摄的图像可能不可以准确的分析出目标对象的注视点,此时,可以增大所述第二频率的数值,从而结合所述活跃图像获取设备拍摄的图像和所述非活跃图像获取设备拍摄的图像,提高分析目标对象的注视点的准确性。
本申请实施例不具体限定所述清晰度阈值,所述清晰度阈值的具体数值可以根据实际情况具体确定。
第三种可能的实现方式:可以通过以下步骤S201-S203实现。
S201:根据所述活跃图像获取设备连续拍摄的若干帧图像的特征,确定所述目标对象与所述活跃图像获取设备之间的距离的变化趋势。
可以理解的是,利用所述活跃图像获取设备拍摄的一帧图像的特征,可以确定出所述活跃图像获取设备拍摄该帧图像时,所述目标对象与所述活跃图像获取设备的距离。因此,根据所述活跃图像获取设备连续拍摄的若干帧图像的特征,可以确定出所述目标对象与所述活跃图像获取设备之间的距离的变化趋势。
例如,对于所述活跃图像获取设备连续拍摄的三帧图像的特征,确定出所述活跃图像获取设备拍摄第一帧图像时,所述目标对象与所述活跃图像获取设备之间的距离为45厘米,所述活跃图像获取设备拍摄第二帧图像时,所述目标对象与所述活跃图像获取设备之间的距离为50厘米,所述活跃图像获取设备拍摄第三帧图像时,所述目标对象与所述活跃图像获取设备之间的距离为55厘米,则可以确定出所述目标对象与所述活跃图像获取设备之间的距离的变化趋势为:逐渐变远。
S202:根据所述距离变化趋势判断所述活跃图像获取设备切换为所述非活跃图像获取设备的可能性。
需要说明的是,本申请实施例中提及的所述活跃图像获取设备切换为所述非活跃图像获取设备的可能性,可以是所述目标对象离开所述活跃图像获取设备可以清晰拍摄照片的范围的可能性。
可以理解的是,所述活跃图像获取设备的对焦位置可以是确定的,因此,所述活跃图像获取设备可以清晰拍摄照片的范围可以是确定的。因此,可以根据所述活跃图像获取设备可以清晰拍摄照片的范围,以及所述距离变化趋势,判断所述目标对象离开所述活跃图像获取设备可以清晰拍摄照片的范围的可能性。
例如,当所述目标对象与所述活跃图像获取设备之间的距离小于等于60厘米时,所述活跃图像获取设备可以清晰拍摄包括目标对象的图像,而所述目标对象与所述活跃图像获取设备之间的距离的变化趋势为:逐渐变远。此时,可以确定所述活跃图像获取设备切换为所述非活跃图像获取设备的可能性比较大。
S203:若所述可能性大于或者等于预设阈值,则加快所述非活跃图像获取设备拍摄图像的频率。
可以理解的是,若所述可能性大于或者等于预设阈值,则说明基于所述活跃图像获取设备拍摄的图像可能不能准确的分析出目标对象的注视点。此时,可以加快所述非活跃图像获取设备拍摄图像的频率,从而基于所述活跃图像获取设备拍摄的图像和所述非活跃图像获取设备拍摄的图像,分析目标对象的注视点。
需要说明的是,本申请实施例不具体限定所述预设阈值,所述预设阈值的具体取值可以根据实际情况具体确定。
如前文所述,所述遥测式眼球追踪系统包括多个图像获取设备,在一种可能的实现方式中,所述多个图像获取设备包括第一图像获取设备和第二图像获取设备。对于这种情况,步骤A“所述根据所述多个图像获取设备拍摄的图像获取目标对象的位置”可以通过如下步骤C和/或步骤D实现。
步骤C:获取所述第一图像获取设备拍摄的包含所述目标对象的第一图像,根据所述第一图像的特征确定所述目标对象与所述第一图像获取设备之间的距离。
需要说明的是,所述目标对象与所述第一图像获取设备之间的距离,可以通过所述第一图像中目标对象的瞳孔间距、或者目标对象的眼睛中的光斑间距或者目标对象的虹膜半径来体现。因此,可以提取所述第一图像中与所述目标对象的瞳孔间距相关的特征、或者与目标对象的眼睛中的光斑间距相关的特征或者与目标对象的虹膜半径相关的特征,从而确定所述目标对象与所述第一图像获取设备之间的距离。
步骤D:获取所述第二图像获取设备拍摄的包含所述目标对象的第二图像,根据所述第二图像的特征确定所述目标对象与所述第二图像获取设备之间的距离。
步骤D的具体实现方式与步骤C类似,可以提取所述第二图像中与所述目标对象的瞳孔间距相关的特征、或者与目标对象的眼睛中的光斑间距相关的特征或者与目标对象的虹膜半径相关的特征,从而确定所述目标对象与所述第二图像获取设备之间的距离。相关描述部分可以参考以上步骤A的描述,在此不再赘述。
相应的,若采用步骤C和/或步骤D获取目标对象的位置,则步骤B“根据所述多个图像获取设备与所述目标对象之间的相对位置确定所述多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备”可以通过如下步骤E和/或步骤F实现。
步骤E:若所述目标对象与所述第一图像获取设备之间的距离,处于第一距离区间,确定所述第一图像获取设备为活跃图像获取设备,确定所述第二图像获取设备为非活跃图像;其中,所述第一距离区间根据所述第一图像获取设备的对焦位置确定。
需要说明的是,当所述目标对象与所述第一图像获取设备之间的距离,处于第一距离区间时,可以认为所述第一图像获取设备可以清晰的拍摄到包括目标对象的图像,此时,可以确定所述第一图像获取设备为活跃图像获取设备,确定所述第二图像获取设备为非活跃图像获取设备。可以理解的是,所述第一图像获取设备可以清晰拍摄的图像的范围,与所述第一图像获取设备的对焦位置相关,因此,在本申请实施例中,所述第一距离区间可以根据所述第一图像获取设备的对焦位置确定。
步骤F:若所述目标对象与所述第一图像获取设备之间的距离,处于第二距离区间,确定所述第一图像获取设备为非活跃图像获取设备,确定所述第二图像获取设备为活跃图像获取设备;其中,第二距离区间根据所述第二图像获取设备的对焦位置确定。
需要说明的是,当所述目标对象与所述第二图像获取设备之间的距离,处于第二距离区间时,可以认为所述第二图像获取设备可以清晰的拍摄到包括目标对象的图像,此时,可以确定所述第二图像获取设备为活跃图像获取设备,确定所述第一图像获取设备为非活跃图像。
可以理解的是,所述第二图像获取设备可以清晰拍摄的图像的范围,与所述第二图像获取设备的对焦位置相关,因此,在本申请实施例中,所述第二距离区间可以根据所述第二图像获取设备的对焦位置确定。
示例性设备
参见图3,该图为本申请实施例提供的一种图像获取设备的控制装置的结构示意图。
本申请实施例提供的图像获取设备300,例如可以包括第一获取单元310、第一确定单元320、控制单元330和第二获取单元340。
第一获取单元310,用于获取多个图像获取设备拍摄的图像;
第一确定单元320,用于根据所述多个图像获取设备拍摄的图像确定所述多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备;
控制单元330,用于控制所述活跃图像获取设备以第一配置拍摄图像,控制所述非活跃图像获取设备以第二配置拍摄图像;
第二获取单元340,用于获取所述活跃图像获取设备发送的所述活跃图像获取设备拍摄的图像,以及获取所述非活跃图像获取设备发送的所述非活跃图像获取设备拍摄的图像;
其中,所述活跃图像获取设备发送所述活跃图像获取设备拍摄的图像所需的带宽,大于所述非活跃图像获取设备发送所述非活跃图像获取设备拍摄的图像所需的带宽。
可选的,所述第一确定单元320,具体用于:
根据所述多个图像获取设备拍摄的图像获取目标对象的位置;
根据所述多个图像获取设备与所述目标对象之间的相对位置确定所述多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备。
可选的,所述第一确定单元320,具体用于:
将拍摄的图像中不包括所述目标对象的图像获取设备,确定为所述非活跃图像获取设备;
从待选图像获取设备中确定活跃图像获取设备;其中,所述待选图像获取设备为所述多个图像获取设备中除了所述非活跃图像获取设备之外的图像获取设备。
可选的,所述控制单元330,具体用于:
控制所述活跃图像获取设备以第一频率拍摄图像,控制所述非活跃图像获取设备以第二频率拍摄图像,其中,所述第一频率大于所述第二频率;和/或,
控制所述活跃图像获取设备以第一图像位宽拍摄图像,控制所述非活跃图像获取设备以第二图像位宽拍摄图像,其中,所述第一位宽大于所述第二位宽;和/或,
控制所述活跃图像获取设备以第一分辨率拍摄图像,控制所述非活跃图像获取设备以第二分辨率拍摄图像;其中,所述第一分辨率大于所述第二分辨率。
可选的,所述第二获取单元340,具体用于:
获取以第一压缩比压缩后得到的所述活跃图像获取设备发送的所述活跃图像获取设备拍摄的图像,以及,获取以第二压缩比压缩后得到的所述非活跃图像获取设备发送的所述非活跃图像获取设备拍摄的图像;其中,所述第一压缩比小于所述第二压缩比。
可选的,所述装置300还包括:
第一调节单元,用于根据所述多个图像获取设备与所述目标对象之间的相对位置,调节所述第一频率,和/或,调节所述第二频率。
可选的,所述装置300还包括:
第二调节单元,用于根据所述活跃图像获取设备拍摄的图像的清晰度,调节所述第一频率,和/或,调节所述第二频率。
可选的,所述装置300还包括:
第二确定单元,用于根据所述活跃图像获取设备连续拍摄的若干帧图像的特征,确定所述目标对象与所述活跃图像获取设备之间的距离的变化趋势;
判断单元,用于根据所述距离变化趋势判断所述活跃图像获取设备切换为所述非活跃图像获取设备的可能性;
频率加快单元,用于若所述可能性大于或者等于预设阈值,则加快所述非活跃图像获取设备拍摄图像的频率。
可选的,所述多个图像获取设备包括第一图像获取设备和第二图像获取设备;
所述根据所述多个图像获取设备拍摄的图像获取目标对象的位置,包括:
获取所述第一图像获取设备拍摄的包含所述目标对象的第一图像,根据所述第一图像的特征确定所述目标对象与所述第一图像获取设备之间的距离;
和/或,
获取所述第二图像获取设备拍摄的包含所述目标对象的第二图像,根据所述第二图像的特征确定所述目标对象与所述第二图像获取设备之间的距离。
可选的,所述根据所述多个图像获取设备与所述目标对象之间的相对位置确定所述多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备,包括:
若所述目标对象与所述第一图像获取设备之间的距离,处于第一距离区间,确定所述第一图像获取设备为活跃图像获取设备,确定所述第二图像获取设备为非活跃图像;其中,所述第一距离区间根据所述第一图像获取设备的对焦位置确定;和/或,
若所述目标对象与所述第一图像获取设备之间的距离,处于第二距离区间,确定所述第一图像获取设备为非活跃图像获取设备,确定所述第二图像获取设备为活跃图像获取设备;其中,第二距离区间根据所述第二图像获取设备的对焦位置确定;
可选的,所述多个图像获取设备中的任意两个图像获取设备之间的距离小于预设距离阈值;所述多个图像获取设备中至少存在两个对焦位置不同的图像获取设备。
由于所述装置300是与以上方法实施例提供的方法对应的装置,因此,关于所述装置300的具体描述,可以参考以上方法实施例的描述部分,此处不再赘述。
由此可见,利用本申请实施例提供的图像获取设备的控制装置,可以确定出多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备,并控制活跃图像获取设备以第一配置拍摄图像,非活跃图像获取设备以第二策略拍摄图像,使得非活跃图像获取设备将其拍摄的图像发送给控制器时所需的带宽比较小,小于活跃图像获取设备将其拍摄的图像发送给控制器时所需的带宽,而不是所有图像获取设备将其拍摄的图像发送给控制器时所需的带宽均比较大(例如等于活跃图像获取设备将其拍摄的图像发送给控制器时所需的带宽),从而节省了传输所述多个图像获取设备拍摄的图像的带宽。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (22)

1.一种图像获取设备的控制方法,其特征在于,包括:
获取多个图像获取设备拍摄的图像;
根据所述多个图像获取设备拍摄的图像确定所述多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备;
控制所述活跃图像获取设备以第一配置拍摄图像,控制所述非活跃图像获取设备以第二配置拍摄图像;
获取所述活跃图像获取设备发送的所述活跃图像获取设备拍摄的图像,以及获取所述非活跃图像获取设备发送的所述非活跃图像获取设备拍摄的图像;
其中,所述活跃图像获取设备发送所述活跃图像获取设备拍摄的图像所需的带宽,大于所述非活跃图像获取设备发送所述非活跃图像获取设备拍摄的图像所需的带宽。
2.根据权利要求1所述的方法,其特征在于,所述根据所述多个图像获取设备拍摄的图像确定所述多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备,包括:
根据所述多个图像获取设备拍摄的图像获取目标对象的位置;
根据所述多个图像获取设备与所述目标对象之间的相对位置确定所述多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备。
3.根据权利要求1所述的方法,其特征在于,所述根据所述多个图像获取设备拍摄的图像确定所述多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备,包括:
将拍摄的图像中不包括所述目标对象的图像获取设备,确定为所述非活跃图像获取设备;
从待选图像获取设备中确定活跃图像获取设备;其中,所述待选图像获取设备为所述多个图像获取设备中除了所述非活跃图像获取设备之外的图像获取设备。
4.根据权利要求1所述的方法,其特征在于,所述控制所述活跃图像获取设备以第一配置拍摄图像,控制所述非活跃图像获取设备以第二配置拍摄图像,包括:
控制所述活跃图像获取设备以第一频率拍摄图像,控制所述非活跃图像获取设备以第二频率拍摄图像,其中,所述第一频率大于所述第二频率;和/或,
控制所述活跃图像获取设备以第一图像位宽拍摄图像,控制所述非活跃图像获取设备以第二图像位宽拍摄图像,其中,所述第一位宽大于所述第二位宽;和/或,
控制所述活跃图像获取设备以第一分辨率拍摄图像,控制所述非活跃图像获取设备以第二分辨率拍摄图像;其中,所述第一分辨率大于所述第二分辨率。
5.根据权利要求1所述的方法,其特征在于,所述获取所述活跃图像获取设备发送的所述活跃图像获取设备拍摄的图像,以及获取所述非活跃图像获取设备发送的所述非活跃图像获取设备拍摄的图像,包括:
获取以第一压缩比压缩后得到的所述活跃图像获取设备发送的所述活跃图像获取设备拍摄的图像,以及,获取以第二压缩比压缩后得到的所述非活跃图像获取设备发送的所述非活跃图像获取设备拍摄的图像;其中,所述第一压缩比小于所述第二压缩比。
6.根据权利要求4所述的方法,其特征在于,所述方法还包括:
根据所述多个图像获取设备与所述目标对象之间的相对位置,调节所述第一频率,和/或,调节所述第二频率。
7.根据权利要求4所述的方法,其特征在于,所述方法还包括:
根据所述活跃图像获取设备拍摄的图像的清晰度,调节所述第一频率,和/或,调节所述第二频率。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述活跃图像获取设备连续拍摄的若干帧图像的特征,确定所述目标对象与所述活跃图像获取设备之间的距离的变化趋势;
根据所述距离变化趋势判断所述活跃图像获取设备切换为所述非活跃图像获取设备的可能性;
若所述可能性大于或者等于预设阈值,则加快所述非活跃图像获取设备拍摄图像的频率。
9.根据权利要求2所述的方法,其特征在于,所述多个图像获取设备包括第一图像获取设备和第二图像获取设备;
所述根据所述多个图像获取设备拍摄的图像获取目标对象的位置,包括:
获取所述第一图像获取设备拍摄的包含所述目标对象的第一图像,根据所述第一图像的特征确定所述目标对象与所述第一图像获取设备之间的距离;
和/或,
获取所述第二图像获取设备拍摄的包含所述目标对象的第二图像,根据所述第二图像的特征确定所述目标对象与所述第二图像获取设备之间的距离。
10.根据权利要求9所述的方法,其特征在于,所述根据所述多个图像获取设备与所述目标对象之间的相对位置确定所述多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备,包括:
若所述目标对象与所述第一图像获取设备之间的距离,处于第一距离区间,确定所述第一图像获取设备为活跃图像获取设备,确定所述第二图像获取设备为非活跃图像;其中,所述第一距离区间根据所述第一图像获取设备的对焦位置确定;和/或,
若所述目标对象与所述第一图像获取设备之间的距离,处于第二距离区间,确定所述第一图像获取设备为非活跃图像获取设备,确定所述第二图像获取设备为活跃图像获取设备;其中,第二距离区间根据所述第二图像获取设备的对焦位置确定;
11.根据权利要求1-10任意一项所述的方法,其特征在于,所述多个图像获取设备中的任意两个图像获取设备之间的距离小于预设距离阈值;所述多个图像获取设备中至少存在两个对焦位置不同的图像获取设备。
12.一种图像获取设备的控制装置,其特征在于,包括:
第一获取单元,用于获取多个图像获取设备拍摄的图像;
第一确定单元,用于根据所述多个图像获取设备拍摄的图像确定所述多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备;
控制单元,用于控制所述活跃图像获取设备以第一配置拍摄图像,控制所述非活跃图像获取设备以第二配置拍摄图像;
第二获取单元,用于获取所述活跃图像获取设备发送的所述活跃图像获取设备拍摄的图像,以及获取所述非活跃图像获取设备发送的所述非活跃图像获取设备拍摄的图像;
其中,所述活跃图像获取设备发送所述活跃图像获取设备拍摄的图像所需的带宽,大于所述非活跃图像获取设备发送所述非活跃图像获取设备拍摄的图像所需的带宽。
13.根据权利要求12所述的装置,其特征在于,所述第一确定单元,具体用于:
根据所述多个图像获取设备拍摄的图像获取目标对象的位置;
根据所述多个图像获取设备与所述目标对象之间的相对位置确定所述多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备。
14.根据权利要求12所述的装置,其特征在于,所述第一确定单元,具体用于:
将拍摄的图像中不包括所述目标对象的图像获取设备,确定为所述非活跃图像获取设备;
从待选图像获取设备中确定活跃图像获取设备;其中,所述待选图像获取设备为所述多个图像获取设备中除了所述非活跃图像获取设备之外的图像获取设备。
15.根据权利要求12所述的装置,其特征在于,所述控制单元,具体用于:
控制所述活跃图像获取设备以第一频率拍摄图像,控制所述非活跃图像获取设备以第二频率拍摄图像,其中,所述第一频率大于所述第二频率;和/或,
控制所述活跃图像获取设备以第一图像位宽拍摄图像,控制所述非活跃图像获取设备以第二图像位宽拍摄图像,其中,所述第一位宽大于所述第二位宽;和/或,
控制所述活跃图像获取设备以第一分辨率拍摄图像,控制所述非活跃图像获取设备以第二分辨率拍摄图像;其中,所述第一分辨率大于所述第二分辨率。
16.根据权利要求12所述的装置,其特征在于,所述第二获取单元,具体用于:
获取以第一压缩比压缩后得到的所述活跃图像获取设备发送的所述活跃图像获取设备拍摄的图像,以及,获取以第二压缩比压缩后得到的所述非活跃图像获取设备发送的所述非活跃图像获取设备拍摄的图像;其中,所述第一压缩比小于所述第二压缩比。
17.根据权利要求15所述的装置,其特征在于,所述装置还包括:
第一调节单元,用于根据所述多个图像获取设备与所述目标对象之间的相对位置,调节所述第一频率,和/或,调节所述第二频率。
18.根据权利要求15所述的装置,其特征在于,所述装置还包括:
第二调节单元,用于根据所述活跃图像获取设备拍摄的图像的清晰度,调节所述第一频率,和/或,调节所述第二频率。
19.根据权利要求12所述的装置,其特征在于,所述装置还包括:
第二确定单元,用于根据所述活跃图像获取设备连续拍摄的若干帧图像的特征,确定所述目标对象与所述活跃图像获取设备之间的距离的变化趋势;
判断单元,用于根据所述距离变化趋势判断所述活跃图像获取设备切换为所述非活跃图像获取设备的可能性;
频率加快单元,用于若所述可能性大于或者等于预设阈值,则加快所述非活跃图像获取设备拍摄图像的频率。
20.根据权利要求13所述的装置,其特征在于,所述多个图像获取设备包括第一图像获取设备和第二图像获取设备;
所述根据所述多个图像获取设备拍摄的图像获取目标对象的位置,包括:
获取所述第一图像获取设备拍摄的包含所述目标对象的第一图像,根据所述第一图像的特征确定所述目标对象与所述第一图像获取设备之间的距离;
和/或,
获取所述第二图像获取设备拍摄的包含所述目标对象的第二图像,根据所述第二图像的特征确定所述目标对象与所述第二图像获取设备之间的距离。
21.根据权利要求20所述的装置,其特征在于,所述根据所述多个图像获取设备与所述目标对象之间的相对位置确定所述多个图像获取设备中的活跃图像获取设备和非活跃图像获取设备,包括:
若所述目标对象与所述第一图像获取设备之间的距离,处于第一距离区间,确定所述第一图像获取设备为活跃图像获取设备,确定所述第二图像获取设备为非活跃图像;其中,所述第一距离区间根据所述第一图像获取设备的对焦位置确定;和/或,
若所述目标对象与所述第一图像获取设备之间的距离,处于第二距离区间,确定所述第一图像获取设备为非活跃图像获取设备,确定所述第二图像获取设备为活跃图像获取设备;其中,第二距离区间根据所述第二图像获取设备的对焦位置确定;
22.根据权利要求12-21任意一项所述的装置,其特征在于,所述多个图像获取设备中的任意两个图像获取设备之间的距离小于预设距离阈值;所述多个图像获取设备中至少存在两个对焦位置不同的图像获取设备。
CN201810935421.1A 2018-08-16 2018-08-16 一种图像获取设备的控制方法及装置 Active CN109120847B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201810935421.1A CN109120847B (zh) 2018-08-16 2018-08-16 一种图像获取设备的控制方法及装置
AU2019322663A AU2019322663B2 (en) 2018-08-16 2019-05-08 Method and apparatus for controlling image acquisition device
EP19850614.9A EP3840360A4 (en) 2018-08-16 2019-05-08 METHOD AND DEVICE FOR IMAGE ACQUISITION CONTROL
US17/266,636 US11853471B2 (en) 2018-08-16 2019-05-08 Method and apparatus for controlling image acquisition device
JP2021507975A JP7305749B2 (ja) 2018-08-16 2019-05-08 画像取得装置の制御方法及び装置
PCT/CN2019/085961 WO2020034669A1 (zh) 2018-08-16 2019-05-08 一种图像获取设备的控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810935421.1A CN109120847B (zh) 2018-08-16 2018-08-16 一种图像获取设备的控制方法及装置

Publications (2)

Publication Number Publication Date
CN109120847A true CN109120847A (zh) 2019-01-01
CN109120847B CN109120847B (zh) 2020-04-21

Family

ID=64852782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810935421.1A Active CN109120847B (zh) 2018-08-16 2018-08-16 一种图像获取设备的控制方法及装置

Country Status (6)

Country Link
US (1) US11853471B2 (zh)
EP (1) EP3840360A4 (zh)
JP (1) JP7305749B2 (zh)
CN (1) CN109120847B (zh)
AU (1) AU2019322663B2 (zh)
WO (1) WO2020034669A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020034669A1 (zh) * 2018-08-16 2020-02-20 北京七鑫易维信息技术有限公司 一种图像获取设备的控制方法及装置
CN111831374A (zh) * 2020-06-12 2020-10-27 浪潮(北京)电子信息产业有限公司 一种bmc显示界面的远程显示方法及相关装置
US12067163B2 (en) 2021-02-08 2024-08-20 Beijing 7Invensun Technology Co., Ltd. Method and apparatus for controlling image acquisition device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12022182B2 (en) * 2022-05-26 2024-06-25 Motorola Mobility Llc Visual feature based video effects

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101572804A (zh) * 2009-03-30 2009-11-04 浙江大学 多摄像机智能控制方法及装置
US20100283857A1 (en) * 2009-05-05 2010-11-11 Honeywell International Inc. Event based dynamic change in video quality parameters of network cameras
CN104660998A (zh) * 2015-02-16 2015-05-27 苏州阔地网络科技有限公司 一种接力跟踪方法及系统
CN106303390A (zh) * 2015-06-02 2017-01-04 联想(北京)有限公司 图像采集方法及其装置,图像传输方法及其装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US7492821B2 (en) * 2005-02-08 2009-02-17 International Business Machines Corporation System and method for selective image capture, transmission and reconstruction
ES2898981T3 (es) 2012-08-09 2022-03-09 Tobii Ab Activación rápida en un sistema de seguimiento de la mirada
US8954853B2 (en) * 2012-09-06 2015-02-10 Robotic Research, Llc Method and system for visualization enhancement for situational awareness
WO2014061181A1 (ja) * 2012-10-18 2014-04-24 日本電気株式会社 カメラシステム
GB2523356A (en) * 2014-02-21 2015-08-26 Tobii Technology Ab Apparatus and method for robust eye/gaze tracking
CA2960427A1 (en) * 2014-10-07 2016-04-14 Nokia Technologies Oy Camera devices with a large field of view for stereo imaging
KR102360453B1 (ko) * 2015-04-10 2022-02-09 삼성전자 주식회사 카메라 설정 방법 및 장치
JP2017010120A (ja) * 2015-06-17 2017-01-12 キヤノン株式会社 情報処理装置、映像処理装置、およびそれらの制御方法、ならびに映像処理システム
CN106851249A (zh) * 2017-03-30 2017-06-13 联想(北京)有限公司 图像处理方法及显示设备
CN107203270A (zh) * 2017-06-06 2017-09-26 歌尔科技有限公司 Vr图像处理方法及装置
CN109120847B (zh) * 2018-08-16 2020-04-21 北京七鑫易维信息技术有限公司 一种图像获取设备的控制方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101572804A (zh) * 2009-03-30 2009-11-04 浙江大学 多摄像机智能控制方法及装置
US20100283857A1 (en) * 2009-05-05 2010-11-11 Honeywell International Inc. Event based dynamic change in video quality parameters of network cameras
CN104660998A (zh) * 2015-02-16 2015-05-27 苏州阔地网络科技有限公司 一种接力跟踪方法及系统
CN106303390A (zh) * 2015-06-02 2017-01-04 联想(北京)有限公司 图像采集方法及其装置,图像传输方法及其装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020034669A1 (zh) * 2018-08-16 2020-02-20 北京七鑫易维信息技术有限公司 一种图像获取设备的控制方法及装置
US11853471B2 (en) 2018-08-16 2023-12-26 Beijing 7Invensun Technology Co., Ltd. Method and apparatus for controlling image acquisition device
CN111831374A (zh) * 2020-06-12 2020-10-27 浪潮(北京)电子信息产业有限公司 一种bmc显示界面的远程显示方法及相关装置
US12067163B2 (en) 2021-02-08 2024-08-20 Beijing 7Invensun Technology Co., Ltd. Method and apparatus for controlling image acquisition device

Also Published As

Publication number Publication date
WO2020034669A1 (zh) 2020-02-20
CN109120847B (zh) 2020-04-21
JP2021534679A (ja) 2021-12-09
JP7305749B2 (ja) 2023-07-10
AU2019322663A1 (en) 2021-04-08
EP3840360A4 (en) 2022-01-05
EP3840360A1 (en) 2021-06-23
US20210357637A1 (en) 2021-11-18
US11853471B2 (en) 2023-12-26
AU2019322663B2 (en) 2022-09-22

Similar Documents

Publication Publication Date Title
US10873666B2 (en) Camera tracking method and director device
CN109120847A (zh) 一种图像获取设备的控制方法及装置
US20240069412A1 (en) Image pickup device and method of tracking subject thereof
US11800213B2 (en) Advanced video conferencing systems and methods
US20220337747A1 (en) Apparatus and method for operating multiple cameras for digital photography
CN101404725B (zh) 摄像机、摄像机组、摄像机组的控制方法、装置及系统
US10904446B1 (en) Advanced video conferencing systems and methods
US20140002586A1 (en) Gaze direction adjustment for video calls and meetings
US20180007292A1 (en) Imaging device, imaging method, and image processing device
WO2014153950A1 (zh) 快速自动聚焦的方法和图像采集装置
WO2020042581A1 (zh) 一种图像获取设备的对焦方法及装置
CN105163061A (zh) 远端视频交互系统
EP3567844B1 (en) Control apparatus and control method
CN110475059A (zh) 控制设备、控制方法和存储介质
CN111328399A (zh) 控制装置以及摄影方法
WO2022021438A1 (zh) 一种图像处理方法、图像控制方法及相关设备
CN107623796B (zh) 拍照方法、装置及系统
TW201541143A (zh) 使用多鏡頭的自動對焦系統及其方法
JP5225317B2 (ja) 撮像装置及び撮像装置の制御方法
US10965908B1 (en) Advanced video conferencing systems and methods
CN105744158A (zh) 视频图像显示的方法、装置及移动终端
KR20200069078A (ko) 파노라마 이미지 생성 시스템 및 방법
US12067163B2 (en) Method and apparatus for controlling image acquisition device
CN115529435B (zh) 一种高清会议画面无线传输方法、系统、设备及存储介质
WO2022209478A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant