CN113179371B - 一种拍摄方法、装置及抓拍系统 - Google Patents

一种拍摄方法、装置及抓拍系统 Download PDF

Info

Publication number
CN113179371B
CN113179371B CN202110432377.4A CN202110432377A CN113179371B CN 113179371 B CN113179371 B CN 113179371B CN 202110432377 A CN202110432377 A CN 202110432377A CN 113179371 B CN113179371 B CN 113179371B
Authority
CN
China
Prior art keywords
target
image frame
target object
target image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110432377.4A
Other languages
English (en)
Other versions
CN113179371A (zh
Inventor
王洪
周有喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Core Computing Integrated Shenzhen Technology Co ltd
Original Assignee
Xinjiang Aiwinn Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinjiang Aiwinn Information Technology Co Ltd filed Critical Xinjiang Aiwinn Information Technology Co Ltd
Priority to CN202110432377.4A priority Critical patent/CN113179371B/zh
Publication of CN113179371A publication Critical patent/CN113179371A/zh
Application granted granted Critical
Publication of CN113179371B publication Critical patent/CN113179371B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开一种拍摄方法、装置及抓拍系统,涉及图像识别技术领域。其拍摄方法包括:获取第一目标图像帧中的目标对象;基于目标对象确定目标对象在第一目标图像帧中的位置,利用位置预测目标对象在第二目标图像帧中的位置;根据目标对象在第二目标图像帧中的位置调整拍摄目标对象的视场,获得第二目标图像帧;采集至少一张第二目标图像帧,对第二目标图像帧进行图像质量评估得到图像质量分数,基于图像质量分数进行图像检验,输出与检验结果对应的拍摄图像,从而在获取清晰拍摄画面的同时减少无效图像产出,实现快速高效地获得高质量的目标对象画面帧。

Description

一种拍摄方法、装置及抓拍系统
技术领域
本申请涉及图像识别技术领域,具体涉及一种拍摄方法、装置及抓拍系统。
背景技术
在对目标对象例如动物拍摄的过程中,由于所拍摄的目标对象会进行随机移动,导致拍摄者无法快速获得高质量的拍摄图像或画面,并且在实际拍摄过程中,也会由于焦距、角度等因素,导致在对目标对象进行跟拍过程中,难以获得清晰的拍摄图像。而现有的解决方案是,在进行手动拍摄过程中,拍摄者通过长时间观察目标对象的运动姿态预先调整焦距和角度,对目标对象进行抓拍,或是拍摄者跟随目标对象进行连续跟拍;来获得目标对象的拍摄图像;虽然这两种方法都能够拍摄到目标对象,但其所拍摄出的画面并不清晰,且在拍摄过程中会存在大量的无效图像(例如:图像模糊、拍摄图像不存在目标对象)浪费存储容量还无法产出高质量图片。
发明内容
有鉴于此,本申请提供一种拍摄方法、装置及抓拍系统,以解决现有技术中,在对目标对象拍摄过程中,无法获得高质量拍摄图像的问题。
根据第一方面,本申请提供的一种拍摄方法,包括:获取第一目标图像帧中的目标对象;基于所述目标对象确定所述目标对象在第一目标图像帧中的位置,利用所述位置预测目标对象在第二目标图像帧中的位置;根据所述目标对象在第二目标图像帧中的位置调整拍摄所述目标对象的视场,获得第二目标图像帧;采集至少一张第二目标图像帧,对所述第二目标图像帧进行图像质量评估得到图像质量分数,基于所述图像质量分数进行图像检验,输出与检验结果对应的拍摄图像。
本申请提供的拍摄方法,通过获取目标对象在第一目标图像帧中的位置,预测出目标对象在第二目标图像帧中的位置,之后根据预测出的目标对象在第二目标图像帧中的位置调整拍摄目标对象的视场,从而实现预先调整拍摄目标对象的拍摄参数,使其能够拍摄到清晰的目标对象画面;最后通过采集多帧目标对象画面帧,并对所采集的画面帧进行评估,从中选取高质量的目标对象画面帧进行输出保存,从而在获取清晰拍摄画面的同时减少无效图像产出,实现快速高效地获得高质量的目标对象画面帧。
结合第一方面,在第一方面的第一实施例中,获取第一目标图像帧中的目标对象,包括:获取图像采集设备采集的图像帧;将所述图像帧送入图像筛选器,筛选出符合预设条件的第一目标图像帧;基于所述第一目标图像帧进行目标检测,输出第一目标图像帧中的目标对象。
在本实施例提供的拍摄方法中,使用筛选器对所采集的图像帧进行筛选,将不符合预设条件的图像帧进行筛除,保留符合预设条件的第一目标图像帧,利用筛选器筛选第一目标图像,为后续进行目标检测提高算力,排除干扰图像,进一步提高拍摄方法的执行效率。
结合第一方面,在第一方面的第二实施方式中,基于所述目标对象确定所述目标对象在第一目标图像帧中的位置,利用所述位置预测目标对象在第二目标图像帧中的位置,包括:构建坐标系;将所述第一目标图像帧映射至所述坐标系,所述第一目标图像帧的中心设置于坐标系原点,提取所述目标对象在第一目标图像帧中的初始坐标值,以及进行第二次映射,所述第二次映射包括将所述目标对象的中点映射至所述坐标系中的预设位置,所述预设位置至原点的距离小于初始坐标值至原点的距离,并提取所述预设位置的坐标值;计算所述目标对象在第一目标图像帧中的初始坐标值与所述预设位置的坐标值的差值信息;根据所述差值信息确定目标对象在第二目标图像帧中的位置。
在本实施例提供的拍摄方法中,通过构建坐标系将第一目标图像帧映射到该坐标系中,并获取目标对象在第一目标图像帧中的初始坐标值和目标对象的中点映射至所述坐标系中的预设位置获得坐标值,根据两者坐标值预测出第二目标图像帧中的位置,从而实现对目标对象的跟踪及对图像画面帧中最佳位置的确认,进一步提高了目标对象的预测能力及提高了图像质量。
结合第一方面的第二实施方式,在第一方面的第三实施方式中,差值信息为区间范围,根据所述区间范围确定目标对象在第二目标图像帧的坐标值,包括:获取区间范围的最小差值信息和最大差值信息;基于所述区间范围的最小差值信息和最大差值信息,取平均差值信息;利用所述平均差值信息确定目标对象在第二目标图像帧的坐标值。
在本实施例提供的拍摄方法中,通过设置范围区间,获取平均差值信息,以防止在进行实际目标对象跟踪时,预测坐标值过大使其预测结果与实际结果不匹配的问题。
结合第一方面,在第一方面的第四实施方式中,根据所述目标对象在第二目标图像帧中的位置调整拍摄所述目标对象的视场,获得第二目标图像帧,包括:获取所述目标对象在第一目标图像帧中的位置、所述目标对象在第二目标图像帧中的位置及拍摄视场的拍摄参数;基于所述目标对象在第一目标图像帧中的位置、所述目标对象在第二目标图像帧中的位置及拍摄视场的拍摄参数进行参数转换,得到调整拍摄所述目标对象视场的调整角度及调整焦距。
在本实施例提供的拍摄方法中,通过目标对象在第一目标图像帧中的位置、目标对象在第二目标图像帧中的位置以及通过读取驱动设备确定出的拍摄视场的拍摄参数,之后将二维平面坐标转换为三维空间坐标,之后利用三维空间坐标解算出调整拍摄所述目标对象视场的调整角度及调整焦距,从而实现对目标对象的跟踪,同时通过调整角度及调整焦距能够获得较高质量的目标对象画面,进一步实现了高效获取高质量的目标对象画面帧。
结合第一方面,在第一方面的第五实施方式中,在获取所述第二目标图像帧后,还包括:将所述第二目标图像帧送入目标检测模型中进行目标检测,确定所述第二目标图像帧中的目标对象。
在本实施例提供的拍摄方法中,通过对第二目标图像帧进行目标检测,从而保证目标识别跟踪的准确性。
结合第一方面,在第一方面的第六实施方式中,采集至少一张第二目标图像帧,对所述第二目标图像帧进行图像质量评估得到图像质量分数,包括:将所述至少一张拍摄图像送入至少一种检测评估模型进行质量评估,输出质量评估值;基于单张拍摄图像的至少一种质量评估值进行综合性评估,获得所述图像质量分数。
结合第一方面,在第一方面的第七实施方式中,基于所述图像质量分数进行图像检验,输出与检验结果对应的拍摄图像,包括:预设图像校验参数;计算所述图像校验参数与所述图像质量分数的偏离度;判断所述偏离度是否满足阈值;若所述偏离度满足阈值,则输出与所述图像质量分数所对应的拍摄图像;若所述偏离度不满足阈值,则舍弃与所述图像质量分数所对应的拍摄图像。
在本实施例提供的拍摄方法中,通过使用不同评估模型对第二目标图像帧进行评估,并输出不同评估值,之后在将不同评估值进综合性评价最终输出图像质量分数,最后将图像质量分数与预设图像校验参数进行偏离度计算,通过偏离度对第二标图像帧的质量进行评估。从而实现快速高效地获得高质量的目标图像。
根据第二方面,本申请提供的一种拍摄装置,包括:获取模块,用于获取第一目标图像帧中的目标对象;预测模块,用于基于所述目标对象确定所述目标对象在第一目标图像帧中的位置,利用所述位置预测目标对象在第二目标图像帧的位置;调整模块,用于根据所述第二目标图像帧的位置调整拍摄所述目标对象的视场,获得第二目标图像帧;评估模块,用于采集至少一张第二目标图像帧,对所述第二目标图像帧进行图像质量评估得到图像质量分数,基于所述图像质量分数进行图像检验,输出与检验结果对应的拍摄图像。
本申请提供的拍摄装置,通过获取模块获取目标对象,之后基于目标对象通过预测模块对第二目标图像帧的目标对象进行预测,得到目标对象在第二目标图像帧的位置,根据该位置信息调整对应拍摄视场参数,并进行拍摄获得第二目标图像,最后将第二目标图像送入评估模块从而通过自动跟踪对目标对象的轨迹进行预测,从而减少人工连续采集无效图片的次数,以及通过对目标图像进行质量评估,从而提高了高质量图像的产出效率。
根据第三方面,本申请提供的一种抓拍系统,包括:图像采集设备、驱动设备、存储器和处理器,所述图像采集设备、所述驱动设备、所述存储器和所述处理器之间互相通信连接;所述图像采集设备,用于采集目标图像;所述驱动设备,用于驱动图像采集设备调整拍摄视场;所述存储器,用于存储计算机指令;所述处理器,用于通过执行所述计算机指令,从而执行第一方面或第一方面任一项实施方式所述的拍摄方法。
本申请提供的抓拍系统,通过处理器控制图像采集设备采集目标图像,将所采集到的目标图像用于预测下一帧图像位置,基于该位置信息处理器控制驱动设备调整图像采集设备的拍摄视场,并拍摄相应的目标图像,在将所拍摄的目标图像返回处理器中进行目标图像评估,最后在输出再输出抓拍图片,从而实现快速高效地获得高质量的目标对象的抓拍画面。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种拍摄方法的流程图;
图2是本申请可选实施例提供的一种拍摄方法中步骤S1的流程示意图;
图3是本申请可选实施例提供的一种拍摄方法中第一目标图像帧的示意图;
图4是本申请可选实施例提供的一种拍摄方法中第二目标图像帧的示意图;
图5是本申请可选实施例提供的一种拍摄方法中步骤S2的流程示意图;
图6是本申请可选实施例提供的一种拍摄方法中步骤S2中的第一次映射示意图;
图7是本申请可选实施例提供的一种拍摄方法中步骤S2中的第二次映射示意图;
图8是本申请可选实施例提供的一种拍摄方法中步骤S2中的预设目标对象在第二目标图像帧中的映射示意图;
图9是本申请可选实施例提供的一种拍摄方法中步骤S23的流程示意图;
图10是本申请可选实施例提供的一种拍摄方法中步骤S31至步骤S32的流程示意图;
图11是本申请可选实施例提供的一种拍摄方法中步骤S41至步骤S47的流程示意图;
图12是本申请实施例提供的一种拍摄装置的结构框图;
图13是本申请可选实施例提供的一种抓拍系统的结构示意图。
附图标记
获取模块-1;预测模块-2;调整模块-3;评估模块-4;图像采集设备-5;驱动设备-6;存储器-7;处理器-8。
具体实施方式
下面结合附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而非全部实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。在不冲突的情况下,下述各个实施例及其技术特征可以相互组合。
需要说明的是,本发明实施例中的拍摄方法,可以用于进行动态拍摄,其拍摄的目标对象可以是人或物。在本发明部分实施例中,将以宠物作为目标对象进行解释说明。
具体的,本实施例提供的一种拍摄方法,如图1所示,是根据本发明实施例提供的拍摄方法的流程图,该流程包括如下步骤:
S1,获取第一目标图像帧中的目标对象。
在本实施例中,需要通过图像采集设备对第一目标图像帧进行采集,之后在所采集的第一目标图像帧中进行目标对象的标定,得到目标对象,目标对象可以是生命体或非生命体。为了能够获得清晰的目标图像,需要从第一目标图像帧中先确定出需要拍摄的目标体,只有在确定目标体后才能保证后续在进行图像拍摄时能够准确锁定目标对象,并进行目标图像拍摄。例如:采集摄像头实时拍摄的画面,从该画面中框选标记出目标体。
S2,基于目标对象确定目标对象在第一目标图像帧中的位置,利用位置预测目标对象在第二目标图像帧中的位置。
在本实施例中,目标对象在第一目标图像帧中的位置为位置坐标,该位置坐标可以是通过构建坐标系所获得,之后在所构建的坐标系中将第一目标图像帧投影或映射其中求取目标对象的位置坐标。而为了能够在目标对象运动的状态下获得最佳拍摄画面,需要对目标对象的运动轨迹进行提前预测,为此需要通过目标对象的位置坐标和预设第一目标图像帧之间的关系,预测出当目标对象在第二图像帧中的位置,其中第二目标图像帧中的位置可以是目标对象在下一帧的位置。
S3,根据目标对象在第二目标图像帧中的位置调整拍摄目标对象的视场,获得第二目标图像帧。
在本实施例中,当确定出目标对象在第二目标图像帧中的位置,可以利用目标对象在第二目标图像帧中的位置,利用相似三角形、矩阵转换或颜色空间等计算方式,确定出需要调整拍摄目标对象的视场信息的参数,例如:偏转角、俯仰角及焦距等。之后利用调整拍摄目标对象的视场参数调整对应的硬件参数,使其拍摄视场能够拍摄到高质量且拍摄角度最佳的目标对象的图像画面。
S4,采集至少一张第二目标图像帧,对第二目标图像帧进行图像质量评估得到图像质量分数,基于图像质量分数进行图像检验,输出与检验结果对应的拍摄图像。
在本实施例中,图像采集设备将所采集到的第二目标图像帧送入评估模型中,进行同一张第二目标图像帧在不同检测算法的图像质量评估,例如:目标头部检测算法、模糊度检测算法及五官检测算法等。之后输出各个检测模型对第二目标图像帧进行检测后的评估数值,将其数值对进行数据加权,获得图像质量分数,最后为了能够保证能够进行高质量的图片输出,需要在获得图像质量分数后计算隔离度,设置隔离度的阈值,以保证能够高效快速地完成图像拍摄并输出。
本实施例提供的拍摄方法,通过获取目标对象在第一目标图像帧中的位置,预测出目标对象在第二目标图像帧中的位置,之后根据预测出的目标对象在第二目标图像帧中的位置调整拍摄目标对象的视场,从而实现预先调整拍摄目标对象的拍摄参数,使其能够拍摄到清晰的目标对象画面;最后通过采集多帧目标对象画面帧,并对所采集的画面帧进行评估,从中选取高质量的目标对象画面帧进行输出保存,从而在获取清晰拍摄画面的同时减少无效图像产出,实现快速高效地获得高质量的目标对象画面帧。
本实施例提供一种可选的拍摄方法,包括:
可选的,如图2所示,在步骤S1中,为了能够进一步提高目标对象的检测效率,需要从图像采集设备所采集的图像帧中过滤掉残缺图像,以获得第一目标图像帧,其具体步骤可以包括:
S11,获取图像采集设备采集的图像帧。
在本实施例中,由图像采集设备采集的图像帧包括清晰图像和模糊图像。例如:能够清楚分辨宠物外貌的图片与因拍摄抖动造成宠物外貌识别不清的图片。
S12,将图像帧送入图像筛选器,筛选出符合预设条件的第一目标图像帧。
在本实施例中,预设条件为筛选出清晰图像帧,将图像采集设备采集的图像帧送入筛选器,筛选器根据预设条件对输入的图像帧进行判断,若筛选出的图像帧为清晰图像帧则进行保存;若筛选出的图像帧为模糊图像帧,为了能够提高运算能力以及提高检测效率,则需要将模糊图像帧进行舍弃删除。
S13,基于第一目标图像帧进行目标检测,输出第一目标图像帧中的目标对象。
在本实施例中,对第一目标图像帧进行目标检测,首先,需要获得用于训练目标检测模型的训练图像集,例如:宠物头像数据集,宠物姿态数据集等;其次,将所获取的数据集送入目标检测模型中进行目标检测,并输出标记有目标对象轮廓的第一目标图像帧;其中,为了能够获得准确的目标对象,在本实施例中,使用传统的目标检测算法获得检测出的目标对象矩形框后,需要对矩形框内的目标对象进行边缘检测,以解决在使用传统检测算法进行目标检测时,其检测结果不能够准确获得目标对象的问题,以及在进行边缘检测时,由获取边缘检测结果比较耗时,而造成检测效率不高的问题;而在本实施例中,先使用目标识别算法,获得带有矩形框的第一目标图像帧,之后再对带有矩形框的第一目标图像帧中提取目标对象的轮廓或边缘信息,从而能够在保证在快速进行目标对象识别的情况想,保证目标对象识别的准确性,进一步提高拍摄效率和目标对象的识别质量。
可选的,在获得第一目标图像帧中的目标对象(如:目标对象的轮廓)后,为了能够跟踪并预测出目标对象在第二目标图像帧中的位置,获得最佳拍摄图像,如图3-4所示,需要将原有第一目标图像帧中的目标对象移动至图像帧的中心位置,根据该中心位置,计算出目标对象所需要移动的距离,之后再根据该距离预测目标对象在第二图像帧中的位置,其中,在图3-4中,P用于表示所采集的第一目标图像帧,A用于表示第一目标图像帧中的目标对象,O用于表示第一目标图像帧的中心点(即,中点),而为了能够获得目标对象在第二目标图像帧中的位置在步骤S2中还可以执行,如图5所示的步骤:
S21,构建坐标系。
在本实施例中,为了能够获得目标对象所需要移动的距离,需要利用建模软件构建平面坐标系,基于平面坐标系对第一目标图像帧进行量化处理,得到对应的位置坐标。
S22,将所述第一目标图像帧映射至所述坐标系,所述第一目标图像帧的中心设置于坐标系原点,提取所述目标对象在第一目标图像帧中的初始坐标值,以及进行第二次映射,所述第二次映射包括将所述目标对象的中点映射至所述坐标系中的预设位置;所述预设位置至原点的距离小于初始坐标值至原点的距离,并提取所述预设位置的坐标值。
在本实施例中,首先,将第一目标图像帧映射到坐标系,而为了便于计算在本实施例中,第一目标图像帧的中心设置在坐标系原点上,其次在映射了第一目标图像帧中的坐标系中提取初始坐标值,之后在将目标对象进行预设位置的映射得到预设位置的坐标,其中预设位置可以由用户自定义,而为了保证能够准确获得较为理想的目标图像,在使用邻域搜索时需要满足预设位置至原点的距离小于初始坐标值至原点的距离。具体的映射过程可参见图6-8所示,其中,图6为将所述第一目标图像帧映射至所述坐标系,P为第一目标图像帧,A为目标对象;图7为将所述目标对象的中点映射至所述坐标系中的预设位置,其中P'为进行二次映射后的第一目标图像帧,A'进行二次映射后的目标对象。图8为P”为第二目标图像帧,A”预设目标对象在第二目标图像帧的位置。本实施例通过对第一目标图像帧进行映射,得到目标对象的坐标,为能够获得高质量的拍摄图像,通常也会将目标图像设置在拍摄图像的中点位置(中心位置),这样所采集到的图像能够最大程度上的满足质量需要,为此在本实施例中,通过预设目标对象在第二目标图像帧的位置完成对目标对象的跟踪。
S23,计算目标对象在第一目标图像帧中的初始坐标值与所述预设位置的坐标值的差值信息。
在本实施例中,差值信息可以是目标对象在坐标系中第一目标图像帧中的坐标值与原点坐标之间的差值。
S24,根据差值信息确定目标对象在第二目标图像帧中的位置。
在本实施例中,可以通过计算第一目标图像帧中目标对象中点坐标值与预设坐标值(原点坐标)的差值信息,以获得高质量拍摄图片所需要移动的距离数据。例如:第一目标图像帧中目标对象中点坐标值为(30,20)与预设坐标值(原点坐标)(0,0),计算二者差值为(30,20),则可知若需要获得预设拍摄画面,则需要根据差值信息进行坐标移动,得到预设位置,并基于该位置信息判断第二图像帧中是否存在目标对象。
可选的,如图9所示,在执行步骤S23时,为了能够使其检测结果更加准确,在本实施例中,除了提取预设坐标之外,还会对预设坐标值设置为范围区间,以减少因提取存在误差的单一坐标值而导致的图像帧输出存在误差现象,其具体的步骤包括:
S231,获取区间范围的最小差值信息和最大差值信息。
在本实施例中,当获得预设坐标值后,可以通过先验知识设置最小差值和最大差值范围值,例如:在预设坐标值后提取坐标值得±2%作为最小差值和最大差值的取值范围。
S232,基于区间范围的最小差值信息和最大差值信息,取平均差值信息。
在本实施例中,为了能够保证数据的准确,可以设置区间范围,利用最大和最小差值求平均,以保证数据的准确。具体的计算公式如下:
Figure BDA0003031873350000121
其中,
Figure BDA0003031873350000122
表示平均差值信息;PMAX表示获取区间范围内最大差值信息;PMIN表示区间范围内最小差值信息,N表示用于计算区间范围差值的个数,其中N≥2。
S233,利用平均差值信息移动目标对象至第二目标图像帧坐标值。
在本实施例中,当确定出平均差值信息后,将根据所获得差值信息移动第一目标对象帧中的目标对象,将其移动到对应预设位置坐标上,即第二目标图像帧坐标值。
可选的,在确定出目标对象在第二目标图像帧的坐标值后,由于所获得的坐标属于平面坐标,但对于实际拍摄视场来说,其拍摄对象处于属于立体空间属于空间坐标,因此需要将平面坐标系转换为空间坐标系,之后利用所获得的空间数据,将其转换为驱动图像采集设备移动调整参数,从而改变拍摄视场,以使拍摄目标图像的图像采集设备能够根据确定出目标对象在第二目标图像帧的坐标值位置准确采集到目标对象的画面,具体的,如图10所示,该步骤包括:
S31,获取目标对象在第一目标图像帧中的位置、目标对象在第二目标图像帧中的位置及拍摄视场的拍摄参数。
在本实施例中,通过构建坐标系获得目标对象在第一目标图像帧中的位置和目标对象在第二目标图像帧中的位置,由于图像采集设备与驱动设备连接,因此可以通过读取图像采集设备获得拍摄视场的拍摄参数。
S32,基于目标对象在第一目标图像帧中的位置、目标对象在第二目标图像帧中的位置及拍摄视场的拍摄参数进行参数转换,得到调整拍摄目标对象视场的调整角度及调整焦距。
在本实施例中,可以将目标对象在第一目标图像帧中的位置设置为第一帧图像,目标对象在第二目标图像帧中的位置设置为第二帧图像,而拍摄视场的拍摄参数可以是通过读取图像采集设备获得,之后根据相似三角形定理进行参数转换,其中,参数转换公式为:
X=Z/f×x
Y=Z/f×y
Z=d/r×f
其中,d为目标对象的直径,r为目标对象的半径,f为图像采集设备的焦距值,该焦距值可以直接从图像采集设备上进行读取,x为第一帧图像中目标对象的中心位置坐标,y为第二帧图像中目标对象的中心位置坐标,基于二者目标对象的中心位置坐标根据上述公式计算出目标对象的当前坐标(X,Y,Z),之后求出目标对象与图像采集设备之间的实际距离,根据该实际距离对目标视场的焦距进行调整,而为了能够控制图像采集设备移动,需要将其坐标值转换为偏转角,并通过控制偏转角度改变拍摄视场。
其中,计算目标对象与图像采集设备之间的实际距离公式为:
Figure BDA0003031873350000131
计算偏转角公式为:
θ=arctan(X/Y)
L为目标对象与图像采集设备之间的实际距离,X,Y,Z为目标对象的当前坐标值。
可选的,在完成拍摄视场调整后,则进第二目标图像帧的拍摄,而为了能够获得优质的图像帧,在获得第二目标图像帧后还可以根据需要对视场以及拍摄参数进行适当微调,其中微调可以是调整景深和焦距,使其拍摄目标对象能够更清晰。
可选的,在获得第二目标图像帧中的目标对象后,为了能够保证采集目标对象的准确性,为此需要将所采集的第二目标图像帧,送入目标检测模型中间二次检测,以确定出所拍摄的图像帧存在目标对象。
可选的,如图11所示,当从第二目标图像帧中确定出目标对象后,为了获得更优质的拍摄画面,需要对第二目标图像帧进行图像质量评估,具体步骤包括:
S41,将至少一张拍摄图像送入至少一种检测评估模型进行质量评估,输出质量评估值。
在本实施例中,获取多张已经标记目标图像的第二目标图像帧,将其图像帧送入检测评估模型进行质量评估,得到不同检测结果下的质量分数,其中,检测评估模型中预设有至少2种特征检测模型,用于对目标对象进行质量评分。例如:特征检测模型可以是:目标头部检测算法、模糊度检测算法及五官检测算法中任意一种或多种。
S42,基于单张拍摄图像的至少一种质量评估值进行综合性评估,获得图像质量分数。
在本实施例中,当获得单张拍摄图像的至少一种质量评估值/分数后,需要计算加权平均值得到单张拍摄图像的综合评估结果;其中,在计算加权平均值时,其加权平均公式为:
Figure BDA0003031873350000141
其中,
Figure BDA0003031873350000142
为加权平均值,λ12,......,λn为质量评估分数,其中质量评估分数的个数要大于等于1,w1,w2,......,wn为每个质量评估分数所对应的权重值,k为修正误差。
在本实施例中,为了能够获得准确且真实的数据需要在计算完成预设的加权平均后,引入修正误差k,使其结果更加真实准确。
可选的,在利用加权平均获得图像质量分数后,获得了对图像数据的评估值,而未能够满足在不同环境和不同场景下拍摄图像的契合度,还可以包括:
S43,预设图像校验参数。
在本实施例中,预设图像检验参数是由用户预选设置的标准特征值,例如预设的五官特征,预设的姿态信息等。
S44,计算图像校验参数与图像质量分数的偏离度。
在本实施例中,计算偏离度的公式为:
Figure BDA0003031873350000151
其中,X为偏离度,Xav为所获得的实际图像质量分数,Xmd为图像校验参数。
S45,判断偏离度是否满足阈值。
在本实施例中,除了预设图像校验参数,为了能够获得质量更高的图像,也可以通过设置阈值,判断其偏离度是否能够满足阈值信息。
S46,若偏离度满足阈值,则输出与图像质量分数所对应的拍摄图像。
在本实施例中,输出与图像质量分数所对应的拍摄图像可以是在拍摄图像上标注有图像质量分数值。
S47,若偏离度不满足阈值,则舍弃与图像质量分数所对应的拍摄图像。
在本实施例中,为了能够提高检测效率以及图像的出片效率,将会把不符合偏离度阈值的拍摄图像直接舍弃,从而减少因数据迭代和数据修正给系统带来的算力延迟的问题。
本实施例中提供了一种拍摄方法,应用于对生命体进行抓拍,为了尽可能在进行动态拍摄过程中提高图像的拍摄质量,获得更好的拍摄后角度,减少图像抓拍过程中产生的废片,提高图像抓拍效率,本实施例将以对宠物作为目标对象,进行宠物拍摄,具体包括:
首先,需要执行上述实施方式中的步骤S1-S3,以便能够将摄像头调整至最佳拍摄角度对宠物进行抓拍,例如:摄像头通过宠物猫狗脸的检测算法,识别到猫狗的位置后,调整摄像头的云台跟随宠物猫狗的移动,再通过自动对焦,保证宠物猫狗所在距离拍摄出来的图像清晰度。
其次,使用上述实施方法中的步骤S4来保证所拍摄的图片输出质量。例如:通过抓拍到的宠物猫狗图像,通过模糊度检测算法,眼睛检测算法,宠物猫狗头像角度检测算法,并进行维度划分,提取各个维度的分数(例如:图像清晰度,眼睛是否张开,头部是否正面面向摄像头等)。最后,针对整体分数的加权求和计算隔离度方式,进一步判断所拍摄的图片是否满足高质量的标准。其中,在本实施例中,所使用的宠物检测算法可以是猫狗脸检测算法,采用大量样本训练的人工神经网络模型进行检测,定位猫狗脸的位置;模糊度检测算法,采用大量样本训练的人工神经网络模型进行检测,检测宠物猫狗脸部的模糊度;眼睛检测算法,采用大量样本训练的人工神经网络模型进行检测,判断猫狗的眼睛是张开还是合并状态。猫狗头像角度检测算法,采用大量样本训练的人工神经网络模型进行检测,判断猫狗的头部各关键点的位置,计算出头部角度。
相应地,请参考图12,本发明实施例提供的一种拍摄装置,该装置具体包括:
获取模块1,用于获取第一目标图像帧中的目标对象,详细内容参考步骤S1所述。
预测模块2,用于基于所述目标对象确定所述目标对象在第一目标图像帧中的位置,利用所述位置预测目标对象在第二目标图像帧的位置,详细内容参考步骤S2所述。
调整模块3,用于根据所述第二目标图像帧的位置调整拍摄所述目标对象的视场,获得第二目标图像帧,详细内容参考步骤S3所述。
评估模块4,用于采集至少一张第二目标图像帧,对所述第二目标图像帧进行图像质量评估得到图像质量分数,基于所述图像质量分数进行图像检验,输出与检验结果对应的拍摄图像,详细内容参考步骤S4所述。
在本实施例中,通过获取模块1获取目标对象,之后基于目标对象通过预测模块2对第二目标图像帧的目标对象进行预测,得到目标对象在第二目标图像帧的位置,根据该位置信息调整对应拍摄视场参数,并进行拍摄获得第二目标图像,最后将第二目标图像送入评估模块4从而通过自动跟踪对目标对象的轨迹进行预测,从而减少人工连续采集无效图片的次数,以及通过对目标图像进行质量评估,从而提高了高质量图像的产出效率。
请参阅图13,图13是本发明可选实施例提供的一种抓拍系统的结构示意图,如图13所示,该抓拍系统可以包括:图像采集设备5、驱动设备6、至少一个处理器8,例如CPU(Central Processing Unit,中央处理器),存储器7。其中,图像采集设备5、所述驱动设备6、所述存储器和所述处理器之间互相通信连接;图像采集设备5可以采集目标图像,例如:摄像头;驱动设备6可以驱动图像采集设备5调整拍摄视场,例如:云台;存储器7可以是高速RAM存储器(Random Access Memory,易挥发性随机存取存储器),也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器7可选的还可以是至少一个位于远离前述处理器8的存储装置。其中处理器8可以结合图8所描述的装置,存储器7中存储应用程序,且处理器8调用存储器7中存储的程序代码,以用于执行上述任一方法步骤。
此外,存储器7可以包括易失性存储器(英文:volatile memory),例如随机存取存储器(英文:random-access memory,缩写:RAM);存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory),硬盘(英文:hard diskdrive,缩写:HDD)或固态硬盘(英文:solid-state drive,缩写:SSD);存储器7还可以包括上述种类的存储器的组合。
处理器8可以是中央处理器(英文:central processing unit,缩写:CPU),网络处理器(英文:network processor,缩写:NP)或者CPU和NP的组合。其中,处理器8还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文:application-specificintegrated circuit,缩写:ASIC),可编程逻辑器件(英文:programmable logic device,缩写:PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文:complex programmablelogic device,缩写:CPLD),现场可编程逻辑门阵列(英文:field-programmable gatearray,缩写:FPGA),通用阵列逻辑(英文:generic array logic,缩写:GAL)或其任意组合。
可选地,存储器7还用于存储程序指令。处理器8可以调用程序指令,实现如本申请图1至图11实施例中所示的拍摄方法。
本发明实施例还提供了一种非暂态计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的拍摄方法。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (8)

1.一种拍摄方法,其特征在于,包括:
获取第一目标图像帧中的目标对象;
基于所述目标对象确定所述目标对象在第一目标图像帧中的位置,利用所述位置预测目标对象在第二目标图像帧中的位置;
根据所述目标对象在第二目标图像帧中的位置调整拍摄所述目标对象的视场,获得第二目标图像帧;
采集至少一张第二目标图像帧,对所述第二目标图像帧进行图像质量评估得到图像质量分数,基于所述图像质量分数进行图像检验,输出与检验结果对应的拍摄图像;
所述基于所述目标对象确定所述目标对象在第一目标图像帧中的位置,利用所述位置预测目标对象在第二目标图像帧中的位置,包括:
构建坐标系;
将所述第一目标图像帧映射至所述坐标系,所述第一目标图像帧的中心设置于坐标系原点,提取所述目标对象在第一目标图像帧中的初始坐标值,以及进行第二次映射,所述第二次映射包括将所述目标对象的中点映射至所述坐标系中的预设位置,所述预设位置至原点的距离小于初始坐标值至原点的距离,并提取所述预设位置的坐标值;
计算所述目标对象在第一目标图像帧中的初始坐标值与所述预设位置的坐标值的差值信息;
根据所述差值信息确定目标对象在第二目标图像帧中的位置;
所述基于所述图像质量分数进行图像检验,输出与检验结果对应的拍摄图像,包括:
预设图像校验参数;
计算所述图像校验参数与所述图像质量分数的偏离度;
判断所述偏离度是否满足阈值;
若所述偏离度满足阈值,则输出与所述图像质量分数所对应的拍摄图像;
若所述偏离度不满足阈值,则舍弃与所述图像质量分数所对应的拍摄图像。
2.根据权利要求1所述的方法,其特征在于,所述获取第一目标图像帧中的目标对象,包括:
获取图像采集设备采集的图像帧;
将所述图像帧送入图像筛选器,筛选出符合预设条件的第一目标图像帧;
基于所述第一目标图像帧进行目标检测,输出第一目标图像帧中的目标对象。
3.根据权利要求1所述的方法,其特征在于,差值信息为区间范围,根据所述区间范围确定目标对象在第二目标图像帧的坐标值,包括:
获取区间范围的最小差值信息和最大差值信息;
基于所述区间范围的最小差值信息和最大差值信息,取平均差值信息;
利用所述平均差值信息确定目标对象在第二目标图像帧的坐标值。
4.根据权利要求1所述的方法,其特征在于,所述根据所述目标对象在第二目标图像帧中的位置调整拍摄所述目标对象的视场,获得第二目标图像帧,包括:
获取所述目标对象在第一目标图像帧中的位置、所述目标对象在第二目标图像帧中的位置及拍摄视场的拍摄参数;
基于所述目标对象在第一目标图像帧中的位置、所述目标对象在第二目标图像帧中的位置及拍摄视场的拍摄参数进行参数转换,得到调整拍摄所述目标对象视场的调整角度及调整焦距。
5.根据权利要求1所述的方法,其特征在于,在获取所述第二目标图像帧后,还包括:将所述第二目标图像帧送入目标检测模型中进行目标检测,确定所述第二目标图像帧中的目标对象。
6.根据权利要求1所述的方法,其特征在于,所述采集至少一张第二目标图像帧,对所述第二目标图像帧进行图像质量评估得到图像质量分数,包括:
将所述至少一张第二目标图像帧送入至少一种检测评估模型进行质量评估,输出质量评估值;
基于单张第二目标图像帧的至少一种质量评估值进行综合性评估,获得所述图像质量分数。
7.一种拍摄装置,其特征在于,包括:
获取模块,用于获取第一目标图像帧中的目标对象;
预测模块,用于基于所述目标对象确定所述目标对象在第一目标图像帧中的位置,利用所述位置预测目标对象在第二目标图像帧的位置;
调整模块,用于根据所述第二目标图像帧的位置调整拍摄所述目标对象的视场,获得第二目标图像帧;
评估模块,用于采集至少一张第二目标图像帧,对所述第二目标图像帧进行图像质量评估得到图像质量分数,预设图像校验参数,计算所述图像校验参数与所述图像质量分数的偏离度,判断所述偏离度是否满足阈值,若所述偏离度满足阈值,则输出与所述图像质量分数所对应的拍摄图像,若所述偏离度不满足阈值,则舍弃与所述图像质量分数所对应的拍摄图像;
所述预测模块用于构建坐标系,将所述第一目标图像帧映射至所述坐标系,所述第一目标图像帧的中心设置于坐标系原点,提取所述目标对象在第一目标图像帧中的初始坐标值,以及进行第二次映射,所述第二次映射包括将所述目标对象的中点映射至所述坐标系中的预设位置,所述预设位置至原点的距离小于初始坐标值至原点的距离,并提取所述预设位置的坐标值,计算所述目标对象在第一目标图像帧中的初始坐标值与所述预设位置的坐标值的差值信息,根据所述差值信息确定目标对象在第二目标图像帧中的位置。
8.一种抓拍系统,其特征在于,包括:
图像采集设备、驱动设备、存储器和处理器,所述图像采集设备、所述驱动设备、所述存储器和所述处理器之间互相通信连接;
所述图像采集设备,用于采集目标图像;
所述驱动设备,用于驱动图像采集设备调整拍摄视场;
所述存储器,用于存储计算机指令;
所述处理器,用于通过执行所述计算机指令,从而执行权利要求1-6中任一项所述的拍摄方法。
CN202110432377.4A 2021-04-21 2021-04-21 一种拍摄方法、装置及抓拍系统 Active CN113179371B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110432377.4A CN113179371B (zh) 2021-04-21 2021-04-21 一种拍摄方法、装置及抓拍系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110432377.4A CN113179371B (zh) 2021-04-21 2021-04-21 一种拍摄方法、装置及抓拍系统

Publications (2)

Publication Number Publication Date
CN113179371A CN113179371A (zh) 2021-07-27
CN113179371B true CN113179371B (zh) 2023-04-07

Family

ID=76924311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110432377.4A Active CN113179371B (zh) 2021-04-21 2021-04-21 一种拍摄方法、装置及抓拍系统

Country Status (1)

Country Link
CN (1) CN113179371B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101900528A (zh) * 2009-03-31 2010-12-01 株式会社拓普康 自动跟踪方法和测量装置
CN112333356A (zh) * 2020-10-09 2021-02-05 支付宝实验室(新加坡)有限公司 一种证件图像采集方法、装置和设备
CN112329729A (zh) * 2020-11-27 2021-02-05 珠海大横琴科技发展有限公司 小目标船只检测方法、装置及电子设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2479993A3 (en) * 2006-12-04 2013-12-11 Lynx System Developers, Inc. Autonomous systems and methods for still and moving picture production
AU2007254600B2 (en) * 2007-12-20 2011-04-14 Canon Kabushiki Kaisha Collaborative tracking
CN102360423A (zh) * 2011-10-19 2012-02-22 丁泉龙 一种人体智能跟踪方法
JP2016140030A (ja) * 2015-01-29 2016-08-04 株式会社リコー 画像処理装置、撮像装置、及び画像処理プログラム
CN106161930A (zh) * 2016-06-27 2016-11-23 乐视控股(北京)有限公司 摄像头控制方法及装置
CN106296730A (zh) * 2016-07-27 2017-01-04 潘燕 一种人体运动跟踪系统
WO2018098824A1 (zh) * 2016-12-02 2018-06-07 深圳市大疆创新科技有限公司 一种拍摄控制方法、装置以及控制设备
CN106713773A (zh) * 2017-03-31 2017-05-24 联想(北京)有限公司 一种拍摄控制方法及电子设备
CN107145167B (zh) * 2017-04-07 2020-12-29 南京邮电大学 一种基于数字图像处理技术的视频目标跟踪方法
CN108111818B (zh) * 2017-12-25 2019-05-03 北京航空航天大学 基于多摄像机协同的运动目标主动感知方法和装置
CN108710885B (zh) * 2018-03-29 2021-07-23 百度在线网络技术(北京)有限公司 目标对象的检测方法和装置
CN109729273A (zh) * 2019-01-21 2019-05-07 上海体育学院 图像采集方法、系统、装置、计算机设备和存储介质
AU2019201192A1 (en) * 2019-02-20 2020-09-03 Canon Kabushiki Kaisha Method, system and apparatus for capturing an image
CN110086988A (zh) * 2019-04-24 2019-08-02 薄涛 拍摄角度调整方法、装置、设备及其存储介质
CN110225226B (zh) * 2019-05-10 2020-09-08 华中科技大学 一种视觉跟踪系统及方法
CN110610150B (zh) * 2019-09-05 2022-10-11 北京佳讯飞鸿电气股份有限公司 一种目标运动物体的跟踪方法、装置、计算设备和介质
CN112019739A (zh) * 2020-08-03 2020-12-01 RealMe重庆移动通信有限公司 一种拍摄控制方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101900528A (zh) * 2009-03-31 2010-12-01 株式会社拓普康 自动跟踪方法和测量装置
CN112333356A (zh) * 2020-10-09 2021-02-05 支付宝实验室(新加坡)有限公司 一种证件图像采集方法、装置和设备
CN112329729A (zh) * 2020-11-27 2021-02-05 珠海大横琴科技发展有限公司 小目标船只检测方法、装置及电子设备

Also Published As

Publication number Publication date
CN113179371A (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN107087107B (zh) 基于双摄像头的图像处理装置及方法
CN101416219B (zh) 数字图像中的前景/背景分割
US8861806B2 (en) Real-time face tracking with reference images
CN107948517B (zh) 预览画面虚化处理方法、装置及设备
CN110738142A (zh) 一种自适应改善人脸图像采集的方法、系统及存储介质
CN112367474B (zh) 一种自适应光场成像方法、装置及设备
KR101872811B1 (ko) 행동 패턴 인식 장치, 행동 패턴 인식 방법 및 행동 패턴 분류기 생성 방법
CN110248101B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
US7957633B2 (en) Focus adjusting apparatus and focus adjusting method
JP6415196B2 (ja) 撮像装置および撮像装置の制御方法
CN108076278A (zh) 一种自动对焦方法、装置及电子设备
CN107292269B (zh) 基于透视失真特性的人脸图像鉴伪方法、存储、处理设备
CN104243796B (zh) 摄影装置、摄影方法、模板创建装置和模板创建方法
CN110731076A (zh) 一种拍摄处理方法、设备及存储介质
KR101038650B1 (ko) 적응적 배경영상 모델링 방법, 이를 이용한 불법주정차 무인단속방법 및 불법주정차 무인단속시스템
JP7074185B2 (ja) 特徴推定装置および特徴推定方法、プログラム
CN111598065A (zh) 深度图像获取方法及活体识别方法、设备、电路和介质
CN110516579B (zh) 手持眼底相机拍照方法和装置、设备及存储介质
JP2007067559A (ja) 画像処理方法、画像処理装置、及び撮像装置の制御方法
CN113179371B (zh) 一种拍摄方法、装置及抓拍系统
CN115550555B (zh) 云台校准方法及相关装置、摄像器件和存储介质
CN110020572B (zh) 基于视频图像的人数统计方法、装置、设备及存储介质
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
CN107147845B (zh) 对焦方法、装置和终端设备
CN113992904A (zh) 一种信息处理方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240508

Address after: Building 9, Building 203B, Phase II, Nanshan Yungu Entrepreneurship Park, No. 2 Pingshan 1st Road, Pingshan Community, Taoyuan Street, Nanshan District, Shenzhen, Guangdong Province, 518033

Patentee after: Core Computing Integrated (Shenzhen) Technology Co.,Ltd.

Country or region after: China

Address before: Room 1010, 10 / F, building a, Chuangzhi building, Xinjiang Software Park, 455 Kanas Hubei Road, Urumqi Economic and Technological Development Zone, 830000 Xinjiang Uygur Autonomous Region

Patentee before: XINJIANG AIHUA YINGTONG INFORMATION TECHNOLOGY Co.,Ltd.

Country or region before: China