CN112399068B - 一种图像处理系统和图像处理方法 - Google Patents

一种图像处理系统和图像处理方法 Download PDF

Info

Publication number
CN112399068B
CN112399068B CN201910757276.7A CN201910757276A CN112399068B CN 112399068 B CN112399068 B CN 112399068B CN 201910757276 A CN201910757276 A CN 201910757276A CN 112399068 B CN112399068 B CN 112399068B
Authority
CN
China
Prior art keywords
image
position information
target
target object
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910757276.7A
Other languages
English (en)
Other versions
CN112399068A (zh
Inventor
付铭明
肖洪波
陆凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Senscape Technologies Beijing Co ltd
Original Assignee
Senscape Technologies Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Senscape Technologies Beijing Co ltd filed Critical Senscape Technologies Beijing Co ltd
Priority to CN201910757276.7A priority Critical patent/CN112399068B/zh
Publication of CN112399068A publication Critical patent/CN112399068A/zh
Application granted granted Critical
Publication of CN112399068B publication Critical patent/CN112399068B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理系统、方法,其中,该系统包括:图像处理装置通过从第一图像获取装置获取的原始图像中检测出第一目标对象,获得第一图像获取装置的第一当前位置信息、第二图像获取装置的第二当前位置信息以及第一目标对象的第一位置信息,从而计算出第二图像获取装置的第一目标位置信息,并使其在该位置拍摄目标物体,获取包括第二目标对象的第一目标图像。本申请实施例在远距离抓拍目标物体时,通过获得第一当前位置信息和第二当前位置信息以及第一目标对象的第一位置信息,以在计算出的第一目标位置信息对应的第一目标位置促使第二图像获取装置完成对目标物体的拍摄,该过程在提高拍着效率的同时,还可以获得清晰度较高的图像。

Description

一种图像处理系统和图像处理方法
技术领域
本申请涉及图像处理技术领域,具体涉及一种图像处理系统,本申请同时涉及一种图像处理方法。
背景技术
随着安全高戒备场所对视频智能化检测识别要求的提高,物体的检测抓拍已不局限于在近距离高分辨率的条件下完成,远距离甚至超远距离的物体抓拍技术也逐步使用。但在现有技术中,为了在远距离拍摄时获得更加清晰的拍摄对象,一般会采用变焦拍摄方式,即在原有影像上做单纯的放大处理,其基本原理是通过拍摄设备中的运算器对所拍摄的图像数据进行插值计算,从而放大图像中的被摄物体,达到变焦的效果,该方式仅是将取景图像进行了放大,图像的清晰度不会变化,甚至会出现由于图像被放大,导致图片的清晰度降低的问题。
可见,如何在远距离抓拍物体时,获取清晰的图像,成为本领域技术人员亟待解决的问题。
发明内容
本申请提供一种图像处理系统、一种图像处理方法,以解决在远距离抓拍物体时,如何获取清晰的图像的问题。
本申请提供一种图像处理系统,包括:第一图像获取装置,第二图像获取装置以及图像处理装置;
所述第一图像获取装置,用于获取原始图像;
所述图像处理装置,用于从所述原始图像中检测出第一目标对象,获得所述第一图像获取装置在获取所述原始图像时在物理空间中的第一当前位置信息、所述第二图像获取装置在物理空间中的第二当前位置信息以及所述第一目标对象在所述原始图像中的第一位置信息,根据所述第一当前位置信息、第二当前位置信息以及所述第一目标对象在所述原始图像中的第一位置信息,计算出所述第二图像获取装置在物理空间中的第一目标位置信息,并触发所述第二图像获取装置从所述第二当前位置信息所对应的第二当前位置移动到所述第一目标位置信息对应的第一目标位置,其中,所述第一目标位置是用于所述第二图像获取装置拍摄目标物体的物理空间位置,所述目标物体为物理空间中的与所述第一目标对象对应的物体;
所述第二图像获取装置,用于根据所述图像处理装置的触发,从所述第二当前位置移动到所述第一目标位置,并在所述第一目标位置拍摄所述目标物体,获取包括第二目标对象的第一目标图像,其中,所述第二目标对象为目标物体在所述第一目标图像中对应的对象。
可选的,所述图像处理装置还用于检测所述第二目标对象在所述第一目标图像中的位置信息,并判断所述位置信息是否与预设位置信息匹配;
若否,则所述图像处理装置获取所述第一目标对象在所述原始图像中的第二位置信息,根据所述第一当前位置信息、第一目标位置信息以及所述第一目标对象在所述原始图像中的第二位置信息,计算出所述第二图像获取装置在物理空间中的第二目标位置信息,并触发所述第二图像获取装置从所述第一目标位置信息所对应的所述第一目标位置移动到所述第二目标位置信息对应的第二目标位置,并在所述第二目标位置触发所述第二图像获取装置拍摄所述目标物体,获取包括第三目标对象的第二目标图像;其中,所述第二目标位置是用于所述第二图像获取装置拍摄目标物体的物理空间位置,所述第三目标对象为目标物体在所述第二目标图像中对应的对象。
可选的,从所述原始图像中检测出第一目标对象,包括:
获取所述第一目标对象的特征信息,并与预先存储的所述目标物体的特征信息相匹配;若匹配成功,则从所述原始图像中检测出第一目标对象。
可选的,所述获得所述第一图像获取装置在物理空间中的第一当前位置信息和所述第二图像获取装置在物理空间中的第二当前位置信息是通过加速度计分别获得的所述第一图像获取装置和第二图像获取装置在物理空间中的位移信息,通过陀螺仪分别获得的所述第一图像获取装置和第二图像获取装置在物理空间中的角度信息,以及通过地磁传感器分别获得的所述第一图像获取装置和第二图像获取装置在物理空间中的方向信息获得的。
可选的,所述第一目标对象在所述原始图像中的第一位置信息,包括:
所述第一目标对象在所述原始图像中对应的X轴方向的第一像素坐标和Y轴方向的第二像素坐标。
可选的,还包括:驱动装置;则触发所述第二图像获取装置从所述第二当前位置信息所对应的第二当前位置移动到所述第一目标位置信息对应的第一目标位置,包括:
根据计算出的所述第一目标位置信息,生成第一控制指令;
根据所述第一控制指令触发所述驱动装置带动所述第二图像获取装置从所述第二当前位置信息所对应的第二当前位置移动到所述第一目标位置信息对应的第一目标位置。
可选的,所述图像处理装置检测所述第二目标对象在所述第一目标图像中的位置信息,并判断所述位置信息是否与预设位置信息匹配之前,还包括:
获取所述第二目标对象的特征信息,并与所述第一目标对象的特征信息相匹配;若匹配成功,则检测所述第二目标对象在所述第一目标图像中的位置信息,并判断所述位置信息是否与预设位置信息匹配。
可选的,所述第一目标对象在所述原始图像中的第二位置信息,包括:所述第一目标对象在所述原始图像中对应的X轴方向的第三像素坐标和Y轴方向的第四像素坐标。
可选的,所述触发所述第二图像获取装置从所述第一目标位置信息所对应的所述第一目标位置移动到所述第二目标位置信息对应的第二目标位置,包括:
根据计算出的所述第二目标位置信息,生成第二控制指令;
根据所述第二控制指令触发驱动装置带动所述第二图像获取装置从所述第一目标位置信息所对应的所述第一目标位置移动到所述第二目标位置信息对应的第二目标位置。
本申请还提供一种图像处理方法,包括:
获取第一图像获取装置所获取的原始图像;
从所述原始图像中检测出第一目标对象;
获得所述第一图像获取装置在获取所述原始图像时在物理空间中的第一当前位置信息、第二图像获取装置在物理空间中的第二当前位置信息以及所述第一目标对象在所述原始图像中的第一位置信息;
根据所述第一当前位置信息、第二当前位置信息以及所述第一目标对象在所述原始图像中的第一位置信息,计算出所述第二图像获取装置在物理空间中的第一目标位置信息;
触发所述第二图像获取装置从所述第二当前位置信息所对应的第二当前位置移动到所述第一目标位置信息对应的第一目标位置,以获得包括第二目标对象的第一目标图像;
其中,所述第一目标位置是用于所述第二图像获取装置拍摄目标物体的物理空间位置,所述目标物体为物理空间中的与所述第一目标对象对应的物体;所述第二目标对象为目标物体在所述第一目标图像中对应的对象。
可选的,还包括:
检测所述第二目标对象在所述第一目标图像中的位置信息,并判断该位置信息是否与预设位置信息匹配;
若否,则获取所述第一目标对象在所述原始图像中的第二位置信息;
根据所述第一当前位置信息、第一目标位置信息以及所述第一目标对象在所述原始图像中的第二位置信息,计算出所述第二图像获取装置在物理空间中的第二目标位置信息;
触发所述第二图像获取装置从所述第一目标位置信息所对应的所述第一目标位置移动到所述第二目标位置信息对应的第二目标位置,以获得包括第三目标对象的第二目标图像;
其中,所述第二目标位置是用于所述第二图像获取装置拍摄目标物体的物理空间位置,所述第三目标对象为目标物体在所述第二目标图像中对应的对象。
可选的,所述从所述原始图像中检测出第一目标对象包括:
获取所述第一目标对象的特征信息,并与预先存储的所述目标物体的特征信息相匹配;若匹配成功,则从所述原始图像中检测出第一目标对象。
可选的,所述第一当前位置信息和第二当前位置信息包括:所述第一图像获取装置和第二图像获取装置分别在物理空间中的位移信息、角度信息以及方向信息。
可选的,所述第一目标对象在所述原始图像中的第一位置信息,包括:
所述第一目标对象在所述原始图像中对应的X轴方向的第一像素坐标和Y轴方向的第二像素坐标。
可选的,所述触发所述第二图像获取装置从所述第二当前位置信息所对应的第二当前位置移动到所述第一目标位置信息对应的第一目标位置,包括:
根据计算出的所述第一目标位置信息,生成第一控制指令;
根据所述第一控制指令触发驱动装置带动所述第二图像获取装置从所述第二当前位置信息所对应的第二当前位置移动到所述第一目标位置信息对应的第一目标位置。
可选的,所述检测所述第二目标对象在所述第一目标图像中的位置信息,并判断该位置信息是否与预设位置信息匹配之前,还包括:
获取所述第二目标对象的特征信息,并与所述第一目标对象的特征信息相匹配;若匹配成功,则检测所述第二目标对象在所述第一目标图像中的位置信息,并判断该位置信息是否与预设位置信息匹配。
可选的,所述第一目标对象在所述原始图像中的第二位置信息,包括:所述第一目标对象在所述原始图像中对应的X轴方向的第三像素坐标和Y轴方向的第四像素坐标。
可选的,所述触发所述第二图像获取装置从所述第一目标位置信息所对应的所述第一目标位置移动到所述第二目标位置信息对应的第二目标位置,包括:
根据计算出的所述第二目标位置信息,生成第二控制指令;
根据所述第二控制指令触发驱动装置带动所述第二图像获取装置从所述第一目标位置信息所对应的所述第一目标位置移动到所述第二目标位置信息对应的第二目标位置。
与现有技术相比,本申请具有以下优点:
本申请提供一种图像处理系统,包括:第一图像获取装置,第二图像获取装置以及图像处理装置;其中,所述第一图像获取装置用于获取原始图像;所述图像处理装置用于从所述原始图像中检测出第一目标对象,获得所述第一图像获取装置在获取所述原始图像时在物理空间中的第一当前位置信息、所述第二图像获取装置在物理空间中的第二当前位置信息以及所述第一目标对象在所述原始图像中的第一位置信息,根据所述第一当前位置信息、第二当前位置信息以及所述第一目标对象在所述原始图像中的第一位置信息,计算出所述第二图像获取装置在物理空间中的第一目标位置信息,并触发所述第二图像获取装置从所述第二当前位置信息所对应的第二当前位置移动到所述第一目标位置信息对应的第一目标位置,所述第二图像获取装置,用于根据所述图像处理装置的触发,从所述第二当前位置移动到所述第一目标位置,并在所述第一目标位置拍摄所述目标物体,获取包括第二目标对象的第一目标图像,其中,所述第二目标对象为目标物体在所述第一目标图像中对应的对象。本申请实施例在远距离抓拍目标物体时,通过获得第一图像获取装置的第一当前位置信息、第二图像获取装置的第二当前位置信息,以及第一目标对象在原始图像中的第一位置信息,从而计算出第二图像获取装置能够清晰拍摄到目标物体的第一目标位置信息,并促使第二图像获取装置移动到第一目标位置完成对目标物体的拍摄,该过程为自动化调节,在提高拍着效率的同时,还可以获得准确且清晰度较高的图像。
附图说明
图1是本申请第一实施例提供的一种图像处理系统的示意图;
图2是本申请第一实施例提供的一种原始图像的示意图;
图3是本申请第一实施例提供的第一目标图像或第二目标图像的示意图;
图4是本申请第一实施例提供的又一种第一目标图像的示意图;
图5是本申请第二实施例提供的一种图像处理方法的流程图;
图6是本申请第二实施例提供的一种图像处理方法的又一流程图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施的限制。
本申请第一实施例提供一种图像处理系统,图1为本申请第一实施例提供的图像处理系统的结构示意图。以下结合图1对本实施例提供的系统进行详细描述。
结合图1所示,本申请第一实施例提供的图像处理系统100,包括:第一图像获取装置10,第二图像获取装置20以及图像处理装置30。
具体的,第一图像获取装置10,用于获取原始图像;
图像处理装置30,用于从原始图像中检测出第一目标对象,获得第一图像获取装置10在获取原始图像时在物理空间中的第一当前位置信息、第二图像获取装置20在物理空间中的第二当前位置信息以及第一目标对象在原始图像中的第一位置信息,根据第一当前位置信息、第二当前位置信息以及第一目标对象在原始图像中的第一位置信息,计算出第二图像获取装置20在物理空间中的第一目标位置信息,并触发第二图像获取装置20从第二当前位置信息所对应的第二当前位置移动到第一目标位置信息对应的第一目标位置,其中,第一目标位置是用于第二图像获取装置20拍摄目标物体的物理空间位置,目标物体为物理空间中的与第一目标对象对应的物体;
第二图像获取装置20,用于根据图像处理装置30的触发,从第二当前位置移动到第一目标位置,并在第一目标位置拍摄目标物体,获取包括第二目标对象的第一目标图像,其中,第二目标对象为目标物体在第一目标图像中对应的对象。
在本实施例中,第一图像获取装置10和第二图像获取装置20可以为单目摄像头、双目摄像头或者为多目摄像头等;其中,第一图像获取装置10优选采用双目摄像头,这样第一图像获取装置10在拍摄物体时,通过双目图像偏差匹配的方法计算,能够获取其与目标物体之间的距离,第二图像获取装置20为高倍镜摄像头。
在本实施例中,第一图像获取装置10获取的原始图像,是指第一图像获取装置10获取的全景图像,全景图像是通过第一图像获取装置10环360度拍摄的一组或多组照片拼接成一个全景图像,如图2所示的一个原始图像的示意图,在该原始图像中,原始图像的背景为道路,道路的两边为护栏和绿化带,道路上有车辆和骑车的行人。当然,第一图像获取装置10获取的原始图像还有很多,每个原始图像中的物体也是不同的。由于第一图像获取装置10与该行人、车辆的实际距离较远,则可从该原始图像中看出,该行人、车辆的画质较为模糊,即看不清行人的具体面貌,车辆的车牌等;也就是说,当第一图像获取装置10与行人、车辆等物体距离较远时,第一图像获取装置10是无法获取行人、车辆等物体的高清画质的图像的。本实施例为了改进这一缺陷,在第一图像获取装置10获取原始图像的基础上,通过图像处理装置30和第二图像获取装置20以得到行人、车辆等物体的高清画质的图像。
具体的,在本实施中,图像处理装置30从原始图像中检测出第一目标对象,以图2所示的原始图像为例,第一目标对象可以为原始图像中的行人或者车辆等。从原始图像中检测出第一目标对象,具体包括:获取第一目标对象的特征信息,并与预先存储的目标物体的特征信息相匹配;若匹配成功,则从原始图像中检测出第一目标对象。
其中,第一目标对象的特征信息并不唯一,特征信息越多,则获取的第一目标对象更加准确;以行人为第一目标对象为例,则该第一目标对象的特征信息包括头部,胳膊和腿等特征信息;以车辆为第一目标对象为例,则该第一目标对象的特征信息包括车体轮廓,车窗玻璃以及轮胎等特征信息。当然,在本实施例的其它方案中,从原始图像中检测出第一目标对象也可由第一图像获取装置10完成,即第一图像获取装置10从原始图像中检测出第一目标对象,并获取第一目标对象的特征信息。
对应的,目标物体是指物理空间中的与第一目标对象对应的物体,以图2对应的现实场景为例,目标物体为在现实的道路环境中的正在骑车的行人,以及正在行驶的车辆等。图像处理装置30会预先对这些目标物体进行建模,通过模型学习得到其特征信息并进行存储;当需要在原始图像中检测第一目标对象时,第一图像获取装置10或图像处理装置30通过深度学习算法获取第一目标对象的特征信息,例如行人,获取头部,胳膊和腿等特征信息,并与预先存储的目标物体的头部,胳膊和腿等特征信息相匹配,若匹配成功,则从原始图像中检测出第一目标对象。可以理解的是,若原始图像中有多个行人同时存在时,只要是满足第一目标对象的特征信息与存储目标物体的特征信息相匹配,则检测出的第一目标对象即为多个行人。也可以理解的是,在原始图像中检测出第一目标对象是可以控制的,即当需要检测行人时,则检测出的第一目标对象即为行人;当需要检测车辆时,则检测出的第一目标对象即为车辆;从而使得检测的第一目标对象可以根据需要选取。
进一步的,在从原始图像中检测出第一目标对象后,则需要获取第一目标对象在原始图像中的第一位置信息,第一目标对象在原始图像中的第一位置信息具体包括,第一目标对象在原始图像中对应的X轴方向的第一像素坐标和Y轴方向的第二像素坐标;且基于第一图像获取装置10可以获得其与目标物体之间的距离,则通过双目图像偏差匹配算法可以获得到目标物体的第一空间坐标信息。其中,第一目标对象在原始图像中的第一位置信息可通过深度学习算法获取,基于深度学习算法为常规算法,故在此不作详细解释说明。
在本实施例中,还需获得第一图像获取装置10在获取原始图像时在物理空间中的第一当前位置信息,以及第二图像获取装置20在物理空间中的第二当前位置信息;其中,结合图2可知,图2的原始图像是第一图像获取装置10在现实中的实际的场景拍摄得到的,所以可以理解的是,第一图像获取装置10在物理空间中会具有一个位置,且该位置具体为第一图像获取装置10在获取原始图像时对应的第一当前位置,该第一当前位置对应有第一当前位置信息。在本实施例中,第一当前位置信息可以通过加速度计、陀螺仪以及地磁传感器获取,具体的,当图像处理系统经过初始化后,图像处理系统的加速度计、陀螺仪以及地磁传感器则具有各自对应的初始值,当第一图像获取装置10获取原始图像时,其会发生位置、角度等移动,此时,加速度计会计算出第一图像获取装置10的位移值、继而获取第一图像获取装置10的位移信息,例如位移信息为2毫米(mm);陀螺仪会计算出第一图像获取装置10的旋转值,继而获取第一图像获取装置10旋转的角度信息,例如角度信息为北偏东30度;以及地磁传感器得到第一图像获取装置10在物理空间中的方向信息,该方向信息可以为向东方向;继而第一图像获取装置10在获取原始图像时在物理空间中的第一当前位置信息为向东方向位移2毫米(mm),且北偏东30度。
需要说明的是,在图像处理系统经过初始化后,若第一图像获取装置10是直接获取原始图像,即其位置未发生任何变化,则加速度计、陀螺仪以及地磁传感器各自对应的初始值即为获取的第一当前位置信息。
在本实施例中,获取第二图像获取装置20在物理空间中的第二当前位置信息与获得第一图像获取装置10在获取原始图像时在物理空间中的第一当前位置信息方式相同,均是通过加速度计获得的第二图像获取装置20在物理空间中的位移信息,通过陀螺仪获得第二图像获取装置20在物理空间中的角度信息,以及通过地磁传感器获得的第二图像获取装置20在物理空间中的方向信息获取的,故在此不作重复说明。
在获取第一当前位置信息、第二当前位置信息以及第一目标对象在原始图像中的第一位置信息后,则根据第一当前位置信息、第二当前位置信息以及第一目标对象在原始图像中的第一位置信息,计算出第二图像获取装置20在物理空间中的第一目标位置信息。具体的,根据第一当前位置信息建立第一图像获取装置10的相机坐标系,例如第一当前位置信息对应的坐标为(Oc,Xc,Yc),根据第一图像获取装置10拍摄的原始图像建立图像坐标系和像素坐标系,像素坐标系的原点为图像左上角,根据第一目标对象在原始图像中的第一位置信息,第一位置信息包括X轴方向的第一像素坐标和Y轴方向的第二像素坐标,从而计算出第一目标对象可被拍摄清楚的像素坐标;根据第二当前位置信息建立第二图像获取装置20的相机坐标系,将第一目标对象可被拍摄清楚的像素坐标转化为对应于第二图像获取装置20的相机坐标,从而根据第二图像获取装置20的相机坐标得出第二图像获取装置20在物理空间中的第一目标位置信息。
可以理解的是,在物理空间中,第二图像获取装置20在物理空间中的第一目标位置信息对应有第一目标位置,第一目标位置是用于第二图像获取装置20拍摄目标物体的物理空间位置,继而,在得到第一目标位置信息后,图像处理装置30触发第二图像获取装置20从第二当前位置信息所对应的第二当前位置移动到第一目标位置信息对应的第一目标位置。
在本实施例中,为了使得第二图像获取装置20快速的到达第一目标位置,则还设置有驱动装置,其中,驱动装置可以驱动电机;具体的,图像处理装置30触发第二图像获取装置20从第二当前位置信息所对应的第二当前位置移动到第一目标位置信息对应的第一目标位置,包括:根据计算出的第一目标位置信息,生成第一控制指令;其中,第一控制指令中包含有分别有沿X轴、Y轴移动的第一偏移量以及第一对焦信号,从而根据第一控制指令触发驱动装置带动第二图像获取装置20从第二当前位置信息所对应的第二当前位置,沿着X轴、Y轴方向移动到第一目标位置信息对应的第一目标位置;并在第二图像获取装置20到达第一目标位置后,通过第一对焦信号触发第二图像获取装置20进行对焦动作,通过自动对焦将目标物体拍摄清楚,即获得包括第二目标对象的第一目标图像。其中,第二目标对象为目标物体在第一目标图像中对应的对象,如图3所示。
需要说明的是,第一目标对象、第二目标对象均是现实的目标物体分别在第一图像获取装置10、第二图像获取装置20对应拍摄后所成的图像,但二者在对应的图像中所呈现的画质是完全不同的,故而定义为第一目标对象和第二目标对象,即第一目标对象为原始图像中的图像,第二目标对象为第一目标图像中的图像,例如,目标物体为现实的行人,则第一目标对象为在图2中的原始图像中的图像;第二目标对象为在图3中的第一目标图像中的图像。
在本实施例中,由于驱动装置在移动的时候可能会产生方位误差,则会带动第二图像获取装置20拍摄的目标物体所呈现的图像畸变太大或者太模糊,即如图4所示;对此,为了避免该情况发生,则图像处理装置30还具备如下功能:
具体的,当第二图像获取装置20在第一目标位置拍摄获得包括第二目标对象的第一目标图像后,图像处理装置30能够获得第二目标对象的特征信息,以图3的第一目标图像中的行人为例,该特征信息包括头部,胳膊和腿等特征信息。之后,将第二目标对象的特征信息与第一目标对象的特征信息相匹配;若在匹配过程中,第二目标对象的特征信息为车窗玻璃和轮胎等特征信息,则与第一目标对象的特征信息的头部,胳膊和腿等特征信息不匹配,说明第二图像获取装置20在第一目标位置拍摄获得包括第二目标对象的第一目标图像是车辆而非行人,则需要重新获取第一目标对象在原始图像中的第二位置信息。
若匹配信息一致,即为匹配成功,则图像处理装置30继续检测第二目标对象在第一目标图像中的位置信息,并判断位置信息是否与预设位置信息匹配。在本实施例中,图像处理装置30继续检测第二目标对象在第一目标图像中的位置信息,具体为,图像处理装置30检测第二目标对象在第一目标图像中对应的X轴方向的像素坐标和Y轴方向的像素坐标,从而得到第二目标对象在第一目标图像中的位置信息;其中,第二目标对象在第一目标图像中的位置信息可通过深度学习算法获取,基于深度学习算法为常规算法,故在此不作详细解释说明。
在检测到第二目标对象在第一目标图像中的位置信息后,则将该位置信息与预设位置信息进行匹配;其中,预设位置信息是图像处理装置30通过模型学习得到的,该预设位置信息对应的图像即为清晰、画质高的图像,如图3所示。需要说明的是,将该位置信息与预设位置信息进行匹配时,其只要计算二者的相似度即可,相似度值在预定阈值范围内,则说明该位置信息与预设位置信息匹配,从而得到的检测结果为第二目标对象在第一目标图像中的预设位置信息对应的预设位置,且第二目标对象在第一目标图像中的画质是清晰的。而当该位置信息与预设位置信息不匹配时,第二目标对象在第一目标图像中的画质是不清晰的,说明驱动装置在移动的过程中产生方位误差,从而带动第二图像获取装置20拍摄的目标物体所呈现的图像畸变太大或者太模糊,则需要再次调整第二图像获取装置20的拍摄角度。
具体的,图像处理装置30获取第一目标对象在原始图像中的第二位置信息,其中,第一目标对象在原始图像中的第二位置信息是对应于前述第一目标对象在原始图像中的第一位置信息而言的,由于第二图像获取装置20没有获得清晰的图像,该原因也可能出现在初始获取第一目标对象在原始图像中的位置信息时,即获取第一目标对象在原始图像中的第一位置信息不正确,故而需要图像处理装置30获取第一目标对象在原始图像中的第二位置信息,第一目标对象在原始图像中的第二位置信息,包括:第一目标对象在原始图像中对应的X轴方向的第三像素坐标和Y轴方向的第四像素坐标;且基于第一图像获取装置10可以获得其与目标物体之间的距离,则通过双目图像偏差匹配算法可以获得到目标物体的第二空间坐标信息。其中,第一目标对象在原始图像中的第二位置信息可通过深度学习算法获取,基于深度学习算法为常规算法,故在此不作详细解释说明。
根据第一当前位置信息、第一目标位置信息以及第一目标对象在原始图像中的第二位置信息,计算出第二图像获取装置20在物理空间中的第二目标位置信息,具体的:根据第一当前位置信息建立第一图像获取装置10的相机坐标系,例如第一当前位置信息对应的坐标为(Oc,Xc,Yc),根据第一图像获取装置10拍摄的原始图像建立图像坐标系和像素坐标系,像素坐标系的原点为图像左上角,根据第一目标对象在原始图像中的第二位置信息,第一位置信息包括X轴方向的第三像素坐标和Y轴方向的第四像素坐标,从而计算出第一目标对象可被拍摄清楚的像素坐标;根据第一目标位置信息建立第二图像获取装置20的相机坐标系,将第一目标对象可被拍摄清楚的像素坐标转化为对应于第二图像获取装置20的相机坐标,从而根据第二图像获取装置20的相机坐标得出第二图像获取装置20在物理空间中的第二目标位置信息。
可以理解的是,在物理空间中,第二图像获取装置20在物理空间中的第二目标位置信息对应有第二目标位置,第二目标位置是用于第二图像获取装置20拍摄目标物体的物理空间位置,继而,在得到第二目标位置信息后,图像处理装置30触发第二图像获取装置20从第一目标位置信息所对应的第一目标位置移动到第二目标位置信息对应的第二目标位置。
具体的,图像处理装置30触发第二图像获取装置20从第一目标位置信息所对应的第一目标位置移动到第二目标位置信息对应的第二目标位置,包括:根据计算出的第二目标位置信息,生成第二控制指令;其中,第二控制指令中包含有分别有沿X轴、Y轴移动的第二偏移量以及第二对焦信号,从而根据第二控制指令触发驱动装置带动第二图像获取装置20从第一目标位置信息所对应的第一目标位置,沿着X轴、Y轴方向移动到第二目标位置信息对应的第二目标位置;并在第二图像获取装置20到达第二目标位置后,通过第二对焦信号触发第二图像获取装置20进行对焦动作,通过自动对焦将目标物体拍摄清楚,即获得包括第三目标对象的第二目标图像;其中,第三目标对象为目标物体在第二目标图像中对应的对象,如图3所示。
需要说明的是,第二目标对象、第三目标对象均是现实的目标物体分别在第二图像获取装置20在第一目标位置、第二目标位置对应拍摄后所成的图像,二者在图像中所呈现的画质可以是完全不同的,也可以是不同的;第二目标对象为第一目标图像中的图像,第三目标对象为第二目标图像中的图像;例如,在画质不同时,目标物体为现实的行人,则第二目标对象为在图4中的第一目标图像中的图像,第三目标对象为在图3中的第二目标图像中的图像。
本申请第一实施例提供一种图像处理系统,包括:第一图像获取装置,第二图像获取装置以及图像处理装置;其中,第一图像获取装置用于获取原始图像;图像处理装置用于从原始图像中检测出第一目标对象,获得第一图像获取装置在获取原始图像时在物理空间中的第一当前位置信息、第二图像获取装置在物理空间中的第二当前位置信息以及第一目标对象在原始图像中的第一位置信息,根据第一当前位置信息、第二当前位置信息以及第一目标对象在原始图像中的第一位置信息,计算出第二图像获取装置在物理空间中的第一目标位置信息,并触发第二图像获取装置从第二当前位置信息所对应的第二当前位置移动到第一目标位置信息对应的第一目标位置,第二图像获取装置,用于根据图像处理装置的触发,从第二当前位置移动到第一目标位置,并在第一目标位置拍摄目标物体,获取包括第二目标对象的第一目标图像,其中,第二目标对象为目标物体在第一目标图像中对应的对象。本申请实施例在远距离抓拍目标物体时,通过获得第一图像获取装置的第一当前位置信息、第二图像获取装置的第二当前位置信息,以及第一目标对象在原始图像中的第一位置信息,从而计算出第二图像获取装置能够清晰拍摄到目标物体的第一目标位置信息,并促使第二图像获取装置移动到第一目标位置完成对目标物体的拍摄,该过程为自动化调节,在提高拍着效率的同时,还可以获得准确且清晰度较高的图像。
本申请第二实施例提供一种图像处理方法,该方法的应用主体可以为控制图像获取装置的图像处理装置,图5为本申请第二实施例提供的图像处理方法流程图,以下结合图5对本实施例提供的方法进行详细描述。以下描述所涉及的实施例是用来解释说明方法原理,不是实际使用的限定。
如图5所示,本实施例提供的图像处理方法包括如下步骤:
步骤S501,获取第一图像获取装置所获取的原始图像。
在本步骤中,原始图像是指全景图像,全景图像是通过第一图像获取装置环360度拍摄的一组或多组照片拼接成一个全景图像,如图2所示的一个原始图像的示意图,在该原始图像中,原始图像的背景为道路,道路的两边为护栏和绿化带,道路上有车辆和骑车的行人。当然,原始图像还有很多,每个原始图像中的物体也是不同的。
步骤S502,从原始图像中检测出第一目标对象。
具体的,以图2所示的原始图像为例,第一目标对象可以为原始图像中的行人或者车辆等。从原始图像中检测出第一目标对象,具体包括:获取第一目标对象的特征信息,并与预先存储的目标物体的特征信息相匹配;若匹配成功,则从原始图像中检测出第一目标对象。其中,第一目标对象的特征信息并不唯一,特征信息越多,则获取的第一目标对象更加准确;以行人为第一目标对象为例,则该第一目标对象的特征信息包括头部,胳膊和腿等特征信息;以车辆为第一目标对象为例,则该第一目标对象的特征信息包括车体轮廓,车窗玻璃以及轮胎等特征信息。
对应的,目标物体是指物理空间中的与第一目标对象对应的物体,以图2对应的现实场景为例,目标物体为在现实的道路环境中的正在骑车的行人,以及正在行驶的车辆等。本实施例会预先对这些目标物体进行建模,通过模型学习得到其特征信息并进行存储;当需要在原始图像中检测第一目标对象时,则获取第一目标对象的特征信息,例如行人,获取头部,胳膊和腿等特征信息,并与预先存储的目标物体的头部,胳膊和腿等特征信息相匹配,若匹配成功,则从原始图像中检测出第一目标对象。可以理解的是,若原始图像中有多个行人同时存在时,只要是满足第一目标对象的特征信息与存储目标物体的特征信息相匹配,则检测出的第一目标对象即为多个行人。也可以理解的是,在原始图像中检测出第一目标对象是可以控制的,即当需要检测行人时,则检测出的第一目标对象即为行人;当需要检测车辆时,则检测出的第一目标对象即为车辆;从而使得检测的第一目标对象可以根据需要选取。
步骤S503,获得第一图像获取装置在获取原始图像时在物理空间中的第一当前位置信息、第二图像获取装置在物理空间中的第二当前位置信息以及第一目标对象在原始图像中的第一位置信息。
其中,物理空间即为现实空间,结合图2可知,图2的原始图像可以是第一图像获取装置在现实中的实际的场景拍摄得到的,所以可以理解的是,第一图像获取装置在物理空间中会具有一个位置,且该位置具体为第一图像获取装置在获取原始图像时对应的第一当前位置,该第一当前位置对应有第一当前位置信息。在本实施例中,第一图像获取装置和第二图像获取装置可以为单目摄像头、双目摄像头或者为多目摄像头等;其中,第一图像获取装置优选采用双目摄像头,这样第一图像获取装置在拍摄物体时,通过双目图像偏差匹配的方法计算,能够获取其与物体之间的距离,第二图像获取装置为高倍镜摄像头。
在本实施例中,第一当前位置信息可以通过加速度计、陀螺仪以及地磁传感器获取,具体的,经过初始化后,加速度计、陀螺仪以及地磁传感器则具有各自对应的初始值,当第一图像获取装置获取原始图像时,其会发生位置、角度等移动,此时,加速度计会计算出第一图像获取装置的位移值、继而获取第一图像获取装置的位移信息,例如位移信息为2毫米(mm);陀螺仪会计算出第一图像获取装置的旋转值,继而获取第一图像获取装置旋转的角度信息,例如角度信息为北偏东30度;以及地磁传感器得到第一图像获取装置在物理空间中的方向信息,该方向信息可以为向东方向;继而第一图像获取装置在获取原始图像时在物理空间中的第一当前位置信息为向东方向位移2毫米(mm),且北偏东30度。
需要说明的是,在经过初始化后,若第一图像获取装置是直接获取原始图像,即其位置未发生任何变化,则加速度计、陀螺仪以及地磁传感器各自对应的初始值即为获取的第一当前位置信息。
在本实施例中,获取第二图像获取装置在物理空间中的第二当前位置信息与获得第一图像获取装置在获取原始图像时在物理空间中的第一当前位置信息方式相同,均是通过加速度计获得的第二图像获取装置在物理空间中的位移信息,通过陀螺仪获得第二图像获取装置在物理空间中的角度信息,以及通过地磁传感器获得的第二图像获取装置在物理空间中的方向信息获取的,故在此不作重复说明。
且对应于步骤S502,在从原始图像中检测出第一目标对象后,则需要获取第一目标对象在原始图像中的第一位置信息,第一目标对象在原始图像中的第一位置信息具体包括,第一目标对象在原始图像中对应的X轴方向的第一像素坐标和Y轴方向的第二像素坐标;且基于第一图像获取装置10可以获得其与目标物体之间的距离,则通过双目图像偏差匹配算法可以获得到目标物体的第一空间坐标信息。其中,第一目标对象在原始图像中的第一位置信息可通过深度学习算法获取,基于深度学习算法为常规算法,故在此不作详细解释说明。
步骤S504,根据第一当前位置信息、第二当前位置信息以及第一目标对象在原始图像中的第一位置信息,计算出第二图像获取装置在物理空间中的第一目标位置信息。
具体的,根据第一当前位置信息建立第一图像获取装置的相机坐标系,例如第一当前位置信息对应的坐标为(Oc,Xc,Yc),根据第一图像获取装置拍摄的原始图像建立图像坐标系和像素坐标系,像素坐标系的原点为图像左上角,根据第一目标对象在原始图像中的第一位置信息,第一位置信息包括X轴方向的第一像素坐标和Y轴方向的第二像素坐标,从而计算出第一目标对象可被拍摄清楚的像素坐标;根据第二当前位置信息建立第二图像获取装置的相机坐标系,将第一目标对象可被拍摄清楚的像素坐标转化为对应于第二图像获取装置的相机坐标,从而根据第二图像获取装置的相机坐标得出第二图像获取装置在物理空间中的第一目标位置信息。
可以理解的是,在物理空间中,第二图像获取装置在物理空间中的第一目标位置信息对应有第一目标位置,第一目标位置是用于第二图像获取装置拍摄目标物体的物理空间位置。
步骤S505,触发第二图像获取装置从第二当前位置信息所对应的第二当前位置移动到第一目标位置信息对应的第一目标位置,以获得包括第二目标对象的第一目标图像。
在本步骤中,为了使得第二图像获取装置快速的到达第一目标位置,则第二图像获取装置还连接于驱动装置,其中,驱动装置可以驱动电机。具体的,根据计算出的第一目标位置信息,生成第一控制指令;其中,第一控制指令中包含有分别有沿X轴、Y轴移动的第一偏移量以及第一对焦信号,从而根据第一控制指令触发驱动装置带动第二图像获取装置从第二当前位置信息所对应的第二当前位置,沿着X轴、Y轴方向移动到第一目标位置信息对应的第一目标位置;并在第二图像获取装置到达第一目标位置后,通过对焦信号触发第二图像获取装置进行对焦动作,通过第一自动对焦将目标物体拍摄清楚,即获得包括第二目标对象的第一目标图像。其中,第二目标对象为目标物体在第一目标图像中对应的对象,如图3所示。
需要说明的是,第一目标对象、第二目标对象均是现实的目标物体分别在第一图像获取装置、第二图像获取装置对应拍摄后所成的图像,但二者在对应的图像中所呈现的画质是完全不同的,故而定义为第一目标对象和第二目标对象,且第一目标对象为原始图像中的图像,第二目标对象为第一目标图像中的图像,例如,目标物体为现实的行人,则第一目标对象为在图2中的原始图像中的图像;第二目标对象为在图3中的第一目标图像中的图像。
在本实施例中,由于驱动装置在移动的时候可能会产生方位误差,则会带动第二图像获取装置拍摄的目标物体所呈现的图像畸变太大或者太模糊,即如图4所示;对此,为了避免该情况发生,则本实施例所提供的方法还包括如下步骤,图6是本实施例提供的图像处理方法又一流程图,以下结合图6对本实施例提供的方法步骤进行详细描述。以下描述所涉及的实施例是用来解释说明方法原理,不是实际使用的限定。
如图6所示,步骤S601,获取第二目标对象的特征信息,并与预先存储的目标物体的特征信息相匹配。
具体的,在获得包括第二目标对象的第一目标图像后,可以获得第二目标对象的特征信息,以图3的第一目标图像中的行人为例,该特征信息包括头部,胳膊和腿等特征信息。之后,将第二目标对象的特征信息与第一目标对象的特征信息相匹配;若在匹配过程中,第二目标对象的特征信息为车窗玻璃和轮胎等特征信息,则与第一目标对象的特征信息的头部,胳膊和腿等特征信息不匹配,说明获得包括第二目标对象的第一目标图像是车辆而非行人,则需要重新获得第一目标对象在原始图像中的第二位置信息,即执行步骤S603。若匹配信息一致,即为匹配成功,则执行步骤S602。
步骤S602,检测第二目标对象在第一目标图像中的位置信息,并判断该位置信息是否与预设位置信息匹配。
在本步骤中,检测第二目标对象在第一目标图像中的位置信息,具体为,检测第二目标对象在第一目标图像中对应的X轴方向的像素坐标和Y轴方向的像素坐标,从而得到第二目标对象在第一目标图像中的位置信息;其中,第二目标对象在第一目标图像中的位置信息可通过深度学习算法获取,基于深度学习算法为常规算法,故在此不作详细解释说明。
在检测到第二目标对象在第一目标图像中的位置信息后,则将该位置信息与预设位置信息进行匹配;其中,预设位置信息是通过模型学习得到的,该预设位置信息对应的图像即为清晰、画质高的图像,如图3所示。需要说明的是,将该位置信息与预设位置信息进行匹配时,其只要计算二者的相似度即可,相似度值在预定阈值范围内,则说明该位置信息与预设位置信息匹配,从而得到的检测结果为第二目标对象在第一目标图像中的预设位置信息对应的预设位置,且第二目标对象在第一目标图像中的画质是清晰的,并执行步骤S606,获得包括第二目标对象的第一目标图像。而当该位置信息与预设位置信息不匹配时,第二目标对象在第一目标图像中的画质是不清晰的,说明驱动装置在移动的过程中产生方位误差,从而带动第二图像获取装置拍摄的目标物体所呈现的图像畸变太大或者太模糊,则需要获得第一目标对象在原始图像中的第二位置信息,即执行步骤S603。
步骤S603,获取第一目标对象在原始图像中的第二位置信息。
其中,第一目标对象在原始图像中的第二位置信息是对应于前述第一目标对象在原始图像中的第一位置信息而言的,由于第二图像获取装置没有获得清晰的图像,该原因也可能出现在初始获取第一目标对象在原始图像中的位置信息时,即获取第一目标对象在原始图像中的第一位置信息不正确,故而需要获取第一目标对象在原始图像中的第二位置信息,第一目标对象在原始图像中的第二位置信息,包括:第一目标对象在原始图像中对应的X轴方向的第三像素坐标和Y轴方向的第四像素坐标;且基于第一图像获取装置10可以获得其与目标物体之间的距离,则通过双目图像偏差匹配算法可以获得到目标物体的第二空间坐标信息。其中,第一目标对象在原始图像中的第二位置信息可通过深度学习算法获取,基于深度学习算法为常规算法,故在此不作详细解释说明。
步骤S604,根据第一当前位置信息、第一目标位置信息以及第一目标对象在原始图像中的第二位置信息,计算出第二图像获取装置在物理空间中的第二目标位置信息。
具体的,根据第一当前位置信息建立第一图像获取装置的相机坐标系,例如第一当前位置信息对应的坐标为(Oc,Xc,Yc),根据第一图像获取装置拍摄的原始图像建立图像坐标系和像素坐标系,像素坐标系的原点为图像左上角,根据第一目标对象在原始图像中的第二位置信息,第一位置信息包括X轴方向的第三像素坐标和Y轴方向的第四像素坐标,从而计算出第一目标对象可被拍摄清楚的像素坐标;根据第一目标位置信息建立第二图像获取装置的相机坐标系,将第一目标对象可被拍摄清楚的像素坐标转化为对应于第二图像获取装置的相机坐标,从而根据第二图像获取装置的相机坐标得出第二图像获取装置在物理空间中的第二目标位置信息。
可以理解的是,在物理空间中,第二图像获取装置在物理空间中的第二目标位置信息对应有第二目标位置,第二目标位置是用于第二图像获取装置拍摄目标物体的物理空间位置。
步骤S605,触发第二图像获取装置从第一目标位置信息所对应的第一目标位置移动到第二目标位置信息对应的第二目标位置,以获得包括第三目标对象的第二目标图像。
具体的,触发第二图像获取装置从第一目标位置信息所对应的第一目标位置移动到第二目标位置信息对应的第二目标位置,包括:根据计算出的第二目标位置信息,生成第二控制指令;其中,第二控制指令中包含有分别有沿X轴、Y轴移动的第二偏移量以及第二对焦信号,从而根据第二控制指令触发驱动装置带动第二图像获取装置从第一目标位置信息所对应的第一目标位置,沿着X轴、Y轴方向移动到第二目标位置信息对应的第二目标位置;并在第二图像获取装置到达第二目标位置后,通过第二对焦信号触发第二图像获取装置进行对焦动作,通过自动对焦将目标物体拍摄清楚,即获得包括第三目标对象的第二目标图像;其中,第三目标对象为目标物体在第二目标图像中对应的对象,如图3所示。
需要说明的是,第二目标对象、第三目标对象均是现实的目标物体分别在第二图像获取装置在第一目标位置、第二目标位置对应拍摄后所成的图像,二者在图像中所呈现的画质可以是完全不同的,也可以是不同的;第二目标对象为第一目标图像中的图像,第三目标对象为第二目标图像中的图像;例如,目标物体为现实的行人,则第二目标对象为在图4中的第一目标图像中的图像,第三目标对象为在图3中的第二目标图像中的图像。
本申请第二实施例提供一种图像处理方法,包括:获取第一图像获取装置所获取的原始图像;从原始图像中检测出第一目标对象;获得第一图像获取装置在获取原始图像时在物理空间中的第一当前位置信息、第二图像获取装置在物理空间中的第二当前位置信息以及第一目标对象在原始图像中的第一位置信息;根据第一当前位置信息、第二当前位置信息以及第一目标对象在原始图像中的第一位置信息,计算出第二图像获取装置在物理空间中的第一目标位置信息;触发第二图像获取装置从第二当前位置信息所对应的第二当前位置移动到第一目标位置信息对应的第一目标位置,以获得包括第二目标对象的第一目标图像;其中,第一目标位置是用于第二图像获取装置拍摄目标物体的物理空间位置,目标物体为物理空间中的与第一目标对象对应的物体;第二目标对象为目标物体在第一目标图像中对应的对象。本申请实施例在远距离抓拍目标物体时,通过获得第一图像获取装置的第一当前位置信息、第二图像获取装置的第二当前位置信息,以及第一目标对象在原始图像中的第一位置信息,从而计算出第二图像获取装置能够清晰拍摄到目标物体的第一目标位置信息,并促使第二图像获取装置移动到第一目标位置完成对目标物体的拍摄,该过程为自动化调节,在提高拍着效率的同时,还可以获得准确且清晰度较高的图像。
本申请虽然以较佳实施例公开如上,但其并不是用来限定本本申请,任何本领域技术人员在不脱离本发明的精神和范围内,都可以做出可能的变动和修改,因此本本申请的保护范围应当以本本申请权利要求所界定的范围为准。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (18)

1.一种图像处理系统,其特征在于,包括:第一图像获取装置,第二图像获取装置以及图像处理装置;
所述第一图像获取装置,用于获取原始图像;
所述图像处理装置,用于从所述原始图像中检测出第一目标对象,获得所述第一图像获取装置在获取所述原始图像时在物理空间中的第一当前位置信息、所述第二图像获取装置在物理空间中的第二当前位置信息以及所述第一目标对象在所述原始图像中的第一位置信息,根据所述第一当前位置信息、第二当前位置信息以及所述第一目标对象在所述原始图像中的第一位置信息,计算出所述第二图像获取装置在物理空间中的第一目标位置信息,并触发所述第二图像获取装置从所述第二当前位置信息所对应的第二当前位置移动到所述第一目标位置信息对应的第一目标位置,其中,所述第一目标位置是用于所述第二图像获取装置拍摄目标物体的物理空间位置,所述目标物体为物理空间中的与所述第一目标对象对应的物体;
所述第二图像获取装置,用于根据所述图像处理装置的触发,从所述第二当前位置移动到所述第一目标位置,并在所述第一目标位置拍摄所述目标物体,获取包括第二目标对象的第一目标图像,其中,所述第二目标对象为目标物体在所述第一目标图像中对应的对象;
所述图像处理装置,还用于检测所述第二目标对象在所述第一目标图像中的位置信息,并判断所述位置信息是否与预设位置信息匹配。
2.根据权利要求1所述的图像处理系统,其特征在于,所述判断所述位置信息是否与预设位置信息匹配,具体为:
若否,则所述图像处理装置获取所述第一目标对象在所述原始图像中的第二位置信息,根据所述第一当前位置信息、第一目标位置信息以及所述第一目标对象在所述原始图像中的第二位置信息,计算出所述第二图像获取装置在物理空间中的第二目标位置信息,并触发所述第二图像获取装置从所述第一目标位置信息所对应的所述第一目标位置移动到所述第二目标位置信息对应的第二目标位置,并在所述第二目标位置触发所述第二图像获取装置拍摄所述目标物体,获取包括第三目标对象的第二目标图像;其中,所述第二目标位置是用于所述第二图像获取装置拍摄目标物体的物理空间位置,所述第三目标对象为目标物体在所述第二目标图像中对应的对象。
3.根据权利要求1所述的图像处理系统,其特征在于,从所述原始图像中检测出第一目标对象,包括:
获取所述第一目标对象的特征信息,并与预先存储的所述目标物体的特征信息相匹配;若匹配成功,则从所述原始图像中检测出第一目标对象。
4.根据权利要求1所述的图像处理系统,其特征在于,所述获得所述第一图像获取装置在物理空间中的第一当前位置信息和所述第二图像获取装置在物理空间中的第二当前位置信息是通过加速度计分别获得的所述第一图像获取装置和第二图像获取装置在物理空间中的位移信息,通过陀螺仪分别获得的所述第一图像获取装置和第二图像获取装置在物理空间中的角度信息,以及通过地磁传感器分别获得的所述第一图像获取装置和第二图像获取装置在物理空间中的方向信息获得的。
5.根据权利要求1所述的图像处理系统,其特征在于,所述第一目标对象在所述原始图像中的第一位置信息,包括:
所述第一目标对象在所述原始图像中对应的X轴方向的第一像素坐标和Y轴方向的第二像素坐标。
6.根据权利要求1所述的图像处理系统,其特征在于,还包括:驱动装置;则触发所述第二图像获取装置从所述第二当前位置信息所对应的第二当前位置移动到所述第一目标位置信息对应的第一目标位置,包括:
根据计算出的所述第一目标位置信息,生成第一控制指令;
根据所述第一控制指令触发所述驱动装置带动所述第二图像获取装置从所述第二当前位置信息所对应的第二当前位置移动到所述第一目标位置信息对应的第一目标位置。
7.根据权利要求1所述的图像处理系统,其特征在于,所述图像处理装置检测所述第二目标对象在所述第一目标图像中的位置信息,并判断所述位置信息是否与预设位置信息匹配之前,还包括:
获取所述第二目标对象的特征信息,并与所述第一目标对象的特征信息相匹配;若匹配成功,则检测所述第二目标对象在所述第一目标图像中的位置信息,并判断所述位置信息是否与预设位置信息匹配。
8.根据权利要求2所述的图像处理系统,其特征在于,所述第一目标对象在所述原始图像中的第二位置信息,包括:所述第一目标对象在所述原始图像中对应的X轴方向的第三像素坐标和Y轴方向的第四像素坐标。
9.根据权利要求2所述的图像处理系统,其特征在于,所述触发所述第二图像获取装置从所述第一目标位置信息所对应的所述第一目标位置移动到所述第二目标位置信息对应的第二目标位置,包括:
根据计算出的所述第二目标位置信息,生成第二控制指令;
根据所述第二控制指令触发驱动装置带动所述第二图像获取装置从所述第一目标位置信息所对应的所述第一目标位置移动到所述第二目标位置信息对应的第二目标位置。
10.一种图像处理方法,其特征在于,包括:
获取第一图像获取装置所获取的原始图像;
从所述原始图像中检测出第一目标对象;
获得所述第一图像获取装置在获取所述原始图像时在物理空间中的第一当前位置信息、第二图像获取装置在物理空间中的第二当前位置信息以及所述第一目标对象在所述原始图像中的第一位置信息;
根据所述第一当前位置信息、第二当前位置信息以及所述第一目标对象在所述原始图像中的第一位置信息,计算出所述第二图像获取装置在物理空间中的第一目标位置信息;
触发所述第二图像获取装置从所述第二当前位置信息所对应的第二当前位置移动到所述第一目标位置信息对应的第一目标位置,以获得包括第二目标对象的第一目标图像;
其中,所述第一目标位置是用于所述第二图像获取装置拍摄目标物体的物理空间位置,所述目标物体为物理空间中的与所述第一目标对象对应的物体;所述第二目标对象为目标物体在所述第一目标图像中对应的对象;
检测所述第二目标对象在所述第一目标图像中的位置信息,并判断该位置信息是否与预设位置信息匹配。
11.根据权利要求10所述的图像处理方法,其特征在于,所述检测所述第二目标对象在所述第一目标图像中的位置信息,并判断该位置信息是否与预设位置信息匹配,具体为:
根据所述第一当前位置信息、第一目标位置信息以及所述第一目标对象在所述原始图像中的第二位置信息,计算出所述第二图像获取装置在物理空间中的第二目标位置信息;
触发所述第二图像获取装置从所述第一目标位置信息所对应的所述第一目标位置移动到所述第二目标位置信息对应的第二目标位置,以获得包括第三目标对象的第二目标图像;
其中,所述第二目标位置是用于所述第二图像获取装置拍摄目标物体的物理空间位置,所述第三目标对象为目标物体在所述第二目标图像中对应的对象。
12.根据权利要求10所述的图像处理方法,其特征在于,所述从所述原始图像中检测出第一目标对象包括:
获取所述第一目标对象的特征信息,并与预先存储的所述目标物体的特征信息相匹配;若匹配成功,则从所述原始图像中检测出第一目标对象。
13.根据权利要求10所述的图像处理方法,其特征在于,所述第一当前位置信息和第二当前位置信息包括:所述第一图像获取装置和第二图像获取装置分别在物理空间中的位移信息、角度信息以及方向信息。
14.根据权利要求10所述的图像处理方法,其特征在于,所述第一目标对象在所述原始图像中的第一位置信息,包括:
所述第一目标对象在所述原始图像中对应的X轴方向的第一像素坐标和Y轴方向的第二像素坐标。
15.根据权利要求10所述的图像处理方法,其特征在于,所述触发所述第二图像获取装置从所述第二当前位置信息所对应的第二当前位置移动到所述第一目标位置信息对应的第一目标位置,包括:
根据计算出的所述第一目标位置信息,生成第一控制指令;
根据所述第一控制指令触发驱动装置带动所述第二图像获取装置从所述第二当前位置信息所对应的第二当前位置移动到所述第一目标位置信息对应的第一目标位置。
16.根据权利要求10所述的图像处理方法,其特征在于,所述检测所述第二目标对象在所述第一目标图像中的位置信息,并判断该位置信息是否与预设位置信息匹配之前,还包括:
获取所述第二目标对象的特征信息,并与所述第一目标对象的特征信息相匹配;若匹配成功,则检测所述第二目标对象在所述第一目标图像中的位置信息,并判断该位置信息是否与预设位置信息匹配。
17.根据权利要求10所述的图像处理方法,其特征在于,所述第一目标对象在所述原始图像中的第二位置信息,包括:所述第一目标对象在所述原始图像中对应的X轴方向的第三像素坐标和Y轴方向的第四像素坐标。
18.根据权利要求10所述的图像处理方法,其特征在于,所述触发所述第二图像获取装置从所述第一目标位置信息所对应的所述第一目标位置移动到所述第二目标位置信息对应的第二目标位置,包括:
根据计算出的所述第二目标位置信息,生成第二控制指令;
根据所述第二控制指令触发驱动装置带动所述第二图像获取装置从所述第一目标位置信息所对应的所述第一目标位置移动到所述第二目标位置信息对应的第二目标位置。
CN201910757276.7A 2019-08-16 2019-08-16 一种图像处理系统和图像处理方法 Active CN112399068B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910757276.7A CN112399068B (zh) 2019-08-16 2019-08-16 一种图像处理系统和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910757276.7A CN112399068B (zh) 2019-08-16 2019-08-16 一种图像处理系统和图像处理方法

Publications (2)

Publication Number Publication Date
CN112399068A CN112399068A (zh) 2021-02-23
CN112399068B true CN112399068B (zh) 2022-05-03

Family

ID=74602779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910757276.7A Active CN112399068B (zh) 2019-08-16 2019-08-16 一种图像处理系统和图像处理方法

Country Status (1)

Country Link
CN (1) CN112399068B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202159223U (zh) * 2011-06-13 2012-03-07 鼎创电子股份有限公司 自动调整立体影像像差的双像机镜头组
CN103970291A (zh) * 2013-01-31 2014-08-06 索尼公司 移动终端
CN104807449A (zh) * 2015-04-29 2015-07-29 国家电网公司 一种基于立体摄影测量的输电线路交叉跨越测量系统
CN105157609A (zh) * 2015-09-01 2015-12-16 大连理工大学 基于两组相机的大型零件全局形貌测量方法
KR101597216B1 (ko) * 2015-10-19 2016-02-25 (주)대지이엔지 영상이미지의 기준점 중심으로 지형물을 도화하는 공간영상도화 장치
CN106303203A (zh) * 2015-06-10 2017-01-04 联想(北京)有限公司 一种信息处理方法及电子设备
CN106507087A (zh) * 2016-12-05 2017-03-15 宇龙计算机通信科技(深圳)有限公司 一种终端成像方法及系统
CN106709899A (zh) * 2015-07-15 2017-05-24 华为终端(东莞)有限公司 双摄像头相对位置计算方法、装置和设备
CN107087090A (zh) * 2017-05-31 2017-08-22 广东欧珀移动通信有限公司 电子设备的外壳组件及电子设备
JP2017182761A (ja) * 2016-03-25 2017-10-05 富士ゼロックス株式会社 位置同定装置、位置同定プログラム、経路特定装置及び経路特定プログラム
CN206563570U (zh) * 2016-12-09 2017-10-17 上海交通大学 双目视觉导航装置
CN107433380A (zh) * 2017-09-20 2017-12-05 嘉兴锐视智能科技有限公司 焊缝跟踪装置及方法
CN206740073U (zh) * 2017-04-07 2017-12-12 新疆大学 一种可调相机间距和角度的结构光测量实验装置
CN108200339A (zh) * 2017-12-29 2018-06-22 北京臻迪科技股份有限公司 目标追踪定位方法、系统及摄像装置
CN109002162A (zh) * 2018-06-21 2018-12-14 北京字节跳动网络技术有限公司 场景切换方法、装置、终端和计算机存储介质
CN109598763A (zh) * 2018-11-30 2019-04-09 Oppo广东移动通信有限公司 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN110012236A (zh) * 2019-03-29 2019-07-12 联想(北京)有限公司 一种信息处理方法、装置、设备和计算机存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202159223U (zh) * 2011-06-13 2012-03-07 鼎创电子股份有限公司 自动调整立体影像像差的双像机镜头组
CN103970291A (zh) * 2013-01-31 2014-08-06 索尼公司 移动终端
CN104807449A (zh) * 2015-04-29 2015-07-29 国家电网公司 一种基于立体摄影测量的输电线路交叉跨越测量系统
CN106303203A (zh) * 2015-06-10 2017-01-04 联想(北京)有限公司 一种信息处理方法及电子设备
CN106709899A (zh) * 2015-07-15 2017-05-24 华为终端(东莞)有限公司 双摄像头相对位置计算方法、装置和设备
CN105157609A (zh) * 2015-09-01 2015-12-16 大连理工大学 基于两组相机的大型零件全局形貌测量方法
KR101597216B1 (ko) * 2015-10-19 2016-02-25 (주)대지이엔지 영상이미지의 기준점 중심으로 지형물을 도화하는 공간영상도화 장치
JP2017182761A (ja) * 2016-03-25 2017-10-05 富士ゼロックス株式会社 位置同定装置、位置同定プログラム、経路特定装置及び経路特定プログラム
CN106507087A (zh) * 2016-12-05 2017-03-15 宇龙计算机通信科技(深圳)有限公司 一种终端成像方法及系统
CN206563570U (zh) * 2016-12-09 2017-10-17 上海交通大学 双目视觉导航装置
CN206740073U (zh) * 2017-04-07 2017-12-12 新疆大学 一种可调相机间距和角度的结构光测量实验装置
CN107087090A (zh) * 2017-05-31 2017-08-22 广东欧珀移动通信有限公司 电子设备的外壳组件及电子设备
CN107433380A (zh) * 2017-09-20 2017-12-05 嘉兴锐视智能科技有限公司 焊缝跟踪装置及方法
CN108200339A (zh) * 2017-12-29 2018-06-22 北京臻迪科技股份有限公司 目标追踪定位方法、系统及摄像装置
CN109002162A (zh) * 2018-06-21 2018-12-14 北京字节跳动网络技术有限公司 场景切换方法、装置、终端和计算机存储介质
CN109598763A (zh) * 2018-11-30 2019-04-09 Oppo广东移动通信有限公司 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN110012236A (zh) * 2019-03-29 2019-07-12 联想(北京)有限公司 一种信息处理方法、装置、设备和计算机存储介质

Also Published As

Publication number Publication date
CN112399068A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
US10455141B2 (en) Auto-focus method and apparatus and electronic device
CN109887087B (zh) 一种车辆的slam建图方法及系统
KR102143456B1 (ko) 심도 정보 취득 방법 및 장치, 그리고 이미지 수집 디바이스
JP3868876B2 (ja) 障害物検出装置及び方法
EP3438777A1 (en) Method, apparatus and computer program for a vehicle
CN106960454B (zh) 景深避障方法、设备及无人飞行器
CN106570899B (zh) 一种目标物体检测方法及装置
KR101672732B1 (ko) 객체 추적 장치 및 방법
KR20150144731A (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
CN104469170B (zh) 双目摄像装置、图像处理方法及装置
WO2018216341A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN103824303A (zh) 基于被摄物的位置、方向调整图像透视畸变的方法和装置
CN105335959B (zh) 成像装置快速对焦方法及其设备
CN113724335B (zh) 一种基于单目相机的三维目标定位方法及系统
CN112399068B (zh) 一种图像处理系统和图像处理方法
TWI502162B (zh) 雙影像導引追瞄之射擊系統與方法
US10148929B2 (en) Method of prompting proper rotation angle for image depth establishing
JP6734994B2 (ja) ステレオ計測装置及びシステム
CN113959398B (zh) 基于视觉的测距方法、装置、可行驶设备及存储介质
KR20190124112A (ko) Avm 시스템 및 avm 시스템에서, 영상 사이의 매칭점 검출 방법
EP3766046A1 (en) Camera calibration and/or use of a calibrated camera
KR101389865B1 (ko) 이미지 인식 시스템 및 그를 이용한 이미지 인식 방법
US11102406B2 (en) Device of panoramic map based on an equirectangular projection and method thereof
KR102112784B1 (ko) 왜곡 영상 보정 장치 및 방법
US20210404843A1 (en) Information processing apparatus, control method for information processing apparatus, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant