CN109005334A - 一种成像方法、装置、终端和存储介质 - Google Patents

一种成像方法、装置、终端和存储介质 Download PDF

Info

Publication number
CN109005334A
CN109005334A CN201810618985.2A CN201810618985A CN109005334A CN 109005334 A CN109005334 A CN 109005334A CN 201810618985 A CN201810618985 A CN 201810618985A CN 109005334 A CN109005334 A CN 109005334A
Authority
CN
China
Prior art keywords
scale image
image
target
scale
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810618985.2A
Other languages
English (en)
Other versions
CN109005334B (zh
Inventor
方璐
李广涵
袁肖赟
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Tsinghua Berkeley Shenzhen College Preparatory Office
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua Berkeley Shenzhen College Preparatory Office filed Critical Tsinghua Berkeley Shenzhen College Preparatory Office
Priority to CN201810618985.2A priority Critical patent/CN109005334B/zh
Publication of CN109005334A publication Critical patent/CN109005334A/zh
Priority to PCT/CN2019/091223 priority patent/WO2019238113A1/zh
Application granted granted Critical
Publication of CN109005334B publication Critical patent/CN109005334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例公开了一种成像方法、装置、终端和存储介质，其中，成像方法包括：实时获取当前场景的第一尺度图像，根据预先构造的增益函数和代价函数确定第一尺度图像中的目标区域，获取与第一尺度图像中的目标区域相对应的第二尺度图像，并根据目标拼接参数将第二尺度图像拼接到目标图像中，其中，目标图像包括第一尺度图像和/或全景图，全景图由预先获取的与当前场景中的各个位置相对应的第三尺度图像拼接得到。本发明实施例解决了现有的多相机系统无法实现自动获取目标区域的问题，实现了自动获取大视场范围内的高分辨率图像序列的效果。

Description

一种成像方法、装置、终端和存储介质
技术领域
本发明实施例涉及计算视觉技术领域，尤其涉及一种成像方法、装置、终端和存储介质。
背景技术
随着相机产业的发展和现代人工智能相关技术的进一步发展，计算视觉领域无论是在视频采集还是在视频目标识别的性能上和数据规模上都取得了巨大的突破。然而，现有的图像识别技术仍受限于图像的清晰程度与视频数据的质量。
现有的相机的FOV(视场角，Field of View)和相机拍摄内容的清晰度相互制约，即相机的分辨率一定，FOV越大，画面相对越模糊。要实现在大场景下进行大范围异常监控，就必须获得大视场角且高清晰度的拍摄内容。
现有的提高视场角与清晰度的方案主要由两种，一种是从物理硬件入手，即增加图像传感器的尺寸，通过提高分辨率来达到要求。然而，上述方法通常需要增加设备成本，且相机的分辨率有限。另一种则是采用多相机系统，即用一个或多个小视场角相机拍摄到的图像或视频嵌入到大视场角的图像或视频中，即得到大场景高清晰度的内容。然而，上述方法通常无法实现实时且自动的获取所需要的图像或视频。
发明内容
本发明提供一种成像方法、装置、终端和存储介质，以实现自动获取大视场范围内的高分辨率图像序列。
第一方面，本发明实施例提供了一种成像方法，所述方法包括：
实时获取当前场景的第一尺度图像；
根据预先构造的增益函数和代价函数确定所述第一尺度图像中的目标区域；
获取与所述第一尺度图像中的目标区域相对应的第二尺度图像，并根据目标拼接参数将所述第二尺度图像拼接到目标图像中；
其中，所述目标图像包括所述第一尺度图像和/或全景图，所述全景图由预先获取的与所述当前场景中的各个位置相对应的第三尺度图像拼接得到。
第二方面，本发明实施例还提供了一种成像装置，所述装置包括：
第一尺度图像获取模块，用于实时获取当前场景的第一尺度图像；
目标区域确定模块，用于根据预先构造的增益函数和代价函数确定所述第一尺度图像中的目标区域；
图像拼接模块，用于获取与所述第一尺度图像中的目标区域相对应的第二尺度图像，并根据目标拼接参数将所述第二尺度图像拼接到目标图像中；
其中，所述目标图像包括所述第一尺度图像和/或全景图，所述全景图由预先获取的与所述当前场景中的各个位置相对应的第三尺度图像拼接得到。
第三方面，本发明实施例还提供了一种成像终端，所述终端包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的成像方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的成像方法。
本发明实施例通过实时获取当前场景的第一尺度图像，根据预先构造的增益函数和代价函数确定第一尺度图像中的目标区域，获取与第一尺度图像中的目标区域相对应的第二尺度图像，并根据目标拼接参数将第二尺度图像拼接到目标图像中，其中，目标图像包括第一尺度图像和/或全景图，解决了现有的多相机系统无法实现自动获取目标区域的问题，实现了自动获取大视场范围内的高分辨率图像序列的效果。
附图说明
图1是本发明实施例一中的成像方法的流程图；
图2是本发明实施例二中的成像方法的流程图；
图3是本发明实施例三中的成像方法的流程图；
图4是本发明实施例四中的成像方法的流程图；
图5是本发明实施例五中的成像系统的结构示意图；
图6是本发明实施例六中的成像装置的结构示意图；
图7是本发明实施例七中的成像终端的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种成像方法的流程图，本实施例可适用于需要获取大视场范围内的高分辨率图像序列的情况，该方法可以由成像装置来执行，如图1所示，本实施例的方法具体包括：
S110、实时获取当前场景的第一尺度图像。
其中，尺度可以对应相机的视场范围或对应图像的场景范围，如果相机的视场范围较大或者图像的场景范围较大，则其对应的尺度也相对较大，如果相机的视场范围较小或者图像中场景范围较小，则其对应的尺度也相对较小。
本实施例中，可以实时监测目标场景并连续获取目标场景的第一尺度视频流，其中，第一尺度视频流中包含多帧第一尺度图像。以当前时刻为例，实时获取当前场景的第一尺度图像，其中，当前场景为目标场景在当前时刻的场景。
示例性的，可以采用第一尺度相机获取当前场景的第一尺度图像。一般的，由于实时监测的目标场景其范围通常较大，因此，第一尺度相机优选可以为大视场相机，又由于相机的视场角与其拍摄内容的清晰度相互制约，即相机的分辨率一定，其视场角越大，其拍摄内容的清晰度就越低。因此，本实施例中，由第一尺度相机获取到的第一尺度图像的场景范围较大，其清晰度相对较低。
S120、根据预先构造的增益函数和代价函数确定第一尺度图像中的目标区域。
其中，目标区域是反映第一尺度图像中关键信息的区域，其可以是包含用户感兴趣的目标的区域，例如可以是包含感兴趣的行人或物体(汽车)等的区域。增益函数和代价函数可以根据经验预先构造获得，用于共同确定第一尺度图像中的目标区域，其中，增益函数可以反映出相应区域中感兴趣目标所占的权重，而代价函数可以反映出在相应区域中为了获取感兴趣目标所要付出的代价值。本实施例中，可以利用增益函数和代价函数来确定第一尺度图像中的目标区域。
S130、获取与第一尺度图像中的目标区域相对应的第二尺度图像，并根据目标拼接参数将第二尺度图像拼接到目标图像中。
其中，目标图像包括第一尺度图像和/或全景图，全景图由预先获取的与当前场景中的各个位置相对应的第三尺度图像拼接得到。
本实施例中，在确定第一尺度图像中的目标区域后，为了更加清晰的展现该目标区域中感兴趣的目标，突出感兴趣的目标的特征，可以采用第二尺度相机获取与目标区域相对应的第二尺度图像。其中，第二尺度相机的分辨率优选与第一尺度相机的分辨率相同，第二尺度图像的尺寸大小优选与第一尺度图像的尺寸大小相同。由于第二尺度相机获取的是当前场景中目标区域的第二尺度图像，因此，第二尺度相机的视场角相对较小，相应的，其获取到的第二尺度图像的清晰度也相对较高。
在获取到与目标区域相对应的第二尺度图像后，为了获取大视场范围内的高清晰度的图像，可以利用目标拼接参数将第二尺度图像拼接到相应的第一尺度图像中。依据此方法，随着时间的叠加，即可获取大视场范围内的高清晰度的视频流。在此需要说明的是，为了尽量减少拼接过程中由于两幅图像的视角不同而造成的影响，保证拼接结果的准确性，可以将第一尺度相机的位置与第二尺度相机的位置之间的直线距离设置为小于或等于预设距离，以使第一尺度相机与第二尺度相机的视角差值在预设视角差值范围内。
本实施例中，除了可以获取大视场范围内的高清晰度的视频流，还可以基于预先获取到的全景图进行拼接操作。具体的，可以利用第二尺度相机预先获取与目标场景或当前场景的各个位置相对应的第三尺度图像，利用图像拼接方法将各第三尺度图像拼接成全景图，该全景图的图像清晰度与第二尺度图像的清晰度相同。在获取到第二尺度图像后，可以利用目标拼接参数将第二尺度图像拼接到预先获取的全景图的相应位置中，得到大视场范围内的高清晰度的全景图序列。在该全景图序列中，只有与第一尺度图像中的目标区域相对应的区域会随着时间的叠加而发生变化，其他区域的场景信息不会随着时间的叠加而发生变化，即全景图序列中，大部分场景信息为静态不变的。
本实施例提供的成像方法，通过实时获取当前场景的第一尺度图像，根据预先构造的增益函数和代价函数确定第一尺度图像中的目标区域，获取与第一尺度图像中的目标区域相对应的第二尺度图像，并根据目标拼接参数将第二尺度图像拼接到目标图像中，其中，目标图像包括第一尺度图像和/或全景图，解决了现有的多相机系统无法实现自动获取目标区域的问题，实现了自动获取大视场范围内的高分辨率图像序列的效果。
在上述各实施例的基础上，进一步的，目标图像为第一尺度图像，在根据目标拼接参数将第二尺度图像拼接到目标图像中之前，还包括：
将第二尺度图像进行压缩，其中，压缩后的第二尺度图像的尺寸与目标区域的尺寸相同；
相应地，根据目标拼接参数将第二尺度图像拼接到目标图像中，包括：
根据目标拼接参数将经过压缩后的第二尺度图像拼接到第一尺度图像中。
本实施例中，当目标图像是第一尺度图像时，由于第二尺度图像的尺寸大小与第一尺度图像的尺寸大小相同，但是，第二尺度图像中所包含的场景范围小于第一尺度图像中所包含的场景范围，此时，如果不对第二尺度图像作进一步的处理，其无法拼接到第一尺度图像中。因此，在将第二尺度图像拼接到第一尺度图像中之前，可以将第二尺度图像进行压缩，使得压缩后的第二尺度图像的尺寸大小与第一尺度图像中的目标区域的尺寸大小相同，基于此，将压缩后的第二尺度图像拼接到第一尺度图像中，即可得到大视场范围的高清晰度的第一尺度图像。
实施例二
图2为本发明实施例二提供的一种成像方法的流程图。本实施例在上述各实施例的基础上，可选所述根据预先构造的增益函数和代价函数确定所述第一尺度图像中的目标区域，包括：将所述第一尺度图像划分为至少两个子区域；基于增益函数与代价函数分别计算所述第一尺度图像中各子区域的增益值与代价值；分别计算各子区域的所述增益值与所述代价值之间的差值；选取各所述差值中最大的差值作为目标差值，并将与所述目标差值对应的子区域确定为所述第一尺度图像中的目标区域。如图2所示，本实施例的方法具体包括：
S210、实时获取当前场景的第一尺度图像。
S220、将第一尺度图像划分为至少两个子区域。
在获取到第一尺度图像后，为了确定第一尺度图像中的目标区域，优选的，可以将第一尺度图像划分为至少两个子区域，按照预设方法针对每个子区域进行目标区域的确定。本实施例中，在划分子区域时，可以沿第一尺度图像的水平方向和竖直方向每间隔预设数目的像素点进行划分，即各个子区域之间可以存在重叠的部分。
在此需要说明的是，由于需要利用第二尺度相机来获取第一尺度图像中的目标区域所对应的第二尺度图像，因此，如果第二尺度相机所能拍摄到的场景范围固定，则可以根据第二尺度相机所能拍摄到的场景范围在第一尺度相机拍摄到的第一尺度图像中所占据的尺寸大小，来确定将第一尺度图像划分为子区域的个数。
S230、基于增益函数与代价函数分别计算第一尺度图像中各子区域的增益值与代价值。
具体的，可以利用预设的增益函数计算各子区域的增益值，利用预设的代价函数计算各子区域的代价值。
S240、分别计算各子区域的增益值与代价值之间的差值。
由于增益函数可以反映出相应子区域中感兴趣目标所占的权重，而代价函数可以反映出在相应子区域中为了获取感兴趣目标所要付出的代价，因此，可以将增益函数对应的增益值与代价函数对应的代价值之间的差值作为选择目标区域的标准。具体的，可以在获取到各子区域的增益值与代价值之后，分别计算各子区域对应的增益值与代价值之间的差值。以该差值作为标准，在各子区域中选择出目标区域。
S250、选取各差值中最大的差值作为目标差值，并将与目标差值对应的子区域确定为第一尺度图像中的目标区域。
优选的，可以在各子区域对应的差值中，选取出最大的差值作为选择目标区域的目标差值，即将该目标差值对应的子区域作为第一尺度图像中的目标区域。
上述确定目标区域的过程，由于增益函数和代价函数可以预先设定，第一尺度相机和第二尺度相机也可以设置为自动获取图像，因此，无需人为介入，即可以实现目标区域的自动获取。
S260、获取与第一尺度图像中的目标区域相对应的第二尺度图像，并根据目标拼接参数将第二尺度图像拼接到目标图像中。
本实施例提供的成像方法，在上述各实施例的基础上，通过实时获取当前场景的第一尺度图像，将获取到的第一尺度图像划分为至少两个子区域，基于增益函数与代价函数分别计算第一尺度图像中各子区域的增益值与代价值，并分别计算各子区域的增益值与代价值之间的差值，选取各差值中最大的差值作为目标差值，并将与目标差值对应的子区域确定为第一尺度图像中的目标区域，最终获取与第一尺度图像中的目标区域相对应的第二尺度图像，并根据目标拼接参数将第二尺度图像拼接到目标图像中，在解决了现有的多相机系统无法实现自动获取目标区域的问题，实现了自动获取大视场范围内的高分辨率图像序列的效果的同时，还可以无需人为介入，即可以实现目标区域的自动获取。
在上述各实施例的基础上，进一步的，根据如下的代价函数的表达式计算各区域的代价值：
Ecost＝α1s+α2t
其中，Ecost为当前区域的代价值，s为当前第一尺度图像中的当前区域左上角的像素点与上一帧第一尺度图像确定的目标区域左上角的像素点之间的像素点差值；t为当前区域各像素点的遍历次数的总和，其中，每确定出一帧第一尺度图像的目标区域，相应目标区域内的每个像素点的遍历次数加1，α1、α2为权重系数。
本实施例中，每获取一帧第一尺度图像，相应的可以利用增益函数和代价函数确定其中的目标区域。每确定出一帧第一尺度图像中的目标区域，第二尺度相机就会移动到与该目标区域相对应的位置，获取与该目标区域相对应的第二尺度图像，相应的，该目标区域中的各个像素点记为被第二尺度相机遍历一次。
示例性的，每帧第一尺度图像都被划分为9个子区域，每个子区域都有相互重叠的像素点。以其中相邻的区域1和区域2为例，其中区域1与区域2中存在重叠的像素点。
假设第一帧第一尺度图像的目标区域为区域1，则在获取到与区域1对应的第二尺度图像后，该区域1中各像素点的遍历次数加1，由于是第一帧第一尺度图像，因此区域1中各像素点的遍历次数都是1。
假设第二帧第一尺度图像的目标区域为区域2，则在获取到与区域2对应的第二尺度图像后，区域2中的各像素点的遍历次数加1，由于区域2与区域1存在重叠的像素点，这些重叠的像素点在第一帧第一尺度图像中时，其遍历次数已经是1，则在第二帧第一尺度图像中时，其遍历次数变为2，此时，区域2中其他不存在重叠的像素点的遍历次数则为1。
假设第三帧第一尺度图像为当前第一尺度图像，且选定的当前区域为区域2，则对于当前区域而言，区域2与区域1不存在重叠的像素点的遍历次数为1，存在重叠的像素点的遍历次数为2。若区域2与区域1不存在重叠的像素点的个数为100，存在重叠的像素点的个数为100，则t的值为100×1+100×2＝300，即当前区域各像素点的遍历次数的总和。
根据如下的增益函数的表达式计算各区域的增益值：
Egain＝β1f+β2w
其中，Egain为当前区域的增益值，f为当前区域的动态值，w为当前区域内目标对象的个数。β1、β2为权重系数。
本实施例中，α1、α2、β1、β2优选可以由经验获得。
实施例三
图3为本发明实施例三提供的一种成像方法的流程图。本实施例在上述各实施例的基础上，可选在所述根据目标拼接参数将所述第二尺度图像拼接到目标图像中之前，还包括：基于获取第二尺度图像的图像获取设备获取与所述当前场景中的各个位置相对应的第三尺度图像，所述第三尺度图像的尺寸与所述第二尺度图像的尺寸相同；根据各所述第三尺度图像的特征点，确定各所述第三尺度图像之间相互匹配的第一特征对；根据各所述第一特征对，确定各第三尺度图像的局部参数，并保存各所述局部参数；利用各所述局部参数，将各所述第三尺度图像拼接成所述全景图；其中，各所述局部参数包括各第三尺度图像对应的内参矩阵、旋转矩阵、平移矩阵以及在获取各所述第三尺度图像时，所述图像获取设备相对于初始位置在上下和左右两个方向上的移动距离。进一步的，可选在所述获取与所述第一尺度图像中的目标区域相对应的第二尺度图像之后，还包括：在所述第一尺度图像中，确定所述目标区域左上角的像素点与上一次确定的目标区域左上角的像素点之间的水平像素点差值和垂直像素点差值；依据像素点差值与移动距离之间的预设关系，分别利用所述水平像素点差值确定所述图像获取设备的左右移动距离，利用所述垂直像素点差值确定所述图像获取设备的上下移动距离；根据所述左右移动距离、所述上下移动距离以及各所述局部参数，利用插值运算获取与所述第二尺度图像相对应的所述目标拼接参数。如图3所示，本实施例的方法具体包括：
S310、实时获取当前场景的第一尺度图像，根据预先构造的增益函数和代价函数确定第一尺度图像中的目标区域，获取与第一尺度图像中的目标区域相对应的第二尺度图像。
S320、基于获取第二尺度图像的图像获取设备获取与当前场景中的各个位置相对应的第三尺度图像。
本实施例中，优选可以利用第二尺度相机从左至右，从上至下顺序扫描当前场景，获取与当前场景中的各个位置相对应的第三尺度图像。其中，各第三尺度图像之间存在一定的重叠区域。各第三尺度图像可以用于获取全景图以及确定第二尺度图像的拼接参数。
在此需要说明的是，S320-S350为获取全景图及确定相应的拼接参数的过程，该过程在本实施例中只需执行一次即可，并且该过程与其余步骤的先后顺序并没有过多的限定，其只要在S380之前执行完毕即可。
S330、根据各第三尺度图像的特征点，确定各第三尺度图像之间相互匹配的第一特征对。
在利用第二尺度相机获取到各第三尺度图像后，优选可以利用尺度不变特征变换算法(Scale-invariant feature transform，SIFT)提取出各第三尺度图像的特征点，并对各第三尺度图像进行相互之间的特征匹配，确定各第三尺度图像之间相互匹配的特征点对。
S340、根据各第一特征对，确定各第三尺度图像的局部参数，并保存各局部参数。
其中，各局部参数包括各第三尺度图像对应的内参矩阵、旋转矩阵、平移矩阵以及在获取各第三尺度图像时，图像获取设备相对于初始位置在上下和左右两个方向上的移动距离。本实施例中，在利用第二尺度相机从左至右，从上至下顺序扫描当前场景，获取各第三尺度图像的过程中，第二尺度相机是不断移动的，因此，可以将第二尺度相机相对于初始位置在上下和左右两个方向上的移动距离作为局部参数中的一个，以使最终获取的目标拼接参数更加精确。其中，初始位置是预先设定的，例如可以是在获取当前场景中左上角的区域时，第二尺度相机所在的位置。
在确定各第三尺度图像之间相互匹配的特征点对之后，可以根据特征匹配得到的初始单应性矩阵预估一组初始局部参数。在得到初始局部参数后，需要对其进行优化，具体的，可以根据各特征点的置信度确定各第三尺度图像之间的连接关系，根据各第三尺度图像之间的连接关系，针对每个第三尺度图像，可以利用捆绑调整算法(Bundle Adjustment，BA)，对每个第三尺度图像和与该第三尺度图像存在连接的其他图像的初始局部参数进行联合优化，得到最终的局部参数。确定各个第三尺度图像的局部参数后，将其进行保存，以便后续用于确定目标拼接参数。
S350、利用各局部参数，将各第三尺度图像拼接成全景图。
根据各局部参数可以确定各第三尺度图像之间的相对位置，利用各第三尺度图像之间的相对位置，即可完成全景图的拼接。
S360、在第一尺度图像中，确定目标区域左上角的像素点与上一次确定的目标区域左上角的像素点之间的水平像素点差值和垂直像素点差值。
在确定当前第一尺度图像中的目标区域后，可以将清晰度高且与目标区域相对应的第二尺度图像拼接到第一尺度图像中，以替换第一尺度图像中相对模糊的目标区域，进而获得清晰度高且视场范围较大的图像。在将第二尺度图像拼接到第一尺度图像中之前，需要获取目标拼接参数，以确定拼接的具体位置。优选的，可以利用预先保存的局部参数以及第二尺度相机在拍摄第二尺度图像时相对原始位置的移动距离来确定目标参数。
具体的，可以通过计算当前第一尺度图像的目标区域与上一帧第一尺度图像的目标区域之间的像素点差值，来确定第二尺度相机在拍摄第二尺度图像时相对原始位置的移动距离，优选的，可以通过计算当前第一尺度图像的目标区域左上角的像素点与上一帧第一尺度图像的目标区域左上角的像素点之间的水平像素点差值和垂直像素点差值来确定第二尺度相机在拍摄第二尺度图像时相对原始位置的左右移动距离和上下移动距离。
S370、依据像素点差值与移动距离之间的预设关系，分别利用水平像素点差值确定图像获取设备的左右移动距离，利用垂直像素点差值确定获取第二尺度图像的图像获取设备的上下移动距离。
在确定第二尺度相机在拍摄第二尺度图像时相对原始位置的左右移动距离和上下移动距离之后，可以根据像素点差值与移动距离之间的预设关系，确定第二尺度相机相对原始位置的左右移动距离和上下移动距离。其中，像素点差值与移动距离之间的预设关系可以为如下表达式：
Δp＝k×x
其中，Δp为左右移动距离或者上下移动距离，k为平移比例系数，x为水平像素点差值或者垂直像素点差值。
S380、根据左右移动距离、上下移动距离以及各局部参数，利用插值运算获取与第二尺度图像相对应的目标拼接参数。
由于预先保存的各局部参数中包括各第三尺度图像对应的内参矩阵、旋转矩阵、平移矩阵以及在获取各第三尺度图像时，图像获取设备相对于初始位置在上下和左右两个方向上的移动距离，因此，图像获取设备相对于初始位置在上下和左右两个方向上的移动距离与各第三尺度图像对应的内参矩阵、旋转矩阵、平移矩阵之间存在确定的对应关系。又由于第二尺度图像与第三尺度图像都是利用第二尺度相机获取到的，因此，优选可以利用上述获取到的左右移动距离、上下移动距离以及预先保存的各局部参数，通过插值的方法来获取与第二尺度图像相对应的目标拼接参数。
S390、根据目标拼接参数将第二尺度图像拼接到目标图像中。
本实施例提供的成像方法，在上述各实施例的基础上，利用第三尺度图像构造全景图以及确定各局部参数，在确定各局部参数后，利用各局部参数以及第二尺度相机在拍摄第二尺度图像时相对原始位置的左右移动距离和上下移动距离，通过插值运算获取与第二尺度相对应的目标拼接参数，并根据目标拼接参数将第二尺度图像拼接到目标图像中，在解决了现有的多相机系统无法实现自动获取目标区域的问题，实现了自动获取大视场范围内的高分辨率图像序列的效果的同时，通过利用预先保存的各局部参数，大大减小了拼接过程中的计算量，实现了能够实时地获取大视场范围内的高分辨率图像序列。
在上述各实施例的基础上，进一步的，在根据左右移动距离、上下移动距离以及各局部参数，利用插值运算获取与第二尺度图像相对应的目标拼接参数之后，还包括：
在各第三尺度图像中，获取与第二尺度图像存在重叠区域的至少一幅第三尺度图像，并将至少一幅第三尺度图像生成第三尺度图像集；
利用第二尺度图像与第三尺度图像集中的各第三尺度图像进行特征匹配，确定第二尺度图像与第三尺度图像集中的各第三尺度图像之间相互匹配的第二特征对；
利用各第二特征对和第三尺度图像集中的各第三尺度图像所对应的各局部参数，对目标拼接参数进行优化，并根据优化结果更新目标拼接参数。
为了使拼接效果达到最佳，使目标拼接参数更加精确，在上述通过插值运算获得目标参数之后，优选的，还可以对目标拼接参数进行优化。具体的，可以在各第三尺度图像中，获取与第二尺度图像存在重叠区域的至少一幅第三尺度图像，并组成第三尺度图像集，针对每个第三尺度图像集中的第三尺度图像：将第二尺度图像与第三尺度图像进行特征匹配，确定第二尺度图像与第三尺度图像之间相互匹配的特征对，在获取到各第三尺度图像的各特征对之后，利用上述特征对以及第三尺度图像集中的各第三尺度图像所对应的各局部参数，对目标拼接参数进行优化，并将优化后的目标拼接参数替代原始目标拼接参数。
实施例四
图4为本发明实施例四提供的一种成像方法的流程图。本实施例在上述各实施例的基础上，可选在根据目标拼接参数将所述第二尺度图像拼接到目标图像中之前，还包括：获取一帧当前场景的第四尺度图像，所述第四尺度图像的视角与所述第一尺度图像的视角相同；将所述第四尺度图像的视角转换至所述全景图的视角，并获取视角转换参数；利用所述视角转换参数将所述第一尺度图像的视角转换至所述全景图的视角。进一步的，可选所述将所述第四尺度图像的视角转换至所述全景图的视角，包括：将所述第四尺度图像与所述全景图进行场景匹配，获取与所述第四尺度图像的场景相对应的部分全景图；对所述部分全景图进行下采样，使得下采样后的部分全景图的分辨率与所述第四尺度图像的分辨率相同；利用下采样后的部分全景图与所述第四尺度图像中的特征点对获取映射矩阵；利用所述映射矩阵将所述第四尺度图像的视角转换至所述全景图的视角，并获取视角转换参数。如图4所示，本实施例的方法具体包括：
S410、实时获取当前场景的第一尺度图像，根据预先构造的增益函数和代价函数确定第一尺度图像中的目标区域，获取与第一尺度图像中的目标区域相对应的第二尺度图像。
S420、获取一帧当前场景的第四尺度图像，第四尺度图像的视角与第一尺度图像的视角相同。
在图像拼接的过程中，如果两个图像获取装置之间的距离大于预设距离(视差可接受的范围)，则在将利用两个图像获取装置获取到的两帧图像进行拼接时，会由于存在视差，导致拼接效果不佳的问题。因此，在进行图像拼接之前，优选可以消除两帧图像之间的视差。
具体的，可以先获取一帧当前场景的第四尺度图像，该第四尺度图像与第一尺度图像的视角相同，优选的，可以利用第一尺度相机获取第四尺度图像。
在此需要说明的是，如果两个图像获取装置的相对位置确定，则其视差就是确定的。因此，只需确定一次视角转换参数，即可消除二者之间的视差。本实施例中，S420-S460为获取视角转换参数的过程，因此，该过程只需执行一次即可。且该过程与其余步骤的先后顺序并没有过多的限定，其只要在S480之前执行完毕即可。
S430、将第四尺度图像与全景图进行场景匹配，获取与第四尺度图像的场景相对应的部分全景图。
一般的，由第三尺度图像获得的全景图与第四尺度图像近似相同，但是全景图的场景范围会大于第四尺度图像的场景范围，此时，优选可以将第四尺度图像与全景图进行场景匹配，确定全景图中与第四尺度图像的场景相对应的部分，作为部分全景图。
S440、对部分全景图进行下采样，使得下采样后的部分全景图的分辨率与第四尺度图像的分辨率相同。
由于全景图由多幅清晰度高的第三尺度图像构成，且每个第三尺度图像都与第四尺度图像的尺寸和分辨率相同，因此，全景图的尺寸要比第四尺度图像的尺寸大的多，部分全景图的尺寸也要比第四尺度图像的尺寸大的多。为了使部分全景图能够与第四尺度图像进行视角匹配，优选可以对部分全景图进行下采样，使得下采样后的部分全景图的分辨率与第四尺度图像的分辨率相同。
S450、利用下采样后的部分全景图与第四尺度图像中的特征点对获取映射矩阵。
在获取到下采样后的部分全景图后，优选的，可以利用去均值归一化互相关算法(zero-mean normalized cross correlation，ZNCC)提取出下采样后的部分全景图和第四尺度图像中的特征点，并对下采样后的部分全景图和第四尺度图像进行特征匹配，确定下采样后的部分全景图和第四尺度图像之间相互匹配的特征点对。然后利用这些特征点对预估一个单应性矩阵H，再利用该单应性矩阵H矩阵，利用ZNCC方法优化上述特征点对，并根据优化后的特征点对获取映射矩阵，以将第四尺度图像映射到下采样后的部分全景图视角。
S460、利用映射矩阵将第四尺度图像的视角转换至全景图的视角，并获取视角转换参数。
本实施例中，在利用映射矩阵将第四尺度图像映射到全景图视角的过程中，优选可以获取视角转换参数，以便后续将第一尺度图像转换至全景图的视角。
S470、利用视角转换参数将第一尺度图像的视角转换至全景图的视角。
本实施例中，在将第二尺度图像拼接进第一尺度图像中之前，针对每一帧第一尺度图像，优选的，可以利用视角转换参数将第一尺度图像的视角转换至全景图的视角。
S480、根据目标拼接参数将第二尺度图像拼接到第一尺度图像中。
优选的，根据目标参数将第二尺度图像拼接到具有全景图视角的第一尺度图像中。
本实施例提供的成像方法，在上述各实实施例的基础上，通过获取一帧当前场景的第四尺度图像，并将第四尺度图像与全景图进行场景匹配，获取与第四尺度图像的场景相对应的部分全景图，对部分全景图进行下采样，利用下采样后的部分全景图与第四尺度图像中的特征点对获取映射矩阵，利用映射矩阵将第四尺度图像的视角转换至全景图的视角，并获取视角转换参数，利用视角转换参数将第一尺度图像的视角转换至全景图的视角，在解决了现有的多相机系统无法实现自动获取目标区域的问题，实现了实时自动获取大视场范围内的高分辨率图像序列的效果的同时，能够克服图像获取设备之间的视差，实现在相同视角下的图像拼接。
实施例五
本实施例为上述各实施例的优选实施例。图5是本实施例的成像系统的结构示意图，其中包括第一尺度相机501，第二尺度相机502以及带动第二尺度相机上下左右移动的云台503，且第一尺度相机501与第二尺度相机502之间存在不可忽略的视差。其中，第一尺度相机的焦距为16mm，第二尺度相机的焦距为135mm，两个相机的分辨率均是2064×1544。云台503使用直流电机控制，采用绝对式脉冲定位，控制端通过串口给云台503发送绝对脉冲指令使云台搭载着第二尺度相机移动。
示例性的，在实时监测全局视频流信息之前，可以先获取全景图、各局部参数以及视角转换参数。具体的，利用第二尺度相机502从左至右、从上至下依次扫描当前场景，得到一组第三尺度图像。利用该组第三尺度图像拼接得到的全景图的场景范围大于等于第一尺度相机501获取到的图像的场景范围。
利用SIFT算法确定各第三尺度图像之间相互匹配的特征点对，并根据各特征点对，确定各第三尺度图像的内参矩阵、旋转矩阵和平移矩阵局部。将各第三尺度图像对应的两方向上的脉冲大小以及各内参矩阵、旋转矩阵和平移矩阵作为各第三尺度图像的局部参数储存下来，并利用各局部参数将各第三尺度图像拼接成全景图。
利用第一尺度相机501拍摄一帧第四尺度图像，该第四尺度图像与上述全景图近似相同。从全景图中匹配出与第四尺度图像的场景相同的区域，并将该区域下采样至第四尺度图像的分辨率大小。利用ZNCC方法确定场景中可信的特征点对，并获取映射矩阵，利用映射矩阵将第四尺度图像的视角转换到全景图的视角，并获取视角转换参数。
之后，利用第一尺度相机501实时监测全局视频流信息。利用第一尺度相机501获取当前第一尺度图像，针对当前第一尺度图像，利用代价函数和增益函数自动确定该当前第一尺度图像的目标区域。在确定目标区域后，根据该目标区域左上角的像素点与由上一帧第一尺度图像确定的目标区域左上角的像素点之间两个方向上的像素点差值，以及平移比例系数确定云台503在两个方向上的脉冲值，云台503根据该脉冲值带动第二尺度相机获取与目标区域相对应的第二尺度图像。
同时，根据脉冲值以及预先存储的各局部参数，利用插值运算的方法实时获取第二尺度图像的目标拼接参数，利用该目标拼接参数即可将第二尺度图像拼接进利用视角转换参数转换视角后的第一尺度图像中。
为了使拼接结果更加精确，进一步的，可以利用上述第二尺度图像和第三尺度图像中与该第二尺度图像存在重叠区域的第三尺度图像集，对插值获得的目标拼接参数进行优化，以得到优化后更新的目标拼接参数。
本实施例的一个应用实例可以是：
在当前第一尺度图像中检测出所有带有人脸的行人(目标行人)所在的区域，并将上述区域作为目标区域，获取与目标区域相对应的第二尺度图像以及目标拼接参数，并利用目标拼接参数将第二尺度图像拼接到第一尺度图像中行人所在的位置。实时获取连续的第一尺度图像，同时使用核相关滤波算法(Kernel Correlation Filter，KCF)对目标行人进行跟踪，以实时掌握目标行人的动态。
在跟踪的过程中，由于第一尺度图像视频流具有模糊特性，其可能导致跟踪性能变差。基于此，可以将从当前第一尺度图像中提取出的人脸x与之前检测到的人脸进行比对，若人脸x与上一帧第一尺度图像中的人脸y比对成功，则认定当前人脸x对应的第一尺度图像中的行人a和上一次确定的人脸y对应的行人b是同一个人，此时，可以利用行人a的位置更新正在跟踪的行人b的位置。
实施例六
图6是本发明实施例六中的一种成像装置的结构示意图。如图6所示，本实施例的成像装置包括：
第一尺度图像获取模块610，用于实时获取当前场景的第一尺度图像；
目标区域确定模块620，用于根据预先构造的增益函数和代价函数确定第一尺度图像中的目标区域；
图像拼接模块630，用于获取与第一尺度图像中的目标区域相对应的第二尺度图像，并根据目标拼接参数将第二尺度图像拼接到目标图像中；
其中，目标图像包括第一尺度图像和/或全景图，全景图由预先获取的与当前场景中的各个位置相对应的第三尺度图像拼接得到。
本实施例提供的成像装置，通过第一尺度图像获取模块实时获取当前场景的第一尺度图像，利用目标区域确定模块根据预先构造的增益函数和代价函数确定第一尺度图像中的目标区域，最后利用图像拼接模块获取与第一尺度图像中的目标区域相对应的第二尺度图像，并根据目标拼接参数将第二尺度图像拼接到目标图像中，其中，目标图像包括第一尺度图像和/或全景图，解决了现有的多相机系统无法实现自动获取目标区域的问题，实现了自动获取大视场范围内的高分辨率图像序列的效果。
在上述各实施例的基础上，进一步的，目标图像为第一尺度图像，图像拼接模块630可以包括：
第二尺度图像压缩单元，用于在根据目标拼接参数将第二尺度图像拼接到目标图像中之前，将第二尺度图像进行压缩，其中，压缩后的第二尺度图像的尺寸与目标区域的尺寸相同；
相应的，图像拼接模块630具体可以用于根据目标拼接参数将经过压缩后的第二尺度图像拼接到第一尺度图像中。
进一步的，目标区域确定模块620可以包括：
子区域划分单元，用于将第一尺度图像划分为至少两个子区域；
增益代价值计算单元，用于基于增益函数与代价函数分别计算第一尺度图像中各子区域的增益值与代价值；
差值计算单元，用于分别计算各子区域的增益值与代价值之间的差值；
目标区域确定单元，用于选取各差值中最大的差值作为目标差值，并将与目标差值对应的子区域确定为第一尺度图像中的目标区域。
进一步的，装置还可以包括：
第三尺度图像获取模块，用于在根据目标拼接参数将第二尺度图像拼接到目标图像中之前，基于获取第二尺度图像的图像获取设备获取与当前场景中的各个位置相对应的第三尺度图像；
第一特征对匹配模块，用于根据各第三尺度图像的特征点，确定各第三尺度图像之间相互匹配的第一特征对；
局部参数确定保存模块，用于根据各第一特征对，确定各第三尺度图像的局部参数，并保存各局部参数；
全景图拼接模块，用于利用各局部参数，将各第三尺度图像拼接成全景图；
其中，各局部参数包括各第三尺度图像对应的内参矩阵、旋转矩阵、平移矩阵以及在获取各第三尺度图像时，图像获取设备相对于初始位置在上下和左右两个方向上的移动距离。
进一步的，装置还可以包括：
像素点差值确定模块，用于在获取与第一尺度图像中的目标区域相对应的第二尺度图像之后，在第一尺度图像中，确定目标区域左上角的像素点与上一次确定的目标区域左上角的像素点之间的水平像素点差值和垂直像素点差值；
移动距离确定模块，用于依据像素点差值与移动距离之间的预设关系，分别利用水平像素点差值确定图像获取设备的左右移动距离，利用垂直像素点差值确定图像获取设备的上下移动距离；
目标拼接参数获取模块，用于根据左右移动距离、上下移动距离以及各局部参数，利用插值运算获取与第二尺度图像相对应的目标拼接参数。
进一步的，装置还可以包括：
第三尺度图像集生成模块，用于在根据左右移动距离、上下移动距离以及各局部参数，利用插值运算获取与第二尺度图像相对应的目标拼接参数之后，在各第三尺度图像中，获取与第二尺度图像存在重叠区域的至少一幅第三尺度图像，并将至少一幅第三尺度图像生成第三尺度图像集；
第二特征对匹配模块，用于利用第二尺度图像与第三尺度图像集中的各第三尺度图像进行特征匹配，确定第二尺度图像与第三尺度图像集中的各第三尺度图像之间相互匹配的第二特征对；
目标拼接参数更新模块，用于利用各第二特征对和第三尺度图像集中的各第三尺度图像所对应的各局部参数，对目标拼接参数进行优化，并根据优化结果更新目标拼接参数。
进一步的，装置还可以包括：
第四尺度图像获取模块，用于在根据目标拼接参数将第二尺度图像拼接到目标图像中之前，获取一帧当前场景的第四尺度图像，第四尺度图像的视角与第一尺度图像的视角相同；
视角转换参数获取模块，用于将第四尺度图像的视角转换至全景图的视角，并获取视角转换参数；
视角转换模块，用于利用视角转换参数将第一尺度图像的视角转换至全景图的视角。
进一步的，视角转换参数获取模块可以包括：
部分全景图获取单元，用于将第四尺度图像与全景图进行场景匹配，获取与第四尺度图像的场景相对应的部分全景图；
下采样单元，用于对部分全景图进行下采样，使得下采样后的部分全景图的分辨率与第四尺度图像的分辨率相同；
映射矩阵获取单元，用于利用下采样后的部分全景图与第四尺度图像中的特征点对获取映射矩阵；
视角转换参数确定单元，用于利用映射矩阵将第四尺度图像的视角转换至全景图的视角，并获取视角转换参数。
本发明实施例所提供的成像装置可执行本发明任意实施例所提供的成像方法，具备执行方法相应的功能模块和有益效果。
实施例七
图7为本发明实施例七提供的成像终端的结构示意图。图7示出了适于用来实现本发明实施方式的示例性成像终端712的框图。图7显示的成像终端712仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，成像终端712以通用计算设备的形式表现。成像终端712的组件可以包括但不限于：一个或者多个处理器716，存储器728，连接不同系统组件(包括存储器728和处理器716)的总线718。
总线718表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
成像终端712典型地包括多种计算机系统可读介质。这些介质可以是任何能够被成像终端712访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器728可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)730和/或高速缓存存储器732。成像终端712可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储装置734可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线718相连。存储器728可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块742的程序/实用工具740，可以存储在例如存储器728中，这样的程序模块742包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块742通常执行本发明所描述的实施例中的功能和/或方法。
成像终端712也可以与一个或多个外部设备714(例如键盘、指向设备、显示器724等，其中，显示器724可根据实际需要决定是否配置)通信，还可与一个或者多个使得用户能与该成像终端712交互的设备通信，和/或与使得该成像终端712能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口722进行。并且，成像终端712还可以通过网络适配器720与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器720通过总线718与成像终端712的其它模块通信。应当明白，尽管图7中未示出，可以结合成像终端712使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储装置等。
处理器716通过运行存储在存储器728中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例所提供的成像方法。
实施例八
本发明实施例八还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的成像方法，该方法包括：
实时获取当前场景的第一尺度图像；
根据预先构造的增益函数和代价函数确定第一尺度图像中的目标区域；
获取与第一尺度图像中的目标区域相对应的第二尺度图像，并根据目标拼接参数将第二尺度图像拼接到目标图像中；
其中，目标图像包括第一尺度图像和/或全景图，全景图由预先获取的与当前场景中的各个位置相对应的第三尺度图像拼接得到。
当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的成像方法中的相关操作。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种成像方法，其特征在于，包括：
实时获取当前场景的第一尺度图像；
根据预先构造的增益函数和代价函数确定所述第一尺度图像中的目标区域；
获取与所述第一尺度图像中的目标区域相对应的第二尺度图像，并根据目标拼接参数将所述第二尺度图像拼接到目标图像中；
其中，所述目标图像包括所述第一尺度图像和/或全景图，所述全景图由预先获取的与所述当前场景中的各个位置相对应的第三尺度图像拼接得到。
2.根据权利要求1所述的方法，其特征在于，所述目标图像为所述第一尺度图像，在所述根据目标拼接参数将所述第二尺度图像拼接到目标图像中之前，还包括：
将所述第二尺度图像进行压缩，其中，压缩后的第二尺度图像的尺寸与所述目标区域的尺寸相同；
相应地，所述根据目标拼接参数将所述第二尺度图像拼接到目标图像中，包括：
根据目标拼接参数将经过压缩后的第二尺度图像拼接到所述第一尺度图像中。
3.根据权利要求1所述的方法，其特征在于，所述根据预先构造的增益函数和代价函数确定所述第一尺度图像中的目标区域，包括：
将所述第一尺度图像划分为至少两个子区域；
基于增益函数与代价函数分别计算所述第一尺度图像中各子区域的增益值与代价值；
分别计算各子区域的所述增益值与所述代价值之间的差值；
选取各所述差值中最大的差值作为目标差值，并将与所述目标差值对应的子区域确定为所述第一尺度图像中的目标区域。
4.根据权利要求3所述的方法，其特征在于，还包括：
根据如下所述的代价函数的表达式计算各区域的代价值：
Ecost＝α1s+α2t
其中，Ecost为当前区域的代价值，s为所述当前第一尺度图像中的当前区域左上角的像素点与上一帧第一尺度图像确定的目标区域左上角的像素点之间的像素点差值，t为所述当前区域各像素点的遍历次数的总和，其中，每确定出一帧所述第一尺度图像的目标区域，相应目标区域内的每个像素点的遍历次数加1，α1、α2为权重系数；
根据如下所述的增益函数的表达式计算各区域的增益值：
Egain＝β1f+β2w
其中，Egain为当前区域的增益值，f为当前区域的动态值，w为当前区域内目标对象的个数，β1、β2为权重系数。
5.根据权利要求1所述的方法，其特征在于，在所述根据目标拼接参数将所述第二尺度图像拼接到目标图像中之前，还包括：
基于获取所述第二尺度图像的图像获取设备获取与所述当前场景中的各个位置相对应的第三尺度图像；
根据各所述第三尺度图像的特征点，确定各所述第三尺度图像之间相互匹配的第一特征对；
根据各所述第一特征对，确定各第三尺度图像的局部参数，并保存各所述局部参数；
利用各所述局部参数，将各所述第三尺度图像拼接成所述全景图；
其中，各所述局部参数包括各第三尺度图像对应的内参矩阵、旋转矩阵、平移矩阵以及在获取各所述第三尺度图像时，所述图像获取设备相对于初始位置在上下和左右两个方向上的移动距离。
6.根据权利要求5所述的方法，其特征在于，在所述获取与所述第一尺度图像中的目标区域相对应的第二尺度图像之后，还包括：
在所述第一尺度图像中，确定所述目标区域左上角的像素点与上一次确定的目标区域左上角的像素点之间的水平像素点差值和垂直像素点差值；
依据像素点差值与移动距离之间的预设关系，分别利用所述水平像素点差值确定所述图像获取设备的左右移动距离，利用所述垂直像素点差值确定所述图像获取设备的上下移动距离；
根据所述左右移动距离、所述上下移动距离以及各所述局部参数，利用插值运算获取与所述第二尺度图像相对应的所述目标拼接参数。
7.根据权利要求6所述的方法，其特征在于，在所述根据所述左右移动距离、所述上下移动距离以及各所述局部参数，利用插值运算获取与所述第二尺度图像相对应的所述目标拼接参数之后，还包括：
在各所述第三尺度图像中，获取与所述第二尺度图像存在重叠区域的至少一幅第三尺度图像，并将至少一幅第三尺度图像生成第三尺度图像集；
利用所述第二尺度图像与所述第三尺度图像集中的各第三尺度图像进行特征匹配，确定所述第二尺度图像与所述第三尺度图像集中的各第三尺度图像之间相互匹配的第二特征对；
利用各所述第二特征对和所述第三尺度图像集中的各第三尺度图像所对应的各局部参数，对所述目标拼接参数进行优化，并根据优化结果更新所述目标拼接参数。
8.根据权利要求2所述的方法，其特征在于，在根据目标拼接参数将所述第二尺度图像拼接到目标图像中之前，还包括：
获取一帧当前场景的第四尺度图像，所述第四尺度图像的视角与所述第一尺度图像的视角相同；
将所述第四尺度图像的视角转换至所述全景图的视角，并获取视角转换参数；
利用所述视角转换参数将所述第一尺度图像的视角转换至所述全景图的视角。
9.根据权利要求8所述的方法，其特征在于，所述将所述第四尺度图像的视角转换至所述全景图的视角，包括：
将所述第四尺度图像与所述全景图进行场景匹配，获取与所述第四尺度图像的场景相对应的部分全景图；
对所述部分全景图进行下采样，使得下采样后的部分全景图的分辨率与所述第四尺度图像的分辨率相同；
利用下采样后的部分全景图与所述第四尺度图像中的特征点对获取映射矩阵；
利用所述映射矩阵将所述第四尺度图像的视角转换至所述全景图的视角，并获取视角转换参数。
10.一种成像装置，其特征在于，包括：
第一尺度图像获取模块，用于实时获取当前场景的第一尺度图像；
目标区域确定模块，用于根据预先构造的增益函数和代价函数确定所述第一尺度图像中的目标区域；
图像拼接模块，用于获取与所述第一尺度图像中的目标区域相对应的第二尺度图像，并根据目标拼接参数将所述第二尺度图像拼接到目标图像中；
其中，所述目标图像包括所述第一尺度图像和/或全景图，所述全景图由预先获取的与所述当前场景中的各个位置相对应的第三尺度图像拼接得到。
11.一种成像终端，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的成像方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的成像方法。
CN201810618985.2A 2018-06-15 2018-06-15 一种成像方法、装置、终端和存储介质 Active CN109005334B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810618985.2A CN109005334B (zh) 2018-06-15 2018-06-15 一种成像方法、装置、终端和存储介质
PCT/CN2019/091223 WO2019238113A1 (zh) 2018-06-15 2019-06-14 成像方法、装置、终端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810618985.2A CN109005334B (zh) 2018-06-15 2018-06-15 一种成像方法、装置、终端和存储介质

Publications (2)

Publication Number Publication Date
CN109005334A true CN109005334A (zh) 2018-12-14
CN109005334B CN109005334B (zh) 2020-07-03

Family

ID=64600488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810618985.2A Active CN109005334B (zh) 2018-06-15 2018-06-15 一种成像方法、装置、终端和存储介质

Country Status (2)

Country Link
CN (1) CN109005334B (zh)
WO (1) WO2019238113A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019238113A1 (zh) * 2018-06-15 2019-12-19 清华-伯克利深圳学院筹备办公室 成像方法、装置、终端和存储介质
CN110706251A (zh) * 2019-09-03 2020-01-17 北京正安维视科技股份有限公司 一种行人跨镜头跟踪方法
CN110717936A (zh) * 2019-10-15 2020-01-21 哈尔滨工业大学 一种基于相机姿态估计的图像拼接方法
CN111343367A (zh) * 2020-02-17 2020-06-26 清华大学深圳国际研究生院 一种十亿像素虚拟现实视频采集装置、系统与方法
WO2020133468A1 (en) * 2018-12-29 2020-07-02 Zhejiang Dahua Technology Co., Ltd. Methods and systems for camera calibration
CN112136311A (zh) * 2019-10-22 2020-12-25 深圳市大疆创新科技有限公司 一种图像处理方法、设备、成像系统及存储介质
CN112308809A (zh) * 2019-08-20 2021-02-02 北京字节跳动网络技术有限公司 一种图像合成方法、装置、计算机设备及存储介质
CN113114975A (zh) * 2021-04-07 2021-07-13 科大讯飞股份有限公司 图像拼接方法、装置、电子设备和存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132864B (zh) * 2020-09-21 2024-04-09 大连遨游智能科技有限公司 基于视觉的机器人跟随方法及跟随机器人
CN112419372B (zh) * 2020-11-11 2024-05-17 广东拓斯达科技股份有限公司 图像处理方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101482968A (zh) * 2008-01-07 2009-07-15 日电（中国）有限公司 图像处理方法和设备
US20130222533A1 (en) * 2012-02-23 2013-08-29 Canon Kabushiki Kaisha Image capturing apparatus and method for controlling the same
WO2015093083A1 (ja) * 2013-12-17 2015-06-25 オリンパス株式会社 撮像装置及び撮像装置の制御方法
EP3007106A1 (en) * 2014-10-08 2016-04-13 Thomson Licensing Method and apparatus for determining a detection of a defective object in an image sequence as a misdetection
CN107301620A (zh) * 2017-06-02 2017-10-27 西安电子科技大学 基于相机阵列的全景成像方法
CN107592467A (zh) * 2017-10-20 2018-01-16 维沃移动通信有限公司 一种拍摄方法及移动终端
CN107707825A (zh) * 2017-11-27 2018-02-16 维沃移动通信有限公司 一种全景拍摄方法、移动终端和计算机可读存储介质
CN107948505A (zh) * 2017-11-14 2018-04-20 维沃移动通信有限公司 一种全景拍摄方法及移动终端

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105719239A (zh) * 2016-01-21 2016-06-29 科盾科技股份有限公司 一种用于图像拼接的方法及装置
US10297034B2 (en) * 2016-09-30 2019-05-21 Qualcomm Incorporated Systems and methods for fusing images
CN107295256A (zh) * 2017-06-23 2017-10-24 华为技术有限公司 一种图像处理方法、装置与设备
CN107749944A (zh) * 2017-09-22 2018-03-02 华勤通讯技术有限公司 一种拍摄方法及装置
CN107659774B (zh) * 2017-09-30 2020-10-13 北京拙河科技有限公司 一种基于多尺度相机阵列的视频成像系统及视频处理方法
CN109005334B (zh) * 2018-06-15 2020-07-03 清华-伯克利深圳学院筹备办公室 一种成像方法、装置、终端和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101482968A (zh) * 2008-01-07 2009-07-15 日电（中国）有限公司 图像处理方法和设备
US20130222533A1 (en) * 2012-02-23 2013-08-29 Canon Kabushiki Kaisha Image capturing apparatus and method for controlling the same
WO2015093083A1 (ja) * 2013-12-17 2015-06-25 オリンパス株式会社 撮像装置及び撮像装置の制御方法
EP3007106A1 (en) * 2014-10-08 2016-04-13 Thomson Licensing Method and apparatus for determining a detection of a defective object in an image sequence as a misdetection
CN107301620A (zh) * 2017-06-02 2017-10-27 西安电子科技大学 基于相机阵列的全景成像方法
CN107592467A (zh) * 2017-10-20 2018-01-16 维沃移动通信有限公司 一种拍摄方法及移动终端
CN107948505A (zh) * 2017-11-14 2018-04-20 维沃移动通信有限公司 一种全景拍摄方法及移动终端
CN107707825A (zh) * 2017-11-27 2018-02-16 维沃移动通信有限公司 一种全景拍摄方法、移动终端和计算机可读存储介质

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019238113A1 (zh) * 2018-06-15 2019-12-19 清华-伯克利深圳学院筹备办公室 成像方法、装置、终端和存储介质
WO2020133468A1 (en) * 2018-12-29 2020-07-02 Zhejiang Dahua Technology Co., Ltd. Methods and systems for camera calibration
US11647176B2 (en) 2018-12-29 2023-05-09 Zhejiang Dahua Technology Co., Ltd. Methods and systems for camera calibration
CN112308809B (zh) * 2019-08-20 2024-06-14 北京字节跳动网络技术有限公司 一种图像合成方法、装置、计算机设备及存储介质
CN112308809A (zh) * 2019-08-20 2021-02-02 北京字节跳动网络技术有限公司 一种图像合成方法、装置、计算机设备及存储介质
CN110706251A (zh) * 2019-09-03 2020-01-17 北京正安维视科技股份有限公司 一种行人跨镜头跟踪方法
CN110706251B (zh) * 2019-09-03 2022-09-23 北京正安维视科技股份有限公司 一种行人跨镜头跟踪方法
CN110717936A (zh) * 2019-10-15 2020-01-21 哈尔滨工业大学 一种基于相机姿态估计的图像拼接方法
CN110717936B (zh) * 2019-10-15 2023-04-28 哈尔滨工业大学 一种基于相机姿态估计的图像拼接方法
CN112136311B (zh) * 2019-10-22 2022-07-12 深圳市大疆创新科技有限公司 一种图像处理方法、设备、成像系统及存储介质
CN112136311A (zh) * 2019-10-22 2020-12-25 深圳市大疆创新科技有限公司 一种图像处理方法、设备、成像系统及存储介质
CN111343367B (zh) * 2020-02-17 2021-06-08 清华大学深圳国际研究生院 一种十亿像素虚拟现实视频采集装置、系统与方法
CN111343367A (zh) * 2020-02-17 2020-06-26 清华大学深圳国际研究生院 一种十亿像素虚拟现实视频采集装置、系统与方法
CN113114975A (zh) * 2021-04-07 2021-07-13 科大讯飞股份有限公司 图像拼接方法、装置、电子设备和存储介质
CN113114975B (zh) * 2021-04-07 2023-04-18 科大讯飞股份有限公司 图像拼接方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
WO2019238113A1 (zh) 2019-12-19
CN109005334B (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN109005334A (zh) 一种成像方法、装置、终端和存储介质
Lee et al. Local texture estimator for implicit representation function
CN110264509B (zh) 确定图像捕捉设备的位姿的方法、装置及其存储介质
CN107705333B (zh) 基于双目相机的空间定位方法及装置
CN107945112B (zh) 一种全景图像拼接方法及装置
CN112927362B (zh) 地图重建方法及装置、计算机可读介质和电子设备
CN107566688B (zh) 一种基于卷积神经网络的视频防抖方法、装置及图像对齐装置
WO2022156626A1 (zh) 一种图像的视线矫正方法、装置、电子设备、计算机可读存储介质及计算机程序产品
CN112215880B (zh) 一种图像深度估计方法及装置、电子设备、存储介质
CN113724379B (zh) 融合图像与激光点云的三维重建方法及装置
CN111292278B (zh) 图像融合方法及装置、存储介质、终端
CN106412669A (zh) 一种全景视频渲染的方法和设备
CN111402404B (zh) 全景图补全方法、装置、计算机可读存储介质及电子设备
CN111382647B (zh) 一种图片处理方法、装置、设备及存储介质
CN113592940B (zh) 基于图像确定目标物位置的方法及装置
CN107633497A (zh) 一种图像景深渲染方法、系统及终端
CN111563961A (zh) 一种变电站的三维建模方法和相关装置
EP4164209B1 (en) Image reconstruction method and apparatus
CN114429191A (zh) 基于深度学习的电子防抖方法、系统及存储介质
CN113298707B (zh) 图像帧拼接方法、视频巡检方法、装置、设备及存储介质
CN116012609A (zh) 一种环视鱼眼多目标跟踪方法、装置、电子设备及介质
CN112634139B (zh) 光场超分辨成像方法、装置及设备
US20230005213A1 (en) Imaging apparatus, imaging method, and program
CN113409331A (zh) 图像处理方法、图像处理装置、终端及可读存储介质
CN110545373B (zh) 空间环境的感知方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221130

Address after: 518000 2nd floor, building a, Tsinghua campus, Shenzhen University Town, Xili street, Nanshan District, Shenzhen City, Guangdong Province

Patentee after: Tsinghua Shenzhen International Graduate School

Address before: 518055 Nanshan Zhiyuan 1001, Xue Yuan Avenue, Nanshan District, Shenzhen, Guangdong.

Patentee before: TSINGHUA-BERKELEY SHENZHEN INSTITUTE

TR01 Transfer of patent right