CN107534736B - 终端的图像配准方法、装置和终端 - Google Patents

终端的图像配准方法、装置和终端 Download PDF

Info

Publication number
CN107534736B
CN107534736B CN201680025604.9A CN201680025604A CN107534736B CN 107534736 B CN107534736 B CN 107534736B CN 201680025604 A CN201680025604 A CN 201680025604A CN 107534736 B CN107534736 B CN 107534736B
Authority
CN
China
Prior art keywords
image
motion vector
registration
video sequence
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680025604.9A
Other languages
English (en)
Other versions
CN107534736A (zh
Inventor
陈刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN107534736A publication Critical patent/CN107534736A/zh
Application granted granted Critical
Publication of CN107534736B publication Critical patent/CN107534736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种终端的图像配准方法、装置和终端，该方法包括：获取第一摄像头拍摄得到的第一视频序列和第二摄像头拍摄得到的第二视频序列；对于第一视频序列中在第一时刻拍摄的第一图像，和第二视频序列中在第一时刻拍摄的第二图像，确定可用的第一运动矢量V以及第一运动矢量V对应的第三图像和第四图像；获取第一图像相对于第三图像的第二运动矢量U；获取第四图像相对于所述第二图像的第三运动矢量W；根据第一运动矢量V、第二运动矢量U、以及第三运动矢量W，得到第一图像中的各像素点与第二图像中的各像素点的对应关系。本发明实施例提高了图像配准速度，可实现两帧图像的实时配准，进而可应用于视频拍摄中。

Description

终端的图像配准方法、装置和终端
技术领域
本发明涉及图像处理技术，尤其涉及一种终端的图像配准方法、装置和终端。
背景技术
随着显示技术水平提升，用户对作为显示源的图像的质量也提出了更高的要求。高端摄像头由于设置有更大的传感器，因此拍摄得到的图像具有较高的质量。但是将高端摄像头设置在手机上以提高图像质量时，通常面临高端摄像头传感器较大，进而导致手机机身较厚的问题，影响了用户的携带和使用手感。为避免上述问题，越来越多的厂家开始使用两个普通摄像头代替一个高端摄像头的方式，来提高图像质量，并实现更多的功能。如图像3D显示、广角拍摄、夜间降噪、增加景深等。
当设置有双摄像头的手机针对同一场景拍摄得到两帧图像后，在根据两帧图像进行图像处理的过程中，通常需要进行图像配准，即将同一时刻拍摄的同一场景的两张或者多张图像进行对齐，这是由于两个摄像头通常并排设置，因而拍摄得到的两帧图像存在视差。在将两帧图像对齐后，可根据不同摄像头的特性将两帧图像进行结合，以得到更高质量的图像或实现其他功能。
现有的图像配准过程中，通常采用光流算法或者块匹配算法为两帧图像进行对齐。但是这两种算法复杂度较高，处理速度较慢，当用户采用双摄像头摄像机或手机拍摄视频时，拍摄速度远大于这两种算法的配准速度，导致拍摄出的图像无法实时显示给用户。
发明内容
本发明实施例提供一种终端的图像配准方法、装置和终端，以克服现有图像配准方法处理速度较慢，无法将图像处理结果实时显示给用户，应用到视频拍摄中的问题。
第一方面，本发明实施例提供一种终端的图像配准方法，终端包括第一摄像头和第二摄像头，第一摄像头和第二摄像头并排设置且同时工作，该方法包括：
获取第一摄像头拍摄得到的第一视频序列和第二摄像头拍摄得到的第二视频序列，第一视频序列和第二视频序列记录同一场景；对于第一视频序列中在第一时刻拍摄的第一图像，和第二视频序列中在第一时刻拍摄的第二图像，确定第一时刻可用的第一运动矢量V以及第一运动矢量V对应的第三图像和第四图像，其中，第一运动矢量V为第三图像相对于第四图像的运动矢量，第三图像为第一视频序列中在第二时刻拍摄的图像，第四图像为第二视频序列中在第二时刻拍摄的图像，第二时刻为第一时刻之前的时刻；对第一图像和第三图像进行图像配准处理，得到第一图像相对于第三图像的第二运动矢量U；获取第四图像相对于第二图像的第三运动矢量W；根据第一运动矢量V、第二运动矢量U、以及第三运动矢量W，得到配准结果，配准结果包括第一图像中的各像素点与第二图像中的各像素点的对应关系。
上述方法根据第一运动矢量V、第二运动矢量U和第三运动矢量W得到两帧当前图像的配准结果。其中，第一运动矢量V为已经获取的运动矢量，并不占用处理时间，且第二运动矢量U和第三运动矢量W分别为对两帧没有时差拍摄时间极其接近的图像进行图像配准获得，因此获取速度较快，故可实现在摄像头进行视频拍摄的过程中，实现两帧图像的实时配准，为后续的图像的进一步处理提供参考，本申请实施例提供的图像配准方法可应用在包含有至少两个摄像头的终端的视频拍摄中，并将处理后的图像实时显示给用户。
结合第一方面，在第一方面的第一种可能的实现方式中，获取第三运动矢量W的过程具体包括：
采用全局图像配准算法对第四图像和第二图像进行图像配准处理，得到第四图像相对于第二图像的第三运动矢量W；或者根据第二运动矢量U包括的移动方向进行反向处理，得到第三运动矢量W。
通过对现有的第二运动矢量进行反向处理，可快速得到第三运动矢量，进而提高图像配准速度；或者通过采用全局图像配准算法获取第三运动矢量，也可快速得到准确度高的图像配准结果。
结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，获取配准结果的过程具体包括：
根据第一运动矢量V、第二运动矢量U、以及第三运动矢量W，对第一图像的每个像素点所处的第一位置进行位移处理，得到第二位置；根据第二位置，得到配准结果，其中，第一图像中位于第一位置处的像素点与第二图像中位于第二位置处的像素点的具有对应关系。
结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，在确定可用的第一运动矢量V之前，还包括：
采用局部图像配准算法对第三图像和第四图像进行图像配准处理，得到第三图像相对于第四图像的第一运动矢量V；
获取第二运动矢量U的过程具体包括：
采用全局图像配准算法对第一图像和第三图像进行图像配准处理，得到第一图像相对于第三图像的第二运动矢量U。
通过在第一图像和第二图像的获取时刻之前，采用准确度较高的局部图像配准算法获取第一运动矢量V，确保了图像配准结果的准确度。
结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，获取第一运动矢量V的过程具体包括：
在确定采用光流算法或块匹配算法对第五图像和第六图像进行图像配准处理的过程结束后，对在图像配准处理的过程的结束时刻获取的第三图像以及第四图像，采用光流算法或块匹配算法进行图像配准处理，得到第三图像相对于第四图像的第一运动矢量V；其中，第五图像为第一视频序列中在第三时刻拍摄得到的图像，第六图像为第二视频序列中在第三时刻拍摄得到的图像，第三时刻为第二时刻之前的时刻。
通过在每次生成第一运动矢量后，根据生成时刻获取的新的两帧图像开始新的第一运动矢量的生成过程，使得每次获取当前可用的第一运动矢量均为最接近的第一运动矢量，从而确保了图像配准的准确度。
结合第一方面、第一方面的第一种至第三种中任一种可行的实现方式，在第一方面的第五种可能的实现方式中，第三图像与第一图像之间间隔有N帧图像，第四图像与第二图像之间间隔有N帧图像，其中，N为正整数。
结合第一方面的第五种可能的实现方式，在第一方面的第六种可能的实现方式中，N的值与终端的摄像头的拍摄帧率成正比。
下面介绍本发明实施例提供的一种终端的图像配准装置，该装置与方法一一对应，用以实现上述实施例中的终端的图像配准方法，具有相同的技术特征和技术效果，本发明实施例对此不再赘述。
第二方面，本发明实施例提供一种终端的图像配准装置，终端包括第一摄像头和第二摄像头，第一摄像头和第二摄像头并排设置且同时工作，该装置包括：
视频序列获取模块，用于获取第一摄像头拍摄得到的第一视频序列和第二摄像头拍摄得到的第二视频序列，第一视频序列和第二视频序列记录同一场景；
当前可用运动矢量获取模块，用于对于第一视频序列中在第一时刻拍摄的第一图像，和第二视频序列中在第一时刻拍摄的第二图像，确定第一时刻可用的第一运动矢量V以及第一运动矢量V对应的第三图像和第四图像，其中，第一运动矢量V为第三图像相对于第四图像的运动矢量，第三图像为第一视频序列中在第二时刻拍摄的图像，第四图像为第二视频序列中在第二时刻拍摄的图像，第二时刻为第一时刻之前的时刻；
第二运动矢量生成模块，用于对第一图像和第三图像进行图像配准处理，得到第一图像相对于第三图像的第二运动矢量U；
第三运动矢量生成模块，用于获取第四图像相对于第二图像的第三运动矢量W；
配准模块，用于根据第一运动矢量V、第二运动矢量U、以及第三运动矢量W，得到配准结果，配准结果包括第一图像中的各像素点与第二图像中的各像素点的对应关系。
结合第二方面，在第二方面的第一种可能的实现方式中，第三运动矢量获取模块具体用于，采用全局图像配准算法对第四图像和第二图像进行图像配准处理，得到第四图像相对于第二图像的第三运动矢量W；或者根据第二运动矢量U包括的移动方向进行反向处理，得到第三运动矢量W。
结合第二方面或第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，配准模块具体用于，根据第一运动矢量V、第二运动矢量U、以及第三运动矢量W，对第一图像的每个像素点所处的第一位置进行位移处理，得到第二位置；根据第二位置，得到配准结果，其中，第一图像中位于第一位置处的像素点与第二图像中位于第二位置处的像素点的具有对应关系。
结合第二方面或第二方面的第一种可能的实现方式或第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式中，该装置还包括：
第一运动矢量生成模块，用于采用局部图像配准算法对第三图像和第四图像进行图像配准处理，得到第三图像相对于第四图像的第一运动矢量V；
第二运动矢量生成模块具体用于，采用全局图像配准算法对第一图像和第三图像进行图像配准处理，得到第一图像相对于第三图像的第二运动矢量U。
结合第二方面的第三种可能的实现方式，在第二方面的第四种可能的实现方式中，第一运动矢量生成模块具体用于，在确定采用光流算法或块匹配算法对第五图像和第六图像进行图像配准处理的过程结束后，对在图像配准处理的过程的结束时刻获取的第三图像以及第四图像，采用光流算法或块匹配算法进行图像配准处理，得到第三图像相对于第四图像的第一运动矢量V；其中，第五图像为第一视频序列中在第三时刻拍摄得到的图像，第六图像为第二视频序列中在第三时刻拍摄得到的图像，第三时刻为第二时刻之前的时刻。
结合第二方面、第二方面的第一种至第三种中任一种可行的实现方式，在第二方面的第五种可能的实现方式中，第三图像与第一图像之间间隔有N帧图像，第四图像与第二图像之间间隔有N帧图像，其中，N为正整数。
结合第二方面的第五种可能的实现方式，在第二方面的第六种可能的实现方式中，N的值与终端的摄像头的拍摄帧率成正比。
下面介绍本发明实施例提供的一种终端，该终端与方法一一对应，用以实现上述实施例中的终端的图像配准方法，具有相同的技术特征和技术效果，本发明实施例对此不再赘述。
第三方面，本发明实施例提供一种终端，该终端包括第一摄像头、第二摄像头和图像配准器，第一摄像头和第二摄像头并排设置且同时工作，图像配准器具体用于，获取第一摄像头拍摄得到的第一视频序列和第二摄像头拍摄得到的第二视频序列，第一视频序列和第二视频序列记录同一场景；对于第一视频序列中在第一时刻拍摄的第一图像，和第二视频序列中在第一时刻拍摄的第二图像，确定第一时刻可用的第一运动矢量V以及第一运动矢量V对应的第三图像和第四图像，其中，第一运动矢量V为第三图像相对于第四图像的运动矢量，第三图像为第一视频序列中在第二时刻拍摄的图像，第四图像为第二视频序列中在第二时刻拍摄的图像，第二时刻为第一时刻之前的时刻；对第一图像和第三图像进行图像配准处理，得到第一图像相对于第三图像的第二运动矢量U；获取第四图像相对于第二图像的第三运动矢量W；根据第一运动矢量V、第二运动矢量U、以及第三运动矢量W，得到配准结果，配准结果包括第一图像中的各像素点与第二图像中的各像素点的对应关系。
结合第三方面，在第三方面的第一种可能的实现方式中，图像配准器具体用于，采用全局图像配准算法对第四图像和第二图像进行图像配准处理，得到第四图像相对于第二图像的第三运动矢量W；或者根据第二运动矢量U包括的移动方向进行反向处理，得到第三运动矢量W。
结合第三方面或第三方面的第一种可能的实现方式，在第三方面的第二种可能的实现方式中，图像配准器具体用于，根据第一运动矢量V、第二运动矢量U、以及第三运动矢量W，对第一图像的每个像素点所处的第一位置进行位移处理，得到第二位置；根据第二位置，得到配准结果，其中，第一图像中位于第一位置处的像素点与第二图像中位于第二位置处的像素点的具有对应关系。
结合第三方面或第三方面的第一种可能的实现方式或第三方面的第二种可能的实现方式，在第三方面的第三种可能的实现方式中，图像配准器还用于，采用局部图像配准算法对第三图像和第四图像进行图像配准处理，得到第三图像相对于第四图像的第一运动矢量V；
图像配准器具体用于，采用全局图像配准算法对第一图像和第三图像进行图像配准处理，得到第一图像相对于第三图像的第二运动矢量U。
结合第三方面的第三种可能的实现方式，在第三方面的第四种可能的实现方式中，图像配准器具体用于，在确定采用光流算法或块匹配算法对第五图像和第六图像进行图像配准处理的过程结束后，对在图像配准处理的过程的结束时刻获取的第三图像以及第四图像，采用光流算法或块匹配算法进行图像配准处理，得到第三图像相对于第四图像的第一运动矢量V；其中，第五图像为第一视频序列中在第三时刻拍摄得到的图像，第六图像为第二视频序列中在第三时刻拍摄得到的图像，第三时刻为第二时刻之前的时刻。
结合第三方面、第三方面的第一种至第三种中任一种可行的实现方式，在第三方面的第五种可能的实现方式中，第三图像与第一图像之间间隔有N帧图像，第四图像与第二图像之间间隔有N帧图像，其中，N为正整数。
结合第三方面的第五种可能的实现方式，在第三方面的第六种可能的实现方式中，N的值与终端的摄像头的拍摄帧率成正比。
下面介绍本发明实施例提供的一种存储介质，该存储介质用以实现上述第一方面、第一方面的第一种至第六种中任一种可行的实现方式中的图像配准方法，具有相同的技术特征和技术效果，本发明对此不再赘述。
第四方面，本发明实施例提供一种存储介质，存储介质为计算机可读存储介质，存储有一个或多个程序，一个或多个程序包括指令，该指令当被包括摄像头和多个应用程序的便携式电子设备执行时，使便携式电子设备执行如上述第一方面、第一方面的第一种至第六种中任一种可行的实现方式中的图像配准方法；其中，摄像头包括第一摄像头和第二摄像头。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的终端实施例的结构示意图；
图2为本发明实施例提供的终端的图像配准方法实施例一的流程示意图；
图3为本发明实施例提供的终端的图像配准方法实施例一的应用场景示意图；
图4为本发明实施例提供的终端的图像配准方法实施例二的应用场景示意图；
图5为本发明实施例提供的终端的图像配准方法实施例三的应用场景示意图；
图6为本发明实施例提供的终端的图像配准设备实施例一的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种终端的图像配准方法，考虑到时间间隔短的图像其内容变化较少，利用在先的图像的配准结果来为后续的图像的配准提供参考，以提高图像配准的速度，从而使得双摄像头同时拍摄可应用在视频拍摄中，以将拍摄出的图像实时显示给用户。
在本发明实施例中，终端可以为摄像机，也可以为手机、平板等，对于该终端的具体实现形式，本发明实施例不做特别限制。本实发明施例的终端至少包括第一摄像头和第二摄像头，第一摄像头和第二摄像头并排设置且同时工作，同时拍摄当前场景，得到两帧图像并传输给图像配准器，图像配准器实时处理两帧图像并将配准结果输出，再由后续的图像处理器根据配准结果进行图像处理并显示。第一摄像头和第二摄像头可以完全相同，也可为具有不同特性的摄像头，例如一个彩色摄像头和一个黑白摄像头。图像配准器与图像处理器也可集成为同一装置。图1为本发明实施例提供的终端实施例的结构示意图。具体地，如图1所示，第一摄像头和第二摄像头相互独立，光轴平行，同步采集图像，使得该终端可以拍摄得到同一场景的两视频序列，发送给图像配准器后，获取两视频序列的配准结果。在实际使用时，可设置终端的第一摄像头和第二摄像头同时工作，然后应用本发明提供的终端的图像配准方法得到配准结果；也可设置第一摄像头或第二摄像头单独工作，直接将单个摄像头拍摄得到的视频存储或输出。下面采用具体的实施例，对本发明实施例的终端的图像配准方法进行详细说明。
图2为本发明终端的图像配准方法实施例一的流程示意图。该方法的执行主体为图像配准装置，该装置可以由软件和/或硬件实现，示例性的可以为图1中的图像配准器，该图像配准装置设置在终端内或与现有终端的处理器集成在一起。如图2所示，该方法包括：
步骤201、获取第一摄像头拍摄得到的第一视频序列和第二摄像头拍摄得到的第二视频序列，第一视频序列和第二视频序列记录同一场景；
步骤202、对于第一视频序列中在第一时刻拍摄的第一图像，和第二视频序列中在第一时刻拍摄的第二图像，确定第一时刻可用的第一运动矢量V以及第一运动矢量V对应的第三图像和第四图像；
其中，第一运动矢量V为第三图像相对于第四图像的运动矢量，第三图像为第一视频序列中在第二时刻拍摄的图像，第四图像为第二视频序列中在第二时刻拍摄的图像，第二时刻为第一时刻之前的时刻；
步骤203、对第一图像和第三图像进行图像配准处理，得到第一图像相对于第三图像的第二运动矢量U；
步骤204、获取第四图像相对于第二图像的第三运动矢量W；
步骤205、根据第一运动矢量V、第二运动矢量U、以及第三运动矢量W，得到配准结果，配准结果包括第一图像中的各像素点与第二图像中的各像素点的对应关系。
具体的，在步骤201中，设置有至少两个摄像头的终端在进行拍摄时，通过第一摄像头和第二摄像头在每一时刻同时进行拍摄，可获得一对图像，通过连续拍摄，即可获得两个视频序列。示例性的，第一摄像头拍摄得到的视频序列记为第一视频序列，第二摄像头拍摄得到的视频序列记为第二视频序列，第一视频序列和第二视频序列记录同一场景。
具体的，在步骤202中，对于第一视频序列中在第一时刻拍摄的第一图像，和第二视频序列中同样在第一时刻拍摄的第二图像，确定在该第一时刻，可用的第一运动矢量V，以及与第一运动矢量V相对应的第三图像和第四图像。第一运动矢量V指示了第三图像与第四图像经过图像配准得到的配准结果，配准结果包括第三图像中的各像素点与第四图像中的各像素点的一一对应关系，根据具有对应关系的两个像素点在图像中的坐标，即可得到运动矢量。图3为本发明实施例终端的图像配准方法实施例一的应用场景示意图。如图3所示，第一运动矢量V为第三图像相对于第四图像的运动矢量，第三图像和第四图像分别为第一摄像头和第二摄像头在第一时刻之前的第二时刻同时拍摄同一场景得到的图像。示例性的，第三图像与第一图像之间间隔有N帧图像，第四图像与第二图像之间间隔有N帧图像，其中，N为正整数。
具体的，当所有图像大小相同，均包含m×n个像素点时，第一运动矢量V中包含有m×n个像素点的运动矢量，各像素点的运动矢量包括位移大小和位移方向。当第三图像中的位于任一位置处的像素点按照第一运动矢量V中该任一位置处的像素点的运动矢量移动时，即可得到第四图像，该对应关系可记为T4＝V(T3)。显而易见的，第四图像中的各像素点参照第一运动矢量V的逆矢量第一逆矢量V-1移动，即可得到第三图像，即T3＝V-1(T4)。
具体的，在获取逆矢量时，对第一运动矢量V对应的移动方向进行反向处理，即可得到第一逆矢量V-1。示例性的，根据第一运动矢量V中的任一第一位置(x，y)处的像素点的运动矢量(u，v)，将该第一位置按照像素点的运动矢量移动，可得到一个第二位置(p，q)，其中p＝x+u，q＝y+v，则第一逆矢量V-1中的第二位置(p，q)处的像素点的运动矢量即为(-u，-v)，其中u，v为整数，其数值表示了位移大小，u，v的正负表示了位移方向。其中，m、n、x、y、p、q为正整数，且0＜x＜m、0＜y＜n、0＜p＜m、0＜q＜n。
由于第一运动矢量V是根据第一时刻之前的第三图像和第四图像获得，两帧图像存在视差，因此，优选的，可采用更适宜于处理存在视差的两帧图像配准工作的准确度较高但速度较慢的图像配准算法，在第一时刻到来时，算出第一运动矢量V即可。示例性的，可采用局部图像配准算法对第三图像和第四图像进行图像配准处理，得到第三图像相对于第四图像的第一运动矢量V。可选的，局部图像配准算法可以为准确度较高而处理速度较慢的光流算法或块匹配算法。
具体的，在步骤203中，对由第一摄像头拍摄得到的第一视频序列中的在先的第三图像和在后的第一图像进行图像配准处理，得到第一图像相对于第三图像的第二运动矢量U。当第一图像中的位于任一位置处的像素点按照第二运动矢量U中该任一位置处的像素点的运动矢量移动时，即可得到第三图像，该对应关系可记为T3＝U(T1)，显而易见的，T4＝V(U(T1))。
由于视频拍摄时的帧率较高，同一摄像头拍摄得到的两帧图像在间隔时间较短且不存在视差时，两帧图像的内容可近似认为完全相同，即可认为第一图像与第三图像极其相似，当两图像越相似，图像配准过程会越快、耗时越短，进而可保证在摄像头拍摄视频的过程中，边接收新拍摄得到的当前图像，边完成当前图像与在先的一帧图像的配准过程。
示例性的，由于第一图像和第三图像由同一摄像头拍摄得到，只有短暂的时间间隔，可近似认为不存在视差，故可采用全局图像配准算法算法对第一图像和第三图像进行图像配准处理，得到第一图像相对于第三图像的第二运动矢量U；其中，全局图像配准算法算法的处理速度大于局部图像配准算法的处理速度，可减少图像配准过程中的计算量，提高图像配准过程的速度。示例性的，可采用处理速度较快且准确度较高的全局图像配准算法对第一图像和第三图像进行图像配准处理，得到第一图像相对于第三图像的第二运动矢量U，如基于特征点匹配的单应性矩阵方法、基于直方图匹配的配准方法等。若将全局图像配准算法直接应用于存在视差的第三图像与第四图像的图像配准，由于两帧图像存在视差，因此尽管提高了配准速度但是会存在准确度较差的问题，故无法通过采用全局图像配准算法直接获取准确的第三图像与第四图像的图像配准结果。
具体的，在步骤204中，获取由第二摄像头拍摄得到的第二视频序列中的在先的第四图像相对于在后的第二图像的第三运动矢量W。当第四图像中的位于任一位置处的像素点按照第三运动矢量W中该任一位置处的像素点的运动矢量移动时，即可得到第二图像。该对应关系可记为T2＝W(T4)，显而易见的，T2＝W(V(U(T1)))。
可选的，在获取第三运动矢量W时，包括如下可行的实现方式：
一种可行的实现方式：
对第四图像和第二图像进行图像配准处理，得到第四图像相对于第二图像的第三运动矢量W。
示例性的，与第一图像和第三图像的情况相同，由于视频拍摄时的帧率较高，同一摄像头拍摄得到的两帧图像在间隔时间较短且不存在视差时，两帧图像的内容可近似认为完全相同，即可认为第二图像与第四图像极其相似，当两图像越相似，图像配准过程会越快、耗时越短，进而可保证在摄像头拍摄视频的过程中，边接收新拍摄得到的当前图像，边完成当前图像与在先的一帧图像的配准过程。
示例性的，还可采用全局图像配准算法对第四图像和第二图像进行图像配准处理，得到第四图像相对于第二图像的第三运动矢量W；其中，全局图像配准算法算法的处理速度大于局部图像配准算法的处理速度。示例性的，可采用处理速度较快且准确度较高的全局图像配准算法对第二图像和第四图像进行图像配准处理，得到第四图像相对于第二图像的第三运动矢量W，如基于特征点匹配的单应性矩阵方法、基于直方图匹配的配准方法等。
当采用这种实现方式时，步骤203与步骤204可同时执行，不存在执行时间的先后关系。
另一种可行的实现方式：
对第二运动矢量U包括的移动方向进行反向处理，得到第三运动矢量W。
示例性的，由于第一摄像头和第二摄像头设置位置平齐，在同一时刻拍摄同一场景，可认为第一摄像头和第二摄像头拍摄得到的两个视频序列中的图像内容的移动规律相同，即第一图像按照第二运动矢量U变化可得到第三图像，相应的，第二图像按照第二运动矢量U变化便可得到第四图像，因此，第四图像相对于第二图像的第三运动矢量W可认为是第二运动矢量U的逆矢量U-1，具体的，逆矢量U-1的获取方法可与第一逆矢量V-1的获取方法相同，不再赘述。
示例性的，上述第二运动矢量U和第三运动矢量W均包含m×n个像素点的运动矢量，其中每个像素点的运动矢量在采用全局图像配准算法的图像配准过程中，均是根据3×3大小的单应性矩阵与该像素点在各自图像中的坐标获得。
具体的，在步骤205中，根据上述公式T2＝W(V(U(T1)))可知，根据第一运动矢量V、第二运动矢量U、以及第三运动矢量W，即可得到第一图像与第二图像的配准结果，配准结果中包括第一图像中的各像素点与第二图像中的各像素点的对应关系。
示例性的，根据第一运动矢量V、第二运动矢量U、以及第三运动矢量W，对第一图像的每个像素点所处的第一位置进行位移处理，得到第二位置；
根据第二位置，得到配准结果，其中，第一图像中位于第一位置处的像素点与第二图像中位于第二位置处的像素点的具有对应关系。
具体地，以第一图像中的位于第一位置处的像素点为例，第一位置处的像素点的坐标为第一坐标，将第一坐标根据第一运动矢量V中的第一坐标处的像素点的运动矢量移动，得到第二坐标；将第二坐标根据第二运动矢量U中的第二坐标处的像素点的运动矢量移动，得到第三坐标；将第三坐标根据第三运动矢量W中的第三坐标处的像素点的运动矢量移动，得到第四坐标，将该四坐标在第二图像中的位置记为第二位置；根据第二位置，即可得到配准结果，即，第一图像中位于第一位置(即第一坐标)处的像素点与第二图像中位于第二位置(即第四坐标)处的像素点的具有对应关系。
本发明实施例提供的终端的图像配准方法，根据第一运动矢量V、第二运动矢量U和第三运动矢量W得到两帧当前图像的配准结果，其中准确度较高的第一运动矢量V为已经获取的运动矢量，并不占用处理时间，且第二运动矢量U和第三运动矢量W分别为对两帧极其相似的图像进行图像配准获得，因此获取速度较快，可在摄像头进行视频拍摄的过程中，随着当前两帧图像的更新同步获取当前两帧图像的第二运动矢量U和第三运动矢量W；因此本发明实施例提高了图像配准速度，可在不降低图像配准准确度的条件下，实现两帧图像的实时配准，为后续的图像的进一步处理提供参考，从而使得包括至少两个摄像头的终端的拍摄可应用在视频拍摄中，以将拍摄出的图像实时显示给用户。
进一步地，在上述实施例的基础上，通过对第一运动矢量V进行更新，以提高图像配准准确度。具体的，在步骤202之前，本发明实施例还包括：
在确定采用光流算法或块匹配算法对第五图像和第六图像进行图像配准处理的过程结束后，对在图像配准处理的过程的结束时刻获取的第三图像以及第四图像，采用光流算法或块匹配算法进行图像配准处理，得到第三图像相对于第四图像的第一运动矢量V。
其中，第五图像为第一视频序列中在第三时刻拍摄得到的图像，第六图像为第二视频序列中在第三时刻拍摄得到的图像，第三时刻为第二时刻之前的时刻。
示例性的，图4为本发明实施例终端的图像配准方法实施例二的应用场景示意图。其中，如图4所示，第一摄像头按时间先后拍摄得到第五图像，第三图像和第一图像；第二摄像头按时间先后拍摄得到第六图像，第四图像和第二图像，同一摄像头拍摄得到的各图像间还间隔有其他图像。当第五图像和第六图像为第一摄像头和第二摄像头拍摄得到第一帧图像时，立即采用光流算法或块匹配算法对第五图像和第六图像进行图像配准处理，在配准处理结束时，得到第五图像相对于第六图像的运动矢量，记为第一运动矢量V5-6，同时在第五图像与第六图像的配准处理过程的结束时刻，对第一摄像头和第二摄像头拍摄得到的两帧图像采用光流算法或块匹配算法进行图像配准处理，以该结束时刻恰好为上述实施例中的第二时刻为例，对获取的第三图像和第四图像采用光流算法或块匹配算法进行图像配准处理。对于第二时刻之后获得的图像，也可在第一运动矢量V5-6的基础上，采用上述实施例中的方法进行图像配准。对于第一摄像头和第二摄像头在得到第一运动矢量V5-6之前拍摄的图像，可采用两幅图像择一输出。同样的，在第三图像和第四图像配准处理结束时，得到第三图像相对于第四图像的第一运动矢量V，并在第三图像与第四图像的配准处理过程的结束时刻，对第一摄像头和第二摄像头拍摄得到的两帧图像采用光流算法或块匹配算法进行图像配准处理，以该结束时刻恰好为上述实施例中的第一时刻为例，对获取的第一图像和第二图像采用光流算法或块匹配算法进行图像配准处理。对于第一时刻之后获取的图像，可在第一运动矢量V的基础上，采用上述实施例中的方法进行图像配准。
下面结合图5，以第一摄像头和第二摄像头拍摄得到的两个视频序列，第一视频序列T和第二视频序列S为例，对本发明终端的图像配准方法中的第一运动矢量V的更新过程进行详细说明。图5为本发明实施例终端的图像配准方法实施例三的应用场景示意图。
如图5所示，第一摄像头拍摄得到第一视频序列T，第一视频序列T按照时间先后顺序包括图像{T1，T2……Ti-N……Ti-1，Ti，Ti+1，……Ti+N……}，第二摄像头拍摄得到第二视频序列S，第二视频序列S按照时间先后顺序包括图像{S1，S2……Si-N……Si-1，Si，Si+1，……Si+N……}。其中Ti与Si同一时刻拍摄得到，i、N为正整数，且i-N＞1。
首先，对于第i时刻拍摄得到的图像Ti(即上述实施例中的第一图像)和图像Si(即上述实施例中的第二图像)，确定当前可用的运动矢量为第一运动矢量Vi-N，如图5中图像Ti和图像Si之间的实线箭头Vi-N所示，并确定第一运动矢量Vi-N对应的两帧图像Ti-N(即上述实施例中的第三图像)和Si-N(即上述实施例中的第四图像)。图像Ti-N中的各像素点参照第一运动矢量Vi-N移动，可得到图像Si-N，该对应关系可记为Si-N＝Vi-N(Ti-N)。
其次，获取图像Ti和图像Ti-N的第二运动矢量Ui，具体获取方法可与上述实施例中相同，不再赘述。图像Ti中的各像素点参照第二运动矢量Ui移动，可得到图像Ti-N，该对应关系可记为Ti-N＝Ui(Ti)，并可推出Si-N＝Vi-N(Ui(Ti))。
再次，获取图像Si和图像Si-N的第三运动矢量Wi，具体获取方法可与上述实施例中相同，不再赘述。图像Si-N中的各像素点参照第三运动矢量Wi移动，可得到图像Si-N，该对应关系可记为Si＝Wi(Si-N)，并可推出Si＝Wi(Vi-N(Ui(Ti)))。
最后，根据对应关系Si＝Wi(Vi-N(Ui(Ti)))，可知将图像Ti中的各像素点依次根据第二运动矢量Ui、第一运动矢量Vi-N、第三运动矢量Wi移动，即可得到图像Si，故而可得到图像Ti中的各像素点和图像Si中的各像素点的配准结果，如图5中图像Ti和图像Si之间的虚线箭头所示。
当获得第i时刻拍摄得到的图像Ti和图像Si的配准结果后，对于第i时刻之后的第i+1时刻拍摄得到的图像Ti+1和图像Si+1，进行图像配准。
同样的，首先获取当前可用的运动矢量，仍为第一运动矢量Vi-N，则可确定第一运动矢量Vi-N对应的两帧图像仍为Ti-N和图像Si-N，然后再次以图像Ti-N和图像Si-N为参考，获取图像Ti+1和图像Ti-N的第二运动矢量Ui+1，以及图像Si+1和图像Si-N的第三运动矢量Wi+1，最后将图像Ti+1中的各像素点依次根据第二运动矢量Ui+1、第一运动矢量Vi-N、第三运动矢量Wi+1移动，即可得到图像Si+1，进而可得到图像Ti+1中的各像素点和图像Si+1中的各像素点的配准结果，如图5中图像Ti+1和图像Si+1之间的虚线箭头所示。
同样的，对于第i+1时刻至第i+N时刻拍摄得到的两帧图像进行图像配准，均采用上述相同的第一运动矢量Vi-N，以及第一运动矢量Vi-N对应的图像Ti-N和图像Si-N。
但是，对于第i+N+1时刻拍摄得到的图像Ti+N+1和图像Si+N+1，在第i+N+1时刻，当前可用的第一运动矢量Vi-N，已更新为第一运动矢量Vi，如图5中图像Ti+N+1和图像Si+N+1之间的实线箭头Vi所示，并可确定第一运动矢量Vi对应的两帧图像分别为图像Ti和图像Si。然后以图像Ti和图像Si为参考，获取图像Ti+N+1和图像Ti的第二运动矢量Ui+N+1，以及图像Si+N+1和图像Si的第三运动矢量Wi+N+1，最后根据第二运动矢量Ui+N+1、第一运动矢量Vi、第三运动矢量Wi+N+1即可得到图像Ti+N+1和图像Si+N+1的配准结果。
具体的，由于第一运动矢量采用光流算法或块匹配算法进行图像配准处理，算法计算量大，配准结果准确度高但是生成速度慢，因此，第一运动矢量每次更新时，中间会间隔有多帧图像。可选的，可如上所述设置为一个第一运动矢量生成后，自动采用当前拍摄得到的新的两帧图像进行图像配准，待配准完成后，自动更新第一运动矢量，并开始下一次第一运动矢量的计算，因此每次间隔图像数量可以相同，也可以不同。
可选的，也可设置为每拍摄固定帧数的图像后，计算一次第一运动矢量。即第五图像与第三图像、第三图像与第一图像之间间隔有N帧图像，第六图像与第四图像、第四图像与第二图像之间间隔有N帧图像。当N越小时，所采用的第一运动矢量更新越快，配准结果越准确，当N越大，配准结果越不准确。因此，可将采用光流算法或者块匹配算法生成第一运动矢量所必须间隔的帧数设置为N的取值。
可选的，N的值与终端的摄像头的拍摄帧率成正比。
示例性的，当摄像头拍摄帧率越高，摄像头每秒钟能够拍摄得到的图像越多，而第一运动矢量的更新时间一定，这就导致当拍摄帧率越高时，越多的图像必须采用同一个第一运动矢量，即第一图像与第三图像之间间隔的图像数量N越大。在实际使用过程中，优选的，N的值为10。
本发明实施例另一方面提供一种终端的图像配准装置，终端包括第一摄像头和第二摄像头，第一摄像头和第二摄像头并排设置且同时工作，该装置可以执行上述任一实施例中的图像配准方法，其实现原理和技术效果类似，在此不再赘述。图6为本发明实施例提供的终端的图像配准设备实施例一的结构示意图。如图6所示，该装置包括：
视频序列获取模块601，用于获取第一摄像头拍摄得到的第一视频序列和第二摄像头拍摄得到的第二视频序列，第一视频序列和第二视频序列记录同一场景；
当前可用运动矢量获取模块602，用于对于第一视频序列中在第一时刻拍摄的第一图像，和第二视频序列中在第一时刻拍摄的第二图像，确定第一时刻可用的第一运动矢量V以及第一运动矢量V对应的第三图像和第四图像，其中，第一运动矢量V为第三图像相对于第四图像的运动矢量，第三图像为第一视频序列中在第二时刻拍摄的图像，第四图像为第二视频序列中在第二时刻拍摄的图像，第二时刻为第一时刻之前的时刻；
第二运动矢量生成模块603，用于对第一图像和第三图像进行图像配准处理，得到第一图像相对于第三图像的第二运动矢量U；
第三运动矢量生成模块604，用于获取第四图像相对于第二图像的第三运动矢量W；
配准模块605，用于根据第一运动矢量V、第二运动矢量U、以及第三运动矢量W，得到配准结果，配准结果包括第一图像中的各像素点与第二图像中的各像素点的对应关系。
本发明实施例提供的终端的图像配准装置，配准模块根据第一运动矢量V、第二运动矢量U和第三运动矢量W得到两帧当前图像的配准结果，其中准确度较高的第一运动矢量V为已经获取的运动矢量，并不占用处理时间，且第二运动矢量U和第三运动矢量W分别为对两帧极其相似的图像进行图像配准获得，因此获取速度较快，可在摄像头进行视频拍摄的过程中，随着当前两帧图像的更新同步获取当前两帧图像的第二运动矢量U和第三运动矢量W；因此本发明实施例提高了图像配准速度，可在不降低图像配准准确度的条件下，实现两帧图像的实时配准，为后续的图像的进一步处理提供参考，从而使得包括至少两个摄像头的终端的拍摄可应用在视频拍摄中，以将拍摄出的图像实时显示给用户。
可选的，第三运动矢量获取模块604具体用于，采用全局图像配准算法对第四图像和第二图像进行图像配准处理，得到第四图像相对于第二图像的第三运动矢量W；或者根据第二运动矢量U包括的移动方向进行反向处理，得到第三运动矢量W。
可选的，配准模块605具体用于，根据第一运动矢量V、第二运动矢量U、以及第三运动矢量W，对第一图像的每个像素点所处的第一位置进行位移处理，得到第二位置；根据第二位置，得到配准结果，其中，第一图像中位于第一位置处的像素点与第二图像中位于第二位置处的像素点的具有对应关系。
可选的，该装置还包括：第一运动矢量生成模块600，用于采用局部图像配准算法对第三图像和第四图像进行图像配准处理，得到第三图像相对于第四图像的第一运动矢量V；
进一步地，第二运动矢量生成模块603具体用于，采用全局图像配准算法对第一图像和第三图像进行图像配准处理，得到第一图像相对于第三图像的第二运动矢量U。
可选的，第一运动矢量生成模块600具体用于，在确定采用光流算法或块匹配算法对第五图像和第六图像进行图像配准处理的过程结束后，对在图像配准处理的过程的结束时刻获取的第三图像以及第四图像，采用光流算法或块匹配算法进行图像配准处理，得到第三图像相对于第四图像的第一运动矢量V；
其中，第五图像为第一视频序列中在第三时刻拍摄得到的图像，第六图像为第二视频序列中在第三时刻拍摄得到的图像，第三时刻为第二时刻之前的时刻。
可选的，第三图像与第一图像之间间隔有N帧图像，第四图像与第二图像之间间隔有N帧图像，其中，N为正整数。
可选的，N的值与终端的摄像头的拍摄帧率成正比。
本发明实施例另一方面还提供一种终端，包括第一摄像头、第二摄像头和图像配准器，第一摄像头和第二摄像头并排设置且同时工作。该终端用于执行上述方法实施例中的图像配准方法，其实现原理和技术效果类似，在此不再赘述。
终端的图像配准器具体用于：
获取第一摄像头拍摄得到的第一视频序列和第二摄像头拍摄得到的第二视频序列，第一视频序列和第二视频序列记录同一场景；
对于第一视频序列中在第一时刻拍摄的第一图像，和第二视频序列中在第一时刻拍摄的第二图像，确定第一时刻可用的第一运动矢量V以及第一运动矢量V对应的第三图像和第四图像，其中，第一运动矢量V为第三图像相对于第四图像的运动矢量，第三图像为第一视频序列中在第二时刻拍摄的图像，第四图像为第二视频序列中在第二时刻拍摄的图像，第二时刻为第一时刻之前的时刻；
对第一图像和第三图像进行图像配准处理，得到第一图像相对于第三图像的第二运动矢量U；
获取第四图像相对于第二图像的第三运动矢量W；
根据第一运动矢量V、第二运动矢量U、以及第三运动矢量W，得到配准结果，配准结果包括第一图像中的各像素点与第二图像中的各像素点的对应关系。
可选的，图像配准器具体用于，采用全局图像配准算法对第四图像和第二图像进行图像配准处理，得到第四图像相对于第二图像的第三运动矢量W；或者根据第二运动矢量U包括的移动方向进行反向处理，得到第三运动矢量W。
可选的，图像配准器具体用于，根据第一运动矢量V、第二运动矢量U、以及第三运动矢量W，对第一图像的每个像素点所处的第一位置进行位移处理，得到第二位置；根据第二位置，得到配准结果，其中，第一图像中位于第一位置处的像素点与第二图像中位于第二位置处的像素点的具有对应关系。
可选的，图像配准器还用于，采用局部图像配准算法对第三图像和第四图像进行图像配准处理，得到第三图像相对于第四图像的第一运动矢量V；
进一步地，图像配准器具体用于，采用全局图像配准算法对第一图像和第三图像进行图像配准处理，得到第一图像相对于第三图像的第二运动矢量U。
可选的，图像配准器具体用于，在确定采用光流算法或块匹配算法对第五图像和第六图像进行图像配准处理的过程结束后，对在图像配准处理的过程的结束时刻获取的第三图像以及第四图像，采用光流算法或块匹配算法进行图像配准处理，得到第三图像相对于第四图像的第一运动矢量V；
其中，第五图像为第一视频序列中在第三时刻拍摄得到的图像，第六图像为第二视频序列中在第三时刻拍摄得到的图像，第三时刻为第二时刻之前的时刻。
可选的，第三图像与第一图像之间间隔有N帧图像，第四图像与第二图像之间间隔有N帧图像，其中，N为正整数。
可选的，N的值与终端的摄像头的拍摄帧率成正比。
本发明实施例另一方面提供一种存储介质，该存储介质为计算机可读存储介质，存储有一个或多个程序，一个或多个程序包括指令，指令当被包括摄像头和多个应用程序的便携式电子设备执行时，使便携式电子设备执行上述任一方法实施例中的图像配准方法；其中，摄像头包括第一摄像头和第二摄像头。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (16)

1.一种终端的图像配准方法，其特征在于，所述终端包括第一摄像头和第二摄像头，所述第一摄像头和所述第二摄像头并排设置且同时工作，所述方法包括：
获取所述第一摄像头拍摄得到的第一视频序列和所述第二摄像头拍摄得到的第二视频序列，所述第一视频序列和所述第二视频序列记录同一场景；
对于所述第一视频序列中在第一时刻拍摄的第一图像，和所述第二视频序列中在所述第一时刻拍摄的第二图像，确定所述第一时刻可用的第一运动矢量V以及所述第一运动矢量V对应的第三图像和第四图像，其中，所述第一运动矢量V为所述第三图像相对于所述第四图像的运动矢量，所述第三图像为所述第一视频序列中在第二时刻拍摄的图像，所述第四图像为所述第二视频序列中在第二时刻拍摄的图像，所述第二时刻为所述第一时刻之前的时刻；
对所述第一图像和所述第三图像进行图像配准处理，得到所述第一图像相对于所述第三图像的第二运动矢量U；
获取所述第四图像相对于所述第二图像的第三运动矢量W；
根据所述第一运动矢量V、所述第二运动矢量U、以及所述第三运动矢量W，得到配准结果，所述配准结果包括所述第一图像中的各像素点与所述第二图像中的各像素点的对应关系。
2.根据权利要求1所述的方法，其特征在于，所述获取第四图像相对于第二图像的第三运动矢量W，包括：
采用全局图像配准算法对所述第四图像和所述第二图像进行图像配准处理，得到所述第四图像相对于所述第二图像的第三运动矢量W；或者
根据所述第二运动矢量U包括的移动方向进行反向处理，得到第三运动矢量W。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一运动矢量V、所述第二运动矢量U、以及所述第三运动矢量W，得到配准结果，包括：
根据所述第一运动矢量V、所述第二运动矢量U、以及所述第三运动矢量W，对所述第一图像的每个像素点所处的第一位置进行位移处理，得到第二位置；
根据所述第二位置，得到配准结果，其中，所述第一图像中位于所述第一位置处的像素点与所述第二图像中位于所述第二位置处的像素点具有对应关系。
4.根据权利要求1或2所述的方法，其特征在于，所述确定所述第一时刻可用的第一运动矢量V以及所述第一运动矢量V对应的第三图像和第四图像之前，还包括：
采用局部图像配准算法对所述第三图像和所述第四图像进行图像配准处理，得到所述第三图像相对于所述第四图像的第一运动矢量V；
所述对所述第一图像和所述第三图像进行图像配准处理，得到所述第一图像相对于所述第三图像的第二运动矢量U，包括：
采用全局图像配准算法对所述第一图像和所述第三图像进行图像配准处理，得到所述第一图像相对于所述第三图像的第二运动矢量U。
5.根据权利要求4所述的方法，其特征在于，所述采用局部图像配准算法对所述第三图像和所述第四图像进行图像配准处理，得到所述第三图像相对于所述第四图像的第一运动矢量V，包括：
在确定采用光流算法或块匹配算法对第五图像和第六图像进行图像配准处理的过程结束后，对在所述图像配准处理的过程的结束时刻获取的第三图像以及第四图像，采用所述光流算法或块匹配算法进行图像配准处理，得到所述第三图像相对于所述第四图像的第一运动矢量V；
其中，所述第五图像为所述第一视频序列中在第三时刻拍摄得到的图像，所述第六图像为所述第二视频序列中在所述第三时刻拍摄得到的图像，所述第三时刻为所述第二时刻之前的时刻。
6.一种终端的图像配准装置，其特征在于，所述终端包括第一摄像头和第二摄像头，所述第一摄像头和所述第二摄像头并排设置且同时工作，所述装置包括：
视频序列获取模块，用于获取所述第一摄像头拍摄得到的第一视频序列和所述第二摄像头拍摄得到的第二视频序列，所述第一视频序列和所述第二视频序列记录同一场景；
当前可用运动矢量获取模块，用于对于所述第一视频序列中在第一时刻拍摄的第一图像，和所述第二视频序列中在所述第一时刻拍摄的第二图像，确定所述第一时刻可用的第一运动矢量V以及所述第一运动矢量V对应的第三图像和第四图像，其中，所述第一运动矢量V为所述第三图像相对于所述第四图像的运动矢量，所述第三图像为所述第一视频序列中在第二时刻拍摄的图像，所述第四图像为所述第二视频序列中在第二时刻拍摄的图像，所述第二时刻为所述第一时刻之前的时刻；
第二运动矢量生成模块，用于对所述第一图像和所述第三图像进行图像配准处理，得到所述第一图像相对于所述第三图像的第二运动矢量U；
第三运动矢量生成模块，用于获取所述第四图像相对于所述第二图像的第三运动矢量W；
配准模块，用于根据所述第一运动矢量V、所述第二运动矢量U、以及所述第三运动矢量W，得到配准结果，所述配准结果包括所述第一图像中的各像素点与第二图像中的各像素点的对应关系。
7.根据权利要求6所述的装置，其特征在于，所述第三运动矢量获取模块具体用于，采用全局图像配准算法对所述第四图像和第二图像进行图像配准处理，得到所述第四图像相对于所述第二图像的第三运动矢量W；或者根据所述第二运动矢量U包括的移动方向进行反向处理，得到第三运动矢量W。
8.根据权利要求6或7所述的装置，其特征在于，所述配准模块具体用于，根据所述第一运动矢量V、所述第二运动矢量U、以及所述第三运动矢量W，对所述第一图像的每个像素点所处的第一位置进行位移处理，得到第二位置；根据所述第二位置，得到配准结果，其中，所述第一图像中位于所述第一位置处的像素点与所述第二图像中位于所述第二位置处的像素点具有对应关系。
9.根据权利要求6或7所述的装置，其特征在于，所述装置还包括：
第一运动矢量生成模块，用于采用局部图像配准算法对所述第三图像和所述第四图像进行图像配准处理，得到所述第三图像相对于所述第四图像的第一运动矢量V；
所述第二运动矢量生成模块具体用于，采用全局图像配准算法对所述第一图像和所述第三图像进行图像配准处理，得到所述第一图像相对于所述第三图像的第二运动矢量U。
10.根据权利要求9所述的装置，其特征在于，所述第一运动矢量生成模块具体用于，在确定采用光流算法或块匹配算法对第五图像和第六图像进行图像配准处理的过程结束后，对在所述图像配准处理的过程的结束时刻获取的第三图像以及第四图像，采用所述光流算法或块匹配算法进行图像配准处理，得到所述第三图像相对于所述第四图像的第一运动矢量V；
其中，所述第五图像为所述第一视频序列中在第三时刻拍摄得到的图像，所述第六图像为所述第二视频序列中在所述第三时刻拍摄得到的图像，所述第三时刻为所述第二时刻之前的时刻。
11.一种终端，其特征在于，所述终端包括第一摄像头、第二摄像头和图像配准器，所述第一摄像头和所述第二摄像头并排设置且同时工作，所述图像配准器具体用于，
获取所述第一摄像头拍摄得到的第一视频序列和所述第二摄像头拍摄得到的第二视频序列，所述第一视频序列和所述第二视频序列记录同一场景；
对于所述第一视频序列中在第一时刻拍摄的第一图像，和所述第二视频序列中在所述第一时刻拍摄的第二图像，确定所述第一时刻可用的第一运动矢量V以及所述第一运动矢量V对应的第三图像和第四图像，其中，所述第一运动矢量V为所述第三图像相对于所述第四图像的运动矢量，所述第三图像为所述第一视频序列中在第二时刻拍摄的图像，所述第四图像为所述第二视频序列中在第二时刻拍摄的图像，所述第二时刻为所述第一时刻之前的时刻；
对所述第一图像和所述第三图像进行图像配准处理，得到所述第一图像相对于所述第三图像的第二运动矢量U；
获取所述第四图像相对于所述第二图像的第三运动矢量W；
根据所述第一运动矢量V、所述第二运动矢量U、以及所述第三运动矢量W，得到配准结果，所述配准结果包括所述第一图像中的各像素点与第二图像中的各像素点的对应关系。
12.根据权利要求11所述的终端，其特征在于，所述图像配准器具体用于，采用全局图像配准算法对所述第四图像和第二图像进行图像配准处理，得到所述第四图像相对于所述第二图像的第三运动矢量W；或者根据所述第二运动矢量U包括的移动方向进行反向处理，得到第三运动矢量W。
13.根据权利要求11或12所述的终端，其特征在于，所述图像配准器具体用于，根据所述第一运动矢量V、所述第二运动矢量U、以及所述第三运动矢量W，对所述第一图像的每个像素点所处的第一位置进行位移处理，得到第二位置；
根据所述第二位置，得到配准结果，其中，所述第一图像中位于所述第一位置处的像素点与所述第二图像中位于所述第二位置处的像素点具有对应关系。
14.根据权利要求11或12所述的终端，其特征在于，所述图像配准器还用于，采用局部图像配准算法对所述第三图像和所述第四图像进行图像配准处理，得到所述第三图像相对于所述第四图像的第一运动矢量V；
所述图像配准器具体用于，采用全局图像配准算法对所述第一图像和所述第三图像进行图像配准处理，得到所述第一图像相对于所述第三图像的第二运动矢量U。
15.根据权利要求14所述的终端，其特征在于，所述图像配准器具体用于，在确定采用光流算法或块匹配算法对第五图像和第六图像进行图像配准处理的过程结束后，对在所述图像配准处理的过程的结束时刻获取的第三图像以及第四图像，采用所述光流算法或块匹配算法进行图像配准处理，得到所述第三图像相对于所述第四图像的第一运动矢量V；
其中，所述第五图像为所述第一视频序列中在第三时刻拍摄得到的图像，所述第六图像为所述第二视频序列中在所述第三时刻拍摄得到的图像，所述第三时刻为所述第二时刻之前的时刻。
16.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，存储有一个或多个程序，所述一个或多个程序包括指令，所述指令当被包括摄像头和多个应用程序的便携式电子设备执行时，使所述便携式电子设备执行权利要求1至5中任一项所述方法；其中，所述摄像头包括第一摄像头和第二摄像头。
CN201680025604.9A 2016-03-30 2016-03-30 终端的图像配准方法、装置和终端 Active CN107534736B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/077782 WO2017166081A1 (zh) 2016-03-30 2016-03-30 终端的图像配准方法、装置和终端

Publications (2)

Publication Number Publication Date
CN107534736A CN107534736A (zh) 2018-01-02
CN107534736B true CN107534736B (zh) 2020-04-28

Family

ID=59962449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680025604.9A Active CN107534736B (zh) 2016-03-30 2016-03-30 终端的图像配准方法、装置和终端

Country Status (4)

Country Link
US (1) US10832425B2 (zh)
EP (1) EP3429186B1 (zh)
CN (1) CN107534736B (zh)
WO (1) WO2017166081A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6826010B2 (ja) * 2017-08-09 2021-02-03 株式会社東芝 カメラ運動推定装置、カメラ運動推定方法及びプログラム
CN113364911B (zh) * 2021-06-11 2023-03-07 上海兴容信息技术有限公司 一种预设终端的检测方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685951A (zh) * 2013-12-06 2014-03-26 华为终端有限公司 一种图像处理方法、装置及终端
CN103780840A (zh) * 2014-01-21 2014-05-07 上海果壳电子有限公司 一种高品质成像的双摄像成像装置及其方法
CN103888672A (zh) * 2014-03-31 2014-06-25 宇龙计算机通信科技(深圳)有限公司 一种终端及终端拍摄方法
CN103986875A (zh) * 2014-05-29 2014-08-13 宇龙计算机通信科技(深圳)有限公司 一种图像获取装置、方法、终端及视频获取方法
CN104427211A (zh) * 2013-08-20 2015-03-18 三星泰科威株式会社 图像对齐设备和使用该设备的图像对齐方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6507661B1 (en) 1999-04-20 2003-01-14 Nec Research Institute, Inc. Method for estimating optical flow
US6888566B2 (en) * 1999-12-14 2005-05-03 Canon Kabushiki Kaisha Method and apparatus for uniform lineal motion blur estimation using multiple exposures
KR100556848B1 (ko) * 2003-05-13 2006-03-10 엘지전자 주식회사 디지털 워터마킹을 이용한 동영상 부호화/복호화 장치 및방법
US7672378B2 (en) * 2005-01-21 2010-03-02 Stmicroelectronics, Inc. Spatio-temporal graph-segmentation encoding for multiple video streams
SE529157C2 (sv) * 2005-07-01 2007-05-15 Daniel Forsgren Bildförbättring vid registrering av sporthändelser
US8111300B2 (en) 2009-04-22 2012-02-07 Qualcomm Incorporated System and method to selectively combine video frame image data
US8890937B2 (en) * 2009-06-01 2014-11-18 The Curators Of The University Of Missouri Anonymized video analysis methods and systems
JP5258722B2 (ja) 2009-09-24 2013-08-07 富士フイルム株式会社 複眼カメラ及びその制御方法
WO2011129361A1 (ja) * 2010-04-15 2011-10-20 コニカミノルタホールディングス株式会社 画像処理システム、画像処理方法、およびプログラム
JP5643563B2 (ja) 2010-07-22 2014-12-17 キヤノン株式会社 画像処理装置及びその制御方法
US9939253B2 (en) * 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
CN103996200B (zh) 2014-06-11 2017-12-12 四川华雁信息产业股份有限公司 一种基于图像子块参数的快速图像配准方法
KR101822892B1 (ko) * 2014-12-10 2018-01-29 엘지전자 주식회사 차량 운전 보조 장치 및 차량 운전 보조 장치의 동작 방법
US10447926B1 (en) * 2015-06-19 2019-10-15 Amazon Technologies, Inc. Motion estimation based video compression and encoding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104427211A (zh) * 2013-08-20 2015-03-18 三星泰科威株式会社 图像对齐设备和使用该设备的图像对齐方法
CN103685951A (zh) * 2013-12-06 2014-03-26 华为终端有限公司 一种图像处理方法、装置及终端
CN103780840A (zh) * 2014-01-21 2014-05-07 上海果壳电子有限公司 一种高品质成像的双摄像成像装置及其方法
CN103888672A (zh) * 2014-03-31 2014-06-25 宇龙计算机通信科技(深圳)有限公司 一种终端及终端拍摄方法
CN103986875A (zh) * 2014-05-29 2014-08-13 宇龙计算机通信科技(深圳)有限公司 一种图像获取装置、方法、终端及视频获取方法

Also Published As

Publication number Publication date
EP3429186B1 (en) 2022-08-24
WO2017166081A1 (zh) 2017-10-05
CN107534736A (zh) 2018-01-02
US10832425B2 (en) 2020-11-10
EP3429186A4 (en) 2019-03-27
EP3429186A1 (en) 2019-01-16
US20190114793A1 (en) 2019-04-18

Similar Documents

Publication Publication Date Title
CN111328448B (zh) 图像处理的方法和设备
CN110322542B (zh) 重建真实世界3d场景的视图
KR102105189B1 (ko) 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법
EP2981061A1 (en) Method and apparatus for displaying self-taken images
CN111935393A (zh) 拍摄方法、装置、电子设备和存储介质
CN106997579B (zh) 图像拼接的方法和装置
CN113973190A (zh) 视频虚拟背景图像处理方法、装置及计算机设备
JP2009533924A (ja) フレーム選択を用いるパノラマ画像の構成
CN110941332A (zh) 表情驱动方法、装置、电子设备及存储介质
CN110084765B (zh) 一种图像处理方法、图像处理装置及终端设备
CN112258404A (zh) 图像处理方法、装置、电子设备和存储介质
KR20200000106A (ko) 객체의 3차원 모델을 복원하는 방법 및 장치
JP2023515410A (ja) 髪のレンダリング方法、装置、電子機器及び記憶媒体
CN109495733B (zh) 三维影像重建方法、装置及其非暂态电脑可读取储存媒体
CN112995491B (zh) 视频生成方法、装置、电子设备及计算机存储介质
CN107534736B (zh) 终端的图像配准方法、装置和终端
WO2014159789A1 (en) Motion blur aware visual pose tracking
CN113838151B (zh) 相机标定方法、装置、设备及介质
KR101586071B1 (ko) 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법
WO2024104439A1 (zh) 图像插帧方法、装置、设备及计算机可读存储介质
CN111726526B (zh) 一种图像处理方法、装置、电子设备和存储介质
CN111292234B (zh) 一种全景图像生成方法及装置
JP2018157531A (ja) マルチレンズ光学装置
CN111314627B (zh) 用于处理视频帧的方法和装置
WO2017096859A1 (zh) 照片的处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant