CN109040525B - 图像处理方法、装置、计算机可读介质及电子设备 - Google Patents

Abstract

本发明的实施例提供了一种图像处理方法、装置、计算机可读介质及电子设备。该图像处理方法包括：获取采用卷帘快门的相机在拍摄过程中对各行图像的读出时间点，以及所述相机在拍摄过程中的IMU数据；根据所述各行图像的读出时间点和所述IMU数据，确定所述各行图像的读出时间点中对应的相机位置与所述相机在拍摄过程中的各个位置点之间的距离总和最短的目标读出时间点；根据所述目标读出时间点和所述IMU数据，确定所述相机拍摄的图像的真实位置信息。本发明实施例的技术方案简化了果冻效应的处理过程，有效降低了消除果冻效应的算法难度及复杂度，有利于提高同步定位与地位构建的精度和准确度。

Description

图像处理方法、装置、计算机可读介质及电子设备

技术领域

本发明涉及计算机及通信技术领域，具体而言，涉及一种图像处理方法、装置、计算机可读介质及电子设备。

背景技术

惯性测量单元(Inertial measurement unit，简称IMU)是测量物体三轴姿态角(或角速度)以及加速度的装置。视觉惯导融合定位和重建是将视觉信息(一般是指普通摄像头拍摄得到的二维图像)和惯导信息(一般指IMU输出的角速度信息和加速度信息)进行融合，并用于定位和环境重建的技术。由于目前移动端(如手机、平板电脑等)安装的基本都是采用卷帘快门的相机，这种相机在高速运动下拍摄出的图像会产生果冻效应(即会存在几何变形)，进而会给视觉惯导融合定位和重建造成了严重的影响，但是目前的算法实现复杂度较高。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的实施例提供了一种图像处理方法、装置、计算机可读介质及电子设备，进而至少在一定程度上可以降低消除果冻效应的算法难度及复杂度。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明实施例的一个方面，提供了一种图像处理方法，包括：获取采用卷帘快门的相机在拍摄过程中对各行图像的读出时间点，以及所述相机在拍摄过程中的IMU数据；根据所述各行图像的读出时间点和所述IMU数据，确定所述各行图像的读出时间点中对应的相机位置与所述相机在拍摄过程中的各个位置点之间的距离总和最短的目标读出时间点；根据所述目标读出时间点和所述IMU数据，确定所述相机拍摄的图像的真实位置信息。

根据本发明实施例的一个方面，提供了一种图像处理装置，包括：获取单元，用于获取采用卷帘快门的相机在拍摄过程中对各行图像的读出时间点，以及所述相机在拍摄过程中的IMU数据；第一处理单元，用于根据所述各行图像的读出时间点和所述IMU数据，确定所述各行图像的读出时间点中对应的相机位置与所述相机在拍摄过程中的各个位置点之间的距离总和最短的目标读出时间点；第二处理单元，用于根据所述目标读出时间点和所述IMU数据，确定所述相机拍摄的图像的真实位置信息。

在本发明的一些实施例中，基于前述方案，所述第一处理单元包括：第一确定单元，用于根据所述各行图像的读出时间点和所述IMU数据，确定所述各行图像的读出时间点与相机位置之间的关联关系；第二确定单元，用于根据所述各行图像的读出时间点与相机位置之间的关联关系，确定所述各行图像的读出时间点对应的相机位置；第三确定单元，用于基于所述各行图像的读出时间点对应的相机位置，确定所述目标读出时间点。

在本发明的一些实施例中，基于前述方案，所述第一确定单元配置为：根据所述IMU数据构建位置和时间之间的关系函数；基于所述各行图像的读出时间点和所述关系函数，确定所述各行图像的读出时间点与相机位置之间的关联关系。

在本发明的一些实施例中，基于前述方案，所述第三确定单元配置为：从所述各行图像的读出时间点中确定一个时间点t′_k作为所述目标读出时间点，以使以下公式的值最小：

其中，

表示读出时间点t_k对应的相机位置；

表示读出时间点t′_k对应的相机位置；t₀表示所述相机对第一行图像的读出时间点；t₁表示所述相机对最后一行图像的读出时间点。

在本发明的一些实施例中，基于前述方案，所述第二处理单元配置为：确定所述相机在拍摄过程中对第一行图像的读出时间点；对所述第一行图像的读出时间点与所述目标读出时间点之间的IMU数据进行积分，以确定所述相机拍摄的图像的真实位置信息。

在本发明的一些实施例中，基于前述方案，所述相机拍摄的图像的真实位置信息包括：相对于所述第一行图像的位置数据、速度数据和旋转数据。

在本发明的一些实施例中，基于前述方案，所述的图像处理装置还包括：第三处理单元，用于在确定所述相机拍摄的图像的真实位置信息之后，根据所述相机拍摄的图像的真实位置信息进行同步定位与地图构建。

在本发明的一些实施例中，基于前述方案，所述的图像处理装置还包括：第四处理单元，用于在确定所述相机拍摄的图像的真实位置信息之后，根据所述相机拍摄的图像的真实位置信息对所述相机拍摄的图像进行修正，以消除所述相机拍摄的图像中的几何形变。

在本发明的一些实施例中，基于前述方案，所述获取单元配置为：通过设置在所述相机上的惯性测量单元获取所述相机在拍摄过程中的IMU数据。

根据本发明实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的图像处理方法。

根据本发明实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的图像处理方法。

在本发明的一些实施例所提供的技术方案中，通过根据采用卷帘快门的相机在拍摄过程中对各行图像的读出时间点和相机在拍摄过程中的IMU数据，确定各行图像的读出时间点中的相机位置与相机在拍摄过程中的各个位置点之间的距离总和最短的目标读出时间点，以根据该目标读出时间点和IMU数据确定相机拍摄的图像的真实位置信息，使得能够通过IMU数据和各行图像的读出时间点来确定一个最优的目标读出时间点，以据此来确定相机拍摄的图像的真实位置信息，简化了果冻效应的处理过程，有效降低了消除果冻效应的算法难度及复杂度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本发明实施例的图像处理方法或图像处理装置的示例性系统架构的示意图；

图2示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图；

图3示意性示出了根据本发明的一个实施例的图像处理方法的流程图；

图4示意性示出了根据本发明的一个实施例的确定目标读出时间点的流程图；

图5示意性示出了根据本发明的一个实施例的基于视觉惯导信息融合进行同步定位和环境重建的场景图；

图6示出了根据本发明的一个实施例的不同大小的物体与相机处于不同距离时在相机中的投影示意图；

图7示意性示出了采用卷帘快门的相机和采用全局快门的相机拍摄出的图像的对比效果图；

图8示意性示出了根据本发明的一个实施例的图像优化处理的原理图；

图9示意性示出了本发明实施例中提出的优化方案与恒定速度的优化方案之间的效果对比图；

图10示意性示出了根据本发明的一个实施例的图像处理装置的框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示出了可以应用本发明实施例的图像处理方法或图像处理装置的示例性系统架构100的示意图。

如图1所示，系统架构100可以包括终端设备(如图1中所示智能手机101、平板电脑102和便携式计算机103中的一种或多种，当然也可以是台式计算机等等)、网络104和服务器105。网络104用以在终端设备和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线通信链路、无线通信链路等等。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。

终端设备可以通过网络104与服务器105进行交互，例如终端设备103(也可以是终端设备101或102)上安装了惯性测量单元(即IMU)和采用卷帘快门的相机，进而终端设备103可以向服务器105上传相机在拍摄过程中对各行图像的读出时间点，以及相机在拍摄过程中的IMU数据。服务器105在获取到各行图像的读出时间点和该IMU数据之后，可以根据各行图像的读出时间点和该IMU数据，确定各行图像的读出时间点中对应的相机位置与相机在拍摄过程中的各个位置点之间的距离总和最短的目标读出时间点，进而根据该目标读出时间点和该IMU数据，确定相机拍摄的图像的真实位置信息，以基于该真实位置信息来进行同步定位与地图构建。

需要说明的是，本发明实施例所提供的图像处理方法一般由服务器105执行，相应地，图像处理装置一般设置于服务器105中。但是，在本发明的其它实施例中，终端设备也可以与服务器具有相似的功能，从而执行本发明实施例所提供的图像处理方案。

图2示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图2示出的电子设备的计算机系统200仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图2所示，计算机系统200包括中央处理单元(Central Processing Unit，CPU)201，其可以根据存储在只读存储器(Read-Only Memory，ROM)202中的程序或者从存储部分208加载到随机访问存储器(Random Access Memory，RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统操作所需的各种程序和数据。CPU 201、ROM202以及RAM 203通过总线204彼此相连。输入/输出(Input/Output，I/O)接口205也连接至总线204。

以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分207；包括硬盘等的存储部分208；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入存储部分208。

特别地，根据本发明的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本发明实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图3至图4所示的各个步骤。

以下对本发明实施例的技术方案的实现细节进行详细阐述：

图3示意性示出了根据本发明的一个实施例的图像处理方法的流程图，该图像处理方法可以由服务器来执行，该服务器可以是图1中所示的服务器；另外该图像处理方法也可以由终端设备执行，比如可以是图1中所示的终端设备。参照图3所示，该图像处理方法至少包括步骤S310至步骤S340，详细介绍如下：

在步骤S310中，获取采用卷帘快门的相机在拍摄过程中对各行图像的读出时间点，以及所述相机在拍摄过程中的IMU数据。

在本发明的一个实施例中，卷帘快门(Rolling Shutter)在曝光开始时会将像素值清零，然后等待曝光时间过后将信号值读出，因为信号值的读出是串行的，所以清零/曝光/读出也只能逐行顺序进行，通常是从上至下。如果被拍摄物体相对于相机高速运动，且采用卷帘快门的相机逐行扫描速度不够，那么拍摄结果就可能出现“倾斜”、“摇摆不定”或“部分曝光”等现象，即所谓的果冻效应。

在本发明的一个实施例中，相机在拍摄过程中的IMU数据可以由设置在相机上的惯性测量单元来获取。其中，相机可以是移动终端(如手机、平板电脑、可穿戴设备等)上集成的相机，也可以单独的照相机设备。

在本发明的一个实施例中，IMU数据包括角速度信息、加速度信息、旋转信息等。

在步骤S320中，根据所述各行图像的读出时间点和所述IMU数据，确定所述各行图像的读出时间点中对应的相机位置与所述相机在拍摄过程中的各个位置点之间的距离总和最短的目标读出时间点。

在本发明的一个实施例中，如图4所示，步骤S320中确定目标读出时间点的过程具体可以包括如下步骤：

步骤S410，根据所述各行图像的读出时间点和所述IMU数据，确定所述各行图像的读出时间点与相机位置之间的关联关系。

在本发明的一个实施例中，由于IMU数据记录了相机在移动过程中各个IMU离散测量时刻的角速度信息、加速度信息和旋转信息，因此可以根据IMU数据来构建位置和时间之间的关系函数，进而基于该关系函数和各行图像的读出时间点来确定各行图像的读出时间点与相机位置之间的关联关系。可选地，各行图像的读出时间点与相机位置之间的关联关系可以是各行图像的读出时间点与相机位置之间的对应关系。

步骤S420，根据所述各行图像的读出时间点与相机位置之间的关联关系，确定所述各行图像的读出时间点对应的相机位置。

在本发明的一个实施例中，各行图像的读出时间点对应的相机位置可以是相机在各个读出时间点处的位置信息。

步骤S430，基于所述各行图像的读出时间点对应的相机位置，确定所述目标读出时间点。

在本发明的一个实施例中，可以从各行图像的读出时间点中确定一个时间点t′_k作为所述的目标读出时间点，以使以下公式的值最小：

其中，

表示读出时间点t_k对应的相机位置；

表示读出时间点t′_k对应的相机位置；t₀表示所述相机对第一行图像的读出时间点；t₁表示所述相机对最后一行图像的读出时间点。

继续参照图3所示，在步骤S330中，根据所述目标读出时间点和所述IMU数据，确定所述相机拍摄的图像的真实位置信息。

在本发明的一个实施例中，步骤S330中确定相机拍摄的图像的真实位置信息的过程，具体可以包括：确定相机在拍摄过程中对第一行图像的读出时间点，对该第一行图像的读出时间点与所述目标读出时间点之间的IMU数据进行积分，以确定所述相机拍摄的图像的真实位置信息。

在本发明的一个实施例中，对IMU数据进行积分得到的积分结果包括了位置数据、速度数据和旋转数据。同时，相机拍摄的图像的真实位置信息包括了：相机拍摄的图像相对于前述的第一行图像的位置数据、速度数据和旋转数据。

在本发明的一个实施例中，在对第一行图像的读出时间点t_1d与目标读出时间点t_md之间的IMU数据进行积分时，可以确定之前是否已经对t_1d与t_mm之间的IMU数据进行了积分(t_mm处于t_1d与t_md之间)，如果已经对t_1d与t_mm之间的IMU数据进行了积分，则可以读出这部分IMU数据的积分结果，然后对t_mm与t_md之间的IMU数据进行积分，进而根据t_1d与t_mm之间的IMU数据的积分结果和t_mm与t_md之间的IMU数据的积分结果，生成t_1d与t_md之间的IMU数据的积分结果。该实施例中由于复用了部分时间段内的IMU数据的积分结果，因此无需重复计算这部分时间段内的IMU数据积分，进而能够降低IMU数据积分的计算量，提高了IMU数据的积分效率。

在本发明的一个实施例中，在确定相机拍摄的图像的真实位置信息之后，可以根据相机拍摄的图像的真实位置信息进行同步定位与地图构建，由于得到了相机拍摄的图像的真实位置信息，因此能够提高同步定位与地位构建的精度和准确度。

在本发明的一个实施例中，在确定相机拍摄的图像的真实位置信息之后，可以根据相机拍摄的图像的真实位置信息对相机拍摄的图像进行修正，以消除相机拍摄的图像中的几何形变，即可以消除图像中的果冻效应，确保得到的图像能够真实体现的物体实际状态。

以下以基于视觉惯导信息融合进行同步定位和环境重建的场景中来对图像进行处理为例，对本发明实施例的一个具体应用场景进行详细阐述：

在本发明的一个实施例中，可以通过移动端上的传感器实时地对移动端的位置进行定位，并重建移动端周边的环境，这里的移动端可以是一台智能移动终端(如智能手机、平板电脑等)或者是一台移动机器人等。比如，可以是图5中所示的手机510，手机510上至少有两个传感器：一个是图像传感器，一个是IMU(包括用于测量三轴加速度的加速度计和测量三轴角速度的陀螺仪等)。即通过手机510可以实时获取到手机510上的相机采集到的视频流和IMU数据流。其中，相机采集到的视频流提供了相机在不同时刻对外部环境的观察效果，其采集频率一般为30Hz；IMU数据流提供了手机510在不同时刻的加速度和角速度，其频率一般为200Hz。

由于通过相机拍摄所得到的图像是二维的，其是对三维环境的一个降维表示，但是可以通过相机在不同时刻、不同位置所拍摄得到的图像来重构三维世界以及推断相机在不同时刻的历史位置，这个过程即为“同步定位与地图构建”。当有了手机的位置和周边的环境信息后，就能够与周边的环境进行交互，例如在手机端的VR(Virtual Reality，虚拟现实)和AR(Augmented Reality，增强现实)应用，由于已知了周围的环境信息，因此可以把虚拟的物品放置在真实环境中。同时，由于已知了手机的位置，因此可以将真实的环境和虚拟的环境通过相对应的位置关系渲染得到用户看到的图像并显示在手机屏幕上；在商场的导航中，由于重建了周边的环境信息，因此可以识别到用户身处的环境，同时由于已知了手机的位置，因此可以指引手机用户到附近最近的餐厅、商店洗手间等；在机器人执行任务时，由于重建了周边的环境信息，因此机器人可以躲开障碍物，同时由于机器人知道其所处的位置，因此机器人可以规划下一步的路径，并到达其要到达的地方执行相应的任务。可见，同步定位与地图构建在计算机视觉方面是一个非常重要的方向，有着广阔的应用前景。

在本发明的一个实施例中，移动端(如手机)在进行同步定位和环境重建时往往需要具备如下要求：

1、实时性：同步定位与地图构建的计算过程通常是在线的，而不是离线的，因此需要实时计算出移动端在不同时刻的位置和重构周边的环境，以满足移动端应用的需要。

2、与用户感知到的世界的尺度相同：同步定位与地图构建所获得的位置信息和所构建的地图尺度是不确定的，这是仅仅利用单个相机作为同步定位与地图构建的输入的最大缺点。简单地说，这个缺点来源于不同大小的物体与相机处于不同距离时，其在相机中的投影可能是一样的，比如如图6中所示的物体1、物体2和物体3，其大小不同，并且与相机之间的距离也不同，但是在相机中的投影可能是一样的。为了解决这个尺度不确定的问题，在本发明的实施例中引入了IMU，即移动端上的加速度计(测量物体的三轴加速度)和陀螺仪(测量物体的三轴角速率)。由于IMU测量的信息是对用户所处的真实世界的测量，因此将其与相机采集到的信息融合后得到的位置信息和所构建的地图尺度与真实世界保持了一致。

3、适用性强：同步定位与地图构建时所提出的算法需要适用于大部分的移动设备(如智能手机、平板电脑等)。由于大部分移动设备上安装的摄像头都是采用卷帘快门的相机，这种相机拍出来的图像在运动下会有几何形变，给同步定位与地图构建造成了严重的影响。具体如图7所示，在相机与物体之间存在相对运动的情况下，采用卷帘快门的相机拍摄出的图像相比于采用全局快门的相机拍摄出的图像具有较大的形变，这种形变对三维运动的估计和重建会造成严重的影响，进而会导致同步定位与地图构建的准确性。

为了消除采用卷帘快门的相机拍摄出的图像中的形变，本发明的实施例提出了一种算法复杂度低、效果好的图像处理方案，并且其对同步定位与地图构建的求解几乎没有影响，以下详细进行阐述：

在本发明的一个实施例中，可以用一个在相机和IMU之间的时间偏移来近似补偿卷帘快门带来的形变。如图8所示，图8中(a)图表示由采用卷帘快门的相机拍摄出的图像的示意图，可见图像的每一行是在不同的时刻读出的，当相机运动时，不同时刻对应了不同的相机位置或移动物体位置。图8中(b)图是寻找一个合适的时刻t′_ck，然后假设所有的图像行都在这个时刻读出，这种处理方式大大地简化了卷帘快门效应的补偿难度，具备算法实现简单和算法复杂度低的特点。

在本发明的一个实施例中，寻找这个合适的时刻的原则是：找出一个时刻，其对应的相机位置与相机真实轨迹位置在整个卷帘快门读出时间之内的差值最小。也就是说，假设相机在t_k时刻的位置为

相机的第一行读出时间为t₀，最后一行的读出时间为t₁，通过以下公式求出时间t′_k：

在本发明的一个实施例中，可以根据相机在拍摄图像时的IMU数据来确定时间和位置之间的函数关系，然后基于该函数关系，并根据t_k来确定

在本发明的一个实施例中，在求出t′_k之后，即可根据相机在拍摄图像时的IMU数据来确定相机拍摄的图像的真实位置信息，然后据此进行同步定位与地图构建。

图9示意性示出了本发明实施例中提出的优化方案与恒定速度的优化方案之间的效果对比图。其中，恒定速度的优化方案通常假设速度在一段时间内恒定不变，然后利用这个速度“矫正”卷帘快门图像，使其变成一个全局快门图像。图9中(a)图中的911表示图像第一行的读出时间，912表示图像最后一行的读出时间，913表示相机的真实轨迹，914表示恒定速度的优化方案得出的近似轨迹，915表示本发明实施例的优化方案得出的近似轨迹；图9中(b)图中的921表示图像第一行的读出时间，922表示图像最后一行的读出时间，923表示相机的真实轨迹，924表示恒定速度的优化方案得出的近似轨迹，925表示本发明实施例的优化方案得出的近似轨迹；图9中(c)图中的931表示图像第一行的读出时间，932表示图像最后一行的读出时间，933表示相机的真实轨迹，934表示恒定速度的优化方案得出的近似轨迹，935表示本发明实施例的优化方案得出的近似轨迹。由图9可以看出，相比于恒定速度的优化方案，本发明实施例的优化方案在相机运动变化比较大的情况下，优化效果会更好。同时，由于本发明实施例的技术方案不需要计算额外的变量，如恒定速度优化方案中的速度变量，因此算法实现简单、且复杂度较低。

以下介绍本发明的装置实施例，可以用于执行本发明上述实施例中的图像处理方法。对于本发明装置实施例中未披露的细节，请参照本发明上述的图像处理方法的实施例。

图10示意性示出了根据本发明的一个实施例的图像处理装置的框图。

参照图10所示，根据本发明的一个实施例的图像处理装置100，包括：获取单元1002、第一处理单元1004和第二处理单元1006。

其中，获取单元1002用于获取采用卷帘快门的相机在拍摄过程中对各行图像的读出时间点，以及所述相机在拍摄过程中的IMU数据；第一处理单元1004用于根据所述各行图像的读出时间点和所述IMU数据，确定所述各行图像的读出时间点中对应的相机位置与所述相机在拍摄过程中的各个位置点之间的距离总和最短的目标读出时间点；第二处理单元1006用于根据所述目标读出时间点和所述IMU数据，确定所述相机拍摄的图像的真实位置信息。

在本发明的一个实施例中，第一处理单元1004包括：第一确定单元，用于根据所述各行图像的读出时间点和所述IMU数据，确定所述各行图像的读出时间点与相机位置之间的关联关系；第二确定单元，用于根据所述各行图像的读出时间点与相机位置之间的关联关系，确定所述各行图像的读出时间点对应的相机位置；第三确定单元，用于基于所述各行图像的读出时间点对应的相机位置，确定所述目标读出时间点。

在本发明的一个实施例中，所述第一确定单元配置为：根据所述IMU数据构建位置和时间之间的关系函数；基于所述各行图像的读出时间点和所述关系函数，确定所述各行图像的读出时间点与相机位置之间的关联关系。

在本发明的一个实施例中，所述第三确定单元配置为：从所述各行图像的读出时间点中确定一个时间点t′_k作为所述目标读出时间点，以使以下公式的值最小：

其中，

表示读出时间点t_k对应的相机位置；

表示读出时间点t′_k对应的相机位置；t₀表示所述相机对第一行图像的读出时间点；t₁表示所述相机对最后一行图像的读出时间点。

在本发明的一个实施例中，第二处理单元1006配置为：确定所述相机在拍摄过程中对第一行图像的读出时间点；对所述第一行图像的读出时间点与所述目标读出时间点之间的IMU数据进行积分，以确定所述相机拍摄的图像的真实位置信息。

在本发明的一个实施例中，所述相机拍摄的图像的真实位置信息包括：相对于所述第一行图像的位置数据、速度数据和旋转数据。

在本发明的一个实施例中，所述的图像处理装置100还包括：第三处理单元，用于在确定所述相机拍摄的图像的真实位置信息之后，根据所述相机拍摄的图像的真实位置信息进行同步定位与地图构建。

在本发明的一个实施例中，所述的图像处理装置100还包括：第四处理单元，用于在确定所述相机拍摄的图像的真实位置信息之后，根据所述相机拍摄的图像的真实位置信息对所述相机拍摄的图像进行修正，以消除所述相机拍摄的图像中的几何形变。

在本发明的一个实施例中，获取单元1002配置为：通过设置在所述相机上的惯性测量单元获取所述相机在拍摄过程中的IMU数据。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (20)

1.一种图像处理方法，其特征在于，包括：

获取采用卷帘快门的相机在拍摄过程中对各行图像的读出时间点，以及所述相机在拍摄过程中的IMU数据；

根据所述各行图像的读出时间点和所述IMU数据，确定所述各行图像的读出时间点中对应的相机位置与所述相机在拍摄过程中的各个位置点之间的距离总和最短的目标读出时间点；

根据所述目标读出时间点和所述IMU数据，确定所述相机拍摄的图像的真实位置信息，所述真实位置信息包括：相对于第一行图像的位置数据和旋转数据，所述第一行图像是相机在拍摄过程中读取出的。

2.根据权利要求1所述的图像处理方法，其特征在于，根据所述各行图像的读出时间点和所述IMU数据，确定所述各行图像的读出时间点中对应的相机位置与所述相机在拍摄过程中的各个位置点之间的距离总和最短的目标读出时间点，包括：

根据所述各行图像的读出时间点和所述IMU数据，确定所述各行图像的读出时间点与相机位置之间的关联关系；

根据所述各行图像的读出时间点与相机位置之间的关联关系，确定所述各行图像的读出时间点对应的相机位置；

基于所述各行图像的读出时间点对应的相机位置，确定所述目标读出时间点。

3.根据权利要求2所述的图像处理方法，其特征在于，根据所述各行图像的读出时间点和所述IMU数据，确定所述各行图像的读出时间点与相机位置之间的关联关系，包括：

根据所述IMU数据构建位置和时间之间的关系函数；

基于所述关系函数和所述各行图像的读出时间点，确定所述各行图像的读出时间点与相机位置之间的关联关系。

4.根据权利要求2所述的图像处理方法，其特征在于，基于所述各行图像的读出时间点对应的相机位置，确定所述目标读出时间点，包括：

从所述各行图像的读出时间点中确定一个时间点t′_k作为所述目标读出时间点，以使以下公式的值最小：

其中，

表示读出时间点t_k对应的相机位置；

表示读出时间点t′_k对应的相机位置；t₀表示所述相机对第一行图像的读出时间点；t₁表示所述相机对最后一行图像的读出时间点。

5.根据权利要求1所述的图像处理方法，其特征在于，根据所述目标读出时间点和所述IMU数据，确定所述相机拍摄的图像的真实位置信息，包括：

确定所述相机在拍摄过程中对第一行图像的读出时间点；

对所述第一行图像的读出时间点与所述目标读出时间点之间的IMU数据进行积分，以确定所述相机拍摄的图像的真实位置信息。

6.根据权利要求1所述的图像处理方法，其特征在于，所述相机拍摄的图像的真实位置信息还包括：相对于所述第一行图像的速度数据。

7.根据权利要求1所述的图像处理方法，其特征在于，还包括：

在确定所述相机拍摄的图像的真实位置信息之后，根据所述相机拍摄的图像的真实位置信息进行同步定位与地图构建。

8.根据权利要求1所述的图像处理方法，其特征在于，还包括：

在确定所述相机拍摄的图像的真实位置信息之后，根据所述相机拍摄的图像的真实位置信息对所述相机拍摄的图像进行修正，以消除所述相机拍摄的图像中的几何形变。

9.根据权利要求1至8中任一项所述的图像处理方法，其特征在于，通过设置在所述相机上的惯性测量单元获取所述相机在拍摄过程中的IMU数据。

10.一种图像处理装置，其特征在于，包括：

获取单元，用于获取采用卷帘快门的相机在拍摄过程中对各行图像的读出时间点，以及所述相机在拍摄过程中的IMU数据；

第一处理单元，用于根据所述各行图像的读出时间点和所述IMU数据，确定所述各行图像的读出时间点中对应的相机位置与所述相机在拍摄过程中的各个位置点之间的距离总和最短的目标读出时间点；

第二处理单元，用于根据所述目标读出时间点和所述IMU数据，确定所述相机拍摄的图像的真实位置信息，所述真实位置信息包括：相对于第一行图像的位置数据和旋转数据，所述第一行图像是相机在拍摄过程中读取出的。

11.根据权利要求10所述的图像处理装置，其特征在于，所述第一处理单元包括：

第一确定单元，用于根据所述各行图像的读出时间点和所述IMU数据，确定所述各行图像的读出时间点与相机位置之间的关联关系；

第二确定单元，用于根据所述各行图像的读出时间点与相机位置之间的关联关系，确定所述各行图像的读出时间点对应的相机位置；

第三确定单元，用于基于所述各行图像的读出时间点对应的相机位置，确定所述目标读出时间点。

12.根据权利要求11所述的图像处理装置，其特征在于，所述第一确定单元配置为：根据所述IMU数据构建位置和时间之间的关系函数；基于所述各行图像的读出时间点和所述关系函数，确定所述各行图像的读出时间点与相机位置之间的关联关系。

13.根据权利要求11所述的图像处理装置，其特征在于，所述第三确定单元配置为：从所述各行图像的读出时间点中确定一个时间点t′_k作为所述目标读出时间点，以使以下公式的值最小：

其中，

表示读出时间点t_k对应的相机位置；

表示读出时间点t′_k对应的相机位置；t₀表示所述相机对第一行图像的读出时间点；t₁表示所述相机对最后一行图像的读出时间点。

14.根据权利要求10所述的图像处理装置，其特征在于，所述第二处理单元配置为：确定所述相机在拍摄过程中对第一行图像的读出时间点；对所述第一行图像的读出时间点与所述目标读出时间点之间的IMU数据进行积分，以确定所述相机拍摄的图像的真实位置信息。

15.根据权利要求10所述的图像处理装置，其特征在于，所述相机拍摄的图像的真实位置信息还包括：相对于所述第一行图像的速度数据。

16.根据权利要求10所述的图像处理装置，其特征在于，所述的图像处理装置还包括：

第三处理单元，用于在确定所述相机拍摄的图像的真实位置信息之后，根据所述相机拍摄的图像的真实位置信息进行同步定位与地图构建。

17.根据权利要求10所述的图像处理装置，其特征在于，所述的图像处理装置还包括：

第四处理单元，用于在确定所述相机拍摄的图像的真实位置信息之后，根据所述相机拍摄的图像的真实位置信息对所述相机拍摄的图像进行修正，以消除所述相机拍摄的图像中的几何形变。

18.根据权利要求10至17中任一项所述的图像处理装置，其特征在于，所述获取单元配置为：通过设置在所述相机上的惯性测量单元获取所述相机在拍摄过程中的IMU数据。

19.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的图像处理方法。

20.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至9中任一项所述的图像处理方法。

Images