CN107454307B - 图像处理装置、图像处理方法以及记录介质 - Google Patents

Abstract

本发明提供一种图像处理装置、图像处理方法以及记录介质，在拍摄定时相同且拍摄方向不同的两个图像(FG1、FG2)中，将拍摄方向相对于一个图像(FG1)的拍摄方向处于规定的关系的另一个图像(FG2)设为分割对象，将该分割对象的图像(FG2)分割为第1分割图像(FG2‑L)和第2分割图像(FG2‑R)，将该第1分割图像和第2分割图像分别与作为一个图像(FG1)的两端侧的、与一个图像(FG1)的拍摄方向正交的方向的两端侧进行合成。

Description

图像处理装置、图像处理方法以及记录介质

技术领域

本发明涉及图像处理装置、图像处理方法以及记录介质。

背景技术

一直以来，如JP特表2008-507449号公报中所记载的那样，已知一种在画面上同时再生显示采用多台照相机同时拍摄的拍摄方向不同的动态图像(以下称作运动图像)的技术。

根据上述技术，阅览者能够同时观察不同方向的视野的映像。

但是，将这些多台照相机设置于移动体，在图像的端部合成由这些照相拍摄的运动图像，例如使流动的风景的多个运动图像同时再生时，由该再生映像难以对阅览者提供临场感，存在具有给予不协调的感觉的可能性这样的问题。

发明内容

本申请发明正是鉴于这样的问题点而提出的，其目的在于在对通过拍摄、合成而生成的大范围的图像进行再生显示的情况下，能够保证临场感。

本发明的第1观点相关的图像处理装置，其特征在于，具备：图像取得单元，取得拍摄定时相同且拍摄方向不同的两个图像；分割单元，在通过所述图像取得单元取得的所述两个图像中，将拍摄方向相对于一个图像的拍摄方向处于规定的关系的另一个图像分割为第1分割图像和第2分割图像；和合成单元，将所述第1分割图像和所述第2分割图像与所述一个图像的两端侧分别进行合成。

此外，本发明的第2观点相关的图像处理方法，其特征在于，包括：图像取得步骤，取得拍摄定时相同并且拍摄方向不同的两个图像；分割步骤，在所述图像取得步骤所取得的所述两个图像中，将拍摄方向相对于一个图像的拍摄方向处于规定的关系的另一个图像分割为第1分割图像和第 2分割图像；和合成步骤，将所述第1分割图像和所述第2分割图像分别与所述一个图像的两端侧进行合成。

此外，本发明的第2观点相关的计算机可读取的记录介质，其特征在于，记录有使该计算机作为以下单元发挥功能的程序：图像取得单元，取得拍摄定时相同且拍摄方向不同的两个图像；分割单元，在通过所述图像取得单元取得的所述两个图像中，将拍摄方向相对于一个图像的拍摄方向处于规定的关系的另一个图像分割为第1分割图像和第2分割图像；和合成单元，将所述第1分割图像和所述第2分割图像与所述一个图像的两端侧分别进行合成。

附图说明

图1是表示与本发明的一实施方式相关的图像处理装置、以及摄像装置的主要部分的框图。

图2为表示图像处理装置的处理过程的流程图。

图3为接着图2的流程图。

图4A为表示移动体中的第1摄像装置200a和第2摄像装置200b的配置的图。

图4B为表示第1运动图像数据中的图像的运动矢量组的例子的图。

图4C为表示第2运动图像数据中的图像的运动矢量组的例子的图。

图5A为表示第1运动图像数据中的图像的运动矢量组的例子的图。

图5B为表示第2运动图像数据中的图像的运动矢量组的例子的图。

图5C为表示第1模式下的图像处理装置的处理内容的说明图。

图6A为表示第2运动图像数据中的图像的运动矢量组的例子的图。

图6B为表示第2运动图像数据中的图像的运动矢量组的例子的图。

图6C为表示第2模式下的图像处理装置的处理内容的说明图。

具体实施方式

以下，对本发明的实施方式进行说明。图1为表示作为本发明的一实施方式而例示的图像处理装置100、和与该图像处理装置100能通信的摄像装置200a、200b的主要部分的框图。

如后述那样，图像处理装置100具有如下功能：采用无线的方式分别取得由摄像装置200a、200b单独地拍摄并存储的两个运动图像数据，根据所取得的双方的运动图像数据生成新的运动图像数据，对基于所生成的运动图像数据的运动图像进行再生显示以及对该运动图像数据进行保存。

图像处理装置100具体通过智能手机(多功能便携式电话机)、平板型的个人计算机等实现，图像处理装置100中包括以下各部分。即图像处理装置100具备显示部101、图像处理部102、程序存储器103、无线通信部104、控制部105、操作部106、图像存储器107。

无线通信部104通过无线通信技术从摄像装置200a、200b(以下区分为第1摄像装置200a、第2摄像装置200b)取得运动图像数据。无线通信部104所采用的无线通信技术，例如采用适用国际标准IEEE 802.11系列的Wi-Fi(注册商标)、或者遵照Bluetooth(注册商标)的技术，但只要为能传输运动图像数据的通信介质，就不限于有线、无线，也能适用其他的方法。图像存储器107由闪速存储器等构成，存储由无线通信部104取得的运动图像数据等。图像处理部102由根据在图像存储器107中所存储的运动图像数据来生成后述的新的运动图像数据的图像处理电路等构成。此外，通过图像处理部102生成的运动图像数据也存储在图像存储器107 中。

显示部101由液晶面板、其驱动电路构成，显示基于从第1摄像装置 200a、第2摄像装置200b接收到的运动图像数据、通过图像处理部102 生成并在图像存储器107中存储的运动图像数据的运动图像。

操作部106由电源开关、用于用户对图像处理装置100进行操作的操作按键构成，将用户的操作信息提供给控制部105。此外，在操作部106 中包括在所述液晶面板的表面一体地设置的触摸面板。

程序存储器103由闪速存储器等能改写的非易失性存储器构成，存储图像处理装置100的动作控制所需的基本程序、各种应用程序。控制部105 由CPU(Central ProcessingUnit)及其外围电路等、存储器等构成，按照在程序存储器103中存储的基本程序，参照从操作部106提供的操作信息对图像处理装置100整体进行控制。尤其是，控制部105按照在程序存储器103中存储的规定的图像处理程序，执行后述的图2以及图3中所示的处理。

此外，例如在图像处理装置100为智能手机的情况下，在图像处理装置100中，除了上述结构之外，还包括用于进行声音通信、数据通信的公知的电路、即对所输入的声音进行调制并发送的声音输入电路、发送电路、以及接收所接收到的声音信号并进行解码再生的接收电路、再生电路、数据发送接收电路等。此外，图像处理程序作为应用程序被提供。

另一方面，第1摄像装置200a以及第2摄像装置200b具备分别对运动图像进行拍摄并存储，并且按照需要将所存储的运动图像数据发送到图像处理装置100的结构。

如图所示那样第1摄像装置200a具备：经由广角镜头201对被摄体进行拍摄的CMOS(Complementary Metal Oxide Semiconductor)、CCD (Charge Coupled Device)等的摄像元件202；进行从摄像元件202输出的摄像信号的放大、向数字信号的变换、变换为数字信号后的图像数据的压缩等的图像处理部203；和将压缩后的图像数据作为静止图像文件、运动图像文件而存储的图像存储器205。此外，广角镜头201在水平方向上确保180°的视角。

此外，第1摄像装置200a具备程序存储器204、控制部206、操作部 207、传感器模块208、无线通信部209。无线通信部209通过例如适用国际标准IEEE 802.11系列的Wi-Fi(注册商标)、或者、依据Bluetooth(注册商标)等的技术，按照需要将在图像存储器205中存储的运动图像数据 (运动图像文件)发送到图像处理装置100等的外部设备。

传感器模块208将检测3轴方向的加速度的动作传感器、陀螺仪传感器、GPS天线等的检测信号变换为数字信号，并作为表示第1摄像装置200a 有无运动或移动方向的运动信息提供给控制部206。操作部207由电源开关、以及用于用户操作第1摄像装置200a的1个或者多个操作按键构成，将用户的操作信息提供给控制部206。

控制部206由CPU及其外围电路等、存储器等构成，按照在程序存储器204中存储的程序，确认从操作部207提供的操作信息、从传感器模块208提供的运动信息，并控制第1摄像装置200a的各部分。即对第1 摄像装置200a中的运动图像的拍摄动作进行控制。

此外，在第1摄像装置200a中，用户能够设定在运动图像的拍摄中是否记录移动方向，在设定了移动方向的记录的情况下，控制部206在运动图像的拍摄中基于上述运动信息，逐次计算以拍摄方向(沿着广角镜头 201的光轴而朝向被摄体的方向)为基准的第1摄像装置200a的移动方向，该信息(以下称作拍摄方向信息)与运动图像的各帧建立关联地存储于图像存储器205中。

此外，虽然未图示，但第2摄像装置200b具备与第1摄像装置200a 相同的结构。

以下，对与图像处理装置100的本发明相关的动作进行说明。在以下的说明中，图像处理装置100处于与第2摄像装置200b以及第1摄像装置200a能通信的状态，并且在第1摄像装置200a和第2摄像装置200b 设置于机动车等的任意的移动体的状态下，在各个图像存储器205中记录有对移动体的移动中的前方视图、或者后方视图分别进行拍摄所得到的运动图像数据(运动图像文件)。

图4A为表示移动体M中的第1摄像装置200a和第2摄像装置200b 的配置、以及拍摄范围的示意图。第1摄像装置200a位于图中箭头所示的移动体M的前方侧(行进方向侧)的端部，第2摄像装置200b位于移动体M的后方侧的端部。

如已经说明的那样，第1摄像装置200a在水平方向上具有180°的视角，在第1摄像装置200a的图像存储器205中存储有包括对移动体M的前方侧的图中所示的从[F0]到[F180]的范围进行拍摄所得到的第1运动图像数据G1在内的运动图像文件。此外，第2摄像装置200b也在水平方向上具有180°的视角，在第2摄像装置200b的图像存储器205中存储有包括对移动体M的后方侧的图中所示的从[R0]到[R180]的范围进行拍摄所得到的第2运动图像数据G2在内的运动图像文件。此外，在此假设在第1 摄像装置200a和第2摄像装置200b中分别存储有单一的运动图像文件。

图2以及图3为表示在图像处理装置100中控制部105按照程序存储器103中存储的规定的图像处理程序执行的处理过程的主要部分的流程图。

如果用户通过操作部106的操作按键的操作而指示动作开始，则控制部105立刻开始动作，并且经由无线通信部104开始与第1摄像装置200 和第2摄像装置300的通信，分别取得在双方的图像存储器205中保存的运动图像文件(步骤S1)。

接下来，控制部105判断所取得的运动图像文件的拍摄定时(日期时间)是否相同，如果判断为不相同(步骤S2：否)，则对基于各个运动图像文件的第1运动图像数据G1和第2运动图像数据G2分别进行再生(步骤S26)。此外，在该情况下控制部105在结束了两个运动图像数据G1、 G2的再生的时间点完成所有的处理。

此外，如果判断为所取得的运动图像文件的拍摄定时相同(步骤S2：是)，则控制部105进一步判断在双方的运动图像文件中是否包括拍摄方向信息(步骤S3)。

在此，在判断为在双方的运动图像文件的至少任意一方中包括拍摄方向信息的情况下(步骤S3：是)，控制部105基于拍摄方向信息判定运动图像拍摄时的第1摄像装置200a和第2摄像装置200b的行进方向(以拍摄方向为基准的移动方向)(步骤S4)。然后，控制部105基于所判定的行进方向，在基于双方的运动图像文件的2个运动图像数据中，确定对前方的视图进行了拍摄所得到的运动图像数据和对后方的视图进行了拍摄所得到的运动图像数据(步骤S5)。

接下来，控制部105在后方视图的运动图像(在此为第2运动图像数据G2)中解析运动矢量(步骤S6)。具体地来说，在运动图像数据的相邻的2个以上的帧的图像中，对广角镜头201的光学特性所引起的几何学失真(畸变)分别进行校正，并且将校正后的各帧的图像分割为多个微型块，按照每个微型块通过块匹配法等公知的方法来解析运动矢量。

图4C为通过箭头简便地表示在后方视图的运动图像(第2运动图像数据G2)中被解析的运动矢量组的例子的图。此外，运动矢量的解析时的微型块未必需要为对图像进行了分割的区域，也可为预先决定的互相分离的多个区域。

之后，控制部105基于后方视图的运动图像中的运动矢量组来检测消失点VP(步骤S10)。上述处理为假设各个运动矢量为表示透视图法中的透视线(perspective line)的延伸方向的矢量，将由运动矢量表示的虚拟的透视线收敛的点检测为消失点VP的处理。其中，虚拟的透视线未必收敛于一点。因此，在步骤S10的处理中控制部105搜索作为预先决定的尺寸的区域的、虚拟的透视线的收敛程度最高的收敛区域，将其中心设为消失点。此外，消失点VP也有图像外的情况。

此外，与以上的处理不同，在判断为在记录日期时间一致的双方的运动图像文件中不包括拍摄方向信息的情况下(步骤S3：否)，控制部105 在基于双方的运动图像文件的运动图像数据中解析运动矢量(步骤S7)。即以双方的运动图像数据作为对象单独地进行与步骤S6的处理相同的处理。图4B为通过箭头简便地表示前方视图的运动图像数据(第1运动图像数据G1)中的各运动矢量的例子的图。

接下来，控制部105判断在双方的运动图像数据(第1运动图像数据 G1和第2运动图像数据G2)的一方侧运动矢量组是否朝向图像的外侧发散，并且在另一方侧运动矢量组是否朝向图像的内侧收敛(步骤S8)。

在此，在上述的判断中判断为否的情况下(步骤S8：否)，控制部105 对双方的运动图像分别进行再生，在显示部101中以两个画面进行再生(步骤S26)，在结束了双方的运动图像的再生的时间点结束所有的处理。

与此相对，如图4B以及图4C所例示的那样，在判断为一个运动图像数据的运动矢量组发散，并且另一个运动图像数据的运动矢量组收敛的情况下(步骤S8：是)，控制部105将运动矢量组收敛的一侧的运动图像数据确定为对后方视图进行拍摄所得到的运动图像数据(步骤S9)。

即、如果双方的运动图像数据的运动矢量组的状态为图4B以及图4C 中所例示的状态，则在该时间点第2运动图像数据G2被确定为后方视图的运动图像数据。

之后，控制部105向上述的步骤S10前进，基于在步骤S8的处理中解析得到的运动矢量组，针对后方视图的运动图像数据(第2运动图像数据G2)检测消失点VP。

以后，控制部105进行图3所示的处理。首先，控制部105确认由用户设定的合成模式的种类，在设定了第1模式作为合成模式时(步骤S11：第1)，实施步骤S12以后的处理，在设定了第2模式作为合成模式时(步骤S11：第2)，实施步骤S17以后的处理。此外，以后，将第1运动图像数据G1称作前方视图的运动图像数据，将第2运动图像数据G2称作后方视图的运动图像数据。

首先，针对设定了第1模式的情况进行说明。图5A～图5C为表示第 1模式下的处理内容的说明图，图5A以及图5B为与图4B以及图4C相对应的图。

在第1模式中控制部105首先按照帧顺序将针对前方视图的运动图像数据G1和后方视图的运动图像数据G2的各帧的图像(以下称作帧图像) 变换为矩形图像(步骤S12)。上述处理为对由于广角镜头201的光学特性而在帧图像中产生的几何学失真(畸变)进行校正的处理。图5A为表示变换为矩形图像后的前方视图的运动图像数据G1的帧图像FG1的图，图5B为表示变换为矩形图像后的后方视图的运动图像数据G2的帧图像FG2 的图。

接下来，控制部105将在步骤S10中检测出的消失点VP作为分割位置对后方视图的数据G2的帧图像FG2左右进行分割(步骤S13)。即如图 5B那样，如果消失点VP为帧图像FG2的左右方向的中央，则控制部105 将帧图像FG2分割为拍摄范围从[R0]到[R90]的左半部分的分割图像 FG2-L、和拍摄范围从[R90]到[R180]的右半部分的分割图像FG2-R。

接下来，控制部105调换分割后的左右的分割图像FG2-L、FG2-R的位置，并与前方视图的运动图像数据G1的帧图像FG1的左右端部进行合成(步骤S14)。即如图5C所示那样，重新生成将左侧的分割图像FG2-L 与前方视图的运动图像数据G1的帧图像FG1的右侧端部进行合成，并且将右侧的分割图像FG2-R与前方视图的运动图像数据G1的帧图像FG1 的左侧进行合成的帧图像FG3。此外，在图5A～图5C中各帧图像FG1、 FG2、FG3中所示的箭头简便地表示在各个图像内存在的被摄体的、在前方视图的运动图像数据G1以及后方视图的运动图像数据G2中的移动方向。

接下来，控制部105暂时存储合成后的帧图像FG3(步骤S15)，此后，反复步骤S12以后的处理直到最终帧的合成结束为止(步骤S16：否)。之后，如果最终帧的合成处理结束(步骤S16：是)，则将包含暂时存储的帧图像FG3在内的运动图像数据的运动图像在显示部101中进行再生(步骤S23)。

由此，能够将前方视图的运动图像数据G1和后方视图的运动图像数据G2设为将前方视图的运动图像数据G1作为应再生的帧图像的中心并且对移动体M的周围的大致整个区域进行再生的运动图像，使用户观察或者鉴赏。

然后，控制部105继续运动图像的再生直到从用户发出记录指示为止 (步骤S24：否)，如果检测到记录指示(步骤S24：是)，则将暂时存储的合成后的运动图像数据作为新的运动图像文件存储于图像存储器107 (步骤S25)，并结束处理。

接下来，针对设定第2模式的情况进行说明。第2模式为，假设移动体M主要为机动车，第1摄像装置200a和第2摄像装置200b用于机动车的前后的拍摄的情况而设置的模式。图6A～图6C为表示第2模式下的处理内容的说明图，图6A以及图6B为与图4C以及图4B相对应的图。

在第2模式中控制部105首先也与步骤S12的处理同样地，按照帧顺序将前方视图的运动图像数据G1和后方视图的运动图像数据G2的帧图像变换为矩形图像(步骤S17)。

接下来，控制部105对变换后的后方视图的运动图像数据G2的帧图像FG2进行镜面反转(步骤S18)。图6B为表示镜面反转后的帧图像FG22 的图。

之后，控制部105以在步骤S10中检测到的消失点VP为中心将镜面反转后的帧图像FG22左右分割(步骤S19)。即如图6B所示，如果消失点VP在镜面反转后的帧图像FG22(帧图像FG2)的左右方向的中央，则控制部105将帧图像FG22分割为拍摄范围从[R90]到[R180]的左半部分的分割图像FG22-L、和拍摄范围从[R0]到[R90]的右半部分的分割图像 FG22-R。

接下来，控制部105在维持镜面反转后的位置不变的情况下，将左右的分割图像FG22-L、FG22-R与前方视图的运动图像数据G1的帧图像FG1 的左右端部进行合成(步骤S20)。即如图6C所示那样，重新生成将左侧的分割图像FG22-L与前方视图的运动图像数据G1的帧图像FG1的左侧端部进行合成，并且将右侧的分割图像FG22-R与前方视图的运动图像数据G1的帧图像FG1的右侧端部进行合成的帧图像FG4。此外，在图6A～图6C中，各帧图像FG2、FG22、FG4所示的箭头也简便地表示各个图像内存在的被摄体在前方视图的运动图像数据G1和后方视图的运动图像数据G2中的移动方向。

接下来，控制部105暂时存储合成后的帧图像FG4(步骤S21)，以后反复步骤S17之后的处理直到最终帧的合成结束为止(步骤S22：否)。之后，如果最终帧的合成结束(步骤S22：是)，则将包括暂时存储的帧图像FG4在内的运动图像数据的运动图像在显示部101中进行再生(步骤 S23)。

由此，能够采用前方视图的运动图像数据G1和后方视图的图像数据 G2，作为例如在机动车的行驶中从驾驶席观察到的前方的景色和映入左右的侧镜(side mirror)的左后方侧的景色和右后方侧的景色排列而成的运动图像使用户观察或者鉴赏。

以后，控制部105与由用户设定的合成模式的种类(第1模式或者第 2模式)无关地，继续进行合成后的运动图像的显示直到从用户发出记录指示为止(步骤S24：否)。而且，控制部105如果检测到记录指示(步骤 S24：是)，则将暂时存储的运动图像数据作为新的运动图像文件存储于图像存储器107(步骤S25)，结束所有的处理。

如以上说明的那样，在图像处理装置100中，在对同时拍摄的拍摄方向不同的第1运动图像数据G1和第2运动图像数据G2进行再生显示时，在设定了第1模式的情况下，根据第1运动图像数据G1和第2运动图像数据G2生成覆盖移动体M的周围的大致所有区域的单一的运动图像数据并在显示部101中进行再生。此外，在设定第2模式的情况下，根据第1 运动图像数据G1和第2运动图像数据G2生成前方的景色和映入左右的侧镜的左后方侧的景色和右后方侧的景色排列而成的运动图像的单一的运动图像数据并在显示部101中进行再生。

由此，对于用户而言，在对通过拍摄、合成而生成的大范围的图像进行再生显示的情况下，能够保证临场感。

此外，在第1运动图像数据G1和第2运动图像数据G2的运动图像文件的至少任一方中包括方向信息的情况下，基于由此示出的拍摄方向，确定应作为分割对象的运动图像数据(本实施方式中为后方视图的运动图像数据)。即自动地确定分割对象的运动图像数据。由此，无需让用户选择应作为分割对象的运动图像数据，就能够生成以对特定的方向进行了拍摄所得到的运动图像数据(本实施方式中为前方视图的运动图像数据)为中心的单一的运动图像数据并进行显示。

此外，在第1运动图像数据G1的运动图像文件和第2运动图像数据 G2的运动图像文件中都不包括方向信息的情况下，针对各个运动图像数据检测多处的运动矢量，根据所检测到的运动矢量组确定应作为分割对象的运动图像数据(本实施方式中为后方视图的运动图像数据)。由此也能自动地确定分割对象的运动图像数据，无需让用户选择应作为分割对象的运动图像数据，就能够生成以对特定的方向进行拍摄所得到的运动图像数据(本实施方式中为前方视图的运动图像数据)为中心的单一的运动图像并进行显示。

而且，由于通过对第1运动图像数据G1和第2运动图像数据G2进行解析来确定应作为分割对象的运动图像数据，因而不限于处理对象的运动图像数据具有方向信息这样的情况。此外，如果在拍摄前作为摄像装置 200a拍摄前方视图的运动图像数据、摄像装置200b拍摄后方视图的运动图像数据的情况预先设定通信路径，则不进行上述的特定处理，也能生成以对特定的方向进行拍摄所得到的运动图像数据为中心的单一的运动图像并进行显示。

此外，在分割对象的运动图像数据(后方视图的运动图像数据G2) 中，基于之后检测到的运动矢量组确定消失点VP，将该消失点VP存在的位置作为分割对象的运动图像数据的帧图像中的分割位置。由此，能够针对分割对象的运动图像数据在适当的位置进行分割。此外，消失点VP未必需要进行确定，也可为将运动图像数据内的左侧的被摄体的运动矢量的方向与右侧的被摄体的运动矢量的方向开始具有颠倒关系的位置设为分割对象的运动图像数据的分割位置的结构。

在此，在本实施方式中，主要对图像处理装置100的处理对象在水平方向上以180°的视角被拍摄的运动图像的情况进行了说明，但处理对象的运动图像的拍摄时的视角并不限于此，也可为任意的视角。

此外，虽然说明了图像处理装置100的处理对象为通过不同的摄像装置200a、200b单独拍摄的2个运动图像的情况，但处理对象的运动图像也可为例如通过单一的摄像装置拍摄的2个运动图像。

此外，图像处理装置100能够通过具备作为摄像装置的功能的任意的电子设备来实现，在该情况下，也可将由本机拍摄的运动图像和从其它的摄像装置取得的动态图像作为处理对象进行上述的处理。此外，图像处理装置100中显示部101不是必须的结构，图像处理装置100也可为将根据第1运动图像数据G1和第2运动图像数据G2生成的、图5C或图6C中所示的动态图像仅输出到外部的显示设备的结构。

此外，在本实施方式中，说明了处理对象的第1运动图像数据G1以及第2运动图像数据G2为在移动体M的移动中对前方视图以及后方视图进行了拍摄所得到的运动图像的情况。但是，第1运动图像数据G1以及第2运动图像数据G2也可为对移动体M的左方向以及右方向进行了拍摄所得到的运动图像。该情况下，如果第1运动图像数据G1以及第2运动图像数据G2为在水平方向上以180°的视角拍摄的运动图像数据，则将对预先决定的方向(例如左方向)进行了拍摄所得到的运动图像数据作为分割对象，进行与上述的第1模式的情况相同的处理即可。

此外，在以上的说明中，说明了图像处理装置100的处理对象为在第 1摄像装置200a以及第2摄像装置200b中预先拍摄并存储的运动图像数据的情况。但是，在图像处理装置100中，也可将在第1摄像装置200a 以及第2摄像装置200b中逐次拍摄的帧图像作为对象来进行与本实施方式同样的处理。即图像处理装置100中，也可进行实时地生成图5C、图 6C中所示那样的帧图像并进行显示的处理。

此外，在该情况下，也可确认例如第1摄像装置200a和第2摄像装置200b的移动速度(拍摄地点的移动速度)，在该移动速度为规定的速度以下的期间，使从各自取得的帧图像进行2画面显示。即、也可在伴随着第1摄像装置200a和第2摄像装置200b的移动在各个运动图像内进行移动的被摄体的移动速度较慢、观察各个运动图像时的用户的负担较少的期间，使从各自取得的帧图像进行2画面显示。

此外，来自第1摄像装置200a和第2摄像装置200b这两者或者一者的移动速度，既可从第1摄像装置200a、第2摄像装置200b直接取得表示移动速度的速度信息来确认，也可根据前后取得的2帧的帧图像的各部分检测运动矢量，将所检测到的运动矢量组作为表示拍摄地点的移动速度的速度信息进行确认。

此外，在以上的说明中，说明了图像处理装置100的处理对象为动态图像的情况，但也可在图像处理装置100中以静止图像为对象进行处理。但是，在该情况下，处理对象的静止图像仅限于附加有拍摄方向信息的图像。

以上，对本发明的一实施方式及其变形例进行了说明，但这些只要在能得到本发明的作用效果的范围内则能进行适当变更，变更后的实施方式也包括在权利要求书中记载的发明及与该发明均等的发明的范围内。

Claims (7)

1.一种图像处理装置，其特征在于，具备：

图像取得单元，取得拍摄定时相同且将行进方向侧作为拍摄方向的第1图像和将所述行进方向的反方向侧作为拍摄方向的第2图像；

检测单元，从通过所述图像取得单元取得的所述第2图像检测在所述第2图像中向内侧收敛的运动矢量；

分割单元，基于通过所述检测单元检测出的运动矢量来决定所述第2图像的分割位置，基于所决定的分割位置将通过所述图像取得单元取得的所述第2图像分割为第1分割图像和第2分割图像；和

合成单元，将所述第1分割图像和所述第2分割图像与所述第1图像的两端侧分别进行合成。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述分割单元基于由所述检测单元从所述第2图像检测出的运动矢量，检测所述第2图像的消失点，将该检测到的消失点存在的位置决定为所述第2图像的分割位置。

3.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置还具备校正单元，该校正单元将被广角镜头拍摄的所述第1图像和所述第2图像校正为没有失真的全景图像，

所述分割单元将由所述校正单元校正后的所述第2图像分割为第1分割图像和第2分割图像。

4.根据权利要求1所述的图像处理装置，其特征在于，

所述第1图像和所述第2图像为动态图像，

所述分割单元将所述第2图像的帧图像分割为第1分割图像和第2分割图像。

5.根据权利要求4所述的图像处理装置，其特征在于，

所述图像处理装置还具备速度信息取得单元，该速度信息取得单元取得对所述第1图像和所述第2图像进行了摄像的装置或者设置有该装置的移动体的、表示拍摄时的移动速度的速度信息，

所述合成单元将从在所述速度信息取得单元所取得的速度信息所示的所述移动速度为规定的速度以上时所摄像的所述第2图像的所述帧图像得到的所述第1分割图像和所述第2分割图像与所述第1图像的两端侧分别进行合成。

6.一种图像处理方法，其特征在于，包括：

图像取得步骤，取得拍摄定时相同并且将行进方向侧作为拍摄方向的第1图像和将所述行进方向的反方向侧作为拍摄方向的第2图像；

检测步骤，从通过所述图像取得步骤取得的所述第2图像检测在所述第2图像中向内侧收敛的运动矢量；

分割步骤，基于通过所述检测步骤检测出的运动矢量来决定所述第2图像的分割位置，基于所决定的分割位置将在所述图像取得步骤所取得的所述第2图像分割为第1分割图像和第2分割图像；和

合成步骤，将所述第1分割图像和所述第2分割图像分别与所述第1图像的两端侧进行合成。

7.一种记录介质，记录有计算机能读取的程序，所述记录介质记录有使该计算机作为以下单元发挥功能的程序：

图像取得单元，取得拍摄定时相同且将行进方向侧作为拍摄方向的第1图像和将所述行进方向的反方向侧作为拍摄方向的第2图像；

检测单元，从通过所述图像取得单元取得的所述第2图像检测在所述第2图像中向内侧收敛的运动矢量；

分割单元，基于通过所述检测单元检测出的运动矢量来决定所述第2图像的分割位置，基于所决定的分割位置将通过所述图像取得单元取得的所述第2图像分割为第1分割图像和第2分割图像；和

合成单元，将所述第1分割图像和所述第2分割图像与所述第1图像的两端侧分别进行合成。

Images