CN104885441A - 图像处理装置和方法、以及程序 - Google Patents

Abstract

本技术涉及一种图像处理装置和方法、以及程序，从而能够将具有抖动的运动图像视频转换成抖动少的运动图像视频。转换运动图像视频文件生成单元(116)使构成存储单元(93)中的运动视频文件的所有帧的图像以多个角度经受视角转换和旋转转换。节点差分计算单元(117)计算原始图像与转换图像之间的差分作为节点差分。边缘差分计算单元(118)在原始图像与转换图像的所有集合的运动视频文件按时间序列配置时，计算每个帧图像相对于这些图像的差分。评价值计算单元(119)基于边缘差分的总和以及节点差分的总和来计算所生成的所有运动视频文件的评价值。转换运动视频文件选择单元(120)选择具有最小评价值的运动视频文件。本技术可应用于眼镜型摄像头。

Description

图像处理装置和方法、以及程序

技术领域

本技术涉及一种图像处理装置和方法、以及程序，更具体地，涉及能够将模糊的运动图像转换成不太模糊的运动图像的图像处理装置和方法、以及程序。

背景技术

在现有技术中，针对视频摄像头捕获图像时出现的模糊图像的解决方案被分类成：当捕获图像时使用诸如陀螺仪传感器的传感器来校正由机械因素引起的模糊的机械方法，以及使用光流技术对图像进行平移的电子方法。

已开发了用于使用这些方法的组合来校正模糊图像的技术(参见专利文献1)。

引用列表

专利文献

专利文献1：JP 2011-217317A

发明内容

技术问题

然而，上述机械方法对减小尺寸具有限制，因而，例如难以安装在眼镜安装型的视频摄像头中。

上述电子方法可以消除机械部件的使用以实现更紧凑的结构，但逐一地校正图像。当这些图像被连续地再现为运动图像时，与在前后图像之间的关系无关地执行校正。因而，难以清楚地观看作为整体再现的运动图像，并且观看者呈现类似于所谓的晕动症的症状。

鉴于这样的状况而作出了本技术，特别地，当再现捕获的运动图像时，期望通过使得成像方向为基本上不变的方向来获得具有较少模糊的转换运动图像。

针对问题的解决方案

根据本技术的实施例，提供了一种图像处理装置，包括：获取单元，被配置成以构成通过成像单元进行的捕获而获得的运动图像的帧图像为单位，来获取关于成像位置和成像方向的信息；转换图像生成单元，被配置成针对构成所述运动图像的每个帧图像，基于所述帧图像本身和所述帧图像的前后帧图像来生成具有不同成像方向的多个转换图像；评价值计算单元，被配置成针对通过组合所述转换图像与原始帧图像而构成的每个转换运动图像计算评价值，所述评价值用于评价所述转换图像之间或所述原始帧图像之间的模糊；以及选择单元，被配置成基于所述评价值计算单元所计算出的评价值来选择具有较少模糊的转换运动图像。

节点差分计算单元，被配置成计算由所述转换图像生成单元所生成的所述转换图像与所述原始帧图像之间的差分作为节点差分；以及边缘差分计算单元，被配置为计算包括由所述转换图像生成单元所生成的所述转换图像和所述原始帧图像的时间序列的差分作为边缘差分。所述评价值可以计算单元基于通过组合所述转换图像与所述原始图像而构成的所述转换运动图像中所包括的转换图像或原始帧图像之间的所述边缘差分之和以及所述节点差分之和中的每一个，来计算用于评价每个转换运动图像的模糊的评价值。

评价值计算单元通过将权重赋予包括在转换运动图像中的转换图像或原始的帧图像之间的边缘差分之和以及节点差分之和中的每一个并且通过计算权重值之和，来计算用于评价每个转换运动图像的模糊的评价值，其中转换运动图像是通过将转换图像与原始图像进行组合而构成的。

权重输入单元被配置成输入要应用于边缘差分之和以及节点差分之和的权重，应用于边缘差分之和以及节点差分之和的权重之和为值1。所述评价值计算单元通过将权重输入单元输入的权重赋予包括在转换运动图像中的转换图像或原始的帧图像之间的边缘差分之和以及节点差分之和中的每一个、并且通过计算权重值之和，计算用于评价每个转换运动图像的模糊的评价值，其中转换运动图像是通过将转换图像与原始图像进行组合而构成的。

存储单元还可以在转换图像生成单元生成转换图像时，将关于根据原始的帧图像、通过具有多个预定视角并且通过旋转至多个角度而改变的成像方向的信息与转换图像相关联地存储。图像处理装置还可以包括：显示图像生成单元，被配置成基于转换运动图像或运动图像的帧图像的成像位置信息来生成在地图上显示路线的显示图像，并且通过基于通过向每个成像方向应用不同的颜色来在所述路线上进行显示。

指定单元被配置成指定在显示图像上的所述地图上显示的路线上的位置；以及再现单元，被配置成根据包括关于与指定单元指定的位置相对应的成像位置的信息的帧图像，再现构成路线或运动图像的转换运动图像。

转换图像生成单元使用帧图像本身和帧图像的前后帧图像、通过将构成存储单元中存储的运动图像的每个帧图像转换成下述多个图像来生成转换图像，所述多个图像通过利用包括视角偏移、单应性变换和视点合成的技术而具有多个预定视角并且旋转至多个角度而具有不同成像方向。

转换图像生成单元针对构成存储单元中存储的运动图像的每个帧图像，基于帧图像本身和帧图像的前后帧图像、通过使用通过等于或小于像素的相移而生成的像素来生成具有不同成像方向的多个高分辨率转换图像。

成像单元被配置成捕获运动图像。获取单元可以将关于帧图像的成像位置和成像方向的信息与每个帧图像相关联地存储。

根据本技术的实施例，提供了一种图像处理方法，以构成通过成像单元进行的捕获而获得的运动图像的帧图像为单位，来获取关于成像位置和成像方向的信息；针对构成所述运动图像的每个帧图像，基于所述帧图像本身和所述帧图像的前后帧图像来生成具有不同成像方向的多个转换图像；针对通过组合所述转换图像与原始帧图像而构成的每个转换运动图像计算评价值，所述评价值用于评价所述转换图像之间或所述原始帧图像之间的模糊；以及基于所计算出的评价值来选择具有较少模糊的转换运动图像。

根据本技术的实施例，提供了一种用于使得计算机执行如下处理，所述处理包括：获取步骤，用于以构成通过成像单元进行的捕获而获得的运动图像的帧图像为单位获取关于成像位置和成像方向的信息；转换图像生成步骤，用于针对构成所述运动图像的每个帧图像，基于所述帧图像本身和所述帧图像的前后帧图像来生成具有不同成像方向的多个转换图像；评价值计算步骤，用于针对通过组合所述转换图像与原始帧图像而构成的每个转换运动图像计算评价值，所述评价值用于评价所述转换图像之间或所述原始帧图像之间的模糊；以及选择步骤，用于基于通过所述评价值计算步骤的处理而计算出的评价值来选择具有较少模糊的转换运动图像。

在本技术的实施例中，以构成通过由成像单元进行的捕获而获得的运动图像的帧图像为单位来获取关于成像位置和成像方向的信息；针对构成运动图像的每个帧图像，基于帧图像本身和帧图像的前后帧图像来生成具有不同成像方向的多个转换图像；针对通过将转换图像与原始帧图像进行组合而构成的每个转换运动图像，计算评价值，该评价值用于评价转换图像之间或者原始帧图像之间的模糊；以及基于通过算出的评价值来选择具有较少模糊的转换运动图像。

根据本技术的实施例的图像处理装置可以是独立装置或者可以是执行信息处理的块。

发明的有益效果

根据本技术的实施例，可以通过容易的操作将模糊的运动图像转换成不太模糊的运动图像。

附图说明

图1是示出应用了本技术的图像处理系统的实施例的示例性通用配置的图。

图2是示出图1所示的眼镜安装型摄像头的示例性外观配置的图。

图3是用于描述实现图1所示的眼镜安装型摄像头的功能配置的图。

图4是用于描述实现图1所示的再现终端的功能配置的图。

图5是用于描述实现图1所示的服务器的功能配置的图。

图6是用于描述成像和记录处理的流程图。

图7是用于描述捕获运动图像文件的配置的图。

图8是用于描述再现图像选择图像显示处理的流程图。

图9是用于描述作为再现图像选择图像的我的地图的示例性显示的图。

图10是用于描述如何校正旋钮(knob)的图。

图11是用于描述路线校正处理的流程图。

图12是用于描述作为原始图像与转换图像之间是差分的节点差分的图。

图13是用于描述作为原始图像或转换图像的时间序列中的前后图像之间的差分的边缘差分的图。

图14是用于描述可以被处理为图优化问题的运动图像文件的帧图像之间的转换处理的图。

图15是用于描述剪切图像由于转换图像而失败(collapse)的区域的示例的图。

图16是用于描述再现处理的流程图。

图17是用于描述通用个人计算机的示例性配置的图。

具体实施方式

<成像系统的示例性配置>

图1是示出应用了本技术的图像处理系统的示例性配置的图。图1所示的图像处理系统1被配置成包括眼镜安装型摄像头11-1至11-N、再现终端12-1至12-M、网络13以及服务器14。只要无需特别区分具有相同名称的部件则，将眼镜安装型摄像头11-1至11-N简称为眼镜安装型摄像头11，以及将再现终端12-1至12-M简称为再现终端12。这类似地适用于其它部件。

在图1所示的图像处理系统1中，通过眼镜安装型摄像头11捕获的运动图像被传送至服务器14并存储在其中。当眼镜安装型摄像头11的用户操作再现终端12并且访问服务器14时，所存储的运动图像被再现并由用户观看。

更具体地，眼镜安装型摄像头11捕获运动图像，将成像位置和成像方向信息添加到构成所捕获的运动图像的每个帧图像中，并且生成具有约1分钟的时间长度的运动图像文件。然后，眼镜安装型摄像头11经由网络13将所得到的运动图像文件传送至服务器14。服务器14将索引(index)分配给以帧为单位添加了从眼镜安装型摄像头11提供的成像位置和成像方向的运动图像文件，并且接着，服务器14存储编有索引的运动图像文件。当被用户操作的再现终端12访问时，服务器14基于成像方向信息生成具有较少模糊的经校正的运动图像，并且通过用户佩戴眼镜安装型摄像头11并且捕获运动图像、基于成像位置信息来生成在地图上显示用户的移动路径的显示图像。服务器14将所生成的图像一起分发给再现终端12。通过将所存储的图像校正成不太模糊的图像来获得由服务器14生成的经校正的运动图像。当再现终端12获得其上标记有对应于移动路径的路线的地图图像时，再现终端12显示该地图图像。当选择了与地图上的移动路径相对应的路线中的任意一个位置时，再现终端12再现并显示从在与所选择的位置相对应的成像位置处捕获的图像开始的运动图像。因而，眼镜安装型摄像头11的用户可以指定地图上的任意移动路径而无需考虑诸如成像能力或图像捕获时间的信息。这允许用户在搜索期望观看的图像的同时享受观看用户捕获的图像。

<眼镜安装型摄像头的示例性外观配置>

将参照图2描述眼镜安装型摄像头11的示例性外观配置。眼镜安装型摄像头11可以如图2所示，并且当用户像佩戴眼镜一样佩戴它时，成像单元32捕获用户通过一对透镜31-1和31-2观察到的视野图像。

眼镜安装型摄像头11被配置成包括透镜31-1和31-2、成像单元32以及控制单元33。透镜31-1和31-2可以是普通的眼镜片。成像单元32可以由电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器构成。成像单元32根据预定格式对捕获的运动图像进行压缩并且将压缩后的运动图像提供至控制单元33。控制单元33根据使用图3所示的各种部件顺序地捕获的运动图像来生成时间长度为大约1分钟的运动图像文件，并且将所生成的运动图像文件传送至服务器14。

<实现眼镜安装型摄像头功能的示例性配置>

将参照图3描述用于实现眼镜安装型摄像头11的功能的示例性配置。如参照图2所述，眼镜安装型摄像头11设置有成像单元32和控制单元33。控制单元33被配置成包括记录单元51、全球定位系统(GPS)52、实时时钟(RTC)53、地轴传感器54、陀螺仪传感器55、控制器56和通信单元57。记录单元51暂时记录从成像单元32顺序地提供的运动图像。在这种情况下，记录单元51获取根据如下信息获得的成像方向信息：从GPS 52提供的位置信息、从RTC 53提供的时间信息、从地轴传感器54提供的地轴的方向信息、从陀螺仪传感器55提供的关于偏转、倾斜和侧倾角速度的信息。记录单元51将所获取的信息与构成所捕获的运动图像的每个帧图像相关联地记录。更具体地，记录单元51基于关于偏转、倾斜和侧倾角速度的信息以及由地轴传感器54检测到的地轴的方向信息，来估计成像单元32的成像方向。记录单元51将估计的成像方向信息与帧图像相关联地存储。记录单元51根据从成像单元32顺序地提供的运动图像来以预定时间间隔生成运动图像文件，并且将所生成的运动图像文件提供至控制器56。

GPS 52接收来自卫星(未示出)的无线电波并且计算要用作地球上的位置信息的纬度和经度信息。GPS 52将所计算出的信息作为指示成像位置的信息提供至记录单元51。RTC 53管理实际时间，并且将指示图像捕获时间的信息提供至记录单元51。地轴传感器54检测在眼镜安装型摄像头11的方向上相对于地轴的倾斜，并且将检测结果提供至记录单元51。陀螺仪传感器55检测偏转、倾斜和侧倾角速度并将检测结果提供至记录单元51。

控制器56控制眼镜安装型摄像头11的控制单元33的整体操作。控制器56控制记录单元51基于从成像单元32提供的运动图像数据生成具有预定时间长度(例如，大约1分钟的时间长度)的运动图像文件，并且获取所生成的运动图像文件。控制器56控制通信单元57经由网络13将所生成的运动图像文件传送至服务器14。

<用于实现再现终端功能的示例性配置>

将参照图4描述用于实现再现终端12的功能的示例性配置。

再现终端12被配置成包括控制单元71、显示单元72、操作单元73、通信单元74和显示图像存储单元75。控制单元71控制再现终端12的整体操作。显示单元72可以包括液晶显示器(LCD)、有机电致发光(EL)显示器或其它显示装置。显示单元72显示由从服务器14提供的地图图像构成的显示图像或者显示由从服务器14提供的运动图像文件构成的再现图像。操作单元73可以包括键盘、鼠标或操作按钮。当用户操作该操作单元73以输入各种命令和指令时，操作单元73将与用户的操作相对应的操作信号提供至控制单元71。通信单元74在控制单元71的控制下将数据和命令经由网络13传送至服务器以及经由网络13从服务器14接收数据和命令。显示图像存储单元75存储用作用户界面(UI)的显示图像，其允许选择和再现存储在服务器14中的运动图像文件。要存储的显示图像的示例包括必需为界面图像的地图图像。

<用于实现服务器功能的示例性配置>

将参照图5描述用于实现服务器14的功能的示例性配置。

服务器14被配置成包括通信单元91、记录单元92、存储单元93和再现管理单元94。通信单元91经由网络13将数据、运动图像文件和各种命令传送至眼镜安装型摄像头11和再现终端12以及从眼镜安装型摄像头11和再现终端12接收数据、运动图像文件和各种命令。记录单元92设置有索引添加单元101。记录单元92顺序地接收从眼镜安装型摄像头11传送的时间长度为大约1分钟的运动图像文件。记录单元92允许索引添加单元101基于包括在运动图像文件中的帧图像以及与添加到帧图像中的成像位置和成像方向有关的信息而生成每个运动图像文件的索引，并且将所生成的索引分配给每个运动图像文件。然后，记录单元92将被编有索引的运动图像文件存储在存储单元93中。

当再现终端12经由通信单元91指示再现管理单元94再现所捕获的运动图像文件时，再现管理单元94基于所捕获的图像在预先存储的地图上的成像位置，来生成显示指示用户的移动路径的路线的显示图像。基于存储在存储单元93中的运动图像文件的以帧图像为单位存储的成像位置和成像方向来进行显示图像的生成。再现管理单元94将存储在存储单元93中的运动图像文件的图像校正为模糊减少的图像并将校正后的运动图像文件提供至再现终端12。

更具体地，再现管理单元94被配置成包括我的地图创建单元111、成像方向着色单元112、对象识别单元113、地图数据存储单元114、路线编辑单元115、转换运动图像文件生成单元116、节点差分计算单元117、边缘差分计算单元118、评价值计算单元119和转换运动图像文件选择单元120。

当再现终端12经由通信单元91指示我的地图创建单元111再现运动图像文件时，我的地图创建单元111从存储单元93读取被指示再现的运动图像文件。我的地图创建单元111指定指示用户的移动路径的路线，并且生成要显示在地图数据存储单元114中存储的地图上的被称为我的地图的显示图像，同时捕获构成运动图像文件的图像。基于指示针对构成被指示再现的运动图像文件的每个帧图像所存储的成像位置的信息来执行我的地图创建单元111的指定和生成。我的地图连同运动图像文件一起被分发给再现终端12并且显示在再现终端12上。根据在相同位置处捕获的帧图像的数量来将所显示的地图划分成具有步长大小(step size)的段(section)。当通过使用指示器等指向地图上的位置时，显示对应于所指向的位置的帧图像或者再现从在对应的成像位置处捕获的帧图像开始的运动图像文件。

成像方向着色单元112基于与包括在运动图像文件中的帧图像相关联地存储的成像方向信息，将不同颜色应用至用作上述显示图像的我的地图上所显示的路线上的对应位置。该处理使得路线上的颜色的频繁变化以指示成像方向的频繁变化。因而，当运动图像文件被再现并由用户观看而不进行任何修改的情况下，模糊将更明显并且观看运动图像文件的用户感到晕动症。另一方面，当在一些段中路线上的颜色保持不变时，这意味着成像方向在这些段中保持恒定。因而，当运动图像文件被再现并由用户观看而不进行任何修改的情况下，模糊将不太明显并且观看运动图像文件的用户不会感到晕动症。

对象识别单元113针对每个帧图像来识别图像中的对象，提取所识别的对象图像，将关于所识别的对象的信息添加到对象图像中，并且以分类的方式将其存储在存储单元93中。对象图像构成稍后将描述的跨界导航菜单，并且当生成上述显示图像我的地图时以对于每个对象可选择的状态显示。

地图数据存储单元114存储关于地球的地图图像的数据，并且在我的地图创建单元111创建我的地图时将该地图数据提供至我的地图创建单元111。

路线编辑单元115对如下获得的路线进行编辑：基于存储单元93中存储的运动图像文件中包括的每个帧图像的报头中所包括的成像位置信息，来在我的地图上绘制指示成像位置的信息。

转换运动图像文件生成单元116针对存储单元93中存储的运动图像文件中所包括的每个帧图像，通过利用前后帧图像等执行用于对成像方向进行转换的视角转换或旋转处理，来生成多种转换图像。然后，转换运动图像文件生成单元116生成由转换图像构成的转换运动图像文件，并且将转换运动图像文件存储在存储单元93中。此时，转换运动图像文件生成单元116通过将关于经由转换处理而改变的成像方向的信息添加至转换帧图像来存储转换运动图像文件。

节点差分计算单元117通过针对每个转换图像获得转换图像与转换前的原始图像之间的差分来计算节点差分。节点差分计算单元117计算转换运动图像文件中包括的所有图案的转换后的图像或原始图像中的节点之间的差分之和，该转换运动图像文件是通过按时间序列以各种图案组合转换图像或原始图像而生成的。

边缘差分计算单元118通过获得按时间序列布置的转换图像或原始图像之间的差分来计算边缘差分。边缘差分计算单元118计算转换运动图像文件中包括的所有图案的转换图像或原始图像之间的边缘差分之和，该转换运动图像文件是通过按时间序列以各种图案组合转换后的图像或原始图像而生成的。

评价值计算单元119通过如下操作获得每个转换运动图像文件的评价值：计算通过按时间序列以各种图案组合转换图像或原始图像而生成的图案的转换运动图像文件中的、节点间的差分之和与边缘间的差分之和的总和。在这种情况下，评价值计算单元119获取从再现终端12提供的权重信息，并且将权重赋予节点差分和以及边缘差分和中的每一个以计算评价值。

转换运动图像文件选择单元120从通过按时间序列、以各种图案组合转换图像或原始图像而生成的图案的所有转换运动图像文件当中，选择具有最小评价值的运动图像文件。转换运动图像文件选择单元120经由通信单元91将所选择的运动图像文件传送至请求再现运动图像文件的再现终端12。

禁止编辑单元121针对构成被指示再现的运动图像文件的每个帧图像，基于添加到帧图像中的成像位置和时间信息，搜索要禁止在被指示再现的图像中再现的区域。禁止编辑单元121执行用于将搜索出的区域改变成例如马赛克图像的处理。也就是说，在由眼镜安装型摄像头11捕获的图像中，禁止区域可以包括包含诸如个人可标识信息的信息的区域、似乎捕获到基于位置信息指定的军事秘密等的区域以及在预定时间进行公开可能有问题的区域。

<成像和记录处理>

将参照图6描述图1所示的图像处理系统的成像和记录处理。该处理在操作眼镜安装型摄像头11的操作单元(未示出)时开始并且指示成像单元32开始捕获图像。

在步骤S11中，成像单元32捕获图像并将所捕获的图像数据提供至记录单元51。

在步骤S12中，GPS 52接收来自卫星(未示出)的无线电波，计算要用作地球上的位置的纬度和经度，并且将包括作为计算结果而获得的纬度和经度的地球上的位置信息提供至记录单元51。

在步骤S13中，地轴传感器54测量相对于地轴的方向的倾斜，并将关于作为测量结果而获得的、眼镜安装型摄像头11相对于地轴的方向的倾斜角的信息提供至记录单元51。

在步骤S14中，陀螺仪传感器55检测眼镜安装型摄像头11的偏转、倾斜和侧倾角速度，并且将关于作为检测结果而获得的每个角速度的信息提供至记录单元51。该处理允许记录单元51基于相对于地轴的倾斜角以及偏转、倾斜和侧倾角速度来计算并存储成像方向。

在步骤S15中，RTC 53读取当前时间信息并将所读取的当前时间信息提供至记录单元51。

在步骤S16中，记录单元51获取关于紧前的运动图像文件的信息。

在步骤S17中，记录单元51以帧图像为单位记录运动图像数据。在这种情况下，记录单元51在捕获每个帧图像的定时将指示地球上的位置信息的成像位置、指示提供时间的图像捕获时间、成像方向和紧前的运动图像文件信息设置为每帧的报头，并且按顺序的方式将这些信息存储在要累积的运动图像文件中。记录单元51将使用中的网络上的地址、媒体访问控制(MAC)地址等记录作为每个帧图像的报头上的用于标识其自身的信息。

在步骤S18中，记录单元51基于从RTC 53提供的当前时间与开始存储新的运动图像文件的时间之差来确定是否经过了预定时间。在步骤S18中，如果确定经过了预定时间，则处理进行至步骤S19。

在步骤S19中，记录单元51确定是否经过了预定时间，然后，记录单元51关闭所存储的运动图像文件并将所生成的运动图像文件提供至控制器56。当接收所提供的运动图像文件时，控制器56控制通信单元57经由网络13将所接收到的运动图像文件提供至服务器14。在步骤S18中，如果确定未经过预定时间，则略过步骤S19中的处理。

在步骤S20中，成像单元32基于来自操作单元(未示出)的操作信号来确定是否发布了用以终止运动图像的成像操作的指令。如果确定指示了终止，则该处理结束。另一方面，在步骤S20中，如果确定未指示终止，则处理返回至步骤S11并且重复随后的步骤，直到发布了终止指令为止。在步骤S18中，如果确定未经过预定时间，则略过步骤S19中的处理。

以大约一分钟的预定时间间隔T记录运动图像文件，并且运动图像文件被配置成彼此仅重叠了预定时间t，如图7所示。也就是说，在图7中，运动图像文件V1被配置为仅以捕获了预定时间长度T的运动图像文件。下一运动图像文件V2被配置成使得在运动图像文件V1结束之前的时间t(例如大约10秒)与在运动图像文件V2开始之后的时间t具有相同的运动图像数据。随后的运动图像文件V3被配置成使得在运动图像文件V2结束之前的时间t与在运动图像文件V3开始之后的时间t具有相同的运动图像数据。运动图像文件的该配置使得即使在正传送至服务器14的运动图像文件由于网络13上的任何事故而未到达服务器14时，也仅丢失运动图像文件中时间长度为40秒的部分。还能够降低因运动图像文件的容量过大而引起的网络13上的负荷。

另一方面，在服务器14中，在步骤S41中，记录单元92控制通信单元91并且确定是否从网络13上的任一个眼镜安装型摄像头11传送了运动图像文件。然后，记录单元92重复该处理，直到传送了运动图像文件为止。在步骤S41中，例如，如果在步骤S19的处理中传送了运动图像文件，则该处理进行至步骤S42。

在步骤S42中，记录单元92控制通信单元91获取所传送的运动图像文件。记录单元92控制索引添加单元101读取包括在运动图像文件中的帧图像的信息，并且读取添加索引所需的、用于标识眼镜安装型摄像头11的信息以及包括图像、成像位置和图像捕获时间的信息。为添加索引而要读取的帧图像包括典型的人脸图像、典型的风景、典型的建筑物等。要用于添加索引的成像位置和图像捕获时间可以分别是先头帧图像的成像位置和图像捕获时间。

在步骤S43中，索引添加单元101基于所读取的信息生成索引作为索引信息。

在步骤S44中，索引添加单元101将所生成的索引信息添加到所传送的运动图像文件中。记录单元92将添加了索引的运动图像文件存储在存储单元93中。

该处理允许将眼镜安装型摄像头11所捕获的图像作为时间长度约一分钟的、添加了索引的运动图像文件记录在服务器14上。

<再现图像选择图像显示处理>

将参照图8所示的流程图来描述再现图像选择图像显示处理。该处理基于如下假设：已通过参照图6所示的流程图描述的成像和记录处理将运动图像文件存储在服务器14的存储单元93中。

在步骤S61中，控制单元71读取存储在显示图像存储单元75中的地图图像，并且显示预先设置的原始位置的周围图像。

在步骤S62中，控制单元71读取地图上的指定位置信息。在初始处理中，读取关于原始位置的信息作为指定位置信息。在随后的处理中，通过操作单元(未示出)的操作来读取操作再现终端12的用户指定的位置作为指定位置信息。

在步骤S63中，控制单元71确定指定位置信息是否是初始位置信息或新指定的位置信息。例如，当确定指定位置信息是初始位置信息或新指定的位置信息时，处理进行至步骤S64。

在步骤S64中，控制单元71控制通信单元74经由网络13将指定位置信息传送至服务器。

在步骤S81中，再现管理单元94控制通信单元91确定是否传送了指定位置信息。在步骤S81中，例如，如果确定在步骤S64的处理中传送了指定位置信息，则处理进行至步骤S82。

在步骤S82中，再现管理单元94控制我的地图创建单元111基于指定位置信息而从地图数据存储单元114中所存储的地图数据当中读取指定位置信息附近的地图数据，并且生成我的地图的参考图像。我的地图的参考图像可以是图9所示的地图图像显示区m。在图9所示的地图图像显示区m中，在该图中的左侧显示从地图的顶部延伸至底部的被命名为“A大街”的街道。在该地图中，在图中从街道的中间附近的支路到右侧的道路中显示十字路口，并且在十字路口的拐角显示被命名为“C建筑物”的建筑物。被命名为“D房屋”的结构沿着超出与在拐角的“C建筑物”的十字路口的道路显示在图中的另一右侧。通过从与在拐角的“D房屋”的丁字路口向右转、然后转到左侧，在地图上显示被命名为“B高速公路”的高速公路。

在步骤S83中，我的地图创建单元111将指定位置的纬度和经度设置为要处理的目标位置。

在步骤S84中，我的地图创建单元111搜索存储在存储单元93中的运动图像文件的索引信息，并且基于要处理的目标位置信息中的纬度和经度信息来测量在周围位置处的运动图像文件的数量f。

在步骤S85中，我的地图创建单元111针对在要处理的目标位置附近的给定范围，设置与1/f成比例的像素数量的步长宽度F。

在步骤S86中，我的地图创建单元111按步长宽度F对在要处理的目标区域附近的给定范围进行划分。

在步骤S87中，我的地图创建单元111确定未处理的位置是否在所选择的地图图像中。如果确定未处理的位置在地图图像中，则该处理进行至步骤S88。

在步骤S88中，我的地图创建单元111将任一未处理的位置设置为要处理的目标位置，然后，处理返回至步骤S84。也就是说，重复步骤S84至S88中的处理，直到被读取作为地图图像的图像中的所有位置被设置为要处理的目标位置并且根据运动图像文件的数量、按步长宽度F划分该图像为止。当所有位置被设置为要处理的目标位置时，在步骤S87中假设在地图图像内没有未处理的位置，然后，处理进行至步骤S89。

也就是说，如图9所示，在地图上，按如虚线所示的较小步长宽度将位置Y附近的区域Z1和位置P或X附近的区域Z2划分成较小区域。根据与地图图像上的位置相关联地登记的运动图像文件的数量来进行该划分。这表明记录了多个运动图像文件。另一方面，在区域Z3和Z4以及除区域Z1和Z2以外的区域中，不存在基本上由虚线划界的区域。这表明运动图像文件不是实质上存在的。也就是说，该显示使得容易查看多个运动图像文件存在的位置和运动图像文件不存在的位置。

如图9所示，当在再现终端12的显示单元72上显示被称为我的地图的再现图像选择图像并且使用指示器或其它装置(未示出)来指定虚线所围绕的许多区域中的任一位置时，将用以再现对应于所指定的位置的运动图像文件的指令提供至服务器。服务器14响应于再现指令而顺序地传送包括在对应的运动图像文件中的帧图像。然后，再现终端再现该运动图像文件。在这种情况下，在指示再现之前的选择时刻，可以显示构成报头的包括静止图像或图像捕获时间的信息。

在步骤S89中，路线编辑单元115与时间信息相关联地在我的地图上显示的地图图像上绘制指示图像捕获位置存在的帧图像的图像捕获位置的信息。路线编辑单元115通过获得佩戴用于捕获运动图像文件中包括的帧图像的眼镜安装型摄像头11的用户的移动路径来创建路线，并且在显示屏上显示该路线。此时，成像方向着色单元112读取构成由路线编辑单元115创建的路线的每个绘制帧图像的报头中所包括的、指示成像方向的信息，并且将取决于成像方向的不同颜色添加到路线中。

也就是说，例如，该处理使得显示路线L，如在位置X至Y处所示。如图9所示，通过在每个位置处将不同的颜色添加到运动图像文件中包括的帧图像的每个成像方向来显示路线L。结果，路线L上的颜色极大地改变的范围指示成像方向频繁改变。因而，通常，在观看时频繁改变的成像方向使得运动图像引发晕动症。另一方面，颜色变化小的范围指示成像方向变化的频率低。因而，通常，在观看时不频繁改变的成像方向使得容易观看运动图像并且很难引发晕动症。

可以通过将图9的右上部示出的校正旋钮M在水平箭头所示出的校正标尺上左右移动，来校正成像方向的变化。也就是说，如图10所示，当校正旋钮M移动至图中的左边，路线变为与输入的运动图像文件中包括的帧图像类似的图像，如路线J1的状态所示。因而，即使当成像方向频繁改变时，也能对其进行再现而无需进行任何修改。在这种情况下，可以使用与捕获时获得的状态类似的帧图像，因而，单独的帧图像很难失败，但当成像方向的变化大时，运动图像难以观看并且引发晕动症。

另一方面，如图10所示，当校正旋钮M移动至图中的右边，路线变为与输入的运动图像文件中包括的帧图像不相似的图像，如由路线J3的状态所示。在这种情况下，成像方向的校正使得各帧图像为容易失败的状态，但图像成像方向在一定程度上对齐，并因而相对容易观看运动图像。在图10所示的路线J2和J3的状态下，可以剪切路线的某些部分，因为期望移除失败的图像。通过统一成像方向，这些路线J1至J3指示实际的图像捕获位置(即，与佩戴眼镜安装型摄像头11的用户的移动路径相对应的路线)接近直线。

稍后将参照图11的流程图详细地描述通过操作校正旋钮M而执行的路线校正处理。

在步骤S90中，对象识别单元113对构成在指定位置处的运动图像文件的帧图像中所包括的对象的类型进行分类及提取。

在步骤S91中，对象识别单元113从根据包括在指定位置处的运动图像文件中的帧图像分类的每个对象提取的对象图像提取时间信息，并且按照每个时间对所提取的时间信息进行分类。

在步骤S92中，我的地图创建单元111将由对象识别单元113根据图像的对象类型分类的对象图像与时间信息相关联，并且我的地图创建单元111使用如图9所示的跨界导航菜单(XrossMediaBar)来显示相关联的对象图像。跨界导航菜单是由图9所示的图像P11至P16和图像P21至P26构成。也就是说，基于时间在垂直方向上设置图像P11至P16。在图9中，图像P11至P16是同一房间对象并且按照从上午12点(12:00)到下午5点(17:00)的时间来分类。可以通过在垂直方向上移动被识别为相同对象的图像来按时间序列显示这些图像。

针对根据预定规则分类的对象的每种类型，在水平方向上显示图像P11和P21至P26。可以通过在水平方向上移动所分类的对象来选择所分类的对象。因而，在图9中，在左上部显示被分类为结构对象的房间图像P11。被分类为结构对象的建筑物图像P21、顶部覆盖有雪且被分类为高山对象的高山图像P22、具有两个山峰且被分类为结构对象的高山图像P23、被分类为汽车对象的客车图像P24、被分类为汽车对象的公共汽车图像P25以及被分类为人物对象的面部图像P26按该顺序显示于图像P21的右边。

在图9中，当指定的位置是由位置P指示的位置时，以水平条的形式(条形显示栏)显示被分类为该位置处的对象的图像P11和P21至P26。当通过在水平方向上移动左上角处的图像来选择该图像时，被识别为具有相同对象的时间序列图像以显示图像P11至P16的这种方式显示。结果，在用户在相同路线上行走时利用眼镜安装型摄像头11捕获图像的情况下，可以如用固定点摄像头捕获一样观察相同对象的变化。这些图像的选择使得可以生成用以从包括所选择的帧图像的运动图像文件的再现位置开始再现的命令。该处理允许用户在运动图像文件当中选择用户想要查看的对象并且指定期望时间。因而，用户可以通过从大量运动图像文件中指定开始适于该目的的再现的位置来指示再现处理。

在步骤S93中，再现管理单元94控制通信单元91经由网络13将如图9所示的被称为我的地图的再现图像选择图像传送至再现终端12。

在步骤S81中，如果不传送指定位置信息，则跳过步骤S82至S93。

在步骤S94中，再现管理单元94确定是否发布了用以终止操作单元(未示出)的操作的指令。如果确定没有发布用以终止的指令，则该处理返回至步骤S81并且重复随后的步骤。在步骤S94中，如果确定发布了用以终止操作的指令，则处理结束。

另一方面，在再现终端12中，在步骤S65中，控制单元71控制通信单元74获得作为从服务器14传送的再现图像选择图像的被称为我的地图的显示图像信息。

在步骤S66中，控制单元71将作为通过通信单元74接收到的再现图像选择图像的被称为我的地图的显示图像显示在显示单元72上。

在步骤S67中，控制单元71确定操作单元73是否发布了用以终止操作的指令。如果确定没有发布用以终止操作的指令，则处理返回至步骤S62并且重复随后的步骤。另一方面，在步骤S67中，如果确定发布了用以终止操作的指令，则处理结束。

在步骤S63中，如果确定指定的位置不是初始指定的位置并且未改变，则重复步骤S64至S66的处理。也就是说，当在显示单元72上显示显示图像选择图像时，只要指定的位置不改变，就保持显示作为相同显示图像选择图像的我的地图的状态。

该处理使得在利用眼镜安装型摄像头11捕获大量图像时通过根据图像捕获位置指定显示的路线上的位置来再现运动图像文件。因而，用户可以适当地选择运动图像的再现位置而不存储捕获日期和时间等。由图像P11至P16和P21至P26显示的跨界导航菜单使得可以根据期望对象或图像捕获时间来指定运动图像文件的再现起始位置，以再现该运动图像文件。

<路线校正处理>

将参照图11的流程图来描述路线校正处理。路线校正处理是基于显示作为显示图像选择图像的我的地图的假设的。

在步骤S101中，控制单元71确定是否通过操作单元73的控制移动了校正旋钮M以及操作了校正标尺。如果在步骤S101中确定移动了校正旋钮M并操作了校正标尺，则处理进行至步骤S102。

在步骤S102中，控制单元71控制通信单元74经由网络13将表示被操作的校正旋钮M的图9所示的箭头形校正标尺的位置的信息传送至服务器14。

在步骤S121中，再现管理单元94的路线编辑单元115确定是否通过控制通信单元91传送了作为校正标尺的操作详情的校正旋钮M的操作位置信息。在步骤S121中，例如，如果确定通过步骤S102中的处理传送了指示校正旋钮M的位置的信息，则处理进行至步骤S122。

在步骤S122中，转换运动图像文件生成单元116从存储单元93读取如下运动图像文件，在该运动图像文件中，在传送至再现终端12的显示图像选择图像中显示的路线L上绘制的位置包括在图像捕获位置的索引中。转换运动图像文件生成单元116通过使用前后图像等对包括在所读取的运动图像文件中的帧图像执行视角转换或旋转转换，生成要改变至预定类型的角度的新转换图像。更具体地，转换运动图像文件生成单元116通过执行视角偏移、单应性转换、视点合成等来生成转换图像。

也就是说，转换运动图像文件生成单元116通过使用周围图像执行视角转换或旋转转换，来将图12的上部所示的存储单元93中存储的原始运动图像文件中所包括的帧图像Org(N-1)至Org(N+1)的图像转换成图12的中间部分中的图案1所示的转换图像P1(N-1)至P1(N+1)以及图12的下部中的图案2所示的转换图像P2(N-1)至P2(N+1)的图像。

当生成转换图像时，转换运动图像文件生成单元116可以通过使用在要处理的目标帧图像的前后图像中的、通过等于或小于像素的相移而生成的像素来生成具有高分辨率的转换图像。

在步骤S123中，节点差分计算单元117通过获得使用视角转换和旋转转换而生成的每个帧图像与原始的帧图像之间的差分来计算节点差分。也就是说，如图12所示，节点差分计算单元117计算原始图像Org(N)与转换图像P1(N)之间的节点差分Error_n(Org(N),P1(N))。要计算的差分可以是在每个图像的相同位置处的像素之间的像素值差的总和。要计算的差分也可以是在图像Org(N)’和转换图像P1中的每个图像的相同位置处的像素之间的像素值差的总和，该图像Org(N)’是通过利用全局运动补偿技术对图像Org(N)进行补偿而获得的。要计算的差分也可以是原始图像Org(N)和转换图像P1(N)的光流的平均值或方差。

在步骤S124中，当由转换运动图像文件生成单元116生成且通过执行各种视角转换和旋转转换处理而获得的转换图像以各种方式按时间序列放置时，边缘差分计算单元118计算所有图案中的每一个的前后图像之间的差分。也就是说，如图13所示，图像Org(N)、转换图像P1(N)和转换图像P2(N)被布置作为靠近原始图像Org(N-1)放置的图像，因而，计算所有图案的前后图案之间的差分作为边缘差分。也就是说，在这种情况下，计算Error_e(Org(N-1),Org(N))、Error_e(Org(N-1),P1(N))和Error_e(Org(N-1),P2(N))。对于在该处理中获得的差分，可以使用与用于计算节点差分的差分计算类似的技术，或者可以使用其它技术。

在步骤S125中，评价值计算单元119使用针对所有图案中的每个图案而布置的帧图像的节点差分的总和Error_nAll以及边缘差分的总和Error_eAll来计算评价值E。使用通过将图像Org、图像P1和图像P2的每个布置图案进行组合而获得的节点差分和边缘差分来分别计算节点差分的总和Error_nAll以及边缘差分的总和Error_eAll。通过以下等式来表示评价值E。

E＝(1–W)×Error_eAll+W×Error_nAll

在上述等式中，E是在以预定图案、按时间序列布置帧图像和转换图像时针对整个运动图像文件的评价值，w是与校正旋钮M的移动量相对应的权重并且范围从0至1，Error_nALL是节点差分的总和，以及Error_eALL是边缘差分的总和。

也就是说，可以将根据以各种图案生成的运动图像文件中的帧图像的布置来设置的评价值E处理为：根据节点差分(即，与可以作为构成运动图像文件的帧图像的选项的每个图像的原始图像的差分)和可以作为可按时间序列布置的选项的前后图像之间的边缘差分获得的图形优化问题，如图14所示。在图14中，圆圈(N-1)、圆圈(N)和圆圈(N+1)均表示节点，并且箭头表示边缘。Error_n(Org(N),Org(N))表示原始帧图像Org(N)与帧图像Org(N)之间的节点差分。Error_n(Org(N),P1(N))表示原始帧图像Org(N)与转换图像P1(N)之间的节点差分。Error_n(Org(N),P2(N))表示原始帧图像Org(N)与转换图像P2(N)之间的节点差分。Error(Org(N),Org(N-1)),Error(P1(N),P2(N-1)),Error_e(P2(N),P2(N-1))和它们之间的值表示边缘差分。

因而，在步骤S126中，转换运动图像文件选择单元120选择由具有最低评价值E(即，最小评价值)的帧图像或转换图像、按时间序列布置的图案构成的转换运动图像文件。转换运动图像文件选择单元120允许存储单元93根据所选择的图案存储由按时间序列布置的帧图像构成的转换运动图像文件或者由转换图像构成的转换运动图像文件。

在步骤S127中，成像方向着色单元112提取转换运动图像文件选择单元120选择的、具有最小评价值E的帧图像或由按转换图像的时间序列布置的图案构成的转换运动图像文件的每个帧图像的成像方向信息。成像方向着色单元112确定图9所示的路线L的颜色布置并且生成路线L的路线显示信息。

在步骤S128中，再现管理单元94控制通信单元91经由网络13将新生成的路线显示信息传送至再现终端12。

在步骤S129中，再现管理单元94确定是否通过通信单元91接收到指示终止操作的信息。如果确定没有发布用以终止操作的指令，则处理返回至步骤S121并且重复随后的步骤。在步骤S121中，如果确定没有传送校正标尺信息，则跳过步骤S122至S128中的处理。在步骤S129中，如果确定发布了用以终止操作的指令，则处理结束。

另一方面，在再现终端12中，在步骤S103中，控制单元71控制通信单元74获得所传送的路线显示信息。

在步骤S104中，控制单元71基于所接收到的路线显示信息，来控制显示单元72处理对图9所示的路线L的着色，并且在显示单元72上显示处理后的路线作为新路线L。

在步骤S105中，控制单元71确定是否通过操作单元73的操作指示了终止。如果确定未指示终止，则处理返回至步骤S101并且重复后续的步骤。然后，在步骤S105中，确定指示了终止，则处理结束。

该处理使得通过操作校正旋钮M，来将构成运动图像文件的帧图像转换成通过执行多种类型的视角转换和旋转转换而构成的组合的转换图像之中具有最小评价值E的图案的转换运动图像文件。这样的处理使得可以根据响应于校正旋钮M的操作而在路线L上赋予的颜色的改变，识别所谓的容易引发晕动症的运动图像文件(由类似于原始图像的且难以失败但对于每个帧图像而言由于成像方向的频繁改变而难以观看的图像构成的运动图像文件)与所谓的难以引发晕动症的移动图像文件(由明显不同于原始图像并且容易失败但对于每个帧图像而言由于成像方向不太频繁改变而相对容易查看的图像构成的运动图像文件)之间的差别。

当在如上所述的转换图像中发生图像失败时期望时间序列中的前后图像之间的差分较大。因而，对于具有最低评价值E的帧图像，构成基于转换图像的时间序列的布置而选择的运动图像文件的帧图像、或者在边缘差分大于预定阈值Th的区间和由例如如图15所示的在以上描述的区间前后的边沿(margin)指示的区间中存储的帧图像，使用转换图像的边缘差分信息，可以通过在未执行再现的区间(剪切的区间)中设置帧图像来防止看到失败区间。这使得在根据用户选择被认为最佳的路线L上的颜色选择运动图像文件时防止看到失败的图像，从而，可以生成更容易观看的转换运动图像文件。

<再现处理>

将参照图16的流程图描述再现处理。该再现处理是基于显示如图9所示的显示图像选择图像的假设的。被指示再现的运动图像文件是通过利用上述路线校正处理最小化评价值E而生成的转换运动图像文件。

在步骤S151中，控制单元71确定是否通过控制操作单元73来指示通过预定操作再现运动图像文件。重复类似的处理，直到指示再现为止。在步骤S151中，例如，如果通过指示器(未示出)选择了图9所述的我的地图中的路线L上的位置P并且确定指示了再现，则该处理进行至步骤S152。

在步骤S152中，控制单元71控制通信单元74将地图上对应于所选位置P的位置信息和用于指示再现位于该位置的运动图像文件的命令传送至服务器14。

在步骤S171中，服务器14的再现管理单元94控制通信单元确定是否指示了再现，并且重复类似处理，直到指示了再现为止。在步骤S171中，例如，如果确定通过步骤S152中的处理传送了用于指示再现的信息，则假设指示了再现，然后处理进行至步骤S172。

在步骤S172中，再现管理单元94基于指示再现的位置信息和时间信息来在对应的运动图像文件(转换运动图像文件)的信息当中搜索未处理的帧图像，并且读取未处理的帧图像作为要处理的图像。

在步骤S173中，禁止编辑单元121提取所读取的要处理的图像，并且根据所分配的图像捕获时间、成像位置、成像方向等确定在该图像中是否存在禁止区域。也就是说，更具体地，禁止编辑单元121确定在眼镜安装型摄像头11捕获的图像中是否存在作为禁止区域的、例如包含诸如个人可标识信息的信息的区域、似乎捕获基于位置信息指定的军事秘密等的区域或者在预定时间进行公开的情况下可能有问题的区域。

如果在步骤S173中确定存在禁止区域，则在步骤S174中，禁止编辑单元174通过在图像中进行马赛克处理或暗化处理来使得不能查看要处理的图像的禁止区域。如果在步骤S173中确定不存在禁止区域，则跳过步骤S174中的处理。

在步骤S175中，再现管理单元94存储运动图像文件中禁止被禁止编辑单元121编辑的、要处理的读取图像或要处理的目标图像作为再现图像。

在步骤S176中，再现管理单元94确定在运动图像文件中是否存在未处理的帧图像。如果确定存在未处理的帧图像，则处理返回至步骤S712并且重复随后的步骤。如果包括在与指示再现的时间和位置相对应的运动图像文件中的所有帧图像为用于确定是否存在禁止区域的要处理的目标图像，则处理进行至步骤S177。

在步骤S177中，再现管理单元94控制通信单元91将指示再现的运动图像文件传送至再现终端12，并且该处理返回至步骤S171。

另一方面，在再现终端12中，在步骤S153中，控制单元71控制通信单元74接收经由网络13从服务器14传送的运动图像文件。

在步骤S154中，控制单元71以帧图像为单位顺序地再现通过通信单元74接收到的运动图像文件，并且在显示单元72上显示运动图像文件。

以上，虽然描述了通过使用操作单元73选择在图9的我的地图上所示的路线L上的位置P来指示再现的示例，但是可以类似地通过选择跨界导航菜单中的图像P11至P16和P21至P26中的任一个来指示进行再现。

上述处理允许用户根据地图上的位置和对象或者捕获对象的时间，来指定用眼镜安装型摄像头11捕获并以如图9所示的显示图像选择图像(被称为我的地图)的形式显示为路线L的运动图像文件上的再现位置。图9所示的路线L被显示为通过将不同颜色添加到包括在路线上捕获的运动图像文件中的帧图像的每个成像方向来获得的图像，因而，可以在视觉上一眼就识别出成像方向的改变，即运动图像文件中的帧图像之间的模糊程度。对校正旋钮M的操作使得在通过识别所谓的容易引发晕动症的运动图像文件(由类似于原始图像的且难以失败但对于每个帧图像而言由于成像方向的频繁改变而难以观看的图像构成的运动图像文件)与所谓的难以引发晕动症的移动图像文件(由明显不同于原始图像并且容易失败但对于每个帧图像而言由于成像方向不太频繁改变而相对容易查看的图像构成的运动图像文件)之间的差别来查看在路线L上赋予的颜色时指示进行再现。

以上，虽然描述了眼镜安装型视频摄像头11用在图像捕获处理中的示例，但是可以通过对用摄像机或其它成像装置捕获的图像执行类似处理来生成模糊较少的图像，只要成像装置配备有捕获运动图像的功能为止。以上，虽然描述了网络13上的服务器14执行各种类型的处理的示例，但是服务器14的功能可以通过云计算或者其他方法来实现，只有它们配备有与服务器14相同的功能即可。

顺便提及，上述一系列处理可以例如通过硬件来执行，或者可以通过软件来执行。在这一系列处理通过软件来执行的情况下，构成该软件的程序安装在包括专用硬件的计算机或者在可以当从记录介质安装各种程序时执行各种功能的通用个人计算机中。

图17示出了通用个人计算机的示例配置。计算机包括中央处理单元(CPU)1001。输入/输出接口1005通过总线1004连接至CPU 1001。只读存储器(ROM)1002和随机存取存储器(RAM)1003连接至总线1004。

包括用户用来输入操作命令的输入装置(诸如键盘、鼠标等)的输入单元1006、将处理操作画面或处理结果的图像输出至显示装置的输出单元1007、包括硬盘驱动器等的存储程序或各项数据的存储单元1008以及包括局域网(LAN)适配器等的通过以互联网为代表的网络执行通信处理的通信单元1009连接至输入/输出接口1005。此外，还连接了从可移动介质1011(诸如，磁盘(包括软盘)、光盘(包括致密盘-只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包括迷你盘(MD))或半导体存储器等)读取数据以及将数据写入可移动介质1011的驱动器1010。

CPU 1001根据存储在ROM 1002中的程序或从可移动介质1011(诸如，磁盘、光盘、磁光盘或半导体存储器等)读取、安装在存储单元1008中并从存储单元1108加载到RAM 1003的程序来执行各种处理。RAM1003也存储在CPU 1001适当地执行各种处理等时所需的数据。

在如上所述配置的计算机中，CPU 1001将存储在例如存储单元1009中的程序经由输入/输出接口1005和总线1004加载到RAM 1003上，并且执行该程序。因而，执行了上述一系列处理。

提供记录在作为封装介质等的可移动介质1001中的、计算机(CPU1001)要执行的程序。此外，可以经由有线或无线传输介质(诸如，局域网、互联网或数字卫星广播)提供程序。

在计算机中，提供将可移动介质1011插入驱动器1010中，可以经由输入/输出接口1005将程序安装在存储单元1008中。另外，程序可以由通信单元1009经由有线或无线传输介质接收并且安装在存储单元1008中。此外，程序可以预先安装在ROM 1002或存储单元1008中。

应该注意，由计算机执行的程序可以是根据在说明书中描述的顺序按时间序列处理的程序或者并行地或在诸如在调用时的必要时候处理的程序。

另外，在本公开中，系统具有多个构成元件的集合的含义(诸如，设备或模块(零件))，并且不将所有构成元件是否在同一壳体中纳入考虑。因此，系统可以是储存在分开的壳体中并且通过网络连接的多个设备、或者在单一壳体中的多个模块。

本技术的实施例不限于上述实施例，并且可以在不背离本技术的范围的情况下进行各种改变和修改。

例如，本技术可以采用通过由多个设备经由网络分配和连接一种功能来处理的云计算的配置。

另外，通过上述流程图描述的每个步骤可以由一个设备或者通过分配多个设备来执行。

另外，在多个处理包括在一个步骤中的情况下，包括在该一个步骤中的多个处理可以由一个设备或者通过共用多个设备来执行。

另外，本技术可以如下进行配置。

(1)一种图像处理装置，包括：

获取单元，被配置成以构成通过成像单元进行的捕获而获得的运动图像的帧图像为单位，来获取关于成像位置和成像方向的信息；

转换图像生成单元，被配置成针对构成所述运动图像的每个帧图像，基于所述帧图像本身和所述帧图像的前后帧图像来生成具有不同成像方向的多个转换图像；

评价值计算单元，被配置成针对通过组合所述转换图像与原始帧图像而构成的每个转换运动图像计算评价值，所述评价值用于评价所述转换图像之间或所述原始帧图像之间的模糊；以及

选择单元，被配置成基于所述评价值计算单元所计算出的评价值来选择具有较少模糊的转换运动图像。

(2)根据(1)所述的图像处理装置，还包括：

节点差分计算单元，被配置成计算由所述转换图像生成单元所生成的所述转换图像与所述原始帧图像之间的差分作为节点差分；以及

边缘差分计算单元，被配置为计算包括由所述转换图像生成单元所生成的所述转换图像和所述原始帧图像的时间序列的差分作为边缘差分，

其中，所述评价值计算单元基于通过组合所述转换图像与所述原始图像而构成的所述转换运动图像中所包括的转换图像或原始帧图像之间的所述边缘差分之和以及所述节点差分之和中的每一个，来计算用于评价每个转换运动图像的模糊的评价值。

(3)根据(2)所述的图像处理装置，

其中，所述评价值计算单元通过如下操作来计算用于评价每个转换运动图像的模糊的评价值：对通过组合所述转换图像与所述原始图像而构成的所述转换运动图像中所包括的所述转换图像或所述原始帧图像之间的所述边缘差分之和以及所述节点差分之和中的每一个赋予权重，并且计算加权后的值之和。

(4)根据(3)所述的图像处理装置，还包括：

权重输入单元，被配置成输入要赋予所述边缘差分之和以及所述节点差分之和的权重，被赋予所述边缘差分之和以及所述节点差分之和中的每一个的权重的和为值1，

其中，所述评价值计算单元通过如下操作来计算用于评价每个转换运动图像的模糊的评价值：将由所述权重输入单元所输入的权重赋予通过组合所述转换图像与所述原始图像而构成的所述转换运动图像中所包括的所述转换图像或原始帧图像之间的所述边缘差分之和以及所述节点差分之和中的每一个，并且计算加权后的值的和。

(5)根据(1)所述的图像处理装置，

其中，在所述转换图像生成单元生成所述转换图像时，所述存储单元还与所述转换图像相关联地存储关于成像方向的信息，关于所述成像方向的信息通过具有多个预定视角以及通过旋转至多个角度根据原始帧图像而改变，

其中，所述图像处理装置还包括被配置成生成显示图像的显示图像生成单元，所述显示图像基于所述转换运动图像或所述运动图像的帧图像的成像位置信息来在地图上显示路线，并且基于所述成像方向信息通过向每个成像方向应用不同的颜色来在所述路线上进行显示。

(6)根据(5)所述的图像处理装置，还包括：

指定单元，被配置成指定所述显示图像上的地图上所显示的所述路线上的位置；以及

再现单元，被配置成根据包括关于与所述指定单元指定的位置相对应的成像位置的信息的帧图像，再现构成所述路线的所述转换运动图像或所述运动图像。

(7)根据权利要求(1)述的图像处理装置，

其中，所述转换图像生成单元使用所述帧图像本身和所述帧图像的前后帧图像、通过将构成所述存储单元中所存储的运动图像的每个帧图像转换成下述多个图像来生成转换图像，所述多个图像通过利用包括视角偏移、单应性变换和视点合成的技术而具有多个预定视角并且旋转至多个角度而具有所述不同成像方向。

(8)根据(1)所述的图像处理装置，

其中，所述转换图像生成单元针对构成所述存储单元中所存储的运动图像的每个帧图像，基于所述帧图像本身和所述帧图像的前后帧图像、通过使用由等于或小于像素的相移而生成的像素，来生成具有不同成像方向的多个高分辨率转换图像。

(9)根据(1)至(8)中的任何一项所述的图像处理装置，还包括：

所述成像单元，被配置成捕获所述运动图像，

其中，所述获取单元将关于所述帧图像的成像位置和成像方向的信息与每个帧图像相关联地存储。

(10)一种图像处理方法，包括：

以构成通过成像单元进行的捕获而获得的运动图像的帧图像为单位，来获取关于成像位置和成像方向的信息；

针对构成所述运动图像的每个帧图像，基于所述帧图像本身和所述帧图像的前后帧图像来生成具有不同成像方向的多个转换图像；

针对通过组合所述转换图像与原始帧图像而构成的每个转换运动图像计算评价值，所述评价值用于评价所述转换图像之间或所述原始帧图像之间的模糊；以及

基于所计算出的评价值来选择具有较少模糊的转换运动图像。

(11)一种程序，用于使得计算机执行如下处理，所述处理包括：

获取步骤，用于以构成通过成像单元进行的捕获而获得的运动图像的帧图像为单位获取关于成像位置和成像方向的信息；

转换图像生成步骤，用于针对构成所述运动图像的每个帧图像，基于所述帧图像本身和所述帧图像的前后帧图像来生成具有不同成像方向的多个转换图像；

评价值计算步骤，用于针对通过组合所述转换图像与原始帧图像而构成的每个转换运动图像计算评价值，所述评价值用于评价所述转换图像之间或所述原始帧图像之间的模糊；以及

选择步骤，用于基于通过所述评价值计算步骤的处理而计算出的评价值来选择具有较少模糊的转换运动图像。

附图标记列表

11,11-1至11-N  眼镜安装型摄像头

12,12-1至12-M  再现终端

13    网络

14    服务器

32    成像单元

33    控制单元

51    记录单元

52    GPS

53    RTC

54    地轴传感器

55    陀螺仪传感器

56    控制器

57   通信单元

71   控制单元

72   显示单元

73   操作单元

74   通信单元

75   显示图像存储单元

91   通信单元

92   记录单元

93   存储单元

94   再现管理单元

101  索引添加单元

111  我的地图创建单元

112  成像方向着色单元

113  对象识别单元

114  地图数据存储单元

115  路线编辑单元

116  转换运动图像文件生成单元

117  节点差分计算单元

118  边缘差分计算单元

119  评价值计算单元

120  转换运动图像文件选择单元

121  禁止编辑单元

Claims (11)

1.一种图像处理装置，包括：

获取单元，被配置成以构成通过成像单元进行的捕获而获得的运动图像的帧图像为单位，来获取关于成像位置和成像方向的信息；

转换图像生成单元，被配置成针对构成所述运动图像的每个帧图像，基于所述帧图像本身和所述帧图像的前后帧图像来生成具有不同成像方向的多个转换图像；

评价值计算单元，被配置成针对通过组合所述转换图像与原始帧图像而构成的每个转换运动图像计算评价值，所述评价值用于评价所述转换图像之间或所述原始帧图像之间的模糊；以及

选择单元，被配置成基于所述评价值计算单元所计算出的评价值来选择具有较少模糊的转换运动图像。

2.根据权利要求1所述的图像处理装置，还包括：

节点差分计算单元，被配置成计算由所述转换图像生成单元所生成的所述转换图像与所述原始帧图像之间的差分作为节点差分；以及

边缘差分计算单元，被配置为计算包括由所述转换图像生成单元所生成的所述转换图像和所述原始帧图像的时间序列的差分作为边缘差分，

其中，所述评价值计算单元基于通过组合所述转换图像与所述原始图像而构成的所述转换运动图像中所包括的转换图像或原始帧图像之间的所述边缘差分之和以及所述节点差分之和中的每一个，来计算用于评价每个转换运动图像的模糊的评价值。

3.根据权利要求2所述的图像处理装置，

其中，所述评价值计算单元通过如下操作来计算用于评价每个转换运动图像的模糊的评价值：对通过组合所述转换图像与所述原始图像而构成的所述转换运动图像中所包括的所述转换图像或所述原始帧图像之间的所述边缘差分之和以及所述节点差分之和中的每一个赋予权重，并且计算加权后的值之和。

4.根据权利要求3所述的图像处理装置，还包括：

权重输入单元，被配置成输入要赋予所述边缘差分之和以及所述节点差分之和的权重，被赋予所述边缘差分之和以及所述节点差分之和中的每一个的权重的和为值1，

其中，所述评价值计算单元通过如下操作来计算用于评价每个转换运动图像的模糊的评价值：将由所述权重输入单元所输入的权重赋予通过组合所述转换图像与所述原始图像而构成的所述转换运动图像中所包括的所述转换图像或原始帧图像之间的所述边缘差分之和以及所述节点差分之和中的每一个，并且计算加权后的值的和。

5.根据权利要求1所述的图像处理装置，

其中，在所述转换图像生成单元生成所述转换图像时，所述存储单元还与所述转换图像相关联地存储关于成像方向的信息，关于所述成像方向的信息通过具有多个预定视角以及通过旋转至多个角度根据原始帧图像而改变，

其中，所述图像处理装置还包括被配置成生成显示图像的显示图像生成单元，所述显示图像基于所述转换运动图像或所述运动图像的帧图像的成像位置信息来在地图上显示路线，并且基于所述成像方向信息通过向每个成像方向应用不同的颜色来在所述路线上进行显示。

6.根据权利要求5所述的图像处理装置，还包括：

指定单元，被配置成指定所述显示图像上的地图上所显示的所述路线上的位置；以及

再现单元，被配置成根据包括关于与所述指定单元指定的位置相对应的成像位置的信息的帧图像，再现构成所述路线的所述转换运动图像或所述运动图像。

7.根据权利要求1所述的图像处理装置，

其中，所述转换图像生成单元使用所述帧图像本身和所述帧图像的前后帧图像、通过将构成所述存储单元中所存储的运动图像的每个帧图像转换成下述多个图像来生成转换图像，所述多个图像通过利用包括视角偏移、单应性变换和视点合成的技术而具有多个预定视角并且旋转至多个角度而具有所述不同成像方向。

8.根据权利要求1所述的图像处理装置，

其中，所述转换图像生成单元针对构成所述存储单元中所存储的运动图像的每个帧图像，基于所述帧图像本身和所述帧图像的前后帧图像、通过使用由等于或小于像素的相移而生成的像素，来生成具有不同成像方向的多个高分辨率转换图像。

9.根据权利要求1所述的图像处理装置，还包括：

所述成像单元，被配置成捕获所述运动图像，

其中，所述获取单元将关于所述帧图像的成像位置和成像方向的信息与每个帧图像相关联地存储。

10.一种图像处理方法，包括：

以构成通过成像单元进行的捕获而获得的运动图像的帧图像为单位，来获取关于成像位置和成像方向的信息；

针对构成所述运动图像的每个帧图像，基于所述帧图像本身和所述帧图像的前后帧图像来生成具有不同成像方向的多个转换图像；

针对通过组合所述转换图像与原始帧图像而构成的每个转换运动图像计算评价值，所述评价值用于评价所述转换图像之间或所述原始帧图像之间的模糊；以及

基于所计算出的评价值来选择具有较少模糊的转换运动图像。

11.一种程序，用于使得计算机执行如下处理，所述处理包括：

获取步骤，用于以构成通过成像单元进行的捕获而获得的运动图像的帧图像为单位获取关于成像位置和成像方向的信息；

转换图像生成步骤，用于针对构成所述运动图像的每个帧图像，基于所述帧图像本身和所述帧图像的前后帧图像来生成具有不同成像方向的多个转换图像；

评价值计算步骤，用于针对通过组合所述转换图像与原始帧图像而构成的每个转换运动图像计算评价值，所述评价值用于评价所述转换图像之间或所述原始帧图像之间的模糊；以及

选择步骤，用于基于通过所述评价值计算步骤的处理而计算出的评价值来选择具有较少模糊的转换运动图像。