CN102395994A - 全景图像处理装置及全景图像处理方法 - Google Patents

Abstract

本发明公开了能够维持全景图像的连续性，而且能够提高全景图像中的指定的监视对象的视认性的全景图像处理装置。全景图像处理装置(400)对于全景图像进行图像处理，包括：指定全景图像中所拍摄到的监视对象的监视对象指定单元(405)；旋转全景图像以便使指定的监视对象的位置处于上侧中央的图像旋转单元(406)；使通过图像旋转单元(406)旋转了的全景图像的中心位置通过卷绕处理向下方移动的中心位置移动单元(407)。

Description

全景图像处理装置及全景图像处理方法

技术领域

本发明涉及对于全景图像进行图像处理的全景图像处理装置及全景图像处理方法。

背景技术

全景照相机是指，通过利用在通常的照相机中组合鱼眼透镜、球面镜等特殊的光学系统的照相机，一次拍摄就能够得到全景的图像(以下称为“全景图像”)的照相机(例如参照非专利文献1)。全景照相机应用于监视系统等广泛的领域。然而，在全景图像中，人物、物体等各个被摄体(以下称为“监视对象”)的图像的畸变较大，因此难以掌握各个监视对象的状况。

因此，以往提出了对全景图像进行图像处理的技术(例如参照专利文献1及专利文献2)。专利文献1中记载的技术是将全景图像变换成环状的图像，具体而言，变换成在中心位置不同的大小两个椭圆所夹着的区域内显示的图像。通过该技术，能够容易地掌握各个监视对象的位置关系。另外，专利文献2中记载的技术是将全景图像坐标变换成全景状的横长图像，截取被指定了的监视对象的图像并进行畸变校正。通过该技术，能够从全景图像生成各个监视对象的图像畸变较小的图像。

现有技术文献

专利文献

专利文献1：日本特开2003-132348号公报

专利文献2：日本特开2008-48443号公报

专利文献3：日本特开平11-331654号公报

非专利文献

非专利文献1：山澤一誠、八木康史、谷内田正彦、「移動ロボツトのナビゲ一シヨンのための全方位視覚センサ」、電子情報通信学会誌D-II、社団法人電子情報通信学会、1996年5月25日、Vol.J79-D-II、p.698-707

发明内容

发明要解决的问题

但是，在专利文献1及专利文献2记载的技术中，有难以掌握大范围内的监视对象的详细状况及难以直观地掌握监视对象周边的状况的情况。

这是因为，在专利文献1记载的技术中，当在中心位置不同的大小两个椭圆所夹着的区域中的狭窄侧存在监视对象的情况下，监视对象和监视对象周边的图像被缩小。另外，这是因为，在专利文献2记载的技术中，仅截取被指定了的监视对象的图像部分而显示，失去了全景图像的连续性。

本发明的目的在于，提供维持全景图像的连续性而且提高该全景图像中的指定了的监视对象的视认性(visibility)的全景图像处理装置及其方法。

解决问题的方案

本发明的全景图像处理装置对于全景图像进行图像处理，包括：监视对象指定单元，指定在所述全景图像中所拍摄到的监视对象；图像旋转单元，旋转所述全景图像，以使所述指定了的监视对象的位置处于上侧中央；以及中心位置移动单元，使通过所述图像旋转单元旋转了的所述全景图像的中心位置通过卷绕(warping)处理向下方移动。

本发明的全景图像处理方法用于对于全景图像进行图像处理，包括：指定在所述全景图像中所拍摄到的监视对象的步骤；旋转所述全景图像，以使所述指定了的监视对象的位置处于上侧中央的步骤；以及使旋转了的所述全景图像的中心位置通过卷绕处理向下方移动的步骤。

发明的效果

根据本发明，能够维持全景图像的连续性，而且能够提高该全景图像中的指定了的监视对象的视认性。

附图说明

图1是表示包含本发明一实施方式的全景图像处理装置的监视系统的设置例的系统结构图。

图2是表示一例本实施方式中的全景图像的图。

图3是表示本实施方式的全景图像处理装置的结构的方框图。

图4是表示本实施方式中的帧时刻对应表的一例的图。

图5是表示一例本实施方式中的监视对象位置信息的图。

图6是表示一例本实施方式中的监视对象位置管理信息的图。

图7是表示本实施方式中的图像处理动作的流程图。

图8是表示本实施方式中的监视对象指定画面的第一例的图。

图9是表示本实施方式中的监视对象指定画面的第二例的图。

图10是表示本实施方式中的监视对象指定画面的第三例的图。

图11是表示一例本实施方式中的图像旋转处理的流程图。

图12是表示本一例本实施方式中的初始状态的全景图像的图。

图13是表示一例本实施方式中的指定监视对象区域的定义的图。

图14是表示一例本实施方式中的监视对象区域信息的图。

图15是用于说明一例本实施方式中的旋转量的计算方法的图。

图16是表示一例本实施方式中的旋转后图像的图。

图17是表示一例本实施方式中的中心位置移动处理的流程图。

图18是表示一例本实施方式中的移动前图像的区域的分割的图。

图19是表示一例本实施方式中的移动后图像的区域的分割的图。

图20是表示一例本实施方式中的椭圆化后图像中的各位置的状态的图。

图21是表示一例本实施方式中的畸变校正处理的流程图。

图22是表示一例本实施方式中的畸变校正前图像的区域分割的图。

图23是表示一例本实施方式中的畸变校正后图像的区域分割的图。

图24是表示另一例本实施方式中的指定监视对象区域的定义的图。

图25是表示另一例本实施方式中的初始状态的全景图像的图。

图26是表示另一例本实施方式中的旋转后图像的图。

标号说明

100监视系统

200监视区域

300全景照相机

400全景图像处理装置

401运动图像输入单元

402运动图像存储单元

403监视对象位置信息输入单元

404监视对象位置信息存储单元

405监视对象指定单元

406图像旋转单元

407中心位置移动单元

408椭圆化单元

409畸变校正单元

410输出图像存储单元

411图像输出单元

具体实施方式

以下，对本发明的一实施方式，参照附图进行详细地说明。

图1是包含本发明一实施方式的全景图像处理装置的监视系统的设置例。本实施方式是将本发明应用于在工厂中监视作业员的监视系统的例子。

如图1所示，监视系统100具有：全景照相机300，朝向地面而安装于工厂内部的监视区域200的顶棚等；及全景图像处理装置400，与全景照相机300可通信地连接。

全景照相机300是能够拍摄全景的图像的照相机，这里，以如非专利文献中记载的利用了特殊的镜子的照相机为例进行说明。全景照相机300在工厂开工期间，对作业员210正在作业的监视区域200进行拍摄，并将拍摄到的全景图像的时间序列数据即运动图像数据发送至全景图像处理装置400。

图2是表示一例全景照相机300拍摄的全景图像的图。

如图2所示，全景照相机300对全景图像处理装置400发送的动态图像数据的图像501的形状为矩形，与之相对，拍摄出监视区域200的全景图像502的形状为正圆。这是因为，对在本实施方式中使用的镜子的光轴的最大剖面为正圆。因此，在运动图像数据的图像501中，产生四角上未被拍摄的部分503。另外，由于本实施方式中的全景照相机300在入射光轴上设置有小的反射镜，因此在全景图像502的中心部，有时产生正圆的死角区域504。关于产生死角的理由，例如记载在非专利文献1及专利文献3中，因此这里省略说明。

这里，全景照相机300拍摄的全景图像是俯视图像，即是以全景照相机的正下方为中心的图像。因此，站在监视区域200的地面上的作业员的图像505为，其头部朝向全景图像502的外周侧，其下半身朝向全景图像502的中心侧。形状为矩形的动态图像数据的图像501相当于1帧，但以下，以包含死角区域504的形状为正圆的全景图像502为图像处理的对象进行说明。

图1的全景图像处理装置400例如是个人计算机。全景图像处理装置400对从全景照相机300接收到的全景图像进行图像处理，并变换成在以提高工厂内的作业员的作业效率为目的的轨迹分析等中利用的图像。具体而言，全景图像处理装置400进行旋转全景图像的处理和移动全景图像的中心位置的卷绕处理等。并且，全景图像处理装置400显示进行了这些处理之后的全景图像。

图像旋转处理是为了使指定了的监视对象位于全景图像的上侧中央而旋转全景图像的处理。

另外，所谓的卷绕处理是指，为了不破坏对图像进行分割后的各分割区域间的相邻关系，而对各个分割区域实施非线性的几何变换，从而使图像变形。这里的卷绕处理例如是移动全景图像的中心位置的处理。

本发明的全景图像处理装置400能够显示：能够掌握监视区域200整体的情形的全景图像。即，全景图像处理装置400能够在维持该图像的连续性的状态下将全景图像变换为指定了的监视对象的图像区域的畸变少的图像，并进行显示。另外，全景图像处理装置400也能够将包含监视对象的图像区域放大显示。由此，系统管理者等用户通过观察变换后的图像，能够识别指定了的监视对象(这里作业员210)的详细状况及其周边的状况。

接着，对全景图像处理装置400的结构进行说明。

图3是表示全景图像处理装置400的结构的方框图。

在图3中，全景图像处理装置400具有动态图像输入单元401、动态图像存储单元402、监视对象位置信息输入单元403、监视对象位置信息存储单元404、监视对象指定单元405、图像旋转单元406、中心位置移动单元407、椭圆化单元408、畸变校正单元409、输出图像存储单元410及图像输出单元411。

动态图像输入单元401输入动态图像数据。这里，运动图像输入单元401从全景照相机300接收对监视区域200进行拍摄而得到的全景图像的动态图像数据，并对接收到的动态图像数据进行编码。运动图像输入单元401在进行编码时，对各运动图像数据赋予每次增加“1”的值即帧ID，并且对其赋予所编码的时刻作为时戳(time stamp)。运动图像输入单元401将编码后的运动图像数据输出到运动图像存储单元402。

运动图像存储单元402以H.264格式等由多个帧构成的运动图像格式存储从运动图像输入单元401输入的运动图像数据。并且，运动图像存储单元402接受来自监视对象指定单元405的指示，将监视对象指定单元405指定了的帧ID的帧(全景图像)输出至图像旋转单元406。另外，运动图像存储单元402以能够从监视对象位置信息存储单元404进行参照的状态保持帧时刻对应表。帧时刻对应表是表示帧ID与相应的帧被拍摄的时刻(从运动图像输入单元401输入的时刻)之间的对应关系的信息。

监视对象位置信息输入单元403以规定的周期(例如每0.5秒)输入各监视对象的监视对象位置信息，并将输入了的监视对象位置信息输出到监视对象位置信息存储单元404。监视对象位置信息是将时刻与在该时刻存在于监视区域200内的监视对象的代表点的全景图像上的二维位置坐标(以下称为“画面内位置”)对应关联地表示的信息。此外，例如在利用无线标签取得的情况下，监视对象的代表点是无线标签的位置，在通过对全景图像的图像识别而取得的情况下，监视对象的代表点是监视对象的图像区域的中心点。

监视对象位置信息存储单元404基于从运动图像存储单元402输入的帧时刻对应表和从监视对象位置信息输入单元403输入的监视对象位置信息，生成并存储监视对象位置管理信息。此外，监视对象位置信息存储单元404以能够从监视对象指定单元405进行参照的状态进行存储。

监视对象指定单元405从运动图像存储单元402存储的运动图像数据中指定应显示的全景图像(帧)。另外，监视对象指定单元405从在全景图像中所拍摄到的监视对象中，指定应特别容易看见地显示的监视对象。关于帧和监视对象的具体的指定方法，将在后阐述。监视对象指定单元405使运动图像存储单元402将指定了的帧(以下称为“指定帧”)的全景图像输出至图像旋转单元406。

另外，在指定帧中，监视对象指定单元405检测指定了的监视对象(以下称为“指定监视对象”)的画面内位置。并且，监视对象指定单元405取得检测出的指定监视对象的画面内位置(以下称为“指定监视对象位置”)，并输出至图像旋转单元406。这里，监视对象指定单元405利用液晶显示器等显示装置及键盘、鼠标等输入装置(均未图示)，从用户受理指定帧及指定监视对象的选择。

图像旋转单元406基于指定监视对象位置，对于从运动图像存储单元402输入的指定帧的全景图像，进行上述的图像旋转处理。另外，图像旋转单元406提取指定监视对象在全景画面内占据的图像区域(以下称为“指定监视对象区域”)。并且，图像旋转单元406将进行了图像旋转处理后的全景图像和指定监视对象位置及指定监视对象区域(以下，将两者合并后的信息称为“监视对象位置信息”)输出到中心位置移动单元407。

以下，适当地，将即将进行图像旋转处理之前的全景图像称为“旋转前图像”，将刚刚进行了图像旋转处理之后的全景图像称为“旋转后图像”。

中心位置移动单元407对于从图像旋转单元406输入的旋转后图像，进行使旋转后图像的中心位置移动到下方的卷绕处理(以下称为“中心位置移动处理”)。并且，中心位置移动单元407将进行了中心位置移动处理后的旋转后图像及监视对象位置信息输出至椭圆化单元408。

以下，适当地，将即将进行中心位置移动处理的全景图像称为“移动前图像”，将刚刚进行了中心位置移动处理之后的全景图像称为“移动后图像”。

椭圆化单元408对于从中心位置移动单元407输入的移动后图像，通过线性的投影变换，进行将其形状从正圆变为椭圆形的处理(以下称为“椭圆化处理”)。并且，椭圆化单元408将进行了椭圆化处理后的移动后图像及监视对象位置信息输出至畸变校正单元409。

以下，适当地，将即将进行椭圆化处理之前的全景图像称为“椭圆化前图像”，将刚刚进行了椭圆化处理之后的全景图像称为“椭圆化后图像”。

畸变校正单元409对于从椭圆化单元408输入的椭圆化后图像的指定监视对象区域，进行校正全景图像特有的畸变的处理(以下称为“畸变校正处理”)。并且，畸变校正单元409将进行了畸变校正处理后的椭圆化后图像及监视对象位置信息输出至输出图像存储单元410。

以下，适当地，将即将进行畸变校正处理之前的全景图像称为“畸变校正前图像”，将刚刚进行了畸变校正处理之后的全景图像称为“畸变校正后图像”。

输出图像存储单元410存储从畸变校正单元409输入的畸变校正后图像。

图像输出单元411读出输出图像存储单元410存储的畸变校正后图像作为最终的全景图像，并输出到液晶显示器等的显示装置。

这种全景图像处理装置400可以通过CPU(central processing unit：中央处理单元)、存储控制程序的ROM(read only memory：只读存储器)等存储介质、RAM(random access memory：随机存取存储器)等作业用存储器、用于存储各种数据的硬盘等存储介质等来实现。此时，上述各部的功能通过CPU执行控制程序来实现。

具有这种结构的全景图像处理装置400能够维持全景图像的连续性，而且在该全景图像中能够以更接近在实际空间中从正侧面观察指定监视对象时的观察方法的状态显示指定监视对象的图像。另外，全景图像处理装置400能够将包含监视对象的图像区域放大显示。即，全景图像处理装置400能够维持全景图像的连续性，并且能够提高该全景图像中的、用户要关注的监视对象的视认性。

以下，对全景图像处理装置400的整体动作进行说明。

这里，全景图像处理装置400在进行了信息存储动作之后，基于存储了的运动图像数据及监视对象位置管理信息进行处理全景图像的图像处理动作。这里，所谓的信息存储动作，为将运动图像数据及监视对象位置管理信息进行存储的动作。首先，对信息存储动作进行说明。

全景图像处理装置400首先将全景照相机300拍摄到的运动图像数据输入到运动图像输入单元401中，并存储在运动图像存储单元402中。运动图像存储单元402对于进行存储的运动图像数据生成帧时刻对应表。

图4是表示一例帧时刻对应表的图。

如图4所示，帧时刻对应表610将全景图像的拍摄时刻611与该全景图像的帧ID612对应关联地记述。拍摄周期恒定，一个帧对应一个拍摄时刻。

这里，假设从拍摄到全景图像后到对应的帧被输入到运动图像存储单元402中为止所需的时间非常短。因此，运动图像存储单元402采用将输入时刻直接作为拍摄时刻611。此外，在考虑从拍摄到全景图像后到对应的帧被输入到运动图像存储单元402中为止所需的时间的情况下，运动图像存储单元402将从输入时刻起追溯了相应时间的时刻作为拍摄时刻611即可。

监视对象位置信息输入单元403对于存在于监视区域200内的监视对象即全景照相机300拍摄到的全景图像，输入在被拍摄的监视对象的监视对象位置信息。此外，监视对象位置信息包含时刻及各监视对象在全景图像上的位置。监视对象位置信息输入单元403将输入的监视对象位置信息输出到监视对象位置信息存储单元404。

图5是表示一例监视对象位置信息的图。

如图5所示，监视对象位置信息620将进行了监视对象位置的检测的检测时刻621、监视对象ID622及检测出的监视对象的画面内位置623对应关联地记述。画面内位置623表示运动图像数据的位置，例如，如后所述，以定义了将运动图像数据的左下角作为原点的xy坐标系时的坐标值进行表示。

此外，监视对象位置信息能够通过利用了无线标签的测位、或对全景图像的图像识别等来得到。

在利用了无线标签的测位的情况下，例如，监视对象位置信息输入单元403预先存储实际空间(监视区域200)中的三维位置和全景照相机300拍摄的全景图像中的二维位置之间的对应关系。并且，监视对象位置信息输入单元403以规定的周期(例如0.5秒)从安装于各监视对象的无线标签中取得各监视对象的ID信息(以下称为“监视对象ID”)、各监视对象的代表点的实际空间中的三维位置。接着，监视对象位置信息输入单元403将取得的三维位置变换成全景图像上的二维位置。此时，监视对象位置信息输入单元403也可以采用将各无线标签的ID直接作为监视对象ID。

另外，在利用图像识别的情况下，例如，监视对象位置信息输入单元403预先存储各监视对象的、脸部特征量及帽子颜色等图像特征及监视对象ID。监视对象位置信息输入单元403对于存储于运动图像存储单元402的各帧中的与规定的周期相对应的每一帧，提取各监视对象在全景图像内占据的图像区域。并且，监视对象位置信息输入单元403进行脸部识别及帽子颜色的识别等，取得各图像区域的监视对象ID，并且取得各图像区域在全景图像上的代表位置作为该监视对象的二维位置。

监视对象位置信息存储单元404基于从监视对象位置信息输入单元403输入的监视对象位置信息，生成监视对象位置管理信息，并存储生成的监视对象位置管理信息。

图6是表示一例监视对象位置管理信息的图。

如图6所示，在监视对象位置管理信息630中，与帧ID631对应关联地记述有可能被拍摄到该帧全景图像中的监视对象的监视对象ID632与该画面内位置633的组合。

监视对象位置信息存储单元404例如如下那样地生成监视对象位置管理信息630。监视对象位置信息存储单元404参照在运动图像存储单元402中存储的帧时刻对应表610(参照图4)。并且，监视对象位置信息存储单元404搜索记述在帧时刻对应表610中的拍摄时刻611区间中的、包含监视对象位置信息620(参照图5)的检测时刻621的区间。此外，所谓的拍摄时刻611的区间，是指从该帧的拍摄时刻起到下一帧的拍摄时刻为止。并且，监视对象位置信息存储单元404将监视对象位置管理信息630所示的与相应区间相对应的帧ID612和图5所示的监视对象位置信息620的监视对象ID622及画面内位置623对应关联。

例如，如图5所示，输入使监视对象ID622为“5”，画面内位置623为“(780，550)”与“2010/1/13 9:34:55 02”这一检测时刻621对应关联的监视对象位置信息620。另外，如图4所示，存储有将帧ID612“10”与包含“2010/1/13 9:34:55 02”的区间对应关联的帧时刻对应表610。

此时，生成的监视对象位置管理信息630，如图6所示，成为将监视对象ID632“5”及画面内位置633“(780，550)”与帧ID631“10”对应关联的内容。

通过以上的信息存储动作，运动图像数据及监视对象位置管理信息成为分别存储在运动图像存储单元402及监视对象位置信息存储单元404中的状态。在该状态下，全景图像处理装置400能够进行图像处理动作。全景图像处理装置400例如在监视区域200的一天的运动图像数据及监视对象位置管理信息的存储结束后，在第二天利用这些进行图像处理动作。

接着，对图像处理动作进行说明。

图7是表示全景图像处理装置400的图像处理动作的流程图。

首先，在步骤S1000中，监视对象指定单元405基于在监视对象位置信息存储单元404中存储的监视对象位置管理信息(参照图6)，决定指定监视对象及指定帧。指定监视对象及指定帧可以由用户任意地决定，也可以根据规定的规则自动决定。规定的规则的内容例如是以特定的作业员为指定监视对象，以该作业员出勤的时间段的帧为指定帧。或者，规定的规则的内容例如是以出现异常举动的监视对象出现的时间段的帧为指定帧。监视对象的举动是否异常例如可通过分析在运动图像数据中所拍摄的监视对象的动作来判断。

这里，监视对象指定单元405基于在监视对象位置信息存储单元404中存储的监视对象位置管理信息，生成监视对象指定画面，并显示在液晶显示器上。这里，所谓的监视对象指定画面，是用户用于选择指定监视对象及指定帧的画面。

图8是表示监视对象指定画面的第一例的图。

如图8所示，监视对象指定单元405将各监视对象642的监视对象ID643重叠在运动图像存储单元402中存储的代表性的全景图像641上，显示在监视对象指定画面640。此外，各监视对象642的监视对象ID643和该监视对象642的画面内位置对应关联地显示在监视对象指定画面640上。另外，监视对象指定单元405将提醒用户选择任一个监视对象642的消息644显示在监视对象指定画面640上。

此外，监视对象指定单元405也可以将与监视对象ID对应关联的监视对象的名称(作业员姓名)等其他识别信息与监视对象ID643一起或代替监视对象ID643，显示在监视对象指定画面640上。

在选择了显示在监视对象指定画面640上的任一监视对象642时，监视对象指定单元405取得该监视对象642的监视对象ID643作为指定监视对象的监视对象ID。并且，监视对象指定单元405基于监视对象位置管理信息，确定拍摄到指定监视对象的区间的帧，并取得确定的帧作为指定帧。

通过这种监视对象指定画面640，用户确认全景图像641中的各监视对象642的图像及监视对象ID643等，并任意地选择指定监视对象。即，用户能够将拍摄到选择的指定监视对象的区间的各帧选择为指定帧。

图9是表示监视对象指定画面的第二例的图。

如图9所示，监视对象指定单元405将各监视对象的信息重叠在监视区域200的全景图像651中，并显示在监视对象指定画面650上。此外，监视对象的信息包含基于监视对象位置管理信息生成的各监视对象的轨迹652、与各轨迹652对应关联的监视对象ID653。轨迹652例如通过圆形的端部来表示监视对象进入监视区域200的位置，通过箭头状的端部来表示监视对象离开监视区域200的位置。另外，监视对象指定单元405将提醒用户选择任一轨迹652的消息654显示在监视对象指定画面650上。

监视对象指定单元405在选择了显示在监视对象指定画面650上的任一轨迹652时，取得该轨迹652的监视对象ID643作为指定监视对象的监视对象ID。并且，监视对象指定单元405基于监视对象位置管理信息，确定拍摄到指定监视对象的区间的帧，并选择确定的帧作为指定帧。此外，拍摄到指定监视对象的区间，是从指定监视对象进入监视区域200到离开监视区域200为止的区间。

通过这种监视对象指定画面650，用户能够确认各个监视对象通过的地点，能够任意选择指定监视对象。并且，用户能够选择拍摄到所选择的指定对象的区间的各帧作为指定帧。由此，例如，当在监视区域200内发生事故时等，在事故发生后，容易确认通过事故现场的作业员及该作业员的行动。

图10是表示监视对象指定画面的第三例的图。

如图10所示，监视对象指定单元405在监视对象指定画面660上显示例如帧ID661和监视对象ID662的组合。另外，监视对象指定单元405将提醒选择任一组合的消息663显示在监视对象指定画面660上。

在选择了在监视对象指定画面660上显示的任一组合时，监视对象指定单元405取得该组合的监视对象ID662及帧ID661作为指定监视对象的监视对象ID及指定帧的帧ID。

通过这种监视对象指定画面660，用户能够通过监视对象ID及帧ID直接设定指定监视对象及指定帧。并且，监视对象指定单元405基于监视对象位置管理信息确定在指定帧以后拍摄到指定监视对象的区间的帧，并取得确定的帧作为指定帧。在步骤S1000结束的时刻，一个指定监视对象和拍摄到指定监视对象的指定帧(一个以上的连续的帧)被选择。

此外，即使在输入了新的运动图像数据时，有时用户也希望继续监视同一监视对象。考虑到这种情况，在步骤S1000中，监视对象指定单元405也能够仅接受帧的选择，并在仅接受了帧的选择时将上次选择的监视对象设为指定监视对象。

另外，反之，有时用户希望在同一指定帧中只切换监视对象。考虑到这种情况，在步骤S1000中，监视对象指定单元405也能够仅接受监视对象的选择，并在仅接受了监视对象的选择时将上次选择的帧作为指定帧。

在步骤S2000中，监视对象指定单元405从未进行处理的指定帧中选择帧ID的数字最小的帧。然后，监视对象指定单元405对运动图像存储单元402通知选择中的指定帧的帧ID(以下称为“选择中的帧ID”)，并向图像旋转单元406输出一个指定帧的全景图像。

另外，监视对象指定单元405从在监视对象位置信息存储单元404存储的监视对象位置管理信息(参照图6)中取得以选择中的帧ID表示的全景画面中的指定监视对象的画面内位置(指定监视对象位置)。并且，监视对象指定单元405将取得的指定监视对象位置对图像旋转单元406输出。

在以下的说明中，在图8所示的监视对象指定画面640中，选择监视对象ID643为“11”的监视对象作为指定监视对象。

在步骤S3000中，图像旋转单元406基于从监视对象指定单元405输入的指定监视对象位置，对从运动图像存储单元402输入的全景图像进行图像旋转处理。这里，图像旋转单元406生成以在图8所示的对象指定画面640中拍摄到斜右上侧监视对象ID为“11”的监视对象位于图像上部的中心的方式进行旋转后的图像。

图11是表示一例图像旋转处理的流程图。

首先，在步骤S3100中，图像旋转单元406提取指定监视对象(这里监视对象ID为“11”的监视对象)在全景图像内占据的图像区域。例如，图像旋转单元406通过背景差分法在指定监视对象的指定监视对象位置附近提取监视对象区域，并通过以监视对象(例如人物)的形状为模板的模板匹配来提取监视对象的图像区域。

此外，在监视对象位置信息输入单元403通过图像识别来取得监视对象位置坐标的情况下，图像旋转单元406可以利用此时提取的监视对象的图像区域定义指定监视对象区域。

图12是表示一例指定帧的初始状态的全景图像的图。

如图12所示，指定帧的初始状态的全景图像(旋转前图像)670与图8所示的监视对象指定画面640的全景图像641同样地，是正圆的俯视图像，是以实际空间中的全景照相机的正下方为中心的图像。因此，位于右上侧的指定监视对象的图像672的、与实际空间中的铅直方向相对应的方向673倾斜。

此外，在图12中，矩形的运动图像数据674以左下角为xy坐标系的原点(0，0)，以右方向为x轴方向，以上方向为y轴方向，来定义全景图像670的大小及全景图像上的监视对象的位置及图像区域。

若设全景图像670的半径为r，则全景图像的上端点、下端点、右端点、左端点的各坐标分别为(r，2r)、(r，0)、(2r，r)、(0，r)。图12所示的各坐标值是r＝500时的例子。

然后，在步骤S3200中，图像旋转单元406基于在步骤S3100中提取的图像区域，定义指定监视对象区域，并生成包含指定监视对象位置和指定监视对象区域的监视对象位置信息。

图13是表示一例指定监视对象区域的定义的图。另外，图14是表示一例监视对象区域信息的图。

如图13所示，指定监视对象区域680例如是外切于指定监视对象的图像区域681，并且是由等腰梯形围成的区域，该等腰梯形的非平行的对边682、683分别与全景图像684的半径方向一致。

如图14所示，图像旋转单元406能够通过等腰梯形的三个端点各自的xy坐标来表示指定监视对象区域。监视对象区域坐标(左上)701是等腰梯形的平行的对边685、686中的长边(离外周近的边方)的左端点687的坐标。监视对象区域坐标(右上)702是等腰梯形的平行的对边685、686中的长边的右端点688的坐标。监视对象区域坐标(左下)703是等腰梯形的平行的对边685、686中的短边(离原点近的边)的左端点689的坐标。

然后，图像旋转单元406基于取得的指定监视对象位置690，计算用于由旋转前图像生成旋转后图像的变换矩阵。

具体而言，例如，如下所述。首先，图像旋转单元406关于旋转前图像取得指定监视对象位置690，将基准线691与监视对象线692所成的角度693作为全景图像684的旋转量θ。这里，基准线691是观察全景图像684时从其中心694朝向上方向(y轴正方向)延伸的线。另外，监视对象线692是连接全景图像684的中心694和指定监视对象位置690的线。监视对象线692例如与连接全景图像684的中心694与监视对象区域坐标(左上)687和监视对象区域坐标(右上)688的中点的线一致。

图15是一例用于说明旋转量的计算方法的图，是与图14相对应的图。对与图14相同的部分标注同一标记，省略对其的说明。另外，以下，以相对于中心694逆时针旋转的旋转方向为正进行说明。

在图15中，在设监视对象区域坐标(左上)687和监视对象区域坐标(右上)688的中点695的坐标为(x_m，y_m)时，通过中点695和中心694的监视对象线692以以下的式(1)表示。

$y=\left(\frac{y_m-r}{x_m-r}\right)x+(r-\frac{y_m-r}{x_m-r})\·\·\·\·\·\·\left(1\right)$

这里，设从基准线691和全景图像684的外周的交点697向监视对象线692引出的垂线698和监视对象线692的交点为交点699。此时，若交点697和交点699之间的距离为d₁，设中心694与交点699之间的距离为d₂，则旋转量θ可以根据以下的式(2)、(3)算出。

$\sin \mathrm{\θ}=\frac{d_1}{r}\·\·\·\·\·\·\left(2\right)$

$\cos \mathrm{\θ}=\frac{d_2}{r}\·\·\·\·\·\·\left(3\right)$

在将旋转前图像中的坐标设为(x，y)，将旋转后图像中的坐标设为(x′，y′)时，图像旋转单元406计算出以下的式(4)的右项所示的、对于旋转前图像中的坐标(x，y)的系数部分作为变换矩阵。通过利用该变换矩阵，图像旋转单元406能够生成指定监视对象位于图像上部的中心的旋转后图像。

$\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right)=\left(\begin{array}{ccc}1& 0& r\\ 0& 1& r\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}& 0\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}1& 0& -r\\ 0& 1& -r\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)$

$=\left(\begin{array}{ccc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}& r-r\cos \mathrm{\θ}+r\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& r-r\sin \mathrm{\θ}-r\cos \mathrm{\θ}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)\·\·\·\·\·\·\left(4\right)$

然后，在步骤S3400中，图像旋转单元406利用在步骤S3300中计算出的变换矩阵，将旋转前图像的各坐标进行变换，生成旋转后图像。并且，图像旋转单元406将生成的旋转后图像、表示旋转后图像中的指定监视对象位置及指定监视对象区域的监视对象位置信息输出至中心位置移动单元407。

图16是表示一例对图11所示的旋转前图像670进行图像旋转处理后的、旋转后图像的图。

如图16所示，在旋转后图像670a中，指定监视对象的图像672位于上侧中央，与其实际空间中的铅直方向相对应的方向673成为朝下方向。接着，在图7的步骤S4000中，中心位置移动单元407对从图像旋转单元406输入的旋转后图像(移动前图像)，进行中心位置移动处理。

中心位置移动单元407在进行使旋转后图像的中心位置移动到下方的卷绕处理时，进行如特别放大指定监视对象区域的卷绕处理。

图17是表示中心位置移动处理的一例的流程图。

首先，在步骤S4100中，中心位置移动单元407将移动前图像的区域分割。

图18是表示一例移动前图像的区域的分割的图。

中心位置移动单元407例如通过从移动前图像的区域711的中心712向外周713方向放射状延伸的多条线714和与移动前图像的外周713同心的多个圆715，将移动前图像区域的区域711分割。在输入了图16所示的全景图像的情况下，中心712的坐标为(500，500)。多条线714包括至少从中心712朝向上方向(y轴正方向)延伸的线714a，例如为规定的根数且等间隔地配置。另外，多个圆715例如为规定的个数，且以与相邻的其他圆715的半径之差恒定的方式配置。

然后，在步骤S4200中，中心位置移动单元407决定移动前图像的中心的投影目标位置坐标。中心位置移动单元407将中心的投影目标位置坐标决定为下方的坐标(更小的y坐标)。投影目标位置的y坐标可以为预先设定的值，也可以是对原来的y坐标乘以预先设定的比率而得到的值。对于图16所示的全景图像，例如决定为坐标(500，270)。

另外，中心位置移动单元407决定从中心712朝向上方向延伸的线714a与外周713及各圆715的交点720～724的投影目标位置坐标。中心位置移动单元407例如使线714a和外周713的交点720固定。这里，在图18中，设交点720和交点721之间的距离为半径方向间隔725，设交点721和交点722之间的距离为半径方向间隔726，设交点722和交点723之间的距离为半径方向间隔727。另外，在图18中，设交点723和交点724之间的距离为半径方向间隔728，设交点724和中心729之间的距离为半径方向间隔729。此时，中心位置移动单元407决定投影后的半径方向间隔725～729的彼此之间的比率(725∶726∶727∶728∶729)。例如，中心位置移动单元407将投影后的半径方向间隔725～729的彼此之间的比率(725∶726∶727∶728∶729)决定为(1.0∶1.5∶0.8∶0.5∶0.2)。此外，以下，将投影后的半径方向间隔725～729的彼此之间的比率称为“投影后间隔比率”。这里，为了指定监视对象区域被放大显示，中心位置移动单元407以使对应于指定监视对象区域的半径方向间隔(这里设为半径方向间隔726)变宽的方式，决定投影后间隔比率。另外，中心位置移动单元407也可以以相对于中心712与交点721之间的距离的比率(例如0.3)，来决定与指定监视对象区域相对应的半径方向间隔(这里设为半径方向间隔726)。

希望由投影引起的中心位置的移动距离及投影后间隔比率是如充分辨认指定监视对象的详细的状况及其周边的状况那样的值，例如，通过实验或经验来决定。

此外，位于距全景照相机300更远(即接近全景图像的外周713处)的监视对象，在移动前图像中显示得更小。因此，中心位置移动单元407也可以以加宽与指定监视对象区域相对应的部分的半径方向间隔，而且其他的半径方向间隔大于外周侧的方式，来决定投影后间隔比率。

另外，也可以是，全景照相机300与指定监视对象之间的距离越长，中心位置移动单元407使与指定监视对象区域相对应的部分的比率越大。此时，例如，中心位置移动单元407预先存储全景图像中的各位置与到达在该位置被拍摄的监视对象的距离(到达该监视对象所站的地点之间的距离)之间的对应关系。然后，中心位置移动单元407取得相对于指定监视对象位置的距离作为全景照相机300和指定监视对象之间的距离。然后，中心位置移动单元407基于取得的距离，决定与指定监视对象区域相对应的部分的比率。

然后，在步骤S4300中，中心位置移动单元407将移动后图像的区域分割。具体而言，中心位置移动单元407以连接在步骤S4200中决定了坐标的移动后坐标下的投影目标位置坐标的各点的形状，来决定将移动后图像的区域分割的各直线及曲线。由此，决定怎样将移动前图像的区域分割的各直线及曲线投影到移动后图像的区域中。

图19是表示一例移动后图像的区域的分割的图。

如图19所示，例如，中心位置移动单元407配置所决定的投影后的中心733。然后，中心位置移动单元407以决定的投影后间隔比率对从中心733朝向上向方向延伸的线734进行分割，并配置分割点735～738。另外，中心位置移动单元407也以决定的投影后间隔比率来分割从中心733向下方延伸的线734′，并配置分割点735′～738′。

之后，如图19所示，中心位置移动单元407以如分别与移动前图像中的各圆(图18的圆715)相对应并通过配置的分割点735′～738′那样的椭圆739，将移动后图像的区域731分割。进而，中心位置移动单元407以如分别与移动前图像中的各线(图18的线714)相对应并将各椭圆739的圆周等间隔地分割那样的线740，将移动后图像的区域731分割。

然后，在步骤S4400中，中心位置移动单元407进行从移动前图像的各分割区域到移动后图像的对应的分割区域的投影变换。例如，中心位置移动单元407将移动前图像中的分割区域741的图像投影变换为移动后图像中的对应的分割区域742。

各分割区域是以曲线为边的四边形或三角形，但为了处理的简便化，中心位置移动单元407也可以将全部的边看作直线进行投影变换。另外，移动前图像的分割区域及移动后图像的分割区域的面积越小，移动后图像成为分割区域间的接缝越不明显的漂亮的图像。

中心位置移动单元407将生成的移动后图像和表示移动后图像中的指定监视对象位置及指定监视对象区域的监视对象位置信息输出至椭圆化单元408。

接着，在图7的步骤S5000中，椭圆化单元408将从中心位置移动单元407输入的移动后图像(椭圆化前图像)进行椭圆化处理。具体而言，椭圆化单元408对椭圆化前图像实施例如以下的式(5)所示的二维矩阵变换。这里，(x′，y′)表示椭圆化前图像中的坐标，(x”，y”)表示椭圆化后图像中的坐标。Sx表示椭圆化时的x轴方向的放大率。

$\left(\frac{x^{\′\′}}{y^{\′\′}}\right)=\left(\begin{array}{cc}\mathrm{Sx}& 0\\ 0& 0\end{array}\right)\left(\frac{x^{\′}}{y^{\′}}\right)\·\·\·\·\·\·\left(5\right)$

放大率Sx可以是固定值，也可以基于指定对象区域的大小或纵横比来决定。例如，椭圆化单元408可以计算指定监视对象区域的纵横比，并采用如该纵横比接近于从正侧面观察人时的通常的纵横比那样的放大率Sx。这里，设放大率为1.5。

图20是表示一例移动后图像中的分割后的区域的椭圆化后图像中的状态的图。

如图20所示，椭圆化前图像的中心733及从中心向上延伸的线734以决定了其x坐标值的放大率被放大，并在x轴的正的方向上移动。另外，以决定的放大率在x轴方向上拉伸椭圆化前图像的外周732及各椭圆739。另外，与此同时，椭圆化单元408还在x轴方向上拉伸以等间隔分割各椭圆739的圆周的线740及分割区域742。

椭圆化单元408将生成的椭圆化后图像和表示椭圆化后图像中的指定监视对象位置及指定监视对象区域的监视对象位置信息输出至畸变校正单元409。

接着，在图7的步骤S6000中，畸变校正单元409对从椭圆化单元408输入的椭圆化后图像(畸变校正前图像)进行畸变校正处理。具体而言，畸变校正单元409对全景照相机300的拍摄图像中特有的、直线带有圆弧等畸变即对上述的中心移动处理及椭圆化处理中难以消除的畸变进行校正。

图21是表示一例畸变校正处理的流程图。

首先，在步骤S6100中，畸变校正单元409取得椭圆化后图像中的指定监视对象区域。具体而言，畸变校正单元409取得从椭圆化单元408输入的畸变校正前图像(椭圆化后图像)中的指定监视对象区域。

然后，在步骤S6200中，畸变校正单元409对于计算出的指定监视对象区域实施畸变校正。畸变校正的内容是与全景照相机300的光学特性等相对应的内容，例如根据实验或经验来决定。此外，畸变校正单元409也可以利用通常的图像处理软件中的畸变校正功能。另外，关于畸变校正的内容，也存在指定监视对象区域的大小和形状均未被变更的情况。

然后，在步骤S6300中，畸变校正单元409判断指定监视对象区域的大小及形状中的至少一方面是否有变更。畸变校正单元409在指定监视对象区域的大小及形状的至少一方面有变更的情况下(S6300：“是”)，进入步骤S6400。另外，畸变校正单元409在指定监视对象区域的大小及形状均无变更的情况下(S6300：“否”)，直接返回图7的处理。

在步骤S6400中，畸变校正单元409以指定监视对象区域的大小及形状的变更与周围的区域相适应的形状，对全景图像的指定监视对象区域以外的区域进行投影变换。

图22是表示一例畸变校正前图像的区域分割的图。另外，图23是表示一例与图22所示的畸变校正前图像相对应的畸变校正后图像的区域分割的图。

这里，如图22所示，设畸变校正前图像761中的指定监视对象区域762与四个分割区域(图中的斜线部)相对应。指定管理区域和分割区域的划分未必相同，但为了便于说明，这里指定监视对象区域由多个分割区域构成。另外，全景照相机300的光学特性为如下的光学特性：在畸变校正前图像761中，越接近畸变校正前图像761的中心763，左右方向上越窄地畸变。

此时，畸变校正单元409以进一步拓宽指定监视对象区域762中靠近畸变校正前图像761的中心763一侧的方式对畸变校正前图像761进行校正。并且，畸变校正单元409以更大地显示畸变被消除的指定监视对象区域的方式，对畸变校正前图像761进行校正。

其结果是，图23所示的畸变校正后图像771的指定监视对象区域772与图22所示的畸变校正前的指定监视对象区域762相比，等腰梯形的上边与下边的比率发生变化，畸变进一步被消除。另外，进一步，畸变校正后图像771的指定监视对象区域772与畸变校正前的指定监视对象区域762相比，成为更大的面积。

另外，畸变校正单元409校正与指定监视对象区域772相邻的分割区域的大小及形状，以便维持分割区域间的相邻关系。此时，畸变校正单元409以如下方式校正各分割区域的大小及形状：从与指定监视对象区域772相邻的分割区域774到其更外围的分割区域775，分级地吸收指定监视对象区域772的变更。

然后，畸变校正单元409将全景图像的指定监视对象区域以外的各部分投影变换为校正后的对应的分割区域，并生成由畸变校正后的指定监视对象区域和其他区域构成的畸变校正后图像。然后，畸变校正单元409将生成的畸变校正后图像输出至输出图像存储单元410。

由此，即使在畸变校正的前后指定监视对象区域的大小及形状发生变更的情况下，也能够得到指定监视对象区域与周围的接缝不明显的漂亮的全景图像。

输出图像存储单元410存储从畸变校正单元409输入的畸变校正后图像，并对图像输出单元411输出畸变校正后图像。

接着，在图7的步骤S7000中，图像输出单元411通过液晶显示器等显示设备显示从输出图像存储单元410输入的畸变校正后图像。

然后，在步骤S8000中，监视对象指定单元405判断是否存在在步骤S2000中未选择的指定帧。

监视对象指定单元405在不是指定帧的最终帧的情况下即在存在未选择的指定帧的情况下(S8000：“否”)，返回步骤S2000。即，监视对象指定单元405使选择中的帧ID递增1而选择下一指定帧，反复执行步骤S2000～S8000。

并且，监视对象指定单元405在是指定帧的最终帧的情况下即不存在未选择的指定帧的情况下(S8000：“是”)，结束一系列的处理。

通过这种动作，全景图像处理装置400能够接受对全景图像的影像中用户要关注的监视对象的指定，并能够进行对影像的图像处理，以便容易地观察该监视对象。另外，该图像处理在图像旋转之后仅仅进行卷绕处理及线性的投影变换，因此能够维持全景图像的连续性。

另外，在指定帧为多个的情况下，全景图像处理装置400追随用户指定的监视对象的监视区域200内的移动，能够始终在全景图像的上部中央部继续显示该监视对象。

如以上所述，本实施方式的全景图像处理装置以如下方式对于全景图像进行图像处理：指定监视对象的与实际空间中的铅直方向及左右方向相对应的方向接近观察全景图像时的向下方向及左右方向。由此，处理后的全景图像能够以更接近实际观察时的状态的方式显示所指定的监视对象，能够提高指定的监视对象的视认性。即，处理后的全景图像能够以其头部朝上，其脚部朝下的状态，并且以进一步缓解水平成分的歪曲的状态，来显示指定监视对象。另外，因为指定监视对象的周边在上下方向上被拉伸，所以能够更大地显示指定监视对象及其周边的图像，并且能够提示更容易掌握指定监视对象及其周边的状况的全景图像。

另外，本实施方式的全景图像处理装置通过全景图像的旋转、使全景图像的中心位置移动的卷绕处理来进行上述的图像处理，因此能够维持全景图像的连续性。

另外，本实施方式的全景图像处理装置在使全景图像的中心位置移动时，进行如进一步放大指定监视对象区域的卷绕处理。进而，本实施方式的全景图像处理装置通过线性的投影变换进行横向拉伸全景图像的椭圆化处理。通过这些处理，处理后的全景图像能够更大地显示指定监视对象及其周边的图像，并且能够更容易地掌握指定监视对象及其周边的状况。

另外，本实施方式的全景图像处理装置进行如下的卷绕处理：对指定监视对象区域的畸变进行校正，并且结合该校正对周围的图像区域进行校正。由此，处理后的全景图像能够更容易掌握指定监视对象的状况。

此外，在本实施方式中，说明了在图像处理动作之前，结束对一系列运动图像(多个指定帧)的信息存储动作的情况，但本发明的适用不限定于此。全景图像处理装置，例如也可以对每一帧进行信息存储动作及图像处理动作，实时进行全景图像的图像处理及显示。此时，指定帧的决定不是帧ID的指定，需要基于显示中的影像的指定或基于指定监视对象的有无来进行。

另外，全景图像处理装置也可以并不全部实施上述的图像旋转处理、中心位置移动处理、中心位置移动处理中的指定对象区域的放大、椭圆化处理及畸变校正处理。例如，存在如指定监视对象接近全景照相机，画质好且畸变少的情况。在这种情况下，全景图像处理装置即使仅仅实施图像旋转处理及中心位置移动处理，也能够维持全景图像的连续性，而且能够提高全景图像中的指定的监视对象的视认性。

另外，在本实施方式中，将指定监视对象区域作为由与人物的轮廓外切的框包围的区域而进行说明，但本发明的适用方式不限定于此。指定监视对象区域也可以是不仅包含指定监视对象，而且一并包含位于该指定监视对象附近且与该指定对象的行动相关联的物体(例如作业台，以下称为“附属对象”)等其他对象的区域。

图24是表示指定监视对象区域的定义的另一例的图。

如图24所示，指定监视对象781一边观看显示器设备782一边作业。此时，全景图像处理装置例如在未图示的视线检测部中，通过对瞳孔移动的追踪等图像识别来检测作为指定监视对象781的作业员的视线方向。然后，全景图像处理装置根据检测出的视线方向，将显示器设备782判断为附属监视对象。视线检测部可以通过设置于指定监视对象781进行作业的桌子上、壁的较低位置上的照相机等来实现。并且，图像旋转单元406将指定监视对象区域783例如决定成与包含指定监视对象781的轮廓及作为附属对象的显示器设备782这两者的轮廓外切的、以等腰梯形的形状包围的区域。这样，通过将包含指定监视对象和附属监视对象的区域作为指定监视对象区域，也能够易观察地显示附属对象的状态，能够更容易掌握指定监视对象的行动。

另外，指定监视对象区域也可以不是上述的等腰梯形，只要是能够恰当地定义该全景图像中的位置的形状，也可以是长方形、椭圆形等其他形状。另外，在本实施方式中，也可以在图8的监视对象指定画面中，对监视对象的图像区域进行畸变校正并进行显示。

另外，在本实施方式中，对初始状态的全景图像为俯视图像的情况进行了说明，但本发明的适用不限定于此。例如，在初始状态的全景图像为仰视图像的情况下，也能够适用本发明。所谓的仰视图像，例如，在监视区域200的地面上朝向顶棚地安装全景照相机300而得到的图像。

如上所述，在俯视图像中，站在监视区域200的地面上的作业员的图像是其头部朝向全景图像的外周侧，其下半身朝向全景图像的中心侧。与之相对，在仰视图像中，站在监视区域200的地面上的作业员的图像是其头部朝向全景图像的中心侧，其下半身朝向全景图像的外周侧。

因此，在初始状态的全景图像为仰视图像的情况下，全景图像处理装置在图像旋转处理中使指定监视对象旋转到下侧中央，在中心位置移动处理中使全景图像的中心向上方移动即可。

另外，在本实施方式中，对利用了在入射光轴上设置有小的反射镜的全景照相机的情况进行了说明，但本发明也能够适用于采用了鱼眼镜头的全景照相机的情况。

图25是一例采用了鱼眼镜头的情况下的指定帧的初始状态的全景图像的图，是与图12相对应的图。

如图25所示，在利用采用了鱼眼镜头的全景照相机的情况下，在作为初始状态的全景图像即旋转前图像670的中心部不产生死角区域。因此，存在位于旋转前图像670的中心点上的监视对象784。

在存在这种监视对象784的情况下，全景图像处理装置例如进行图像旋转处理，以使监视对象784的实际空间中的铅直方向与观察全景图像时的向下方向一致。

图26是表示一例以监视对象784为基准对图25所示的旋转前图像670进行了图像旋转处理后的、旋转后图像的图，是与图16相对应的图。通过这种处理，能够得到易于辨认距全景照相机的距离最近的(全景照相机的正下方的)监视对象的旋转后图像670a。

此外，全景图像处理装置通过在图像旋转处理后进行例如如下的处理，能够提高监视对象的视认性。第一是使监视对象位于全景图像的中心点上的状态下，直接放大监视对象的图像区域的处理。第二是使全景图像的中心向上方移动，并使其结果得到的全景图像的中心向下方移动的处理。通过第二处理，监视对象被显示在全景图像的上部，所以希望进一步根据需要，进行畸变校正处理。

另外，在本实施方式中，对用于在工厂中监视作业员的监视系统进行了说明，但本发明的适用不限定于此。本发明例如也能够适用于为了监视顺手牵羊行为而对商店店内进行拍摄的系统等处理全景图像的各种装置及系统。

在2010年3月18日申请的特愿第2010-62560号的日本专利申请所包含的说明书、附图和说明书摘要的公开内容，全部引用于本申请。

工业实用性

本发明的全景图像处理装置及全景图像处理方法能够维持全景图像的连续性，而且能够提高全景图像中的指定的监视对象的视认性，所以作为监视商店、工厂等宽阔区域的监视系统是有用的。

Claims (7)

1.全景图像处理装置，对于全景图像进行图像处理，包括：

监视对象指定单元，指定在所述全景图像中所拍摄到的监视对象；

图像旋转单元，旋转所述全景图像，以使所述指定的监视对象的位置处于上侧中央；以及

中心位置移动单元，使通过所述图像旋转单元旋转了的所述全景图像的中心位置通过卷绕处理向下方移动。

2.如权利要求1所述的全景图像处理装置，

还包括：监视对象位置信息输入单元，输入初始状态的所述全景图像中的所述指定的监视对象的位置，

所述图像旋转单元基于所述指定的监视对象的所述位置，使所述全景图像旋转。

3.如权利要求1所述的全景图像处理装置，

所述中心位置移动单元放大所述指定的监视对象的图像区域。

4.如权利要求1所述的全景图像处理装置，

还包括：图像椭圆化单元，在横方向上拉伸所述全景图像而使其变形为椭圆形。

5.如权利要求1所述的全景图像处理装置，

还包括：畸变校正单元，使在所述全景图像中所拍摄到的监视对象中的所述指定的监视对象的图像区域局部变形来校正该畸变。

6.如权利要求2所述的全景图像处理装置，包括：

运动图像存储单元，存储作为所述全景图像的时间序列数据的运动图像；

监视对象位置信息存储单元，存储所述监视对象位置信息输入单元输入的各时刻的所述指定的监视对象的位置；以及

图像输出单元，输出进行了所述图像处理的所述运动图像。

7.全景图像处理方法，对于全景图像进行图像处理，包括：

指定被拍摄到所述全景图像中的监视对象的步骤；

旋转所述全景图像，以使所述指定的监视对象的位置处于上侧中央的步骤；以及

使旋转了的所述全景图像的中心位置通过卷绕处理向下方移动的步骤。

Images