CN100448270C - 影像种类判定系统、影像加工系统、影像加工方法 - Google Patents

Abstract

一种影像加工系统，可判断影像情景的种类，并根据对应影像情景种类的加工方法对影像进行加工。地标特征量取得部，根据摄影方位、摄影位置及地标信息来计算地标特征量。移动特征量取得部，根据摄影位置、移动速度及路径信息来计算移动特征量。影像种类判定部，根据移动特征量及地标特征量来判定影像情景的种类。影像加工部，根据影像情景的种类及用途来决定影像的加工方法。另外，影像加工部，按照所决定的加工方法加工影像。显示部显示加工后的影像。

Description

影像种类判定系统、影像加工系统、影像加工方法

技术领域

[0001]

本发明涉及加工移动照相机的影像的技术。本发明特别涉及判定影像内容的种类，加工影像的影像加工系统、影像加工方法及影像加工程序。另外，本发明涉及判定影像内容的种类的影像种类判定系统、影像种类判定方法。本发明还涉及影像加工系统的服务器及终端。

背景技术

[0002]

全时空(Ubiquitous)照相机等移动照相机，始终被人携带或者被车辆搭载。这时，并不是摄影者有意识地拍摄影像，而是连续性地、无意识地拍摄摄影者的通常的行动的影像。因此，移动照相机拍摄的影像，往往包含许多对用户来说无足轻重的情景。用户希望实现有效率地阅览移动照相机拍摄的影像的系统。

[0003]

在日本国特开2000-92386号公报中，公开了移动照相机影像的阅览系统。图1是表示现有技术涉及的移动照相机影像的阅览系统的结构示例的方框图。如图1所示，该阅览系统，具备影像再生部902、现在位置管理部903、区域重要度管理部904、影像省略部905和影像显示部906。影像再生部902，再生移动照相机影像。现在位置管理部903，管理再生的影像的现在位置是移动空间的哪个场所。移动空间被分割成若干个小区，各小区被预先赋予重要度。区域重要度管理部904，管理各小区有多重要，求出现在位置所属的区域的重要度。影像省略部905在再生影像之际，按照单位区域的重要度，省略影像。影像显示部906，通常显示再生或省略后再生的影像。

[0004]

另外，在《T.Ueda et al.，“Digest Creation of Video Data recorded byWearable Cameras using Locational and Geographical Inoformation”，TechnicalReport of the Institute of Electronics，Information and CommunicationEngineers，Vol.101，No.193(DE2001-101)，PP.175-182，July，2001》中，记载了其它的阅览系统。采用该阅览系统后，根据摄影位置和地标的距离及方向，求出情景的重要度，只切出并提供重要度大于预先设定的临界值的情景。

[0005]

采用以上所示的现有技术的阅览系统后，根据摄影位置检出影像的重要度。然后，只切出重要度大的情景，或者按照重要度的大小，使再生速度变化。

[0006]

使用全时空照相机等时，并不是摄影者有意识地拍摄影像，而是连续性地、无意识地拍摄摄影者的通常的行动的影像。因此，将摄影影像原封不动地再生时，阅览者往往会产生不舒服的印象。例如：在摄影者使视线向左右迅速改变时、或者在汽车右拐弯及左拐弯时的拍摄的影像中，图象会左右剧烈摇晃。若用高速再生显示这种影像情景，阅览者往往会产生不舒服的印象。另外，在堵车的路上行驶时的情景等没有变化的情景，若用低速再生显示，往往会使阅览者产生无聊的印象。

[0007]

另外，移动照相机拍摄的影像中的重要的情景，并非只取决于和目标的相对位置。由于摄影装置本身移动，所以移动信息往往和重要情景关系密切。在道路上拐弯时或者停止前进时的行动，由于掺入了步行者及汽车的驾驶员的意图，所以在道路上拐弯时或者停止前进时的影像重要度也非常高。

[0008]

可是，在上述现有技术的阅览系统中，只不过是根据摄影位置及与地标的距离/方向，决定重要度。因此，在现有技术的阅览系统中，不能够正确地判断影像情景是哪一种类。另外，不能按照影像情景的种类，适当再生影像。

[0009]

并且，移动影像中的重要度的基准，随着阅览者阅览影像的目的而变。在现有技术的阅览系统中，由于重要度的判定基准被固定，所以难以适应阅览者的目的的变化。例如：目的是要确认到某个目的地的路径时，全行程的影像就非常重要，特别是拐弯处的情景更为重要。另一方面，目的是想回顾以前驾驶的影像时，沿途出现的山峰及大楼等地标就很重要。

[0010]

此外，作为有关图象处理的一般性的技术，以下的技术已经广为人知。

[0011]

日本国特开2002-142189号公报公开的图象处理装置，具有输入单元、评价单元和处理单元。输入单元输入具有动态图象数据的数据流。评价单元将动态图象数据分割成多个情景，按照互不相同的多个条件，评价每个情景的动态图象数据。处理单元根据评价单元的评价结果，选择情景。

[0012]

日本国特开2002-271733号公报公开了编制足球比赛的集锦影像的装置。该集锦编制装置，用多个时间带分割足球比赛，判定各时间带中的各队的状态(攻势、劣势等)后，生成表示比赛的过程的信息。然后，集锦影像编制装置使用生成的信息和重要度，抽出影像情景。

[0013]

日本国特开2002-330393号公报公开了判定节目影像上的某个时刻的有意义的重要度，一边接收附加节目的信息，一边动态地求出重要度的集锦生成方法。另外，特开2003-87712号公报公布了输入比赛的经过后，能够判定事象的重要度的体育影像的集锦编制方法。

[0014]

日本国特开平8-95596号公报公开了使用声音信息，能够在短时间内掌握影像、声音的外在形式及内涵的方法。该方法具有：输入由图象信息和声音信息构成的影像信息步骤；根据输入的影像信息中的声音信息，抽出各种特征量的步骤；根据抽出的特征量，加工影像信息的步骤；输出加工后生成的影像信息的步骤。

发明内容

[0015]

本发明的目的在于，提供能够判定影像情景的种类的影像种类判定系统、影像种类判定方法及影像种类判定程序。

[0016]

本发明的另一个目的在于，提供判定影像情景的种类后，能够按照与影像情景的种类相应的加工方法，加工影像的影像加工系统、影像加工方法、影像加工程序、影像加工系统的服务器及终端。

[0017]

在本发明的第1观点中，影像种类判定系统，具备：输入移动的影像摄影装置拍摄的影像的影像输入部，取得表示影像摄影装置的移动状态的特征的移动特征量的移动特征量取得部，根据移动特征量判定影像中包含的影像情景的种类的影像种类判定部。

[0018]

在本发明的第2观点中，影像加工系统，具备影像输入部、移动特征量取得部、影像种类判定部和影像加工部。影像输入部，输入移动的影像摄影装置拍摄的影像。移动特征量取得部，取得表示影像摄影装置的移动状态的特征的移动特征量。影像种类判定部，根据移动特征量，判定影像中包含的影像情景的种类。影像加工部，根据影像种类判定部判定的影像情景的种类，决定影像的加工方法，按照决定的加工方法加工影像。

[0019]

该影像加工系统，还可以具备显示被影像加工部加工的影像的显示部。这样，就能够再生、显示加工的影像。

[0020]

移动特征量取得部，还可以包含：取得影像摄影装置的移动速度的速度输入部，取得影像摄影装置的摄影位置的第1位置输入部，根据摄影位置及移动速度，计算与影像情景对应的移动特征量的移动特征量计算部。

[0021]

另外，该影像加工系统，还可以具备存放移动中能够通过的路径的属性信息——路径信息的路径信息存储部。这时，移动特征量计算部根据路径信息和影像摄影装置的摄影位置及移动速度，计算与影像情景对应的移动特征量。使用预先存储的路径信息后，能够很容易地求出移动特征量。

[0022]

上述路径信息，至少包含路径的位置、种类、车道数、交叉路口的位置、岔道点的位置及有无信号灯中的一个。

[0023]

上述移动特征量，至少包含影像摄影装置的现在位置和设定路径的偏移量、行驶速度及行驶直线前进度中的一个。

[0024]

另外，影像加工系统，还可以具备地标特征量取得部，该部取得存在于影像的视场角内的表示地标的特征的地标特征量。这时，影像种类判定部，根据地标特征量和移动特征量，判定影像情景的种类。这时，由于不仅使用移动特征量，而且还使用地标特征量，所以能够判定更多的影像情景的种类。

[0025]

地标特征量取得部，具备取得影像摄影装置的摄影方位的方位输入部、取得影像摄影装置的摄影位置的第2位置输入部、存放地标的属性信息——地标信息的地标信息存储部和地标特征量计算部。地标特征量计算部，根据地标信息、摄影位置及摄影方位，计算与影像情景对应的地标特征量。这时，使用影像方位及摄影位置后，能够很容易求出地标特征量。

[0026]

地标信息，包含地标的位置及形状。地标特征量，包含在地标的画面上的尺寸及与画面中心的错开量的中的至少一个。

[0027]

影像种类判定部，可以通过判断移动特征量及地标特征量是否大于临界值，从而判断影像情景的种类。进行临界值判定后，可以很容易地判定影像情景的种类。对于移动特征量及地标特征量而言的临界值，可以根据用途变更。

[0028]

影像种类判定部，可以根据移动特征量及地标特征量中的至少一个的值，求出影像情景的重要度。这时，影像种类判定部只在求出的重要度大于临界值时，判定影像情景的种类。这样，能够只对重要的影像情景进行图象处理。

[0029]

影像加工部，可以只加工特定的影像情景的影像。

[0030]

显示部可以在显示影像的同时，还显示包含拍摄该影像的位置的地图。

[0031]

另外，显示部还可以具备供用户设定输入影像的用途的用户接口。所谓“影像阅览的用途”，例如是指驾驶模拟及观光驾驶引导的用途。另外，用户接口例如可以通过在显示部显示旨在设定输入用途的滑动条来实现。

[0032]

影像情景的种类，至少包含拐角情景、地标情景、堵车情景、等待信号情景及其它情景中的至少一个。这时，影像加工部对影像进行加工，使得被判定为拐角的影像情景能被缓慢再生；在被判定为地标情景的影像情景中能显示地标信息的字幕；被判定为堵车情景的影像情景被删除；被判定为等待信号情景的影像情景被删除；被判定为其它情景的影像情景能被高速再生。

[0033]

在本发明的第3观点中，提供加工影像摄影装置拍摄的影像的影像加工系统的服务器。该服务器，具备地标信息存储部、地标特征量计算部、存储路径信息的路径信息存储部、移动特征量计算部、影像种类判定部、影像加工部和服务器一侧发送部。地标信息存储部，存储地标的属性信息——地标信息。地标特征量计算部，根据地标信息和从终端接收的影像摄影装置的摄影位置及摄影方位，计算与影像情景对应的地标特征量。移动特征量计算部，根据路径信息和从终端接收的影像摄影装置的摄影位置及移动速度，计算与影像情景对应的移动特征量。影像种类判定部，根据地标特征量和移动特征量，判定影像情景的种类。影像加工部，根据影像情景的种类，决定影像的加工方法，按照决定的加工方法，加工影像。服务器一侧发送部，通过通信网络做媒介，将影像加工部加工的影像发送给终端。

[0034]

在本发明的第4观点中，提供加工影像摄影装置拍摄的影像的影像加工系统的服务器。该服务器，具备地标信息存储部、地标特征量计算部、存储路径信息的路径信息存储部、移动特征量计算部、影像种类判定部和服务器一侧发送部。地标信息存储部，存储地标的属性信息——地标信息。地标特征量计算部，根据地标信息和从终端接收的影像摄影装置的摄影位置及摄影方位，计算与影像情景对应的地标特征量。移动特征量计算部，根据路径信息和从终端接收的影像摄影装置的摄影位置及移动速度，计算与影像情景对应的移动特征量。影像种类判定部，根据地标特征量和移动特征量，判定影像情景的种类。服务器一侧发送部，通过通信网络做媒介，将影像情景的种类发送给终端。这时，与被服务器发送影像相比，能够大幅度地降低通信网络上的通信量。

[0035]

在本发明的第5观点中，影像加工系统的终端，具备：影像输入部，该部输入影像；方位输入部，该部输入影像摄影装置的摄影方位；位置输入部，该部输入影像摄影装置的摄影位置；速度输入部，该部输入影像摄影装置的移动速度；终端一侧发送部，该部通过通信网络做媒介，将影像、摄影方位、摄影位置及移动速度发送给加工影像的服务器；影像显示部，该部显示从服务器接收的加工后的影像。

[0036]

在本发明的第6观点中，影像加工系统的终端，具备：影像输入部，该部输入所述影像；方位输入部，该部输入影像摄影装置的摄影方位；位置输入部，该部输入影像摄影装置的摄影位置；速度输入部，该部输入影像摄影装置的移动速度；终端一侧发送部，该部通过通信网络做媒介，将影像、摄影方位、摄影位置及移动速度发送给判定影像情景的种类的服务器；影像加工部，该部根据从服务器接收的影像情景的种类，决定影像的加工方法，按照决定的加工方法，加工影像；影像显示部，该部显示被影像加工部加工后的影像。这时，与向服务器发送影像相比，能够大幅度地降低通信网络上的通信量。

[0037]

在本发明的第7观点中，影像种类判定方法，包含：(A)输入移动的影像摄影装置拍摄的影像的步骤；(B)取得表示影像摄影装置的移动状态的特征的移动特征量的步骤；(C)根据移动特征量，判定影像中包含的影像情景的种类的步骤。

[0038]

在本发明的第8观点中，影像加工方法，包含：(A)输入移动的影像摄影装置拍摄的影像的步骤；(B)取得表示影像摄影装置的移动状态的特征的移动特征量的步骤；(C)根据移动特征量，判定影像中包含的影像情景的种类的步骤；(D)根据影像情景的种类，决定影像的加工方法，按照决定的加工方法，加工影像的步骤。

[0039]

该影像加工方法，还具备(B’)取得表示存在于影像的视场角内的地标的特征的地标特征量的步骤。这时，在上述步骤(C)中，根据地标特征量和移动特征量，判定影像情景的种类。

[0040]

在本发明的第9观点中，影像种类判定程序，使计算机实行下述步骤：(A)输入移动的影像摄影装置拍摄的影像的步骤；(B)取得表示影像摄影装置的移动状态的特征的移动特征量的步骤；(C)根据移动特征量，判定影像中包含的影像情景的种类的步骤。

[0041]

在本发明的第10观点中，影像加工程序，使计算机实行下述步骤：(A)输入移动的影像摄影装置拍摄的影像的步骤；(B)取得表示影像摄影装置的移动状态的特征的移动特征量的步骤；(C)根据移动特征量，判定影像中包含的影像情景的种类的步骤；(D)根据影像情景的种类，决定影像的加工方法，按照决定的加工方法，加工影像的步骤。

[0042]

该影像加工程序，还使计算机实行(B’)取得表示存在于影像的视场角内的地标的特征的地标特征量的步骤。这时，在上述(C)步骤中，根据地标特征量和移动特征量，判定影像情景的种类。

[0043]

采用本发明后，能够根据移动特征量，判定影像情景的种类。另外，采用本发明后，能够按照与判定的影像情景的种类对应的加工方法加工影像。

附图说明

[0044]

图1是表示现有技术涉及的移动照相机影像的阅览系统的结构示例的方框图。

图2是表示本发明的第1实施方式涉及的影像加工系统的结构的一个示例的方框图。

图3是表示地标特征量取得部的结构的一个示例的方框图。

图4是表示移动特征量取得部的结构的一个示例的方框图。

图5是表示本发明的第2实施方式涉及的影像加工系统的结构的一个示例的方框图。

图6是表示本发明的第3实施方式涉及的影像加工系统的结构的一个示例的方框图。

图7是表示本发明涉及的影像加工系统的动作的流程图。

图8是为了讲述采用本发明的影像加工处理而绘制的图。

图9是为了讲述采用本发明的影像加工处理而绘制的图。

图10是为了讲述采用本发明的影像加工处理而绘制的图。

图11是为了讲述直线前进度的计算方法而绘制的图。

图12是表示影像加工处理中的设定信息的例子的说明图。

图13是表示显示画面的一个示例的示意图。

图14是表示本发明涉及的影像加工系统的动作的流程图。

图15是为了讲述采用本发明的影像加工处理而绘制的图。

图16是表示显示画面的其它示例的示意图。

具体实施方式

[0045]

(第1实施方式)

下面，参照附图，讲述本发明涉及的实施方式。图2是表示本发明的第1实施方式涉及的影像加工系统的结构的一个示例的方框图。如图2所示，影像加工系统包含取得影像的影像取得部1、地标特征量取得部2、移动特征量取得部3、影像种类判定部4、影像加工部5和显示部6。

[0046]

图3是表示地标特征量取得部2的结构的一个示例的方框图。如图3所示，地标特征量取得部2，包含：取得影像摄影装置的方位的方位取得部201；取得影像摄影装置的位置的位置取得部202；存储地标信息的地标信息存储装置203；根据方位取得部201取得的方位、位置取得部202取得的位置及地标信息，计算地标特征量的地标特征量计算部204。

[0047]

此外，所谓“地标信息”，是地标的位置、高度、形状等地标的属性信息。另外，所谓“地标特征量”，是表示影像中的地标的特征的特征量。

[0048]

图4是表示移动特征量取得部3的结构的一个示例的方框图。如图4所示，移动特征量取得部3，包含：取得影像摄影装置的速度的速度取得部301；取得影像摄影装置的位置的位置取得部302；存储路径信息的路径信息存储装置303；根据速度取得部301取得的方位、位置取得部302取得的位置及路径信息，计算移动特征量的移动特征量计算部304。

[0049]

此外，所谓“路径信息”，是路径的位置、种类、车道数、交叉路口/岔道点的位置及有无信号灯等影像摄影装置在移动过程中可能通过的路径的属性信息。另外，所谓“移动特征量”，是表示影像摄影装置的移动状态的特征的特征量。

[0050]

影像取得部1，例如通过计算机的运算处理装置(未图示)、程序及输入接口(未图示)来实现。影像取得部1，输入被移动摄影装置(影像摄影装置)拍摄的图象。移动摄影装置，例如是CCD数码相机及录象机等影像机器。移动摄影装置的摄影位置及摄影方向，随着车辆、人物、船舶、飞机等移动单元的位置及朝向而变。

[0051]

地标特征量取得部2，根据拍摄影像的影像摄影装置的方位及位置和预先被地标信息存储装置203注册的地标的位置、高度、形状的信息(地标信息)，求出地标特征量。

[0052]

地标特征量取得部2，作为地标特征量，求出地标在画面上的位置(与画面中心的错开量)及尺寸等。所谓“地标”，是指楼房、桥梁、高塔等建筑物及山峰、湖泊之类的自然景物等可以描述位置及形状的物体。此外，如果已知移动位置及时刻，还可以将能够通过时刻和位置数据的组合集合描述的列车等移动物体，作为地标使用。

[0053]

为了描述地标，可以使用地标的代表点。例如为了描述地标，可以使用地标的重心点的经度、纬度及高度。另外，例如还可以使用表示构成地标的多边形等的各点的位置的经度、纬度及高度的数据组。

[0054]

地标信息存储装置203，例如可以通过磁盘装置实现。地标信息存储装置203，作为地标信息，预先存储地标的位置、高度及形状。此外，地标信息存储装置203还可以在存储地标的位置、高度及形状的基础上，将地标的历史、使用费、知名度等附带信息作为地标信息存储。

[0055]

位置取得部202，例如可以通过计算机的运算处理装置、程序及输入接口来实现。在这里，影像摄影装置的位置，使用经度、纬度及高度加以记述。位置取得部202，例如由GPS(Global Positioning System)装置输入影像摄影装置的经度、纬度及高度的信息。

[0056]

方位取得部201，例如可以通过计算机的运算处理装置及输入接口来实现。方位取得部201例如由磁罗盘、电子罗盘或陀螺传感器输入影像摄影装置的摄影方向(方位)。

[0057]

地标特征量计算部204，例如可以通过计算机的运算处理装置及程序来实现。视场角可以根据影像摄影装置的照相机的焦点距离及CCD元件的尺寸计算出，设为预先已知。地标特征量计算部204，使用地标信息存储装置203预先注册的地标的位置，计算从影像摄影装置的位置看时的地标的各点的方向和距离。地标特征量计算部204，根据摄影方向及视场角，将地标的相对位置变换成照相机的画面上的位置后，作为地标特征量求出。另外，地标特征量计算部204，将地标画面上的尺寸，作为地标特征量求出。

[0058]

移动特征量取得部3，计算表示影像摄影装置的移动状态的特征的移动特征量。移动特征量取得部3根据影像摄影装置的位置、移动速度及被路径信息存储装置303预先注册路径信息，作为移动特征量，求出行驶状态及直线前进度(行驶直线前进度)、绕道度、行驶速度。

[0059]

路径信息存储装置303，例如可以通过磁盘装置实现。路径信息存储装置303，作为路径信息，预先存储路径的位置、种类(国道及私道等)、车道数、交叉路口/岔道点的位置及有无信号灯等。

[0060]

位置取得部302，例如可以通过计算机的运算处理装置、程序及输入接口来实现。位置取得部302，例如根据来自GPS的输入取得影像摄影装置的经度、纬度及高度的信息。此外，位置取得部302也可以和地标特征量取得部2包含的位置取得部202相同。

[0061]

速度取得部301，例如可以通过计算机的运算处理装置、程序及输入接口来实现。速度取得部301，例如由速度计及车载导航装置等输入影像摄影装置的移动速度。这样，速度取得部301能够取得影像摄影装置的移动速度。

[0062]

移动特征量计算部304，例如可以通过计算机的运算处理装置及程序来实现。求出“行驶状态”时，移动特征量计算部304使用影像摄影装置的移动速度、路径的位置、种类(国道及私道等)、车道数、交叉路口/岔道点的位置及有无信号灯等路径信息，判定是由于信号灯或堵车而处于停止的状态还是低速行驶状态、正常行驶状态。此外，不能利用路径信息时，只使用影像摄影装置的移动速度进行状态判定。

[0063]

计算“直线前进度”时，移动特征量计算部304根据连续的位置中的速度向量构成的角度的大小，算出直线前进度。移动特征量计算部304通过使用了直线前进度和路径信息包含的交叉路口的位置信息的临界值判断后，还能够进行在交叉路口是向右拐还是向左拐的状态判定。此外，移动单元是汽车等时，移动特征量计算部304还可以在利用连续的位置的同时，使用方向盘及车轮的旋转角度，求出直线前进度。

[0064]

另外，移动特征量计算部304根据车载导航系统等设定去往目标地点的路径时，将影像摄影装置的现在位置和路径(设定移动路径)的距离的偏移(以下称作“路径偏移量”)，作为“绕道度”计算。

[0065]

影像种类判定部4，例如可以通过计算机的运算处理装置及程序来实现。影像种类判定部4，根据各影像情景中的“地标特征量”及“移动特征量”，判定影像内容的种类(影像情景的种类)。影像种类判定部4，对地标特征量中的视场角内的地标的数量、画面上的位置及尺寸、移动特征量中的行驶状态、直线前进度及路径偏移量，根据它们各自的临界值进行判定，从而判定影像情景的种类。

[0066]

此外，在本实施方式中，地标特征量取得部2并不是必不可少的构成要素。在影像加工系统不包含地标特征量取得部2时，影像种类判定部4就只根据移动特征量取得部3求出的移动特征量进行判定。

[0067]

另外，影像种类判定部4还可以不判定所有的影像情景的种类，只对重要的影像情景进行影像情景的种类的判定。这时，影像种类判定部4根据“地标特征量”及“移动特征量”，计算影像情景的重要度。然后，影像种类判定部4根据求出的重要度，只对判断为重要的影像情景进行影像情景的种类的判定。

[0068]

影像加工部5，例如可以通过计算机的运算处理装置、程序及存储装置(未图示)来实现。影像加工部5，按照影像内容的用途(导游、掌握驾驶路径、监视等)，决定与影像种类判定部4判定了种类的影像情景对应的加工方法。此外，作为“监视”的例子，可以列举使用被移动型机器人搭载的照相机监视医院及工厂内的情况的例子。另外，影像加工部5能够按照根据影像内容的用途决定的加工方法，将影像取得装置1取得的影像按照影像内容加工后输出。

[0069]

此外，关于用途，既可以由用户指令/选择，也可以根据影像的拍摄场所及抽出的地标自动选择。

[0070]

与影像内容的用途对应的加工方法，被预先设定。例如，影像加工部5预先存储加工方法的设定信息。作为加工方法的设定，影像加工部5既可以预先使用通用的加工方法的模式，也可以使用按照用户的喜好编制及变更的模式。

[0071]

特别是在由于存在地标而抽出的情景中，为了让用户知道该地标的存在，用字幕显示地标名后效果更佳。因此，影像加工部5进行在画面上显示字幕的加工。另外，在由于拐角而抽出的情景中，因为映入画面的风景左右剧烈变化，所以影像加工部5在进行通常或缓慢再生的加工的同时，还进行显示拐弯的方向的加工。

[0072]

显示部6，例如可以利用计算机的显示装置(未图示)来实现。显示部6显示被影像加工部5加工后的影像内容。此外，显示部6还可以在显示影像的同时，在地图上的同步显示摄影位置及摄影方向。

[0073]

在本实施方式中，影像输入部，与影像取得部1对应。速度输入部，与速度取得部301对应。第1位置输入部，与位置取得部302对应。路径信息存储部，与路径信息存储装置303对应。方位输入部，与方位取得部201对应。第2位置输入部，与位置取得部202对应。地标信息存储部，与地标信息存储装置203对应。

[0074]

另外，在本实施方式中，旨在实现影像加工系统的计算机的存储装置，存储旨在实行影像种类判定的处理及影像加工的处理的各种程序。例如在实现影像加工系统的计算机的存储装置中，存放着使计算机实行输入影像摄影装置拍摄的影像的影像输入处理、取得表示影像摄影装置的移动状态的特征的移动特征量的移动特征量取得处理、根据移动特征量判定输入的影像的影像情景的种类的影像种类判定处理的影像种类判定程序。

[0075]

另外，例如在实现影像加工系统的计算机的存储装置中，存放着使计算机实行输入影像摄影装置拍摄的影像的影像输入处理、取得表示影像摄影装置的移动状态的特征的移动特征量的移动特征量取得处理、根据移动特征量判定输入的影像的影像情景的种类的影像种类判定处理、根据判定的影像情景的种类决定影像的加工方法、按照决定的加工方法加工影像的影像加工程序。

[0076]

综上所述，采用本实施方式后，影像加工系统能够根据移动特征量及/或地标特征量，判定影像情景的种类。另外，影像加工系统能够按照与影像情景的种类及用途对应的加工方法加工影像。

[0077]

另外，采用本实施方式后，因为能够判定影像情景的种类，所以可以判定是冗长的影像情景及视场角剧烈变动的影像情景。这时，通过对各影像情景实施高速再生及缓慢再生的加工后，可以进行容易看到变化很多的移动影像的加工。另外，采用本实施方式后，可以按照利用目的切换与各影像情景对应的加工方法，从而能够提供适应利用目的加工影像。

[0078]

(第2实施方式)

下面，参照附图，讲述本发明的第2实施方式。图5是表示本实施方式涉及的影像加工系统的结构的一个示例的方框图。如图5所示，在本实施方式中，影像加工系统包含终端40a和服务器50a。另外，如图5所示，终端40a和服务器50a，通过通信网络100做媒介被相互连接。此外，在本实施方式中，通信网络100是无线通信网络。

[0079]

终端40a是被人携带或者被车辆、船舶、飞机等移动单元搭载的终端。如图5所示，终端40a，包含影像取得部1、方位取得部201、位置取得部402、速度取得部301及显示部6。

[0080]

影像取得部1、方位取得部201、位置取得部402及速度取得部301，可以通过终端40a的运算处理装置(未图示)、由运算处理装置实行的程序、输入接口(未图示)及网络接口(未图示)来实现。另外，显示部6可以通过终端40a的运算处理装置、显示装置(未图示)及网络接口来实现。

[0081]

此外，影像取得部1取得影像的步骤、方位取得部201取得影像摄影装置的方位的步骤、速度取得部301取得影像摄影装置的移动速度的步骤及显示部6表示影像内容的步骤，和第1实施方式相同，另外，位置取得部402取得影像摄影装置的位置的步骤，和第1实施方式讲述的位置取得部202及位置取得部302取得影像摄影装置的位置的步骤相同。

[0082]

服务器50a，如图5所示，包含地标信息存储装置203、地标特征量计算部204、路径信息存储装置303、移动特征量计算部304、影像种类判定部4及影像加工部5。

[0083]

地标信息存储装置203及路径信息存储装置303，例如可以通过磁盘装置来实现。地标特征量计算部204、移动特征量计算部304及影像加工部5，可以通过服务器50a的运算处理装置(未图示)、程序及网络接口(未图示)来实现。影像种类判定部4，可以通过服务器50a的运算处理装置及程序来实现。

[0084]

地标信息存储装置203存储的地标信息及路径信息存储装置303存储的路径信息的内容，和第1实施方式一样。另外，地标特征量计算部204计算地标特征量部的步骤、移动特征量计算部304计算移动特征量的步骤、影像种类判定部4判定影像种类的步骤及影像加工部5加工影像的步骤，和第1实施方式一样。

[0085]

在本实施方式中，终端40a通过通信网络100做媒介，将影像、影像摄影装置的方位、位置及速度信息发送给服务器50a(影像加工部5、地标特征量计算部204、移动特征量计算部304)。服务器50a根据接收的影像摄影装置的方位及位置，计算地标特征量。另外，服务器50a根据接收的影像摄影装置的位置及速度信息，计算移动特征量。

[0086]

服务器50a(影像种类判定部4)，根据地标特征量及移动特征量，判定影像的种类。另外，服务器50a(影像加工部5)，按照影像的种类加工接收的影像。然后，服务器50a通过通信网络100做媒介，将加工后的影像发送给终端40a。于是，终端40a(显示部6)显示接收的加工后的影像。

[0087]

在本实施方式中，地标信息存储部，与服务器50a的地标信息存储装置203对应。路径信息存储部，与服务器50a的路径信息存储装置303对应。服务侧发送部，与服务器50a的控制部与网络接口部对应。

[0088]

另外，在本实施方式中，影像输入部，与终端40a的影像取得部1对应。方位输入部，与终端40a的方位取得部201对应。位置输入部，与终端40a的位置取得部402对应。速度输入部，与终端40a的速度取得部301对应。终端侧发送部，与终端40a的运算处理装置及网络接口对应。影像显示部，与终端40a的显示部6对应。

[0089]

采用本实施方式后，被人物携带或车辆、船舶、飞机等移动单元搭载的终端，取得影像、摄影方位、摄影位置及移动速度后，发送给服务器。这样，和第1实施方式一样，能够显示按照与影像情景及用途对应的加工方法加工后的影像。

[0090]

(第3实施方式)

下面，参照附图，讲述本发明的第3实施方式。图6是表示本实施方式涉及的影像加工系统的结构的一个示例的方框图。如图6所示，在本实施方式中，影像加工系统包含终端40b和服务器50b。另外，如图6所示，终端40b和服务器50b，通过通信网络100做媒介被相互连接。此外，在本实施方式中，和第2实施方式一样，通信网络100是无线通信网络。

[0091]

终端40b是被人物携带或者被车辆、船舶、飞机等移动单元搭载的终端。如图6所示，终端40b，包含影像取得部1、方位取得部201、位置取得部402、速度取得部301、影像加工部5及显示部6。

[0092]

影像取得部1，可以通过终端40b的运算处理装置(未图示)、程序及输入接口(未图示)来实现。另外，方位取得部201、位置取得部402及速度取得部301，可以通过终端40b的运算处理装置、程序、输入接口及网络接口(未图示)来实现。另外，影像加工部5，可以通过终端40b的运算处理装置、程序及网络接口来实现。另外，显示部6可以通过终端40b的运算处理装置及显示装置(未图示)来实现。

[0093]

此外，影像取得部1取得影像的步骤、方位取得部201取得影像摄影装置的方位的步骤、速度取得部301取得影像摄影装置的移动速度的步骤及显示部6表示影像内容的步骤，和第1实施方式相同。另外，位置取得部402取得影像摄影装置的位置的步骤，和第1实施方式讲述的位置取得部202及位置取得部302取得影像摄影装置的位置的步骤相同。

[0094]

服务器50b，如图6所示，包含地标信息存储装置203、地标特征量计算部204、路径信息存储装置303、移动特征量计算部304及影像种类判定部4。

[0095]

地标信息存储装置203及路径信息存储装置303，例如可以通过磁盘装置来实现。地标特征量计算部204、移动特征量计算部304及影像种类判定部4，可以通过服务器50b的运算处理装置(未图示)、程序及网络接口(未图示)来实现。影像种类判定部4，可以通过服务器50a的运算处理装置及程序来实现。

[0096]

此外，地标信息存储装置203存储的地标信息及路径信息存储装置303存储的路径信息的内容，和第1实施方式一样。另外，地标特征量计算部204计算地标特征量部的步骤、移动特征量计算部304计算移动特征量的步骤及影像种类判定部4判定影像种类的步骤的步骤，和第1实施方式一样。

[0097]

在本实施方式中，终端40b通过通信网络100做媒介，只将影像摄影装置的方位、位置及速度信息发送给服务器50b(地标特征量计算部204、移动特征量计算部304)。服务器50b(地标特征量计算部204)根据接收的影像摄影装置的方位及位置，计算地标特征量。另外，服务器50b(移动特征量计算部304)根据接收的影像摄影装置的位置及速度信息，计算移动特征量。

[0098]

服务器50b(影像种类判定部4)，根据地标特征量及移动特征量，判定影像的种类。然后，服务器50b通过通信网络100做媒介，将影像种类的判定结果发送给终端40b。

[0099]

终端40b(显示部6)，根据接收的影像种类的判定结果，加工影像取得部1取得的影像。然后，终端40b(显示部6)显示加工后的影像。

[0100]

在本实施方式中，地标信息存储部，与服务器50b的地标信息存储装置203对应。路径信息存储部，与服务器50b的路径信息存储装置303对应。服务侧发送部，与服务器50b的运算处理装置及网络接口部对应。

[0101]

另外，在本实施方式中，影像输入部，与终端40b的影像取得部1对应。方位输入部，与终端40b的方位取得部201对应。位置输入部，与终端40b的位置取得部402对应。速度输入部，与终端40b的速度取得部301对应。终端侧发送部，与终端40b的运算处理装置及网络接口对应。影像显示部，与终端40b的显示部6对应。

[0102]

采用本实施方式后，被人物携带或车辆、船舶、飞机等移动单元搭载的终端，取得摄影方位、摄影位置及移动速度后，发送给服务器。这样，可以获得影像情景的判定结果。另外，与在摄影方位、摄影位置及移动速度的基础上，还向服务器发送影像时(第2实施方式)相比，能够大幅度减少通信网络上的通信量。

[0103]

第1动作例：

下面，参照附图，讲述第1实施方式示出的影像加工系统的动作例。图7是表示影像加工系统的动作例的流程图。下面，使用该流程图，讲述影像加工系统的动作例。

[0104]

影像取得部1，从CCD照相机等影像摄影装置取得并记录图象(步骤S1)。方位取得部201，取得影像摄影装置的摄影方向；位置取得部202，取得影像摄影装置的摄影位置(步骤S2)。以下，被方位取得部201取得的摄影方向和被位置取得部202取得的摄影位置，被作为“摄影信息”参照。

[00105]

此外，在该动作例中，表示位置取得部202和位置取得部302是相同的情况。所以，在步骤S2中取得的摄影位置，不仅能够用来计算地标特征量，而且还能用来计算移动特征量。

[0106]

地标特征量取得部2，与影像取得部1取得的影像关联地记录摄影信息。例如，作为影像的1格的记录方法，如果使用JPEG时，摄影信息也可以被标题记录。另外，取得时间作为计时印记，也可以被影像及摄影信息记录。这样，影像和摄影信息就一一对对应。

[0107]

一般来说，录象机等影像摄影装置，每秒记录30格左右的影像。可是，GPS等难以每秒取得1次以上的位置信息(经度、纬度)。因此，使用移动方向及速度，修正直线前进的位置信息后，就可以推定现在的位置信息。此外，能够实时地同时取得影像及位置信息的时，不需要进行时间信息的同步。

[0108]

地标特征量计算部204，抽出、取得被地标信息存储装置203存放的地标信息(步骤S3)。在这里，将各地标定为O_i(i＝1～N)。地标被定义为具有K个顶点的多边形柱，各顶点的位置，使用经度、纬度及高度，表示为(x、y、z)。这时，地标O_i的第K个上部的顶点，表示为(O_iLon_K，O_iLat_K，h)。

[0109]

地标特征量计算部204，根据摄影位置、摄影方位、地标的位置及预先求出的视场角，求出地标特征量(步骤S4)。作为地标特征量，在本动作例中，使用画面上的地标的位置(LF1)、画面上的地标的尺寸(LF2)、地标在画面上的反映比例(LF3)及视场角内存在的地标的数(LF0)。以下，讲述地标特征量计算部204求出地标特征量的步骤。

[0110]

地标特征量计算部204，将来自摄影位置的各地标O_i(i＝1～N)的相对位置变换成照相机视场角。这样，对地标是否存在于视场角内进行判断，还求出地标画面上的位置及尺寸。此外，所谓“变换成照相机视场角”，是指计算地标反映在画面上的哪个位置。

[0111]

作为前处理，地标特征量计算部204，选择与地标信息存储装置203存放的所有的地标信息对应的地标中，有可能存在于视场角内的地标。然后，地标特征量计算部204对选择的地标，进行向照相机视场角的变换处理。

[0112]

假设现在帧中的摄影位置的纬度及经度为(CarLon，CarLat)、摄影方位为dir、地标O_i的多边形的顶点的数为K＝4。下面，使用附图，讲述地标是否存在于视场角内的判定步骤。此外，在本例中，用将北作为0度时的顺时针方向转动的角度表示摄影方位。

[0113]

图8是为了讲述判定地标是否存在于水平视场角内的处理而绘制的图。地标特征量计算部204，使用以下的(公式1)，求出从摄影位置向地标O_i(在本例中为地标A)的各顶点的方位ObjDir_K和移动方向(摄影方向)的角度差diff_K。

[0114]

[数1]

diff_k＝ObjDir_k-dir(k＝1～4)……(1)

[0115]

地标特征量计算部204，使用以下的(公式2)，判定使用以下的(公式1)求出的角度差diff_K是否存在于视场角内。例如，如图8所示，假设照相机的水平视场角CameraAngleH为50度，那么为了使角度差diff_K在视场角内，可以使角度差diff_K在±25度以内。

[0116]

[数2]

$\left|{\mathrm{diff}}_k\right|<\frac{1}{2}\mathrm{CameraAngleH}\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(2\right)$

[0117]

图9是为了讲述判定地标是否存在于垂直视场角内的处理而绘制的图。地标特征量计算部204，使用以下的(公式3)，根据摄影位置到地标的距离dist_i和地标的高度h_i，求出从摄影位置仰视地标的顶点的角度lookup_i。

[0118]

[数3]

${\mathrm{lookup}}_i={\tan }^{-1}\left(\frac{h_i}{{\mathrm{dist}}_i}\right)\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(3\right)$

[0119]

地标特征量计算部204，使用以下的(公式4)，判定使用以下的(公式3)求出的角度lookup_i是否存在于视场角内。例如，如图9所示，假设照相机的垂直视场角Camera AngleV为38度。在角度lookup_i满足(公式4)时，地标特征量计算部204判定可以看到整个地标。

[0120]

[数4]

${\mathrm{lookup}}_i<\frac{1}{2}\mathrm{CameraAngleV}\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(4\right)$

[0121]

此外，在上述的(公式1)～(公式4)中，使用了从摄影位置到地标O_i的各顶点的方位ObjDir_K及从摄影位置到地标的距离dist_i。两点之间的距离及方位，可以采用以下的方法求出。

[0122]

将测点1的坐标定为(x₁，y₁)，测点2的坐标定为(x₂，y₂)。另外，将平均曲率半径定为R₀，将坐标系的原点中的缩小系数定为m₀。这时，两地点间的测地线长S，可以用以下的公式(5)求出。

[0123]

[数5]

$S=\frac{\sqrt{{(x_2-x_1)}^2+{(y_2-y_1)}^2}}{\frac{s}{S}}\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(5\right)$

$\frac{s}{S}=m_0\{1+\frac{1}{{{6R}_0}^2{m_0}^2}({y_1}^2+y_1{y}_2+{y_2}^2)\}$

[0124]

另外，将测点1中的测点2的方向角定为T₁，测点2中的测点1的方向角定为T₂，可以用以下的公式(6)求出。

[0125]

[数6]

T₁＝t₁-(t₁-T₁)

T₂＝t₂-(t₂-T₂)

$t_1={\tan }^{-1}\frac{y_2-y_1}{x_2-x_1}$

t₂＝t₁+180°                                        ……(6)

$(t_1-T_1)=-\frac{1}{{{4m}_0}^2{R_0}^2}(y_2+y_1)(x_2-x_1)+\frac{1}{{{12m}_0}^2{R_0}^2}(x_2-x_1)(y_2-y_1)$

$(t_2-T_2)=-\frac{1}{{{4m}_0}^2{R_0}^2}(y_2+y_1)(x_2-x_1)+\frac{1}{{{12m}_0}^2{R_0}^2}(x_2-x_1)(y_2-y_1)$

[0126]

此外，用(公式5)及(公式6)表示的计算公式，在日本国的国土地理院的主页(http://vldb.gsi.go.jp/sokuchi/surveycalc/algorithm/xy2st/xy2st.htm)中记述着。

[0127]

按照以上的步骤，地标特征量计算部204能够根据是否存在满足公式(2)的定点K，判定地标O_i是否存在于视场角内。另外，地标特征量计算部204还能够根据关于顶点K的角度差diff_k的符号(+或-)，判定该地标O_i是存在于影像的右侧还是存在于左侧。另外，地标特征量计算部204还能够根据所有的顶点K是否满足(公式2)及(公式4)，判定地标是整体存在于视场角内，还是一部分从视场角内露出。

[0128]

地标特征量计算部204只对满足(公式2)及(公式4)的地标O_i，计算其在画面中的位置及尺寸。地标特征量计算部204对存在于视场角内的地标O_i的各顶点K(＝1～4)，求出它们在画面上的位置(x_k，y_k)。然后，地标特征量计算部204使用下列(公式7)，抽出包含着这些顶点的外接矩形(x_min、y_min)～(x_max、y_max)。此外，在公式(7)中，“Min”是抽出最小值的函数，“Max”是抽出最大值的函数。

[0129]

[数7]

x_min＝Min(x₁，x₂，x₃，x₄)

y_min＝Min(y₁，y₂，y₃，y₄)

                           ……(7)

x_max＝Max(x₁，x₂，x₃，x₄)

y_max＝Max(y₁，y₂，y₃，y₄)

[0130]

另外，地标特征量计算部204求出与角度差diff及角度lookup对应的点P在画面上的位置(x，y)。图10是为了讲述求出点P在画面上的位置(x，y)的处理而绘制的图。画面定为具有例如640×480象素。地标特征量计算部204使用下列公式(8)，求出点P在画面上的位置(x，y)。

[0131]

[数8]

$x=320+320\frac{2\mathrm{diff}}{\mathrm{CameraAngleH}}\left[\mathrm{pixel}\right]$

……(8)

$y=240+240\frac{2\mathrm{lookup}}{\mathrm{CameraAngleV}}\left[\mathrm{pixel}\right]$

[0132]

接着，地标特征量计算部204求出地标反映在视场角内的比例及尺寸。地标特征量计算部204使用下列公式(9)，求出包含了图象外的区域的地标整体的大小Size。另外，地标特征量计算部204使用下列公式(10)，求出地标中反映在图象内的部分的大小Size’。

[0133]

[数9]

Size＝(x_max-x_min)(y_max-y_min)……(9)

[0134]

[数10]

Size′＝(x_max′-x_min′)(y_max′-y_min′)

if(x_max＞640)then x_max′＝640

if(y_max＞480)then y_max′＝480    ……(10)

if(x_min＜0)then x_min′＝0

if(y_min＜0)then y_min′＝0

[0135]

另外，地标特征量计算部204可以使用下列公式(11)，计算地标反映在视场角内的比例Pt。

[0136]

[数11]

$\mathrm{Pt}=\frac{{\mathrm{Size}}^{\&prime;}}{\mathrm{Size}}\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(11\right)$

[0137]

地标特征量计算部204，对于各地标，求出地标特征量(LF1，LF2，LF3)。这时，作为地标O_i的位置的特征量LF1_i，地标特征量计算部204可以使用(x_min，y_min，x_max，y_max)。另外，为了简化，地标特征量计算部204还可以使用地标O_i的中心，作为LF1_i((x_min+x_max)/2，(y_min y_max)/2)。

[0138]

另外，地标特征量计算部204可以分别将地标O_i的地标特征量LF2及LF3，作为LF2_i＝Size及LF3_i＝Pt决定。

[0139]

另外，地标特征量计算部204求出判定存在于视场角内的地标的数量。地标特征量计算部204，作为地标特征量LF0，求出满足(公式2)及(公式4)的地标的数量。

[0140]

此外，地标特征量计算部204，作为其它的地标特征量，可以求出地标的种类(LF4)、地标的知名度(LF5)、反映同一地标的累计时间。

[0141]

移动特征量计算部304，根据来自速度取得部301的输入，取得移动速度(步骤S5)。速度取得部301，例如如果是汽车，就从速度计及车载导航装置取得影像摄影装置的移动速度。此外，移动特征量计算部304还可以通过对位置取得部302连续取得的位置进行时间微分后，求出移动速度。

[0142]

移动特征量计算部304，取得路径信息存储装置303存放的路径信息(步骤S6)。移动特征量计算部304，作为路径信息，抽出经度/纬度的点列、道路的种类(国道及私道等)、道路宽度、车道数、有无交叉路口、有无信号灯及速度限制等。这时，移动特征量计算部304根据在上述步骤S2中取得的摄影位置，抽出存放路径信息存储装置303的路径信息中与影像摄影装置的移动路径的附近对应的路径信息。

[0143]

移动特征量计算部304，根据影像摄影装置的位置、移动速度及路径信息，求出移动特征量(步骤S7)。此外，这时移动特征量计算部304使用在步骤S2中取得的影像摄影装置的摄影位置(移动位置)。另外，在本动作例中，作为移动特征量，使用行驶状态(DF1)、直线前进度(DF2)及绕道特征量(DF3)。

[0144]

移动特征量计算部304使用路径信息、移动速度Sp[Km/hour]及限制速度Ls[Km/hour]，按照以下的步骤，求出行驶状态的特征量DF1。移动特征量计算部304，在移动速度Sp为0时，将行驶状态作为“停止”；在Sp小于(LS-10)时，将行驶状态作为“低速”；在Sp为(LS-10)以上时，将行驶状态作为“通常”。在这里，将停止状态用WDF1＝0表示，低速行驶状态用WDF1＝1表示，通常状态用WDF1＝2表示。

[0145]

例如：满足“交叉路口＝无或者有”、“信号灯＝有”及“WDF＝0”的条件时，移动特征量计算部304将特征量DF1决定为“DF1＝0”。另外，满足“交叉路口＝无或者有”、“信号灯＝无”及“WDF＝1”的条件时，移动特征量计算部304将特征量DF1决定为“DF1＝1”。另外，除此以外时，移动特征量计算部304将特征量DF1决定为“DF1＝2”。

[0146]

另外，移动特征量计算部304求出直线前进度DF2。移动特征量计算部304使用现在帧的摄影位置和所定的一定间隔前的帧中的摄影位置，求出直线前进度。图11是为了讲述直线前进度的计算方法而绘制的图。在图11中，表示出包含注意的帧(现在帧)时的5秒前的摄影位置(P1～P5)的轨迹。

[0147]

移动特征量计算部304根据每秒获得的5点的汽车位置(摄影位置)P1～P5，求出速度向量V1～V4。求出的速度向量构成的角度的大小，被定义为直线前进系数direct。这时，移动特征量计算部304使用下列公式(12)，求出直线前进系数direct。

[0148]

[数12]

$\mathrm{direct}=\frac{|V1\&CenterDot;V2|}{\left|V1\right|\left|V2\right|}\frac{|V2\&CenterDot;V3|}{\left|V2\right|\left|V3\right|}\frac{|V3\&CenterDot;V4|}{\left|V3\right|\left|V4\right|}\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(12\right)$

[0149]

交叉路口离得比较远而且直线前进系数较小时，移动特征量计算部304判断车辆正在弯曲行驶时，将特征量DF2设定成中等程度的值。另外，直线前进系数较小而且交叉路口离得比较近时，动特征量计算部304判断车辆正在右拐或左拐行驶时，将特征量DF2设定成较大的值。除此以外时，将特征量DF2设定成较小的值。

[0150]

例如：假设预先设定所定的临界值thresdir。动特征量计算部304在满足“direct＜thresdir”而且“交叉路口＝无”的条件时，将特征量DF2作为DF2＝2设定。另外，动特征量计算部304在满足“direct＜thresdir”而且“交叉路口＝有”的条件时，将特征量DF2作为DF2＝3设定。除此以外时，动特征量计算部304将特征量DF2作为DF2＝1设定。

[0151]

另外，动特征量计算部304根据影像摄影装置的现在位置和与车载导航系统的提示路径的路径偏移量Rd及交叉路口的有无，求出绕道特征量DF3。此外，动特征量计算部304可以将偏移量Rd其本身作为移动特征量求出。

[0152]

例如：假设预先设定所定的临界值thresRd。动特征量计算部304在满足“Rd＜thresRd”而且“交叉路口＝无或有”的条件时，将特征量DF3作为DF3＝1设定。另外，动特征量计算部304在满足“Rd＞thresRd”而且“交叉路口＝有”的条件时，将特征量DF3作为DF3＝2设定。另外，动特征量计算部304在满足“Rd＞thresRd”而且“交叉路口＝无”的条件时，将特征量DF3作为DF3＝3设定。但是，动特征量计算部304，用以下的公式(13)，求出路径偏移量Rd。

[0153]

[数13]

Rd＝Min(dist(x，y，Rd_x，Rd_y))……(13)

[0154]

在公式(13)中，x、y是表示摄影位置的经度及纬度，Rd_x、Rd_y是构成车载导航系统的提示路径的1点的经度及纬度。例外，在公式(13)中，Min是抽出最小值的函数。

[0155]

动特征量计算部304，输出按照以上的步骤求出的移动特征量＝(DF1，DF2，DF3)。

[0156]

此外，除了上述DF1、DF2及DF3以外，动特征量计算部304还可以将表示道路尺寸的变化的量作为移动特征量DF4使用。例如：可以对国道分配“值2”，对私道分配“值1”。汽车由国道进入私道时，作为移动特征量DF4，动特征量计算部304求出DF4＝-1。另外，汽车由私道进入私道时，作为移动特征量DF4，动特征量计算部304求出DF4＝0。另外，汽车由私道进入国道时，作为移动特征量DF4，动特征量计算部304求出DF4＝1。

[0157]

接着，影像种类判定部4根据地标特征量及移动特征量，判定影像内容的种类(步骤S8)。在本动作例中，影像种类判定部4将影像情景分类成部属(category)，从而判定影像内容的种类。为了将影像情景分类成部属，影像种类判定部4对各影像情景进行以下所述的处理。此外，在本例中，表示出作为移动特征量使用行驶状态(DF1)及直线前进度(DF2)、作为地标特征量使用存在于视场角内地标的数量(LF0)的情况。

[0158]

在本动作例中，影像种类判定部4如下决定影像的部属。即：在DF2＝3时为“拐角/分岔点部属”；在DF1＝1时为“堵车部属”；在DF1＝0时为“等待信号部属”。另外，影像种类判定部4在DF0＝0时，“地标部属”作为影像的部属。另外，哪个条件都不符合时，影像种类判定部4“其它部属”作为影像的部属。影像种类判定部4，输出决定的部属。此外，影像种类判定部4既可以把一个影像情景分类成一个部属，也可以把一个影像情景分类成多个部属。

[0159]

此外，讲述了在本动作例中，使用移动特征量DF1及DF2和地标特征量LF0，判定影像情景的种类的情况。可是，影像情景的种类的判定方法，并不局限于此。例如：作为地标特征量，影像种类判定部4可以使用LF0～LF3判定影像情景的种类。这时，影像种类判定部4将各影像情景，分类成在画面内反映地标整体时的“整体地标情景”、在画面的中央反映地标时的“前方地标情景”以及在画面内较大地反映地标时“较大反映地标情景”等。

[0160]

例如：在“LF0≠0而且LF3＞0.9”时，影像种类判定部4可以选择“整体地标情景”。在“LF0≠0而且|LF1的坐标(x，y)-画面的中心坐标|＜所定的临界值”时，影像种类判定部4可以选择“前方地标情景”。在“LF0≠0而且LF2＞所定的临界值”时，影像种类判定部4可以选择“较大反映地标情景”。另外，影像种类判定部4还可以进而使用地标特征量LF4及LF5，例如将各影像情景分类成“山峰情景”、“建筑物情景”或“有名的地标情景”。

[0161]

另外，对各移动特征量及各地标特征量而言的临界值，可以根据用途变更。影像种类判定部4可以根据用途变更临界值后，判定影像情景的种类。

[0162]

影像加工部5，根据在步骤S8中决定的影像情景的种类(部属)和被用户指定的用途，按照所定的规则，抽出适合于影像情景的影像的加工方法。图12是表示有关影像的加工方法的设定信息(规则)的例子的图。在本动作例中，影像加工部5具有存储装置，图12所示的设定信息被存储装置预先存储。影像加工部5，按照图12所示的设定信息，抽出影像的加工方法。此外，图12所示的设定信息，可以通过用户的输入进行变更。

[0163]

按照图12所示的规则，影像加工部5通过以下的步骤，设定影像的加工方法。例如：影像种类是地标情景(地标部属)、用途是掌握路径时，作为加工方法，影像加工部5选择“带字幕”。另外，影像种类是拐角情景(拐角/分岔点部属)、用途是掌握路径时，作为加工方法，影像加工部5选择“缓慢再生”及“引导指令显示”。另外，影像种类是停止情景(堵车部属或等待信号部属)、用途是掌握路径时，作为加工方法，影像加工部5选择“跳过(情景剪切)”。

[0164]

另外，影像种类的其它的非重要情景(其它部属)、用途是掌握路径时，作为加工方法，影像加工部5选择“快进再生(高速再生)”。另外，影像种类的其它的非重要情景(其它部属)、用途是观光时，作为加工方法，影像加工部5选择“情景剪切”。

[0165]

影像加工部5按照选择的加工方法，加工影像(步骤S9)。进行缓慢再生加工时，影像加工部5按照缓慢再生倍率，在影像帧之间插入插补帧。例如：缓慢再生倍率是2倍时，影像加工部5在连续的第1帧及第2帧之间，插入插补帧。在这里，影像加工部5例如可以求出两帧的象素值的平均后编制插补帧。

[0166]

进行带字幕的加工时，影像加工部5在图象上重叠有可能存在于视场角内的地标名。影像加工部5，能够显示字幕地进行加工，以免被在地标存在区域的上边中央显示的地标遮盖。另外，字幕是显示路径的提示信息时，影像加工部5使其在画面的中央显示地进行加工。但是，在显示空间重叠着地标存在区域时，影像加工部5使其在地标存在区域的下边和画面下端的中央位置显示地进行加工。这样，就能够不被地标遮盖地在道路区域上重叠显示。

[0167]

进行情景剪切加工时，影像加工部5跳过帧后进行加工。进行高速再生加工时，影像加工部5按照高速倍率，在前后帧之间进行帧的间隔抽出。例如2倍速时，影像加工部5在连续的2个帧之中，跳过第2帧地进行2倍速再生。

[0168]

地标名的字幕、地标附带的信息及路径的提示信息等，与影像重叠时，画面上的信息量增加。因此，进行高速再生及通常速度再生后，用户有时不能完全掌握信息。所以，可以按照与影像重叠的信息量，放慢设定再生速度。例如，影像加工部5可以根据以下的公式(14)，设定再生速度。

[0169]

“再生速度”＝“初始设定再生速度”/(1+“加权参数”ד文字数”ד单词间的距离”)……(14)

[0170]

影像加工部5，判断是否结束了对所有的影像帧进行的判定处理(步骤S10)。存在没有结束判定处理的帧时，影像加工系统对未处理帧，反复进行步骤S1以后的处理。对所有的帧进行判定处理时，影像加工部5输出加工处理后生成的帧组。此外，影像加工部5可以按照决定的加工方法，只加工特定种类的影像情景后输出。

[0171]

显示部6再生输出的帧组，显示影像(步骤S11)。图13是表示显示部6显示影像的显示画面的一个示例的图。如图13所示，显示部6和摄影位置周边的地图同步显示再生的影像。另外，在显示画面中，作为能够指定输入用户的用途(例如驾驶模拟及观光导游)的用户接口，包含用途选择按钮1200等。

[0172]

第2动作例：

下面，参照附图，讲述第1实施方式示出的影像加工系统的第2动作例。图14是表示影像加工系统的动作例的流程图。下面，使用该流程图，讲述影像加工系统的动作例。

[0173]

如图14所示，在本动作例中，在进行第1动作例所述的各处理的基础上，还进行重要度判定的处理。以下，讲述新追加的重要度判定的处理(步骤S7b)。此外，关于重要度判定的处理以外的处理，和第1动作例所述的情况一样。

[0174]

影像种类判定部4，使用地标特征量(LF1，LF2，LF3)，计算地标情景重要度f_i。地标情景重要度f_i，是表示处理对象的影像情景中的关于地标的重要度。另外，影像种类判定部4，使用移动特征量(DF1，DF2，DF3)，计算驾驶信息情景重要度f_d。驾驶信息情景重要度f_d，是表示处理对象的影像情景中的关于驾车的重要度。

[0175]

影像种类判定部4，如用下列公式(15)所表示的那样，利用每个地标的特征量和加权参数之积的和，求出地标情景重要度f_i。另外，影像种类判定部4，如用下列公式(16)所表示的那样，利用各要素(特征量及加权参数)之积的和，求出驾驶信息情景重要度f_d。此外，在本动作例中，作为地标特征量，使用LF1、LF2、LF3；作为地标特征量和移动特征量，使用DF1、DF2、DF3。

[0176]

[数15]

$\mathrm{fl}=\stackrel{\mathrm{No}}{\mathrm{\&Sigma;}}{W}_{\mathrm{LF}1}\mathrm{dist}({\mathrm{LF}1}_{\mathrm{xi}},\mathrm{LF}{1}_{\mathrm{yi}},\mathrm{DispCenterX},\mathrm{DispCenterY})\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(15\right)$

$\&CenterDot;W_{\mathrm{LF}2}{\mathrm{LF}2}_i\&CenterDot;W_{\mathrm{LF}3}{\mathrm{LF}3}_i$

[0177]

[数16]

fd＝W_DF1DF1·W_DF2DF2……(16)

[0178]

但是，在公式(15)中，dist(LF1，DispCenter)，如下列公式(17)所示，是计算LF1(＝(LF1x，LF1y))和画面中央(DispCenterX，DispCenterY)的距离(象素)的函数。

[0179]

[数17]

$\mathrm{dist}=\sqrt{{(\mathrm{DispCenterX}-{\mathrm{LF}1}_x)}^2+{(\mathrm{DispCenterY}-{\mathrm{LF}1}_y)}^2}\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\left(17\right)$

[0180]

各特征量的加权函数W_LFi(i＝1～3)及W_DFi(i＝1，2)，按照以下的规则决定。就是说，在交叉路口的直线前进度越小，就使重要度越高地决定加权。另外，在交叉路口的移动速度越小，就使重要度越低地决定加权。另外，绕道度越大，就使重要度越高地决定加权。另外，左右拐弯时的道路尺寸差越大，就使重要度越高地决定加权。

[0181]

另外，在地标整体较大地反映到画面中央时，就使重要度变大地决定加权。另外，知名度越高的地标，就使重要度越高地决定加权。另外，稳定度越高的(在画面上晃动少)的地标，就使重要度越高地决定加权。另外，已经出现过的地标，就使重要度变小地决定加权。另外，地标数越多，就使重要度越高地决定加权。另外，反映时间越长的地标，就使重要度越高地决定加权。

[0182]

影像种类判定部4，使用地标情景重要度f_i和驾驶信息情景重要度f_d，决定综合性的影像情景的重要度。以下，该综合性的影像情景的重要度，参照综合重要度ft。影像种类判定部4可以按照预先规定的地标情景和驾驶信息情景的分配比率，求出综合重要度ft。另外，影像种类判定部4还可以按照与用户设定的自选轴(后文讲述)对应的分配比率，求出综合重要度ft。影像种类判定部4使用下列公式(18)及下列公式(19)，决定影像情景中的综合重要度ft。

[0183]

[数18]

ft＝W₁f₁+W_df_d……(18)

[0184]

[数19]

W₁+W_d＝1……(19)

[0185]

采用本动作例后，具有大于预先规定的所定的临界值的综合重要度ft的影像情景，被作为重要情景选择，被作为影像加工的对象使用。就是说，影像种类判定部4判定综合重要度ft是否大于所定的临界值(步骤S7b)。然后，在判定综合重要度ft大于所定的临界值时，影像种类判定部4对该影像情景进行影像种类判定处理(步骤S8)。在判定综合重要度ft小于所定的临界值时，影像加工系统反复实行步骤S1以后的处理。

[0186]

图15是为了讲述利用被用户设定的自选轴决定计算的加权分配的方法而绘制的图。如图15所示，用户调整自选轴后，能够自由设定与路径模拟用途和观光驾驶用途的程度(综合加权比率)。就是说，能够按照用户的利用用途，变更路径模拟系统和观光驾驶系统的加权。这样，就能进行适合于各用途的重要度的判定。

[0187]

另外，作为能够决定用户的用途(例如驾驶路径模拟及观光驾驶指南)的用户接口，可以使用滑动杆。图16是表示显示画面的其它示例的图。如图16所示，在显示画面中，可以包含旨在设定用途的切换滑动杆1500。

[0188]

采用本发明的影像加工系统，例如可以在车载导航等的驾驶路径模拟系统及为了实现驾驶路径模拟的程序中应用。另外，采用本发明的影像加工系统，还可以在旨在有效地阅览影像内容的自动摘要系统及旨在实现自动摘要的程序中应用。

Claims (23)

1、一种影像加工系统，具备：

影像输入部，该部输入由移动的影像摄影装置拍摄的影像；

移动特征量取得部，该部取得表示所述影像摄影装置的移动状态的特征的移动特征量；

影像种类判定部，该部根据所述移动特征量，判定所述影像中包含的影像情景的种类；以及

影像加工部，该部根据由所述影像种类判定部判定的所述影像情景的种类，决定所述影像的加工方法，并按照所述决定的加工方法加工所述影像，

所述移动特征量取得部，包含：

取得所述影像摄影装置的移动速度的速度输入部，

取得所述影像摄影装置的摄影位置的第1位置输入部，以及

根据所述摄影位置及所述移动速度，计算与所述影像情景对应的所述移动特征量的移动特征量计算部。

2、如权利要求1所述的影像加工系统，其特征在于：还具备显示被所述影像加工部加工后的影像的显示部。

3、如权利要求1所述的影像加工系统，其特征在于：还具备存放路径信息的路径信息存储部，

所述移动特征量计算部，根据所述路径信息和所述影像摄影装置的所述摄影位置及所述移动速度，计算与所述影像情景对应的所述移动特征量。

4、如权利要求3所述的影像加工系统，其特征在于：所述路径信息，至少包含路径的位置、种类、车道数、交叉路口的位置、岔道点的位置及有无信号灯中的一个。

5、如权利要求1所述的影像加工系统，其特征在于：所述移动特征量，至少包含所述影像摄影装置的现在位置与设定路径之间的偏移量、行驶速度及行驶直线前进度中的一个。

6、如权利要求1所述的影像加工系统，其特征在于：还具备地标特征量取得部，该部取得存在于所述影像的视场角内的表示地标特征的地标特征量；

所述影像种类判定部，根据所述地标特征量和所述移动特征量，判定所述影像情景的种类。

7、如权利要求6所述的影像加工系统，其特征在于：

所述地标特征量取得部，具备：

取得所述影像摄影装置的摄影方位的方位输入部、

取得所述影像摄影装置的摄影位置的第2位置输入部、

存放所述地标的属性信息——地标信息的地标信息存储部、以及

地标特征量计算部，该部，根据所述地标信息、所述摄影位置及所述摄影方位，计算与所述影像情景对应的所述地标特征量。

8、如权利要求7所述的影像加工系统，其特征在于：

所述地标信息，包含所述地标的位置及形状。

9、如权利要求6所述的影像加工系统，其特征在于：所述地标特征量，包含所述地标在画面上的尺寸及自画面中心的偏移量的中的至少一个。

10、如权利要求6所述的影像加工系统，其特征在于：所述影像种类判定部，通过判断所述移动特征量及所述地标特征量是否大于临界值，从而判断所述影像情景的种类。

11、如权利要求10所述的影像加工系统，其特征在于：对于所述移动特征量及所述地标特征量而言的所述临界值，根据用途变更。

12、如权利要求6所述的影像加工系统，其特征在于：所述影像种类判定部，根据所述移动特征量及所述地标特征量中的至少一个的值，求出所述影像情景的重要度，在所述求出的重要度大于临界值时，判定所述影像情景的种类。

13、如权利要求1所述的影像加工系统，其特征在于：

所述影像情景的种类，至少包含拐角情景、地标情景、堵车情景、等待信号情景及其它情景中的至少一个。

14、如权利要求13所述的影像加工系统，其特征在于：

所述影像加工部，

对所述影像进行加工，使得被判定为所述拐角情景的所述影像情景能被缓慢再生；

对所述影像进行加工，使得在被判定为所述地标情景的所述影像情景中能显示地标信息的字幕；

对所述影像进行加工，使得被判定为所述堵车情景的所述影像情景被删除；

对所述影像进行加工，使得被判定为所述等待信号情景的所述影像情景被删除；

对所述影像进行加工，使得被判定为所述其它情景的所述影像情景能被高速再生。

15、一种服务器，是加工由影像摄影装置拍摄的影像的影像加工系统的服务器，具备：

地标信息存储部，该部存储作为地标的属性信息的地标信息；

地标特征量计算部，该部根据所述地标信息和从终端接收的所述影像摄影装置的摄影位置及摄影方位，计算与影像情景对应的地标特征量；

路径信息存储部，该部存储路径信息；

移动特征量计算部，该部根据所述路径信息和从所述终端接收的所述影像摄影装置的摄影位置及移动速度，计算与所述影像情景对应的移动特征量；

影像种类判定部，该部根据所述地标特征量和所述移动特征量，判定所述影像情景的种类；

影像加工部，该部根据所述影像情景的种类，决定所述影像的加工方法，并按照所述决定的加工方法，加工所述影像；以及

服务器侧发送部，该部通过通信网络，将由所述影像加工部加工的影像发送到所述终端。

16、一种服务器，是加工由影像摄影装置拍摄的影像的影像加工系统的服务器，具备：

地标信息存储部，该部存储作为地标的属性信息的地标信息；

地标特征量计算部，该部根据所述地标信息和从终端接收的所述影像摄影装置的摄影位置及摄影方位，计算与影像情景对应的地标特征量；

路径信息存储部，该部存储路径信息；

移动特征量计算部，该部根据所述路径信息和从所述终端接收的所述影像摄影装置的摄影位置及移动速度，计算与所述影像情景对应的移动特征量；

影像种类判定部，该部根据所述地标特征量和所述移动特征量，判定所述影像情景的种类；以及

服务器侧发送部，该部通过通信网络，将所述影像情景的种类发送到所述终端。

17、一种终端，是加工由影像摄影装置拍摄的影像的影像加工系统的终端，具备：

影像输入部，该部输入所述影像；

方位输入部，该部输入所述影像摄影装置的摄影方位；

位置输入部，该部输入所述影像摄影装置的摄影位置；

速度输入部，该部输入所述影像摄影装置的移动速度；

终端侧发送部，该部通过通信网络，将所述摄影方位、所述摄影位置及所述移动速度发送到判定影像情景的种类的服务器；

影像加工部，该部根据从所述服务器接收的所述影像情景的种类，决定所述影像的加工方法，并按照所述决定的加工方法，加工所述影像；以及

影像显示部，该部显示被所述影像加工部加工后的影像。

18、一种影像加工方法，包含：

输入由移动的影像摄影装置拍摄的影像的步骤；

取得表示所述影像摄影装置的移动状态的特征的移动特征量的步骤；

取得存在于所述影像的视场角内的表示地标特征的地标特征量的步骤；

根据所述移动特征量和所述地标特征量，判定所述影像中包含的影像情景的种类的步骤；以及

根据所述影像情景的种类，决定所述影像的加工方法，并按照所述决定的加工方法，加工所述影像的步骤。

19、一种影像种类判定系统，具备：

影像输入部，该部输入由移动部件搭载的影像摄影装置拍摄的影像；

移动特征量取得部，该部根据由所述移动部件具有的计测器取得的所述影像摄影装置的移动速度，取得表示所述影像摄影装置的移动状态的特征的移动特征量；以及

影像种类判定部，该部根据所述移动特征量，判定所述影像中包含的影像情景的种类。

20、一种影像加工系统，具备：

影像输入部，该部输入由移动部件搭载的影像摄影装置拍摄的影像；

移动特征量取得部，该部根据由所述移动部件具有的计测器取得的所述影像摄影装置的移动速度，取得表示所述影像摄影装置的移动状态的特征的移动特征量；

影像种类判定部，该部根据所述移动特征量，判定所述影像中包含的影像情景的种类；以及

影像加工部，该部根据由所述影像种类判定部判定的所述影像情景的种类，决定所述影像的加工方法，并按照所述决定的加工方法加工所述影像。

21、如权利要求20所述的影像加工系统，其特征在于：还具备显示被所述影像加工部加工后的影像的显示部。

22、一种影像种类判定方法，具备：

输入由移动部件搭载的影像摄影装置拍摄的影像；

根据由所述移动部件具有的计测器取得的所述影像摄影装置的移动速度，取得表示所述影像摄影装置的移动状态的特征的移动特征量；以及

根据所述移动特征量，判定所述影像中包含的影像情景的种类。

23、一种影像加工方法，具备：

输入由移动部件搭载的影像摄影装置拍摄的影像；

根据由所述移动部件具有的计测器取得的所述影像摄影装置的移动速度，取得表示所述影像摄影装置的移动状态的特征的移动特征量；

根据所述移动特征量，判定所述影像中包含的影像情景的种类；以及

根据由所述影像种类判定部判定的所述影像情景的种类，决定所述影像的加工方法，并按照所述决定的加工方法加工所述影像。

Images