CN101305595A - 图像处理设备、图像处理方法及其程序以及包括该程序的记录介质 - Google Patents

Abstract

图像处理设备处理包含通过经由给出畸变的成像光学单元从景物捕获光学图像获得的成像光学单元的畸变的图像数据。区域选择模式设置单元(13b)选择性地设置第一区域选择模式和第二区域选择模式，第一区域选择模式用于将通过使用正交坐标系指示视野的部分区域的选择区域选择为图像数据表示的视野，而第二区域选择模式用于将通过使用极坐标系表示视野的部分区域的选择区域选择为图像数据表示的视野。畸变校正单元(13a)对与由区域选择模式设置单元(13b)设置的第一或者第二区域选择模式中所选择的选择区域对应的图像数据进行畸变校正，并且获得畸变经校正的数据。数据输出单元(13d)输出畸变经校正的数据。

Description

图像处理设备、图像处理方法及其程序以及包括该程序的记录介质

技术领域

本发明涉及对所拾取的宽视野(wide-field)图像执行处理的图像处理设备、图像处理方法、其程序以及记录介质。

背景技术

传统上，已经提出了一种技术，通过使用该技术，用户在通过使用例如鱼眼镜头所拾取的图像中指定想要的区域，对指定区域的鱼眼镜头图像数据的畸变像差进行校正，并且将经校正的图像显示在监视器上。所拾取的图像可以是运动图像，也以可以是静止图像(例如，见日本专利申请公开No.2000-324386(见图1和说明书第[0009]段))。

使用该日本专利申请公开No.200-324386中描述的设备，可以期望，如果用户使用更好的方法来在照相机所拾取的图像中指定区域，则可以得到较高程度的方便性。期望使用照相机的这种系统在将来被使用在广泛应用中，因此可能具有将容易使用的接口提供给用户的重要任务。

发明内容

根据本发明的图像处理设备是处理包含图像拾取光学部分的畸变的图像数据的图像处理设备，该畸变是通过生成畸变的图像拾取光学部分从景物拾取光学图像而获得的，该图像处理设备包括：区域选择模式设置部分，其选择性地设置第一区域选择模式和第二区域选择模式，在第一区域选择模式中，从图像数据所代表的视野中，选择通过使用正交坐标系指示该视野的部分区域的被选择区域，而在第二区域选择模式中，从图像数据所代表的视野中，选择通过使用极坐标系指示该视野的部分区域的被选择区域；以及数据输出部分，其输出通过校正图像数据中的畸变获得的畸变经过校正的数据，该图像数据与在由所述区域选择模式设置部分设置的第一或第二区域选择模式中所选择的被选择区域对应。

本发明被提供有作为区域选择模式的第一区域选择模式和第二区域选择模式，在这些模式中的一种模式中执行所选择区域的设置或者切换。这将实现用户方便和容易使用的图像处理设备。可以将区域选择模式设置到例如用户偏好的区域选择模式，或者基于拾取位置、环境、目的等的任何区域选择模式。替代地，可以将其设置到预定的区域选择模式。因此通过选择性地设置区域选择模式，在所设置的区域选择模式中执行被选择的区域的设置或者切换。应该注意，景物的图像主要指的是运动图像但是也可以包括静止图像。

在本发明中，如果选择第一区域选择模式，则使用正交坐标系来切换被选择的区域，所以，特别在例如人们一般观看的视野(field of view)的情况下，也就是说，在拾取诸如具有上下、左右的风景之类的图像的情况下，其是有效的。也就是说，通过在这种情况下选择第一区域选择模式，可以由人执行非常直观的操作。另一方面，如果选择第二区域选择模式，则使用极坐标系来切换被选择的区域，所以特别在拾取具有诸如关于例如从水平面向上或者向下观看的视野之类的图像的情况下，其是有效的。也就是说，通过在这种情况下选择第二区域选择模式，可以由人执行直观的操作。

在本发明中，要在图像处理设备中使用的图像数据可以是从图像拾取部分输出的图像数据或者从存储景物的图像的图像数据的存储设备读取的图像数据，该图像拾取部分包括图像拾取光学部分和生成景物的图像的图像数据的图像拾取元件，使得景物的图像通过该图像视频光学部分入射。可以将该图像拾取部分和存储设备集成安装到图像处理设备或者与其分离。进一步，可以在构成上仅仅使用该图像拾取部分和存储设备中的任何一个。

如果使用图像拾取部分，则可以例如提供被选择区域的图像的无畸变显示，该被选择区域指示来自实时获得的景物的宽视野图像的视野的部分区域。另一方面，如果使用存储设备，则可以例如提供来自已经被拾取的景物的宽视野图像的被选择区域的图像的无畸变显示。进一步，如果使用图像拾取部分和存储设备，则可以方便地在一个时间直观地识别实时图像和过去的图像。

在本发明中，图像处理设备可以装有方向检测传感器以根据来自该方向检测传感器的传感器信号来设置第一或者第二区域选择模式，该方向检测传感器检测使得光学图像入射在图像拾取光学部分上的方向。进一步，可以根据与基于来自方向检测传感器的传感器信号确定的垂直方向有关的角度来设置区域选择模式。因此，可以根据图像拾取光学部分的图像拾取方向来切换区域选择模式，使得例如可以根据景物的图像的向下、向上和水平拾取方向中的任何一个来选择适当的区域选择模式，从而提高用户友好度。例如，假设在垂直方向中使得光学图像入射到图像拾取光学部分的情况下角度为0度，如果所检测到的角度小于45度或者不小于135则将其切换到第二区域选择模式，而如果其不小于45度并且小于135度，则将其切换到第一区域选择模式。

进一步，可以根据角度是否超过第一阈值将其从第一区域选择模式切换到第二区域选择模式，而根据角度是否超过与第一阈值不同第二阈值，将其从第二区域选择模式切换到第一区域选择模式。因此通过彼此区分在其上将第一区域选择模式切换到第二区域选择模式的阈值和在其上将第二区域选择模式切换到第一区域选择模式的阈值以形成滞后，可以防止由于跨越任何一个阈值的倾斜角的波动导致在模式之间频繁切换而打扰用户，

在本发明中，图像处理设备可以装有检测与景物的接触的检测传感器，以根据是否检测到了接触而在第一和第二区域选择模式之间切换。

因此，在拾取景物的同时移动图像拾取光学部分的情况下，可以基于图像拾取光学部分和景物之间的距离彼此切换区域选择模式，使得可以使用适当的模式切换，以通过例如如果没有检测到接触，则将该设备设置到第二区域选择模式，而如果检测到了接触，则将该设备设置到第一区域选择模式，来适应用户的应用。

进一步，在该图像处理设备中，根据将被选择的区域设置到的状态来设置第一区域选择模式或者第二区域选择模式。因此，可以根据被选择的区域被设置到的状态来自动地彼此切换区域选择模式。而且，通过根据区域选择模式切换图形用户界面(GUI)的显示，可以容易地确定任何区域选择模式。

根据本发明的图像处理方法是用于处理包含图像拾取光学部分的畸变的图像数据的方法，该图像数据是通过生成畸变的图像拾取光学部分从无论拾取光学图像而获得的，该方法包括：区域选择模式设置步骤，选择性地设置第一区域选择模式和第二区域选择模式，在第一区域选择模式中，从图像数据所代表的视野中，选择通过使用正交坐标系指示该视野的部分区域的被选择区域，而在第二区域选择模式中，从图像数据所代表的视野中，选择通过使用极坐标系指示该视野的部分区域的被选择区域；以及数据输出步骤，输出通过校正图像数据中的畸变获得的畸变经过校正的数据，该图像数据与在由所述区域选择模式设置步骤设置的第一或第二区域选择模式中所选择的被选择区域对应。也可以将本发明应用于程序发明以及记录该程序的记录介质的发明。

因此，根据本发明，可以实现图像处理设备、图像处理方法等，其当使用包含图像拾取光学部分的畸变的图像数据(该图像数据是通过生成畸变的上述图像拾取光学部分而从景物拾取光学图像获得的，执行由该图像数据表示的视野的部分区域的图像的再现)时，可以由用户方便和容易地使用。

附图说明

图1是示出根据本发明一种实施方式的图像处理系统的结构的框图；

图2是在图像拾取元件上形成的景物图像和被选择区域之间的关系的示例示意图；

图3是示出图像处理部分的功能结构的框图；

图4是显示模式和区域选择模式的示例图；

图5是示例图像处理部分的特定结构的框图；

图6是示出完整图像的示意图；

图7是示出在显示部分上显示的图像的一个例子的示意图；

图8是示出处理控制部分的操作的流程图；

图9是示出作为三维空间的球的视野的示意图；

图10是用于示出由图像拾取部分进行拾取时的各个视野(图像拾取范围)的示意图；

图11是镜头的图像高度特征的示例示意图；

图12是畸变校正处理的原理的示例示意图；

图13是在区域选择模式中的正交坐标模式中的操作的示例示意图；

图14是在区域选择模式中的极坐标模式中的操作的示例示意图；

图15示出了当用户通过输入部分指令改变被选择的区域时显示的GUI的一个例子；

图16是当选择正交坐标模式时被指令切换被选择的区域的情况下的示例示意图；

图17示出了当选择正交坐标模式时顺序切换显示模式时在显示部分14上显示的显示图像；

图18是示出当选择极坐标模式时在显示部分上显示的显示图像的示意图；

图19是示出当选择极坐标模式时在发出切换指令之后的显示图像的示意图；

图20是示出当选择极坐标模式时在显示部分上显示的显示图像，并且解释将被分割的显示模式中的显示上下翻转的情况的示意图；

图21是示出在使能被分割的显示模式的选择的情况下的显示模式切换的转变的示意图；

图22是用于在被选择的区域中显示的图像的比例放大/缩小处理的示例示意图；

图23是示出在发出旋转指令之前的状态的示意图；

图24是用于在被选择的区域中旋转图像的处理的示例示意图；

图25是用于在被选择的区域中旋转图像的另一种处理的示例示意图；

图26是示出根据本发明的另一种实施方式的图像处理系统的结构的框图；

图27是示出由图26所示的图像处理系统执行的处理的一个例子的流程图；

图28是示出由图26所示的图像处理系统执行的处理的另一个例子的流程图；

图29是示出用于存储位置信息或者轨迹信息的处理的流程图；

图30是以图29所示的流程在所显示的图像上的预定区域的轨迹的示例示意图；

图31是示出根据本发明的另一种实施方式的图像处理系统的结构的框图；

图32是示出根据本发明的再一种实施方式的图像处理系统的结构的框图；

图33是用于根据其中将图像拾取部分11放置在图32的图像处理系统中的方向来切换区域选择模式MS的方式的概念示意图；

图34是设置用于切换图33的状态S₀、S₁和S₂的阈值的方法的示例示意图；

图35是示出在图32的图像处理系统40将状态S₀、S₁和S₂彼此切换的情况下的操作的例程的流程图；

图36是在图32的图像处理系统分别设置正交坐标模式和极坐标模式的情况下的坐标计算方法的示例示意图；

图37是在图32的图像处理系统分别设置正交坐标模式和极坐标模式的情况下的坐标计算方法的示例示意图；

图38是在图32的图像处理系统分别设置正交坐标模式和极坐标模式的情况下的坐标记载方法的示例示意图；

图39是在图32的图像处理系统分别设置正交坐标模式和极坐标模式的情况下的坐标记载方法的示例示意图；

图40是用于根据接触切换显示模式的方法的概念示意图；

图41是示出图像拾取光学部分已经获得了270度的视角的情况的示意图；

图42是示出其中将图像拾取方向设置到关于水平方向向上45度的状态的示意图；

图43是示出其中放置图像拾取部分的例子的示意图；

图44是区域选择模式的自动切换的示例示意图；

图45是在自动切换区域选择模式的情况下的GUI显示和图像区域移动方向的示意图；

图46是在包括组合模式的区域选择模式之间的切换操作的示例示意图；

图47是在包括组合模式的区域选择模式之间的切换操作的流程图；

图48是示出当操作方向按钮时的操作的流程图；

图49是示出在本发明的再一种实施方式中，响应于被选择区域的切换改变显示模式MH的方式的示意图；

图50是示出在本发明的再一种实施方式中，响应于区域选择模式MS的切换，改变显示模式MH的方式的示意图；

图51是示出在执行显示模式切换处理的情况下的图像处理系统的操作的流程图；

图52是示出在执行显示模式切换处理的情况下的图像处理系统的操作的另一个流程的流程图；和

图53是示出显示模式切换处理的另一种状态的示意图。

具体实施方式

以下，参照附图来详细说明本发明的实施方式。

图1是示出根据本发明的一种实施方式的图像处理系统的结构的框图。

图像处理系统10被提供有图像拾取部分11、输入部分12、图像处理部分13和显示部分14。进一步，通过使用图像拾取光学部分111和图像拾取元件112构成图像拾取部分11。

使用图像拾取光学部分111来将景物图像聚焦在图像拾取元件112的成像区域上。在这种情况下，作为图像拾取光学部分111，例如，使用广角镜头(wide-angle lens)来将宽视野景物(wide-filed subject)图像聚焦在图像拾取元件112的成像区域上。广角镜头具有至少大约45度的视角，但不限于此。另一方面，可以通过使用鱼眼镜头、作为一种环形镜头的全景环形镜头(PAL)等来构成图像拾取光学部分111。进一步，替代于使用广角镜头，可以使用管形(tube-shaped)、碗形或者圆锥形镜面，使得将宽视野景物图像可以通过该镜面的反射聚焦在图像拾取元件112的成像区域上。进一步，可以将多个棱镜和镜面进行组合以进一步扩展视野。例如，通过具有大约180度的视角的两个鱼眼镜头，可以获得具有全景视角(球形空间(360度))的景物图像。

作为图像拾取元件112，例如，使用电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)传感器等，将光转换为电信号。这种图像拾取元件112基于景物图像生成图像数据DVa并且将其提供给图像处理部分13。

图2示出了在使用鱼眼镜头作为图像拾取光学部分111的情况下，在图像拾取元件112上形成的景物图像和被选择区域之间的关系。如果图像拾取光学部分111具有例如大约180度的视角并且可以由图2中的半球形球面51来表示其视野，则在图像拾取元件112上形成的(下面称为“宽视野图像”的)景物图像Gc将变为包含由于图像拾取光学部分111导致的畸变的图像，例如圆形图像。因此，当基于由图像拾取元件112获得的图像数据DVa显示图像时，所显示的图像变为具有由于图像拾取光学部分111导致的畸变的图像。在这种情况下，如果提供指示由图像数据DVa表述的视野的部分区域的被选择区域，则该被选择区域与例如图像拾取光学部分111的视角内的被选择区域71对应，并且与宽视野图像Gc内的图像区域ARs对应。因此，图像处理部分13可以对图像区域ARs的图像执行畸变校正处理以校正由于图像拾取光学部分111导致的畸变，来显示被选择区域的无畸变的图像。因此，通过将这样的被选择区域设置为包括例如图像拾取光学部分111的视角内的需要景物，可以显示需要景物的无畸变图像。而且，通过切换被选择区域的位置到新位置或者改变该区域的尺寸或者形状，还将改变与被选择区域对应的图像区域ARs的位置或者尺寸或者形状。因此可以在校正由于图像拾取光学部分111导致的畸变的条件下，在图像拾取光学部分111的视角内显示任意位置或者区域的图像。

这里，可以通过指定指示图像拾取光学部分111的视角中的被选择区域71的位置和范围的角度范围等来设置被选择的区域。进一步，因为如上所述，图像区域Gc与的被选择区域对应，所以还可以通过指定被设置在宽视野图像Gc上的图像区域ARs的位置、范围等来设置被选择的区域。

应该注意，在使用鱼眼镜头的情况下，被选择的区域越小并且其距视野的中心越近，则图像区域ARs的范围与被选择区域在形状上越相像。相反，被选择区域越大并且其距视野的边缘越近，则图像区域ARs的范围关于被选择区域在形状上畸变越大。

使用输入部分12来响应于用户的操作，切换被选择区域的位置，改变被选择区域的区域尺寸和区域形状，并设置被选择区域的切换中的操作模式和图像显示模式。输入部分12可以是任意设备，只要其可以由用户操作即可。其可以例如是鼠标、键盘、开关设备、触摸传感器、游戏机控制器、可以被用户抓住的杆状操控器等。输入部分12生成与用户操作对应的输入信息PS，并且将其提供给图像处理部分13。

图像处理部分13通过使用从图像拾取部分11提供来的图像数据DVa来执行畸变校正处理，以生成其中由于图像拾取光学部分111导致的畸变被校正的被选择区域的图像。进一步，图像处理部分13为要被显示在显示部分14上的图像设置显示模式，生成与这样设置的显示模式对应的显示图像的图像数据DVd，并且将其提供给显示部分14。应该注意，图像处理部分13将宽视野图像、畸变被校正的被选择区域中的图像等用作显示图像。进一步，图像处理部分13设置作为当切换被选择区域的位置时被激活的操作模式的区域选择模式，并且基于来自输入部分12的输入信息PS在这样设置的区域选择模式中切换被选择的区域。而且，图像处理部分13执行将其设置到在初始操作开始的时候事先指定的显示模式或者区域选择模式的处理，将其设置到显示操作完成的时候的显示模式或者区域选择模式并且开始操作的处理等。

显示部分14由液晶显示元件、有机EL元件等构成，用于基于从图像处理部分13提供来的图像数据DVd显示图像。

在根据本实施方式的图像处理系统10中，可以将图像拾取部分11、输入部分12、图像处理部分13和显示部分14彼此集成或者彼此分离。进一步，可以只将它们中的一些彼此集成。例如，如果将输入部分12和显示部分13彼此集成，则可以容易地通过在显示部分14上确认显示来操作输入部分12。而且，在图像拾取部分11中，可以将图像拾取光学部分111和图像拾取元件112彼此集成或者彼此分离。

图3是示出图像处理部分13的功能构成的框图。图像处理部分13具有畸变校正部分13a、区域选择模式设置部分13b、显示模式设置部分13c、数据输出部分13d和控制部分13e。

畸变校正部分13a执行畸变校正以通过使用与图像数据DVa中的被选择区域对应的图像数据，校正通过图像拾取光学部分111导致的畸变，从而生成畸变经校正的数据。

区域选择模式设置部分13b设置作为当设置或者切换被选择区域时的操作模式的区域选择模式。该区域选择模式设置部分13b被提供有，作为区域选择模式MS的，例如如图4所示的作为第一区域选择模式工作的正交坐标模式MS 1和作为第一区域选择模式工作的极坐标模式MS2，而且选择性地设置这些区域选择模式中的任何一个。后面将分别描述这些区域选择模式。

当将畸变经过校正的图像等显示在显示部分14上时，显示模式设置部分13c设置显示模式。如图4中所示，例如，该显示模式设置部分13c被提供有，作为显示模式MH的，完整图像显示模式MH1、被选图像显示模式MH2、双显示模式MH3和分割显示模式MH4，而且设置这些显示模式中的任何一个。后面将分别描述这些显示模式。

数据输出部分13d输出与这样设置的显示模式对应的显示图像的图像数据。这里，如果将在由于图像拾取光学部分111导致的其畸变被校正的被选择区域中的图像显示为显示图像，则其输出畸变经过校正的数据。进一步，如果将宽视野图像作为显示图像显示，则其输出从图像拾取部分11提供来的图像数据。进一步，如果显示宽视野图像和由于图像拾取光学部分111导致的其畸变被校正的被选择区域中的图像，则其通过使用畸变经过校正的数据和从图像拾取部分11提供来的图像数据来生成新图像数据，并且将该数据输出。

控制部分13e根据由区域选择模式设置部分13b所设置的区域选择模式MS来设置或者切换被选择的区域。

图5是示例图像处理部分13的特定构成的框图。将图像数据DVa提供到图像提取处理部分131和畸变校正处理部分133。

图像提取处理部分131从图像数据DVa中提取关于宽视野图像(景物图像)Gc的图像数据DVc，并且将其提供给被选择区域高亮显示处理部分132。这里，如图2所示，宽视野图像Gc指示图像拾取元件112的传感器表面上的部分区域，并且由图像拾取光学部分111确定。因此，如果将宽视野图像Gc的区域固定在传感器表面，则从图像数据DVa中提取预定的图像数据并且提取宽视野图像Gc的区域的像素数据。进一步，如果可以代替图像拾取光学部分111并且宽视野图像Gc的区域在传感器表面上变化，或者如果因为可以改变图像拾取光学部分111的光学特性所以宽视野图像Gc的区域在传感器表面上变化，则其事先标识传感器表面上的宽视野图像Gc的区域，然后提取宽视野图像Gc的该标识的区域的图像数据。通过例如用白色景物(white subject)充满图像拾取光学部分111的完整视野、对其拾取以及检测图像数据DVa在白电平上占据的像素位置，来标识宽视野图像Gc的区域，因此，可以容易地标识宽视野图像Gc的区域。

被选择区域高亮显示处理部分132执行处理，使得用户能够容易地基于被选择区域设置信息JA，在宽视野图像Gc中，在由从后面描述的处理控制部分135提供来的该被选择区域设置信息JA指示的被选择区域和对应图像区域ARs之间进行区分。例如，被选择区域高亮显示处理部分132执行显示控制，使得可以通过提供指示图像区域ARs和除了该图像区域ARs之外的区域之间的界线的界线显示，或者通过改变除了图像区域ARs之外的区域的亮度或颜色，来标识图像区域ARs。将该图像区域ARs的图像高亮以可以被标识，并且下面被称为高亮图像Gs。通过执行这种图像处理，生成使得其图像区域ARs在宽视野图像Gc中可以被标识为高亮图像Gs的图像(下面称为“完整图像Gcp”)的图像数据DVcp，并且将该数据提供给图像输出处理部分134。

与图3中所示的畸变校正部分13a对应的畸变校正处理部分133通过使用图像数据DVa生成其中由从处理控制部分135提供来的被选择区域设置信息JA所指示的被选择区域的畸变被校正的经校正的图像数据DVsc，来校正由于图像拾取光学部分111导致的畸变，并且将其提供给图像输出处理部分134。

与图3中所示的数据输出部分13d对应的图像输出处理部分134通过使用图像数据DVcp和/或经校正的图像数据DVsc，基于来自处理控制部分135的显示控制信息JH，来生成显示图像的图像数据DVd。

处理控制部分135与区域选择模式设置部分13b、显示模式设置部分13c和控制部分13e对应。处理控制部分135设置区域选择模式，根据这样设置的区域选择模式基于来自输入部分12的输入信息PS设置或者切换被选择的区域，生成指示所设置的被选择区域或者新设置的被选择区域的被选择区域设置信息JA，并且将其提供给被选择区域高亮显示处理部分132和畸变校正处理部分133。进一步，处理控制部分135设置显示模式，根据这样设置的显示模式生成显示控制信息JH，并且将其提供给图像输出处理部分134。处理控制部分135进一步执行处理以基于显示控制信息JH等将菜单显示包含在显示图像中。

图像处理部分13由例如诸如中央处理单元(CPU)、随机存取存储器(RAM)和只读存储器(ROM)之类的硬件，存储在ROM等中的软件、固件等组成。进一步，图像处理部分13可以由现场可编程门阵列(FPGA)或者数字信号处理器(DSP)等组成，并且还可以被提供有视频编码器、声音编码器、用于获取上述输入信息PS的接口、用于将图像数据DVd输出到上述显示部分14等的接口。进一步，以FPGA和DSP分别地执行它们自己的任务的方式使用FPGA和DSP两者。

要从输入部分12提供到图像处理部分13的输入信息PS是指示显示模式MH和区域选择模式MS的上述设置的信息、用于切换被选择区域的指令等。进一步，指示用于切换被选择区域的指令的信息可以包括用于在预定方向中将被选择区域移动预定单位的信息、指示被选择区域的经改变的位置的信息等。输入信息PS还可以进一步包括用于改变选择区域的区域尺寸的信息、用于旋转被选择区域的信息、用于设置被选择区域的区域形状的信息等。

被选择区域不限于其中根据用户操作执行切换等的实施方式。例如，可以考虑这样的实施方式：可以如上所述地将被选择区域设置到事先指定的位置。在这种情况下，可以事先将关于该被选择区域的信息存储在ROM、未示出的外部存储设备等之中。进一步，在自动识别宽视野图像Gc中的特定区域的情况下，可以考虑这样的实施方式：将该自动识别的特定区域作为与被选择区域对应的图像区域ARs处理。例如，在自动识别移动景物的情况下，可以考虑这样的实施方式：可以自动地将包括该移动景物的区域作为图像区域ARs处理。替代地，这样的实施方式是可能的：将由未示出的各种传感器在宽视野图像Gc中检测到的图像区域作为与被选择区域对应的图像区域ARs处理。在这种情况下，传感器可以是例如温度传感器、声音传感器、压力传感器、光学传感器、湿度传感器、振动传感器、气体传感器或者各种传感器中的任何其他一种。将由这种传感器生成的传感器信号提供给处理控制部分135，然后其利用该传感器信号来切换被选择的区域或者控制相应的部分。例如，如果检测到有缺陷的温度或者声音，则通过自动切换与其中检测到该有缺陷的温度或者声音的方向对应的被选择区域，可以在检测到其畸变的条件下，将其中检测到有缺陷的温度或者声音的方向的所拾取的图像显示在显示部分14的屏幕上。进一步，通过切换显示模式、区域的尺寸或者形状等，响应于缺陷的检测，可以以用户能够容易地确认该缺陷的方式来显示图像。

应该注意，图5所示的结构仅仅是示例性的，并且图像处理部分13不限于图5所示的结构的那种，只要其具有诸如图3中所示的机制即可。例如，如果从图像拾取部分11提供来的图像数据DVa只指示宽视野图像Gc，则不需要提供图像提取处理部分131。进一步，可以将被选择区域高亮显示处理部分132放置在图像输出处理部分134的输出端，替代于放置在输入端。在这种情况中，如果基于图像数据DVa将宽视野图像包括在图像中，则将以其可以容易被用户标识的方式处理与宽视野图像中的被选择区域对应的图像区域。

图6示出了完整图像。如果不通过图像处理部分13对图像数据DVa执行畸变校正，则宽视野图像Gc变为包含通过图像拾取光学部分111生成的畸变的图像。这里，如果由处理控制部分135设置被选择区域，则被选择区域高亮显示处理部分132执行图像处理，使得如上所述那样可以容易地标识被选择区域。也就是说，可以提供边界显示(例如，框显示)以在所显示的宽视野图像Gc中指示与被选择区域对应的图像区域ARs和除了该图像区域ARs之外的区域之间的界线，或者改变除了该图像区域ARs之外的区域的亮度或者颜色以提供其中图像区域ARs被高亮的高亮图像Gs。应该注意，如果将被选择区域设置为在完整视野上，则与被选择区域对应的图像区域ARs指示完整宽视野图像Gc。

进一步，如果已经通过基于显示控制信息JH控制图像输出处理部分134的操作来设置完整图像显示模式MH1，则处理控制部分135控制图像输出处理部分134以生成图像数据DVd，通过该图像数据DVd仅仅完整图像Gcp要被显示，其中可以诸如图6中所示的那样在宽视野图像Gc中将图像区域ARs标识为高亮图像Gs。进一步，如果已经设置了被选择的图像显示模式MH2，则处理控制部分135控制图像输出处理部分134以生成图像数据DVd，通过该图像数据DVd仅仅要显示图像(下面称为“被选择区域显示图像”)Gsc，其中对图像区域ARs的图像校正通过图像拾取光学部分111生成的畸变。进一步，如果已经设置了双显示模式MH3，则处理控制部分135控制图像输出处理部分134，以生成其中如图7所示同时显示完整图像Gcp和被选择区域显示图像Gsc的显示图像的图像数据DVd。而且，如果设置多个被选择区域，则其控制图像输出处理部分134以生成其中完整图像Gcp与作为被选择区域显示图像Gsc的图像一同显示的显示图像的图像数据DVd，其中校正与这些被选择区域对应的高亮图像的畸变。这里，当如图7中所示同时显示完整图像Gcp和被选择区域显示图像Gsc时，图像输出处理部分134可以使用例如同屏显示(on screen display，OSD)技术。

随后，下面将参照图8的流程图描述处理控制部分135的操作。处理控制部分135执行显示模式和区域选择模式的初始设置以及被选择区域的设置(ST1001)。例如，当初始操作开始时，设置预先设置的显示模式或区域选择模式。而且，将被选择区域设置到预定的尺寸并且沿着视野的预定方向。进一步，当操作结束时，可以存储指示显示模式和区域选择模式的设置状态以及选择区域的设置状态的信息，然后当操作下一次开始时可以使用该信息，使得操作以之前操作结束的状态开始。

处理控制部分135确定从输入部分12提供来的输入信息PS是否是在设置等中带来变化的信息(ST1002)。如果输入信息PS是在设置等中带来变化的信息(在ST1002为“是”)，则处理控制部分135根据所获取的输入信息PS改变显示模式和区域选择模式的设置以及被选择的区域，并且控制畸变校正处理部分133的操作以对经改变的被选择区域的图像执行畸变校正处理。而且，其控制被选择区域高亮显示处理部分132，使得能够标识经改变的被选择区域的图像。进一步，其控制图像输出处理部分134的操作，使得可以生成与经改变的模式对应的图像数据DVd(ST1003)。进一步，如果所获取的输入信息PS在被选择的区域的尺寸或者形状中带来变化，其控制畸变校正处理部分133和被选择区域高亮显示处理部分132，使得可以与经改变的被选择区域对应地执行畸变校正处理和高亮显示处理。例如，如果将被选择区域设置到圆形、椭圆形、三角形、五角形或者八角形、由直线和曲线构成的形状、或者更加复杂的几何形状，则其控制畸变校正处理部分133，使得对具有这些形状中任何一个的被选择区域中所包括的图像执行畸变校正。其进一步控制被选择区域高亮显示处理部分132的操作，以提供与具有这些形状中的任何一个的被选择区域对应的高亮图像。应该注意，如果输入信息PS不带来设置或者选择上的变化(在ST1002为“否”)，则操作返回到ST1002以决定从输入部分12新提供来的输入信息PS是否带来了设置或者选择上的变化。

下面，将在其畸变被校正的条件下处理控制部分135获取输入信息PS并且获得被选择区域的图像的处理称为显影处理。

随后，将参照图9和10描述其中放置图像拾取光学部分111的状态模式。如果将视野表示为图9中所示的三维空间，则可以将被选择区域标识在球52上。应该注意，关于作为光轴的箭头OA的角度θ表示入射角。

在这种情况下，如果图像拾取光学部分111由具有例如大约180度的视角的鱼眼镜头组成，则其视野与球52的半球对应。因此，如果将图像拾取光学部分111向右上放置，如图10(A)所示，则该球的上半部提供图像拾取光学部分111的视野。应该注意，将该球的上半部的视野称为上半球视野。而且，如果将图像拾取光学部分111向右下放置，如图10(B)所示，则该球的下半部提供图像拾取光学部分111的视野。应该注意，将该球的下半部的视野称为下半球视野。进一步，如果将图像拾取光学部分111水平放置以从前端拾取图像，如图10(C)所示，则该球的前半部提供图像拾取光学部分111的视野。应该注意，将该球的前半部的视野称为前半球视野。而且，如果替代于前端从右或者左侧拾取图像，则分别获得右或者左半球视野。

在将图像拾取光学部分111向右上放置的情况下，也就是，将图像拾取光学部分111的光轴大致与垂直线对准以将拾取方向向上，这种情况假设，例如，用户可能从地面、地板或者桌子向上看。在将图像拾取光学部分111向右下放置的情况下，也就是说，将图像拾取光学部分111的光轴大致与垂直线对准以将拾取方向向下的情况下，这种情况假设，例如，用户可能从天花板或者天空向下看。在水平放置图像拾取光学部分111的情况下，这种情况假设，例如，用户从与地面垂直的墙等水平地或者平行地观看。

此外，可以考虑这样的视野：向上或向下倾斜一半。在这种方式中，沿着其中放置图像拾取光学部分111的方向(如果将图像拾取光学部分111和图像拾取元件112彼此集成则其中放置图像拾取部分11的方向)获得半球视野。应该注意，不仅在其中使用鱼眼镜头的情况中，而且在其中使用广角镜头或者镜面的情况中，视野的方向根据放置的方向变化。进一步，如果视野大，则可以选择视野的其范围的一部分，而且可以利用视野的范围的该选择的部分。

随后，下面将描述通过畸变校正处理部分133进行的畸变校正处理。作为畸变校正处理方法，也可以使用几何校正技术来使用普通的算法，该算法例如将包含畸变的二维坐标系转换为不包含畸变的二维正交坐标系。在这种情况下，可以将转换公式或者表存储在ROM或任何其他未示出的存储器中。然而，除这种畸变校正技术之外，还可以使用任何其他公知的畸变校正技术。

图11是镜头的图像高度特性的示例示意图。在图11(A)中，将在O点附近的上半球视野二维显示为在y轴方向中观看。在该图中，例如，箭头OPk指示景物方向。假设由该箭头OPk所指示的方向中所放置的景物的焦点是点Q，则从点O到焦点Q的距离提供图像高度Lh。图11(B)是示出该图像高度的特性的图。其水平轴表示角度(入射角)θ而其垂直轴表示图像高度Lh。可以事先将其数据作为转换表存储在存储器中。

图12是畸变校正处理的原理的示例示意图。如果12(A)是示出要在显示部分14上显示的图像的范围的显示面81。图12(B)示出了其中在上半球视野中关于球51设置显示面81的状态。这里，如果将被选择区域中的图像显示在显示部分14上，则在示出该显示图像的范围的显示面81与被选择的区域对应。图12(C)示出了其中将图12(B)中所示的球51投影到x-y面上，使得该球51投影到的区域与完整图像Gcp的区域对应的状态。

下面将描述例如关于上半球视野的球51设置的显示面81上的点P之类的点。假设该点P的位置是P(u，v，w)，因为OP＝(u²+v²+w²)^1/2，所以可以通过计算θ＝arccos[w/((u²+v²+w²)^1/2)]来获得角θ。应该注意，假设显示面的中心为HO。进一步，通过事先获得图像拾取光学部分111的上面图像高度特性并且存储角度θ和图像高度Lh的转换表，可以通过计算角度θ获得关于点P的图像高度Lh。

进一步，假设x-y面和从点P向x-y面画的垂直线之间的交叉点是点P’(u，v，w)，OP’＝OP×sin(θ)。因此，焦点Q(xp，yp)取这样的位置，其中xp＝u×Lh/((u²+v²+w²)^1/2×sin(θ)且yp＝v×Lh/((u²+v²+w²)^1/2×sin(θ)，因此，可以获得焦点Q(xp，yp)。

进一步，可以在获得x轴和与点P对应的x-y面上的点P’的方向之间的角

之后，从角θ和图像高度Lh中获得焦点Q的位置。这里，可以通过计算

来计算角

因此，关于x轴在角

的方向中离开点O有图像高度Lh的位置提供焦点Q。

通过从图像拾取像素112中获得因此获得的焦点Q的像素信号，基于图12D所示的像素数据在显示面81上画点P。进一步，通过对显示面81上的每个点(像素)执行相同的处理，可以在显示面81上显示由于图像拾取光学部分111导致的其畸变被校正的图像。应该注意，如果不存在与焦点Q对应的像素信号，则可以使用焦点Q附近的像素的像素信号来生成与焦点Q对应的像素信号。例如，通过焦点Q附近的像素的像素信号之间的内插等，可以生成与焦点Q对应的像素信号。

通过这样通过使用与显示面81上的每个点对应的焦点Q的像素数据来执行绘制，可以获得畸变经过校正的图像，使得处理控制部分135生成能够标识与被选择区域对应的焦点的信息，也就是说，与被选择区域对应的图像区域ARs，作为被选取区域设置信息JA。例如，处理控制部分135通过使用图12B中所示的角θ和

生成指示被选择区域的信息，作为被选择区域设置信息JA。在这种情况下，可以从与角θ和角

对应的图像高度Lh中标识与被选择区域对应的图像区域ARs，使得被选择区域高亮显示处理部分132可以生成其中与被选择区域对应的图像区域ARs被给作高亮图像Gs的完整图像Gcp的图像数据DVcp。进一步，通过基于在与被选择区域对应的显示面上指示那些像素的角θ和

获得与每个像素对应的像素数据，畸变校正处理部分133可以生成其上执行畸变校正处理的被选择区域显示图像Gsc的畸变经过校正的图像数据DVsc。进一步，即使如果将指示被选择区域的范围的坐标值用作被选择区域设置信息JA，通过执行上述计算处理等，也可以生成完整图像Gcp的图像数据DVcp和被选择区域显示图像Gsc的畸变经过校正图像数据DVsc。进一步，通过使用坐标值，即使被选择区域具有复杂的形状，也可以容易地示出被选择区域。

随后，下面将描述区域选择模式。作为区域选择模式MS，如图4所示，准备作为第一区域选择模式工作的正交坐标模式MS1和作为第二区域选择模式工作的极坐标模式MS2。

正交坐标模式MS1是这样的模式，其使得如果从与地面垂直的墙水平或者平行地观看为前半球视野，例如如图10(C)所示，则可以容易地获得需要景物的畸变经过校正的图像。具体地说，如果从输入部分12提供指示用于切换被选择的区域的指令的输入信息PS，则处理控制部分135执行计算处理以基于切换指令在正交坐标系的轴方向中移动被选择区域71，从而生成指示新设置的被选择区域的被选择区域设置信息JA。

图13是在区域选择模式中的正交坐标模式MS1中的操作的示例示意图。在正交坐标模式MS1中，根据切换指令使用正交坐标系来切换被选择区域71。切换指令例如指示切换后被选择区域的x坐标值和y坐标值，或者该被选择区域的x方向和y方向移动距离，从而在正交坐标上切换被选取的区域71。这里，如果仅仅改变了x坐标和y坐标中的一个，则被选择区域71沿着正交坐标系的轴方向移动到新位置。进一步，如果改变了x坐标和y坐标，则被选择区域71关于正交坐标系的轴方向倾斜移动到新位置。

如果通过基于切换指令在x轴方向中移动它来顺序设置被选择区域71，则在被选择区域71中的任意点(例如，中心PO)的轨迹跟随线51x。另一方面，如果通过基于切换指令在y轴方向中移动它来顺序设置被选择区域71，则在被选择区域71中的中心PO的轨迹跟随线51y。应该注意，当被选择区域71移动时，图像区域ARs也移动。

以这种方式，在正交坐标模式MS1中，通过改变正交坐标系的坐标值来切换上述被选择区域。因此，通过在提供前半球视野的情况下选择正交坐标模式MS1，可以容易地将被选择区域71根据被选择的区域切换指令设置到水平或者垂直移动的位置，使得可以将显示部分14上所显示的图像容易地切换到在想要的方向中存在的图像。例如，可以容易地选择水平排列的景物的想要的一个并且将其进行显示。

随后，下面将描述极坐标模式MS2。极坐标模式MS2是这样的模式，使得如果从地面、地板或者桌子向上观看作为上半球视野，例如如图10(A)所示，或者如果从天花板或者天空向下观看作为下半球视野等，如图10B所示，可以容易地获得在其上执行畸变校正的需要景物的图像。具体地说，如果从输入部分12提供指示用于切换被选择区域的指令的输入信息PS，则处理控制部分135执行计算处理以基于切换指令，在其中极坐标系的幅角改变的方向中移动被选择区域71，从而生成指示新设置的被选择区域的被选择区域设置信息JA。

图14是在区域选择模式中的极坐标模式MS2中的操作的示例示意图。在极坐标模式MS2中，根据切换指令使用极坐标系来切换被选择区域71。如果将视野表示为如图14所示的三维空间，例如，则切换指令指示切换后被选择区域的幅角θag和幅角

以及幅角θag的变化角或者幅角的变化角，使得可以在极坐标中切换被选择区域71。这里，如果只改变了幅角θag和幅角

中的一个，则被选择区域71在其中极坐标的幅角θag被改变的方向(下面称为“θag改变的方向)中，或者在其中极坐标的幅角

被改变的方向(下面称为“

改变的方向)中移动到新位置。进一步，如果幅角θag和幅角

被改变，则被选择区域71关于极坐标系的θag改变的方向或者改变的方向倾斜地移动到新位置。

如果通过基于切换指令在θag改变的方向中移动选择区域71来顺序设置它，则在被选择区域71中的任意点(例如，中心PO)的轨迹跟随线51r。另一方面，如果通过基于切换指令在

改变的方向中移动选择区域71来顺序设置它，则在被选择区域71中的中心PO的轨迹跟随线51s。应该注意，当被选择区域71移动时，图像区域ARs也移动。

进一步，如果使用在二维空间中表示的图像来表示视野，则其后指令指示例如切换后被选择区域的幅角

和移动半径或者幅角的变化角或者移动半径的变化，从而也在使用二维空间表示视野的情况下在极坐标中切换被选择的区域71。

以这种方式，在极坐标模式MS2中，通过改变极坐标系的幅角和/或移动半径来切换被选择区域。因此，通过在提供上或下半球视野的情况下选择极坐标模式MS2，可以将被选择的区域71容易地设置到通过根据被选择区域切换指令在幅角改变的方向中移动而到达的位置，使得可以将在显示部分14上显示的图像容易地切换到在需要方向中存在的图像。例如，可以容易地选择在图像拾取光学部分111周围排列的景物中想要的一个并且将其进行显示。

图15示出了当用户使用输入部分12操作被选择区域时所显示的图形用户界面(GUI)的一个例子。可以将图15(A)和15(B)中示出的操作输入屏幕Gu与已经在图7中示出的完整图像Gcp和被选择区域显示图像Gsc一同显示在显示部分14上。替代地，可以将操作输入屏幕Gu和完整图像Gcp等在不同的显示部分上分开显示。进一步，可以在例如显示部分12上提供与在其上显示完整图像Gcp和被选择区域显示图像Gsc的显示部分14分离的显示部分，这样在该显示部分上提供GUI显示。操作输入屏幕Gu被提供有方向按钮组Gua或者方向按钮组Gub，“放大”按钮Guc1，和“缩小”按钮Guc2。在图15(A)中，作为方向按钮组Gua，例如，有中间的“选择”按钮Gua1和在其周围的诸如“上”、“下”、“左”和“右”之类的其他方向按钮Gua2。进一步，在图15(B)中，作为方向按钮组Gub，例如，有中间的“选择”按钮Gub1和在其周围的诸如“北”和“SE(东南)”之类的其他方位按钮Gub2。

图16是当选择正交坐标模式MS1时指令切换被选择区域的情况的示例示意图。在该例子中，描述了其中使用双显示模式MH3作为显示模式MH的情况。进一步，在下面的描述中，使用其中用户在观看图15(A)中所示的操作输入屏幕Gu等时执行操作的例子。

假设在图16(A)所示的状态中用户通过使用鼠标或者键盘等按下方向按钮Gua2中的“左”按钮一次或者连续多次。应该注意，“连续按下”指的是其中如果按钮被按下一次则被保持按住不释放的状态，即“连续按下”。

如果以这种方式按下“右”按钮，根据通过输入部分12输入的对应输入信息PS，在图像处理部分13中的处理控制部分135在与正交坐标模式MS1对应的方向中对被选择区域执行切换处理，从而生成指示新设置的被选择区域的被选择区域设置信息JA。进一步，处理控制部分135将所生成的被选择区域设置信息JA提供给被选择区域高亮显示处理部分132以改变高亮显示区域，使得高亮图像Gs可以显示与新设置的被选择区域对应的图像区域ARs。而且，处理控制部分135将所生成的被选择区域设置信息JA提供给畸变校正处理部分133，以提供与新设置的被选择区域对应的图像区域ARs的图像，作为其中通过图像拾取光学部分111生成的畸变被校正的被选择区域显示图像Gsc。

进一步，图像输出处理部分134根据显示模式生成包括被选择区域显示图像Gsc的显示图像的图像数据DVd，并且将其提供给显示部分14。

因此，在显示部分14中，如果图16(B)所示，显示其中被选择区域向右移动的图像。而且在完整图像Gcp中，更新高亮图像Gs的位置。进一步，如果多次或者连续按下“右”按钮，则处理控制部分135根据“右”按键被操作的次数或者其被按住的时间段为被选择的区域设置移动距离。以这种方式，处理控制部分135在正交坐标系中执行显影处理，以在显示部分14上显示被选择区域显示图像。

进一步，如果由用户按下“上”按钮，根据对应的输入信息PS，处理控制部分135对被选择的区域执行切换处理，以使得显示部分14显示当切换被选择区域时移动的图像区域ARs的高亮图像Gs，作为其中通过图像拾取光学部分111生成的畸变被校正的被选择区域显示图像Gsc。

可以以不同的方式利用图15(A)和15(B)中的相应“选择”按钮Gua1和Gub1。例如，它们可以被用作记录开始按钮以记录当前图像区域ARs中的被选择区域显示图像Gsc。进一步，在不将图像区域ARs显示为高亮图像Gs的情况下，它们可以被用作区域选择操作开始按钮来开始区域选择操作，使得用户在该图像区域ARs被显示为高亮图像Gs的条件下可以选择区域。替代地，它们可以被用作显示模式MH的切换按钮或者各种其他确定按钮中的任何一个。

进一步，在预定方向中适当地设置图像拾取部分11上的参考位置的情况下，例如，在向北的方向上，如果处理控制部分135确定方向按钮Gu2中的“东”按钮被操作，则处理控制部分135在“东”方向中新设置被选择的区域，从而更新被选择区域显示图像Gsc。进一步，如果处理控制部分135确定“西”按钮被操作，则其在“西”方向中新设置被选择区域，从而更新被选择区域显示图像Gsc。以这种方式，通过操作指示想要的方向的按钮，可以将已经把被选择区域设置到想要的新位置的图像显示在显示部分14上，而不生成畸变。

应该注意，图15(A)和15(B)中所示的GUI显示只是示例性的，当然不限于此。

图17示出了当如果例如选择了正交坐标模式则顺序切换显示模式时在显示部分14上显示的显示图像。图17(A)示出了在设置完整图像显示模式MH 1，只显示完整图像Gcp的情况下的显示图像。图17(B)示出了在设置被选图像显示模式MH2只显示被选择区域显示图像Gsc的情况下的显示图像。图17(C)示出了在设置双显示模式MH3显示完整图像Gcp和被选择区域显示图像Gsc的情况下的显示图像。进一步，如果彼此顺序切换那些显示模式，则循环切换完整图像显示模式MH1、被选图像显示模式MH2和双显示模式MH3。

图18示出了当选择极坐标模式MS2时在显示部分14上显示的显示图像。进一步，图18示出了其中提供两个被选择区域的情况。应该注意，被选择区域的数量不限于一个或者两个，而是可以由用户任意设置。例如，可以在每次操作图15(A)或者15(B)中所示的“菜单”按钮Guc3或者其他未示出的任何GUI显示被使用时将该数量增加。在这种情况下，处理控制部分135根据来自输入部分12的输入信息PS执行处理，以提供多个被选择区域。替代地，与来自输入部分12的输入信息PS无关地，之前可以在设置中提供多个预定的被选择区域。进一步，如果设置分离显示模式MH4，则根据来自输入部分12的输入信息PS，处理控制部分135可以独立生成被选择区域的被选择区域显示图像，并且将它们同时显示在显示部分14上。

现在，下面将假设极坐标模式MS2的描述。为了简化描述，在图18中假设机器人可以通过非常小以致人不能进入的管道的状态。进一步，假设该机器人装配有由例如广角镜头组成的图像拾取光学部分111。进一步，假设管道具有在其内壁91的上部形成的裂缝92。被选择区域显示图像Gsc1是第一被选择区域图像。也就是说，其是其中对与第一被选择区域对应的图像区域ARs1的高亮图像Gs 1执行畸变校正处理的图像。进一步，被选择区域显示图像Gsc2是其中对与第二被选择区域对应的图像区域ARs2的高亮图像Gs2执行畸变校正处理的图像。

在图18(A)的状态中，如果从输入部分12提供来的输入信息PS是用于在图14中所示的极坐标系的改变的方向中切换被选择区域的切换指令，例如，处理控制部分135执行处理以根据切换指令在

改变的方向中切换被选择区域，并且将指示处理后被选择区域的被选择区域设置信息JA提供给被选择区域高亮显示处理部分132和畸变校正处理部分133。选择区域高亮显示处理部分132基于被选择区域设置信息JA显示与处理后被选择区域对应的高亮图像Gs1和Gs2。基于被选择区域设置信息JA，在通过图像拾取光学部分111生成的畸变被校正的条件下，畸变校正处理部分133校正与处理后被选择区域对应的图像区域ARs1和ARs2的图像成为被选择区域显示图像Gsc1和Gsc2。因此，如图18(B)所示，在发出切换指令之后的显示图像是发出切换指令之后的被选择区域的图像，其将被显示作为被选择区域显示图像Gsc1和Gsc2。进一步，高亮图像Gs 1和Gs2适当地指示被选择区域显示图像Gsc1和Gsc2的区域。在这种情况下，已经在完整图像Gcp上逆时针方向移动图像区域ARs1和ARs2，而如果切换指令是相反方向的，则已经被在顺时针方向上移动。

进一步，在图18(A)的状态中，如果来自输入部分12的输入信息PS是用于在图14所示的极坐标系的θag改变的方向中切换被选择区域的切换指令，例如，处理控制部分135根据切换指令执行处理以在θag改变的方向中切换被选择区域，并且将指示处理后被选择区域的被选择区域设置信息JA提供给被选择区域高亮显示处理部分132和畸变校正处理部分133。被选择区域高亮显示处理部分132基于被选择区域设置信息JA显示与处理后被选择区域对应的高亮图像Gs1和Gs2。基于被选择区域设置信息JA，在通过图像拾取光学部分111生成的畸变被校正的情况下，畸变校正处理部分133将与处理后被选择区域对应的图像区域ARs1和ARs2的图像校正为被选择区域显示图像Gsc1和Gsc2。因此，如图19所示，在发出切换指令之后显示图像是在发出切换指令后的被选择区域的图像，将其显示为被选择区域显示图像Gsc1和Gsc2。进一步，高亮图像Gs1和Gs2适当地指示被选择区域显示图像Gsc1和Gsc2的区域。在这种情况下，已经在完整图像Gcp上径向地将图像区域ARs1和ARs2彼此移动靠得更近，而且如果切换指令是相反方向的，则已经在完整图像Gcp上彼此移动离开更远。

应该注意，在极坐标模式MS2中，例如，可以使用鼠标、键盘、触摸传感器等来切换被选择区域，在这种情况下GUI可以是任何形式。

在极坐标模式MS2中，例如，关于图18(A)中所示的显示图像的状态，如图20所示，可以根据从输入部分12获取的输入信息PS，在其被向下旋转180度的情况下将显示部分14的下部上的被选择区域显示图像Gsc1进行显示，而在其被向上旋转180度的情况下将显示部分14的上部上的被选择区域显示图像Gsc2进行显示。以这种方式，用户可以方便地在容易观看的角度观看图像。

当然，仍然在上述的正交坐标模式MS1中，提供多个被选择区域，使得可以对应显示分割显示模式MH4，替代地，在正交坐标模式MS1和极坐标模式MS2中，即使如果提供多个被选择区域，图像处理部分13也替代于生成一个屏幕的组合的畸变经校正的图像，而生成一个被选择区域的被选择区域显示图像，并且将其输出到显示部分14。在这种情况下，由图像处理部分13中的处理控制部分135，根据来自输入部分12的输入信息PS或者预定的设置信息，来控制是否输出在一个屏幕上显示该一个被选择区域的被选择区域显示图像的图像数据或者是否生成多个被选择区域的被选择区域显示图像并且将那些被选择区域显示图像显示在一个屏幕上。

在极坐标模式MS2中，例如，每次用户操作“菜单”按钮Guc3时，处理控制部分135与正交坐标模式MS1类似地切换显示模式MH。进一步，如果提供多个被选择区域，则可以选择分割显示模式MH4。

图21是示出在使能分割显示模式MH4的选择的情况下显示模式的改变转换的示意图。这里假设提供四个被选择区域。例如，在显示中，可以切换其中在双显示模式MH3中显示一个被选择区域经校正图像的模式(图21(A))、其中在双显示模式MH3中其被上下翻转的条件下显示一个被选择区域显示图像的模式(图21(B))、其中在分割显示模式MH4中显示两个被选择区域经校正图像的模式(图21C)、其中在分割显示模式MH4中将它们上下翻转的条件下显示其中显示两个被选择区域经校正图像的图像的模式(图21(D))、其中在分割显示模式MH4中显示四个被选择区域经校正图像的模式(图21(E))、以及其中在分割显示模式MH4中将它们上下翻转的条件下显示其中显示四个被选择区域经校正图像的图像的模式(图21(F))。应该注意，由于在图21中不是所有的被选择区域经校正图像都被显示，所以可以切换要被显示的被选择区域经校正图像。应该注意，当然允许使能切换到完整图像显示模式MH1和被选图像显示模式MH2。

以这种方式，根据本实施方式，由于例如通过根据视野的方向切换区域选择模式将正交坐标模式MS1和极坐标模式MS2提供为区域选择模式，所以可以执行直观和容易理解的操作，并且实现图像处理设备对用户方便和容易使用。

除了上述处理之外，图像处理部分13还可以执行处理以放大或者缩小以及旋转被选择区域显示图像。

下面将参照图22描述用于放大/缩小被选择区域显示图像的处理。在图22(A)所示的状态中，例如，用户操作图15(A)和15(B)中所示的“放大”按钮Guc1。然后，处理控制部分135执行处理以根据当前输入信息PS缩小被选择区域的范围，并且将指示处理后被选择区域的被选择区域设置信息JA提供给被选择区域高亮显示处理部分132和畸变校正处理部分133。被选择区域高亮显示处理部分132基于被选择区域设置信息JA，显示与处理后被选择区域对应的高亮图像Gs1和Gs2。畸变校正处理部分133执行校正处理，以将与处理后被选择区域对应的图像区域ARs1和ARs2的图像校正为被选择区域显示图像Gsc1和Gsc2，在Gsc1和Gsc2中，基于被选择区域设置信息JA校正通过图像拾取光学部分111生成的畸变。这里，如果如图22(A)所示提供双显示模式MH3，则如图22B中所示，除了完整图像Gcp的显示区域以外，将与经缩小的被选择区域对应的被选择区域显示图像Gsc显示在完整屏幕上，使得显示缩小后的显示图像以与图22A相比较放大在图像区域ARs中包括的人图像GM。应该注意，由于将被选择区域缩小，所以在完整图像Gcp中的图像区域ARs变得更小。

相反，如果用户操作“缩小”按钮Guc2，则处理控制部分135执行处理以根据当前输入信息PS缩小被选择区域的范围，并且将指示处理后选择区域的被选择区域设置信息JA提供给被选择区域高亮显示处理部分132和畸变校正处理部分133。因此，与放大被选择区域对应的图像区域ARs的高亮图像Gs使得其畸变被校正，并且被在除了完整图像Gcp的显示区域的完整屏幕上显示为被选择区域显示图像，使得显示在图像区域ARs中所包括的人图像GM与图22A相比较减小。以这种方式，可以执行放大/缩小处理。

随后，下面将参照图23和24描述其中由图像处理部分13转转被选择区域的图像并且将其进行显示的情况。图23(A)和23(B)示出在指令“旋转”操作之前的状态，其中图23(A)示出了其中以这样的方式设置被选择区域的情况：例如将完整图像Gcp中的人图像GM包括在图像区域ARs中。另一方面，图23(B)示出了被选择区域显示图像Gsc，其是通过对图像区域ARs的高亮图像Gs执行畸变校正处理获得的图像。如果用户发出“旋转”操作指令，如图24(A)所示，则处理控制部分135对被选择区域执行改变处理，使得其可以根据输入信息PS绕着图像区域ARs的大致中点旋转。在这种情况下，在与改变后被选择区域对应的图像区域ARs中，以反方向旋转人图像GM。因此，通过为与改变后被选择区域对应的图像区域ARs的高亮图像Gs生成被选择区域显示图像Gsc，可以获得其中在与被选择区域的旋转方向相反的旋转方向中旋转人图像GM的图像，如图24(B)所示。通过这种旋转处理，用户可以以容易观看的角度方便地观看观察对象。

进一步，替代于旋转被选择区域，可以旋转完整图像Gcp。例如，从如图25(A)所示的其中随着轴在正交坐标模式MS 1中移动x轴(摇动(pan)轴)变为水平方向而y轴(俯仰(tilt)轴)变为垂直方向的状态，例如，将完整图像Gcp与这些x轴和y轴一起逆时针方向旋转，高亮图像Gs也是如此，如图25(B)所示。在这种情况下，没有在被提供到显示部分14的被选择区域显示图像Gsc中导致的变化。因此可以在上述旋转方向中校正照相机放置角的倾斜，或者故意旋转完整图像Gcp并且将其作为特殊效果在完整图像显示模式MH1中显示。

图26是示出根据本发明另一种实施方式的图像处理系统的构成的框图。下面，将简化或者省略与图1中所示的图像处理系统10的那些类似的装置、功能等的描述，以集中在不同方面。

图像处理系统20具有这样的结构以将存储设备21添加到图1所示的图像处理系统10中。存储设备21是用于存储例如由图像拾取部分11生成的图像数据DVa和由图像处理部分13生成的各种图像数据的设备。作为在存储设备21中使用的存储装置，可以使用诸如光盘、磁盘、半导体存储器、介电存储器、类似磁带的存储介质之类的可以存储图像数据的存储装置。

如果例如将图像数据DVa存储在存储设备21中，则图像处理部分13可以根据来自输入部分12的输入信息PS从存储设备21读取用户想要的图像数据DVa，并且将其显示在显示部分14上。具体地说，可以根据基于用户操作的输入信息PS来考虑这方面，图像处理部分13可以读取在存储设备21中所存储的过去的宽视野图像Gc的图像数据DVa，为该读取的图像数据DVa所代表的视野设置被选择区域，以及在显示部分14上显示被选择区域显示图像，其是其中将该被选择区域的畸变校正的图像。替代地，可以与用户无关地考虑这这个方面，图像处理部分13可以对在存储设备21中所存储的过去的宽视野图像中预定的被选择区域的图像执行畸变校正处理，并且将其显示在显示部分14上。

在这种情况下，作为具体例子，可以考虑下面方面。例如，假设用户从图像拾取部分11中选择实时获得的宽视野图像中的被选择区域，并且实时观看完整图像Gcp和被选择区域显示图像Gsc或者将它们存储在存储设备21中。然后，用户还可以选择与实时选择的上述区域不同的区域，并且在观看所存储的完整图像Gcp的同时观看其被选择的区域显示图像Gsc。

替代地，替代于将完整图像Gcp的图像数据存储在存储设备21中，图像处理部分13还可以只存储被选择区域显示图像Gsc的图像数据。在这种情况下，用户可以以后观看该被选择区域显示图像Gsc。当然，其可以存储指示完整图像Gcp和被选择区域显示图像Gsc两者的图像数据或者这些图像的每一个的图像数据。

替代地，图像处理部分13还可以执行图27中所示的流程图的处理。图像处理部分13从图像拾取部分11获取实时宽视野图像(ST2401)，而且还获取在存储设备21中存储的过去的宽视野图像或过去的被选择区域显示图像(ST2402)。图像处理部分13可以执行处理以将这样获得的宽视野图像和过去的宽视野图像或者过去的被选择区域显示图像组合为一个屏幕图像数据(ST2403)，并且将组合的图像数据输出到显示部分14(ST2404)。替代地，图像处理部分13可以在不同的显示部分14上显示所获取的宽视野图像和过去的宽视野图像或者过去被选择区域显示图像。应该注意，可以考虑这样的方面，即可以在顺序上将ST2401和ST2402颠倒。

替代地，可以考虑这样的方面，即图像处理部分13可以输出通过使用畸变校正处理获得的被选择区域显示图像Gsc(其可以是从实时宽视野图像中实时生成的图像或者从在存储设备中所存储的过去宽视野图像中实时生成的图像)和过去被选择区域显示图像两者。具体地说，如图28中所示，图像处理部分13从图像拾取部分11实时获取宽视野图像或者从存储设备21获取过去的宽视野图像(ST2501)。进一步，图像处理部分13获取在存储设备21中所存储的过去的被选择区域显示图像(ST2502)。图像处理部分13对在ST2501中获取的上述宽视野图像中的被选择区域的图像执行畸变校正处理(ST2503)。图像处理部分13执行处理以将由该畸变校正处理生成的被选择区域显示图像和在ST2502获取的被选择区域显示图像组合为一个屏幕图像数据(ST2504)，并且将其作为被选择区域显示图像Gsc输出到显示部分14(ST2505)。应该注意，可以考虑这样的方面，即可以在顺序上将ST2501和ST2502颠倒或者在顺序上将ST2502和ST2503颠倒。

在图28中所示的处理的情况中，进一步，图像处理部分13还可以用这样的方式输出通过在ST2503执行畸变校正处理获得的被选择区域显示图像(下面称为实时被选择区域显示图像)和过去被选择区域显示图像，即人可以在显示部分上区分它们。具体地说，可以考虑例如图像处理部分13生成其中将标识符适配到实时被选择区域显示图像和过去被选择区域显示图像中的至少一个中的图像，或者生成将这些图像两者都包括的框使得可以生成具有该框的改变的颜色的图像。

应该注意，如果在存储设备21中所存储的图像数据是运动图像，则可以根据其存储容量将特定容量的运动图像数据存储在存储设备21中，使得可以随后自动地擦除最近图像帧。

进一步，可以考虑使用存储设备21的下面方面。例如，用户执行操作以设置实时宽视野图像或者基于在任意时间从存储设备21读取的图像数据的宽视野图像中的被选择区域，而且对应于该操作，图像处理部分13然后仅仅将指示如何设置被选择区域的位置信息存储在存储设备21中。进一步，如果在上述区域选择模式MS中切换被选择区域，则图像处理部分13可以在存储设备21中存储使得其可以再现被选择区域的切换的轨迹信息。图29是示出用于存储位置信息或者轨迹信息的处理的流程图。图像处理部分13获取输入信息，在从图像拾取部分11中实时获取的宽视野图像或者基于从存储设备21读取的图像数据的宽视野图像中设置被选择区域时被使用该输入信息(ST2601)。在图像处理部分13中的处理控制部分135根据输入信息生成该被选择区域的位置信息，如果对被选择区域执行切换操作，生成使得其可以再现被选择区域的切换的轨迹信息(ST2602)。在图像处理部分13中的处理控制部分135将所生成的位置信息或者轨迹信息存储在存储设备21中(ST2603)。

在其中需要预定范围的图像或者由于例如特定位置中的范围中的轨迹导致的图像的情况中这个方面是有效的。例如，在其中如果将图像拾取部分11安装在固定点安全照相机的情况中，可以考虑需要预定范围的图像或者宽视野图像中的范围中的轨迹的图像。在这种情况下，通过设置与宽视野图像中预定范围对应的被选择区域或者预定范围的轨迹，用户总可以监视该范围的被选择区域显示图像或者作为显示图像的其在显示部分14上的轨迹。在这个方面中，例如，在存储设备21存储预定范围的“轨迹”的被选择区域显示图像的情况下，可以周期性地重复自动地从其开始点到其结束点的被选择区域的连续移动。进一步，可以将用于每个周期的图像存储在存储设备21中。应该注意，当然，本方面不限于安全目的。

要确定，上述预定范围图像可以是静止图像或者运动图像。特定范围的轨迹的图像还可以是沿着该轨迹的位置上的静止图像，并且可以被作为覆盖从该轨迹的开始点到结束点的运动图像存储。在这种情况下，图像处理部分13可以执行处理以输出畸变校正后的图像以及静止图像。

图30是作为使用存储设备21的方面如上所述设置预定范围的这种轨迹的方法的说明图。

用户将被选择区域设置到宽视野图像以切换被选择区域的位置。具体地说，这通过重复操作来实现，使得确定例如操作图15(A)和15(B)中所示的方向按钮Gua2和方位位置按钮Gub2的哪一个，以及被选择区域在所操作的按钮所指示的方向上移动；在图像处理系统20的内部处理中，如图29的ST2602和ST2603所示，图像处理部分13根据指示“选择”按钮Gua1和Gub1的操作的输入信息，将当前被选择区域的位置信息存储在存储设备21中。例如，如果当与被选择区域对应的图像区域ARs位于宽视野图像Gc上的位置时操作“选择”按钮Gua1或者Gub1，则其在此时间点存储被选择区域的位置信息。进一步，如果当切换被选择区域以及与切换后被选择区域对应的图像区域ARs位于宽视野图像Gc上的位置b时操作“选择”按钮Gua1或者Gub1，则其在该时间点上存储被选择区域的位置信息。类似地，当与被选择区域对应的图像区域ARs位于宽视野图像Gc的位置c和d时，在该时间点存储被选择区域的位置信息。

替代地，即使如果用户不操作方向按钮Gua2或者方位按钮Gub2，也可以已经使用事先的程序设置了轨迹，或者可以已经通过上述各种传感器的使用的自动识别生成了轨迹。在这种情况下，轨迹可以是这样的，使得可以将被选择区域进行设置以将图像区域ARs设置到诸如图30中的位置a、b、c和d之类的分立点，或者使得可以从点a到d连续设置被选择区域。替代地，如果用户已经设置了位置a、b、c和d的分立点，则图像处理部分13可以具有安装在其中的这样的程序以设置被选择区域，使得将图像区域ARs设置到用于内插位置a、b、c和d的点的位置。

替代地，可以事先提供多个轨迹信息，使得用户可以选择它们中的任何一个。

图31是示出根据本发明的进一步实施方式的图像处理系统的构成的框图。该图像处理系统30被提供有存储设备21，而不是上述图像拾取部分11。在存储部分21中，例如，如上所述那样事先存储宽视野图像。这种构成使得图像处理部分13能够读取宽视野图像的图像数据DVm，并且通过执行显影处理从该宽视野图像中获得被选择区域显示图像。

此外，在图像处理系统30中，图像处理部分13可以通过从基于在事先存储在存储设备21中的数据的宽视野图像中通过显影处理获取被选择区域显示图像，并且在那些宽视野图像和被选择区域显示图像彼此相关的条件下将它们存储在存储设备21中。替代地，图像处理部分13还可以存储基于事先存储的图像数据的宽视野图像，以及指示要在它们彼此相关的条件下从存储设备21中的宽视野图像中对其执行显影处理的被选择区域的信息。

本发明不限于上述实施方式，而是可以进行各种变型。

还可以替代地每经过预定时间在显示部分14上显示完整图像Gcp和被显示在显示部分14上的被选择区域显示图像Gsc。在这种情况中，响应于用户的任何输入操作，可以显示完整图像Gcp和被选择区域显示图像Gsc两者。

在图1和26中，可以将图像拾取部分11中的图像拾取元件112、输入部分12、图像处理部分13、显示部分14、存储设备21等通过因特网、局域网(LAN)或者诸如专线之类的其他网络彼此连接。

可以在诸如安全系统、电话会议系统、用于检测、管理、和测试机器和设置的系统、道路交通系统、使用移动照相机(例如，用于从移动的车辆、飞机或者任何其他可移动景物拍摄的照相机)的系统、婴儿照顾(nursing-care)系统、医疗系统之类的各种领域中应用根据上述实施方式的图像处理系统。

还可以实现将图26和31分别示出的实施方式组合的图像处理系统。也就是说，可以实现这样的系统以包括在其前端(stage)和后端的每一个上都包括存储设备。

随后，下面将描述本发明的再一个实施方式。在本实施方式中，在图像处理部分13中的处理控制部分135可以根据其中安装图像拾取部分11的安装方向(安装角度)来切换区域选择模式MS。下面将描述在这种情况中的图像处理系统40的构成和操作。

图32是示出根据本发明再一种实施方式的图像处理系统的构成的框图。如图32所示，在该实施方式中，在图1中所示的图像处理系统10的元件之外，图像处理系统40还包括方向检测传感器，例如，检测其中使得光学图像入射到图像拾取光学部分111上的方向的陀螺传感器41。

固定到图像拾取光学部分111的陀螺传感器41检测其中使得光学图像入射到图像拾取光学部分111上的方向，并且将指示方向检测的结果的传感器信号ES提供给图像处理部分13中的处理控制部分135。应该注意，下面的描述基于这样的假设，即图像拾取光学部分111、图像拾取元件112和陀螺传感器41都集成到图像拾取部分11中。

图33是用于根据其中在本实施方式中放置图像拾取部分11的方向切换区域选择模式MS的方式的概念示意图。

如图33所示，可以将其中放置图像拾取部分11的状态大致分为三种情况：如上面图10中所示，将其放置在地面、地板、桌子等上以拾取想要的景物MH的情况(图33(A)的上半球视野)，将其放置在与地面垂直的墙上以拾取景物MH的情况(图33(B)的前半球视野)，以及将其放置在天花板或者天空中以拾取景物MH的情况(图33(C)的下半球视野)。

因此，在图像处理部分13中的处理控制部分135自动根据基于来自方向检测传感器的传感器信号确定的关于图像拾取部分11的垂直方向中的角度来设置或切换区域选择模式MS。

具体地说，如果图像拾取部分11在上或下半球视野中，则将区域选择模式MS切换到极坐标模式MS2，而且如果其在前半球视野，则将区域选择模式MS切换到正交坐标模式MS1。通过这样切换模式，如果图像拾取部分11在上或者下半球视野中，则可以容易和平均地比宽视野图像Gc的中心处的景物本身更多地观察该景物的周围。进一步，如果图像拾取部分11处于前半球视野中，通过设置正交坐标模式MS1，可以容易在宽视野图像Gc的中心详细观察景物的情况下还观察该景物的上下方向和左右方向。

应该注意，在本实施方式中，将如图33(A)所示的其中将图像拾取部分11放置在上半球视野并且将区域选择模式MS切换到极坐标模式MS2的状态称为S₀，将其中如图33(B)所示将图像拾取部分11放置在前半球视野并且将区域选择模式MS切换到正交坐标模式MS1的状态称为S₁，而将其中如图33(C)所示将图像拾取部分11放置在下半球视野并且将区域选择模式MS切换到极坐标模式MS2的状态称为S₂。

图34是用于切换状态S₀、S₁和S₂的设置阈值的方法的说明示意图。如图34所示，在本实施方式中，例如，假设图像拾取部分11在上半球视野的状态为参考位置(Ψ＝0度)，首先，使用两个阈值(Ψ1，Ψ2)宽视野图像拾取部分11的安装角度是否超过阈值Ψ1或者Ψ2，来确定上述三种状态S0、S1和S2中的任何一个，而且基于决定结果，设置区域选择模式MS。进一步，如果图像拾取目标11的安装角度在已经设置了区域选择模式MS之后被改变，则当那些状态彼此切换时使用除了上述阈值Ψ1和Ψ2之外的阈值给出滞后。

具体地说，如图34(A)所示，将例如阈值Ψ1的±10度范围中的值设置为除了阈值Ψ1和Ψ2之外的新阈值Ψ3和Ψ4，而将例如阈值Ψ2的±10度范围中的值设置为的新阈值Ψ5和Ψ6。如图34(B)所示，当状态从状态S₀向S₁切换时阈值Ψ3是阈值，而当状态从S₁向S₀切换时阈值Ψ4是阈值。进一步，阈值Ψ5是当状态从S₁向S₂切换时的阈值，而阈值Ψ6是状态从S₂向S₁切换时的阈值。包括阈值Ψ1和Ψ2的这些阈值的大小关系变为如图34(B)所示的Ψ4＜Ψ1＜Ψ3＜Ψ6＜Ψ2＜Ψ5。应该注意，虽然例如阈值Ψ1是45度而阈值Ψ2是135度，但是它们不限于那些值。进一步，虽然上述阈值Ψ3、Ψ4、Ψ5和Ψ6不限于上述±10度的范围，但是它们可以在±5度范围、±15度范围等中，而且进一步，可以将它们进行设置使得阈值Ψ1与阈值Ψ3和Ψ4之间的差具有不同的绝对值，或者阈值Ψ2与阈值Ψ5和Ψ6之间的差具有不同的绝对值。

随后，下面将描述在本实施方式中彼此切换上述状态S₀、S₁和S₂的操作。图35是其中图像处理系统40将状态S₀、S₁和S₂彼此切换的情况中的操作的流程图。

如图35所示，首先，将图像拾取部分11置于上述参考位置(Ψ＝0度)。图像处理部分13中的处理控制部分135获取在此时陀螺传感器14的测量结果(ST3201)。随后，将图像拾取部分11放置到想要的位置。处理控制部分135此时获取陀螺传感器41的测量结果，并且根据在ST3201获取的该测量结果确定现在角Ψp(ST3202)。

随后，处理控制部分135确定现在角Ψp是否等于或者小于阈值Ψ1(ST3203)。如果Ψp≤Ψ1(是)，则处理控制部分135确定上述状态S₀被设置并且将区域选择模式MS设置到上半球视野的极坐标模式MS2(ST3204)。

如果在上述步骤ST3203中Ψp＞Ψ1(否)，则处理控制部分135进一步确定现在角Ψp是否等于或小于阈值Ψ2(ST3207)。如果Ψp≤Ψ2(是)，则处理控制部分135确定上述状态S₁被设置，并且将区域选择模式MS设置到前半球视野的正交坐标模式MS1(ST3208)。

如果在上述步骤ST3207中Ψp＞Ψ2(否)，则处理控制部分135确定上述状态S₂被设置，并且将区域选择模式MS设置到下半球视野的极坐标模式MS2(ST3212)。

在ST3204将区域选择模式MS设置到极坐标模式MS2之后，处理控制部分135再次从陀螺传感器41读取现在角Ψp(ST3205)，并且确定现在角Ψp是否等于或者大于阈值Ψ3(ST3206)。如果Ψp≥Ψ3(是)，则处理控制部分135确定已经将图像拾取部分11改变到上述状态S₁，并且将区域选择模式MS设置到正交坐标模式MS1(ST3208)。如果Ψp＜Ψ3(否)，则处理控制部分135维持极坐标模式MS2的状态(ST3204)。

在ST3208将区域选择模式MS设置到正交坐标模式MS1之后，处理控制部分135再次从陀螺传感器41读取现在角Ψp(ST3209)，并且确定现在角Ψp是否等于或者小于阈值Ψ4(ST3210)。如果Ψp≥Ψ4(是)，则处理控制部分135确定图像拾取部分已经改变到上述状态S₀，而且将区域选择模式MS设置到极坐标模式MS2(ST3204)。

如果在ST3210Ψp＞Ψ4(否)，则处理控制部分135进一步确定上述现在角Ψp是否等于或者大约阈值Ψ5(ST3211)。如果Ψp≥Ψ5(是)，则处理控制部分135确定图像拾取部分11已经改变到上述状态S₂，并且将区域选择模式MS设置到极坐标模式MS(ST3212)。如果Ψp＜Ψ5(否)，则处理控制部分135维持正交坐标模式MS1的状态(ST3208)。

在ST3212将区域选择模式MS设置到极坐标模式MS2之后，处理控制部分135从陀螺传感器41再次读取现在角Ψp(ST3213)，并且确定现在角Ψp是否等于或者小于阈值Ψ6(ST3214)。如果Ψp＜Ψ6(是)，则处理控制部分135确定图像拾取部分11已经改变到上述状态S₁，并且将区域选择模式MS设置到正交坐标模式MS1(ST3208)。

如果在ST3214Ψp≥Ψ1(是)，则处理控制部分135维持极坐标模式MS2的状态(ST3212)。

以这种方式，通过重复上面处理，处理控制部分135自动根据图像拾取部分11的安装角来切换区域选择模式MS。

这里，下面将描述用于在状态S₀和S₂中设置到极坐标模式MS2或者在状态S₁中设置到正交坐标模式MS1情况中用于计算坐标，以及在每种模式中显示被选择区域显示图像Gsc的方法。图36、37、38和39是关于这种坐标计算方法的图。

首先，如果图36(A)中所示，在上述极坐标模式MS2(上半球视野)中，假设显示面81的摇动角(绕着z轴旋转)和俯仰角(绕着x轴或者y轴旋转)分别是H(x轴方向为0度)和V(x轴方向为0度)。

随后，在正交坐标模式MS1中，极坐标模式MS2中对着其将视野的方向俯仰90度，使得图36(A)中所示的坐标轴交换以转换上述摇动值和俯仰值。

具体地说，如图36(B)中所示，图36(A)的相应轴，即将x轴、y轴和z轴分别与y轴、z轴和x轴的旋转角交换，而且图36(A)中的摇动角(H)和俯仰角(V)分别是摇动角(h)和俯仰角(v)。在这种情况下，指示作为与要被显示在显示部分14上的图像对应的区域的被选择区域的设置方向的方向矢量[D]，通过在每个坐标系中旋转x轴单位矢量而在图37中示出的矩阵中获得。这样，如下获得上述旋转后摇动角(h)和俯仰角(v)的每一个的正弦值和余弦值：

sin(v)＝-cos(H)cos(V)

cos(v)＝(1-sin(v)²)^1/2

sin(h)＝cos(H)cos(V)/cos(v)

cos(h)＝-sin(v)/cos(v)

应该注意，在极坐标模式MS2中h＝H而v＝V。

另一方面，如果将诸如视频图形阵列(VGA)之类的固定像素的输出用作显示部分14，则将把与该输出匹配的显示面[a]的坐标描述如下：

[a]＝[a00＝(0，0)，a01＝(r，0)，...a10＝(0，q)，a11＝(r，q)，a12＝(2r，q)，amn＝(nr，mq)，...aMN＝(Nr，Mq)]

假设显示面[a]是三维面[P0]，其中与x轴垂直的点序列与y轴、z轴平行并且其中心经过x轴上，而且如图38(B)所示x坐标是R(例如，R＝鱼眼半径)，上述面[a]是三维的，如图38(C)所示如下：

[a]＝[(x0，y0)，(x 1，y0)，...(xN，yM，1)]

→[A]＝[(x0，y0，1)，(x1，y0，1)，...(xN，yM，1)]

将该矩阵[A]乘以图38(C)示出的矩阵[K]以提供矩阵[P0](＝[K][A])。

随后，通过使用可以被设置在图15(A)和15(B)的上述操作输入屏幕Gu上的如图39(A)中所示的这种参数，将该面[P0]扩展并且移动到如图38(B)所示的球。在这种情况下，假设移动后的面是面[P2]，与面[P0]上的点Pj对应的面[P2]上的点是点Pj2(x2，y2，z2)。该面[P2]上的每个点可以通过使用图39(C)中所示的[P0]、[P2]、[X]、[Y]、[Z]和[M]的矩阵通过图39(D)的计算获得。

也就是，在正交坐标模式MS1中[P2]＝[Z][Y][X][M][P0]而在极坐标模式MS2中[P2]＝[Z][Y][M][P0]。基于这样计算的面[P2]坐标值，使用与点Pj2对应坐标值(x2，y2，z2)。

然后，在图39(B)中，通过基于上述面[P2]上的点Pj2(x2，y2，z2)执行与使用图12的上述畸变校正处理原理类似的处理，可以获得与点Pj2(x2，y2，z2)对应的焦点Qj2。进一步，通过对面[P2]上的每个点执行类似处理，可以获得在组成正交坐标模式MS1和极坐标模式MS2中执行畸变校正处理之后获得的被选择区域显示图像Gsc的图像拾取元件112上的每个像素的位置，然后使用这样获得的像素的位置的像素数据，从而使能其中不生成要显示的畸变的被选择区域显示图像Gsc。

根据本实施方式的图像处理系统40，通过上述构成和操作，可以用陀螺传感器41检测图像拾取部分11的安装角，以适当地切换与该安装角对应的区域选择模式MS，从而提高用户方便度。

进一步，由于在其中保持滞后的条件上切换区域选择模式，所以即使当在上述阈值Ψ1和Ψ2附近生成安装角中的波动时，也防止区域选择模式MS被基于该波动频繁地切换，因此防止打扰用户。

应该注意，方向检测传感器可以是任何其他传感器，例如，替代于上述陀螺传感器41的重力传感器，以检测图像拾取部分11的安装角。

进一步，虽然本实施方式已经根据图像拾取部分11的安装角切换区域选择模式MS，但是可以根据例如图像拾取部分11是否已经与景物接触来切换区域选择模式MS。

图40是用于根据接触切换显示模式的方法的概念示意图。例如，在图像拾取部分11在箭头T的方向中通过管道95移动的情况下，将处理控制部分135设置到例如管道95中的极坐标模式MS2，从而拾取管道95的周围。进一步，如果其在管道95的一端与壁表面96接触，则可以将处理控制部分135切换到正交坐标模式MS1以拾取该壁表面。在这种情况下，图像处理系统可以装配有用于检测接触的检测传感器，并且可以将检测的结果应用于图像处理部分13中的处理控制部分135。检测传感器可以是机械传感器或者光学传感器。

进一步，可以在不使用方向检测传感器或者任何其他检测传感器的情况下执行正交坐标模式MS1和极坐标模式MS2之间的自动切换。最后，下面将描述其中在不使用传感器的情况下将正交坐标模式MS1和极坐标模式MS2彼此切换的情况。

这里，为了方便理解自动切换，将在假设图像拾取部分11的视野为例如270度的情况下进行下面描述。图41示出其中图像拾取光学部分111已经通过使用超广角镜头获得了270度视野的情况。入射到图像拾取光学部分111上的光朝着图像拾取元件112前进，以在图像拾取元件112的传感器表面上形成270度视野的宽视野图像Gc。

进一步，如果图42所示，如果放置具有270度视野的图像拾取部分11使得作为视野中心方向的箭头OCt的方向关于水平方向向上45度，给出这样的情况，其中获得前半球视野53h和上半球视野53u。

图43示出了其中放置具有270度视野的图像拾取部分11的例子。例如，将图像拾取部分11以这样的方式安装到船的船首(bow)：视野的中心方向关于水平方向向上45度。进一步，将坐位FS设置在图像拾取部分11之后。在图像拾取部分11以这样的方式安装的情况下，如果在适合于前半球视野的情况的正交坐标模式MS1中的显示部分14上显示向前的景观(landscape)，则可以容易地在想要的方向中将被选择区域设置到景观，从而在显示部分14上在想要的方向中显示景观的无畸变的图像。进一步，如果在适合于下或者上半球视野的情况的极坐标模式MS2中的显示部分14上显示坐在任何后座FS上的乘客，则可以容易地在想要的方向上将被选择区域设置到乘客，从而在显示部分14上在想要的方向中显示乘客的无畸变的图像。因此，图像处理部分13自动根据其中设置被选择区域的方向来切换区域选择模式MS，从而使能其中将由于图像拾取光学部分111导致的畸变校正的图像显示在显示部分14上。

这里，在其中通过指定被选择区域的方向来设置被选择区域的情况中，可以通过输入信息PS等指示被选择区域的范围等的角度范围，基于指定被选择区域的输入信息等来确定被选择区域的方向。进一步，由于被选择区域和图像区域ARs彼此对应，所以可以从对其执行畸变校正处理的图像区域ARs的图像位置确定其中设置被选择区域的方向。

图44示出了根据其中设置被选择区域的方向自动切换区域选择模式MS的情况。如果如图43所示放置图像拾取部分11，则具有270度视野的宽视野图像Gc变为如图44所示的一个。应该注意，如果以这样的方式安装图像拾取部分11：宽视野图像Gc的中心在图像拾取光学部分111的光轴方向中而视野的中心方向关于水平方向向上45度，则视频前端位置变为例如图像上的点Pf以具有90度的视野。

在图44(A)中，如果给出区域AS1以包括前端图像而且将被选择区域设置在这样的方向中使得例如图像区域ARs(未示出)的中心位置可以包括在区域AS 1中，则设置正交坐标模式MS1。进一步，如果给出区域AS2以包括后端图像并且将被选择区域设置在这样的方向中使得例如图像区域ARs的中心位置被包括在区域AS2中，则设置极坐标模式MS2。应该注意，如果图像区域ARs的中心位置不包括在区域AS1或AS2中，则保持设置区域选择模式MS。

进一步，如图44(B)所示，在事先在矩阵中子分割宽视野图像Gc的区域以分配要被设置到每个子分割的区域的区域选择模式MS，然后根据其中例如包括图像区域ARs的中心位置的任何一个区域来设置区域选择模式MS。例如，对于包括前图像的每个区域ASm1，事先将正交坐标模式MS1分配为要被设置的区域选择模式MS。进一步，对于包括后图像的每个区域ASm2，事先将极坐标模式MS2分配为要被设置的区域选择模式MS。这里，如果与被选择区域对应的图像区域ARs的中心区域与区域ASm1对应，则设置正交坐标模式MS1。另一方面，如果图像区域ARs的中心位置与区域ASm2对应，则设置极坐标模式MS2。

以这种方式，可以根据在显示部分14上显示的任何视野的图像自动将区域选择模式MS设置到最佳模式，从而使得在需要方向中放置的景物的图像在显示部分14上容易地显示。

进一步，由于不使用传感器，所以可以将其应用于图像处理系统10、20和30中的任何一个。还可以将其应用于使用传感器的图像处理系统40。在这种情况下，通过基于来自陀螺传感器41的传感器信号ES自动调节与图像拾取部分11的倾斜对应的区域AS1、AS2、ASm1和ASm2的位置或者区域尺寸，即使如果不将图像拾取部分11安装为关于水平方向向上45度，也可以以与将图像拾取部分11安装为关于水平方向向上45度的情况中的那些特性相同的特性对区域选择模式MS执行切换处理。进一步，如果可以设置与图像拾取部分11的倾斜对应的区域AS1、AS2、ASm1和ASm2的位置和区域尺寸，则还可以任意设置区域选择模式MS的切换特性。

应该注意，在自动切换区域选择模式MS的情况中，通过提供与每个区域选择模式对应的GUI显示，可以容易地决定将区域选择模式MS设置到那个模式。图45示出了其中在自动切换区域选择模式MS的情况下图像区域ARs移动的GUI显示和方向。如果设置正交坐标模式MS1，如图45(A)所示，例如，给出“上”、“下”、“右”和“左”作为方向按钮Gua2。应该注意，图45(B)示出了其中当操作方向按钮Gua2时图像区域ARs在完整图像Gcp中移动的方向。如果设置极坐标模式MS2，如图45(C)所示，例如，给出“中心”、“向外”、“右旋转”和“左旋转”按钮作为方向按钮Gud2。应该注意，图45(D)示出其中当操作方向按钮Gud2时图像区域ARs在完整图像Gcp中移动的方向。

以这种方式，通过提供与区域选择模式对应的GUI显示，用户可以容易地决定将区域选择模式设置到哪个模式。进一步，当将需要方向中放置的景物的图像显示在显示部分14上时，用户可以容易地选择方向按钮。

而且，图像拾取部分11可以依赖于关于垂直(或者水平)方向的俯仰角来停止自动切换操作，然后设置正交坐标模式MS1或者极坐标模式MS2。如图46中所示，如果角Ψ在“337.5度≤Ψ＜22.5度”或者“157.5度≤Ψ＜202.5度”的范围中，则与图像区域ARs的位置无关地设置极坐标模式MS2。如果角Ψ在“67.5度≤Ψ＜112.5度”或者“247.5度≤Ψ＜292.5度”的范围中，则与图像区域ARs的位置无关地设置正交坐标模式MS1。如果角Ψ在“22.5度≤Ψ＜67.5度”、“112.5度≤Ψ＜157.5度”、“202.5度≤Ψ＜247.5度”或者“292.5度≤Ψ＜337.5度”的范围中，则根据上述图像区域ARs的位置将正交坐标模式MS1或者极坐标模式MS2自动设置为组合模式。

图47是示出在包括组合模式的区域选择模式之间的切换操作的流程图。处理控制部分135执行角检测以检测图像拾取部分11的俯仰角Ψ(ST3301)。随后，处理控制部分135基于所检测到的俯仰角Ψ确定是否设置组合模式(ST3302)。如果不设置组合模式(NO)，则处理控制部分135基于角Ψ的检测的结果检测应该将区域选择模式设置到正交坐标模式MS1或者极坐标模式MS2中的哪一个(ST3303)。如果设置组合模式(ST3302处为“是”)，则处理控制部分135基于被选择区域的位置来检测应该将区域选择模式设置到正交坐标模式MS1和极坐标模式MS2的哪一个(ST3304)。

如果已经在ST3303和ST3304完成了区域选择模式的检测，则处理控制部分135将区域选择模式设置到其中对其进行检测的坐标模式(ST3305)。随后，处理控制部分135提供与在ST3305中所设置的区域选择模式对应的GUI显示，而且过程返回到ST3301(ST3306)。通过这样切换区域选择模式，可以提供能够被用户容易使用的界面。

图48是示出当操作方向按钮时的操作的流程图。处理控制部分135确定是否将区域选择模式MS设置到正交坐标模式MS1(ST3401)。

这里，如果设置正交坐标模式MS1(“是”)，则处理控制部分135基于输入信息PS确定是否操作方向按钮(ST3402)。如果已经确定不操作方向按钮(“否”)，则过程返回到ST3401，而如果已经确定操作方向按钮(“是”)，则确定是否操作“右”按钮。

如果已经确定操作了“右”按钮(“是”)，则处理控制部分135执行处理使得将被选择区域切换到向上位置，而且过程返回到ST3401(ST3404)。如果已经确定没有操作“右”按钮(在ST3403为“否”)，则处理控制部分135确定是否操作“左”按钮(ST3405)。

如果已经确定操作了“左”按钮(“是”)，则处理控制部分135执行处理使得将被选择区域切换到向左的位置，而且过程返回到ST3401(ST3406)。如果已经确定没有操作“左”按钮(在ST3405为“否”)，则处理控制部分135确定是否操作“上”按钮(ST3407)。

如果已经确定操作了“上”按钮(“是”)，则处理控制部分135执行处理使得将被选择区域切换到向上的位置，而且过程返回到ST3401(ST3408)。如果已经确定没有操作“上”按钮(在ST3407为“否”)，则处理控制部分135确定是否操作了“下”按钮，如果是则执行处理使得将被选择区域切换到向下的位置，而且过程返回到ST3401(ST3409)。

如果已经确定设置了极坐标模式MS2(在ST3401为“否”)，则处理控制部分135基于输入信息PS确定是否操作方向按钮(ST3410)。如果已经确定没有操作方向按钮(“否”)，在过程返回到ST3401，而且如果已经确定操作了方向按钮(“是”)，则确定是否操作了“右旋转”按钮(ST3411).

如果已经确定了操作了“右旋转”按钮(“是”)，则处理控制部分135执行处理以向右旋转被选择区域，而且过程返回到ST3401(ST3412)。如果已经确定了没有操作“右旋转”按钮(在ST3411为“否”)，在处理控制部分135确定是否操作了“左旋转”按钮(ST3413)。

如果已经确定了操作了“左旋转”按钮(“是”)，则处理控制部分135执行处理以向左旋转被选择区域，而且过程返回到ST3401(ST3414)。如果已经确定了没有操作“左旋转”按钮(在ST3413为“否”)，在处理控制部分135确定是否操作了“中心”按钮(ST3415)。

如果已经确定了操作了“中心”按钮(“是”)，则处理控制部分135执行处理使得将被选择区域切换到中心定向的位置，而且过程返回到ST3401(ST3416)。如果已经确定了没有操作“中心”按钮(在ST3415为“否”)，在处理控制部分135确定是否操作了“向外”按钮，如果是，则执行处理使得被选择区域被切换到作为与中心方向相反的方向的向外的位置，而且过程返回到ST3401(ST3417)。

通过这些处理，可以容易地将被选择区域切换到想要的方向。也就是说，可以在其中由于图像拾取光学部分111导致的畸变被校正的条件中在显示屏幕14的屏幕上显示在想要的方向中放置的景物的图像。

然而，本实施方式的图像处理系统具有作为显示模式MH的上述多个模式，使得如果例如设置被选择区域显示模式MH2，则不可以决定将被选择区域设置到那个视野方向。因此，为了确认如何设置被选择区域，需要执行操作以改变显示模式MH到完整图像显示模式MH1或者双显示模式MH3。因此，如果切换被选择区域或者切换区域选择模式MS，则改变显示模式使得显示完整图像Gcp至少经过预定时间，从而即使不改变显示模式也使得用户容易确认被选择区域。应该注意，在本实施方式中的图像处理系统的构成与图32示出的上述图像处理系统40的构成相同，所以省略其描述。

图49和50示出了显示完整图像Gcp的操作，其中图49示出了用于响应于被选择区域的切换来改变显示模式MH的方式，而图50示出了用于响应于区域选择模式MS的切换来改变显示模式MH的方式。

如果将显示模式切换到其中不显示完整图像Gcp的显示模式，或者如果被指令来切换被选择区域或者在设置其中不显示完整图像Gcp的显示模式的条件下切换区域选择模式MS，则在图像处理系统中的图像处理部分13自动地改变到其中与所设置的显示模式无关地将完整图像Gcp显示经过预定的时间的显示模式。

图49(A)示出了其中在被选图像显示模式MH2中显示图像的情况。如果响应于被选择区域切换指令来切换被选择区域，则执行用于将完整图像Gcp与所设置的显示模式对应显示的图像组合的处理，并且将组合后的图像作为新显示图像显示。例如，将显示模式MH改变到双显示模式MH3以显示还在图49(B)中示出的完整图像Gcp。然后，在经过了预定时间之后，完整图像Gcp的组合处理结束，而且从显示屏幕上将完整图像Gcp擦除。例如，显示模式MH返回到被选图像显示模式MH2，而且如果图49(C)所示擦除完整图Gcp。进一步，如果响应于被选择区域切换指令，被选择区域返回到其原始位置，则显示模式MH改变到双显示模式MH3一预定时间，并且以图49(C)、49(D)和49(A)的顺序如这些图所示执行显示。

图50(A)示出了其中在被选图像显示模式MH2中显示图像而且将区域选择模式设置到极坐标模式MS2的情况。这里，如果将区域选择模式MS设置到正交坐标模式MS1，则进行处理以将完整图像Gcp与同所设置的显示模式对应显示的图像组合，并且将组合后的图像作为新显示图像显示。例如，将显示模式MH改变到双显示模式MH3，而且还如图50(B)所示显示完整图像Gcp。然后，在经过预定时间之后，完整图像Gcp的组合处理结束，而且从显示屏幕上擦除完整图像Gcp。例如，显示模式MH返回到被选图像显示模式MH2，而且如图50C所示擦除完整图像Gcp。

进一步，而且如果将区域选择模式MS从正交坐标模式MS1切换到极坐标模式MS2，则显示模式MH改变到双显示模式经过一预定时间，而且以图50(C)、50(D)和50(A)的顺序如这些图所示执行显示。应该注意，经过的预定时间可以是但不限于例如三秒、五秒等。

进一步，图像处理部分13可以不仅当区域选择模式MS被切换时而且当被指令切换被选择区域时来显示完整图像Gcp，而且在经过预定时间之后，将其改变到其中只显示被选择区域显示图像Gsc的这样的模式。

进一步，图像处理部分13可以不仅当响应于被选择区域切换指令生成被选择区域切换或者区域选择模式MS被切换时，而且当响应于拾取方向的改变与被选择区域对应的图像区域ARs的图像被改变时，将显示模式改变一预定的时间段。例如，如果图像拾取部分11的拾取方向改变，则宽视野图像Gc的图像改变，使得即使如果在图像拾取元件112的传感器表面上的图像区域ARs的位置没有改变被选择区域显示图像Gsc也改变。也就是说，发生使得被选择区域改变的状态。因此，例如，如果已经基于来自陀螺传感器41的传感器信号ES确定图像拾取区域被改变，则显示模式改变一预定的时间段以显示完整图像Gcp。因此用户可以容易地决定应该如何被指令来切换被选择区域以在显示部分14上显示放置在需要方向中的景物的图像。

图51是示出如图49或者50中所示在改变显示模式的情况下图像处理系统的操作流程的流程图。在图像处理部分13中的处理控制部分135确定是否切换(移动)被选择区域(ST3601)。也就是说，确定是否从输入部分12提供指示用户为了被选择区域切换指令的目的对上述方向按钮Gua2或者Gud2或者方位按钮Gub2的操作的输入信息PS，或者当基于上述轨迹信息自动切换被选择区域时是否生成被选择区域切换。这里，如果切换被选择区域(“是”)，则将显示控制信息JH提供给图像输出处理部分134，使得图像输出处理部分134可以在显示部分14上显示完整图像Gcp和被选择区域显示图像Gsc的组合图像(ST3606)。然后，处理控制部分135确定从该组合的图像输出开始是否已经经过了预定的时间(ST3607)，而且如果已经经过了预定的时间(“是”)，则将显示控制信息JH提供给图像输出处理部分134，以将显示从组合的图像改变到从其擦除完整图像Gcp的被选择区域显示图像Gsc(ST3608)。也就是说，在其中由处理控制部分135控制图像输出处理部分134的条件下，如图49和50所示，在已经经过预定时间之后，将显示模式MH从双显示模式MH3改变到被选图像显示模式MH2。

如果已经在确定是否由图像处理部分13中的处理控制部分135切换被选择区域时确定不切换被选择区域(“否”)，则处理控制部分135确定是否切换上述显示模式MH或者区域选择模式MS，也就是说，是否从输入部分12提供指示用户为了模式切换的目的对上述“选择”按钮Gua1或者Gub1或者“菜单”按钮Gub3的操作的输入信息PS(ST3602)。这里，如果将模式切换(“是”)，则执行上述ST3606和随后的步骤。另一方面，如果已经确定不将模式进行切换(“否”)，则图像处理部分13确定是否改变图像拾取部分11的姿态(安装角度)(ST3603)。也就是说，处理控制部分135基于指示陀螺传感器41检测到的俯仰角的传感器信号ES，确定例如图32中所示的陀螺传感器41的测量结果和预定初始值之间的差。如果图像拾取部分11的安装角被改变(“是”)，则图像处理部分13执行上述ST3606和随后的步骤。

进一步，如果已经在ST3606确定没有改变图像拾取部分11的安装角(“否”)，则处理控制部分135确定是否已经对输入部分12执行了用户操作，而且如果已经确定已经执行了任何用户操作(“是”)，则执行ST3606和后续上述步骤的处理，而且如果已经确定还没有执行用户操作(“否”)，则重复ST3601和后续上述步骤的处理。应该注意，如果这样的用户操作涉及上述显示模式MH或者区域选择模式MS的切换或者被选择区域的切换，则其处理将与上述ST3601或者ST3602步骤的处理相同，以便除了那些之外的任何其他用户操作都经历在ST3604被确定。

应该注意，虽然在图51中，如果确定被选择区域没有被切换，则已经以这样的顺序确定了是否切换了模式，是否改变了姿态，和是否输入的操作，还可以在如图52所示的ST3605，通过确定是否存在任何被选择区域切换、模式切换、姿态切换和操作输入来显示完整图像Gcp经过一预定时间，而且如果它们中的一个被确定为“肯定”，则执行ST3606和后续步骤的处理。

通过上面处理，如果切换了被选择区域，或者切换了显示模式MH或者区域选择模式MS，则改变图像拾取部分11的姿态，或者从用户输入操作，提供这种显示使得将完整图像Gcp显示至少经过预定时间。因此，如果被选择区域或者模式被切换，则用户可以容易地确认如何针对完整图像Gcp中的图像区域ARs的高亮图像Gs设置被选择区域，而且在确认后，观察被选择区域显示图像Gsc而不被完整图像阻挡。

应该注意，相反，完整图像Gcp已经首先在双显示模式MH3中显示，然后，在经过预定时间之后，其切换到其中不显示完整图像Gcp的被选图像显示模式MH2，如果上述显示模式MH或者区域选择模式MS被切换，则在被选图像显示模式MH2中，图像处理部分13可以首先只输出被选择区域显示图像Gsc，而且在经过预定时间之后，生成图像数据DVd使得在其中将完整图像Gcp组合的双显示模式MH3中显示组合的图像。因此可以确认在显示部分14上显示的被选择区域显示图像Gsc，而没有盲区，而且在经过预定时间之后，观察新显示的被选择区域显示图像Gsc，并且确认当前所选择的区域。

图53是示出显示模式切换处理的另一种状态的示意图。当显示上述组合的图像时，图像处理部分13可以提供一个屏幕显示作为例如上述组合图像，其中将被选择区域显示图像缩小使得其不于完整图像Gcp重叠。进一步，其可以通过将其半透明地组合到被选择区域显示图像Gsc来输出完整图像Gcp。在任何一种情况中，图像处理部分13都可以执行这种处理，使得用户在显示完整图像Gcp的条件下观察被选择区域显示图像Gsc而没有盲区。

而且，图像处理部分13可以动态改变上述预定的经过时间，而不是将其固定到恒定的值。例如，如果切换区域选择模式MS，则被选择区域的位置可能改变较大，使得在这种情况中上述的预定的经过时间与在相同区域选择模式MS中存在任何被选择区域的切换或者存在图像拾取部分11的姿态等的任何变化的情况下的上述的经过时间相比更长，使得用户可以确定地确认被选择区域。进一步，例如，如果子分割区域的数量在分割显示模式MH4中增加，确认多个被选择区域可能需要长的时间，使得如果用户已经执行了这种操作以增加子分割的区域的数量(在完整图像Gcp中的高亮图像Gs的数量)，则与在切换到任何其他模式或者姿态生成改变的情况下的预定的经过时间相比将预定的经过时间延长，使得用户能够确定地确认被选择区域。

产业的可利用性

提供本发明，其带有第一区域选择模式和第二区域选择模式，以校正与所设置的第一或第二区域选择模式中所选择的区域对应的图像数据中所包含的畸变，在第一区域选择模式中，选择显示通过使用正交坐标系由图像数据表示的视野的部分区域的区域，而在第二区域选择模式中，选择显示通过使用极坐标系由图像数据表示的视野的部分区域的区域。因此，其优选地适合于其中从拾取的宽视野图像中将想要的区域设置为被选择区域来确认该被选择区域等的图像的情况。

Claims (17)

1.一种处理包含图像拾取光学部分的畸变的图像数据的图像处理设备，该畸变是通过生成畸变的图像拾取光学部分从景物拾取光学图像而获得的，该图像处理设备包括：

区域选择模式设置部分，其选择性地设置第一区域选择模式和第二区域选择模式，在第一区域选择模式中，从图像数据所代表的视野中，选择通过使用正交坐标系指示该视野的部分区域的被选择区域，而在第二区域选择模式中，从图像数据所代表的视野中，选择通过使用极坐标系指示该视野的部分区域的被选择区域；以及

数据输出部分，其输出通过校正图像数据中的畸变获得的畸变经过校正的数据，该图像数据与在由所述区域选择模式设置部分设置的第一或第二区域选择模式中所选择的被选择区域对应。

2.根据权利要求1所述的图像处理设备，还包括畸变校正部分，其校正与被选择区域对应的图像数据中的畸变。

3.根据权利要求2所述的图像处理设备，其中，所述畸变校正部分校正只在与被选择区域对应的图像数据中的畸变。

4.根据权利要求1所述的图像处理设备，还包括控制部分，其通过在第一区域选择模式中切换被选择区域的情况下改变正交坐标系的坐标值来切换被选择区域，或者通过在第二区域选择模式中执行被选择区域的切换的情况中改变极坐标系的幅角和/或移动半径来切换被选择区域。

5.根据权利要求1所述的图像处理设备，还包括图像拾取部分，其包含图像拾取光学部分和生成使得通过所述图像拾取光学部分入射的光学图像的图像数据的光学拾取元件。

6.根据权利要求5所述的图像处理设备，其中，所述图像拾取光学部分通过使用鱼眼镜头构成。

7.根据权利要求5所述的图像处理设备，还包括方向检测传感器，其检测使得光学图像入射到图像拾取光学部分上的方向，其中所述区域选择模式设置部分基于来自所述方向检测传感器的传感器信号来设置第一区域选择模式和第二区域选择模式中的任何一个。

8.根据权利要求7所述的图像处理设备，其中，所述区域选择模式设置部分根据关于基于来自所述方向检测传感器的传感器信号所确定的垂直方向的角度来选择第一区域选择模式和第二区域选择模式中的任何一个。

9.根据权利要求8所述的图像处理设备，其中，所述区域选择模式设置部分根据所述角度是否超过第一阈值来从第一区域设置模式切换到第二区域设置模式，而且根据所述角度是否超过与第一阈值不同的第二阈值来从第二区域选择模式切换到第一区域选择模式。

10.根据权利要求1所述的图像处理设备，还包括检测传感器，其检测与景物的接触，

其中，所述区域选择模式设置部分根据是否基于来自该检测传感器的传感器信号检测到与景物接触，来选择第一区域选择模式和第二区域选择模式中的任何一个。

11.根据权利要求1所述的图像处理设备，其中，所述区域选择模式设置部分根据其上选择被选择区域的位置来选择第一区域选择模式和第二区域选择模式中的任何一个。

12.根据权利要求1所述的图像处理设备，还包括输入部分，其生成包括用于选择被选择区域的选择指令的输入信息，

其中，所述区域选择模式设置部分基于在所述输入信息中所包括的选择指令来选择被选择的区域。

13.根据权利要求1所述的图像处理设备，还包括存储设备，其存储包含由于图像拾取光学部分导致的畸变的图像数据，

其中，处理从存储设备读取的图像数据。

14.根据权利要求1所述的图像处理设备，还包括显示部分，其提供图形用户界面显示，

其中所述区域选择模式设置部分在第一区域选择模式和第二区域选择模式之间切换图形用户界面显示。

15.一种处理包含图像拾取光学部分的畸变的图像数据的图像处理方法，该畸变是通过生成畸变的图像拾取光学部分从景物拾取光学图像而获得的，该方法包括：

区域选择模式设置步骤，其选择性地设置第一区域选择模式和第二区域选择模式，在第一区域选择模式中，从图像数据所代表的视野中，选择通过使用正交坐标系指示该视野的部分区域的被选择区域，而在第二区域选择模式中，从图像数据所代表的视野中，选择通过使用极坐标系指示该视野的部分区域的被选择区域；以及

数据输出步骤，其输出通过校正图像数据中的畸变获得的畸变经过校正的数据，该图像数据与在由所述区域选择模式设置步骤设置的第一或第二区域选择模式中所选择的被选择区域对应。

16.一种使得计算机执行图像处理来处理包含图像拾取光学部分的畸变的图像数据的程序，该畸变是通过生成畸变的图像拾取光学部分从景物拾取光学图像而获得的，该程序包括：

区域选择模式设置步骤，其选择性地设置第一区域选择模式和第二区域选择模式，在第一区域选择模式中，从图像数据所代表的视野中，选择通过使用正交坐标系指示该视野的部分区域的被选择区域，而在第二区域选择模式中，从图像数据所代表的视野中，选择通过使用极坐标系指示该视野的部分区域的被选择区域；以及

数据输出步骤，其输出通过校正图像数据中的畸变获得的畸变经过校正的数据，该图像数据与在由所述区域选择模式设置步骤设置的第一或第二区域选择模式中所选择的被选择区域对应。

17.一种记录介质，其记录使得计算机执行图像处理来处理包含图像拾取光学部分的畸变的图像数据的程序，该畸变是通过生成畸变的图像拾取光学部分从景物拾取光学图像而获得的，该程序包括：

区域选择模式设置步骤，其选择性地设置第一区域选择模式和第二区域选择模式，在第一区域选择模式中，从图像数据所代表的视野中，选择通过使用正交坐标系指示该视野的部分区域的被选择区域，而在第二区域选择模式中，从图像数据所代表的视野中，选择通过使用极坐标系指示该视野的部分区域的被选择区域；以及

数据输出步骤，其输出通过校正图像数据中的畸变获得的畸变经过校正的数据，该图像数据与在由所述区域选择模式设置步骤设置的第一或第二区域选择模式中所选择的被选择区域对应。

Images