CN106534665B - 图像显示装置、图像显示方法以及存储介质 - Google Patents

Abstract

本发明提供一种图像显示装置，具备显示单元和作为以下单元起作用的计算机设备：截取单元，其从使用鱼眼透镜拍摄到的鱼眼图像内将一部分图像作为截取区域进行截取；校正单元，其对通过所述截取单元而截取的图像的失真进行校正；确定单元，其基于所述鱼眼图像摄像时的姿势信息来确定通过所述校正单元校正后的校正图像的天地方向；以及显示控制单元，其基于通过所述确定单元而确定的天地方向，进行使所述显示单元显示所述校正图像的控制。

Description

图像显示装置、图像显示方法以及存储介质

本申请基于并主张2015年9月15日提出申请的日本专利申请 No.2015-181536在35USC 119下的优先权，其包括说明书、权利要求书、 附图以及摘要在内的全部内容被援引于此。

技术领域

本发明涉及对使用鱼眼透镜拍摄到的鱼眼图像的失真进行校正并显 示的图像显示装置和图像显示方法。

背景技术

在数字静态照相机等摄像装置中采用的鱼眼透镜例如虽然能够进行 视角为大致180°这样的广范围的摄像，但由于采用了投影方式，所以由 鱼眼透镜拍摄到的图像(鱼眼图像)具有从其中心部越朝向端部(周边部) 则失真越大这样的特征。作为显示使用这样的鱼眼透镜拍摄到的鱼眼图像 的技术，公开有以下这样的图像处理装置：如实用新型注册第3066594 号公报这样，从鱼眼图像内截取规定区域内的图像，通过对该截取到的区 域内的图像实施对畸变进行校正的处理从而向用户提供没有失真的图像 (校正图像)(参照专利文献1)。

根据上述专利文献的技术，在使用鱼眼透镜进行了广范围的摄像的情 况下，也能够针对从其一部分中截取出的区域内的图像得到没有失真的图 像，但是在从由鱼眼透镜拍摄到的图像(鱼眼图像)中截取规定区域内的 图像时，根据其截取方式的不同，有时校正后的图像的天地方向会不同。

发明内容

本发明的课题在于，在显示从鱼眼图像内截取其一部分并进行了失真 校正的图像的情况下，对于用户来说，能够正确地确认该截取出的图像的 天地方向。

本发明提供一种图像显示装置，其特征在于，具备：

截取单元，其从使用鱼眼透镜拍摄到的鱼眼图像内将其一部分作为截 取区域对图像进行截取；

校正单元，其对通过所述截取单元而截取的图像的失真进行校正；

显示单元，其显示通过所述校正单元校正后的校正图像；

确定单元，其基于所述鱼眼图像摄像时的姿势信息来确定通过所述截 取单元而截取并通过所述校正单元校正后的校正图像的天地方向；以及

显示控制单元，其在使所述显示单元显示所述校正图像时，基于通过 所述确定单元而确定的天地方向来进行使所述显示单元显示所述校正图 像的控制。

本发明提供一种图像显示装置中的图像显示方法，其特征在于，包括 如下步骤：

从使用鱼眼透镜拍摄到的鱼眼图像内将其一部分作为截取区域对图 像进行截取；

对所截取的图像的失真进行校正；

显示校正后的校正图像；

基于所述鱼眼图像摄像时的姿势信息来确定所述校正图像的天地方 向；以及

在显示所述校正图像时，进行基于所确定的天地方向来进行显示的控 制。

发明效果

根据本发明，在显示从鱼眼图像内截取其一部分并进行了失真校正的 图像的情况下，对于用户来说，能够正确地确认该截取出的图像的天地方 向。

附图说明

附图与说明书结合并组成了说明书的一部分，对本发明的实施方式进 行说明，并与上述概述和以下详细的实施方式的说明一起，阐明了发明的 原理。

图1A是表示将构成作为图像显示装置来应用的数码照相机的摄像装 置10和主体装置20一体地组合的状态的外观图。

图1B是表示将摄像装置10与主体装置20分离的状态的外观图。

图2A是表示摄像装置10的构成的框图。

图2B是表示主体装置20的构成的框图。

图3A～C是用于说明摄像装置10的各种姿势的图。

图3D是表示以图3C所示的摄像装置10的姿势(照相机朝向)拍摄 到的鱼眼图像与摄像时的地面方向之间的关系的图。

图4A是例示由鱼眼透镜16B拍摄到的图像(鱼眼图像)的图。

图4B是表示在将鱼眼图像显示于触摸显示部26的状态下，触摸该 鱼眼图像上的期望的任意的位置的情况的图。

图5是例示显示了对截取区域内的图像实施了失真校正后的校正图 像的状态的图。

图6是表示切换成再现模式时开始执行的动作的流程图。

图7是用于详述基于触摸位置来确定鱼眼图像上的截取区域的处理 (图5的步骤A7)的流程图。

图8是用于详述识别摄像时的照相机朝向来对截取区域内的图像进 行截取的处理(图5的步骤A8)的流程图。

图9是用于详述显示处理(图6的步骤A11)的流程图。

图10A、图10B是用于具体说明确定截取区域的处理的图。

图11是用于说明显示形式表23C的图。

图12A是显示形式A的显示例。

图12B是显示形式B的显示例。

图12C是表示显示形式C的显示例的图。

具体实施方式

本发明的实施方式参照附图来说明。

以下，参照图1～图12来说明本发明的实施方式。

本实施方式例示出作为图像显示装置而应用于数码照相机的情况，该 数码照相机是能够分离成具备后述的摄像部的摄像装置10和具备后述的 显示部的主体装置20的分离型数码照相机。图1A表示将摄像装置10和 主体装置20一体地组合的状态，图1B是表示将摄像装置10和主体装置 20分离的状态的图。构成该分离型数码照相机的摄像装置10和主体装置 20能够使用各自所能利用的无线通信进行配对(无线连接识别)，作为无 线通信，使用无线LAN(Wi-Fi)或Bluetooth(注册商标)。在主体装 置20侧，接收取得在摄像装置10侧拍摄到的图像，并显示该摄像图像(实 时取景图像)。

图2A是表示摄像装置10的构成的框图，图2B是表示主体装置20 的构成的框图。

在图2A中，摄像装置10具备：控制部11、电源部12、存储部13、 通信部14、操作部15、摄像部16、姿势检测部17。控制部11通过来自 电源部(二次电池)12的电力供给进行动作，按照存储部13内的各种程 序来控制该摄像装置10的整体动作，在该控制部11设置未图示的CPU (中央运算处理装置)、存储器等。存储部13例如是具有ROM、闪速存 储器等的构成，保存用于实现本实施方式的程序、各种应用等。通信部 14将拍摄到的图像发送到主体装置20侧，或接收来自主体装置20的操 作指示信号等。操作部15具备电源开关等基本的操作按键(硬件按键)。

摄像部16构成能高精细地拍摄被摄体的照相机部，在该摄像部16 的透镜组件16A设置鱼眼透镜16B、摄像元件16C等。另外，在本实施 方式的照相机中，通常的摄像透镜(省略图示)和鱼眼透镜16B能够互 换，图示的例子示出取代通常的摄像透镜(省略图示)而装配了鱼眼透镜 16B的状态。该鱼眼透镜16B例如由3片结构的透镜系统构成，是能够 实现视角为大致180°这样的广范围的拍摄的圆周鱼眼透镜(全周鱼眼透 镜)，由该鱼眼透镜16B拍摄到的图像的整体是圆形的图像。

在该情况下，由于采用投影方式，所以由鱼眼透镜16B拍摄到的图 像(鱼眼图像)成为从其中心越朝向端部则失真越大的图像。若来自该鱼 眼透镜16B的被摄体像(光学像)成像于摄像元件(例如，CMOS或CCD) 16C，则由摄像元件16C进行了光电转换的图像信号(模拟值的信号)在 由省略图示的A/D转换部转换成数字信号(图像信号)，并且实施了规 定的图像显示处理后，被发送至主体装置20侧并进行监视器显示。

姿势检测部17利用检测施加至摄像装置10的加速度的压电电阻型或 者静电电容检测型等3轴加速度传感器来检测彼此正交的3轴方向(X· Y·Z方向)的重力加速度，将根据摄像装置10的姿势而检测到的X·Y· Z方向的各加速度分量提供给控制部11。控制部11基于表示从姿势检测 部17输出的加速度分量的信号，来检测摄像装置10的各种姿势(后述)。 姿势检测部17虽然将所检测出的重力方向、或相对于重力方向为规定角 度范围内的方向检测为天地方向，但此时例如将重力方向设为负方向，即， 将负方向作为地面方向。另外，上述的规定角度考虑了地面的倾斜，也可 以通过用户操作任意进行变更。

在图2B中，主体装置20具有对使用鱼眼透镜等拍摄到的图像进行 再现的再现功能，具备控制部21、电源部22、存储部23、通信部24、操 作部25、触摸显示部26、姿势检测部27。控制部21通过来自电源部(二 次电池)22的电力供给进行动作，按照存储部23内的各种程序来控制该 主体装置20的整体动作，在该控制部21设置未图示的CPU(中央运算 处理装置)、存储器等。存储部23例如是具有ROM、闪速存储器等的构 成，且具有：保存用于实现本实施方式的程序、各种应用等的程序存储器 23A；暂时存储该主体装置20为了进行动作而需要的各种信息(例如， 标志等)的工作存储器23B；和后述的显示形式表23C等。

另外，存储部23例如可以是包含记录保存鱼眼图像等的SD卡、IC 卡等能自由装卸的可移动型存储器(记录介质)的构成，虽然未图示，但 是在经由通信功能与网络连接的状态下，也可以包含规定的服务器装置侧 的存储区域。通信部24在与摄像装置10之间进行各种数据的收发。操作 部25具备电源按钮、释放按钮、设定曝光和快门速度等摄影条件的设定 按钮等按压按钮式的各种按键，控制部21执行与来自该操作部25的输入 操作信号相应的处理，或者将输入操作信号对摄像装置10发送。

触摸显示部26是在高精细液晶等显示器26A上层叠配置了触摸面板 26B的构成，分配配置各种软件按键(触摸按键)并显示其功能名，或感 测手指等的触摸操作来输入与该触摸位置相应的操作信号。触摸显示部 26的显示画面成为将由鱼眼透镜16B拍摄到的图像(鱼眼图像)等实时 地显示的监视器画面(实时取景画面)，或成为对摄影完毕图像(鱼眼图 像)等进行再现的再现画面。姿势检测部27是检测施加至主体装置20 的加速度的3轴加速度传感器，检测彼此正交的3轴方向(X·Y·Z方 向)的重力加速度，将根据主体装置20的姿势检测到的X·Y·Z方向 的各加速度分量提供给控制部21。控制部21基于从姿势检测部27输出 的表示加速度分量的信号，来检测主体装置20的各种朝向(构成触摸显 示部26的画面的各种朝向)。

图3是用于说明摄像装置10的姿势的图。

摄像装置10例如成为以下构成：其整体形成箱型，在其正面中央部 配置鱼眼透镜16B。图3A示出照相机的正面方向(鱼眼透镜16B的光轴 方向)朝向天的状态，即，使鱼眼透镜16B的光轴方向相对于重力方向 成为大致相反方向而进行了拍摄的情况(进行了水平拍摄的情况)，B示 出鱼眼透镜16B的光轴方向相对于重力方向大致正交的状态，即，使照 相机相对于地面成为大致垂直而进行了拍摄的情况(进行了垂直拍摄的情 况)，进一步地，图中，以虚线示出的半球表示视角为大致180°这样的 鱼眼透镜16B的摄像范围。

图3C示出进行了垂直拍摄的情况下的摄像装置10的朝向(照相机 朝向)，图示的例子示出：其下表面a成为地面方向的情况下的照相机的 朝向、右侧面b成为地面方向的情况下的照相机的朝向、左侧面c成为地 面方向的情况下的照相机的朝向、上表面d成为地面方向的情况下的照相 机的朝向。图3D是表示以图3C所示的各照相机朝向拍摄到的鱼眼图像 与地面方向之间的关系的图。另外，图中，各箭头方向表示与各摄像装置 10的朝向相应的地面方向。例如，在进行了垂直拍摄时的照相机的下表 面a成为地面方向的情况(在图3C的照相机朝向中，地面方向为a的情 况)下，图3D的鱼眼图像中的a的方向成为地面方向。摄像装置10的 控制部11在摄像时基于姿势检测部17的检测结果来检测图3A的水平拍 摄(水平放置)、图3B的垂直拍摄(垂直放置)、图3C的各照相机朝向 a～d，作为摄像装置10的姿势。该照相机的姿势信息在记录保存由主体 装置20侧拍摄到的图像时，即，在对拍摄到的图像实施规定的图像处理 (显像处理等)来生成摄影图像并记录保存时，将摄像时的照相机的姿势 信息附加于该摄影图像来记录保存。

图4A是例示由鱼眼透镜16B拍摄到的图像(鱼眼图像)的图，表示 在主体装置20侧的触摸显示部26的再现画面上显示的状态。

该鱼眼图像表示在图3A所示的水平拍摄下拍摄到的图像，图示的例 子示出在建筑物成排建设的街中朝向天空来拍摄该建筑群的情况。在该情 况下，作为鱼眼透镜16B，由于采用了能够进行其视角为大致180°这样 的广范围的摄像的圆周鱼眼透镜，所以鱼眼图像(具有特征性失真的鱼眼 图像)的整体成为圆形的图像。

图4B是表示在图4A的鱼眼图像显示于触摸显示部26的再现画面的 状态下，用手指等来触摸用户期望的任意的位置(鱼眼图像上的任意的位 置)的情况的图。

如图4A所示，从鱼眼图像的中心部离开的周边部(端部)成为在广 范围内拍摄而发生很大失真，并且相比鱼眼图像的中心部，该周边部被缩 小的图像，所以即使用户想要详细地目视确认该周边部的内容，其确认也 极为困难。

在该情况下，若用户用手指等触摸鱼眼图像上的任意的位置(想要确 认细节的位置)，例如如图4B所示，若用户用手指等触摸从鱼眼图像的 中心部离开的周边部上的任意的位置，则控制部1将包含该触摸位置的区 域(例如，大致梯形)确定为截取区域，对该截取区域内的图像实施失真 校正。另外，所谓“截取区域”是表示从鱼眼图像内将其一部分图像作为显 示对象而读出的范围(读出区域或读取区域)，但是也可以是从鱼眼图像 内将该区域内的图像抽出(提取)的范围(以下同样)。

图5是例示了对从如图3A所示在水平拍摄下拍摄到的鱼眼图像内截 取出的图像实施了失真校正后的校正图像的图，是切换成图4A所示的鱼 眼图像的整体显示，将该校正图像放大显示的情况。另外，图示的例子示 出通过校正后的图像(校正图像)的放大显示，从而在鱼眼图像的整体显 示下目视确认困难的建筑名(AB)也能够清晰地进行目视确认的情况。

作为对鱼眼图像的畸变进行校正的处理，在本实施方式中，例如，使 用将在虚拟球面模型上的任意点处相切的平面作为屏幕，通过将虚拟球面 模型上的点坐标转换成平面屏幕上的点从而对鱼眼图像的失真进行校正 的技术，对该鱼眼图像的失真进行校正的处理(鱼眼失真校正处理)由于 利用在图像处理中所一般使用的周知技术，所以省略其具体的说明。这样 的鱼眼失真校正处理不限于上述技术，而是任意的。

在校正图像内，附加显示表示地面方向的地面标记()。这里，在 如图3所示对鱼眼图像进行了水平拍摄的情况下，从该鱼眼图像内截取出 的图像的地面方向成为从鱼眼图像的中心朝向其端部的方向。即，由于不 管鱼眼图像的摄像时的地面方向如何，从鱼眼图像的中心朝向其端部的方 向都成为截取出的图像的地面方向，所以在校正图像内在该方向上附加地 面标记()。

接着，参照图6～图9所示的流程图来说明本实施方式中的数码照相 机的动作概念。这里，这些流程图中记述的各功能以能读取的程序代码的 形式被保存，且逐次执行遵循该程序代码的动作。此外，还能够逐次执行 遵循经由网络等传送介质传送来的上述程序代码的动作。即，除了记录介 质以外，还能够利用经由传送介质进行外部供给的程序/数据来执行本实 施方式特有的动作。另外，图6是表示数码照相机的整体动作之中本实施 方式的特征部分的动作概要的流程图，在从该图6的流程中跳出时，返回 到整体动作的主流程(省略图示)中。

这里，在说明主体装置20侧的特征性的动作前，简单说明摄像时的 摄像装置10与主体装置20之间的收发动作。

若从主体装置20侧对摄像装置10发送摄影指示，则摄像装置10响 应该摄影指示而将拍摄到的图像发送至主体装置20侧，此时，在摄像装 置10侧，将在摄像时由姿势检测部17检测到的照相机的姿势信息附加至 该摄像图像而发送。若在主体装置20侧从摄像装置10接收到带姿势信息 的摄像图像，则在对该摄像图像进行显像处理而生成摄影图像，并且实施 图像压缩处理而转换成标准的文件形式后，将其记录保存在存储部23的 记录介质中。

图6是表示在切换成再现模式时开始执行的动作的流程图。

首先，主体装置20的控制部21使利用鱼眼透镜16B等摄像并记录 保存的各种图像(保存图像)的一览进行菜单显示，若通过用户操作而从 该一览显示(菜单显示)之中将期望的图像(例如，鱼眼图像)选择为显 示对象(步骤A1)，则使该选择图像(鱼眼图像)显示于触摸显示部26 的再现画面(步骤A2)。在该状态下，控制部21调查有无对正显示的选 择图像(鱼眼图像)上的触摸(步骤A3)，或调查是否指示了再现结束(是 否进行了解除再现模式的操作)(步骤A4)，或调查是否进行了指示选择 图像(鱼眼图像)的切换的切换操作(步骤A5)。

这里，在指示了再现结束的情况下(步骤A4“是”)，从图6的流程中 跳出，但在进行了鱼眼图像的切换操作的情况下(步骤A5“是”)，返回到 最初的步骤A1。另外，若触摸操作、指示再现结束的操作、指示鱼眼图 像的切换的操作都未进行(步骤A3～A5“否”)，则返回到上述的步骤A3， 成为该操作等待状态。现在，在为了从鱼眼图像内任意截取其一部分的图像而触摸了鱼眼图像上的任意的位置的情况下(步骤A3“是”)，确定触摸 面板26B上的触摸位置(步骤A6)，并且进行基于该确定出的触摸位置 来确定鱼眼图像上的截取区域的处理(步骤A7)。

图7是用于详述基于触摸位置来确定截取区域的处理(图5的步骤 A7)的流程图。图10A示出在如图4A所示使用鱼眼透镜16B进行了水 平拍摄的情况下，为了从该拍摄到的鱼眼图像内确定截取区域而描绘的3 种虚拟线，图10B是示出根据该3种虚拟线确定的截取区域的图。

首先，控制部21基于触摸位置将连结触摸位置和鱼眼图像的中心点 的线段描绘为第1虚拟线(直线)(步骤B1)。接着，在鱼眼图像上描绘 一对第2虚拟线(直线)(步骤B2)。即，将鱼眼图像的中心点作为三角 形的顶点并且将以第1虚拟线为中线而将其顶角(θ)二等分的一对边描 绘为第2虚拟线。进一步地，在鱼眼图像上描绘一对第3虚拟线(向外侧 稍稍膨出的曲线)(步骤B3)。即，将以触摸位置为边界在鱼眼图像的中 心方向和其相反方向上隔开规定距离(1/2H)的一对线段(向外侧稍稍 膨出的曲线)描绘为第3虚拟线。然后，将连结一对第2虚拟线和第3 虚拟线的交点A、B、C、D的大致梯形的区域确定为截取区域(步骤B4)。

由于鱼眼图像具有随着从其中心离开(朝向端部)而摄影范围变广等 特征，所以通过使截取区域为梯形或大致梯形，使其上底朝向鱼眼图像的 中心侧，使下底朝向鱼眼图像的端部侧，从而利用梯形失真校正转换成长 方形的图像时，能够防止在与梯形的下底部分相当的图像部分，像素分量 不足的情况。

若这样来确定截取区域的处理(图6的步骤A7)结束，则转移到下 一步骤A8，在进行了识别摄像时的照相机的姿势信息，并对截取区域内 的图像进行截取的处理(后述的图8所示的处理)后，对该截取区域内的 图像进行梯形失真校正处理(投影转换处理)(步骤A9)。该梯形失真校 正处理不限于截取区域为梯形的情况，在接近大致梯形的长方形的情况下 也进行。另外，作为梯形失真校正处理，由于利用在图像处理中所一般使 用的周知技术，所以省略其具体的说明。进一步地，进行对鱼眼图像的失 真进行校正的处理(步骤A10)。另外，该鱼眼失真校正处理如上所述， 将在虚拟球面模型上的任意的点处相切的平面作为屏幕来进行坐标转换。 然后，转移至显示鱼眼图像和其校正图像的处理(后述的图9所示的处理) (步骤A11)。

图8是用于详述识别摄像时的照相机朝向并对截取区域内的图像进 行截取的处理(图6的步骤A8)的流程图。

首先，控制部21在选择图像(鱼眼图像)正显示于触摸显示部26 的再现画面的状态下，读出预先附加给该鱼眼图像的摄像时的照相机的姿 势信息(步骤C1)，基于该姿势信息，调查是检测到进行了水平拍摄，还 是检测到进行了垂直拍摄(步骤C2)，在对鱼眼图像进行了垂直拍摄的情 况下(步骤C1中垂直拍摄)，从所确定的截取区域(大致梯形区域)内截取图像(步骤C3)，并且将该照相机朝向a～d的方向确定为地面方向 (步骤C4)。

另一方面，在基于照相机的姿势信息检测到对鱼眼图像进行了水平拍 摄的情况下(步骤C1中水平拍摄)，从所确定的截取区域(大致梯形区 域)内截取图像(步骤C5)，并且将从鱼眼图像的中心朝向其端部的方向 确定为该截取出的图像的地面方向(步骤C6)。即，无论鱼眼图像的摄像 时的地面方向如何，都将从鱼眼图像的中心朝向其端部的方向确定为截取 出的图像的地面方向。然后，进行将该截取出的图像向所确定的地面方向 旋转的处理(步骤C7)。另外，在检测是垂直拍摄还是水平拍摄时，只要 根据附加在该鱼眼图像上的姿势信息(加速度传感器的测定值)是否超过 了某规定的阈值来判定是垂直拍摄还是水平拍摄即可，当然也可以采用这 以外的方法来检测。

图9是用于详述显示处理(图6的步骤A11)的流程图。

首先，控制部21读出附加在鱼眼图像上的照相机的姿势信息(步骤 D1)，基于该姿势信息来确定校正图像的地面方向(步骤D2)。即，若照 相机的姿势信息是“水平拍摄”，则将鱼眼图像的外侧方向(从中心离开的 方向)确定为校正图像的地面方向。此外，若照相机的姿势信息是“垂直 拍摄”且该照相机朝向为a～d，则将该朝向a～d确定为校正图像的地面 方向。并且，在校正图像上附加表示地面方向的地面标记(印记)(步 骤D3)。然后，控制部21参照显示形式表23C，判别截取区域内的图像 (校正后的图像)的显示形式(步骤D4)。

图11是用于说明显示形式表23C的图，是存储多个在显示截取鱼眼 图像内的一部分图像并实施了失真校正后的校正图像的情况下，用于显示 截取了鱼眼图像内的哪个部分(位置)的显示形式的结构，具有“显示形 式”、“内容”、“选择标志”的各项目。“显示形式”表示显示形式的种类， 图示的例子是存储了“A”、“B”、“C”作为3种显示形式的情况。“内容”表 示所对应的显示形式的内容，显示形式“A”表示对鱼眼图像和校正图像进 行切换显示的形式，显示形式“B”表示将鱼眼图像重叠于校正图像的一部 分来进行显示的形式，显示形式“C”表示在鱼眼图像上的截取区域的位置 处重叠校正图像进行显示的形式。

“选择标志”表示3种显示形式之中预先由用户任意选择指定的显示 方式，图中，与显示形式“B”对应附随的“1(标志有效)”表示是通过用 户操作选择出的显示方式，“0(标志无效)”表示是未被选择的显示方式。 该情况下，若在将预先决定的多个显示形式一览显示(菜单显示)在触摸 显示部26上的状态下，从该菜单画面之中触摸(选择)任意的显示形式， 则控制部21访问显示形式表23C，将与该选择出的显示形式对应的“选择 标志”设为有效(“1”)。

现在，在显示形式“A”被用户选择(选择标志为有效)的情况下(步 骤D1)，在每次进行切换操作时，控制部21将鱼眼图像和带地面标记(印记)的校正图像切换显示在触摸显示部26的再现画面上(步骤D5)。 该情况下，使鱼眼图像或校正图像的地面方向对准再现画面的下方向来对 鱼眼图像和校正图像进行切换显示。图12A是示出显示形式A下的切换显示的例子的图。在该情况下，截取区域内的图像(校正图像)被放大显 示到再现画面的整体，所以对于用户来说，即使是其详细部分也都能够确 认，并且能够通过地面标记(印记)的附加而容易地确认地面方向。

在显示形式“B”被户选择(选择标志为有效)的情况下(步骤D1)， 在将带地面标记(印记)的校正图像放大显示到再现画面的整体的状态 下，控制部21在该再现画面(校正图像)的角部重叠将鱼眼图像缩小成 规定尺寸的图像来使其同时显示(步骤D6)。在该情况下，使鱼眼图像或 校正图像的地面方向对准再现画面的下方向。图12B是表示显示形式B下的同时显示的例子的图。对于用户来说，即使是校正图像的详细部分也 都能够确认，并且能够通过地面标记(印记)的附加而容易地确认地面 方向。

在显示形式“C”被用户选择(选择标志为有效)的情况下(步骤D1)， 在鱼眼图像上的截取区域的位置处重叠显示校正图像(步骤D7)。在该情 况下，截取区域内的图像(校正图像)例如被变更成鱼眼图像的整体的1 /8或1/12程度的尺寸，并且使该校正图像的中心对准触摸位置，并且， 按照使校正图像的地面方向成为鱼眼图像的外侧方向(在从鱼眼图像的中 心连结截取区域的中心的线上，从鱼眼图像的中心离开的方向)的方式使 鱼眼图像重叠显示。图12C是例示显示形式C下的同时显示的状态的图， 控制部21按照使校正图像的地面方向朝向鱼眼图像的外侧的方式来控制 其显示朝向。由此，对于用户来说，能够通过重叠显示于鱼眼图像上的校 正图像来确认截取出了鱼眼图像上的哪个部分(位置)，而且能够同时确 认校正图像，并且能够通过地面标记(印记)的附加而同时确认地面方向。

若这样而使显示处理(图5的步骤A11)结束，则调查是否指示了再 现结束(是否进行了解除再现模式的操作)(步骤A12)，或调查是否进行 了指示选择图像(鱼眼图像)的切换的切换操作(步骤A13)。这里，在 指示了再现结束的情况下(步骤A12“是”)，从图6的流程跳出，而在进 行了图像的切换操作的情况下(步骤A13“是”)，返回到最初的步骤A1， 以下，重复上述的动作。

如上，在本实施方式中，主体装置20的控制部21在从使用摄像装置 10的鱼眼透镜16B拍摄到的图像(鱼眼图像)内将其一部分的图像截取 为显示对象并对该截取区域内的图像实施失真校正来进行显示的情况下， 基于附加在鱼眼图像上的摄像时的姿势信息来确定校正图像的天地方向， 在使校正图像显示时，基于所确定出的天地方向，使该校正图像在触摸显 示部26上旋转来进行显示，所以在显示从鱼眼图像内截取其一部分并进 行了失真校正的图像的情况下，对于用户来说，无论进行了什么样的截取 都能够正确地确认该截取出的图像的天地方向。

主体装置20的控制部21在将表示是使鱼眼透镜16B的光轴方向相 对于地面成为大致垂直而进行了拍摄的水平拍摄的姿势信息附加给鱼眼 图像的情况下，在从鱼眼图像的中心连结截取区域(触摸位置)的线上， 将从鱼眼图像的中心离开的方向确定为校正图像的地面方向，所以能够准 确地确定从水平拍摄的鱼眼图像截取出的图像的地面方向。

主体装置20的控制部21在将校正图像重叠显示在水平拍摄到的鱼眼 图像内的截取区域的位置时，按照使校正图像的地面方向朝向鱼眼图像的 外侧的方式来控制其显示朝向，所以对于用户来说，能够容易地确认校正 图像的地面方向。

摄像装置10具备使用鱼眼透镜16B来摄像的摄像部16和检测摄像 装置10的姿势的姿势检测部27，在使用鱼眼透镜16B拍摄到的图像(鱼 眼图像)上附加由姿势检测部27检测到的姿势信息，所以能够容易的根 据鱼眼图像的姿势信息来确定从鱼眼图像截取出的图像的姿势。

主体装置20的控制部21在同时显示鱼眼图像和校正图像时，使鱼眼 图像的天地方向和校正图像的天地方向一致来显示，所以能够容易地对鱼 眼图像和校正图像进行对比。

主体装置20的控制部21在对鱼眼图像和校正图像进行切换来显示 时，使鱼眼图像的天地方向和校正图像的天地方向一致来显示，所以能够 在画面整体显示校正图像，即使是校正图像的详细部分也都能够确认。

由于识别显示校正图像的天地方向，所以对于用户来说，能够容易地 确认其天地方向。

由于在校正图像内附加了表示其天地方向的标记，所以对于用户来 说，能够直观地确认其天地方向。

另外，在上述实施方式中，虽然在校正图像内识别显示了其地面方向， 但也可以识别显示天空方向。

在识别显示校正图像的天地方向时，虽然附加了标记，但是该识别 显示的方法是任意的，例如，也可以使校正图像的一部分闪烁显示，或着 色显示，进一步地，不限于显示，例如，也可以作为声音消息来输出右上 角部、左下角部、下中央部等从而指引校正图像的天地方向。此外，在上 述实施方式中，虽然能够通过向校正图像上附加地面标记(印记)来确 认地面方向，但是也可以省略地面标记，并且使校正图像的地面侧始终为 显示画面的总是规定方向侧，例如使校正图像的地面侧成为显示画面的下 侧，这样来显示。

在上述实施方式中，作为显示形式A，示出了在每次切换操作时对鱼 眼图像和从该图像中截取并进行了失真校正后的校正图像进行切换显示 的情况，但是也可以并列显示鱼眼图像和校正图像。此外，也可以构成为 通过用户操作来对以下模式进行切换：在每次切换操作时对鱼眼图像和从 该图像中截取并进行了失真校正后的校正图像进行切换显示的模式；和将 鱼眼图像和校正图像并列显示的情况的模式。

在上述实施方式中，在确定截取区域的情况下，截取区域不限于梯形， 是任意的，但是由于例如鱼眼图像具有随着从其中心离开(朝向端部)而 摄影范围变广等特征，所以考虑该特征，为了越远(越朝向端部)则越增 多像素分量，也可以如梯形这样使截取区域变广等，根据距鱼眼图像的中 心的距离来使截取区域的大小分别不同。

此外，在上述实施方式中，在按照触摸位置来确定截取区域的情况下， 虽然确定为使触摸位置成为截取区域的中心，但是也可以预先将鱼眼图像 的整体在逻辑上分割为多个区域，当在鱼眼图像上进行了触摸时，将被分 割的各区域之中该触摸位置所属的区域确定为截取区域。另外，在将鱼眼 图像的整体预先分割成多个区域的情况下，也可以考虑鱼眼透镜16B的 特征，按照距鱼眼图像的中心的距离而使各分割区域的大小不同。

在上述实施方式中，在显示形式“C”的情况下，如图12C所示，使校 正图像的中心与鱼眼图像上的触摸位置对准，并且，使校正图像的地面方 向成为鱼眼图像的外侧方向，这样来进行重叠显示，但是也可以与此相反， 使校正图像的地面方向与鱼眼图像的内侧方向(中心方向)对准而进行重 叠显示。此外，在图12C的显示例中，例示了在鱼眼图像上重叠显示一 个校正图像的情况，但是在鱼眼图像上触摸了多个位置的情况下，也可以 按每个触摸位置来重叠显示在该位置处截取并进行了失真校正的图像。

此外，在上述实施方式中，说明了应用于将摄像装置10和主体装置 20分体化的分离类型的照相机的情况，但也可以应用于将它们一体化的 紧凑型照相机中，此外，也可以应用于固定地装配了鱼眼透镜16B的鱼 眼专用照相机中。

在上述实施方式中，示出作为图像显示装置而应用于数码照相机的情 况，但并不限于照相机，也可以是具备显示功能的个人计算机、PDA(面 向个人的便携式信息通信设备)、平板终端装置、智能手机等便携式电话 机、电子游戏机、电子表、音乐播放器等。

此外，在上述实施方式中示出的“装置”、“部”可以按功能分离成多 个框体，并不限于单一的框体。此外，上述流程图中记述的各步骤并不限 于时间序列的处理，也可以并行地处理多个步骤，或分别独立地进行处理。

以上，说明了本发明的实施方式，但本发明并不限于此，而是包含权 利要求书中记载的发明和其均等的范围。

Claims (8)

1.一种图像显示装置，其特征在于，具备：

截取单元，其从使用鱼眼透镜拍摄到的鱼眼图像内将其一部分作为截取区域对图像进行截取；

校正单元，其对通过所述截取单元而截取的图像的失真进行校正；

显示单元，其显示通过所述校正单元校正后的校正图像；

确定单元，其基于所述鱼眼图像摄像时的姿势信息来确定通过所述截取单元而截取并通过所述校正单元校正后的校正图像的天地方向；以及

显示控制单元，其在使所述显示单元显示所述校正图像时，基于通过所述确定单元而确定的天地方向来进行显示所述校正图像的控制，

所述确定单元在表示是使所述鱼眼透镜的光轴方向相对于重力方向成为大致相反方向而进行了摄像的水平拍摄的所述姿势信息被附加于所述鱼眼图像的情况下，在从鱼眼图像的中心起连结所述截取区域的线上将从鱼眼图像的中心离开的方向确定为所述校正图像的地面方向，

所述显示控制单元在进行使所述校正图像重叠显示在所述水平拍摄到的所述鱼眼图像内的所述截取区域的位置处的控制时，对所述校正图像的显示朝向进行控制，以使通过所述确定单元而确定的校正图像的地面方向朝向所述鱼眼图像的外侧。

2.根据权利要求1所述的图像显示装置，其特征在于，

还具备：

摄像单元，其使用鱼眼透镜进行摄像；以及

姿势检测单元，其在所述摄像单元进行的摄像时检测该装置的姿势，

所述确定单元基于通过所述姿势检测单元而检测到的姿势信息来确定校正图像的天地方向。

3.根据权利要求1或2所述的图像显示装置，其特征在于，

所述显示控制单元在进行将所述鱼眼图像和所述校正图像同时显示的控制时，进行使通过所述确定单元而确定的鱼眼图像的天地方向和所述校正图像的天地方向一致来进行显示的控制。

4.根据权利要求1或2所述的图像显示装置，其特征在于，

所述显示控制单元在对所述鱼眼图像和所述校正图像进行切换显示时，进行使通过所述确定单元而确定的鱼眼图像的天地方向和所述校正图像的天地方向一致来进行显示的控制。

5.根据权利要求1或2所述的图像显示装置，其特征在于，

所述显示控制单元进行对通过所述确定单元而确定的校正图像的天地方向进行识别显示的控制。

6.根据权利要求5所述的图像显示装置，其特征在于，

所述显示控制单元进行在所述校正图像内附加表示其天地方向的标记的控制。

7.一种图像显示装置中的图像显示方法，其特征在于，包括如下步骤：

截取步骤，从使用鱼眼透镜拍摄到的鱼眼图像内将其一部分作为截取区域对图像进行截取；

校正步骤，对所截取的图像的失真进行校正；

显示步骤，显示校正后的校正图像；

确定步骤，基于所述鱼眼图像摄像时的姿势信息来确定所述校正图像的天地方向；以及

显示控制步骤，在显示所述校正图像时，基于所确定的天地方向来进行显示所述校正图像的控制，

在所述确定步骤中，在表示是使所述鱼眼透镜的光轴方向相对于重力方向成为大致相反方向而进行了摄像的水平拍摄的所述姿势信息被附加于所述鱼眼图像的情况下，在从鱼眼图像的中心起连结所述截取区域的线上将从鱼眼图像的中心离开的方向确定为所述校正图像的地面方向，

在所述显示控制步骤中，在进行使所述校正图像重叠显示在所述水平拍摄到的所述鱼眼图像内的所述截取区域的位置处的控制时，对所述校正图像的显示朝向进行控制，以使通过所述确定步骤而确定的校正图像的地面方向朝向所述鱼眼图像的外侧。

8.一种计算机可读取的非易失性存储介质，其存储有具备显示单元的图像显示装置中的计算机所执行的程序，所述计算机所执行的所述程序执行如下步骤：

截取步骤，从使用鱼眼透镜拍摄到的鱼眼图像内将其一部分作为截取区域对图像进行截取；

校正步骤，对所截取的图像的失真进行校正；

显示步骤，显示校正后的校正图像；

确定步骤，基于所述鱼眼图像摄像时的姿势信息来确定所述校正图像的天地方向；以及

显示控制步骤，在显示所述校正图像时，基于所确定的天地方向来进行显示所述校正图像的控制，

在所述确定步骤中，在表示是使所述鱼眼透镜的光轴方向相对于重力方向成为大致相反方向而进行了摄像的水平拍摄的所述姿势信息被附加于所述鱼眼图像的情况下，在从鱼眼图像的中心起连结所述截取区域的线上将从鱼眼图像的中心离开的方向确定为所述校正图像的地面方向，

在所述显示控制步骤中，在进行使所述校正图像重叠显示在所述水平拍摄到的所述鱼眼图像内的所述截取区域的位置处的控制时，对所述校正图像的显示朝向进行控制，以使通过所述确定步骤而确定的校正图像的地面方向朝向所述鱼眼图像的外侧。