CN111133743A - 便携设备 - Google Patents

Abstract

在便携设备(100)中，不降低便利性地对用户适当地提供所需的周围的信息。具备：拍摄部(211)，以第一时间间隔获取将便携设备(100)的周围所有方向作为最大值的超广角度的图像；行进方向计算部(212)，以第二时间间隔计算便携设备(100)的行进方向；图像切出部(213)，每当行进方向计算部(212)计算出行进方向时，从最新的图像切出以行进方向为中心的预定范围的图像作为行进方向图像；以及显示控制部(214)，将行进方向图像显示于显示器(110)的行进方向显示区域(111)。另外，显示控制部(214)使用户指定的影像显示于显示器(110)的与行进方向显示区域(111)不同的第一显示区域(112)。

Description

便携设备

技术领域

本发明涉及便携设备。特别地涉及将行进方向的影像显示于便携设备的技术。

背景技术

便携设备具备拍摄装置和显示拍摄的图像的显示装置。有利用该便携设备将拍摄行进方向而得到的图像显示于显示装置的技术。例如，在专利文献1中，公开了“一种便携设备，其特征在于，具备：拍摄单元；方向确定单元，确定本设备的行进方向；拍摄控制单元，使所述拍摄单元对所述行进方向的影像进行拍摄；以及显示单元，显示所述行进方向的影像和根据用户的指示显示的图像(摘要摘录)。”。

现有技术文献

专利文献

专利文献1：日本特开2017-5335号公报

发明内容

根据专利文献1公开的技术，在便携设备的显示画面上同时显示根据用户的指示显示的图像和由拍摄单元拍摄的影像。此外，根据用户的指示显示的图像例如是游戏等应用的画面。然而，拍摄单元仅配置于便携设备的正面、右45度、左45度这3个方向，根据用户的行进方向的变化，切换为由某一个拍摄单元获取的图像。由于以45度为单位切换显示影像，所以对于用户而言无法容易观察。另外，由于显示由它们中的某一个拍摄单元获取的影像，所以未必限于用户的行进方向的影像。因此，对于一边观察便携设备的画面一边移动的用户而言，无法适当地提供所需的信息。

本发明是鉴于上述情形而完成的，其目的在于在便携设备中不降低便利性地对用户适当地提供所需的周围的信息。

本发明提供一种便携设备，是用户保持的便携设备，其特征在于，具备：拍摄部，以第一时间间隔获取将该便携设备的周围所有方向作为最大值的超广角度的图像；行进方向计算部，以第二时间间隔计算该便携设备的行进方向；图像切出部，每当所述行进方向计算部计算出所述行进方向时，从最新的所述图像切出以该行进方向为中心的预定范围的图像作为行进方向图像；以及显示控制部，将所述行进方向图像显示于该便携设备的显示器的预先设定的行进方向显示区域，所述显示控制部使用户指定的影像显示于所述显示器的与所述行进方向显示区域不同的第一显示区域。

在便携设备中，能够不降低便利性地对用户适当地提供所需的周围的信息。上述以外的课题、结构以及效果通过以下的实施方式的说明而明确。

附图说明

图1的(a)以及(b)是用于说明第一实施方式的概要的说明图。

图2是第一实施方式的便携设备的硬件结构图。

图3是第一实施方式的便携设备的功能块图。

图4的(a)以及(b)是用于说明第一实施方式的全景照相机的说明图。

图5的(a)是用于说明一般的照相机的光学系统结构的图，图5的(b)以及(c)分别是用于说明第一实施方式的全景照相机的光学系统结构的说明图。

图6是用于说明第一实施方式的像素位置和拍摄方向的关系的说明图。

图7的(a)以及(b)是用于说明第一实施方式的行进方向和像素位置的关系的说明图。

图8是第一实施方式的行进方向图像显示处理的流程图。

图9的(a)以及(b)分别是用于说明第二实施方式的概要的说明图。

图10是第二实施方式的便携设备的功能块图。

图11的(a)是第二实施方式的行进方向计算处理的流程图，图11的(b)以及(c)分别是用于说明第二实施方式的行进方向计算处理的说明图。

图12是用于说明第二实施方式的变形例的说明图。

图13的(a)～(c)是用于说明本发明的实施方式的变形例的照相机的说明图。

图14的(a)～(e)是用于说明本发明的实施方式的变形例的照相机的说明图。

图15的(a)以及(b)是用于说明本发明的实施方式的变形例的照相机的说明图。

图16的(a)～(e)是用于说明本发明的实施方式的变形例的照相机的说明图。

(符号说明)

100：便携设备；101：用户；105：网络；110：显示器；111：行进方向显示区域；112：第一显示区域；120：照相机；121：全景照相机；121a：广角照相机；121b：广角照相机；122：前表面照相机；123：背面照相机；124：照相机；124ag：拍摄视角；124ax：光轴；125：照相机；125ax：光轴；126：照相机；126ax：光轴；130：CPU；131：系统总线；140：存储装置；141：闪存存储器；142：SD-RAM；143：外部存储器I/F；150：传感器；151：GPS接收器；152：陀螺仪传感器；153：气压计；154：加速度传感器；155：地磁传感器；160：通信器；161：接近无线通信器；162：无线通信器；163：电话网通信器；164：无线LANI/F；170：硬SW；180：扩展I/F；211：拍摄部；212：行进方向计算部；213：图像切出部；214：显示控制部；215：动作控制部；216：通信处理部；217：行进方向校正部；221：图像存储部；222：数据存储部；223：地图存储部；311：光轴；320：图像传感器；320a：假想曲面；330：被摄体；411：行进方向；412：行进方向；416：分支点；417：道路；418：道路；419：道路；421：计算行进方向；422：当前位置；423：变换行进方向；424：行进方向候补；425：行进方向候补；429：道路；511：超广角镜头配件；512：超广角镜头配件；513：反射板、校正透镜；521：全景照相机；522：可伸缩的部件；531：配件；532：照相机；533：照相机；534：照相机；535：照相机；536：照相机；537：照相机；P：主点；TD：行进方向；f：焦距。

具体实施方式

以下，参照附图说明本发明的实施方式。以下，在本说明书中，对于具有同一功能的部分，只要没有特别区分，则附加同一符号，省略重复的说明。另外，以下，在本说明书中，将动画、静止图像一并地称为图像。

<<第一实施方式>>

首先，说明本发明的第一实施方式的概要。本实施方式的便携设备具备能够三维面地获取所有方向(360度全景(周围所有方向))的图像的照相机，持续地获取全景的图像。然后，从其中抽出用户的行进方向的图像，显示于便携设备的显示器。用户的行进方向由设置于便携设备的传感器来确定。

如图1的(a)所示，在本实施方式中，用户101携带便携设备100，一边观察其显示器110的显示一边移动。此时，在便携设备100中，预定的应用活动，如图1的(b)所示，该应用的图像显示于显示器110的一部分的区域112。另外，在显示器110的其他区域111中，显示用户101的行进方向的图像。

以下，将区域112称为第一显示区域112。另外，将区域111称为行进方向显示区域111。

在图1的(b)的例子中，作为预定的应用，例如游戏的应用活动。因此，在第一显示区域112中，显示与游戏的应用有关的图像。即，第一显示区域是显示任意的应用的图像的任意的APP画面。

另外，在行进方向显示区域111中，显示从由便携设备100具备的照相机120拍摄的图像中切出的用户101的行进方向的图像。在本实施方式中，照相机120常时获取便携设备100的周围360度的图像。然后，便携设备100根据自身具备的各种传感器信号，确定用户101的行进方向，抽出该方向的图像，在行进方向显示区域111中显示该图像。

说明实现上述内容的本实施方式的便携设备100的硬件结构。图2是本实施方式的硬件结构图。

如本图所示，便携设备100具备显示器110、照相机120、CPU130、存储装置140、传感器150、通信器160、硬件开关(硬SW)170、扩展接口(I/F)180以及系统总线131。

CPU130是控制便携设备100整体的微处理器单元。系统总线131是用于在CPU130与便携设备100内的各动作块之间进行数据发送接收的数据通信路径。系统总线131从CPU130延伸，对系统总线131连接有被CPU130控制或获取信息等的硬件。

存储装置140具备闪存存储器141、SD-RAM(Synchronous Dynamic Random AccessMemory，同步动态随机存取存储器)142以及外部存储器接口(I/F)143。

闪存存储器141作为存储设备发挥功能。在闪存存储器141中，储存操作系统等基本动作程序、其他动作程序、动作程序的动作所需的各种数据等。例如，还保存不被频繁地更新的地图数据等。

SD-RAM142是基本动作程序、其他动作程序执行时的工作区。

外部存储器I/F143例如是存储卡等外部存储器的连接接口。在外部存储器中，储存音乐数据、动画数据等虽然容量大但不看重存取速度的数据。外部存储器在本实施方式中例如储存由照相机120拍摄的图像文件、从网络下载的数据等。

此外，闪存存储器141以及SD-RAM142也可以与CPU130一体构成。另外，存储于闪存存储器141的各动作程序例如能够通过从网络105上的各分发服务器的下载处理来进行更新以及功能扩展。

通信器160具备接近无线通信器161、无线通信器162、电话网通信器163、无线LANI/F164。

接近无线通信器161例如是NFC标签读取器等，例如用于在购物时等读取粘贴于商品的NFC标签。无线通信器162例如是Bluetooth(蓝牙，日本注册商标)通信等的接口。电话网通信器163是通过与移动电话通信网络的基站的无线通信来进行通话以及数据的发送接收的接口。无线LANI/F164是经由公共的Wi-Fi站点等与网络105连接的I/F。

此外，通信器160还能够应用于便携设备100的当前位置的测定而利用。

传感器150是用于检测便携设备100的位置、状态的传感器群。在本实施方式中，例如，具备GPS(Global Positioning System，全球定位系统)接收器151、陀螺仪传感器152、气压计(高度计)153、加速度传感器154、地磁传感器155。

加速度传感器154检测便携设备100的加速度。在本实施方式中，检测对便携设备100设定的设备坐标系的x、y、z各轴方向的加速度。检测的值的单位是以重力加速度为基准的“G”(1.0G约为9.8m/s²)。对测定出的加速度进行一次积分，从而对便携设备100的移动速度进行再一次积分，由此能够分别计算便携设备100的移动距离。计算出的移动速度以及移动距离能够与其他传感器的检测结果一并地如后所述利用于便携设备100的行进方向、地图上的位置的计算。

陀螺仪传感器152检测便携设备100的姿势(倾斜)。在本实施方式中，检测以对便携设备100设定的设备坐标系的x、y、z各轴为中心的旋转的速度(角速度)。检测的角速度的单位是rad/s(每秒弧度)。

GPS接收器151是接收来自GPS卫星等测位卫星的信号而测定便携设备100的当前位置的电波接收处理部。气压计(高度计)153测量气压，根据测量出的气压计算当前的高度(标高)。地磁传感器155检测地磁的方向，输出便携设备100的方位。GPS接收器151检测的当前位置、气压计153测量的标高、地磁传感器155输出的方位例如作为将经度、纬度、标高设为x、y、z值的坐标系等的值而被输出。

通过这些传感器群，检测便携设备100的位置、倾斜、方角、动作等。此外，如上所述，通过GPS接收器151获取位置信息。但是，在GPS电波不易进入的场所等，也可以利用电话网通信器163通过使用基站的位置信息以及电话通信电波的传输延迟的位置信息获取方法来获取。另外，也可以经由无线LANI/F164使用Wi-Fi的AP(接入点)装置的位置信息来获取。另外，也可以无需一定具备这些传感器群的全部。

显示器110例如是液晶面板等显示设备，显示由CPU130处理后的图像数据，提供给用户。此外，在具备图像信号处理器的情况下，图像数据也可以由该图像信号处理器处理。不论哪种情况，都具备省略图示的视频RAM，根据被输入到视频RAM的图像数据来驱动显示器110。另外，CPU130或者图像信号处理器根据需要进行格式变换、菜单、其他OSD(On-Screen Display，屏上显示)信号的重叠处理等。

另外，在本实施方式中，显示器110还兼具受理针对便携设备100的操作指示的输入的操作器的功能。在本实施方式中，是在显示器110上重叠配置的触摸面板。

此外，还经由硬SW170受理操作指示。另外，也可以经由与扩展I/F180连接的键盘等操作器，受理对便携设备100的操作指示。另外，也可以经由通过有线通信或者无线通信连接的独立的便携信息终端设备，受理对便携设备100的操作指示。此外，硬SW170是用于操作便携设备100的电源SW等。

扩展I/F180是用于扩展便携设备100的功能的接口群。在本实施方式中，具备影像/声音I/F、USB(Universal Serial Bus，通用串行总线)I/F等。影像/声音I/F进行外部影像/来自声音输出设备的影像信号/声音信号的输入、外部影像/向声音输入设备的影像信号/声音信号的输出等。USBI/F与PC(Personal Computer，个人计算机)等其他装置连接而进行数据的发送接收。另外，也可以进行键盘、其他USB设备的连接。

照相机120是具备将经由透镜入射的光变换为电信号(数字信息)的图像传感器的拍摄装置。图像传感器例如是CCD(Charge-Coupled Device，电荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)等电子设备。此外，将从图像传感器输出的电信号称为RAW数据。

在本实施方式中，至少具备全景照相机121。全景照相机121是能够对便携设备100的周围所有方向(360度)进行拍摄的照相机。后述全景照相机121的详细内容。另外，也可以具备配置于便携设备100的显示器110侧的面的前表面照相机122和配置于便携设备100的与显示器110相反的一侧的面的背面照相机123。前表面照相机122例如对用户自身进行拍摄。另外，背面照相机123进行通常的拍摄。

[功能块]

接下来，说明本实施方式的便携设备100的功能。图3是本实施方式的便携设备100的功能块图。在此，特别地主要说明与行进方向拍摄显示功能相关的结构。

便携设备100具备拍摄部211、行进方向计算部212、图像切出部213、显示控制部214、动作控制部215、通信处理部216。另外，具备图像存储部221和数据存储部222。

拍摄部211是将以预定的时间间隔经由照相机120获取的RAW数据作为图像数据存储到图像存储部221的图像处理引擎。图像存储部221具备与照相机120的各图像传感器对应的像素存储器。拍摄部211对RAW数据实施各种图像处理，写入到对应的像素存储器。此外，在本实施方式中，也可以除了使用从照相机120输出的数据即RAW数据以外，还使用经由一般与照相机传感器一起搭载的信号处理LSI得到的JPEG等一般的图像数据来进行处理。

在本实施方式中，拍摄部211将由全景照相机121获取的便携设备100的周围360度的RAW数据作为全景图像存储到图像存储部221。后述各图像传感器的配置位置和由该图像传感器获取的RAW数据的拍摄方向的关系。此外，在向图像存储部221存储时，也可以将获取时刻也对应起来存储。另外，拍摄部211也可以包含于照相机120。

行进方向计算部212确定便携设备100的用户101的行进方向。使用传感器150的输出来确定行进方向。在本实施方式中，使用加速度传感器154的输出和陀螺仪传感器152的输出来确定。

在本实施方式中，例如通过累计加速度传感器154的设备坐标系的x、y、z、各轴方向的输出值(各轴的分量)，得到该时间点的各轴方向的速度，作为各轴方向的速度向量的合成值来确定行进方向。此时，使用陀螺仪传感器152的输出值，校正从基准的姿势起的各轴方向的倾斜量。例如，通过陀螺仪传感器152检测便携设备100的保持方向的倾斜向量。然后，使用该倾斜向量进行校正，以使得加速度传感器154的输出积分值(速度)成为相对地上的行进方向的速度。在本实施方式中，将行进方向例如计算为具有设备坐标系的各轴方向的分量的单位向量。将确定的行进方向输出到图像切出部213。

图像切出部213从存储于图像存储部221的最新的图像，切出与行进方向计算部212确定的行进方向对应的图像。在本实施方式中，例如，以用设备坐标表示的行进方向为中心，切出预定的尺寸(切出尺寸)的图像而抽出。抽出的图像(行进方向图像)被输出到显示控制部214。

此外，预先设定切出尺寸。另外，也可以使用加速度传感器154的输出，计算便携设备100的速度，根据速度确定切出尺寸。即，速度越快，则使切出尺寸越大。

另外，这样，在本实施方式中，行进方向计算部212计算出的行进方向用于确定作为行进方向图像切出的图像的中心。因此，拍摄部211将由照相机120获取的RAW数据存储到图像存储部221的定时和行进方向计算部212计算行进方向的定时最好同步。然而，无需一定同步。从照相机120常时以预定的帧频输出运动图像(RAW数据)。因此，只要在行进方向计算部212计算出行进方向的定时处理该时间点的最新的RAW数据即可。

动作控制部215控制上述行进方向显示功能以外的便携设备100的各种功能的动作。例如，各种功能是游戏功能、信息处理功能、通话功能、信息发送接收功能、网络检索功能等。其中，与显示相关的信息、图像数据、动画数据输出到显示控制部214。经由显示器110以及硬SW170输入来自用户的指示。

通信处理部216控制经由通信器160的通信。在本实施方式中，依照动作控制部215的指示控制通信。另外，动作控制部215经由通信器160获取控制所需的信息。

显示控制部214控制向显示器110的显示。在本实施方式中，如图1的(b)所示，将显示器110的显示区域分割成2个，以在行进方向显示区域111中显示从由全景照相机121获取的数据中得到的图像并且在第一显示区域112中显示用户指示的处理结果的图像的方式进行控制。即，在行进方向显示区域111中显示从图像切出部213接受的行进方向图像，在第一显示区域112中显示从动作控制部215接受的图像。

这些各部分是通过CPU130将预先储存于闪存存储器141的程序载入到SD-RAM142并执行而实现的。另外，图像存储部221和数据存储部222设置于闪存存储器141。

此外，在各部分进行处理时所需的数据被存储到数据存储部222。另外，在处理过程中计算出的中间数据、通过处理得到的最终数据也被存储到数据存储部222。

[全景照相机]

在此，说明本实施方式的全景照相机121。在说明全景照相机121时，以下，在本说明书中使用便携设备100固有的设备坐标系。在设备坐标系中，将便携设备100的例如重心设为原点，将与显示器110正交的轴设为z轴。另外，在与显示器平行的平面中，将短边方向设为x轴方向，将长边方向设为y轴方向。此外，原点不限定于重心。例如，也可以如后所述是全景照相机121的主点。

全景照相机121如图4的(a)以及图4的(b)所示由2个广角照相机121a和121b构成。各广角照相机121a例如在x轴方向以及y轴方向上分别具有180度的视角。

接下来，使用图5的(a)～图5的(c)说明全景照相机121的光学系统。

图5的(a)是说明一般的照相机的光学系统结构的图。一般，将视为透镜的中心的点称为主点P。在从主点P起距离f的位置处配置图像传感器320。f是光学透镜的焦距。

如图5的(a)所示，在照相机的光学系统中，来自拍摄的对象物(被摄体)330的所有部位的光一定通过主点P而被投射到图像传感器320。这即使在使用具有预定的口径的光学透镜的情况下，即便将被称为针孔透镜的例如在薄的纸上设有直径无限接近零的孔的部位设置为主点，也是同样的。

使用该光学系统在使被摄体330的下端与透镜的光轴311对准的状态下进行拍摄。此外，被摄体330的上端的点以与光轴311所成的角度即视角(入射角)θv的角度入射到透镜，被投射到图像传感器320的位置ya。此时，用以下的式(1)计算位置ya的值。

ya＝f·tanθv…(1)

能够通过该光学系统拍摄的最大视角θmax依赖于焦距f和图像传感器320的大小。例如，为了使最大视角θmax接近90度，需要尽可能减小焦距f、尽可能增大图像传感器320的大小。本方式的拍摄视角再大也是θmax＝50度程度，上下合起来大致至100度程度被设为实际使用范围。

本实施方式的全景照相机121如上所述在y轴方向以及x轴方向上背对背地设置2台具有180度的视角的广角照相机121a以及121b。将主点P设为设备坐标系的原点，将透镜的光轴311设为z轴方向，以下进行说明。

在该情况下，如图5的(b)所示，以y轴方向的入射角θv入射到透镜的光被投射到设为半径f的假想曲面320a上。用以下的式(2)计算该情况下的被摄体330的上端的假想曲面320a上的投射位置yb。

yb＝f·θv…(2)

即，在设备坐标系中以y轴方向的入射角θv入射的光在假想曲面320a上的位置yb成像。

同样地，如图5的(c)所示，以x轴方向的视角(入射角)θh入射到透镜的光在半径f的假想曲面320a上的位置xb成像。用以下的式(3)计算该情况下的被摄体330的上端的假想曲面320a上的投射位置xb。

xb＝f·θh…(3)

因此，x轴方向、y轴方向的入射角即拍摄方向(θh，θv)和假想曲面320a上的成像坐标(xb，yb)的关系用以下的式(4)表示。

(xb，yb)＝(f·θh，f·θv)…(4)

实际的图像传感器并非由球面构成，而是由如图5的(a)所示的平面构成。本实施方式的全景照相机121例如如图6所示以在与从光轴311起的距离xb、yb对应的位置成像的方式构成光学系统(等距离射影方式)。

拍摄部211根据被摄体330的方向(光的入射方向；x轴方向的入射角θh和y轴方向的入射角θv)，将用式(4)计算出的位置的图像传感器所获取的RAW数据写入到对应的像素位置的图像存储器，保存为图像数据。

此外，为了使用图5的(a)所示的平面构造的图像传感器320实现图5的(b)所示的光学系统，例如使用将从设置有鱼眼透镜的原点观察的图像直接贴附于假想的半球面并且以使光线入射的角度和像高成比例的方式在成像面上形成图像的鱼眼透镜。具体而言，例如，通过以如日本特开2009-058648号公报的图6公开的复杂的透镜结构构筑光学系统，能够用与图5的(a)相当的平面构造的图像传感器320获取上述图像。

[切出中心像素计算方法]

接下来，说明从由上述全景照相机121获取的图像切出行进方向的图像的方法。图像切出部213在切出时根据行进方向计算部212计算出的行进方向的x轴方向分量、y方向分量以及z分量，计算θv和θh，将对应的像素(xb，yb)确定为切出中心像素。然后，以切出中心像素为中心，将预定范围的像素群作为行进方向图像抽出。与显示器110的分辨率相应地预先设定抽出的像素群的范围。

行进方向计算部212将行进方向TD计算为设备坐标系的例如单位向量。例如，如图7的(a)所示，在得到行进方向TD的情况下，图像切出部213首先在xz平面上设下垂直线，计算行进方向TD的与x轴方向的入射角θh相当的角度TDh。另外，在yz平面上设下垂直线，计算行进方向TD的与y轴方向的入射角θv相当的角度TDv。

此外，如图7的(b)所示，在将作为行进方向TD得到的单位向量的各轴方向的分量设为xp、yp、zp时，TDh、TDv分别用以下的式(5)、式(6)表示。

TDh＝arctan(xp/zp)…(5)

TDv＝arctan(yp/zp)…(6)

因此，切出中心像素(xb，yb)的各分量用以下的式(7)、式(8)表示。

xb＝f·TDh＝f·arctan(xp/zp)…(7)

yb＝f·TDv＝f·arctan(yp/zp)…(8)

图像切出部213根据行进方向计算部212计算出的行进方向的单位向量的各轴方向的分量，按照上述步骤求出切出中心像素，以该像素为中心，切出预定范围的像素群，设为行进方向图像。

[行进方向图像显示处理]

接下来，说明本实施方式的便携设备100的行进方向图像显示处理的流程。图8是本实施方式的行进方向图像显示处理的处理流程。以受理了便携设备100的行进方向显示功能的开始的指示为契机，以预定的时间间隔执行本处理。预定的时间间隔例如被设定为每1秒、每10秒等极短的期间。此外，经由显示器110或者经由硬SW170，受理行进方向显示功能开始的指示。

此外，在下述说明中，设为拍摄部211的图像获取定时即向图像存储部221的图像存储定时和行进方向计算部212的行进方向计算定时同步而进行说明。

首先，拍摄部211进行将由照相机120获取的图像存储到图像存储部221的拍摄(步骤S1101)。此时，各拍摄区域的数据存储到用上述式(4)确定的像素位置。

另外，行进方向计算部212根据由传感器150获取的信号，计算便携设备100的行进方向TD(步骤S1102)。将计算结果设为用设备坐标系的各轴方向的分量表示的单位向量。

此外，先进行拍摄部211的图像获取处理和行进方向计算部212的行进方向确定处理中的哪一个都可以。

在行进方向计算部212获取行进方向后，图像切出部213用上述方法确定与行进方向TD对应的切出中心像素(xb，yb)，切出行进方向图像(步骤S1103)。

显示控制部214在行进方向计算部212切出行进方向图像后，将在行进方向显示区域111中显示的图像更新为新切出的图像(步骤S1104)，结束处理。

在该期间，动作控制部215依照来自用户的指示，使其他应用动作，在第一显示区域112中显示关联图像。

如以上说明，本实施方式的便携设备100具备：拍摄部211，以第一时间间隔获取该便携设备100的周围所有方向的图像；行进方向计算部212，以第二时间间隔计算该便携设备100的行进方向TD；图像切出部213，每当行进方向计算部212计算出行进方向时，从最新的图像切出以该行进方向TD为中心的预定范围的图像作为行进方向图像；以及显示控制部214，将行进方向图像显示于该便携设备的显示器110的预先设定的行进方向显示区域111。此外，显示控制部214使用户指定的影像显示于显示器110的与行进方向显示区域111不同的第一显示区域112。

这样，根据本实施方式，便携设备100的显示器110具备：行进方向显示区域111，显示行进方向的影像；以及第一显示区域112，显示与用户执行的应用有关的图像和/或信息。另外，以极短的预定的时间间隔计算用户的行进方向，将以该行进方向为中心的预定范围的图像大致实时地显示于行进方向显示区域111。

因此，用户能够与应用的显示同时地观察行进方向的影像。另外，行进方向的影像是从以极短的时间间隔始终获取的全景图像切出的影像。追随用户的行进方向的变化而平滑地变化。因此，不会使便利性降低，而能够适当地提供对用户所需的周围的信息。

由此，在本实施方式的便携设备100中，在其他应用启动时，行进方向的图像也显示于显示器110。因此，用户101即使在其他应用执行时，也能够确认行进方向的状况。因此，能够事先识别行进方向前方的障碍物，例如能够避免向其他人、物等障碍物的碰撞。

<<第二实施方式>>

接下来，说明本发明的第二实施方式。在第一实施方式中，仅使用来自搭载于便携设备100的传感器的信号计算行进方向。相对于此，在本实施方式中，在行进方向的确定中还加入地图数据的信息。

本实施方式的便携设备100具有基本上与第一实施方式同样的结构以及功能。以下，着眼于与第一实施方式不同的结构，说明本实施方式。

如图9的(a)所示，用户101步行的道路419存在弯曲的情况。在这样的情况下，在仅使用搭载于便携设备100的传感器确定行进方向时，行进方向TD例如被确定为箭头411的方向。然而，实际上用户101行进的方向是箭头412的方向。在本实施方式中，使用地图数据校正计算出的行进方向。

实现上述内容的本实施方式的便携设备100的硬件结构与第一实施方式相同。图10示出本实施方式的便携设备100的功能块图。本实施方式的便携设备100的功能块基本上与第一实施方式相同。

但是，在本实施方式中，除了具备第一实施方式的结构以外，还具备行进方向校正部217。另外，在闪存存储器141中，还具备存储地图数据的地图存储部223。此外，地图存储部223也可以设置于外部存储器等。例如，经由通信器160从网络上获取地图数据。

地图数据例如设为用点、线以及多边形这3个要素的坐标、连接关系表现地上物的向量地图数据。以下，作为在地图数据中使用的坐标，例如有UTM坐标系、平面直角坐标系、WGS84坐标系等。以下，在本说明书中，使用设定基准点并且用纬度、经度以及标高表现各坐标值的坐标系(地理坐标系)。

本实施方式的行进方向计算部212用与第一实施方式同样的方法确定便携设备100的行进方向TD。以下，将行进方向计算部212使用加速度传感器154以及陀螺仪传感器152的输出而计算出的行进方向TD称为计算行进方向。

行进方向校正部217校正计算行进方向。使用地图数据和GPS接收器151获取的便携设备100的当前位置的信息进行校正。将校正后的行进方向称为校正行进方向。

[校正行进方向计算处理]

使用图11的(a)以及图11的(b)说明行进方向计算部212的校正行进方向计算处理的流程。图11的(a)是校正行进方向计算处理的处理流程。

首先，行进方向计算部212用第一实施方式的方法计算计算行进方向421(步骤S2101)。计算行进方向421如图11的(b)所示被计算为便携设备100的设备坐标系下的单位向量。

接下来，行进方向校正部217根据来自GPS接收器151的信号，确定便携设备100的当前位置422(步骤S2102)。当前位置如图11的(c)所示被计算为地理坐标系的值。

然后，行进方向校正部217将设备坐标系的原点作为当前位置422，将计算行进方向421变换为地理坐标系的值，计算变换行进方向423(步骤S2103)。另外，行进方向校正部217根据地理坐标系下的当前位置422的信息和地图数据，确定便携设备100的用户101当前所处的道路429(步骤S2104)。

行进方向校正部217在确定道路429后，使用地图数据计算行进方向候补(步骤S2105)。行进方向候补例如设为通过当前位置422上的道路429的延伸的方向以及预定范围内的分支路的延伸的方向。例如，在图11的(c)的例子中，作为行进方向候补，抽出行进方向候补424和行进方向候补425这2个方向。此外，抽出行进方向候补的范围可以预先设定，也可以构成为根据从加速度传感器154的输出得到的用户101的速度来确定。

然后，行进方向校正部217关于变换行进方向423，计算抽出的各行进方向候补424、425的分量。还包含正负在内地计算分量。然后，将分量最大的方向确定为校正行进方向(步骤S2106)。例如，在图11的(c)的例子中，行进方向候补424方向的分量是正的值。另一方面，行进方向候补425方向的分量是负的值。因此，行进方向候补424被确定为校正行进方向。

然后，行进方向校正部217将确定的校正行进方向变换为设备坐标系(步骤S2107)，结束处理。

此外，确定行进方向后的处理与第一实施方式相同。但是，在本实施方式中，代替计算行进方向421而使用校正行进方向由图像切出部213切出图像。

如以上说明，本实施方式的便携设备100除了具备第一实施方式的结构以外，还具备使用地图数据校正计算出的行进方向的行进方向校正部217。即，根据本实施方式，还使用地图数据确定行进方向。因此，能够以更高的精度确定行进方向，在移动中对用户提供所需的信息。

另外，根据本实施方式，例如，即使在如图9的(b)所示那样道路419在行进方向的前方分支成道路417和道路418的情况下，也能够以高的精度对用户101持续提供行进方向的信息。

保持便携设备100的用户101随着接近分支点416，将行进方向变更为想要前进的道路的方向。在本实施方式中，从抽出的多个行进方向候补中，选择计算行进方向(变换行进方向)423的分量大的行进方向候补。因此，作为校正行进方向，将用户想要前进的道路的方向计算为校正行进方向的可能性高。

例如，在图9的(b)的例子中，在道路419上步行的用户101想要从分支点416向道路417前进的情况下，用户101沿着道路419移动至分支点416。因此，关于计算行进方向(变换行进方向)423的分量，道路419的延伸方向的道路418方向变大。因此，道路418的延伸方向被计算为校正行进方向，对应的行进方向图像显示于显示器110。

随着接近分支点416，用户101将行进方向朝向道路417的方向。由此，在预定的定时，作为计算行进方向(变换行进方向)423的分量最大的行进方向候补，选择道路417的延伸方向。然后，道路417的延伸方向被确定为校正行进方向，对应的行进方向图像显示于显示器110。

此外，行进方向也可以构成为能够由用户101指定。在该情况下，行进方向校正部217经由显示器110受理来自用户的行进方向的指示。具体而言，例如，如图12所示，用户101在画面中显示出的行进方向图像上例如通过轻击等指定期望的行进方向。

响应于来自用户101的指定，行进方向校正部217参照显示的行进方向图像和地图数据，确定校正行进方向。

<变形例>

此外，在上述各实施方式中，作为成为切出行进方向图像的源的图像，获取全天球的图像，但不限定于此。只要是将周围所有方向作为最大值的超广角度图像即可，例如，也可以是半天球的图像。进而，也可以是便携设备100的例如以y轴为中心轴的圆筒面的图像。

例如，如图13的(a)所示，也可以是能够对便携设备100的背面侧的预定范围进行摄像的照相机124。在该情况下，照相机124被配置为在便携设备100的顶端(上端)处使其光学系统的光轴124ax相对作为便携设备100的中心轴之一的y轴向便携设备100的背面侧倾斜Δax。

一般，用户101以从正对用户101的垂直位置向显示器110的画面朝上的方向稍微倾斜的角度保持便携设备100。在使便携设备100的y轴和光轴124ax一致时，照相机124成为朝向上空的状态，有效拍摄区域减少。与用户101的这样的保持姿势对应地，在本变形例中，如上所述配置照相机124以增加地面侧的拍摄角度。

图13的(b)示出如图13的(a)所示配置照相机124的情况下的、从正面观察便携设备100时的拍摄视角124ag。使拍摄视角124ag为超过180度的广角。在作为广角且能够适度地确保分辨率的平衡下，选定该照相机124的视角和传感器像素数。

通过使照相机124为这样的结构，即使并非全景照相机121，另外，即使是行进方向和便携设备100的保持方向大幅不同的情况，也能够得到行进方向的图像。

另外，也可以如图13的(c)所示具备2个广角的照相机125和126在便携设备100的前表面和背面成预定的角度配置的结构的照相机。2个广角的照相机125、126分别被配置为光轴125ax、126ax与便携设备100的z轴成预定的角度。在图13的(c)所示的例子中，预定的角度是θb(0°<θb<180°)。在该情况下，例如，由2个广角的照相机125、126分别获取的源数据分别被配置到单独的像素存储器。

由此，即使两个照相机125、126的视角分别是180度以内，通过合成两个照相机125、126的拍摄图像，也能够补偿相互的照相机125、126的死角而得到广范围的图像。

此外，也可以在前表面照相机122以及背面照相机123安装配件来实现全景照相机。使用图14的(a)～图14的(e)说明该情况的结构例。

在本变形例中，在前表面照相机122以及背面照相机123上分别安装超广角镜头配件511、512，实现全景照相机。

超广角镜头配件511、512是如图14的(c)以及图14的(d)所示那样覆盖到通常的视角的照相机而实现超广角摄像的配件。例如，由广角转换镜头等构成。如图14的(e)所示，使超广角镜头配件511、512分别从前表面照相机122以及背面照相机123的镜头上覆盖。

此外，例如在便携设备100是一般的智能手机的情况下，如图14的(a)以及图14的(b)所示，前表面照相机122的安装位置的x坐标以及y坐标和背面照相机123的安装位置的该坐标是不同的。因此，两者的光轴不同。为了校正该差异，也可以在超广角镜头配件511、512内设置反射板群、校正透镜群513。

如图14的(e)所示，使反射板群、校正透镜群513的配置位置变化，从而进行视差偏移调整，使由超广角镜头配件511、512实现的超广角透镜的光轴一致。由此，通过前表面照相机122以及背面照相机123实现全景拍摄。此外，构成校正透镜群513的反射镜配置为成45度。这是为了将外部光准确地照射到传感器(前表面照相机122以及背面照相机123)。

图15的(a)以及图15的(b)示出全景照相机121的其他变形例。

在本变形例中，通过将外装的全景照相机521作为配件连接到便携设备100，实现全景照相机121。经由作为扩展I/F180设置的USBI/F等进行连接。

外装的全景照相机521例如也可以具备可伸缩的部件522。由此，能够好像伸出头那样从高的位置进行广范围的拍摄。

进而，图16示出其他例子。图16的(a)～图16的(e)所示的变形例是将便携设备100构成为能够3D拍摄的规格的例子。

在本变形例中，在便携设备100的前表面、背面以及上表面分别搭载多个照相机。在本变形例中，通过经由USBI/F等连接具备多个照相机532～537的配件531来实现。

在图16的(a)～图16的(e)的例子中，在与便携设备100连接的配件531的前表面部分配置2个(照相机532、533)，在背面部分配置2个(照相机534、535)，在上部配置2个(照相机536、537)，配置合计6个照相机。

在各面分别具备多个照相机的情况下，例如与在前表面具备1个、在背面具备1个的情况相比，能够缩减各照相机的视角的范围。由此，能够实现全景摄像的高分辨率化。即，与用2个照相机对全景180度进行摄像的情况相比，在用4个照相机对该范围进行摄像时，如果各照相机的分辨率相同，则能够以约2倍的分辨率进行摄像。这样，通过增加照相机个数，能够提高摄像影像的分辨率。

此外，在该情况下，在未使各照相机的设置位置对准时，易于产生视点的偏移、所谓视差。因此，照相机的设置位置最好对准。使设置位置对准例如是指，对于相同的面的照相机群，使y轴方向的坐标值对准，对于不同的面的照相机群，使x轴方向的坐标值对准。此外，即使未这样使配置位置对准，也可以通过对拍摄的图像数据实施图像处理来校正上述偏移。

另外，在各面配置的2个照相机之间设置预定的间隔。即，将基线长设定为预定的距离。由此，能够实现超广角3D影像的摄像。在该情况下，为了前表面的照相机532、533与背面的照相机534、535之间也得到充分的基线长，也可以将配件531的厚度设定为与基线长相同的程度。由此，无论相对便携设备100的哪个方向，都能够实现具有充分的基线长的多个照相机配置。

此外，在各照相机之间无法设定充分的基线长的情况下，也可以通过对得到的数据实施预定的图像处理来校正。

本发明不限于上述实施方式，包括各种变形例。例如，上述实施方式是用于易于理解地说明本发明的例子，未必限定于具备说明的所有结构的例子。另外，能够将某个实施方式的结构的一部分置换为其他实施方式的结构，另外，还能够对某个实施方式的结构加上其他实施方式的结构。另外，能够对各实施方式的结构的一部分进行其他结构的追加、删除、置换。

另外，上述各结构、功能、处理部、处理手段等也可以例如通过用集成电路设计等而用硬件实现它们的一部分或者全部。

另外，控制线、信息线表示在说明上被认为是必要的，不限于表示在产品上必须的所有控制线、信息线。也可以认为实际上几乎所有结构相互连接。

Claims (6)

1.一种便携设备，是用户保持的便携设备，其特征在于，具备：

拍摄部，以第一时间间隔获取将该便携设备的周围所有方向作为最大值的超广角度的图像；

行进方向计算部，以第二时间间隔计算该便携设备的行进方向；

图像切出部，每当所述行进方向计算部计算出所述行进方向时，从最新的所述图像切出以该行进方向为中心的预定范围的图像作为行进方向图像；以及

显示控制部，将所述行进方向图像显示于该便携设备的显示器的预先设定的行进方向显示区域，

所述显示控制部使用户指定的影像显示于所述显示器的与所述行进方向显示区域不同的第一显示区域。

2.根据权利要求1所述的便携设备，其特征在于，

还具备检测该便携设备的加速度的加速度传感器以及检测该便携设备的姿势的陀螺仪传感器，

所述行进方向计算部使用所述加速度传感器以及所述陀螺仪传感器的输出，计算所述行进方向。

3.根据权利要求2所述的便携设备，其特征在于，还具备：

电波接收处理部，接收来自测位卫星的电波，确定该便携设备的当前位置；

地图数据；以及

行进方向校正部，校正所述行进方向计算部计算出的行进方向，计算校正行进方向，

所述行进方向校正部使用所述当前位置和所述地图数据，确定所述当前位置下的道路，将该道路的延伸方向设为所述校正行进方向。

4.根据权利要求3所述的便携设备，其特征在于，

所述行进方向校正部使用所述地图数据，确定从确定的所述道路起的以所述当前位置为中心的预先确定的范围的分支路，将所述道路以及所述分支路各自的延伸方向设为行进方向候补，将该行进方向候补中的最靠近所述行进方向的方向设为所述校正行进方向。

5.根据权利要求1至4中的任意一项所述的便携设备，其特征在于，

具备具有180度以上的视角的广角照相机，

所述拍摄部通过在针对每个拍摄方向预先对应起来的像素位置储存用所述广角照相机获取的数据，获取所述图像，

所述图像切出部将和与所述行进方向相同的方向的所述拍摄方向对应起来储存的像素位置作为所述中心。

6.根据权利要求5所述的便携设备，其特征在于，

所述广角照相机构成为在该便携设备的前表面和背面分别安装各自视角为180度的2个照相机。

Images