CN109240427A - 电子设备的显示方法 - Google Patents

Abstract

提供一种电子设备的显示方法，该电子设备通过利用显示屏的柔性的特征根据显示屏的三维形状来在显示屏上显示物体(体)。所述显示方法包括如下步骤：在所述电子设备的显示屏上显示物体，所述显示屏具有柔性；获取所述显示屏上的所述物体和所述物体在其上进行移动的场的位置数据；基于所述位置数据计算所述显示屏的三维形状；检测所述物体上的触摸输入；以及执行物体移动模式。

Description

电子设备的显示方法

本申请是申请日为“2013年4月24日”、申请号为“201380024451.2”、题为“电子设备、存储介质、程序以及显示方法”的分案申请。

技术领域

本发明涉及一种其显示屏具有柔性的电子设备、储存用于在该电子设备中执行显示的程序的存储介质、用于在该电子设备中执行显示的程序、以及在该电子设备中执行显示的方法。

背景技术

近年来，诸如移动电话机、智能手机之类的便携式信息终端、便携式音乐播放设备、便携式游戏机、以及包括显示装置的具有高性能的其他消费者便携式电子设备变得如此普及以致改变了现代人的生活方式。

这种便携式电子设备的研发进一步被提升；还有这种设备的多功能化、对诸如小型化、轻量化之类设备外形特征方面的研发也积极进行。此外，作为下一代的便携式电子设备，正积极研究开发形式为薄片(sheet)的柔性电子设备。

专利文献1所公开的电子书阅读器具有柔性框体以及检测该电子书阅读器的弯曲部分的位置传感器及弯曲传感器。基于由该位置传感器及该弯曲传感器的检测结果来切换显示部上显示的内容，藉此由于外壳的柔性用户可在不使用鼠标或按钮的情况下控制显示。

[参考文献]

[专利文献]

[专利文献1]日本专利申请公开2010-157060号公报

发明内容

其中，在这种柔性便携式电子设备中，虽然可以利用其柔性进行操作，但是所显示的静态图像或动态图像是平面的，因此显示屏及安装有该显示屏的电子设备的柔性的不充分地被利用。由此，产品设计未实现显示屏的柔性与电子设备的多种功能的协同效应，这使包括柔性的显示部的电子设备对用户来说缺乏吸引力。

鉴于上述内容，本发明的一个实施例目的在于提供一种电子设备，该电子设备通过利用显示屏的柔性，根据显示屏的三维形状在该柔性显示屏上显示物体(体)。

本发明的一个实施例的另一个目的在于提供一种程序，该程序通过利用显示屏的柔性，根据显示屏的三维形状在该柔性显示屏上显示物体。

因此，本说明书所公开的发明的结构的一个实施例是一种电子设备，该电子设备包括：显示部，该显示部包括在显示屏上显示物体的柔性显示装置；检测部，该检测部检测显示屏上的给定部分的位置数据；以及运算部，该运算部基于该位置数据算出显示屏的三维形状，并且根据已算出的显示屏的三维形状对物体的动作进行运算以使将显示的物体根据给定规律移动。

此外，本说明书所公开的发明的结构的另一个实施例是一种储存有程序的计算机可读取存储介质，该程序用来使包括在显示屏上显示物体的柔性显示装置的电子设备执行如下检测显示屏的指定部分的位置数据的第一步骤；基于该位置数据算出显示屏的三维形状的第二步骤；根据已算出的显示屏的三维形状对物体的动作进行运算，以使将显示的物体根据给定规律移动的第三步骤；以及将所运算的物体的动作显示在显示屏上的第四步骤。

本说明书所公开的发明的结构的又一个实施例是一种程序，该程序用来使包括在显示屏上显示物体的柔性显示装置的电子设备执行检测显示屏的指定部分的位置数据的第一步骤；基于该位置数据算出显示屏的三维形状的第二步骤；根据已算出的显示屏的三维形状对物体的动作进行运算，以使将显示的物体根据给定规律移动的第三步骤；以及将所运算出的物体的动作显示在显示屏上的第四步骤。

本说明书所公开的结构的又一个方式是一种显示方法，该方法使用包括在显示屏上显示物体的柔性显示装置的电子设备，且该方法包括检测显示屏的指定部分的位置数据的步骤；基于位置数据算出显示屏的三维形状的步骤；根据已算出的显示屏的三维形状对物体的动作进行运算，以使将显示的物体根据给定规律移动的步骤；以及将所运算出的物体的动作显示在显示屏上的步骤。

根据本发明的电子设备在其范畴内包括便携式电子设备诸如移动电话、PHS、智能手机、个人计算机、个人数字助理(PDA)、平板PC、膝上型PC、小型计算机、电子书阅读器(电子纸)、电子词典、电子笔记本、计算器、导航系统、数字相框、图像再现装置、IC录音机、以及便携式游戏机。

在柔性显示屏以及包括该柔性显示屏的电子设备中，例如其中多个传感器被配置为矩阵状的检测部被直接设置在包括柔性显示屏的显示装置之下。组合由每个传感器等所检测出的位置数据，并且算出显示部的弯曲形状。显示屏的弯曲形状(显示屏的三维形状)，将物体显示为根据给定规律移动。

注意，“显示屏的三维形状”是指由于对电子设备或显示装置施加外力而变形(弯曲或屈曲等)的显示屏的物理形式，其可由三维空间坐标所界定。因此，三维形状在其范畴内还包括变形之前或之后的二维形状(即，没有弯曲的平坦的形状)。

“根据显示屏的三维形状，将物体显示为根据给定规律移动”是指例如，在其中显示屏朝下弯曲时，显示屏上显示的物体(体)被显示为根据例如诸如重力等自然界的力量的虚拟地施加到物体而移动。物体既可以是固体(如骰子(dice)、落叶、和玻璃球)又可以是液体(如，水)。此外，自然界中的所有事物，包括气体、粉末可被定义为物体。由此，用户能够感受到好像在电子设备的表面上存在有物体的真实感。

此外，物体也可以是生物。例如在电子游戏等中，物体可以为人、动物、植物、或虚构生物形式的形象。

“给定规律”是指可由给定方程式表述的规律。例如，其指的是自然界的物理规律，尤其是定义物体运动的规律。更特定的示例是指可由视觉上(visually)描述刚体或流体等的重力、引力、摩擦力、空气阻力、运动的力学的运动方程所表达的规律。然而，“给定规律”不局限于自然界的物理规律。例如，为了增加视觉效果，例如，给定规律可以是以偏离自然界的物理规律所强调的规律，或是藉此物体逆重力漂浮的违反自然规律的规律。此外，上述方程式并不需要严格地表示自然界的物理规律，也可以是伪方程式或简化的方程式。

为了算出电子设备的显示屏的三维形状，检测部具有设置在多个给定位置的传感器。例如，可在显示屏附近以矩阵状配置多个位置传感器作为传感器，以使位置传感器检测相对的位置坐标。此外，也可以在显示屏附近以矩阵状配置多个加速度传感器作为传感器，以使加速度传感器检测出伴随显示屏的变形的各部的加速度的相对变化。传感器不局限于此，且可以是向其施加例如机械、电磁、热、声、或化学方法的传感器，只要传感器可检测出为了算出显示屏的三维形状所需要的参数。例如，可使用加速度传感器、角速度传感器、振动传感器、压力传感器、陀螺仪传感器等作为传感器。此外，也可以组合多个这些传感器而使用。

注意，本发明在其范围中包括其中可实现本发明的操作的方法、硬件(如，电子设备、计算机、半导体装置、存储介质)、系统、程序、软件等。

可以提供一种电子设备，该电子设备通过利用显示屏的柔性，根据显示屏的三维形状在柔性显示屏上显示物体。

可以提供一种程序，该程序通过利用显示屏的柔性，根据显示屏的三维形状在柔性显示屏上显示物体。

因此，可以提供一种用户界面(UI)，该UI可以使用户感受好像显示在显示屏上的物体存在于电子设备的表面上的真实感。

附图说明

图1A至图1D说明电子设备的一个方式。

图2是说明电子设备的硬件结构的一个方式的方框图。

图3是说明存储器的结构的方框图。

图4是说明电子设备的一个方式的功能方框图。

图5A和图5B说明数据结构。

图6A至图6C说明显示在显示屏上的物体的动作。

图7是示出物体的显示步骤的流程图。

图8是示出物体的显示步骤的流程图。

图9是示出物体的显示步骤的流程图。

图10是示出物体的显示步骤的流程图。

图11是示出物体的显示步骤的流程图。

图12是示出物体的显示步骤的流程图。

图13是示出物体的显示步骤的流程图。

图14A至图14C说明显示在显示屏上的物体的动作。

图15A和图15B说明显示在显示屏上的物体的动作。

图16A和图16B各自说明显示在显示屏上的物体的动作。

图17A和图17B各自说明显示在显示屏上的物体的动作。

图18A和图18B各自说明显示在显示屏上的物体的动作。

图19是示出物体的显示步骤的流程图。

图20A和图20B说明显示在显示屏上的物体的动作。

具体实施方式

下面，参照附图详细地说明本说明书所公开的发明的实施方式。注意，所属技术领域的普通技术人员可以很容易地理解一个事实，就是本说明书所公开的发明的方式及详细内容不局限于以下说明，并在不脱离本发明的宗旨及其范围的情况下可以被变换为各种各样的形式。并且，本说明书所公开的发明不应被看作仅限定于以下实施方式的描述内容。

(实施例1)

在本实施例中，参照图1A至图1D、图2、图3、图4、图5A和图5B、图6A至图6C、图7、图8、图9、图10、图11、图12及图13说明具备柔性显示屏的电子设备的结构以及在该显示屏上进行显示的方法的一个方式。

(电子设备的结构)

参照图1A至图1D说明根据本发明的一个实施例的具备柔性显示屏的电子设备的结构的一个示例。本实施例描述了其中电子设备的示例是便携式信息终端的示例，该便携式信息终端能执行诸如移动电话、电子邮件收发、查看并编辑文本、音乐重现、网络通信、和计算机游戏之类的各种应用。图1A是电子设备100的俯视图。电子设备100具有框体101、显示屏102、以及主屏幕(home)键103。

显示屏102是显示包括静态图像、动态图像的图像的显示装置的一部分。作为包括显示屏102的显示装置，存在其中每一个像素包括以有机发光元件(OLED)为代表的发光元件的发光装置；液晶显示装置；利用电泳方式、电子粉流体(注册的商标)方式等进行显示的电子纸；数字微镜装置(DMD)；等离子体显示面板(PDP)；场致发射显示器(FED)；表面传导电子发射显示器(SED)；发光二极管(LED)显示器；碳纳米管显示器；纳米晶显示器；量子点显示器等。根据本发明的一个实施例的显示屏是这些显示装置的任一个的一部分，并且柔性显示装置被用作包括该显示屏的显示装置。

在本实施例中，在显示屏102上设置有使用诸如手指或笔之类的指令装置可输入数据的触摸面板作为输入装置。由于配置有触摸面板，电子设备上的键盘区域变得不必要，且因此可在更大区域中提供显示屏。此外，因为可以使用笔或手指来输入数据，所以可得到用户友好的接口。虽然作为触摸面板可以采用各种类型中的任一个，诸如电阻式、电容式、红外线式、电磁感应方式、表面声波式等，但是由于根据本发明的一个实施例的显示屏102可弯曲，所以特别优选采用电阻式或电容式。

因为显示屏102是柔性的，所以框体101也需要具有形变度。框体101优选使用具有弹性的树脂材料、塑性可形变金属材料、或者这些材料的组合等制成。例如，可以将被压制的金属板用于框体101的四角部分，并将塑料模制体用于其他部分。注意，虽然未图示，但是在只有包括显示屏102的显示装置具有柔性时，也可以将非柔性材料用于框体101，并且在显示装置与外壳101之间设置有间隙。在这个情况下，例如也可以给框体101的一部分打褶(pleated)，以使当显示屏102弯曲时外壳101可伸缩。

如图1A所示那样，本实施例所示的电子设备100具有矩形形状，其中长边比短边长。此举的理由在于具有该形状，尤其容易在垂直于长边的方向上进行弯曲，这使得用户可更强烈感受到电子设备100的柔性特征。然而，通过将电子设备100旋转90度，电子设备100就可用作短边位于底部的竖直取向的显示装置。为了实现此举，可在电子设备100中设置加速度传感器等，在这种情况下加速度传感器检测出电子设备100的旋转且显示屏102的显示从横向切换为纵向。

电子设备100的四角是圆形。由于电子设备100的四角为圆形，可缓和因弯曲或扭转而产生的应力集中在四角的边缘，可导致显示装置以及电子设备100的耐久性的改进。

此外，以使电子设备100可容易弯曲，优选在确保特定强度的范围内使得电子设备100的厚度尽量小。

图1A所示的电子设备100的形状只是一个示例，并且本发明不局限于此，可以根据用户要求采用正方形、圆形、椭圆形等。

主屏幕键103设置在电子设备100的框体的上表面的下中央部分。当按主屏幕键103时，在显示屏102上显示主屏幕。此外，可将电子设备100配置为通过按住主屏幕键103达给定时间以使电子设备100的主电源关闭。也可以采用这样的结构，其中按下主屏幕键103使处于睡眠模式的装置从睡眠模式恢复。此外，例如，根据按住的时间长度或通过与另一个按钮同时按下主屏幕键，主屏幕键可以被用作开始各种功能的开关。当主屏幕键103具有如上所述的各种功能时，可以减少实际上设置在框体101上的按钮个数，从而简化电子设备100的结构及设计。优选使得设置在矿体101上的按钮数量尽可能少，以使根据本发明的一个实施例的具有柔性的电子设备100变得不容易出现故障且具有高可靠性。

图1B示出电子设备100的下表面(底面)。电子设备100的下表面的面积比上表面稍微小一些。就是说，电子设备100的侧面是从上表面到下表面倾斜的形状。如图1B所示那样，电子设备100的侧面具有包括按钮的多个输入/输出功能。

音量控制按钮104及静音按钮105设置在电子设备100的侧面的右上角。用于输出声音的扬声器107设置在电子设备100的侧面的左下角。扬声器107输出各种声音，声音的示例是诸如操作系统(OS)的启动声音之类的预定的处理的声音、来自诸如音乐播放应用软件的音乐之类的各种应用软件中执行的声音文件的声音、以及收到电子邮件的提醒等。特定地，在根据本发明的一个实施例的电子设备100中，扬声器107可响应于与显示屏102的弯曲而输出声音，或可响应于物体的移动输出声音，这将在后面进行说明。

此外，可通过音量控制按钮104调整从扬声器107输出的声音的音量。可通过按下静音按钮105使来自扬声器107的声音即刻静音。虽然未图示，也可以与用于输出声音的扬声器107一起或代替扬声器107来设置用于向听筒、耳机、头戴式耳机等装置输出声音的连接器。

在电子设备100的侧面的右下角设置有可用于声音输入和录音的麦克风106。此外，在电子设备100的侧面的左上角设置有睡眠按钮108。当按下睡眠按钮108时，电子设备100可以进入睡眠模式，在这种情况下，通过在主电源导通的状态下停止提供显示屏102的显示等功能，可以节省电力。以此方式，可以抑制结合在电子设备100中的电池的电力的耗费。

当如上述那样将各种输入/输出装置局部性地设置在电子设备100的四角处时，不具有柔性的部分可以集中在四角处，这允许电子设备100整体具有柔性。在四角处使用非柔性构件的情况下，电子设备100的结构强度增加，并且可增强电子设备100的使用性。因此，在电子设备100的框体101的四角处，优选使用与其他部分的材料不同的非柔性构件。

反之，摄像头109设置在电子设备100的下表面的上中央部分。可以将使用摄像头109获得的图像显示在显示屏102上。注意，通过将摄像头109设置在中央部分，即使在用户一边看电子设备100的上表面一边操作电子设备100的情况下，用户也能够知道摄像头109的位置。因为根据本发明的一个实施例的电子设备100具有柔性，所以通过将弯曲为U字形的电子设备100立在桌子等上，不使用三角架等固定夹具也可拍摄不模糊的图像。

注意，虽然未图示，但是电子设备100可包括用于连接外部存储器驱动器的端子。外部存储器驱动器的示例是存储介质驱动器，诸如外部硬盘驱动器(HDD)、闪存驱动器数字通用磁盘(DVD)驱动器、DVD-可记录式(DVD-R)驱动器、DVD-可重写(DVD-RW)驱动器、紧凑型盘(CD)驱动器、可读紧凑型盘(CD-R)驱动器、可写紧凑型盘(CD-RW()驱动器、磁光(MO)盘驱动器、软盘驱动器(FDD)驱动器、或与上述闪存驱动器不同的非易失性的固态驱动器(SSD)设备。尽管电子设备100在显示屏102上具有触摸面板，但是也可以在框体101上设置键盘代替该触摸面板，或可外加键盘。

如图1C及图1D所示那样，上述电子设备100具有柔性。例如，图1D示出其左端部和右端部向上弯曲的电子设备100。以此方式，框体101及显示屏102可弯曲。注意，本说明书中的电子设备的柔性实现本说明书所记载的发明的至少一部分效果即可，并且对电子设备的弯曲程度或方向等没有特别的限制。

图2是示出本实施例中的具有柔性的电子设备100的硬件结构的方框图的一个示例。电子设备100包括处理器151、主存储器152、存储器控制器153、辅助存储器154、传感器控制器155、传感器156、显示器控制器157、显示装置158、电源控制器159、电源160、通信控制器161、通信接口(I/F)162、声音控制器163、扬声器164、声音输出连接器165、麦克风166、输入接口167、框体开关168、触摸面板169、键盘170、摄像头171、外部端口172、输出接口173、以及振动电机174。其中，处理器151、主存储器152、存储器控制器153、传感器控制器155、显示器控制器157、电源控制器159、通信控制器161、声音控制器163、输入接口167、以及输出接口173通过一个或多个系统总线150彼此连接，并且可彼此进行通信。

电子设备100的上述结构仅是示例，且某些组件可以省略；例如，可省略键盘170，其中用软件制造使用触摸面板169和显示装置158的虚拟键盘。此外，可以对上述结构外加上述组件以外的组件。

作为处理器151，除了中央处理单元(CPU)以外，还可以使用数字信号处理器(DSP)或图形处理器(GPU)等微处理器。处理器151通过解释并执行来自各种程序的指令来处理各种数据并控制程序。

注意，可将其中沟道形成区包括氧化物半导体的薄膜晶体管用于处理器151。由于该晶体管具有极其小的截止态电流(off-state current)，通过将该晶体管用作保持流入到存储元件的电荷(数据)的开关，可确保长时间的数据留存期间。通过将上述特性应用于处理器151的寄存器等，处理器151可以只在需要时进行操作，并且在其余时间中先前的处理内容可以被储存在该存储元件中，从而可以执行常关闭计算，如此可以减少电子设备的功率耗费。

主存储器152用作主存储装置。图3是示出主存储器152的结构的方框图。主存储器152具有诸如随机存取存储器(RAM)180及只读存储器(ROM)181之类的易失性存储器及非易失性存储器。

例如将动态随机存取存储器(DRAM)用于RAM180，并且虚拟地分配并使用存储空间作为处理器151的工作空间。如图3所示那样，当储存在作为HDD等的辅助存储器154中的操作系统182、应用程序183、程序模块184以及程序数据185等被加载到RAM180中执行。加载到RAM180中的数据、程序或程序模块被处理器151直接访问并操作。注意，在图3中，假设用于控制储存在RAM180的数据等的存储器控制器被结合到处理器151中且没有被描述；然而，也可以另外设置用于控制主存储器152的存储器控制器。

在ROM181中，储存不需要重写的基本输入/输出系统(BIOS)186或固件等。此外，可以预先将包括根据本发明的一个方式的柔性显示屏102的物理性参数的显示部物性数据187以及有关于检测位置数据的传感器156的特性的传感器特性数据188储存在ROM181中。作为ROM181，可以使用掩模ROM、Δt一次可编程只读存储器(OTPROM)、可擦除可编程只读存储器(EPROM)。作为EPROM，可给出通过紫外线照射可以擦除所存储的数据的(紫外线-可擦除可编程只读存储器(UV-EPROM)、电可擦除可编程只读存储器(EEPROM)以及闪存等。

结合在电子设备100中的辅助存储器154用作辅助存储装置。辅助存储器154是与主存储器152相比具有更大容量的存储介质，并且通过存储器控制器153连接到系统总线150。存储器控制器153用作控制辅助存储器154的数据的读出、写入等的接口。对于辅助存储器154，例如可以使用诸如硬盘驱动器(HDD)或非易失性的固态驱动器(SSD)装置之类的存储介质驱动器。

注意，虽然在图2中辅助存储器154被结合到电子设备100中，但是辅助存储器154可以设置在电子设备100外部且通过外部端口172连接的外部存储装置，且该外部存储装置和辅助存储器154可被组合以用作辅助存储装置。

传感器156检测出为了算出电子设备100的显示屏的三维形状需要的参数。例如，作为传感器156，可在显示屏附近以矩阵状配置可以指定彼此相对位置关系的位置传感器，由此用位置传感器检测与其他位置传感器相对的位置数据。还可在显示屏附近以矩阵状配置多个加速度传感器作为传感器156，由此用该加速度传感器检测出伴随显示屏的变形的各部的加速度的相对变化。传感器156不局限于此且可以是向其施加机械、电磁、热、声、化学方法等的传感器，只要传感器可检测为了算出显示屏的三维形状所需的参数。例如可使用加速度传感器、角速度传感器、振动传感器、压力传感器、陀螺仪传感器等作为传感器。可选地，也可以组合多个这些传感器而使用。注意，也可以将这些传感器156结合在设置在显示屏102上的触摸传感器中。通过将触摸传感器和位置传感器组合为一个组件，可以减少部件个数，这有助于减少电子设备100的厚度。

传感器控制器155是执行多个传感器156中央控制的接口。传感器控制器155对多个传感器156供应来自电源160的电力，并且接收来自传感器156的输入而将其变换为控制信号并将该信号输出到系统总线150。传感器控制器155可处理由传感器156产生的错误或可校准传感器156。

显示装置158通过显示器控制器157连接到系统总线150。作为显示装置158，使用具有柔性且选自如下的显示装置：其中每个像素包括以有机发光元件(OLED)为代表的发光元件的发光装置；液晶显示装置、利用电泳方式或电子粉流体(注册商标)方式等进行显示的电子纸；数字微镜装置(DMD)；等离子体显示面板(PDP)；场致发射显示器(FED)；表面传导电子发射显示器(SED)、发光二极管(LED)显示器；碳纳米管显示器；纳米晶显示器；量子点显示器等。响应于通过系统总线150从处理器151输入的绘画指令输入，显示器控制器157控制显示装置158从而在显示装置158的显示屏102上显示预定图像。

电源160对电子设备100的多个组件供应电力。作为电源160，例如包括具有一个或多个一次电池或二次电池。当在房屋内等使用时，可使用交流电源(AC)作为外部电源。特别在使用将电子设备100与外部电源分开使用时，有利的是使用允许电子设备100能够被长时间使用的具有较大充/放电容量的电源。当对电源160充电时，可以使用从电子设备100分开的充电器。此外，由于本实施例中的电子设备100具有柔性，优选的是电源160也具有柔性。作为具有这种特征的二次电池，例如可给出锂离子二次电池及锂离子聚合物二次电池。优选的是将层压封装(laminate package)作为电池的外容器(jacket)以使电池具有柔性。

此外，虽然未图示，但是电源160可以具有电源管理装置(电池管理单元：BMU)。BMU例如收集电池的单元电压或单元温度数据、监测过充电及过放电、控制电池平衡器、管理电池劣化状态、计算电残量(电荷状态：SOC)、以及控制故障检测。

电源控制器159控制从电源160通过系统总线150或电源供应线向各组件传输功率。电源控制器159具有多通道电力转换器或反相器、保护电路等。此外，电源控制器159具有减少耗电量的功能。例如，在检测出没有对电子设备100的输入达给定时间后，电源控制器159降低处理器151的时钟频率或停止处理器151的时钟的输入、停止处理器151本身的操作、或者停止HDD的旋转，藉此减少功耗。可由电源控制器159单独或者由控制器159和处理器151联动而执行这种功能。

通信接口(I/F)162通过通信控制器161连接到系统总线150。通信控制器161和通信I/F 162，响应于来自处理器151的指令，控制用于使电子设备100连接到计算机网络的连接信号，并且向计算机网络传输该信号。由此，可通过将电子设备100连接至计算机网络来执行通过，该计算机网络诸如是因特网(万维网(WWW)的基础)、内联网、外联网、个人网(PAN)、局域网(LAN)、校园网(CAN)、城域网(MAN)、广域网(WAN)、全球网(GAN)。

在其中不使用传输线，即无线地进行电子设备100与另一个装置之间的通信的情况下，可在通信接口(I/F)162中设置射频(RF)电路以进行RF信号传输和接收。RF电路将国家法律所规定的带宽内的电磁信号与电信号彼此转换且使用该电磁信号无线地与另一通信装置进行通信。几十kHz至几十GHz的带宽是一般使用的实用性的带宽。RF电路包括适应多个带宽的RF电路部和天线；该RF电路部可包括放大器、混频器、滤波器、数字信号处理器(DSP)、RF收发器等。当进行无线通信的情况下，可使用诸如全球移动通讯系统(GSM)(注册商标)、GSM增强数据率演进(EDGE)、码分多址2000(CDMA2000)、宽频码分多址(W-CDMA)、或由IEEE(电气电子工程师学会)通信研发的通信标准，诸如无线保真(Wi-Fi)(注册商标)、蓝牙(Bluetooth)(注册商标)、ZigBee(注册商标)等的通信标准作为通信协议或通信技术。

此外，在其中将电子设备100用作电话会议的电话时，通信控制器161及通信I/F162响应于来自处理器151的指令，控制用来使电子设备100连接到电话线的连接信号，且将该信号向电话线发出。

负责声音的扬声器164、声音输出连接器165、麦克风166，连接到声音控制器163，声音控制器163通过系统总线150连接到处理器151。声音控制器163，响应于来自处理器151的指令生成用户可以听到的模拟声音信号并将该信号输出到扬声器164或声音输出连接器165。输入到麦克风166的声音数据在声音控制器163中被转换为数字信号并在声音控制器163或处理器151中被处理。声音输出连接器165连接有听筒、耳机、头戴耳机等声音输出装置，并且对该装置输出在声音控制器163中生成的声音。

设置在框体上的一个或多个开关(以下为了方便起见，称作框体开关168)、设置在显示屏102附近的触摸面板169、设置在框体101上的键盘170、设置在框体101的下表面的摄像头171、以及其他输入组件能够连接的外部端口172被输入接口167控制，并且输入接口167通过系统总线150与处理器151等连接。

框体开关168对应于，例如，图1A至图1D中说明的主屏幕键103、音量控制按钮104、静音按钮105、睡眠按钮108等。这些框体开关168、触摸面板169、键盘170、摄像头171、和外部端口172与用来输出声音的麦克风166、检测出显示屏102的形状变化的传感器156用作用户和电子设备100之间的接口。

触摸面板169设置在显示屏102上并可以用作使用手指或笔等指示单元输入信息的输入装置。由于设置有触摸面板169而不需要电子设备上的作为键盘的区域，因此可以在较大的区域上配置显示屏。此外，因为可以使用笔或手指输入信息，所以可以实现用户友好界面。作为触摸面板169，虽然可以采用各种方式诸如电阻式、电容式、红外线式、电磁感应方式、表面声波式等，但是因为根据本发明的一个方式的显示屏102可以弯曲，所以特别优选采用电阻式、电容式。此外，触摸面板169也可以作为一个组件包括传感器156。该结构使部件个数能够减少并有助于电子设备100的薄型化。

振动电机174通过输出接口173连接到系统总线150。根据来自处理器151的指令，输出接口173控制振动的时间等并使振动电机174振动。由此，使电子设备100振动，并且将该振动用作收到电子邮件或执行诸如计算机游戏之类的应用软件中的给用户的触觉效果。也可以根据显示屏102的弯曲程度使振动电机174振动，例如当显示屏102的柔性有给定限度时，振动电机174可以用来警告用户该阈值被超过。虽然未图示，但是与振动电机174同样地，还可以对输出接口173连接用户可以由五感认知的各种输出设备。例如，可以对输出接口173连接用来表示电子设备100的操作状态的发光装置或者利用振动释放香味的香薰机等。

(电子设备的功能)

接着，图4示出本实施例中的电子设备100的主要功能的方框图。电子设备100至少具有显示部201、检测部202、运算部203以及存储部204的四个功能区域。除此之外，也可以包括输入部205、输出部206。

显示部201包括在图2中说明的显示装置158和显示器控制器157等并在显示装置158的显示屏上显示场(field)或物体等。显示装置158至少具有柔性且可以变形。在显示装置158的显示屏102上显示根据显示屏102的形状变化而移动的物体。在此，物体是指显示在显示屏102上的体(body)，并且根据显示屏102的变形而进行运动。此外，场是进行运动的物体的背景以及影响到物体的运动的场地。场的图形化表现可以是表现素材的纹理的排列或可以是透明的。

检测部202包括在图2中说明的传感器156和传感器控制器155等并检测出显示装置158的显示屏102的位置数据。例如，多个传感器156配置为矩阵状，而各传感器156在每一个的规定位置获得相对于其他传感器156的位置数据。传感器156所获得的位置数据通过传感器控制器155输出到运算部203。

运算部203包括在图2中说明的处理器151等。对运算部203输入从检测部202输出的显示屏102的各点的位置数据，并且运算部203基于该数据算出显示屏102的三维形状。考虑使用的传感器156或所使用的计算方式，按需执行显示屏102的三维形状的计算。当算出显示屏102的三维形状时，当对已算出的显示屏102的三维形状的数据和最新数据进行比较且对其变化量进行运算来获得新的显示屏102的三维形状时，可以减少对处理器151的运算负担。至少将已算出的显示屏102的三维形状的数据的最新数据储存在存储部204中。还可对传感器156已获得的位置数据和传感器156新取得的位置数据进行比较且将其变化量加在显示屏102的三维形状，由此算出显示屏102的三维形状。此时，至少将传感器156已取得的位置数据的最新数据储存在存储部204中。

在算出显示屏102的三维形状之后，运算部203根据该算出的显示屏102的三维形状使物体在场上移动。

存储部204包括在图2中说明的主存储器152、辅助存储器154、存储器控制器153等。在存储部204中，至少储存与物体有关的数据、与场有关的数据、与规定物体的移动的规律有关的数据。这些数据片也可以包括在操作系统中，还可以作为应用程序、程序模块或程序数据储存在存储部204中。这种数据片例如储存在用作辅助存储器154(包括DRAM等)的HDD中，且例如通过电子设备100的启动而根据需要加载到主存储器152中。

如图5A所示，与物体有关的数据(物体数据250为物体ID251，物体形状252，诸如所设定的质量或设定的表面状态(摩擦系数)等的物体物理量253，物体图像254，诸如初始位置之类的物体默认设置255。可以将这种数据作为结构化的列表、表格或数据库储存在存储部204中。在图5A所示的示例中，数据与物体ID251关联以形成层级结构。

如图5B所示，与场有关的数据(场数据260)为场ID261、场形状262、场物理量263、场图像264、场默认设置265；可将这些数据片作为结构化的列表、表格或数据库储存在存储部204中。在图5B所示的示例中，数据与场ID261有关联，以形成层级结构。

界定物体移动的规律是指可以由定义物体的移动的给定方程式表达的规律。例如，指的是自然界的物理规律，特别是规定物体的运动的规律。更特定的示例是指可由视觉上(visually)描述刚体或流体等的重力、引力、摩擦力、空气阻力、运动的力学的运动方程所表达的规律。。但是，“给定规律”不局限于自然界的物理规律。例如，为了增强视觉效果，给定规律例如既可以是被强调以偏离自然界的物理规律的规律，又可以是逆重力而浮游等违反自然规律的规律。此外，上述方程式并不需要严格地表现自然界的物理规律，也可以使用伪方程式或简化的方程式。与界定物体的移动的规律有关的数据是形成物体运动模拟时作为基础的方程式群。虽然未图示，但是也可以将与界定物体的移动的规律有关的数据作为结构化的列表、表格或数据库储存在存储部204中。

运算部203参照与储存在存储部204中的物体ID及场ID有关联的物理量、位置数据等，以及基于来自检测部202的数据算出的显示屏102的三维形状，并且基于与界定物体的移动的规则有关的数据来模拟物体的运动，以使物体根据上述规律运动。换言之，响应于显示屏102的形状变化，运算部203调用物体数据、场数据、与界定物体的移动的规律有关的数据等，以及与形状变化有关的数据，将参数插入与界定物体的移动的规律有关的数据的方程式，并计算物体的运动。一直计算物体的运动直到物体的运动基本上平息为止，检测部202监视显示屏102的进一步的形状变化，且当检测出形状变化时，立刻修正物体的运动。

如上所述，通过反复进行伴随显示屏102的形状变化的修正，并继续计算直到物体的运动平息(就是说，物体的运动停止)为止，可以使用户感受到根据显示屏102的变形的物体的真实动作。由运算部203模拟的物体的运动被输出到显示部201并显示在显示屏102上。注意，优选显示屏102的形状变化具有给定阈值，并且仅当超过该阈值时运算部203执行运算。在这个情况下，可以抑制运算部203的计算量的增大，并且可以使物体的运动停止在预定水平。

输入部205包括在图2中说明的麦克风166、框体开关168、触摸面板169、键盘170、摄像头171、外部端口172、声音控制器163以及输入接口167等。例如，可响应于用麦克风166输入的声音使显示在显示屏102上的物体移动。此外，尽管将用于算出显示屏102的形状的传感器给出作为传感器156，但是除此之外，也可以使用作为输入接口的传感器。例如，通过将加速度传感器用于电子设备100，可以根据电子设备100的倾斜使物体移动。传感器156可作为这样的传感器用于输入。

输出部206包括在图2中说明的扬声器164、声音输出连接器165、声音控制器163、振动电机174以及输出接口173等。例如，在通过如上所述的方式被决定其运动的物体移动的同时控制振动电机174来使电子设备100振动，藉此允许通过触觉给用户以真实感。

(电子设备的操作的示例)

接着，参照图6A至图6C说明电子设备100的操作的示例。

图6A是示出电子设备100的上表面的俯视图，且在电子设备100的显示屏102上显示有物体301。为了描述物体301的显示操作，在附图中不示出其他显示；然而，实际上可以与物体301同时显示诸如背景图像、图标、工具栏、指针、窗口、文本、动态图像、和Web浏览器等任何其他显示内容。

图6A中的物体301被设计为模仿球状固体设计并在给定位置上静止。物体301的运动范围被定义为场，并用作影响到物体301的运动的场地(ground)。

图6B示出通过其右端部被拿起而弯曲的电子设备100。由于电子设备100的变形，显示屏102也变形。结合来自检测到该变形的多个传感器156的数据，且运算部203算出变形的显示屏102的形状。进一步，从存储部204调用各种数据，且由上述方法模拟物体的运动。模拟结果显示在显示屏102上作为物体的运动。在图6B中，由于显示屏102的右侧被拿起，因此物体301如被重力吸引那样向显示屏102的中央移动(在附图中，再由箭头所示的方向中)。

在图6B中，物体301是固体球体。因此，根据牛顿力学，物体301向显示屏102的中央滚动。在此，物体301具有给定物理量。因此，移动速度及旋转速度取决于该质量等。场也具有预订物理量等。例如，物体301受到为场设定的空气阻力、为场设定的重力加速度、以及为场设定的摩擦来进行运动。

如上所述，向物体301的动作施加各种规律，允许用户体会真实感。

注意，并不需要参照物体301及场的所有物理量等，且可以只参照其一部分。通过只参照一部分，可以减少对运算部203的负担。类似地，也可以在模拟中只使用容纳在存储部204中的一部分方程式群。在图6B中，虽然在场上只显示出一个物体301，但是也可以显示多个物体301。在这个情况下，可取决于显示在显示屏102上的物体301的个数，适当地调整诸如所参照的物理量或方程式群之类的数据或参数的数量。

图6C示出在其中电子设备100进一步弯曲以使其朝下突出的情况下的物体301的运动。例如，如图6B所示的被放置的球状的物体301掉落到由显示屏102的弯曲形成的凹处(hollow)中。掉落到凹处中的物体301因为其两侧都被显示屏102的高壁围着，且因此不能从一侧移动到另一侧；物体301在凹处的底部移动，且一会后静止。

以上述方式，使用传感器156及处理器151算出关于显示屏102的三维形状的数据，籍此可以显示根据该形状进行运动的物体301。由此，用户可体会好像显示在显示屏102上的物体301存在于电子设备100的表面上的真实感。

注意，虽然在此显示屏102的变形是物体301开始移动的条件，但是该条件不局限于此。例如，当加速度传感器被设置为电子设备100中作为输入接口167时，加速度传感器进行的加速度的检测也可以是物体301的移动开始条件。可以使物体301在根据加速度传感器所检测出的倾斜的方向运动。此外，当使用麦克风166作为输入接口167时，例如可以根据输入音量的大小使物体301移动。可选地，根据用键盘170输入的方向，可使物体301在一方向运动。此外，通过按住设置在电子设备100的框体101上的主屏幕键103，可以使物体301返回初始位置。

(物体的显示的处理步骤)

接着，参照图7、图8、图9、图10、图11、图12、和图13来描述根据本发明的一个实施例，在电子设备100中处理物体的显示的步骤。

图7是示出根据本发明的一个实施例，在电子设备100中的物体的显示的处理步骤500的流程图。在此，作为物体的显示的处理步骤的示例，描述用来显示物体的应用。这种应用的示例是电子设备100的主屏幕的背景等。

因此，下述物体的显示的处理步骤由应用程序执行。该程序被储存在诸如辅助存储器154或主存储器152之类计算机可读取存储介质中。

此外，虽然在此该程序相当于软件，但是这种处理方法也可以是电子电路或机械硬件。

首先，启动根据本发明的一个实施例的电子设备100中的用来显示物体的应用(S001)。在此，储存在辅助存储器154中的应用程序等加载到主存储器152中。注意，可将该应用的启动设定为与操作系统的启动同时进行。

接着，设定与物体及场有关的初始条件(S002、S003)。与物体及场有关的初始条件可被设置为使得转移(transfer)上次使用中应用结束时的条件或可在每次使用时重新设置为默认设置。此外，也可允许用户选择这些设置中的任一个。

物体的初始条件是设置物体ID 251、显示位置等，物体ID 251是储存在存储部204中的物体数据250。进一步，场的初始条件设置场ID 261等，场ID 261是储存在存储部204中的场数据260。特定地，设置是指从辅助存储器154读取物体ID251以及与它们相关联的物体物理量253等，以及将其储存在主存储器152中。类似地，还设置场数据260的各参数。

执行设置关于物体的初始条件(S002)以及设置关于场的初始条件(S003)的顺序不局限于上述内容。可以先进行关于场的初始条件的设定，或可同时进行关于物体的初始条件的设置(S002)与关于场的初始条件的设置(S003)。

接着，使用设置在显示屏102附近的多个传感器156获得各位置上的位置数据(S004)。此后，基于由多个传感器156获得的位置数据，在运算部203中算出显示屏102的三维形状(S005)。在其中在启动电子设备100后且在启动该应用软件前由另一系统或应用已经获得显示屏102的形状时，也可以使用已经取得的与形状有关的数据算出显示屏102的三维形状。

接着，将在步骤S005中算出的显示屏102的形状和物体的初始状态进行比较，并确定是否使物体移动(S006)。例如，在其中在步骤S002中所设置的物体的初始位置对应于因显示屏102的弯曲形状而相当于对水平面具有超过给定阈值的倾斜的位置的情况下，运算部203确定物体的移动是必须的。反之，在其中尽管显示屏102具有弯曲的部分但物体的初始位置相对于与水平面平行的位置的情况下，物体处于静止，且因此运算部203确定物体的移动不是必须的。当运算部203确定物体的移动是必须时，处理变化入物体移动模式510(或者，将作为另一个示例描述的物体移动模式520)(S007)。当运算部203确定物体的移动不是必须时，进入物体待命模式530(S008)。

当离开物体待命模式530时，在步骤S009中判断是否结束应用；在其中满足条件的情况(即，在其中后述的应用关闭标志为“1”的情况)下，关闭应用(S010)，且在其中不满足条件的情况(即，在其中后述应用关闭标志为“0”的情况)下，返回步骤S004。

当关闭应用时，优选将储存在主存储器152中的各种数据储存在辅助存储器154中。由此，在下次启动应用时，该数据可用作初始设置。

图8是示出根据本发明的一个实施例的在电子设备100中的物体的显示处理步骤中的物体移动模式510的流程图。在物体移动模式510中，重复物体运动的模拟，且将该结果逐一显示在显示屏102上。在每个给定期间(以下，表示为Δt)执行物体的模拟和显示的重复。

在开始物体移动模式(S020)之后，根据已算出的显示屏的形状来确定物体的运动(S021)。在此，在Δt之前确定物体的运动。

在运算部203中依照预先规定的规律来计算物体的运动。使用在步骤S002及S003中设置的物体的物理量、场的物理量等执行模拟。通过该模拟来确定物体的移动方向、速度等。对于物体的移动方向、速度等的模拟，也参照与相关联的场ID261有关的场数据260。例如，在其中已选择的场ID261的场物理量263包括与弹性材料有关的数据(诸如橡胶)的情况下，模拟物体掉落到由弯曲显示屏102形成的凹处中之后弹起来的动作。与模拟的物体的动作有关的数据储存在存储部204的主存储器152。

可执行用于显示物体的旋转、变形等的模拟，来进一步向用户提供真实感。然而，当计算复杂时，运算部203过载以使得运算部203处理的延迟抑制了合适的显示；作为结果，减弱提供给用户的真实感。鉴于此，优选进行运算内容的简化或做出运算结果的数据库，来避免运算速度的减缓。

然后，根据已由模拟所确定的物体的运动，在Δt显示屏102上显示物体的动作达Δt期间(S022)。由取决于场物理量263的摩擦系数、空气阻力、重力等影响物体的运动。注意，物体的运动包括物体的停止。因此，步骤S023包括物体的从物体的停止到物体的运动、从物体的运动到物体的停止的动作顺序。

接着，重新计算显示屏102的三维形状(步骤S023)。具体地说，在该步骤中，用由显示屏的三维形状的重新计算程序511新获得的与显示屏102的三维形状有关的数据来改写储存在存储部204中的上次算出的与显示屏102的三维形状有关的数据。

在此，参照图9描述显示屏的三维形状的重新计算序列511。当显示屏的三维形状的重新计算序列511开始(S040)时，由传感器156再次获得显示屏102的给定部分的位置数据(S041)。接着，基于该位置数据重新计算显示屏102的三维形状(S042)。在重新计算的同时，与显示屏102的三维形状有关的数据储存在存储部204中，且然后，显示屏的三维形状的重新计算序列511结束(S043)。

通过显示屏的三维形状的重新计算序列511，通过用新获得的与显示屏102的三维形状有关的数据进行重写，来更新与显示屏102的三维形状有关的以前计算出的数据。此外，在不重写的情况下，可指定与其中储存上次算出的与显示屏102的三维形状有关的数据的存储部204的地址不同的地址，来存储新获得的数据。

此外，也可以在进行显示屏的三维形状的重新计算序列511的同时，在步骤S023中，从输入接口167读取通过触摸面板等输入设置输入的数据。

接着，为了更新存储在主存储器152中的与物体的动作有关的数据，再次模拟物体的运动(S024)。此时，可在没有例外的情况下进行物体的动作的模拟可选地，可只在其中上次算出的与显示屏102的三维形状有关的数据数据块和在步骤S023中重新计算的与显示屏102的三维形状有关的数据的数据块进行比较且两者之间存在差异的情况下，执行物体动作的模拟。在这种情况下，对于与三维形状有关的数据块进行比较，变化量优选具有阈值，在这种情况下，可以降低用户可注意不到的区域中由于运算部203的不必要的运算导致的杂音或者负担。就是说，优选的是，仅与重新计算的与显示屏102的三维形状有关的数据与上次算出的与显示屏102的三维形状有关的数据之间的变化量超过给定阈值时，显示屏102的三维形状才变化，且处理继续到步骤S024；并且当没有变化时，处理进入步骤S025。

接着，在步骤S025中，确定物体处于运动状态还是处于静止。在物体移动模式510中，每Δt期间执行物体运动的模拟。因此，在某些情况下，步骤S021中的模拟结果示出Δt之后的物体处于运动状态。此外，取决于步骤S023中的显示屏102的三维形状的重新计算的结果等，通过在步骤S024中的模拟而发生物体的另一个运动。在这种情况下，确定物体不静止而运动，以使处理返回步骤S022。

反之，当确定物体处于静止时，离开物体移动模式510(S026)。

如上所述，通过将物体的运动期间划分为每一个都具有Δt长度的期间来进行显示，且在显示屏的形状变化的情况下重复模拟，由此可以逐一修正物体的运动且显示，这可以使用户感到真实感。

图10是示出与参看图8描述的处理步骤不同的用于在物体移动模式520中的处理步骤的流程图。

在上述物体移动模式510的处理中，用来显示物体的运动的时间被划分，且在意在的显示结束后进行下一个显示的模拟；同时，在物体移动模式520的处理中，在给定期间显示物体的运动且在该期间中进行下一个显示的模拟。

当物体移动模式520开始(S050)时，基于已算出的与显示屏102的三维形状有关的数据进行的模拟来确定物体的运动(S051)。

接着，显示由计算确定的运动达给定期间(在此，表示为Δt)，并在Δt的期间中计算下一个Δt的期间中的物体的运动。根据物体的运动的显示序列521来执行物体运动的显示，且根据物体运动的运算序列522来执行下一个物体运动(S052)。

在此，参照图11描述物体运动的显示序列(sequence)521。在本序列开始之后(S060)，使时间t初始化为“0”(S061)。接着，在步骤S062至步骤S065中，显示物体的运动。就是说，重复如下动作直到时间t达到Δt为止反复如下步骤：显示物体的运动达每个时间t(S063)、加上t并更新t(S064)、且再次显示物体的运动(S065)。由此，继续显示物体的运动直到时间t达到Δt为止。当时间t变成Δt，物体的运动的显示序列521结束(S066)。

接着，参照图12描述物体的运动的运算序列522。与物体的运动的显示序列521类似，在程序开始(S070)之后，使时间t初始化S071。接着，在步骤S072至S077中，模拟Δt期间对应于显示屏102的三维形状的物体的运动。

使用传感器156获得显示屏102的给定部分的位置数据(S073)。接着，基于所获得的位置数据，算出显示屏102的三维形状(S074)。然后根据所算出的与显示屏102的三维形状有关的数据，计算并确定在Δt的期间中的物体的运动(S075)。然后加上t并进行更新t(S076)。

重复步骤S073至S076直到t变为Δt(S077)。在此，期间Δt与物体运动的显示序列521中确定的期间Δt相同。通过使该两个序列同步，在同一期间(Δt)中同时处理该两个序列。就是说，在物体的运动的显示序列521中，可以在显示物体的运动期间通过物体的运动的运算序列522可以预先确定用于下一个期间的物体的运动。

在物体运动的运算序列522中，当显示屏102的形状在Δt的期间变化时，通过重写来修改确定的物体的运动。注意，在图12中，无论显示屏102的形状有没有变化都重复物体运动的模拟；然而，可插入判断显示屏102的形状变化的步骤，在这种情况下在没有形状变化时可跳过模拟。进一步，可在由传感器获得的位置数据显示出大于或等于预订值的改变时，可执行显示屏102的三维形状的计算。

当由于上述反复操作，使t达到Δt时，物体的运动的运算序列522结束(S078)。

在步骤S052之后，如图10所示那样，确定物体处于运动还是静止(S053)。在其中物体处于运动的情况下，处理返回到步骤S052，而当物体处于静止的情况下，离开物体移动模式520(S054)且处理进入物体待命模式530。

如上所述，在图10所示的物体移动模式520中，给定期间内并行处理物体的运动的显示和下一个期间物体运动的模拟。这样的处理允许用户感到真实感。

接着，描述物体待命模式530。图13是示出用于在物体待命模式530中处理的序列的流程图。物体待命模式是指在其中应用运行的状态下，在其中显示在显示屏102上的物体静止期间执行的电子设备100的内部处理。

当物体待命模式开始时(S030)，在步骤S031中，使示出应用是否关闭的应用结束标志和示出是否离开物体待命模式530的模式离开标志初始化。例如，将该两个标志设置为“0”。

接着，通过将在步骤S005、步骤S042、或步骤S074中已算出的与显示屏102的三维形状有关的数据和在步骤S032中重新计算的与显示屏102的三维形状有关的数据进行比较，使用传感器156检查显示屏102是否变形(S032)(S032)。注意，对与三维形状有关的数据块的比较，变化量优选具有给定阈值，在这种情况下可降低在用户可注意不到的区域中由于运算部203的不必要的运算导致的杂音或者负担。就是说，优选的是仅在重新算出的与显示屏102的三维形状有关的数据与上次算出的与显示屏102的三维形状有关的数据之间的变化量超过给定阈值时，才确定显示屏102的三维形状有变化，且处理步骤继续到步骤S034。

在其中确定显示屏102的三维形状有变化的情况下，将模式离开标志设置为“1”(S034)。在其中显示屏102的三维形状没有变化的情况下，检查是否有下一个输入来自输入接口167。在此，来自输入接口167的输入局限于影响到物体的动作的输入。类似地，当存在输入时，将模式离开标志设置为“1”(S034)。在其中既没有显示屏102的形状变化也没有来自输入接口167的输入时，在模式离开标志维持“0”时处理继续到下一个步骤。

在步骤S035中，检查有没有应用结束指令的通知。当有通知时，将本应用的应用关闭标志设置为“1”(S036)。应用的关闭指令例如包括经过处理器151来自用户的应用结束指令或者来自另一个应用、程序、或操作系统的应用结束指令。在其中没有结束指令的通知时，应用关闭标志维持作为初始值的“0”。

在步骤S037中，判定标志。就是说，在其中模式离开标志和应用关闭标志中的任一方或双方设置为“1”时，离开物体待命模式(S038)。反之，在其中两个标志呈现“0”的情况下，维持物体待命模式。换言之，处理返回步骤S032。

如上所述，在物体待命模式530中，通过检查是否有给定输入的循环，监视输入状态。然后，当有任一种输入时，离开物体待命模式530且处理继续到步骤S009。

本实施例可以与其他任何实施例适当地组合。注意，本发明的描述在其范围中包括其中可实现本发明的操作的方法、硬件(电子设备、计算机、半导体装置、存储介质)、系统、程序、软件等。

(实施例2)

虽然在实施例1中，作为物体的一个示例示出球状固体的物体301，但是物体不局限于此。在本实施例中，参照图14A至图14C描述物体被设计成模拟液体的情况。

图14A是其中在显示屏102上显示液状物体303的电子设备100的透视图。以与图6A至图6C的电子设备100类似的方式，为了描述物体303的显示操作，不在图中示出其他显示；然而，实际上还可以同时显示诸如背景、图标、工具栏、指针、窗口、文本、动态图像和Web浏览器之类的任何其他显示内容。

在图14A中，物体303被设计成模拟液状物体并在给定位置上静止。物体303的可动范围被定义为场，并用作影响到物体303的运动的场地(ground)。

图14B示出其右端部通过被拿起而弯曲的电子设备100。由于电子设备100的变形，而显示屏102也变形。由运算部203模拟液状物体303的动作，因此液状物体303根据该显示屏102的形状移动。在图14B中，由于显示屏102的右侧被拿起，因此液状的物体303如被重力吸引那样向显示屏102的中央移动(在附图中，在由箭头所示的方向)。

由物体数据250中的物体物理量253将物体303定义为液体。运算部203，通过参照存储在物体物理量253中数据或参数且指示物体是液体，来进行模拟。执行其中物体303根据流体力学(水力学)的规律像是现实的流体一样移动的计算，藉此显示液体的运动好像从高处流到低处区域。由于示出物体是液体的数据或参数，例如可准备密度、粘性、压缩性、表面张力等的数值作为物理量，或为简洁起见可将粘度等物理量的度(degree)分成几个水平(level)而准备为数个数据块。此外，优选将各种形式的液体图像组预先储存在物体图像254中，从而向用户提供液体流动的视觉识别。

场的物理量等也预先被设置；例如液状物体移动同时在于为场所确定的摩擦。

如上所述向液状的物体303的动作施加各种规律，可以允许用户体会真实感。

注意，并不需要参照对物体303及场的所有物理量等，且也可以只参照其一部分。在仅参照一部分时，可减少运算部203上的负担。类似地，也可以在模拟中使用储存在存储部204中的一部分方程式群。尽管在图14B中仅在场上示出一个物体303，但是也可示出多个物体303。例如，在其中更复杂的运算可能的情况下，通过使其移动，可将液状的物体303分为多个物体或可将多个物体组合为一个物体。在这种情况下，每一个对象可被提供响应于物体的生成和消失而被定义的物体ID 251，或可将被分为多个物体的具有一个物体ID的一个物体的状态储存作为物体形状252等的数据。此外，为了运算的简化，也可以在液状的物体303的周围适当地显示表达飞沫的图像。

图14C示出在其中通过进一步弯曲该电子设备100而使其朝下突出的情况下，液状的物体303的运动。例如，位于图14B所示的位置的液状的物体303流入通过显示屏102的弯曲形成的凹处中。流入凹处中的物体303在其两侧都被显示屏102的高壁围着且不能从一侧移动到另一侧；对象303集中在凹处的底部且一段时间后停止。

以上述方式，使用传感器156和处理器151算出与显示屏102的三维形状有关的数据，藉此可显示根据该形状移动的液状的物体303。因此，可以使用户体会好像显示在显示屏102上的物体303存在于电子设备100的表面上的真实感。

本实施例可以与其他实施例适当地组合而实施。此外，本发明的表现在其范围中包括其中实现本发明的操作的方法、硬件(电子设备、计算机、半导体装置、存储介质等)、系统、程序、软件等。

(实施例3)

在本实施例中，参照图15A和图15B描述其中使用使用触摸面板作为输入部中包括的输入装置并且可通过来自触摸面板的输入来控制物体的电子设备。

图15A是示出已弯曲的电子设备100的透视图。作为圆球的物体302显示在电子设备100的显示屏102的右端部。例如，当用户接触该物体302(实际上，用户接触在其中显示物体302的显示屏102上的触摸面板)并向左方向(图15A中的箭头所示的方向)使用他/她的手指轻弹(flick)显示屏102时，物体302响应于手指的动作在轻弹方向滚动。在图15B中，显示屏102在中央部分弯曲从而从右侧到左侧具有急剧升降的阶跃(steep step)；因此，物体302被显示为好像因该弯曲而掉落并滚动。

具有其中电子设备100在输入部中包括触摸面板的结构，物体的显示的处理步骤也原理上与在实施例1中说明的步骤相同。然而，物体运动的开始条件是通过触摸面板对物体的访问以及实施例1中描述的显示屏102的变形方向。因此，在实施例1中示出的处理步骤中，物体移动的判断步骤(S006、S025、和S053)涉及检验是否存在由触摸面板进行的输入的检测。

以类似方式，在图8中示出的物体移动模式510中，在更新显示屏的三维形状变化的步骤中，更新来自触摸面板的输入的数据(S023)。此外，在图10中示出的物体移动模式520中，在用传感器获得位置数据的步骤(S073)以及算出显示屏的三维形状的步骤(S074)中，也检查来自触摸面板的输入的数据。进一步，在图13中示出的物体待命模式530中，在检查是否有来自输入接口167的输入的步骤(S033)中，检查来自触摸面板的输入的数据。

注意，虽然在本实施例中描述了为移动物体302使用触摸面板的示例，但是除了触摸面板以外，可使用包括在输入部205内的各种输入装置来使物体302移动；例如设置在框体101的框体开关、结合在电子设备100中或外置于电子设备100的键盘、连接到外部端口的指向装置(如，鼠标或控制器)、用来声音输入的麦克风等。例如，当使用麦克风时，取决于所输入的音量的大小，可适当地调整所显示的物体302的运动(见图16A)。例如，还可以分析用户语音“向左移动”的输入、识别含义，且根据该内容使物体向左移动(见图16B)。此外，可在电子设备100的输入部205中设置检测用户的姿势(动作)并将其转换为输入信号的姿势装置，来使物体302移动。

如上所述，输入部205可以包括各种输入装置，使用这些输入装置可使显示在显示屏102上的物体302移动，以使用户体会好像物体存在于电子设备100的表面上的真实感。

本实施例可以与其他实施例适当地组合而实施。此外，本发明的表现在其范围中包括其中实现本发明的操作的方法、硬件(电子设备、计算机、半导体装置、存储介质等)、系统、程序、软件等。

(实施例4)

在本实施例中，参照图17A和图17B说明其中同时执行对显示屏的物体的显示处理作为不同应用的情况。

在图17A中，不同应用正在运行且在显示屏102上在该应用的窗口305中显示电子文档。进一步，在显示屏102上，显示了由电子设备100的操作系统所显示的主屏幕中的多个图标304。

虽然在图17A中作为其他应用说明编辑文本的应用，但是本发明不局限于此；包括各种应用，诸如电子表格、数据库管理、电话、电子邮件、Web浏览器、博客、视频会议、音乐播放器、动态图像播放器、数字相机、数字摄像机、电子书阅读器、计算机游戏等。

在显示屏102上显示有根据本发明的一个实施例的物体306a及物体306b。物体306a及物体306b响应于如在实施例1至实施例3中描述的来自传感器或输入部的输入而移动。在此，物体306a及物体306b被设置以使它们不允许在显示屏102的整个区域内移动且不能进入给定区域中。就是说，在图17A中，其中显示有多个图标304及应用的窗口305的区域被设置为物体不可进入的区域，以使物体306a及物体306b在避开该区域的同时移动。此外，当其中这些物体不能进入的区域看作具有给定物理量的体时，物体的运动被设置为取决于该物理量而被定义。

此外，如图17B所示，物体306(根据显示屏102的变形而移动)的运动也受到图标304的影响。因此，显示屏102的实际形状与虚拟图标304的形状类似地影响物体306的运动，因此可以使用户进一步感到真实感。

以此方式，当不仅是物体及场而且有各种图像显示在显示屏102上时，各种图像诸如图标或应用软件的窗口之类具有用来作为体对待的物理量时，物体的动作可以更真实。

注意，被提供物理量且作为体对待的对象不局限于显示在显示屏上的图像，且也可以是显示屏的边缘(四边)或由触摸面板检测到的用户的手指等。

为了实现如上所述的显示，也可以将诸如图标或窗口之类的图像也看作第二物体且预先设置物体ID、物体形状、物体物理量等。第二物体的条件可被结合在由运算部执行的物体的运动的模拟中。

或者，可将诸如图标或窗口之类的图像定义为场的一部分且将其结合到场数据，而被反映在物体的运动模拟中。

注意，不需要将诸如图标或窗口之类的图像都看作体；可仅将预定图标或窗口看作体。此外，可将这些物体显示为在这些图像上移动，以使图像被看作为物体的背景而不看作体。还可允许用户决定是否将这些图像看作体。

当执行对于结合了诸如图标或应用软件的窗口之类的图像或者显示屏的边缘作为体的物体的运动进行处理时，由操作系统控制这些图像等的显示；因此处理需要与操作系统联动。藉此，通过将用来物体的显示处理步骤作为模块结合到操作系统中，可以高效地执行一系列的物体显示处理步骤。

本实施例可以与其他实施例适当地组合而实施。此外，本发明的表现在其范围中包括其中实现本发明的操作的方法、硬件(电子设备、计算机、半导体装置、存储介质等)、系统、程序、软件等。

(实施例5)

在本实施例中，参照图18A和图18B说明其中选择弯曲的显示屏中的给定区域且物体只在该区域中运动的显示处理。

图18A和图18B是其中在弯曲的显示屏102的一部分上显示物体307的电子设备100的透视图。显示屏102在中间弯曲以具有从右侧到左侧的急剧升降的阶跃。

在图18A中，在弯曲的显示屏102的较高的右侧部分(区域308a)上显示有物体307。物体307识别弯曲的显示屏102中的较高的部分，即区域308a并选择性地在区域308a中移动。

在图18B中，在弯曲的显示屏102的较低的左侧部分(区域308b)上显示物体307。物体307识别弯曲的显示屏102中的较低的部分，即区域308b并选择性地在区域308b中移动。

可以将这种物体的显示用于操作系统的主屏幕或屏幕保护或其他各种应用软件。

为了执行物体的上述显示，可以使用在实施例1中描述的处理步骤。然而，在该处理步骤中的物体移动模式中，需要根据显示屏102的三维形状按需定义其中物体可移动的区域。因此，在物体移动模式中，例如采用图19所示的处理步骤。

图19是示出通过对物体移动模式510追加一些步骤获得的在本实施例中的物体移动模式540的处理步骤的流程图。在物体移动模式开始(S080)之后，在步骤S081中基于已由运算部203算出的与显示屏102的三维形状有关的数据来确定其中物体可移动的区域。

在本实施例中，其中物体可移动的区域被定义为显示屏102的给定高度。例如，当显示屏的中心位置的高度被设置为参考位置时，可将位于比参考位置高(或低)出给定高度内的二维空间定义为其中物体可移动的区域。或者，可将位于比参考位置高(或低)出给定高度内的三维空间定义为其中物体可移动的区域。这样的二维空间或三维空间可被预先定义为值，或其中包括显示物体的部分的给定空间可被定义为其中物体可移动的区域。

在确定其中物体可移动的区域之后，在步骤S082中确定该区域中的物体的运动。此时，在物体的运动的模拟中，将在步骤S081中确定的区域数据用作边界条件。之后的显示等处理步骤(S083至S089)与图8所示的物体移动模式510的那些步骤类似。注意，在其中在物体运动期间显示屏102的形状有变化的情况下，在步骤S086中重新确定其中物体可移动的区域，且物体的运动的显示被重写。

本实施例可以与其他实施例适当地组合而实施。此外，本发明的表现在其范围中包括其中可实现本发明的操作的方法、硬件(电子设备、计算机、半导体装置、存储介质等)、系统、程序、软件等。

(实施例6)

在本实施例中，参照图20A和图20B描述使用根据显示屏的形状移动的物体的显示的计算机游戏。

图20A和图20B是示出其中显示屏102上显示计算机游戏的图像的电子设备100的各透视图。在图20A中，显示屏102的形状是平坦的。河309流过显示屏102的中央，并且在河309的左岸显示有用户可控制的形象(character)310a和形象310b。在这个计算机游戏中，在中央流过的河309阻挡形象310a和形象310b移动到右岸。

在该状态下，如图20B所示那样，用户将显示屏102弯曲以使其中央部分朝下突出(用户以图20B中的箭头所示的方向来移动显示屏102)，藉此河309移动到向下弯曲的部分且两岸彼此靠近；因此，可以使形象310a和形象310b移动到右岸。

在此，通过将河309设置为上述物体，河309中的水流与显示屏102的变形互联，藉此用户可感觉真实感。此外，通过使用传感器156算出显示屏102的形状，根据该形状可控制形象的运动范围。

为了实现这样的计算机游戏，可将在实施例1至实施例5中描述的物体的显示处理步骤用于在计算机游戏中包括形象的体。物体的显示的处理步骤既可以结合到计算机程序作为模块，又可以与结合了物体的显示的处理步骤的操作系统互连而被执行。这些程序、模块等也可储存在诸如辅助存储器154或主存储器152之类的计算机可读存储介质中，或者这样的处理装置可实现为电子电路或机械硬件的形式。

如上所述，取决于显示屏102的形状的变化，游戏可继续，以使用户可享受计算机游戏的真实感。

本实施例可以与其他实施例适当地组合而实施。此外，本发明的表现在其范围中包括其中实现本发明的操作的方法、硬件(电子设备、计算机、半导体装置、存储介质等)、系统、程序、软件等。

附图标记说明

100：电子设备，101：框体，102：显示屏，103：主屏幕键，104：音量控制按钮，105：静音按钮，106：麦克风，107：扬声器，108：睡眠按钮，109：摄像头，150：系统总线，151：处理器，152：主存储器，153：存储器控制器，154：辅助存储器，155：传感器控制器，156：传感器，157：显示器控制器，158：显示装置，159：电源控制器，160：电源，161：通信控制器，162：通信I/F，163：声音控制器，164：扬声器，165：声音输出连接器，166：麦克风，167：输入接口，168：框体开关，169：触摸面板，170：键盘，171：摄像头，172：外部端口，173：输出接口，174：振动电机，180：RAM，181：ROM，182：操作系统，183：应用程序，184：程序模块，185：程序数据，186：BIOS，187：显示部物性数据，188：传感器特性数据，201：显示部，202：检测部，203：运算部，204：存储部，205：输入部，206：输出部，250：物体数据，251：物体ID，252：物体形状，253：物体物理量，254：物体图像，255：物体默认设置，260：场数据，261：场ID，262：场形状，263：场物理量，264：场图像，265：场默认设置，301：物体，302：物体，303：物体，304：图标，305：窗口，306：物体，306a：物体，306b：物体，307：物体，308a：区域，308b：区域，309：河，310a：形象，310b：形象

本申请基于2012年5月11日提交到日本专利局的日本专利申请No.2012-109132，通过引用将其完整内容并入在此。

Claims (23)

1.一种电子设备的显示方法，包括如下步骤：

在所述电子设备的显示屏上显示物体，所述显示屏具有柔性；

获取所述显示屏上的所述物体和所述物体在其上进行移动的场的位置数据；

基于所述位置数据计算所述显示屏的三维形状；

检测所述物体上的触摸输入；以及

执行物体移动模式，该模式包括如下步骤：

基于所述触摸输入和所述计算结果，确定所述物体在所述场上的第一移动；

在第一期间内显示所述物体在所述场上的所述第一移动；

在所述第一期间内,再次计算所述显示屏的三维形状,并基于所述再计算结果确定所述物体在所述场上的第二移动；以及

在第二期间内显示所述物体在所述场上的所述第二移动。

2.如权利要求1所述的显示方法，进一步包括将所计算的三维形状与初始状态进行比较的步骤。

3.如权利要求1所述的显示方法，其特征在于，所述显示屏被弯曲以具有急剧升降的阶跃，并且所述物体被显示为因该急剧升降的阶跃而掉落并滚动。

4.如权利要求1所述的显示方法，进一步包括模拟所述物体的所述第一移动的步骤。

5.如权利要求1所述的显示方法，其特征在于，所述电子设备包括晶体管，该晶体管包含氧化物半导体。

6.如权利要求1所述的显示方法，进一步包括如下步骤：当所述显示屏的弯曲程度超过预定阈值时，发出声音警告。

7.如权利要求1所述的显示方法，进一步包括如下步骤：用麦克风分析语音，使得响应于所述语音对所述物体的所述第一移动或第二移动进行控制。

8.如权利要求1所述的显示方法，其特征在于，所述电子设备是选自移动电话、个人计算机、个人数字助理、电子纸或便携式游戏机的便携式电子设备。

9.一种电子设备的显示方法，包括如下步骤：

在所述电子设备的显示屏上显示物体，所述显示屏具有柔性；

获取所述显示屏上的所述物体和所述物体在其上进行移动的场的位置数据；

基于所述位置数据计算所述显示屏的第一三维形状；

执行所述第一三维形状与初始状态的第一比较；

检测所述物体上的触摸输入；以及

执行物体移动模式，该模式包括如下步骤：

基于所述触摸输入以及通过所述第一比较检测到的所述显示屏的变形来确定所述物体在所述场上的第一移动；

在第一期间内显示所述物体在所述场上的所述第一移动；

在所述第一期间内，计算所述显示屏的第二三维形状，执行该第二三维形状与所述第一三维形状的第二比较，并基于通过所述第二比较检测到的所述显示屏的变形来确定所述物体在所述场上的第二移动；以及

在第二期间内显示所述物体在所述场上的所述第二移动。

10.如权利要求9所述的显示方法，其特征在于，所述显示屏被弯曲以具有急剧升降的阶跃，并且所述物体被显示为因该急剧升降的阶跃而掉落并滚动。

11.如权利要求9所述的显示方法，进一步包括模拟所述物体的所述第一移动的步骤。

12.如权利要求9所述的显示方法，其特征在于，所述电子设备包括晶体管，该晶体管包含氧化物半导体。

13.如权利要求9所述的显示方法，进一步包括如下步骤：当所述显示屏的弯曲程度超过预定阈值时，发出声音警告。

14.如权利要求9所述的显示方法，进一步包括如下步骤：用麦克风分析语音，使得响应于所述语音对所述物体的所述第一移动或第二移动进行控制。

15.如权利要求9所述的显示方法，其特征在于，所述电子设备是选自移动电话、个人计算机、个人数字助理、电子纸或便携式游戏机的便携式电子设备。

16.一种电子设备的显示方法，所述电子设备包括显示部、检测部和运算部，

所述显示方法包括如下步骤：

在所述显示部中的显示屏上显示物体，所述显示屏具有柔性；

通过使用所述检测部中的多个传感器来获取所述显示屏上的所述物体和所述物体在其上进行移动的场的位置数据；

使用所述运算部来基于所述位置数据计算所述显示屏的三维形状；

检测所述物体上的触摸输入；以及

执行物体移动模式，该模式包括如下步骤：

基于所述触摸输入和所述计算结果，确定所述物体在所述场上的第一移动；

在第一期间内显示所述物体在所述场上的所述第一移动；

在所述第一期间内，再次计算所述显示屏的三维形状，并基于所述再计算结果确定所述物体在所述场上的第二移动；以及

在第二期间内显示所述物体在所述场上的所述第二移动。

17.如权利要求16所述的显示方法，进一步包括将所计算的三维形状与初始状态进行比较的步骤。

18.如权利要求16所述的显示方法，其特征在于，所述显示屏被弯曲以具有急剧升降的阶跃，并且所述物体被显示为因该急剧升降的阶跃而掉落并滚动。

19.如权利要求16所述的显示方法，进一步包括模拟所述物体的所述第一移动的步骤。

20.如权利要求16所述的显示方法，其特征在于，所述电子设备包括晶体管，该晶体管包含氧化物半导体。

21.如权利要求16所述的显示方法，进一步包括如下步骤：当所述显示屏的弯曲程度超过预定阈值时，发出声音警告。

22.如权利要求16所述的显示方法，进一步包括如下步骤：用麦克风分析语音，使得响应于所述语音对所述物体的所述第一移动或第二移动进行控制。

23.如权利要求16所述的显示方法，其特征在于，所述电子设备是选自移动电话、个人计算机、个人数字助理、电子纸或便携式游戏机的便携式电子设备。