CN102999309B - 多屏显示控制 - Google Patents

多屏显示控制 Download PDF

Info

Publication number
CN102999309B
CN102999309B CN201210442013.5A CN201210442013A CN102999309B CN 102999309 B CN102999309 B CN 102999309B CN 201210442013 A CN201210442013 A CN 201210442013A CN 102999309 B CN102999309 B CN 102999309B
Authority
CN
China
Prior art keywords
screen
application
gesture
display
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210442013.5A
Other languages
English (en)
Other versions
CN102999309A (zh
Inventor
M·吉姆珀
A·德帕斯
S·瑟帕尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Flex Electronics Id Co ltd
Original Assignee
Flex Electronics Id Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/222,888 external-priority patent/US8872731B2/en
Application filed by Flex Electronics Id Co ltd filed Critical Flex Electronics Id Co ltd
Publication of CN102999309A publication Critical patent/CN102999309A/zh
Application granted granted Critical
Publication of CN102999309B publication Critical patent/CN102999309B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1615Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1641Details related to the display arrangement, including those related to the mounting of the display in the housing the display being formed by a plurality of foldable display components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00Aspects of the constitution of display devices
    • G09G2300/02Composition of display devices
    • G09G2300/026Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0492Change of orientation of the displayed image, e.g. upside-down, mirrored
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/04Display device controller operating with a plurality of display units
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports

Abstract

公开了一种双屏用户装置和方法,用于控制由其显示的数据。特别地,由双屏用户装置的多个屏幕所显示的数据决定于所检测的用户手势的类型或用户手势的组合。本文所描述的显示控制可将在手势捕获区域接收的用户输入关联于一个或多个显示动作,其可包括最大化、最小化或重新格式化指令。

Description

多屏显示控制
相关申请的交叉引用
本申请根据35U.S.C§119(e),要求2010年10月1日提交的标题为“DUAL DISPLAYWINDOWING SYSTEM(双显示窗口系统)”的美国临时专利申请第61/389,000号、2010年10月1日提交的标题为“MULTI-OPERATING SYSTEM PORTABLE DOCKETING DEVICE(多操作系统的便携式摘要记录装置)”的美国临时专利申请第61/389,117号、以及2010年10月1日提交的标题为“TABLET COMPUTING USER INTERFACE(平板计算用户界面)”的美国临时专利申请第61/389,087号的权益和优先权。通过该引用而将前述每篇文献全部合并于此,以用于它们所教导的全部内容,并且用于全部目的。
技术领域
背景技术
相当大量的手持计算装置(诸如,蜂窝电话、平板电脑和电子阅读器)使用触屏显示,以不仅向用户传递显示信息,而且接收来自用户界面命令的输入。尽管触屏显示可增加手持装置的可配置性并提供广泛的用户界面选择,但是这种灵活性典型地是有代价的。触屏用于提供内容和接收用户命令的双重用途虽然对用户而言是灵活的,但可能会混淆画面并产生视觉混乱,从而导致用户不满和生产率降低。
手持计算装置的小形状因数需要在所显示的图形和被提供以接收输入的区域之间的认真权衡。一方面,小画面约束了显示空间,这可能增加解释动作或结果的难度。另一方面,虚拟小键盘(keypad)或其他用户界面设计被叠加在正在执行的应用上或被放置得邻近于正在执行的应用,这需要将该应用挤压在画面的甚至更小的部分之内。
对于单画面触屏装置,这种权衡的行为尤为困难。单画面触屏装置受制于其有限的屏幕空间。当用户正在通过单个画面对装置输入信息时,用于在该画面中解释信息的能力可能受到严重阻碍,在需要画面和界面之间复杂的交互时尤其如此。
发明内容
需要多画面的手持计算装置,相比传统单画面的手持计算装置而言,其提供增强的功率和/或多功能性。这些或其它需求通过本公开的多个方面、实施例和/或配置解决。而且,尽管本公开以示例性的实施例的方式来呈现,但应当理解,本公开的各个方面可以单独地要求保护。
在某些实施例中,提供了一种用于控制由多屏装置显示的数据的方法,该方法包含:
接收第一输入,其对应于用于将显示在双屏装置的第一屏幕上的第一应用最大化的指令;
参考用于第一应用的最大化规则;以及
基于该用于第一应用的最大化规则,将来自该第一应用的数据同时显示于该双屏装置的第一屏幕和第二屏幕两者上。
短语“至少一个”、“一个或多个”和“和/或”为开放式表达,其在操作中同时为连接式(conjunctive)和分离式(disjunctive)。例如,“A、B和C中的至少一个”、“A、B或C中的至少一个”、“A、B和C中的一个或多个”、“A、B或C中的一个或多个”和“A、B和/或C”中的每一个是指仅A、仅B、仅C、A与B两者、A与C两者、B与C两者、或A、B与C三者。
术语“一”(“a”或“an”)实体代表一个或多个该实体。同样,术语“一个”、“一个或多个”和“至少一个”可在本文可互换使用。还应注意,术语“包含”、“包括”和“具有”也可互换使用。
如在此所使用的术语“自动的”及其变体代表任何在执行处理或操作时没有有形(material)人工输入而完成的该处理或操作。然而,即使处理或操作的执行使用了有形或无形的人工输入,如果该输入在该处理或操作的执行之前被接收,则该处理或操作也是自动的。如果这种输入影响到处理或操作将如何被执行,则人工输入被认为是有形的。允许处理或操作的执行的人工输入被认为不是“有形的”。
如在此所使用的术语“计算机可读介质”代表任何有形的存储和/或传输介质,其参与将指令提供至处理器以进行执行。该介质可采用多种形式,包括但不限于:非易失性媒体、易失性媒体和传输媒体。非易失性媒体包括例如NVRAM、或磁盘或光盘。易失性媒体包括动态存储器,如主存。计算机可读媒体的通用形式包括例如软盘、软碟、硬盘、磁带或任何其它磁性介质、磁性光学介质、CD-ROM、任何其它光学介质、穿孔卡、纸带、或具有通孔图案的任何其它物理介质、RAM、PROM、和EPROM、闪EPROM(FLASH-EPROM)、固态介质(如存储卡)、任何其它存储芯片或盒式磁盘、如下文描述的载波、或计算机可读取的任何其它介质。电子邮件的数字文件附件或其它自包含信息文档或文档集合被认为是与有形存储介质等价的分布介质。当计算机可读媒体被配置为数据库时,应当理解,该数据库可为任意类型的数据库,例如关系、层次、面向对象和/或等等的数据块。因此,本公开被认为包括其中存储本公开的软件实现的有形存储介质或分布介质、和现有技术认可的等效物及后继媒体。
术语“桌面”是指用于描画系统的比喻。桌面一般被认为是典型地包括以下图片、所谓图标、控件、文件夹等的“表面”,其可激活示出应用、窗口、小控制面(cabinets)、文件、文件夹、文档和其它图形项。图标一般为可选择的,用于通过用户界面交互而开始一项任务,以允许用户执行应用或进行其它操作。
术语“画面(display)”是指用于将计算机的输出显示至用户的一部分屏幕。
术语“被显示图像”是指在画面上产生的图像。典型的被显示图像为窗口或桌面。该被显示图像可占据全部或部分画面。
术语“画面定向”是指其中用户为观看而设置矩形画面方向的方式。画面定向的两个最常用的类型为纵向和横向。在横向模式中,画面方向被设置以使画面宽度大于画面高度(如4∶3的比例,其为宽4个单元且高3个单元;或16∶9的比例,其为宽16个单元且高9个单元)。换言之,横向模式中画面的较长尺度被定向为基本是水平的,而画面的较短尺度被定向为基本是竖直的。相反,在纵向模式中,画面方向被设置以使画面宽度小于画面高度。换言之,纵向模式中画面的较短尺度被定向为基本是水平的,而画面的较长尺度被定向为基本是竖直的。多屏画面可具有包含所有屏幕的一个合成画面。该合成屏幕画面可具有基于各种装置定向的不同的显示特性。
术语“手势”是指表达所希望的思想、动作、含义、结果和/或成果的用户动作。用户动作可包括操作装置(例如,打开或关闭装置、改变装置定向、移动追踪球或滚轮等)、身体部分相对于装置的移动、工具或器具相对于装置的移动、音频输入等。手势可在装置上(如在屏幕上)进行或对于装置进行,以与该装置交互。
如本文所应用的术语“模块”是指任何已知的或以后将开发的硬件、软件、固件、人工智能、模糊逻辑、或硬件与软件的组合,其能够执行与该元素相关的功能。
术语“手势捕获”是指对用户手势的实例和/或类型的感测(或其他方面地,检测)。手势捕获可发生于屏幕的一个或多个区域,手势区域可位于画面之上,其中它可称为触感画面;或位于画面之外,其中它可称为手势捕获区域。
“多屏应用”是指能够产生同时占据多个屏幕的一个或多个窗口的应用。多屏应用通常可操作于其中一个或多个应用窗口仅显示在一个屏幕上的单屏模式或其中一个或多个窗口同时显示在多个屏幕上的多屏模式。
“单屏应用”是指能够产生同一时刻仅占据单一屏幕的一个或多个窗口的应用。
术语“屏幕”、“触摸屏”或“触屏”是指使用户能够通过接触屏幕上的区域而与计算机交互并通过画面为用户提供信息的物理结构。触屏可用多种不同方式感测用户的接触,如通过改变电气参数(例如,阻抗或电容)、声波变换、红外线辐射邻近检测、光变换检测等。例如在电阻式触屏中,常态下屏幕中分离的导性和阻性金属层传输电流。当用户接触屏幕时,所述两层在接触位置形成接触,由此电场的变化被标记,而所接触位置的坐标被计算。在电容式触屏中,容性层存储电荷,其在用户接触触屏时被放电,导致容性层电荷的减少。该减少被测算,并确定所接触位置坐标。在表面声波触屏中,声波通过屏幕传输,且该声波被用户的接触所干扰。接收换能器检测用户接触的实例并确定所接触位置坐标。
术语“窗口”是指在画面的至少一部分典型为矩形的被显示图像,其包括或提供不同于屏幕其余部分的内容。窗口可以遮挡桌面。
如本文所应用的术语“确定”、“计算”、“运算”及其变体可互换使用,并包括任意类型的方法、处理、数学运算或技术。
应当理解,根据35U.S.C第112条第6款,如本文所应用的术语“部件”应被赋予其可能的最广泛的解释。因而,包含术语“部件”的权利要求应覆盖所有本文提出的结构、物质或行为、及其所有等效物。进一步地,结构、物质或行为及其等效物应包括本发明的发明内容、附图说明、具体实施方式、摘要和权利要求自身所描述的全部内容。
以上是本公开的简要概述,以用于提供对本公开的某些方面的理解。该概述不是对本公开及其多个方面、实施例和/或配置的外延式综述,也并非穷举性综述。其意图并非在于表明本公开的关键或重要因素,也并非描写本公开的范围,而在于以简化的形式呈现本公开所选择的概念,作为下文将呈现的更详细描述的介绍。如将理解的,本公开的其它方面、实施例和/或配置可单独或联合地应用以上所提出的或下文将详述的一个或多个特征。
附图说明
图1A包括多屏用户装置的实施例的第一视图;
图1B包括多屏用户装置的实施例的第二视图;
图1C包括多屏用户装置的实施例的第三视图;
图1D包括多屏用户装置的实施例的第四视图;
图1E包括多屏用户装置的实施例的第五视图;
图1F包括多屏用户装置的实施例的第六视图;
图1G包括多屏用户装置的实施例的第七视图;
图1H包括多屏用户装置的实施例的第八视图;
图1I包括多屏用户装置的实施例的第九视图;
图1J包括多屏用户装置的实施例的第十视图;
图2为装置的硬件的实施例的框图;
图3A为基于装置的定向(orientation)和/或结构的装置的状态模型的实施例的框图;
图3B为基于装置的定向和/或结构的装置的状态模型的实施例的表格;
图4A为装置所接收的用户手势的实施例的第一表示;
图4B为装置所接收的用户手势的实施例的第二表示;
图4C为装置所接收的用户手势的实施例的第三表示;
图4D为装置所接收的用户手势的实施例的第四表示;
图4E为装置所接收的用户手势的实施例的第五表示;
图4F为装置所接收的用户手势的实施例的第六表示;
图4G为装置所接收的用户手势的实施例的第七表示;
图4H为装置所接收的用户手势的实施例的第八表示;
图5A为装置软件和/或固件的实施例的框图;
图5B为装置软件和/或固件的实施例的第二框图;
图6A为响应于装置状态产生的装置结构的实施例的第一表示;
图6B为响应于装置状态产生的装置结构的实施例的第二表示;
图6C为响应于装置状态产生的装置结构的实施例的第三表示;
图6D为响应于装置状态产生的装置结构的实施例的第四表示;
图6E为响应于装置状态产生的装置结构的实施例的第五表示;
图6F为响应于装置状态产生的装置结构的实施例的第六表示;
图6G为响应于装置状态产生的装置结构的实施例的第七表示;
图6H为响应于装置状态产生的装置结构的实施例的第八表示;
图6I为响应于装置状态产生的装置结构的实施例的第九表示;
图6J为响应于装置状态产生的装置结构的实施例的第十表示;
图7A描绘了根据本公开实施例的调用第一显示动作的手势的第一序列;
图7B描绘了根据本公开实施例的调用第二显示动作的手势的第二序列;
图7C描绘了根据本公开实施例的调用第三显示动作的手势的第三序列;
图7D描绘了根据本公开实施例的调用第四显示动作的手势的第四序列;
图7E描绘了根据本公开实施例的调用第五显示动作的手势的第五序列;
图8为描绘了根据本公开实施例的第一显示控制方法的流程图;及
图9为描绘了根据本公开实施例的第二显示控制方法的流程图。
在附图中,类似的组件和/或特征可具有同一附图标记。进一步地,相同类型的各个组件可以通过在附图标记之后跟随有在类似组件中进行区分的字母来进行区分。如果只有第一附图标记在说明书中使用,则该描述可适用于具有相同第一附图标记的任一类似组件,而与第二附图标记无关。
具体实施方式
在这里呈现了装置的实施例。该装置可为通信装置,如蜂窝电话,或其它智能装置。该装置可包括两个屏幕,其被定向为提供若干唯一的显示配置。进一步地,该装置能够以唯一的方式接收用户输入。该装置的总体设计和功能提供了增强的用户体验,使该装置更加易用和高效。
机械特征:
图1A-1J图示了根据本公开实施例的装置100。如下文将更详细描述的,装置100可通过多种不同方式而放置,其中每种方式为用户提供不同的功能。装置100为多屏装置,其包括主屏104和副屏108,两者均为触感式。在实施例中,屏幕104和108的整个前表面可为触感式,并能够通过用户触摸屏幕104和108的前表面而接收输入。主屏104包括触感显示屏110,其不仅为触感式,而且还对用户显示信息。副屏108包括触感显示屏114,其也对用户显示信息。在其它实施例中,屏幕104和108可包括多于一个的显示区域。
主屏104还包括可配置区域112,其已配置用于当用户接触可配置区域112的部分时进行特定输入。副屏108也包括已配置用于特定输入的可配置区域116。区域112a和116a已配置以接收“后退”输入,其表示用户希望浏览先前显示的信息。区域112b和116b已配置以接收“菜单”输入,其表示用户希望浏览来自菜单的选项。区域112c和116c已配置以接收“主页”输入,其表示用户希望浏览与“主页”视图相关的信息。在其它实施例中,区域112a-c和116a-c除上述配置之外,还可配置用于其它类型的特定输入,其包括装置100的控制特征,某些非限制性实例包括调整总系统功率、调整音量、调整亮度、调整振动、选择被显示项(在屏幕104或108中)、操作相机、操作麦克风,以及电话呼叫的发起/终止。并且,在某些实施例中,区域112a-C和116a-C可根据运行于装置100上的应用和/或显示于触感显示屏110和/或114的信息,被配置用于特定输入。
除触摸感应之外,主屏104和副屏108还可包括不需要用户接触屏幕的显示区域即可从用户接收输入的区域。例如,主屏104包括手势捕获区域120,而副屏108包括手势捕获区域124。这些区域能够通过识别用户所作的手势来接收输入,而不需要用户真正触摸显示区域的表面。对比于触感显示屏110和114,手势捕获区域120和124通常无法绘制被显示图像。
在图1C中清楚地示出了,两个屏幕104和108用铰链(hinge)128相连(图示出了装置100的后视图)。在图1A-1J所示的实施例中,铰链128为中心铰链,其连接屏幕104和108以使铰链闭合时屏幕104和108相并置(即边对边),如图1B所示(图示出了装置100的正视图)。铰链128可被打开,以将两屏幕104和108以不同的相对位置而相互放置。如下文将更详细描述的,取决于屏幕104和108的相对位置,装置100可具有不同的功能。
图1D示出了装置100的右侧。如图1D所示,副屏108在其一侧还包括卡槽132和端口136。实施例中的卡槽132容纳不同类型的卡,其包括订户身份模块(SIM)。实施例中的端口136为输入/输出端口(I/O端口),其允许装置100连接至其它外围装置,如显示器、键盘或打印装置。如可以理解的,这仅仅是某些实例,而在其它实施例中装置100还可包括其它插槽及端口,如用于容纳附加存储装置和/或用于连接其它外围装置的插槽及端口。如图1D所示的是音频插孔140,其例如容纳尖端(tip)、环、套筒(TRS)连接器,以允许用户使用耳机或头戴式受话器。
装置100还包括多个按钮158。例如,图1E图示出了装置100的左侧。如图1E所示,主屏104的一侧包括可配置用于特定输入的三个按钮144、148和152。例如,按钮144、148和152可配置以联合地或单独地控制装置100的多个方面。某些非限制性实例包括总系统功率、音量、亮度、振动、(在屏幕104或108上)被显示项的选择、相机、麦克风、以及电话呼叫的发起/终止。在某些实施例中,两个按钮可合并成一个摇杆按钮,以代替独立按钮。这种布置可用于按钮被配置以控制诸如音量或亮度等特征的情况。除按钮144、148和152外,装置100还包括用于图示出装置100顶部的图1F中所示的按钮156。在一个实施例中,将按钮156配置为开/关按钮,其用于控制到装置100的总系统功率。在其它实施例中,将按钮156配置以除控制系统功率之外或作为控制系统功率的替换,而控制装置100的其它方面。在某些实施例中,按钮144、148、152以及156的一个或多个能够支持不同的用户命令。例如,正常按压具有通常小于大约1秒的时长,类似于快速点击(tap)。中等按压具有通常1秒或以上的时长,但小于大约12秒。长时间按压(long press)具有通常大约12秒或更多的时长。按钮的功能通常专用于在各个显示屏110和114中当前处于焦点的应用。例如在电话应用中,并且取决于特定按钮,正常、中等或长时间按压可表示结束通话、增加通话音量、降低通话音量、以及切换麦克风静音。例如在照相机或视频应用中,并且取决于特定按钮,正常、中等或长时间按压可表示增加缩放、减小缩放、以及拍照或录制视频。
装置100中还有多个硬件组件。如图1C所图示的,装置100包括扬声器160和麦克风164。装置100还包括照相机168(图1B)。此外,装置100包括两个位置传感器172A和172B,其用于确定屏幕104和108的相对位置。在一个实施例中,位置传感器172A和172B为霍尔(Hall)效应传感器。然而,在其它实施例中,除霍尔效应传感器之外或作为其替换,也可应用其它传感器。加速度计176也可被包括作为装置100的一部分,以确定装置100的定向和/或屏幕104和108的定向。下文结合图2描述了装置100中可包括的其它内部硬件组件。
装置100的总体设计允许其提供在其它通信装置中不可用的附加功能。某些功能基于装置100可具有的多个位置和定向。如图1B-1G所示,装置100可操作于屏幕104和108相并置的“打开”位置。该位置允许用于对用户显示信息的大显示区域。当位置传感器172A和172B确定装置100处于打开位置时,它们可生成一信号,其可用于触发不同的事件,如在两屏幕104和108上显示信息。如果加速度计176确定装置100处于与横向位置(landscapeposition)(未示出)相反的纵向位置(portrait position)(图1B),则还可触发其它事件。
除打开位置之外,装置100还可具有“闭合”位置,如图1H所示。同样,位置传感器172A和172B可生成一信号,该信号表明装置100位于“闭合”位置。这可触发导致屏幕104和/或108上的显示信息变化的事件。例如,装置100可被编程以停止在屏幕之一(例如,屏幕108)上显示信息,因为当装置100位于“闭合”位置时用户同一时刻只能浏览一个屏幕。在其它实施例中,位置传感器172A和172B生成的、用于表示装置100位于“闭合”位置的信号可触发装置100应答到来的电话呼叫。“闭合”位置还可为优选的位置,以用于将装置100作为移动电话而使用。
装置100还可用在“画架(easel)”位置中,如图1I所示。在“画架”位置中,屏幕104和108相互形成夹角并面向外部,其中屏幕104和108的边基本为水平。在该位置中,装置100可配置以在屏幕104和108两者上显示信息,以允许两个用户同时与装置100交互。当装置100在“画架”位置时,传感器172A和172B生成一信号,该信号表示屏幕104和108相互形成夹角地放置,并且加速度计176可生成一信号,该信号表示装置100已被布置,以使屏幕104和108的边基本为水平。然后,该信号可联合地使用,以生成触发在屏幕104和108上的信息显示变化的事件。
图1J图示出了装置100位于“修正画架(modified easel)”位置。在“修正画架”位置中,将屏幕104或108之一用作底座(stand),并面向一物体(如桌子)的表面。该位置提供了方便的方式,以用于在横向定向中为用户显示信息。类似于画架位置,当装置100位于“修正画架”位置时,位置传感器172A和172B产生一信号,该信号指示屏幕104和108相互形成夹角地放置。加速度计176将生成一信号,该信号表明装置100已被放置,使得屏幕104和108之一面向下方并基本为水平。然后该信号可用于生成触发屏幕104和108的信息显示变化的事件。例如,在面向下方的屏幕上可以不显示信息,因为用户看不见该屏幕。
过渡状态也是有可能的。当位置传感器172A和B和/或加速度计表示该屏幕为闭合或折叠(从打开)时,闭合中的过渡状态被识别。相反,当位置传感器172A和B表示该屏幕为打开或折叠(从闭合)时,打开中的过渡状态被识别。闭合中和打开中的过渡状态典型地为基于时间的,或具有从感测开始点的最大时长。通常,当闭合中和打开中的状态之一有效时,不可能有用户输入。在这种方式中,在闭合中和打开中功能期间附带的用户与屏幕的接触不被误认为是用户输入。在实施例中,当装置100闭合时也可能为另一过渡状态。当装置100基于某一用户输入(如,在屏幕110、114上双击)而闭合时,该附加的过渡状态允许画面从一个屏幕104切换至第二屏幕108。
如可以理解的,装置100的描述仅用于说明性目的,并且该实施例不限于图1A-1J所示的及以上所描述的特定机械特征。在其它实施例中,装置100可包括附加特征,其包括一个或多个附加按钮、显示区域、铰链、和/或锁定机构。此外,在实施例中,以上所描述的特征可位于装置100的不同的部分,并仍提供类似的功能。因此,图1A-1J和以上所提供的描述是非限制性的。
硬件特征:
图2图示出了根据本公开实施例的装置100的组件。一般而言,装置100包括主屏104和副屏108。当主屏104及其组件在打开和闭合的位置或状态两者正常启用时,副屏108及其组件在打开状态正常启用,但在闭合状态禁用。然而,即使在闭合状态时,(如响应于电话应用或照相机应用的操作的)用户或应用触发的中断也能够翻转(flip)活动的屏幕,或通过适当的命令而禁用主屏104并启用副屏108。每个屏幕104、108可为触感式,并可包括不同的操作区域。例如,每个触感屏幕104和108之内的第一操作区域可包括触感显示屏110、114。通常,触感显示屏110、114可包括全色触感画面。每个触感屏幕104和108内的第二区域可包括手势捕获区域120、124。手势捕获区域120、124可包括触感显示屏110、114区域以外的区域或范围,并且该区域或范围能够接收如由用户提供的手势形式的输入。然而,手势捕获区域120、124不包括可执行显示功能或能力的像素。
触感屏幕104和108的第三区域可包括可配置区域112、116。可配置区域112、116能够接收输入,并具有显示或受限显示能力。在实施例中,可配置区域112、116可对用户呈现不同的输入选项。例如,可配置区域112、116可显示按钮或其它相关项。并且,所显示按钮的一致性,或到底是否有任何按钮显示于触感屏幕104或108的可配置区域112、116内,可取决于装置100被使用和/或操作的环境而确定。在示例性实施例中,触感屏幕104和108包括:至少穿过触感屏幕104和108的这些区域而延伸的液晶显示装置,其能够为用户提供视觉输出;以及在触感屏幕104和108的这些区域上方的电容输入矩阵,其能够接收来自用户的输入。
一个或多个显示控制器216a、216b可被提供,用于控制触感屏幕104和108的操作,其包括输入(触感)和输出(显示)功能。在图2所图示的示例性实施例中,独立的触屏控制器216a或216b被提供用于每个触屏104和108。根据替换实施例,公共或共用的触屏控制器216可用于控制所包括的每个触屏104和108。根据其它实施例,触屏控制器216的功能可合并于其它组件中,例如处理器204。
处理器204可包括通用可编程处理器或控制器,用于执行应用编程或指令。根据至少某些实施例,处理器204可包括多个处理器核、和/或实现多个虚拟处理器。根据其它实施例,处理器204可包括多个物理处理器。作为特定示例,处理器204可包括专门配置的特定应用集成电路(ASIC)或其它集成电路、数字信号处理器、控制器、硬连线电子或逻辑电路、可编程逻辑装置或门阵列、专用计算机等。处理器204一般操作以运行实现装置100的各种功能的程序代码或指令。
通信装置100还可包括存储器208,其由处理器204用于对应用编程或指令的执行,并用于程序指令和/或数据的暂时或长期存储。例如,存储器208可包括RAM、DRAM、SDRAM或其它固态存储器。替换地或除此之外地,可提供数据存储212。如同存储器208,数据存储212可包括一个或多个固态存储装置。替换地或除此之外地,数据存储212可包括硬盘驱动器或其它随机存取存储器。
在通信功能或能力的支持下,装置100可包括蜂窝电话模块228。例如,蜂窝电话模块228可包括GSM、CDMA、FDMA和/或模拟蜂窝电话收发机,其能够支持蜂窝网络中的语音、多媒体和/或数据传输。替换地或除此之外地,装置100可包括附加或其它无线通信模块232。例如,其它无线通信模块232可包括Wi-Fi、蓝牙(BLUETOOTH)TM、WiMax、红外或其它无线通信链路。蜂窝电话模块228和其它无线通信模块232中的每个可关联于共用或专用天线224。
可包括端口接口252。该端口接口252可包括专有或通用的端口,以支持装置100至其它装置或组件(例如,底座(dock))的互联,其可包括或可不包括附加的能力或不同于集成至装置100的能力。除支持装置100与其它装置或组件之间的通信信号交换之外,对接端口136和/或端口接口252可支持为装置100供电或由装置100供电。端口接口252还包括智能单元,其包括用于控制装置100与被连接装置或组件的通信或其它交互的对接模块。
可包括输入/输出模块248和相关端口,以支持有线网络或链路中的、例如与其它通信装置、服务器装置和/或外围装置的通信。输入/输出模块248的示例包括以太网端口、通用串行总线(USB)端口、电气电子工程师学会(IEEE)1394或其它接口。
可包括(多个)音频输入/输出接口/装置244,以将模拟音频提供至互联的扬声器或其它装置,以及从连接的麦克风或其它装置接收模拟音频输入。例如,(多个)音频输入/输出接口/装置244可包括相关联的放大器和模拟数字转换器。替换地或除此之外地,装置100可包括集成的音频输入/输出装置256和/或音频插孔,用于对外部扬声器或麦克风进行互联。例如,可提供集成的扬声器和集成的麦克风,以支持近距离交谈和扬声器通话操作。
可包括硬件按钮158,例如用于某些控制操作。实例包括主功率开关、音量控制等,如结合图1A至1J所述的。可包括一个或多个图像捕获接口/装置240如照相机,用于捕获静态和/或视频图像。替换地或除此之外地,图像捕获接口/装置240可包括扫描仪或读码器。图像捕获接口/装置240可包括或关联至附加单元,如闪光灯或其它光源。
装置100还可包括全球定位系统(GPS)接收器236。根据本发明的实施例,GPS接收器236可进一步包括能够为装置100的其它组件提供绝对位置信息的GPS模块。还可包括(多个)加速度计176。例如,结合对用户的信息显示和/或其它功能,来自加速度计176的信号可用于确定向用户显示这个信息的定向和/或格式。
本发明的实施例还可包括一个或多个位置传感器172。位置传感器172可提供一信号,该信号表示触感屏幕104和108彼此的相对位置。该信息可作为例如至用户界面应用的输入而提供,以确定操作模式、触感显示屏110,114的特性、和/或装置100的其它操作。例如,屏幕位置传感器172可包括一系列霍尔效应传感器、多个位置开关、光学开关、惠斯通(Wheatstone)电桥、电位计、或能够提供表示触屏所处的多个相对位置的信号的其它部件。
装置100的不同组件之间的通信可通过一个或多个总线222承载。此外,功率可从电源和/或功率控制模块260提供至装置100的组件。功率控制模块260例如可包括电池、AC到DC转换器、功率控制逻辑、和/或用于将装置100与外部电源互联的端口。
装置状态:
图3A和3B表示了装置100的说明性状态。尽管示出了多个说明性的状态以及从第一状态到第二状态的过渡,但应当理解,该说明性的状态图可能并不完全包含所有可能的状态和/或从第一状态到第二状态所有可能的过渡。如图3所图示的,状态(其由圆圈中表示的状态来说明)之间的各种箭头表示对于装置100发生的物理变化,其由一个或多个硬件和软件所检测,该检测触发了一个或多个硬件和/或软件中断,用于控制和/或管理装置100的一个或多个功能。
如图3A所图示,有十二个示例性的“物理”状态:闭合304、过渡308(或打开中过渡状态)、画架312、修正画架316、打开320、呼入/拨出通话或通信324、图像/视频捕获328、过渡332(或闭合中过渡状态)、横向340、对接336、对接334以及横向348。每个说明性状态旁边是装置100的物理状态的表示,但状态324和328除外,其中状态一般分别使用用于通话的国际化图标和用于照相机的图标来表示。
在状态304,装置处于闭合状态,其中装置100大体定向于纵向方向,而主屏104和副屏108相背地处于不同的平面(见图1H)。从该闭合状态,装置100可进入对接状态336,其中例如装置100与对接站台、对接电缆相耦合或通常地对接或关联至一个或多个其它装置或外设,或者进入横向状态340,其中将装置100一般地定向为,主屏104面向用户且主屏104和副屏108相背。
在闭合状态下,装置还可转移至过渡状态,其中该装置保持闭合而基于用户输入(如屏幕110、114上的双击)画面从一个屏幕104移至另一屏幕108。另一实施例包括双边状态(bilateral state)。在双边状态下,装置保持闭合,但单个应用将至少一个窗口显示于第一画面110和第二画面114。基于应用及该应用的状态,显示于第一画面110和第二画面114的窗口可相同或不同。例如,当用照相机获取图像时,该装置可在第一画面110显示取景器并在第二画面114显示用于照片主体(photo subject)(全屏或左右镜像)的预览。
在状态308,即从闭合状态304到半打开状态或画架状态312的过渡状态,装置100被显示为打开中,其中主屏104和副屏108围绕与铰链相一致的轴点旋转。当进入画架状态312时,主屏104和副屏108彼此分离,例如使装置100以类似于画架的结构坐在一表面上。
在所谓修正画架位置的状态316,装置100具有处于与画架状态312中相类似的彼此相对关系的主屏104和副屏108,其中不同的是正如所示的,主屏104或副屏108之一被放置于一表面。
状态320为打开状态,其中主屏104和副屏108总体在同一平面。从该打开状态,装置100可过渡至对接状态344或打开的横向状态348。在打开状态320中,主屏104和副屏108总体处于类似于纵向(portrait-like)的定向,而在横向状态348中主屏104和副屏108总体处于类似于横向(landscape-like)的定向。
状态324表示如当呼入或拨出通话分别被装置100接收或发出时的通话状态。尽管没有详尽地说明,但应理解装置100可从图3所图示出的任一状态过渡至呼入/拨出通话状态324。以类似方式,图像/视频捕获状态328可从图3的任一其它状态进入,其中该图像/视频捕获状态328允许装置100利用照相机拍摄一个或多个图像和/或利用视频捕获装置240拍摄视频。
过渡状态322说明性地示出了主屏104和副屏108正在被彼此闭合,以进入例如闭合状态304。
关于键(key),图3B图示出了被接收以检测从第一状态过渡至二状态的输入。在图3B中,示出了状态的多种组合,其中整体上,纵向状态352、横向状态356表示列部分,而纵向状态360和横向状态364表示行部分。
在图3B中,键“H”表示来自一个或多个霍尔效应传感器的输入,“A”代表来自一个或多个加速度计的输入,“T”代表来自计时器的输入,“P”代表通信触发器的输入,而“I”代表图像和/或视频捕获请求输入。因而,在表格中心部分376,示出了输入或输入的组合,其表示装置100如何检测到从第一物理状态到第二物理状态的过渡。
正如所讨论的,在表格376的中心部分,接收的输入启用对过渡的检测,例如从纵向打开状态到横向画架状态的过渡的检测-以黑体“HAT”示出。对于从纵向打开到横向画架状态的该示例性过渡,需要霍尔效应传感器(“H”)、加速度计(“A”)和计时器(“T”)输入。该计时器输入例如可从关联于该处理器的一时钟获得。
除纵向和横向状态之外,还示出了对接状态368,其基于收到对接信号372而被触发。如上所述并结合图3,该对接信号可通过装置100与一个或多个其它装置100、配件、外围装置、智能底座等相关联而触发。
用户交互:
图4A至4H描绘了可被屏幕104、108识别的手势输入的多种图形表示。手势不仅可由用户身体部分完成,还可由其它装置完成,该其他装置如触控笔,其可由屏幕104、108的(多个)触感部分所感测。大体上,基于手势在哪里完成(或直接在显示屏110、114上,或在手势捕获区域120、124)而不同地解释手势。例如显示屏110、114中的手势可直接指向至桌面或应用,而手势捕获区域120、124的手势可解释为用于系统。
参见图4A-4H,手势的第一类型(即,触摸手势420)在屏幕104、108上在选定的时间长度内基本保持稳定。圆圈428表示在屏幕的触感部分的特定位置所接收的一触摸或其它接触类型。圆圈428可包括边框432,其宽度表示保持该接触在接触位置基本保持稳定的时长。例如,点击420(或短暂的按压)具有比用于长时间按压424(或用于正常按压)的边框432b更细的边框432a。长时间按压424可包括在屏幕上比点击420更长的时间段地保持基本稳定的接触。如将理解的,取决于在接触停止或在屏幕上移动之前接触保持稳定接触的时长,不同定义的手势可被注册。
参见图4C,在屏幕104、108上的拖拽(drag)手势400为初始接触(由圆圈428所表示),其具有在选定方向上的接触移动436。该初始接触428在边框432表示的某一时间量内可在屏幕104、108保持稳定。该拖拽手势典型地需要用户在第一位置接触一图标、窗口或其它被显示图像,然后在拖拽方向移动该接触至希望用于选定的被显示图像的新的第二位置。该接触的移动不一定为直线,而可具有任一移动路径,只要该接触从第一到第二位置基本是连续的即可。
参见图4D,在屏幕104、108的拂动(flick)手势404为初始接触(由圆圈428所表示),其具有选定方向的(相对于拖拽手势)缩短的接触移动436。在实施例中,相比于拖拽手势,拂动在手势最后的移动上具有更高的退出速度。拂动手势例如可为初始接触之后的手指弹击(finger snap)。相比于拖拽手势,拂动手势一般不需要从被显示图像的第一位置到预定的第二位置的与屏幕104、108持续接触。通过拂动手势,所接触的被显示图像以拂动手势的方向移动至预定的第二位置。尽管两种手势均可将被显示图像从第一位置移动至第二位置,但接触在屏幕上的持续时间和移动距离一般对拂动手势而言少于拖拽手势。
参见图4E,描绘了屏幕104、108的捏合(pinch)手势408。捏合手势408可由例如通过第一手指(digit)的到屏幕104、108的第一接触428a、和例如通过第二手指的到屏幕104、108的第二接触428b而发起。第一和第二接触428a、b可由公共屏幕104、108的公共触感部分所检测,由公共屏幕104或108的不同触感部分所检测,或由不同屏幕的不同触感部分所检测。第一接触428a保持第一时间量,如由边框432a所表示的,而第二接触428b保持第二时间量,如由边框432b所表示的。第一和第二时间量大致基本相等,并且第一和第二接触428a、b大致基本同时发生。第一和第二接触428a、b通常还分别包括对应的第一和第二接触移动436a、b。第一和第二接触移动436a、b大体处于相反的方向。换言之,第一接触移动436a朝向第二接触436b,而第二接触移动436b朝向第一接触436a。更简单地说,捏合手势408可由用户手指以捏紧的动作接触屏幕104、108来实现。
参见图4F,描绘了屏幕104、108的展开(spread)手势410。展开手势410可由例如通过第一手指的到屏幕104、108的第一接触428a、和例如通过第二手指的到屏幕104、108的第二接触428b而发起。第一和第二接触428a、b可由公共屏幕104、108的公共触感部分所检测,由公共屏幕104、108的不同触感部分所检测,或由不同屏幕的不同触感部分所检测。第一接触428a保持第一时间量,如由边框432a所表示的,而第二接触428b保持第二时间量,如由边框432b所表示的。第一和第二时间量大致基本相等,并且第一和第二接触428a、b大致基本同时发生。第一和第二接触428a、b通常还分别包括对应的第一和第二接触移动436a、b。第一和第二接触移动436a、b大体处于相同的方向。换言之,第一和第二接触移动436a、b远离第一和第二接触428a、b。更简单地说,展开手势410可由用户手指以展开动作接触屏幕104、108来实现。
以上手势能够以任意方式组合,例如图4G和4H所示的方式,以产生确定的功能性结果。例如,在图4G中,点击手势420与远离点击手势420方向中的拖拽或拂动手势412组合。在图4H中,点击手势420与朝向点击手势420方向中的拖拽或拂动手势412组合。
接收手势的功能性结果可根据多个因素而变化,所述因素包括装置100的状态、画面110、114、或屏幕104、108、手势相关的环境、或手势的感测位置。装置的状态通常指装置100的一个或多个配置、显示定向、以及装置100接收的用户和其它输入。环境通常指手势所选择的一个或多个特定应用和当前执行的应用的(多个)部分、该应用为单屏还是多屏应用、以及该应用为在一个或多个屏幕还是一个或多个栈中显示一个或多个窗口的多屏应用。手势的感测位置通常指所感测的手势位置坐标的(多个)集合是在触感显示屏110、114上还是手势捕获区域120、124上、所感测的手势位置坐标的(多个)集合关联于相同还是不同的画面或屏幕104、108、和/或手势捕获区域哪一部分包括所感测的手势位置坐标的(多个)集合。
当点击由触感显示屏110、114所接收时,其可用于例如选择图标以开始或结束相应应用的执行,用于最大化或最小化窗口,用于对栈中的窗口重新排序,以及用于例如通过键盘画面或其它被显示图像来提供用户输入。当拖拽由触感画面110、114所接收时,其可用于例如将图标或窗口重定位至画面中的所需位置,用于在画面上对栈重新排序,或用于延伸全部两个画面(使得所选窗口同时占据每个画面的一部分)。当拂动由触感画面110、114或手势捕获区域120、124所接收时,其可用于将窗口从第一画面重定位至第二画面,或用于延伸全部两个画面(使得所选窗口同时占据每个画面的一部分)。然而,与拖拽手势不同,拂动手势一般不用于将被显示图像移动至用户所选择的特定位置,而是移动至用户不可配置的默认位置。
当捏合手势由触感画面110、114或手势捕获区域120、124所接收时,其可用于最大化或以其它方式增加被显示的窗口面积或尺寸(典型地当由一公共画面全部接收时),用于将每个画面上显示于栈预的窗口切换至其它画面的栈顶(典型地当由不同画面或屏幕接收时),或用于显示应用管理器(在栈中显示窗口的“弹出窗口”)。当展开手势由触感画面110、114或手势捕获区域120、124所接收时,其可用于最小化或以其它方式减小被显示的窗口面积或尺寸,用于将每个画面显示于栈顶的窗口切换至其它画面的栈顶(典型地当由不同画面或屏幕接收时),或用于显示应用管理器(典型地当由相同或不同屏幕上的屏幕外的(off-screen)手势捕获区域接收时)。
当图4G的组合手势由公共画面或屏幕104、108中的公共显示捕获区域所接收时,其可用于对于接收手势的画面,保持第一栈中第一窗口栈的位置不变,同时在接收手势的画面中,重新排序第二窗口栈中第二窗口栈的位置,以包括一窗口。当图4H的组合手势由公共画面护屏幕104、108或不同画面或屏幕中的不同显示捕获区域所接收时,其可用于对于接收手势的点击部分的画面,保持第一窗口栈中第一窗口栈的位置不变,同时在接收拂动或拖拽手势的画面中,重新排序第二窗口栈中第二窗口栈的位置,以包括一窗口。尽管前面实例中的特定手势和手势捕获区域已经关联于对应的功能结果组,但应当理解,上述关联可用任意方式重新定义,以产生手势和/或手势捕获区域和/或功能性结果之间不同的关联。
固件和软件:
存储器508可存储而处理器504可执行一个或多个软件组件。该组件可包括至少一个操作系统(OS)516a和/或516b、构架520、和/或来自应用存储区(application store)560的一个或多个应用546a和/或546b。处理器504可接收前文结合图2已描述的、来自驱动器512的输入。OS 516可为任意软件,该任意软件包括程序和数据,其管理计算机硬件资源并提供用于各种应用564执行的公共服务。OS 516可为任意操作系统,并至少在某些实施例中专用于移动装置,其包括但不限于Linux、安卓(ANDROID)TM、iPhone OS(IOS TM)、视窗电话7(WINDOWS PHONE 7)TM等。OS 516可操作以通过执行一个或多个上述操作而对电话提供功能,如在这里所描述的。
应用564可为任意的更高级软件,其为用户执行特殊功能。应用564可包括以下程序,如电子邮件客户端、网络浏览器、短信应用(texting application)、游戏、媒体播放器、办公套件等。应用564可存储于应用存储区560,其可表示用于存储应用564的、任何存储器或数据存储器、以及与其相关的管理软件。当执行时,应用564可在存储器508的不同区域运行。
构架520可为任意软件或数据,其允许运行于装置的多个任务进行交互。在实施例中,下文所述的至少部分构架520和分立的组件可被认为是OS 516或应用564的一部分。然而,这些部分将被描述为构架520的一部分,而这些组件无此限制。构架520可包括但不限于:多画面管理(MDM)模块524、表面高速缓存模块528、窗口管理模块532、输入管理模块536、任务管理模块540、显示控制器、一个或多个帧缓冲器548、任务栈552、一个或多个窗口栈550(其为窗口和/或桌面在显示区域中的逻辑布局)、和/或事件缓冲器556。
MDM模块524包括一个或多个模块,其可操作以管理应用或其它数据在装置屏幕上的显示。结合图5B描述了MDM模块524的实施例。在实施例中,MDM模块524接收来自OS 516、驱动器512和应用564的输入。该输入帮助MDM模块524确定如何根据应用的首选项和需求以及用户动作来配置和分配画面。当确定了用于显示配置的确定时,MDM模块524可将应用564绑定于一显示配置。其后该配置可提供至一个或多个其它组件,以生成画面。
表面高速缓存模块528包括任意的内存或存储器及相关软件,以存储或高速缓存来自显示屏幕的一个或多个图像。每个显示屏幕可将屏幕关联于一系列活动和不活动的窗口(或其它显示对象(如桌面显示))。活动窗口(或其它显示对象)当前正在被显示。不活动窗口(或其它显示对象)已经被打开和/或某些时候被显示,但现在处于活动窗口(或其它显示对象)的“后面”。为增强用户体验,在被另一活动窗口(或其它显示对象)覆盖之前,窗口(或其它显示对象)最后生成的图像的“屏幕快照”可被存储。表面高速缓存模块528可操作以存储当前未显示窗口(或其它显示对象)的最后活动图像。由此,表面高速缓存模块528将不活动窗口(或其它显示对象)的图像存储于数据存储区中(未示出)。
在实施例中,窗口管理模块532可操作以管理在各个屏幕上活动或不活动的窗口(或其它显示对象)。窗口管理模块532基于来自MDM模块524、OS 516、或其它组件的信息来确定窗口(或其它显示对象)何时为活动还是不活动。然后窗口管理模块532可将一不可见的窗口(或其它显示对象)设置为“非活动状态”,并结合任务管理模块任务管理540,暂停该应用的操作。进一步地,窗口管理模块532可将屏幕标识符分配至窗口(或其它显示对象),或管理窗口(或其它显示对象)相关的一个或多个其它数据项。窗口管理模块532还可将所存储的信息提供至应用564、任务管理模块540,或与该窗口(或其它显示对象)交互或关联的其它组件。
输入管理模块536可操作以管理装置产生的事件。事件是对窗口环境的任意输入,例如与用户的用户界面交互。输入管理模块536接收事件并将事件逻辑地存储于事件缓冲器556。事件可包括用户界面交互,诸如:当屏幕104、108接收来自用户的触摸信号时发生的“向下事件”;当屏幕104、108确定用户手指正移动越过(多个)屏幕时发生的“移动事件”;和当屏幕104、108确定用户已经停止触摸屏幕104、108时发生的“向上事件”等。这些事件由输入管理模块536接收、存储并转发至其它模块。
任务可为应用组件,其提供用户可与之交互的屏幕以进行某一动作,如拨号、拍照、发送电子邮件、或浏览地图。每项任务可被给定一窗口,其中用于绘制用户界面。窗口典型地填充画面110、114,但可以小于画面110、114并浮于其它窗口上方。应用通常由相互松散结合的多个活动组成。典型地,应用中的一项任务被指定为“主”任务,当第一次启动该应用时向用户呈现该“主”任务。然后,每项任务可开始另一项任务,以执行不同的动作。
任务管理模块540可操作以管理可由装置执行的一个或多个应用564的操作。因此,任务管理模块540可接收信号以执行存储于应用存储区560中的应用。任务管理模块540可随后例示应用564的一个或多个任务或组件,以开始应用564的操作。进一步地,任务管理模块540可基于用户界面的变化而暂停应用564。暂停应用564可将应用数据保持在存储器中,但可以限制或停止访问应用564的处理器周期。当应用再次变为活动时,任务管理模块540可再次对处理器提供访问。
显示控制器544可操作以绘制并输出用于多屏装置的(多个)画面。在实施例中,显示控制器544创建和/或管理一个或多个帧缓冲器548。帧缓冲器548可为显示输出,其根据包含完整显示数据帧的存储器的一部分来驱动显示。在实施例中,显示控制器544管理一个或多个帧缓冲器。一个帧缓冲器可为可以表示全部两个屏幕的整个显示空间的合成帧缓冲器。该合成帧缓冲器可表现为OS 516的单个帧。显示控制器544可根据需要对该合成帧缓冲器再次划分,以用于画面110、114的每一个。因此,通过应用显示控制器544,装置100可具有多屏画面,而不改变OS 516的基础软件。
应用管理器562可为服务,其提供用于窗口环境的展现层。因此,应用管理器562提供用于窗口管理模块556进行绘制的图形模型。同样,桌面566提供用于应用存储区560的展现层。因此,桌面提供了具有可选应用图标的平面的图形模型,以用于应用存储区560中的应用564,其可被提供至窗口管理模块556,以进行绘制。
图5B示出了MDM模块524的实施例。MDM模块524可操作以确定用于装置的环境状态,其包括但不限于:装置的定向、应用564在执行什么、应用564怎样被显示、用户在进行什么动作、正在显示的任务等。为配置显示,MDM模块524解释上述环境因素并确定显示配置,如结合图6A-6J所述的。其后,MDM模块524可将应用564或其它装置组件绑定于该画面。然后,该配置可被发送至显示控制器544和/或OS 516以生成该画面。MDM模块524可包括但不限于:显示配置模块568、首选项模块572、装置状态模块574、手势模块576、需求模块580、事件模块584和/或绑定模块588中的一个或多个。
显示配置模块568为画面确定布局。在实施例中,显示配置模块568可确定环境因素。环境因素可接收自一个或多个其它MDM模块524模块或其它来源。然后,显示配置模块568可根据因素列表采确定显示的最佳配置。结合图6A-6F描述了可能的配置及其相关因素的某些实施例。
首选项模块572可操作以确定应用564或其它组件的显示首选项。例如,应用可具有单画面或双画面的首选项。首选项模块572可确定或接收应用首选项并存储该首选项。当装置配置改变时,该首选项可被重新检查,以确定是否可以实现对于应用564更优的显示配置。
装置状态模块574可操作以确定或接收装置状态。装置状态可如结合图3A和3B所述的。装置状态可由显示配置模块568使用,以确定显示的配置。这样,装置状态模块574可接收输入并解释装置状态。然后该状态信息被提供至显示配置模块568。
手势模块576可操作以确定用户是否正在用户界面上进行动作。这样,手势模块576可从任务栈552或输入管理模块536接收任务信息。这些手势可如结合图4A至4H所定义的。例如,移动窗口使该画面绘制出图示了该窗口移动的一系列画面帧。与这种用户界面交互相关联的手势可由手势模块576所接收并解释。然后,关于用户手势的信息被发送至任务管理模块540,以修改任务的显示绑定。
类似于首选项模块572,需求模块580可操作以确定用于应用564或其它细件的显示需求。应用可具有一组必须被注意的显示需求。某些应用需要特殊的显示定向。例如,应用“愤怒的小鸟”只能在横向方向上显示。这种类型的显示需求可由需求模块580来确定或接收。当装置定向改变时,需求模块580可重新声明用于应用564的显示需求。显示配置模块568可生成根据如由需求模块580提供的应用显示需求的显示配置。
类似于手势模块576,事件模块584可操作以确定随应用或其它组件发生的可影响用户界面的一个或多个事件。这样,手势模块576可从事件缓冲器556或任务管理模块540接收事件信息。这些事件可改变如何将任务绑定于画面。例如,电子邮件应用接收电子邮件,其可使画面在副屏中绘制新消息。与这种应用执行相关的事件可由事件模块584接收并解释。然后,关于事件的信息可以被发送至显示配置模块568,以修改显示的配置。
绑定模块588可操作以将应用564或其它组件绑定于显示配置模块568所确定的配置。绑定在存储器中将用于每个应用的显示配置关联于该应用的画面或模式。因此,绑定模块588可将应用关联于用于该应用的显示配置(例如,横向、纵向、多屏等)。其后,绑定模块588可将画面标识符分配至该画面。画面标识符将该应用关联于该装置的特定屏幕。然后该绑定被存储并提供至显示控制器544、OS 516或其它组件,以合适地绘制画面。该绑定为动态的,并能够基于关联至事件、手势、状态变化、应用首选项或需求等配置的改变而变化或更新。
用户界面配置:
现参见图6A-J,以下将要描述装置100可能作出的各种类型的输出配置。
图6A和6B描绘了在第一状态下装置100的两个不同的输出配置。特别地,图6A描绘了该装置100处于闭合的纵向状态304,其中该数据显示于主屏104。在本例中,装置100通过触感画面110以第一纵向配置604显示数据。如可以理解的,第一纵向配置604可仅显示桌面或操作系统主页屏幕。替换地,当装置100正在第一纵向配置604下显示数据时,可以在纵向方向呈现一个或多个窗口。
图6B描绘了装置100仍处于闭合的纵向状态304,但以数据显示在副屏108来代替。在本例中,装置100通过触感画面114以第二纵向配置608显示数据。
可以的是,可能在第一或第二纵向配置604、608中显示相似或不同的数据。还可以的是,可能通过对装置100提供用户手势(例如,双击手势)、菜单选择或其它方式,在第一纵向配置604和第二纵向配置608之间进行转换。也可采用其它合适的手势在配置之间转换。此外,还可以的是,可能根据装置100被移动的状态而将装置100从第一或第二纵向配置604、608转换至本文所述的其它任一配置。
替换的输出配置可由处于第二状态的装置100调节。特别地,图6C描述了第三纵向配置,其中数据同时显示于主屏104和副屏108两者。第三纵向配置可称为双纵向(Dual-Portrait,PD)输出配置。在PD输出配置中,主屏104的触感画面110描绘处于第一纵向配置604中的数据,而副屏108的触感画面114描绘处于第二纵向配置608中的数据。第一纵向配置604和第二纵向配置608的同时呈现可当装置100处于打开纵向状态320时发生。在该配置中,装置100可显示一个画面110或114中的一个应用窗口、两个应用窗口(画面110和114中各一个)、一个应用窗口和一个桌面,或一个桌面。其它配置也是可能的。应当理解,还可根据装置100被移动的状态,而将装置100从配置604、608的同时显示转换至本文所述的其它任一配置。此外,在这种状态时,应用的显示首选项可使装置进入双边模式,其中两个画面均为活动,以显示同一应用中的不同窗口。例如,照相机应用可一方面显示取景器并控制,而另一方面显示照片主体可见的镜像预览。需要两个玩家同时进行的游戏也可利用双边模式。
图6D和6E描绘了处于第三状态的装置100的另外两个输出配置。尤其是,图6D描绘了装置100处于闭合的横向状态340,其中数据显示于主屏104。在本例中,装置100在第一横向配置612通过触感画面110显示数据。非常类似于本文描述的其它配置,第一横向配置612可显示桌面、主页屏幕、一个或多个显示应用数据的窗口等。
图6E描绘了装置100仍处于闭合的横向状态340,但以数据显示于副屏108来代替。在本例中,装置100在第二横向配置616通过触感画面114显示数据。可以的是,可能在第一或第二纵向配置612、616中显示相似或不同的数据。还可以的是,可能通过对装置100提供扭动与点击(twist and tap)手势或弹击与滑动(flip and slide)手势中的一个或两者,在第一横向配置612和第二横向配置616之间进行转换。也可采用其它合适的手势在配置之间转换。此外,还可以的是,可能根据装置100被移动的状态,将装置100从第一或第二横向配置612、616转换至本文所述的其它任一配置。
图6F描绘了第三横向配置,其中数据同时显示于主屏104和副屏108两者。第三横向配置可称为双横向(Dual-Landscape,LD)输出配置。在LD输出配置中,主屏104的触感画面110描绘处于第一横向配置612中的数据,而副屏108的触感画面114描绘处于第二横向配置616中的数据。第一横向配置612和第二横向配置616的同时呈现可当装置100处于打开横向状态340时发生。应当理解,还可以的是,可能根据装置100被移动的状态而将装置100从配置612、616的同时显示转换至本文所述的其它任一配置。
图6G和6H描绘了在又一状态下装置100的两个视图。特别地,装置100被描绘为处于画架状态312。图6G示出了第一画架输出配置618可显示于触感画面110。图6H示出了第二画架输出配置620可显示于触感画面114。装置100可被配置以单独描绘第一画架输出配置618或第二画架输出配置620。替换地,画架输出配置618、620两者可同时呈现。在某些实施例中,画架输出配置618、620可与横向配置612、616类似或一致。装置100当处于修正画架状态316时,也可被配置以显示画架输出配置618、620中的一个或两者。应当理解,画架输出配置618、620的同时使用可促成双人游戏(例如,战舰象棋、西洋跳棋等)、其中两个或更多用户共享同一个装置100的多用户会议、以及其它应用。如可以理解的,还可以的是,可能根据装置100被移动的状态而将装置100从配置618、620中的一个或两者的显示转换至本文所述的其它任一配置。
图6I描绘了可以在装置100处于打开的纵向状态320时适用的又一输出配置。特别地,装置100可被配置以跨越纵向配置中的触感画面110、114两者而显示单个连续图像,本文将其称为最大纵向(Portrait-Max,PMax)配置624。在该配置中,数据(如单个图像、应用、窗口、图标、视频等)可被划分并部分地显示于触感画面之一,而另一部分数据显示于另一触感画面。Pmax配置624可促成较大画面和/或更好的分辨率,以用于在装置100上显示特殊图像。类似于其它输出配置,可以的是,可能根据装置100被移动的状态,而将装置100从Pmax配置624转换至本文所述的其它任一输出配置。
图6J描绘了可以在装置100处于打开的横向状态348时适用的又一输出配置。特别地,装置100可被配置以跨越横向配置中的触感画面110、114两者而显示单个连续图像,本文将其称为最大横向(Landscape-Max,LMax)配置628。在该配置中,数据(如单个图像、应用、窗口、图标、视频等)可被划分并部分地显示于触感画面之一,而另一部分数据显示于另一触感画面。Lmax配置628可促成较大画面和/或更好的分辨率,以用于在装置100上显示特殊图像。类似于其它输出配置,可以的是,可能根据装置100被移动的状态,而将装置100从Lmax配置628转换至本文所述的其它任一输出配置。
显示控制:
图7A至7E描绘了手势序列的五个示例,其可使装置100改变数据在其上的显示。特别地,图7A描绘了产生第一显示动作的第一手势序列700。虽然该第一显示动作被描绘为执行于触感画面110、114上,但应当理解,该第一显示动作能够替换地或除此之外地执行于主屏104和/或副屏108的其它部分上。当装置100位于打开的横向状态348时,第一手势序列700开始。在该状态时,装置100在其画面110、114两者显示数据。换言之,主屏104和副屏108两者均为活动,并且在画面110、114上均显示像素数据。在某些实施例中,装置100可在上部画面(例如,画面110)显示来自第一应用1.1的应用数据,而在下部画面(例如,画面114)不显示来自第一应用1.1的数据。来自第一应用1.1的数据可根据MDM模块524所确定的最小化规则,以第一横向配置612显示在上部画面上。当前不显示来自第一应用1.1数据的画面114可正在显示来自另一应用(如应用2.1、3.1等)的数据或者,它可以正在显示桌面数据。
在某些实施例中,桌面数据可堆叠于多个桌面显示(如第一桌面显示D1、第二桌面显示D2、第三桌面显示D3、第n桌面显示Dn等)中且该桌面显示可类似于卡片栈一样被排序,使得如果两个屏幕当前为活动的并正在显示桌面数据,则来自卡片栈的卡片之一(如,第一桌面显示D1)在屏幕之一为可见,而来自卡片栈的下一张卡片(如,第二桌面显示D2)在另一屏幕可见。所有其它桌面显示当前可以为不可见,但桌面显示的顺序可以由MDM模块524或其它显示控制模块保存在存储器中。桌面显示的排序可称为桌面栈,并且桌面显示的顺序可由MDM模块524所参考,以确定在各种环境下哪一个桌面显示应呈现于哪一画面110、114。在图7A所描述的实例中,第二桌面显示D2最初可显示于画面114上,而来自第一应用1.1的数据以最小化状态而呈现于另一画面110上。
当预定类型的第一用户输入704被装置100检测时,继续第一手势序列700。在某些实施例中,第一用户输入704可对应于拖拽手势。拖拽手势可在触感画面110、114、手势捕获区域120、124、可配置区域112、116、或屏幕104,108之一或两者的其它任意部分中被检测。在某些实施例中,拖拽手势在主屏104或副屏108的手势捕获区域120、124中被检测。特别地,拖拽手势可正在大体远离上部画面110顶边并朝向下部画面114底边的方向上移动(例如,向下拖拽手势)。在更具体的实施例中,拖拽手势可在主屏104(例如,来自当前最小化应用的数据正被描绘的屏幕)中被检测。
虽然单个手势被描述为第一用户手势704,但本领域普通技术人员将理解,第一手势704可实际对应于本文所描述的或者本领域普通技术人员以其他方式所知的任一单个手势或手势的组合。
第一手势704的检测由任务管理模块540所检测并解释。然后,任务管理模块540所进行的手势解释被转发至MDM模块524,其将所接收的第一手势704关联于一个或多个预定的显示输出或显示动作。
特别地,当MDM模块524注册了拖拽手势时,MDM模块524可将所检测的手势关联于一特殊显示控制动作。更特别地,MDM模块524可确定向下的拖拽手势对应于一指令,该指令用于在画面110上最大化当前正在显示的第一应用1.1的画面。相应地,MDM模块524可生成一个或多个指令,用于创建包含正被最大化的第一应用1.1的数据的过渡区域708。
MDM模块524生成的指令可被提供返回至任务管理模块540,然后其将该指令提供至窗口管理模块532。然后窗口管理模块524可根据MDM模块524生成的指令,激活对于画面110、114的改变。
过渡区域708可跨越下部画面114逐渐增长,直到来自正被最大化的第一应用1.1的数据填充全部两个画面110、114为止。在过渡区域708已全部填充下部画面114以前,先前显示在下部画面114(如,第二桌面显示D2)的数据可显示于画面114未被过渡区域708占据的剩余部分。
在某些实施例中,在过渡区域708已经完全移动跨越下部画面114之后,应用最大化功能完成。此时,来自第一应用1.1的数据以LD输出配置或Lmax输出配置628显示于全部两个画面110、114。最大化规则可由窗口管理模块532参考,以确定当被最大化时应用数据应该如何被呈现。这种最大化规则可保存在窗口栈550中或可通过数据查找功能由窗口管理模块532可用。在图7A所描绘的示例中,第一应用1.1以LD输出配置来描绘,以使来自第一应用1.1的第一组数据以第一横向输出配置612通过画面110呈现,而来自第一应用1.1的第二组数据(不包括第一组的数据)以第二横向输出配置616通过画面114呈现。如果利用Lmax输出配置628,则来自第一应用1.1的至少某些数据将在全部两个画面110、114同时呈现。
图7B描绘了第二手势序列712。如同第一手势序列700,第二手势序列712可实现于屏幕104、108的任一组件。第二手势序列712类似于第一手势序列700而开始,不同的是来自最小化应用的数据最初显示于下部画面(例如,画面114)、而不是上部画面(例如,画面110)。如可以理解的,最小化应用在其上被呈现的实际画面可取决于装置100的定向(如,画面110是否位于画面114上方,或反之亦然)。而且,来自该应用的数据可根据MDM模块524和窗口管理模块532之一或两者对该应用所确定的最小化规则而显示于下部画面。
桌面栈的概念仍然可用,且在某些实施例中,窗口管理模块532可确定由于来自该应用的数据正以第二横向输出配置616显示于下部画面,因而第一桌面显示D1可显示于另一画面110。可以理解,如果遵循桌面栈的概念,则若该桌面完全由装置100所呈现,那么第二桌面显示D2可呈现于下部画面114。画面110可正在描绘来自正显示于画面114的应用之外的应用的数据,而不描绘第一桌面显示D1。
当预定类型的第一用户输入716被装置100检测并在任务管理模块540注册时,继续第二手势序列712。第一用户输入716可类似于第一用户输入704,不同的是其可具有不同的运动方向(如,向上,而非向下)。在某些实施例中,第一用户输入716可对应于拖拽手势。拖拽手势可在触感画面110、114、手势捕获区域120、124、可配置区域112、116、或屏幕104、108之一或两者的其它任意部分中被检测。在某些实施例中,拖拽手势在主屏104或副屏108的手势捕获区域120、124中被检测。特别地,拖拽手势可正在大体远离下部画面114底边并朝向上部画面110顶边的方向上移动(例如,向上拖拽手势)。在更具体的实施例中,拖拽手势可在副屏108(例如,来自当前最小化应用的数据正被描述的屏幕)中被检测。
虽然单个手势被描述为第一用户手势716,但本领域普通技术人员将理解,第一手势716可实际对应于本文所描述的或者本领域普通技术人员以其他方式所知的任一单个手势或手势的组合。
当任务管理模块540已经解释了第一用户手势716并将该信息提供至MDM模块524时,MDM模块524检测并注册该拖拽手势。然后,MDM模块524将所检测的手势关联于一个特定显示控制动作。特别地,MDM模块524可确定向上的拖拽手势对应于一指令,该指令用于最大化当前正在画面114上显示的第一应用1.1的画面。相应地,MDM模块524可生成一指令,该指令用于创建包含来自正被最大化的第一应用1.1的数据的过渡区域708。然后该指令通过任务管理模块540被提供至窗口管理模块532。
过渡区域708可跨越上部画面110逐渐增长,直到来自正被最大化的第一应用1.1的数据填充全部两个画面110、114为止。在过渡区域708已全部填充上部画面110以前,先前显示在上部画面110(如,第一桌面显示D1)的数据可显示于画面110未被过渡区域708占据的剩余部分。
在某些实施例中,在过渡区域708已经完全移动跨越上部画面110之后,应用最大化功能完成。此时,来自第一应用1.1的数据以LD输出配置或Lmax输出配置628显示于全部两个画面110、114。最大化规则可由窗口管理模块532参考,以确定当被最大化时应用数据应该如何被呈现。这种最大化规则可保存在窗口管理模块532中或可通过数据查找功能由窗口管理模块532可用。在图7B所描述的示例中,第一应用1.1以LD输出配置来描绘,以使来自第一应用1.1的第一组数据以第一横向输出配置612通过画面110呈现,而来自第一应用1.1的第二组数据(不包括第一组的数据)以第二横向输出配置616通过画面114呈现。如果利用Lmax输出配置628,则来自第一应用1.1的至少某些数据将在全部两个画面110、114同时显示。
图7C描绘了第三手势序列720。如同先前手势序列700、712,第三手势序列720可实现于屏幕104、108的任一组件。第三手势序列720类似于第二手势序列712而开始,即来自第一应用1.1的数据以最小化状态呈现于画面114之一,而来自其它应用或桌面的数据呈现于另一画面110。虽然来自第一应用1.1的数据被描绘为最初显示于下部画面(例如,画面114)上,但应当理解,当来自第一应用1.1的数据最初呈现于上部画面(例如,画面110)上且其它数据呈现于另一画面上时,也可以实现第三手势序列720。在每一种场景下,来自第一应用1.1的数据可根据窗口管理模块532对该应用所确定的最小化显示规则而显示于画面110或114。
当预定类型的第一用户输入724被装置100检测时,继续第三手势序列720。第一用户输入724可类似于其它用户输入704、716,不同的是第一用户输入724可对应于用于移动来自第一应用1.1的数据、而不是将来自第一应用1.1的数据最大化的指令。作为非限制性示例,第一用户输入724可对应于在向上或向下的方向的拂动手势,这取决于第一应用1.1的位置。拂动手势可由屏幕104或108的任意部分来捕获。
虽然单个手势被描述为第一用户手势724,但本领域普通技术人员将理解,第一手势724可实际对应于本文所描述的或者本领域普通技术人员以其他方式所知的任一单个手势或手势的组合。
第一手势724由任务管理模块540注册并解释。然后,任务管理模块540将与所接收的第一手势724相关的信息提供至MDM模块540。当MDM模块524检测并注册该拂动手势时,MDM模块524可以将所检测的手势关联于特定的显示控制动作。特别地,MDM模块524可确定拂动手势对应于一指令,该指令用于将第一应用1.1的显示从一个画面移动至另一画面(例如,从画面114移动至画面110)。相应地,MDM模块524可生成一指令,该指令用于创建包含来自正被移动的第一应用1.1的数据的固定尺寸的过渡区域728。
MDM模块524所生成的(多个)指令被提供至窗口管理模块532,其参考显示规则并执行显示变化。特别地,窗口管理模块532可使过渡区域728从一个画面(例如,画面114)远离地向另一画面(例如,画面110)迁移,直到来自正被移动的第一应用1.1的数据已经移动至另一画面(例如,画面110)为止。当过渡区域728在画面之间移动时,先前呈现在上部画面110(如,第一桌面显示D1)的数据可呈现于画面110上未被过渡区域728占据的剩余部分。类似地,呈现在下部画面114(如,第二桌面显示D2)的数据可呈现于画面114的增长部分。
在第一应用1.1已经从一个画面移动至另一画面之后,认为该序列已完成。此时,来自第一应用1.1的数据现在能够以第一横向输出配置612呈现在不同的画面110,并且不同的桌面显示(如,第二桌面显示D2)能够以第二横向输出配置616呈现在画面114。
图7D描绘了第四手势序列732。第四手势序列732对应于激活将应用最小化、而不是最大化或移动一应用的显示动作。如同本文所述的其它手势序列,第四手势序列732可实现于屏幕104、108的任一组件,而不偏离本公开的范围。
第四手势序列732开始于第一应用1.1,其以最大化状态显示于画面110、114两者。在某些实施例中,最大化规则可被参考以确定第一应用1.1如何跨越多个屏幕104、108而显示。第一应用1.1最初可在LD输出配置或Lmax输出配置628下显示。
当预定类型的第一用户输入736被装置100检测时,继续第四手势序列744。第一用户输入736可类似于本文所述的其它用户输入。在某些实施例中,第一用户输入736可对应于拖拽或拂动手势。拖拽或拂动手势可在触感画面110、114、手势捕获区域120、124、可配置区域112、116、或屏幕104、108之一或两者的其它任意部分中被检测。在某些实施例中,拖拽或拂动手势在主屏104或副屏108的手势捕获区域120、124中被检测。特别地,图7D描绘了第一拖拽或拂动手势,其激活一种类型的最小化显示动作,其中将第一应用1.1在向下的方向中最小化。图7E描绘了关联于第五手势序列740的第二拖拽或拂动手势744,其激活另一种类型的最小化显示动作,其中将第一应用1.1在向上的方向中最小化。相应地,图7D和7E的最小化显示动作可相类似,不同的是一个显示动作将第一应用1.1移动至一个画面110,而另一个显示动作将第一应用1.1移动至另一个画面114。
虽然单个手势被描述为第一用户手势736或744,但本领域普通技术人员将理解,第一手势736或744可实际对应于本文所描述的或者本领域普通技术人员以其他方式所知的任一单个手势或手势的组合。
在每个最小化显示动作中,当MDM模块524检测并注册(如接收自任务管理模块540的)该拖拽或拂动手势736、744时,MDM模块524可将所检测的手势关联于一特定显示控制动作。特别地,MDM模块524可确定该拖拽或拂动手势对应于一指令,该指令用于将第一应用1.1的画面最小化至单个画面(或单个画面的子部分)。相应地,MDM模块524可生成一个或多个指令,用于创建包含正被移动的第一应用1.1的数据的固定尺寸的过渡区域728。
MDM模块524生成的指令被提供至窗口管理模块532,其进行实际绘制并使过渡区域728从一个画面远离地向另一画面(例如画面110)迁移,直到来自正被移动的第一应用1.1的数据已经移动至另一画面为止。过渡区域728的移动方向可与拖拽或拂动手势的方向相同。当过渡区域728正在画面之间移动时,桌面显示可部分地在画面110、114上绘制。特别地,第一桌面显示D1的一部分可绘制于一个画面110,而第二桌面显示D2的一部分可绘制于另一画面114。
在第一应用1.1已被最小化和重新格式化,以显示于单个屏幕104或108之后,认为该最小化显示动作已完成。此时,来自第一应用1.1的数据现在能够以横向输出配置612或616呈现在单个画面110或114,并且桌面显示可呈现在另一画面110或114。第一应用1.1和桌面被显示的方式可取决于窗口管理模块532可利用和所参考的最小化规则。
现参见图8,将描述根据本公开至少某些实施例的第一显示控制方法800。该方法800开始于步骤804。特别地,装置100最初处于打开的横向状态348。当用户输入(如,手势或手势的组合)在装置100被接收并由MDM模块524所注册时,该方法继续(步骤808)。
然后,MDM模块524可分析所接收的与用户输入相关的信息,并确定用户输入对应于应用最大化指令(步骤812)。MDM模块524可进一步确定哪一具体类型的应用最大化指令已被接收(例如,拖拽或拂动的方向、所接收指令的位置等)并可将具体类型的用户输入关联至用于该正被最大化应用的最大化规则(步骤816)。相应地,基于用于该应用的最大化规则,MDM模块524将指示窗口管理模块532重新格式化该应用的显示,以至少部分地占据全部两个画面110、114,除非用于该应用的最大化指令表示其它含义。图7A和7B描绘了这种显示控制动作的示例。
现参见图9,将描述根据本公开至少某些实施例的第二显示控制方法900。该方法900开始于步骤904。特别地,装置100最初处于打开的横向状态348。当用户输入(如,手势或手势的组合)在装置100被接收并由MDM模块524所注册时,该方法继续(步骤908)。
然后,MDM模块524可分析所接收的与用户输入相关的信息,并确定用户输入对应于应用最小化指令(步骤912)。MDM模块524可进一步确定哪一具体类型的应用最大化指令已被接收(例如,拖拽或拂动的方向、所接收指令的位置等)并可将具体类型的用户输入关联至用于该正被最小化应用的最小化规则(步骤916)。相应地,基于用于该应用的最小化规则,MDM模块524将指示窗口管理模块532重新格式化该应用的显示,以仅仅占据单个画面110或114(或其一部分),除非用于该应用的最小化指令表示其它含义。图7D和7E描绘了这种显示控制动作的示例。
已经关于显示控制机制而描述了本公开的示例性系统和方法。然而,为避免不必要地混淆本公开,前文的描述省略了多个已知结构和装置。这种省略不应被解释为对权利要求范围的限制。提出了具体细节以提供对本公开的理解。然而,应当理解,本公开还可用本文所提出的具体细节以外的多种途径来实现。
此外,尽管本文图示的示例性的方面、实施例、和/或配置示出了被并置的系统的多个组件,但系统的特定组件可在分布式网络(如,LAN和/或因特网)的远程部分,或在专用系统内部远程地定位。因而,应当理解,系统的组件可组合成一个或多个装置,如计算机、膝上型计算机、上网本、智能手机、移动装置等,或可并置于分布式网络的特定节点,如模拟和/或数字电信网络、分组交换网络、或电路交换网络。从前文描述中将理解,并且出于计算效率的考虑,系统的组件可设置于组件的分布式网络中的任意位置,而不影响系统的操作。例如,多个组件可位于交换机,如PBX和媒体服务器、网关,或位于一个或多个通信装置,位于一个或多个用户的房屋,或位于其某种组合。类似地,系统的一个或多个功能部分可分布于(多个)电信装置和相关计算装置之间。
此外,应当理解,用于连接元件的多种链路可为有线或无线链路、或其任意组合、或能够往返于被连接元件而提供和/或传输数据的任何已知的或以后将开发的(多个)元件。该有线或无线链路还可为安全链路并可以能够传输加密信息。例如,作为链路使用的传输煤介可为任意合适的电信号载体,其包括同轴电缆、铜线和光纤,并可采用声波或光波的形式,例如生成于无线电波和红外数据通信期间的声波或光波。
同样,尽管已经关于特定事件序列而描述和图示了流程图,但是应当理解,可以出现对该序列的改变、增加和删除,而实质上并不影响所公开的实施例、配置和方面的操作。
可应用本公开的多种变化和修改。将可以提供本公开的某些特征,而不提供其它特征。
在又一实施例中,本公开的系统和方法可结合专用计算机、编程的微处理器或微控制器以及外围集成电路单元(组)、ASIC或其它集成电路、数字信号处理器、硬连线电子或逻辑电路(如,分立元件电路、可编程逻辑装置或门阵列,诸如PLD、PLA、FPGA、PAL)、专用计算机、任何相当的部件等来实现。通常,能够实现在此示出的方法的任意(多个)装置或部件可用于实现本公开的各个方面。可用于所公开实施例、配置和方面的示例性硬件包括计算机、手持装置、电话(如,蜂窝、支持因特网、数字、模拟、混合或其它)、及本领域已知的其它硬件。上述某些装置包括处理器(如,单个或多个微处理器)、内存、非易失性存储器、输入装置和输出装置。此外,包括但不限于分布式处理或组件/对象分布式处理、并行处理,或虚拟机处理的替换软件实现也可被构建,以实现本文所述的方法。
在另一实施例中,所公开的方法可简单地结合使用对象的软件或面向对象软件开发环境所实现,其提供便携的源代码,该源代码可用于多种计算机或工作站平台。替换地,所公开的系统可部分或全部以使用标准逻辑电路或VLSI设计的硬件来实现。用软件还是硬件来实现根据本公开的系统是取决于正在利用的系统、特定功能、以及特定软件或硬件系统、或者微处理器或微型计算机系统对速度和/或效率的需求。
在另一实施例中,所公开的方法可部分地以软件实现,其可存储于存储介质,执行于与控制器和存储器、专用计算机、微处理器等协同的编程通用计算机。在上述实例中,本公开的系统和方法可实现作为嵌入在个人计算机上的程序,如小应用程序(applet)、或CGI脚本,作为驻留于服务器或计算机工作站的资源,作为嵌入在专用测量系统、系统组件等之中的例程。该系统还可通过将系统和/或方法物理地合并为软件和/或硬件系统来实现。
虽然本公开结合特定标准和协议而描述了在方面、实施例和/或配置中实现的组件和功能,但该方面、实施例和/或配置并不限于所述标准和协议。本文未提及的其它类似的标准和协议同样存在,并可被考虑包括于本公开。并且,本文提及的标准和协议以及本文未提及的其它类似的标准和协议周期性地被具有实质相同功能的更加快速或有效的等效物所取代。具有相同功能的这种替代标准和协议也被考虑包括于本公开。
本发明在多个方面、实施例和/或配置中包括如本文所实际描述的组件、方法、处理、系统和/或设备,其包括多个方面、实施例、配置实施例,及其子组合和/或子集。本领域技术人员在理解本发明之后,将会理解如何构成并应用所公开的方面、实施例和/或配置。本发明在多个方面、实施例和/或配置中,在缺少本文未描绘和/或描述的项时包括提供装置和处理,或在多个方面、实施例和/或其配置中,在缺少如在前述装置或处理中可能已使用的这些项时进行包括,例如以用于改善性能、实现简易化和/或降低实现成本。
已经呈现了前面的讨论,以用于图示和描述的目的。前文并非意图将本公开限制于本文所公开的一个或多个形式。例如在前面的具体实施方式部分,本公开的多种特征在一个或多个方面、实施例和/或配置中组合在一起,以用于使本公开流水线化的目的。本公开的方面、实施例和/或配置中的特征可在上述内容以外的替换的方面、实施例和/或配置中进行组合。本公开的方法不应被解释为反映权利要求需要比在每项权利要求中明确表述的更多特征的意图。相反,正如下面的权利要求所反映的,创造性的方面在于少于前面所公开的单个方面、实施例和/或配置的所有特征。因此,下面的权利要求在此并入此具体实施方式,其中每项权利要求单独地作为本发明独立的优选实施例。
此外,尽管该描述已经包括一个或多个方面、实施例和/或配置的描述以及某些变化和修改,但在理解本发明之后,例如如可能在本领域技术人员的技能和知识之内的其它变化、组合、和修改也在本公开的范围之内。其意图在于获得以下权利,其包括替换的方面、实施例和/或配置,以达到许可的程度,其包括对所要求内容而言替换的、可互换的和/或等效的结构、功能、范围或步骤,而无论该替换的、可互换的和/或等效的结构、功能、范围或步骤是否在本文所公开,而且并没有意图公开地贡献任何可专利的主题。

Claims (15)

1.一种用于控制由双屏装置显示的数据的方法,包括:
接收第一用户输入手势,其对应于用于将显示在双屏装置的第一屏幕上的第一应用的显示最大化的指令;
根据该第一用户输入手势和用于第一应用的最大化规则来确定用于第一应用的第一显示配置;以及
基于该用于第一应用的第一显示配置,将来自该第一应用的数据根据该第一显示配置而同时显示于该双屏装置的第一屏幕和第二屏幕两者上;
接收第二用户输入手势,该第二用户输入手势不同于该第一用户输入手势;
确定所述第二用户输入手势对应于用于将显示在双屏装置的第一屏幕上的第一应用的显示最大化的指令;
基于所述第二用户输入手势的类型,将所述类型与所述用于第一应用的最大化规则之一相关联;
根据该第二用户输入手势和所述用于第一应用的最大化规则之一来确定用于第一应用的第二显示配置,其中,该第二显示配置不同于该第一显示配置;以及
基于该用于第一应用的第二显示配置,将来自该第一应用的数据根据该第二显示配置而同时显示于该双屏装置的第一屏幕和第二屏幕两者上。
2.如权利要求1所述的方法,其中该用于第一应用的最大化规则定义了,当该第一应用被最大化并且该双屏装置处于打开的横向状态时,该第一应用要被显示于该第一屏幕的全部画面以及该第二屏幕的全部画面上。
3.如权利要求2所述的方法,其中该第一显示配置将该第一应用在双横向输出配置中最大化,以使来自该第一应用的第一组数据显示于该第一屏幕的画面上,而来自该第一应用的第二组数据显示于该第二屏幕的画面上。
4.如权利要求3所述的方法,其中该第二显示配置将该第一应用在横向最大输出配置中最大化,以使来自该第一应用的第一组数据同时地显示于该第一屏幕的画面和该第二屏幕的画面两者上。
5.如权利要求4所述的方法,该方法进一步包括:
生成过渡区域,其利用来自该第一应用的数据逐渐填充该第二屏幕的画面;以及
使得该过渡区域替换先前呈现于该第二屏幕的画面上的桌面显示。
6.如权利要求5所述的方法,其中,先前呈现于该第二屏幕的画面上的该桌面显示对应于桌面显示栈中的多个桌面显示中的一个,且其中桌面显示栈中的另一桌面显示被分配至该第一屏幕并被第一应用所覆盖。
7.如权利要求1所述的方法,进一步包括:
接收第三用户输入,其对应于用于将显示在双屏装置第一和第二屏幕上的第一应用最小化的指令;以及
重新格式化该第一应用,使其以类似于其中在接收该第一用户输入之前该第一应用显示于该第一屏幕上的方式而显示于该第一屏幕上。
8.如权利要求1所述的方法,其中该第一用户输入对应于(1)拂动手势和(2)拖拽手势中的至少一个。
9.如权利要求1所述的方法,其中该第一用户输入在该第一屏幕的手势捕获区域中被接收,且其中该第一屏幕的该手势捕获区域与该第一屏幕的显示区域相分离。
10.如权利要求1所述的方法,还包括:根据该第一用户输入手势来确定用于第一应用的最大化规则、以及该双屏装置的定向、用于第一应用的第一显示配置。
11.一种双屏用户装置,包括:
一个或多个处理器;
第一屏幕,包括第一显示区域;
第二屏幕,包括第二显示区域;以及
非瞬态计算机可读介质,在其上存储有以下指令,所述指令用于由所述一个或多个处理器来执行,其包括:
第一指令集,被配置以:分析在双屏装置处所接收的第一用户输入手势,并确定该第一用户输入手势对应于用于将显示在双屏装置的第一屏幕上的第一应用的显示最大化的至少一个指令;
第二指令配置集,被配置以根据该第一用户输入手势和用于第一应用的最大化规则来确定用于第一应用的第一显示配置;以及
第三指令集,被配置以基于所述用于第一应用的最大化规则来调用该第一应用的最大化,使来自该第一应用的数据根据该第一显示配置而同时显示于该第一显示区域和该第二显示区域两者上;
第四指令集,被配置以分析在双屏装置处所接收的第二用户输入手势,并确定该第二用户输入手势对应于用于将显示在双屏装置的第一屏幕上的第一应用的显示最大化的指令,基于所述第二用户输入手势的类型,将所述类型与所述用于第一应用的最大化规则之一相关联,其中,该第一应用没有显示在双屏装置的第二屏幕上;
第五指令配置集,被配置以根据该第二用户输入手势和用于第一应用的最大化规则之一来确定用于第一应用的第二显示配置,其中,该第二显示配置不同于该第一显示配置;以及
第六指令集,被配置以基于所述用于第一应用的最大化规则之一来调用该第一应用的最大化,使来自该第一应用的数据根据该第二显示配置而同时显示于该双屏装置的该第一屏幕和该第二屏幕两者上。
12.如权利要求11所述的装置,其中该第一屏幕包括手势捕获区域,其与该第一屏幕的第一显示区域相分离,且其中该第一用户输入包括在被指向该第二屏幕的手势捕获区域中接收的(1)拖拽手势和(2)拂动手势中的至少一个。
13.如权利要求12所述的装置,其中该第一用户输入包括拖拽手势,且其中该第一应用替换在接收该第一用户输入之前显示于该第二显示区域上的第二桌面显示。
14.如权利要求12所述的装置,其中来自该第一应用的数据在横向最大输出配置中自动地显示于第一和第二显示区域两者上。
15.如权利要求12所述的装置,其中来自该第一应用的数据在横向双输出配置中自动地显示于第一和第二显示区域两者上。
CN201210442013.5A 2011-08-31 2012-08-31 多屏显示控制 Active CN102999309B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/222,888 2011-08-31
US13/222,888 US8872731B2 (en) 2010-10-01 2011-08-31 Multi-screen display control

Publications (2)

Publication Number Publication Date
CN102999309A CN102999309A (zh) 2013-03-27
CN102999309B true CN102999309B (zh) 2018-10-16

Family

ID=46934404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210442013.5A Active CN102999309B (zh) 2011-08-31 2012-08-31 多屏显示控制

Country Status (2)

Country Link
EP (1) EP2565751A1 (zh)
CN (1) CN102999309B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013208098A1 (de) * 2013-05-03 2014-11-06 Eberspächer Exhaust Technology GmbH & Co. KG Straßenfahrzeug
US9417835B2 (en) 2013-05-10 2016-08-16 Google Inc. Multiplayer game for display across multiple devices
CN105339887B (zh) 2013-07-02 2019-02-19 株式会社半导体能源研究所 数据处理装置
CN105492990B (zh) 2013-08-30 2020-03-13 惠普发展公司,有限责任合伙企业 一种实现触摸输入关联的系统、方法以及器件
KR102097496B1 (ko) 2013-10-07 2020-04-06 엘지전자 주식회사 폴더블 이동 단말기 및 그 제어 방법
CN103744477B (zh) * 2013-12-25 2017-02-22 三星半导体(中国)研究开发有限公司 可分离式双屏终端及其控制系统
CN104750384B (zh) * 2015-03-09 2017-03-08 努比亚技术有限公司 移动终端及其分屏操作方法
CN105516754B (zh) * 2015-12-07 2019-04-02 小米科技有限责任公司 画面显示控制方法、装置及终端
US11335302B2 (en) 2016-01-15 2022-05-17 Google Llc Adaptable user interface with dual screen device
CN106648488B (zh) * 2016-09-12 2019-10-22 深圳市金立通信设备有限公司 一种终端及其显示方法
CN106874097A (zh) * 2017-02-28 2017-06-20 努比亚技术有限公司 一种终端屏幕的分屏显示方法及装置
CN108958679A (zh) * 2017-05-25 2018-12-07 中兴通讯股份有限公司 移动终端显示方法、装置、移动终端及存储介质
CN107728980A (zh) * 2017-09-30 2018-02-23 广州广电银通金融电子科技有限公司 单板双屏智能终端控制方法与装置、智能错峰交接柜系统
CN107807760A (zh) * 2017-10-24 2018-03-16 广东欧珀移动通信有限公司 屏幕显示方法及装置
TWI676130B (zh) * 2018-07-05 2019-11-01 和碩聯合科技股份有限公司 顯示裝置
CN111385464B (zh) * 2018-12-29 2021-09-07 北京小米移动软件有限公司 闪光灯控制方法、装置及存储介质
CN112445399A (zh) * 2019-09-04 2021-03-05 珠海金山办公软件有限公司 一种终端显示调节方法、装置和终端
CN110618799B (zh) * 2019-09-11 2023-03-28 Oppo广东移动通信有限公司 基于折叠屏幕的显示方法和装置
CN112684996B (zh) * 2020-12-31 2023-08-18 联想(北京)有限公司 一种控制方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1933883A (zh) * 2004-03-22 2007-03-21 任天堂株式会社 游戏装置、游戏程序、存储游戏程序的存储介质以及游戏控制方法
EP1775925A2 (en) * 2005-10-14 2007-04-18 LG Electronics Inc. Method for displaying multimedia contents and mobile communications terminal capable of implementing the same

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7750893B2 (en) * 2005-04-06 2010-07-06 Nintendo Co., Ltd. Storage medium storing input position processing program, and input position processing device
US8933874B2 (en) * 2008-09-08 2015-01-13 Patrik N. Lundqvist Multi-panel electronic device
US9009984B2 (en) * 2008-09-08 2015-04-21 Qualcomm Incorporated Multi-panel electronic device
US8600446B2 (en) * 2008-09-26 2013-12-03 Htc Corporation Mobile device interface with dual windows
US20100321275A1 (en) * 2009-06-18 2010-12-23 Microsoft Corporation Multiple display computing device with position-based operating modes
US8677284B2 (en) * 2009-11-04 2014-03-18 Alpine Electronics, Inc. Method and apparatus for controlling and displaying contents in a user interface
US20110209058A1 (en) * 2010-02-25 2011-08-25 Microsoft Corporation Multi-screen hold and tap gesture

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1933883A (zh) * 2004-03-22 2007-03-21 任天堂株式会社 游戏装置、游戏程序、存储游戏程序的存储介质以及游戏控制方法
EP1775925A2 (en) * 2005-10-14 2007-04-18 LG Electronics Inc. Method for displaying multimedia contents and mobile communications terminal capable of implementing the same

Also Published As

Publication number Publication date
CN102999309A (zh) 2013-03-27
EP2565751A1 (en) 2013-03-06

Similar Documents

Publication Publication Date Title
CN102999309B (zh) 多屏显示控制
US11537259B2 (en) Displayed image transition indicator
US11416023B2 (en) Windows position control for phone applications
US10282065B2 (en) Filling stack opening in display
US10156969B2 (en) Windows position control for phone applications
US9733665B2 (en) Windows position control for phone applications
US9436217B2 (en) Windows position control for phone applications
US20120218202A1 (en) Windows position control for phone applications
US20120220340A1 (en) Windows position control for phone applications
US20120220341A1 (en) Windows position control for phone applications
CN103116460B (zh) 多屏幕装置之间移动窗口的方法和双显示器通信装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant