CN112334861A - 管理柔性显示器的方法及其电子设备 - Google Patents

管理柔性显示器的方法及其电子设备 Download PDF

Info

Publication number
CN112334861A
CN112334861A CN201980042128.5A CN201980042128A CN112334861A CN 112334861 A CN112334861 A CN 112334861A CN 201980042128 A CN201980042128 A CN 201980042128A CN 112334861 A CN112334861 A CN 112334861A
Authority
CN
China
Prior art keywords
flexible display
electronic device
folding
user
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980042128.5A
Other languages
English (en)
Inventor
潘尼·阿瓦多斯·雷卡帕利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2019/007903 external-priority patent/WO2020005017A1/en
Publication of CN112334861A publication Critical patent/CN112334861A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0266—Details of the structure or mounting of specific components for a display module assembly
    • H04M1/0268—Details of the structure or mounting of specific components for a display module assembly including a flexible display panel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/02—Flexible displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0206—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings
    • H04M1/0241—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings using relative motion of the body parts to change the operational status of the telephone set, e.g. switching on/off, answering incoming call
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提供了用于管理电子设备的柔性显示器的方法和系统。该方法包括：接收用于折叠电子设备的柔性显示器的输入；通过使用电子设备的至少一个传感器识别电子设备的状态；根据识别出的电子设备的状态识别柔性显示器是否能够被折叠；以及如果识别出柔性显示器能够被折叠，则控制折叠柔性显示器。

Description

管理柔性显示器的方法及其电子设备
技术领域
本公开涉及具有柔性显示器的电子设备。更具体地，本公开涉及管理电子设备的柔性显示器以满足用户意图。
背景技术
目前开发了具有柔性显示器的设备。例如，可以通过用塑料膜取代围绕液晶显示器(LCD)的液晶和有机发光二极管(OLED)的玻璃基板来形成柔性显示器，从而增加柔性以允许折叠和展开。
在各种方法中，可以折叠/更改柔性显示器，使得它们的配置、尺寸和长度通过外力而被改变，同时能够以各种配置显示内容。然而，当折叠柔性显示器时，内容中存在的对象的位置可能不会更改。用户可能难以与柔性显示器的折叠区上显示的内容中存在的对象进行交互。
以上信息仅作为背景信息提出，以帮助理解本公开。关于以上内容中的任何内容是否可以用作关于本公开的现有技术，没有确定，也没有断言。
发明内容
问题的解决方案
本公开的各方面将至少解决上述问题和/或缺点并且至少提供下述优点。因此，本公开的一方面提供了一种用于管理柔性显示器的方法和电子设备。
本公开的实施例提供了一种方法和电子设备，用于确定折叠状态配置以管理柔性显示器。
本公开的实施例提供了一种方法和电子设备，用于关于在柔性显示器上显示的内容或为在柔性显示器上显示而被渲染/获取的内容来确定用户意图以确定折叠状态配置。
本公开的实施例提供了一种方法和电子设备，根据折叠状态配置更改在柔性显示器上显示的内容或为在柔性显示器上显示而被渲染/获取的内容。
将在下面的描述中部分地阐述另外的方面，这些方面部分地根据描述将是显而易见的，或者可以通过实践所提出的实施例而被获知。
根据本公开的实施例，提供了一种用于操作电子设备的方法。该方法包括：基于电子设备的传感器检测用于折叠电子设备的柔性显示器的输入；基于根据检测到的输入而获取的电子设备的状态，识别出柔性显示器能够被折叠；基于识别出柔性显示器能够被折叠，确定柔性显示器的折叠状态配置；根据所确定的折叠状态配置控制折叠柔性显示器；以及在折叠的柔性显示器上显示内容。
根据本公开的实施例，提供了一种电子设备。该电子设备包括至少一个传感器、柔性显示器和至少一个处理器。至少一个处理器被配置为控制：基于至少一个传感器检测用于折叠柔性显示器的输入；基于根据检测到的输入而获取的电子设备的状态，识别出柔性显示器能够被折叠；基于识别出柔性显示器能够被折叠，确定柔性显示器的折叠状态配置；根据所确定的折叠状态配置折叠柔性显示器；并且在折叠的柔性显示器上显示内容。
根据以下详细描述，本公开的其他方面、优点和显著特征对于本领域技术人员而言将变得显而易见，以下详细描述结合附图公开了本公开的各种实施例。
附图说明
通过以下结合附图的描述，本公开的某些实施例的上述和其他方面、特征和优点将变得更加显而易见，附图中：
图1示出了根据本公开实施例的用于管理柔性显示器的电子设备；
图2示出了根据本公开实施例的用于确定折叠状态配置以管理柔性显示器的处理引擎的框图；
图3是示出根据本公开实施例的用于管理电子设备的柔性显示器的过程的流程图；
图4A、图4B、图4C、图4D和图4E示出了根据本公开实施例的电子设备的柔性显示器的示例结构；
图4F示出了根据本公开实施例的在电子设备的柔性显示器上创建的折叠；
图4G示出了根据本公开实施例的电子设备的柔性显示器的示例折叠；
图5示出了根据本公开实施例的用于折叠柔性显示器并且更改在柔性显示器上显示的内容或为在柔性显示器上显示而被渲染/获取的内容的示例电子设备；
图6A示出了根据本公开实施例的用于确定柔性显示器的折叠状态配置的处理引擎的单元；
图6B示出了根据本公开实施例的处理引擎的单元之间的互连；
图7A是示出根据本公开实施例的用于确定电子设备的柔性显示器的折叠状态配置的过程的示例流程图；
图7B是示出根据本公开实施例的用于基于折叠状态配置更改在柔性显示器上显示的内容或为在电子设备的柔性显示器上显示而被渲染/获取的内容的过程的示例流程图；
图7C是示出根据本公开实施例的用于管理电子设备的柔性显示器的过程的示例流程图；
图8A是示出根据本公开实施例的用于基于电子设备的状态在柔性显示器上执行用户输入的过程的示例流程图；
图8B是示出根据本公开实施例的用于基于电子设备的状态生成直观视图的过程的示例流程图；
图8C是示出根据本公开实施例的用于基于电子设备的状态生成舒适视图的过程的示例流程图；
图9A、图9B和图9C是示出根据本公开实施例的折叠柔性显示器和在电子设备的柔性显示器上显示内容的示例；
图10示出了根据本公开实施例的柔性显示器的多窗口显示模式的示例；
图11示出了根据本公开实施例的电子设备的柔性显示器的示例折叠，其中柔性显示器以半自动折叠模式进行操作；以及
图12A、图12B、图12C、图12D、图12E、图12F、图12G、图12H、图12I、图12J和图12K是示出根据本公开实施例的折叠柔性显示器和更改在柔性显示器上显示的内容或为在电子设备的柔性显示器上显示而被渲染/获取的内容的示例图。
在所有附图中，相似的附图标记将被理解为指代相似的部件、组件和结构。
具体实施方式
提供以下参考附图的描述，以帮助全面理解由权利要求及其等同物所限定的本公开的各种实施例。它包括各种特定的细节以帮助理解，但是这些细节将仅被认为是示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文描述的各种实施例进行各种改变和修改。另外，为了清楚和简洁，可以省略对公知功能和结构的描述。
在以下描述和权利要求中使用的术语和词语不限于书面含义，而是仅由发明人用来使本公开能够被清楚和一致地理解。因此，对于本领域技术人员而言应显而易见的是，提供对本公开的各种实施例的以下描述仅出于说明的目的，而不是出于限制由所附权利要求及其等同物所限定的本公开的目的。
应理解，单数形式“一”、“一个”和“该”包括复数指示，除非上下文另外明确指出。因此，例如，对“部件表面”的引用包括引用一个或多个这样的表面。
本文的实施例公开了用于管理电子设备的柔性显示器的方法和系统。现在参照附图，更具体地参照图1至图12K，其中示出了示例实施例，并且相似的附图标记在所有附图中一致地指示相应的特征。
图1示出了根据本公开实施例的用于管理柔性显示器的电子设备。
参照图1，本文中电子设备100指代包括用于显示内容的至少一个柔性显示器102的设备。电子设备100的示例可以是但不限于移动电话、智能电话、平板电脑、平板手机、个人数字助理(PDA)、膝上型计算机、电子阅读器、可穿戴设备、物联网(IoT)设备、可穿戴计算设备、车辆信息娱乐系统、医疗设备、电视(TV)、车辆显示器、游戏设备、信息亭等。本文所指内容的示例可以是以下各项中的至少一个，但不限于：媒体(图像、视频、动画等)、文本、提醒、应用(日历应用、天气应用、体育应用、新闻应用等)、图标(进行中的呼叫、收到的消息、计时器计时等)、滚动播报条(ticker)、窗口小工具、广告等。
本文中柔性显示器102指代在具备现有平板显示装置的显示特性的同时能被弯曲、折叠或卷曲的显示器。柔性显示器102可以包括弯曲传感器、致动器、柔性基板、驱动器、显示面板和保护层(如图4A所示)。在实施例中，弯曲传感器和致动器可以用于实现柔性显示器102的折叠/弯曲。在另一实施例中，柔性显示器102可以被实现为电子纸(墨水的一般特性可以应用于电子纸并且电子纸使用反射光来显示内容)。电子纸可以通过使用扭转球或胶囊利用电泳来改变内容。
电子设备100还包括处理引擎104和存储器106。处理引擎104可以耦合到柔性显示器102，并且可以包括至少一个处理器、多个处理器、多个同质内核、多个异质内核、不同种类的多个中央处理单元(CPU)等。
电子设备100可以与用于记录用户输入、柔性显示器的状态和/或柔性显示器的物理特性等的至少一个传感器耦合。传感器可以是但不限于陀螺仪、加速度计、重力传感器、接近传感器、角速度传感器、应变仪传感器、视觉传感器(相机、虹膜扫描仪等)、音频传感器(麦克风)、惯性传感器等。电子设备100还可以访问来自数据库的、管理柔性显示器102所需的数据，例如来自意图知识数据库、对象关联知识数据库、包括先前/历史配置的数据库等，如图6A所示。电子设备100还可以使用互联网、有线网络(局域网(LAN)、以太网等)、无线网络(Wi-Fi网络、蜂窝网络、Wi-Fi热点、蓝牙、Zigbee等)等中的至少一种连接到服务器(未示出)，以下载内容并且访问管理柔性显示器102所需的信息。
处理引擎104可以被配置为响应于识别到用户输入来管理柔性显示器102。用户输入可以包括用户与电子设备100的交互、用户命令等中的至少一项。当识别到用户输入时，处理引擎104检测相对于柔性显示器102的当前状态在柔性显示器上显示的内容。此外，处理引擎104使用用户输入、柔性显示器102上显示的内容等中的至少一项来确定关于内容的用户意图。基于关于内容的用户意图，处理引擎104确定柔性显示器102的折叠状态配置。根据所确定的折叠状态配置，处理引擎104执行柔性显示器102的物理折叠。另外，可以根据折叠状态配置更改在柔性显示器102上显示的内容或为在柔性显示器102上显示而被渲染/获取的内容，以满足用户意图。
处理引擎104还可以被配置为检测柔性显示器102上显示的内容中存在的对象。此外，处理引擎104识别出相对于柔性显示器102的当前状态/物理特性(包括可折叠区)具有方向属性的对象。当接收到用户输入时，处理引擎104折叠柔性显示器以在柔性显示器102的可折叠区上显示相对于当前状态具有方向属性的对象。可以基于柔性显示器102的当前状态和从用户输入中确定的用户意图来折叠柔性显示器102。另外，可以将柔性显示器102的可折叠区扩展到柔性显示器102的任何区段，以在柔性显示器102的扩展的可折叠区上显示任何其他对象，其中任何其他对象与在柔性显示器102的可折叠区上显示的对象相关联。
处理引擎104还可以被配置为检测相对于柔性显示器102的当前状态在柔性显示器102上显示的第一内容(例如，视频)。此外，处理引擎104可以接收用于第二内容(例如，天气更新)的用户输入。当接收到用户输入时，处理引擎104基于柔性显示器102的当前状态和从用户输入中确定的用户意图来折叠柔性显示器102。柔性显示器102可以被折叠以在柔性显示器102的可折叠区上显示第一内容或第二内容。此外，处理引擎104可以在柔性显示器102的可折叠区上显示第三内容，其中第三内容可以与第一内容和第二内容中的至少一个相关联。另外，处理引擎104可以将可折叠区扩展到柔性显示器102的任何区段，以在柔性显示器102的扩展的可折叠区上显示第一内容、第二内容和第三内容中的至少一个。
存储器106可以被配置为存储用户输入、用户意图、内容、折叠状态配置等。存储器106可以包括一个或多个计算机可读存储介质。存储器106可以包括非易失性存储元件。这种非易失性存储元件的示例可以包括磁性硬盘、光盘、软盘、闪存或电可编程存储器(EPROM)或电可擦除可编程(EEPROM)存储器的形式。另外，在一些示例中，存储器106可以被认为是非暂时性存储介质。术语“非暂时性”可以指示存储介质不被具体实现为载波或传播的信号。然而，术语“非暂时性”不应被解释为意指存储器106是不可移动的。在一些示例中，存储器106可以被配置为存储比存储器更大量的信息。在某些示例中，非暂时性存储介质可以存储可以随时间改变的数据(例如，在随机存取存储器(RAM)或高速缓存中)。
图1示出了电子设备100的各种单元，但是应理解，其他实施例不限于此。在其他实施例中，电子设备100可以包括更少或更多数量的单元。此外，单元的标签或名称仅用于说明的目的，并且不限制本文实施例的范围。可以将一个或多个单元组合在一起以在电子设备100中执行相同或基本相似的功能。
图2示出了根据本公开实施例的用于确定折叠状态配置以管理柔性显示器的处理引擎的框图。
参照图2，处理引擎104包括输入识别单元202、显示分析单元204、用户意图确定单元206、对象移动跟踪单元208、折叠分配单元210、物理状态修改单元212和显示修改单元214。
输入识别单元202可以被配置为识别用户输入。用户输入可以包括用户与电子设备100的交互、用户命令等中的至少一项。用户与电子设备100的交互可以是但不限于电子设备100的弯曲、用户相对于电子设备100的凝视位置、用户对电子设备100的接近度、对电子设备的100观看角度等。在实施例中，输入识别单元202使用至少一个显示传感器来识别用户与电子设备100的交互。显示传感器可以是但不限于陀螺仪、加速度计、光传感器、相机、接近传感器或任何其他视觉传感器。用户命令可以是但不限于语音命令、话语等，用于关于在柔性显示器102上显示的内容或为在柔性显示器102上显示而被渲染和/或获取的内容来弯曲和/或折叠柔性显示器102。输入识别单元202可以使用至少一个音频传感器(麦克风)、触摸屏(可以与可折叠显示器相同)、一个或多个开关等来确定用户命令。输入识别单元202将所识别的用户输入提供给显示分析单元204和用户意图确定单元206。
显示分析单元204可以被配置为当识别到用户输入时确定柔性显示器102的状态和/或物理特性。柔性显示器102的状态可以指示柔性显示器102的物理属性，例如柔性显示器表面的取向、折叠状态、折叠位置和/或可折叠区、角度、折叠线、类型、尺寸、重量、柔性显示器表面相对于电子设备100的位置等。显示分析单元204可以使用至少一个传感器(例如但不限于重力传感器、弯曲传感器、加速度计、角速度传感器、应变仪传感器、陀螺仪、惯性传感器等)来确定柔性显示器的状态。
显示分析单元204可以相对于所确定的柔性显示器102的状态，确定在柔性显示器102上显示的内容或为在柔性显示器102上显示而被渲染和/或获取的内容。显示分析单元204还确定在柔性显示器102上显示的内容或为在柔性显示器102上显示而被渲染和/或获取的内容的对象、柔性显示器102上的对象的位置以及对象之间的关系。本文中对象指代内容中存在的虚拟对象。对象的示例可以是但不限于框、滚轴、复选框、按钮、滚动/移动内容(字母数字字符、视频剪辑、滚动文本等)等。
显示分析单元204可以使用至少一个深度神经网络模型(卷积神经网络(CNN)模型等)来识别内容中存在的对象、对象的位置和对象之间的关系。考虑使用CNN作为示例深度神经网络模型来识别内容中存在的对象、对象的位置和对象之间的关系来进一步说明本文的实施例，但是对于本领域普通技术人员而言显而易见的是，可以使用任何其他形式的深度神经网络模型。显示分析单元204将在柔性显示器102上显示的内容或为在柔性显示器102上显示而被渲染和/或获取的内容馈送到CNN模型。CNN模型包括卷积层、全连接(FC)层和软最大(soft-max)层，用于确定内容中存在的对象和对象之间关系。而且，CNN模型在内容的特征通道图(由卷积层生成)上执行近似最大池化，以确定对象在柔性显示器102上的定位和/或位置。显示分析单元204将柔性显示器102的状态、所确定的内容、内容中存在的对象、对象之间的关系和内容中存在的对象的位置馈送到用户意图确定单元206。
用户意图确定单元206可以被配置为关于在柔性显示器上显示的内容确定用户意图。例如，用户意图可以与柔性显示器102上的内容中存在的特定对象的移动/滑动相关联。用户意图确定单元206使用合适的技术处理所识别的用户输入以理解与用户输入相关联的上下文。用户意图确定单元206可以使用自然语言处理(NLP)技术来处理用户命令。用户意图确定单元206使用深度神经网络模型来处理所识别的用户与电子设备100的交互。当从输入识别单元202接收到用户输入时，用户意图确定单元206可以通过生成并且向用户提供自然语言警报或响应以接收来自用户的输入，来开始与用户的多模态交互。所接收的输入可以用作反馈机制以确定与用户输入相关联的上下文。
此外，用户意图确定单元206从电子设备100识别与用户相关联的上下文信息。上下文信息可以包括用户的活动(对电子设备100的使用)、关于电子设备100的位置的信息、关于时间的信息等中的至少一项。基于所处理的用户输入和上下文信息，用户意图确定单元206确定用户意图。用户意图确定单元206可以访问意图知识数据库/上下文构建器，以针对所识别的用户交互和用户命令中的至少一项来确定用户意图。意图知识数据库可以包括关于用户输入和对应的用户意图的信息。
用户意图确定单元206还可以被配置为将所确定的用户意图与在柔性显示器102上显示的内容或为在柔性显示器102上显示而被渲染/获取的内容中存在的对象相关联。用户意图确定单元206可以访问对象知识数据库以将用户意图与内容中存在的对象相关联。对象知识数据库可以包括关于用户意图和相关对象的信息。
对象移动跟踪单元208可以被配置为确定与用户意图相关联的内容的对象的方向属性的改变。所确定的对象的方向属性的改变指代为满足用户意图的对象的移动路径的改变或改变的路径。对象移动跟踪单元208可以使用神经网络模型中的至少一种来确定内容的对象的方向属性的改变。此外，神经网络模型确定对象的标记，其中标记可以覆盖在对象上，并且标记指示为了满足用户意图而在柔性显示器(102)上移动对象的路径。
神经网络模型基于诸如对象的物理特性、柔性显示器102的形状等因素来确定对象的路径/对象的方向属性。对象的物理特性可以是但不限于对象的形状、取向、尺寸、类型、重量、滑动属性(移动)、颜色等。对象的滑动属性指示对象在与柔性显示器相关联的至少一种类型的表面上的移动。与柔性显示器102相关联的表面可以是但不限于线性表面、倾斜表面、光滑表面、摩擦表面、粗糙表面等。神经网络模型通过确定对象相对于所确定的对象路径的倾斜角度、当前取向来确定对象的方向属性的改变。例如，可以关于在滑动/折叠的方向上的滑动/移动来确定框的方向属性的改变，可以关于在滑动/折叠的方向上滚动来确定滚轴的方向属性的改变。
例如，对象移动跟踪单元208可以基于用户意图识别对象沿第一方向的移动。第一方向指示可以移动或滑动对象以满足用户意图的方向。第一方向的示例可以是但不限于向上、向后、侧向(沿左侧或沿右侧)、向下、放大/缩小等。考虑一种情况，其中根据用户的语音命令确定的用户意图是“到达左篮”。那么，对象移动跟踪单元208确定至少一个对象沿左侧移动，以满足用户意图。
折叠分配单元210可以被配置为确定折叠状态配置，以通过折叠柔性显示器102来展示所确定的对象的方向属性的改变。
在确定柔性显示器102的折叠状态配置之前，折叠分配单元210可以确定与电子设备100的柔性显示器102相关联的折叠模式。折叠模式可以是半自动折叠模式、自动折叠模式、手动折叠模式等中的至少一种。当确定激活柔性显示器102的半自动折叠模式时，折叠分配单元210获取关于预定义的折叠区的信息以确定折叠状态配置。当确定激活柔性显示器102的自动折叠模式时，折叠分配单元210识别电子设备100的状态。电子设备100的状态包括关于电子设备100的定位、电子设备100的握持状态、对电子设备100的使用等的信息。基于电子设备100在开放位置或闭合位置(例如，在包中、容器中、在桌子上、在人手中等)中的至少一个中的当前位置来识别电子设备100的定位。电子设备100的握持状态包括关于用户如何握持电子设备100的信息。例如，用户使用单手握持电子设备100、用户使用双手握持电子设备100、用户紧紧地握持电子设备100等。对电子设备100的使用识别出在驾驶、锻炼、充电等时正在使用电子设备100。在实施例中，折叠分配单元210使用传感器数据来确定电子设备100的状态，传感器数据例如但不限于加速度计数据、陀螺仪数据、人握持的位置、用户凝视位置、柔性显示状态、接近度、观看角度、光传感器数据等。
折叠分配单元210针对所确定的电子设备100的状态，确定自由度的可用性。自由度指示电子设备100相对于所确定的电子设备100的状态的可能移动。当确定所确定的状态可能不允许折叠柔性显示器102时，折叠分配单元210向用户生成警报，指示针对所确定的状态不可能执行柔性显示器102的折叠。警报可以是但不限于音频警报、视觉警报、自然语言警报等。
当确定自由度的可用性时，折叠分配单元210使用深度神经网络模型来确定折叠状态配置。应注意，本文的实施例可以使用任何形式的神经网络来确定折叠状态配置。深度神经网络模型确定与用户意图相关联的对象的物理特性。对象的物理特性可以是但不限于对象的形状、取向、尺寸、类型、重量、滑动属性(移动)、颜色等。对象的滑动属性指示对象在与柔性显示器相关联的至少一种类型的表面上的移动。与柔性显示器102相关联的表面可以是但不限于线性表面、倾斜表面、光滑表面、摩擦表面、粗糙表面等。在实施例中，折叠分配单元210访问对象知识数据库以确定对象的物理特性。对象数据库可以包括关于在柔性显示器102上显示的内容或为在柔性显示器102上显示而被渲染/获取的内容的每个对象的物理特性的信息。
一旦识别出对象的物理特性，深度神经网络模型将对象的物理特性和所确定的对象的方向属性的改变与所确定的柔性显示器102的状态相关联。深度神经网络模型通过识别为展示所确定的对象的方向属性的改变而所需的柔性显示器的状态的改变，来确定折叠状态配置。折叠状态配置可以确定所需的柔性显示器102的当前状态的改变，例如但不限于柔性显示器/折叠区上的位置、折叠区的折叠线、折叠数量、弯曲速度、折叠角度等，以此可以通过满足用户意图来展示对象的方向属性。
为了确定折叠状态配置，折叠分配单元210从显示分析单元204接收关于与用户意图相关联的对象的类型和在柔性显示器102上放置的位置的信息。基于接收到的信息，折叠分配单元210确定对象相对于柔性显示器102的取向。该取向指示与针对3个轴的、与基底(柔性显示器102)形成的角度。折叠分配单元210基于用户意图确定为展示对象的方向属性的改变而所需的移动角度和对应的位置坐标。可以相对于对象的当前移动路径来确定移动角度和对应的位置坐标。在计算出移动角度的改变之后，折叠分配单元210确定可折叠区/折叠位置为以下各项的函数：柔性显示器102上的对象的当前位置、为展示对象的方向属性所确定的改变的位置坐标(未来位置坐标)、为展示对象的方向属性的改变所确定的移动角度(未来移动角度)、所确定的当前取向/角度、在三维空间和环境(例如，空气、地面、水、摩擦等)中对象的当前位置和为展示对象的方向属性的改变所确定的对象的未来位置。所确定的折叠位置可以表示为：
折叠位置(x，y，z)＝函数(目的地、源、角度、环境条件)。考虑一种示例情况，其中用户意图可以被确定为向左滚动对象。基于用户意图，在柔性显示器102的表面上(x，y)处的对象的取向是平坦的情况下，折叠分配单元210决定在(x-1，y，z)处执行线性竖直折叠。此外，未来位置被直接移动到左(x-4，y)，而z坐标(深度)可以基于物理折叠进行更新。
一旦确定了折叠位置，折叠分配单元210计算折叠角度改变集，以实现所确定的对象的方向属性/移动路径的改变。例如，折叠角度改变集可以被计算为{15度，30度，45度}。根据折叠角度改变集，由于针对对象虚拟创建的倾斜表面，柔性显示器102的状态可以被改变为第一角度(15度)。可以基于虚拟重力条件计算后续位置(例如：对于由15度构成的三角形，下一个位置可以被计算为移动跨过斜边)。另外，由于折叠角度增加，因此折叠分配单元210启用柔性显示器102的刷新。用户获得由于折叠而滑动直到到达最终的未来位置的对象的同步视图。
折叠分配单元210可以访问存储器106或数据库以获取被确定用于满足相似的用户意图的先前/历史折叠状态配置。折叠分配单元210可以使用所获取的先前/历史折叠状态配置来展示内容中存在的对象的所确定的方向属性的改变。折叠分配单元210将所确定的折叠状态配置馈送到物理状态修改单元212和显示修改单元214。
物理状态修改单元212可以被配置为生成用于执行柔性显示器102的折叠的合适的电信号(电压)。电信号可以表示针对柔性显示器102确定的折叠状态配置。物理状态修改单元210向与柔性显示器102相关联的致动器提供合适的电压。致动器控制柔性显示器102的弯曲传感器以根据折叠状态配置来折叠柔性显示器102。柔性显示器102的折叠可以通过满足用户意图来允许对象沿所确定的方向移动。因此，可以通过检测内容中存在的对象的移动和柔性显示器102的状态中的至少一项的改变来折叠柔性显示器102。
显示修改单元214可以被配置为根据折叠状态配置来更改在柔性显示器102上显示的内容或为在柔性显示器102上显示而被渲染/获取的内容。显示修改单元214确定对象是否显示在从可折叠区所关联的折叠线起的设定范围(设定范围可以以像素、长度、区域等为单位)内。当确定对象显示在从折叠线起的设定范围内时，显示修改单元214对柔性显示器102上显示的对象进行修改。显示修改单元214可以根据折叠状态配置改变对象的位置/定位、对象的尺寸等。
图2示出了处理引擎104的各种单元，但是应理解，其他实施例不限于此。在其他实施例中，处理引擎104可以包括更少或更多数量的单元。此外，单元的标签或名称仅用于说明的目的，并且不限制本文的实施例的范围。可以将一个或多个单元组合在一起以在处理引擎140中执行相同或基本相似的功能。
图3是示出根据本公开实施例的用于管理电子设备的柔性显示器的过程的流程图。
参照图3，在操作302，处理引擎104响应于识别到用户输入确定柔性显示器102的状态。用户输入可以包括用户与电子设备100的交互和用户命令中的至少一项。处理引擎104利用显示传感器、一个或多个开关和音频传感器中的至少一个来识别用户输入。可以使用至少一个显示传感器来检测柔性显示器的当前状态。柔性显示器102的状态可以包括关于取向、折叠状态、观看角度、折叠角度、折叠数量、折叠线等中的至少一项的信息。
在操作304，处理引擎104相对于所确定的柔性显示器102的状态，识别在柔性显示器102上显示的内容或为在柔性显示器102上显示而被渲染和/或获取的内容中的至少一项。在实施例中，处理引擎104使用CNN模型来识别内容中存在的对象、对象的位置和对象之间的关系。
在操作306，处理引擎104相对于在柔性显示器102上显示的内容或为在柔性显示器102上显示而被渲染和/或获取的内容中的至少一项中存在的至少一个对象来确定用户意图。处理引擎104处理用户输入以确定用户意图并且将用户意图与内容中存在的对象相关联。
在操作308，处理引擎104确定柔性显示器102的折叠状态配置，以展示所确定的对象的方向属性的改变。处理引擎104基于用户意图确定内容的对象的方向属性的改变。在实施例中，处理引擎104可以使用深度神经网络模型和覆盖在对象上的标记中的至少一项来确定满足用户意图的对象的方向属性的改变。处理引擎104使用深度神经网络模型，其将所确定的对象的方向属性的改变、对象的物理特性与所确定的柔性显示器102的状态相关联，以确定折叠状态配置。折叠状态配置确定为了示出所确定的对象的方向属性的改变所需的柔性显示器102的当前状态的改变。折叠状态配置可以包括关于折叠/可折叠区的位置、折叠线、折叠角度、折叠数量、弯曲速度等中的至少一项的信息，以此可以示出所确定的对象的移动。
在操作310，处理引擎104根据所确定的折叠状态配置触发柔性显示器102的折叠。处理引擎104生成表示折叠状态配置的合适的电压并且将所生成的电压提供给柔性显示器102的致动器。致动器通过控制弯曲传感器进一步地执行柔性显示器102的物理弯曲。而且，处理引擎104可以通过根据折叠状态配置布置内容的对象的位置，来更改在柔性显示器102上显示的内容或为在柔性显示器102上显示而被渲染/获取的内容。
图3的方法和流程图中的各种动作、行为、框、操作等可以以所提出的顺序、以不同的顺序或同时地执行。此外，在一些实施例中，可以省略、添加、修改、跳过等一些动作、行为、框、操作等，而不脱离本公开的范围。
图4A、图4B、图4C、图4D和图4E示出了根据本公开实施例的电子设备100的柔性显示器的示例结构。
参照图4A，柔性显示器102包括保护层、显示面板、驱动器、柔性基板和连同致动器的弯曲传感器。弯曲传感器可以被配置为感测柔性显示器102的至少一种状态(弯曲/折叠、滚动等)。弯曲传感器的形状、数量和放置/位置可以根据柔性显示器102的尺寸而变化。致动器可以被配置为通过根据从处理引擎104的物理状态修改单元212接收的电信号(折叠状态配置)控制弯曲传感器来弯曲柔性显示器102。
柔性基板可以包括可以随所施加的力而改变的塑料基板。该塑料基板具有在基膜的两个表面上均进行了阻挡涂层处理的结构。基膜可以由各种类型的树脂来实现，例如聚酰亚胺(PI)、聚碳酸酯(PC)、聚对苯二甲酸乙二醇酯(PET)、聚醚砜(PES)、聚萘二甲酸乙二醇酯(PEN)、纤维增强塑料(FRP)等，以保持柔性显示器102的柔性。
驱动器可以被配置为执行驱动柔性显示器102的显示面板的功能。驱动器将驱动电压提供给多个像素，驱动显示面板102。在实施例中，驱动器可以实现为以下至少一种：薄膜晶体管(TFT)LCD、低温多晶硅(LTPS)显示器、有机TFT、电泳显示器(EPD)、电致变色显示器(ECD)、有源矩阵液晶显示器(AMLCD)、等离子显示面板(PDP)、有机发光二极管(OLED)等。保护层可以被配置为保护显示面板。保护层可以由诸如但不限于Zro、CeO2、ThO2等的材料组成。保护层可以被制成透明膜的形式并且覆盖显示面板的整个表面。
参照图4B、图4C、图4D和图4E，示出了柔性显示器102的示例结构。加速器可以与柔性显示器102相关联(如图4B所绘)。加速器可以沿柔性显示器102的长度被附接到两侧，以控制柔性显示器102的弯曲/折叠。当致动器弯曲时，柔性显示器102也自动弯曲。
柔性显示器102还包括在栅格结构上表面上和/或表面下的弯曲传感器(如图4C所绘)。弯曲传感器可以由具有应变的电阻传感器或光纤传感器来实现。电压/电流的改变产生弯曲(如图4D所绘)，从而弯曲/折叠柔性显示器102(如图4E所绘)。弯曲/折叠的程度可以取决于所施加的电压/电流。
图4F示出了根据本公开实施例的在电子设备100的柔性显示器102上产生的折叠。柔性显示器102的致动器可以用于在柔性显示器102上产生折叠，如图4F所示。
图4G示出了根据本公开实施例的电子设备100的柔性显示器102的示例折叠。处理引擎104识别对象，例如在柔性显示器102上显示的内容或为在柔性显示器102上显示而被渲染/获取的内容中的盒子。处理引擎104进一步确定对象的物理属性是在倾斜表面上滑动。当用户稍微弯曲(即，用户的交互)或提供例如“到达左篮”的用户命令时，处理引擎104确定对象(例如，盒子)的方向属性的改变以满足基于用户的交互和/或用户命令所识别的用户意图。例如，处理引擎104确定对象/盒子沿左侧移动。
基于所确定的对象的方向属性的改变，处理引擎104确定柔性显示器上的正确位置以及折叠柔性显示器102的折叠角度(折叠状态配置)。因此，对象可以沿左侧滑动以满足用户意图。
图5示出了根据本公开实施例的用于折叠柔性显示器并且更改在柔性显示器上显示的内容或为在柔性显示器上显示而被渲染/获取的内容的示例电子设备。
参照图5，电子设备100的处理引擎104执行柔性显示器102的折叠。处理引擎104使用上下文构建器接收并且处理输入模态。例如，输入模态包括用户的交互和用户输入中的至少一项。处理引擎104确定柔性显示器102的状态以及在柔性显示器102上显示的内容或为在柔性显示器102上显示而被渲染/获取的内容中存在的对象。
基于所处理的模态，处理引擎104相对于内容中存在的对象确定用户意图。处理引擎104确定内容的对象的移动路径(方向属性)的改变以满足用户意图。为了示出对象的移动路径的改变，处理引擎104确定柔性显示器102的折叠状态配置。处理引擎104还生成与折叠状态配置相对应的电信号并且提供给致动器，以便在柔性显示器102上产生物理折叠。
另外，可以基于折叠状态配置更改柔性显示器102上的内容显示。可以基于当前可折叠状态的反馈来执行附加折叠，以满足用户意图。
图6A示出了根据本公开实施例的用于确定柔性显示器的折叠状态配置的处理引擎的单元。
参照图6A，输入识别单元202识别用户输入。显示分析单元204确定柔性显示器102的状态(可折叠状态和物理特性)并且相应地识别在柔性显示器102上显示的内容或为在柔性显示器102上显示而被渲染/获取的内容。基于所识别的用户输入和所显示的内容中的至少一项，用户意图确定单元206确定用户意图并且将其与内容中存在的对象相关联。
用户意图确定单元206可以使用意图数据库来确定用户意图以及使用对象知识数据库来将用户意图与内容中存在的对象相关联。基于用户意图与内容中存在的对象的关联，对象移动跟踪单元208使用对象关联数据库确定与用户意图相关联的对象的移动路径的改变。可以通过折叠柔性显示器102和更改内容来示出所确定的对象的移动路径的改变。可以将更改后的内容提供给柔性显示器102，并且可以根据折叠状态配置来显示更改后的内容。
一旦确定了内容的对象的移动路径的改变，折叠分配单元210使用包括历史折叠数据的数据库来确定柔性显示器102的折叠状态配置。可以以电压的形式将折叠状态配置提供给柔性显示器102的致动器，以执行柔性显示器的物理折叠。而且，可以与柔性显示器102的折叠同时地在柔性显示器102上显示更改后的内容。
图6B示出了根据本公开实施例的用于确定柔性显示器的折叠状态配置的处理引擎的单元之间的互连。
参照图6B，用户意图确定单元206可以接收所识别的用户输入、显示传感器数据(柔性显示器102的状态和物理特性)等中的至少一项。用户意图确定单元206可以使用语音分析器，其使用NLP技术处理用户输入以输出NLP文本。NLP文本可以指示用户意图。用户意图确定单元206将用户意图与内容中存在的对象相关联。
对象移动跟踪单元208可以从用户意图确定单元206接收用户意图相对于内容中存在的对象的关系以及从显示分析单元204接收显示传感器数据。基于缓冲器/存储器106(可以被访问以在柔性显示器上显示内容)中存在的用户意图相对于内容中存在的对象的关系，对象移动跟踪单元208确定内容的对象的移动/方向属性的更改。对象移动跟踪单元208通过相对于与柔性显示器102有关的显示传感器数据来关联对象的物理特性，以确定对象的方向属性的更改。
折叠分配单元210可以从用户意图确定单元206接收关于内容而确定的用户意图、从显示分析单元204接收显示传感器数据以及从对象移动跟踪单元208接收所确定的对象的更改的方向属性。基于接收到的数据，折叠分配单元210确定柔性显示器102的折叠状态配置，以沿所确定的移动路径移动/滑动对象。折叠状态配置指示柔性显示器102的物理折叠所需的折叠数量、折叠/弯曲速度、折叠/可折叠区的位置、折叠的角度等中的至少一项。
显示修改单元214可以基于更改的缓冲器来接收折叠状态配置。更改的缓冲器可以包含内容的对象，对于该对象而基于用户意图确定了移动路径的改变。显示修改单元214通过根据所确定的移动路径和所确定的折叠状态配置来移动/滑动内容的对象来更改内容。另外，显示修改单元214通过修改对象的尺寸来更改内容。显示修改单元214与柔性显示器102的物理折叠同步地显示内容的对象(存在于更改的缓冲器中)。
物理状态修改单元212可以从折叠分配单元210接收折叠状态配置，并且将对应的电信号提供给致动器以执行柔性显示器102的物理折叠。
图7A是示出根据本公开实施例的用于电子设备100的柔性显示器的折叠状态配置的过程的示例流程图。
参照图7A，考虑一种示例情况，其中用户正在玩游戏。处理引擎104在玩游戏时识别到用户输入。例如，用户可以弯曲柔性显示器102，或者用户可以给出弯曲柔性显示器102的语音命令，以从箭头保存框中的对象。处理引擎104还使用至少一个显示传感器来检测柔性显示器102的当前状态(取向、可折叠线、折叠角度等)。例如，处理引擎104可以检测柔性显示器102的ΔD变形/折叠。关于ΔD变形，处理引擎104确定在柔性显示器102上显示的内容或为在柔性显示器102上显示而被渲染/获取的内容中存在的对象(箭头、框中的对象)。
处理引擎104相对于内容中存在的对象确定用户意图。可以确定用户意图以便从箭头保存框中的对象。处理引擎104确定为满足用户意图所需的框中的对象的移动路径的改变。可以沿第一方向(向上)确定对象的移动路径。处理引擎104确定用于沿所确定的移动路径移动对象的折叠状态配置，以从箭头保存对象。折叠状态配置可以指示为执行柔性显示器102的折叠所需的Δ角度的改变(ΔD+D2)。根据折叠状态配置，处理引擎104可以向致动器提供合适的电压以折叠柔性显示器102，同时调整在柔性显示器102上显示的内容。因此，通过折叠柔性显示器102，可以向后移动框中的对象并且可以调整箭头的位置。由于对象已向后移动，因此箭头可能不会碰到对象，而可能撞在柔性显示器102的屏幕的其他部分上。
图7B是示出根据本公开实施例的用于基于柔性显示器的折叠状态配置更改在柔性显示器上显示的内容或为在电子设备的柔性显示器上显示而被渲染/获取的内容的方法的示例流程图。
参照图7B，处理引擎104使用至少一种深度神经网络模型来识别在柔性显示器102上显示的内容或为在柔性显示器102上显示而被渲染/获取的内容。处理引擎104使用与电子设备100相关联的至少一个传感器和来自电子设备100的上下文信息(用户活动、时间、位置等)来获取用户的交互和用户命令(用户的语音)中的至少一项。
处理引擎104确定内容中存在的对象与内容中存在的对象的物理特性之间的关系。处理引擎104通过处理用户与电子设备100的交互和用户命令中的至少一项来检测相对于内容中存在的对象的用户意图。处理引擎104可以确定用户意图。
处理引擎104确定柔性显示器102的当前折叠状态和可以施加在内容中存在的对象上的折叠状态的物理特性。基于所确定的当前折叠状态和折叠的物理特性，处理引擎104确定对象的移动以便满足用户意图。处理引擎104通过示出根据用户意图的对象移动的改变来更改内容和渲染柔性显示器102上的内容。
图7C是示出根据本公开实施例的用于管理电子设备的柔性显示器的方法的示例流程图。
参照图7C，处理引擎104使用所识别的用户的交互、用户命令、上下文信息、在柔性显示器102上显示的内容或为在柔性显示器102上显示而被渲染/获取的内容和柔性显示器102的状态中的至少一项来检测用户意图。处理引擎104进一步将用户意图与在柔性显示器102上显示的内容或为在柔性显示器102上显示而被渲染/获取的内容中存在的对象相关联。此后，处理引擎104确定柔性显示器102的折叠状态配置(折叠数量、折叠位置、折叠角度等)，以满足用户意图。根据折叠状态配置，处理引擎104更改内容并且触发柔性显示器102的折叠。
图8A是示出根据本公开实施例的用于基于电子设备的状态在柔性显示器上执行用户输入的过程的示例流程图。
参照图8A，处理引擎104识别用户输入(用户的交互和用户命令)并且确定电子设备100的状态(是否在包中、容器中、用户使用左手握持电话等)。可以使用诸如陀螺仪数据、加速度计数据、观看角度、用户位置、折叠状态、人握持等的传感器输入来确定电子设备100的状态。
处理引擎104基于电子设备100的状态确定自由度的可用性。自由度指示相对于所确定的电子设备100的状态折叠柔性显示器102的可能性。例如，如果处理引擎104确定不能折叠柔性显示器102，则处理引擎104通过适当的响应(例如，自然语言警报、弹出窗口、指示等)来通知用户。当确定自由度的可用性时，处理引擎104通过根据折叠状态配置执行柔性显示器102的折叠来执行用户输入。
图8B是示出根据本公开实施例的用于基于电子设备的状态生成直观视图的过程的示例流程图。
图8C是示出根据本公开实施例的用于基于电子设备的状态生成舒适视图的过程的示例流程图。
参照图8B和图8C，处理引擎104识别用户输入(用户的交互和用户语音命令)。当识别到用户输入时，处理引擎104检测电子设备100的当前状态(例如，设备在包中、桌子上、用户的手等中)。基于对电子设备100的当前状态的判断，处理引擎104确定自由度。
如果处理引擎104确定不能在柔性显示器102上执行可折叠动作，则可以向用户发送适当的响应，指示不可能执行折叠动作。考虑一种示例情况，其中电子设备100处于闭合位置(例如，在包中、容器中、在桌子上等)。在这种情况下，处理引擎104不执行柔性显示器102的折叠。考虑另一种情况，其中用户正使用单手(左手)握持电子设备100。那么，处理引擎104不执行柔性显示器102的折叠。考虑又一种情况，其中用户正在充电、驾驶、锻炼等期间使用电子设备100。那么，处理引擎104不执行柔性显示器102的折叠。
当对于电子设备100的当前状态确定自由度的可用性时，处理引擎104计算折叠的方向和角度(折叠状态配置)。可以计算折叠的方向和角度以生成直观视图(如图8B所示)、舒适视图(如图8C所示)等中的至少一种，用于执行用户命令。可以通过执行柔性显示器的物理折叠来生成直观视图、舒适视图等中的至少一种。在本文的示例中，根据直观视图，当用户观看电子设备100时，用户的凝视不会被中断。例如，直观视图避免电子设备100向后折叠，并且进一步避免由于电子设备100向后折叠而可能给用户造成的中断。在本文的另一示例中，当用户单手握持电子设备100并且电子设备100的另一侧朝向用户折叠时，舒适视图允许用户在不更改其头部位置的情况下观看电子设备100。
图9A、图9B和图9C是示出根据本文公开实施例的折叠柔性显示器102和在电子设备的柔性显示器102上显示内容的示例图。
参照图9A，最初，用户正在电视上观看新闻。考虑一种情况，在一段时间过后，用户开始观看其他视频并且通过说出“新闻”来提供语音命令。处理引擎104(从用户语音命令中)识别用户意图并且将用户意图与新闻播报(内容的对象(新闻))相关联。处理引擎104通过满足用户意图来确定用于折叠柔性显示器102的折叠状态配置(折叠数量、可折叠区、折叠角度等)。基于所确定的折叠状态配置，处理引擎104折叠柔性显示器并且在柔性显示器102的折叠区上显示新闻播报。
参照图9B，最初，用户正在观看两人之间正在进行的辩论。在一段时间之后，用户想要检查关于边缘功能(应用、日历、设备维护等)的提醒/更新，并且向电子设备100提供诸如“边缘功能”之类的语音命令。处理引擎104识别出语音命令和显示关于边缘功能的提醒的用户意图。基于用户意图，处理引擎104确定柔性显示器102的折叠状态配置。根据折叠状态配置，处理引擎104折叠柔性显示器并且在折叠区上显示关于边缘功能的提醒。因此，用户在观看辩论的同时也可以观看柔性显示器102的折叠区上的提醒。
参照图9C，当接收到诸如“天气更新”之类的语音命令时，处理引擎104在柔性显示器102的折叠区上显示天气更新。
图10描绘了根据本公开实施例的柔性显示器的多窗口显示模式，其中可以更改柔性显示器上显示的内容的对象的位置。
参照图10，多窗口显示模式可以用于在单个屏幕内布置和显示一种或多种类型的内容。例如，考虑一种情况，其中用户想要在柔性显示器102的单个屏幕内观看视频并使用聊天应用。然而，在各种方法中，在相同屏幕上显示的视频(同时使用聊天应用发送消息)均会被遮挡。相反，处理引擎104可以识别出与聊天应用一起观看视频的用户意图。基于用户意图，处理引擎104基于对象的尺寸、对象的形状、最佳可见选项等中的至少一项来确定对象(视频剪辑、聊天应用的小键盘、屏幕上显示的消息等)的移动路径的改变，以满足用户意图。此外，处理引擎104确定折叠状态配置以执行柔性显示器102的折叠，使得可以在没有用户干预的情况下(根据所配置的移动路径)布置视频剪辑、小键盘、消息等中的至少一个。因此，视频剪辑不被遮挡而适当地呈现，满足了用户意图。
图11是示出根据本公开实施例的电子设备的柔性显示器的折叠的示例图，其中柔性显示器以半自动折叠模式进行操作。
参照图11，考虑一种情况，其中用户在拨打电话号码的同时获得广告或通知。一旦广告被显示，由于以半自动折叠模式来操作柔性显示器102，因此可以在柔性显示器102上显示用于指示预定义的可折叠区的标记。基于预定义的可折叠区，处理引擎104确定广告的移动路径。当用户根据所显示的预定义可折叠区折叠柔性显示器102时，处理引擎104在不中断拨打电话号码的情况下在折叠区上向用户显示广告。
图12A至图12K是示出根据本公开实施例的折叠柔性显示器102和更改在柔性显示器102上显示的内容或为在电子设备100的柔性显示器102上显示而被渲染/获取的内容的示例图。
图12A描绘了一种示例情况，其中用户正在具有柔性显示器102的设备上玩三维(3D)游戏。考虑用户说出“折叠收集”和/或用户稍微弯曲显示器。处理引擎104(使用深度神经网络模型)识别图像帧，连同正在玩游戏的上下文以及用户意图。用户意图可以被理解为停留在自行车道上并且收集更多硬币。由于折叠，硬币将逐渐向内滑动。处理引擎104确定硬币(对象)的移动路径的改变并且确定柔性显示器102的折叠状态配置，其可以示出硬币的改变的移动路径。
处理引擎104计算合适的电压以控制柔性显示器102的弯曲传感器。处理引擎104将计算出的电压提供给柔性显示器102的致动器，致动器通过控制弯曲传感器来折叠柔性显示器。同时，处理引擎104通过根据改变的路径和折叠状态配置滑动硬币来在柔性显示器上创建后续媒体。硬币由于柔性显示器102的折叠而朝向骑手滑动。因此，基于用户意图的柔性显示器102的折叠为用户创造了新的游戏体验。
图12B描绘了一种示例情况，其中用户正在具有柔性显示器102的电视上观看节目。节目中的角色所使用的线设置为笔直的并且沿着路径。用户说出“折叠摆动”。处理引擎104(使用深度神经网络模型)识别图像帧，连同正观看的节目的上下文以及用户意图。“折叠摆动”的用户意图可以被理解为角色必须以摆动动作四处走动，其由于物理折叠而产生扭矩。处理引擎104确定角色(对象)的移动路径的改变以满足用户意图。此外，处理引擎104确定柔性显示器102的折叠状态配置以生成改变的移动路径。
处理引擎104根据折叠状态配置计算合适的电压以控制柔性显示器102的弯曲传感器。处理引擎104将计算出的电压提供给柔性显示器102的致动器，致动器通过控制弯曲传感器来折叠柔性显示器。同时，处理引擎104在柔性显示器上创建后续媒体，其中角色(对象)遵循改变的移动路径。由于扭矩效应，摆动现在更接近。因此，基于用户意图的柔性显示器102的折叠为用户提供了独特的体验。
图12C描绘了一种示例情况，其中用户正在观看具有柔性显示器102的电视并且以混合现实节目在柔性显示器102上示出了水流。考虑用户在观看电视的同时说出“折叠泼洒”。处理引擎104识别出用户语音并且理解图像帧，连同正观看的节目的上下文以及用户意图。“折叠泼洒”的用户意图被理解为必须阻塞水以便创建路径。处理引擎104确定水(对象)的移动路径的改变。此外，处理引擎104确定柔性显示器102的折叠状态配置以示出水的改变的移动路径。
处理引擎104根据折叠状态配置计算合适的电压以控制柔性显示器102的弯曲传感器。处理引擎104将计算出的电压提供给柔性显示器102的致动器，致动器通过控制弯曲传感器来折叠柔性显示器。同时，处理引擎104在柔性显示器102上创建后续媒体，其中水(对象)遵循改变的路径。由于柔性显示器102的智能折叠而产生了泼洒效果。因此，在混合现实中，用户可以获得独特而丰富的泼洒体验。
图12D描绘了一种示例游戏情况，其中用户说出“从箭头保存对象”。当识别到用户语音命令时，处理引擎104确定图像帧，连同正在玩游戏的上下文以及用户意图。“从箭头保存对象”的用户意图被理解为必须移动对象以避免被箭头撞上。处理引擎104确定对象的路径的改变以满足用户意图。为了实现所配置的路径，处理引擎104确定柔性显示器102的折叠状态配置。
处理引擎104根据折叠状态配置计算合适的电压以控制柔性显示器102的弯曲传感器。处理引擎104将计算出的电压提供给柔性显示器102的致动器，致动器通过控制弯曲传感器来折叠柔性显示器。同时，处理引擎104在柔性显示器上创建后续媒体，其中对象通过满足用户意图而遵循改变的路径。
图12E示出了一种示例情况，其中在柔性显示器102上最初显示包括量值(100)的内容，并且用户说出“增加量”。当识别出用户语音命令时，处理引擎104确定用户意图。为了满足用户意图，处理引擎104在正确的位置处折叠柔性显示器，并且通过增加柔性显示器102上显示的量值(至160)来更改内容。此外，用户可以通过说出“更多一些”来提供附加输入。当识别出附加输入时，处理引擎104确定用户意图并且进一步增加柔性显示器102上显示的量值(至200)。当用户说出“完成”时，处理引擎104识别出用户意图已满足。因此，可以通过折叠柔性显示器102并且更改柔性显示器102上的内容来满足用户意图。
图12F示出了一种示例情况，其中用户正在具有柔性显示器102的电子设备100上玩游戏。考虑用户说出“让圆木到达A”。处理引擎104识别出用户语音命令并且理解用户意图。为了满足用户意图，处理引擎104确定用于折叠柔性显示器102的正确位置，使得可以改变圆木(对象)的移动以满足用户意图。
图12G示出了一种示例情况，其中在电子设备100的柔性显示器102上显示账单并且用户想要将账单拆分为二。考虑用户通过说出“拆分为二”来提供语音命令。当识别出语音命令时，处理引擎104确定拆分账单的用户意图。为了满足用户意图，处理引擎104基于拆分百分比来确定折叠状态配置以将柔性显示器102对半折叠，并且通过更改内容来更新柔性显示器102，其中通过拆分账单来更改内容。
图12H示出了一种示例情况，其中教师正在使用具有柔性显示器102的电子设备100教授磁性定律。考虑教师说出“南北相互吸引”。处理引擎104理解教师的示出南北相互吸引的磁性的意图(用户意图)。处理引擎104确定用于折叠柔性显示器102的正确位置，使得如在柔性显示器102上描绘的虚拟磁极(对象)物理地彼此靠近。因此，柔性显示器102的折叠可以使学生能够通过看到物理折叠而容易地学习概念。
图12I示出了一种示例情况，其中教师正在使用具有柔性显示器102的电子设备100教授物体质量的相关知识并比较不同质量。考虑教师说出“物体的质量由于重力而决定重量”。处理引擎104理解教师的示出重量的意图，并且确定用于折叠柔性显示器102的正确位置，使得示出所显示对象的虚拟重量。这样可以使学生能够通过看到物理折叠而容易地学习概念。
图12J示出了一种示例情况，其中用户正在电子设备100的柔性显示器102上查看三个商业计划选项。考虑用户说出“示出最佳选项”。当识别出用户语音命令时，处理引擎104确定按照收益成本比来查看最佳选项的用户意图。为了满足用户意图，处理引擎104确定用于折叠柔性显示器102的折叠状态配置，使得可以利用物理屏幕特性来突出显示选项B(最佳选项)，并且利用权重下降因子来更新柔性显示器102。用户进一步说出“与去年的数据相比如何？”。处理引擎104理解用户的与去年的数据“比较”的意图，并且更新折叠状态配置和柔性显示器102。
图12K示出了一种示例情况，其中用户正持有具有柔性显示器102的电子设备100并且与他的儿子在一起。用户想查看天气是否适合骑自行车。用户说出“天气足够好吗”。处理引擎104理解要了解天气是否适宜骑自行车(基于儿子的常规的交通和例行安排的上下文)的用户意图。基于用户意图，处理引擎104确定用于折叠柔性显示器102的折叠状态配置。可以折叠柔性显示器102，并且进一步地，处理引擎104示出水滴降落在地面上(重力影响)以及道路可能湿成何种程度。因此，用户和他的儿子可以物理地看到天上有云、地面上潮湿的天气。另外，处理引擎104可以向用户提供使用任何其他类型的交通(例如，出租车)的建议。
本文公开的实施例可以通过在至少一个硬件设备上运行并且执行网络管理功能以控制元件的至少一个软件程序来实现。图1和图2所示的元件可以是硬件设备或硬件设备与软件模块的组合中的至少一种。
本文公开的实施例描述了用于管理电子设备的柔性显示器的方法和系统。因此，应理解，保护范围扩展到这种程序，并且除了其中具有消息的计算机可读装置之外，这种计算机可读存储装置还包含用于当程序在服务器或移动设备或任何合适的可编程设备上运行时实现方法的一个或多个操作的程序代码装置。在优选实施例中，方法通过用例如超高速集成电路硬件描述语言(VHDL)或其他编程语言编写的软件程序实现或与这样的软件程序一起实现，或者由在至少一个硬件设备上执行的一个或多个VHDL或若干个软件模块实现。硬件设备可以是可以被编程的任何类型的便携式设备。设备还可以包括可以例如是硬件装置(例如，专用集成电路(ASIC))或硬件装置与软件装置的组合(例如，ASIC和现场可编程门阵列(FPGA)或具有位于其中的软件模块的至少一个微处理器和至少一个存储器)的装置。本文描述的方法实施例可以部分地以硬件并且部分地以软件实现。可替代地，本公开可以在不同的硬件设备上实现，例如使用多个CPU。
虽然已经参考本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离如所附权利要求书及其等同物所限定的本公开实施例的精神和范围的情况下，可以在其形式和细节上进行各种改变。

Claims (15)

1.一种用于操作电子设备的方法，所述方法包括：
接收用于折叠所述电子设备的柔性显示器的输入；
通过使用所述电子设备的至少一个传感器识别所述电子设备的状态；
根据所识别的所述电子设备的状态识别所述柔性显示器是否能够被折叠；以及
如果识别出所述柔性显示器能够被折叠，则控制折叠所述柔性显示器。
2.根据权利要求1所述的方法，其中，识别所述柔性显示器是否能够被折叠包括：
基于所识别的所述电子设备的状态确定用于指示所述柔性显示器的折叠程度的自由度；以及
基于所述自由度识别所述柔性显示器是否能够被折叠。
3.根据权利要求1所述的方法，其中，控制折叠所述柔性显示器包括：确定所述柔性显示器的折叠状态配置，
其中，确定所述折叠状态配置包括：
在舒适视图与直观视图之间确定将要通过折叠所述柔性显示器而生成的视图；以及
针对所确定的视图，确定折叠方向和折叠角度，
其中，所述直观视图提供所述电子设备朝向用户的相对侧的折叠，并且
其中，所述舒适视图提供所述电子设备朝向所述用户的折叠。
4.根据权利要求1所述的方法，还包括：
在所述柔性显示器上显示第一内容；以及
在检测到所述输入之后，将从作为所述输入的语音命令中获取的用户意图与第二内容的对象相关联。
5.根据权利要求4所述的方法，其中，控制折叠所述柔性显示器包括：确定所述柔性显示器的折叠状态配置，
其中，确定所述折叠状态配置包括：确定包括所述柔性显示器中的多个可折叠区的所述折叠状态配置，并且
其中，控制折叠所述柔性显示器包括：
根据所确定的折叠状态配置确定所述柔性显示器中的第一区、第二区和第三区；以及
基于所述第一区、所述第二区和所述第三区彼此之间的边界控制折叠所述柔性显示器。
6.根据权利要求4所述的方法，
其中，所述柔性显示器包括第一区、第二区和所述第一区与所述第二区之间的第三区，
其中，基于所述第一区、所述第二区和所述第三区彼此之间的边界折叠所述柔性显示器，并且
其中，在折叠的柔性显示器上显示内容包括：在所述第一区和所述第二区上显示所述第一内容，以及在所述第三区上显示所述第二内容。
7.一种电子设备，包括：
至少一个传感器；
柔性显示器；以及
至少一个处理器，
其中，所述至少一个处理器被配置为：
接收用于折叠所述电子设备的柔性显示器的输入，
通过使用所述至少一个传感器来识别所述电子设备的状态，
根据所识别的所述电子设备的状态识别所述柔性显示器是否能够被折叠，并且
如果识别出所述柔性显示器能够被折叠，则控制折叠所述柔性显示器。
8.根据权利要求7所述的电子设备，其中，为了识别所述柔性显示器是否能够被折叠，所述至少一个处理器还被配置为：
基于所识别的所述电子设备的状态确定用于指示所述柔性显示器的折叠程度的自由度，并且
基于所述自由度识别所述柔性显示器能够被折叠。
9.根据权利要求7所述的电子设备，其中，为了控制折叠所述柔性显示器，所述至少一个处理器还被配置为确定折叠状态配置，
其中，为了确定所述折叠状态配置，所述至少一个处理器还被配置为：
在舒适视图与直观视图之间确定将要通过折叠所述柔性显示器而生成的视图，并且
针对所确定的视图，确定折叠方向和折叠角度，
其中，所述直观视图提供所述电子设备朝向用户的相对侧的折叠，并且
其中，所述舒适视图提供所述电子设备朝向所述用户的折叠。
10.根据权利要求7所述的电子设备，其中，所述至少一个处理器还被配置为控制：
在所述柔性显示器上显示第一内容，并且
在检测到所述输入之后，将从作为所述输入的语音命令中获取的用户意图与第二内容的对象相关联。
11.根据权利要求10所述的电子设备，其中，为了控制折叠所述柔性显示器，所述至少一个处理器还被配置为确定折叠状态配置，
其中，为了确定所述折叠状态配置，所述至少一个处理器还被配置为确定包括所述柔性显示器中的多个可折叠区的所述折叠状态配置，
其中，为了控制折叠所述柔性显示器，所述至少一个处理器还被配置为：
根据所确定的折叠状态配置确定所述柔性显示器中的第一区、第二区和第三区，并且
基于所述第一区、所述第二区和所述第三区彼此之间的边界控制折叠所述柔性显示器。
12.根据权利要求10所述的电子设备，
其中，所述柔性显示器包括第一区、第二区和所述第一区与所述第二区之间的第三区，
其中，基于所述第一区、所述第二区和所述第三区彼此之间的边界折叠所述柔性显示器，并且
其中，为了在折叠的柔性显示器上显示内容，所述至少一个处理器还被配置为控制在所述第一区和所述第二区上显示所述第一内容并且在所述第三区上显示所述第二内容。
13.根据权利要求1所述的方法或根据权利要求7所述的电子设备，其中，用于折叠所述柔性显示器的所述输入包括弯曲所述电子设备或语音命令中的至少一项。
14.根据权利要求1所述的方法或根据权利要求7所述的电子设备，其中，基于所述电子设备的位置或所述电子设备周围的环境中的至少一项来识别所述电子设备的状态。
15.根据权利要求4所述的方法或根据权利要求10所述的电子设备，其中，所述第二内容包括新闻播报、与边缘显示功能相关联的提醒或天气更新中的至少一项。
CN201980042128.5A 2018-06-29 2019-06-28 管理柔性显示器的方法及其电子设备 Pending CN112334861A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IN201841024286 2018-06-29
IN201841024286 2018-10-31
PCT/KR2019/007903 WO2020005017A1 (en) 2018-06-29 2019-06-28 Method for managing flexible display and electronic device thereof

Publications (1)

Publication Number Publication Date
CN112334861A true CN112334861A (zh) 2021-02-05

Family

ID=69154342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980042128.5A Pending CN112334861A (zh) 2018-06-29 2019-06-28 管理柔性显示器的方法及其电子设备

Country Status (3)

Country Link
EP (1) EP3794429B1 (zh)
KR (1) KR20200002686A (zh)
CN (1) CN112334861A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220001647A (ko) * 2020-06-30 2022-01-06 삼성전자주식회사 플렉서블 디스플레이를 포함하는 전자 장치와 이의 동작 방법
KR20220017203A (ko) * 2020-08-04 2022-02-11 삼성전자주식회사 디스플레이를 포함하는 전자 장치 및 그의 화면 운용 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102339166A (zh) * 2011-10-12 2012-02-01 清华大学 可折叠、可柔性变形的压电触摸屏
CA2764840A1 (en) * 2011-01-21 2012-07-21 Research In Motion Limited Multi-bend display activation adaptation
US20130265257A1 (en) * 2012-04-08 2013-10-10 Samsung Electronics Co., Ltd. Flexible display apparatus and operating method thereof
US20140101575A1 (en) * 2012-10-10 2014-04-10 Samsung Electronics Co., Ltd. Multi-display apparatus and method of controlling the same
EP2796976A1 (en) * 2013-04-26 2014-10-29 Immersion Corporation Haptic feedback for interactions with foldable-bendable displays
US20160187122A1 (en) * 2014-12-26 2016-06-30 Intel Corporation Determining device curvature in smart bendable systems
US20160188079A1 (en) * 2014-12-25 2016-06-30 Lenovo (Beijing) Co., Ltd. Controlling Method of Foldable Screen and Electronic Device
US20170038800A1 (en) * 2015-08-03 2017-02-09 Beijing Lenovo Software Ltd. Method for controlling electronic device and electronic device
US20170357292A1 (en) * 2016-06-14 2017-12-14 Lg Electronics Inc. Foldable device and controlling method thereof

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102358750B1 (ko) * 2014-12-29 2022-02-07 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2764840A1 (en) * 2011-01-21 2012-07-21 Research In Motion Limited Multi-bend display activation adaptation
EP2479658A1 (en) * 2011-01-21 2012-07-25 Research in Motion Corporation Multi-bend display activation adaptation
CN102339166A (zh) * 2011-10-12 2012-02-01 清华大学 可折叠、可柔性变形的压电触摸屏
US20130265257A1 (en) * 2012-04-08 2013-10-10 Samsung Electronics Co., Ltd. Flexible display apparatus and operating method thereof
US20140101575A1 (en) * 2012-10-10 2014-04-10 Samsung Electronics Co., Ltd. Multi-display apparatus and method of controlling the same
EP2796976A1 (en) * 2013-04-26 2014-10-29 Immersion Corporation Haptic feedback for interactions with foldable-bendable displays
US20160188079A1 (en) * 2014-12-25 2016-06-30 Lenovo (Beijing) Co., Ltd. Controlling Method of Foldable Screen and Electronic Device
US20160187122A1 (en) * 2014-12-26 2016-06-30 Intel Corporation Determining device curvature in smart bendable systems
US20180017377A1 (en) * 2014-12-26 2018-01-18 Intel Corporation Determining device curvature in smart bendable systems
US20170038800A1 (en) * 2015-08-03 2017-02-09 Beijing Lenovo Software Ltd. Method for controlling electronic device and electronic device
US20170357292A1 (en) * 2016-06-14 2017-12-14 Lg Electronics Inc. Foldable device and controlling method thereof

Also Published As

Publication number Publication date
KR20200002686A (ko) 2020-01-08
EP3794429A1 (en) 2021-03-24
EP3794429C0 (en) 2023-11-22
EP3794429A4 (en) 2021-07-14
EP3794429B1 (en) 2023-11-22

Similar Documents

Publication Publication Date Title
US10983561B2 (en) Method for managing flexible display and electronic device thereof
US11513561B2 (en) Flexible display device and method of controlling same
JP6605000B2 (ja) 三次元オブジェクト表示のためのアプローチ
US9886187B2 (en) Deformable display device and method for controlling thereof
AU2013306644B2 (en) Flexible apparatus and control method thereof
US9417784B2 (en) Multi display apparatus and method of controlling display operation
KR20220032653A (ko) 증강 및 가상 현실 환경들과 상호작용하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들
US20200073618A1 (en) Forming a larger display using multiple smaller displays
US9628783B2 (en) Method for interacting with virtual environment using stereoscope attached to computing device and modifying view of virtual environment based on user input in order to be displayed on portion of display
US10019052B2 (en) Flexible display apparatus and method for providing UI thereof
KR101692252B1 (ko) 플렉서블 디스플레이 장치 및 제어 방법
US20120313862A1 (en) Active flexible display and method for controlling the same
US20180275763A1 (en) Flexible device and method operating the same
KR20140046329A (ko) 멀티 디스플레이 장치 및 그 디스플레이 제어 방법
CN103415833A (zh) 表面化屏幕外可视对象
US20170286042A1 (en) Display apparatus and method for controlling same
EP3794429B1 (en) Method for managing flexible display and electronic device thereof
US20180089131A1 (en) Physical configuration of a device for interaction mode selection
CN117251082A (zh) 基于用户界面的人机交互方法、装置、设备及存储介质
US20180348891A1 (en) System and method of determining input characters based on swipe input
KR102108533B1 (ko) 플렉서블 디스플레이 장치 및 제어 방법
KR20170089831A (ko) 플렉서블 디스플레이 장치 및 제어 방법
US20080111665A1 (en) Storage media containing electronic map file, electronic map display system utilizing electronic map file and related method thereof
KR101763898B1 (ko) 플렉서블 디스플레이 장치 및 제어 방법
KR20200050929A (ko) 플렉서블 디스플레이 장치 및 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination