CN106325588B - 交互方法、交互装置及用户设备 - Google Patents

交互方法、交互装置及用户设备 Download PDF

Info

Publication number
CN106325588B
CN106325588B CN201610079954.5A CN201610079954A CN106325588B CN 106325588 B CN106325588 B CN 106325588B CN 201610079954 A CN201610079954 A CN 201610079954A CN 106325588 B CN106325588 B CN 106325588B
Authority
CN
China
Prior art keywords
deformation
interaction
area
shape
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610079954.5A
Other languages
English (en)
Other versions
CN106325588A (zh
Inventor
于魁飞
徐然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhigu Ruituo Technology Services Co Ltd
Original Assignee
Beijing Zhigu Ruituo Technology Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhigu Ruituo Technology Services Co Ltd filed Critical Beijing Zhigu Ruituo Technology Services Co Ltd
Priority to CN201610079954.5A priority Critical patent/CN106325588B/zh
Publication of CN106325588A publication Critical patent/CN106325588A/zh
Priority to US15/412,779 priority patent/US10809814B2/en
Application granted granted Critical
Publication of CN106325588B publication Critical patent/CN106325588B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1641Details related to the display arrangement, including those related to the mounting of the display in the housing the display being formed by a plurality of foldable display components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04102Flexible digitiser, i.e. constructional details for allowing the whole digitising part of a device to be flexed or rolled like a sheet of paper
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00Aspects of the constitution of display devices
    • G09G2300/06Passive matrix structure, i.e. with direct application of both column and row voltages to the light emitting or modulating elements, other than LCD or OLED
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/02Flexible displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了一种交互方法、交互装置及用户设备,所述方法包括:确定一可形变交互面的形状相关信息;其中,所述形状相关信息与所述可形变交互面一折叠形变后的第一形状对应;至少根据所述形状相关信息,确定所述可形变交互面上的多个有效交互区域;其中,所述多个有效交互区域满足以下条件:在所述可形变交互面上的位置互不相邻;在所述第一形状下,在空间位置上相邻接;至少根据所述第一形状下所述多个有效交互区域在所述空间位置上的第一相对位置,将所述多个有效交互区域作为一个交互区域向至少一交互对象提供交互界面。本申请实施例的技术方案可以根据可形变设备的形变特性给用户带来新的体验。

Description

交互方法、交互装置及用户设备
技术领域
本申请涉及交互技术领域,尤其涉及一种交互方法、交互装置及用户设备。
背景技术
随着技术的发展,柔性设备等可形变设备越来越多的出现在人们的视野中。可形变设备由于其形状可以变化,给用户带来了很多新的用户体验,例如:更容易满足用户对可穿戴设备符合不同人体曲线的需求;以及对设备使用时尺寸变大、携带时尺寸缩小的需求等等。在利用可形变交互设备进行交互时,也会给用户带来不同体验。
发明内容
本申请实施例可能的目的是:提供一种基于可形变交互面的交互方案。
第一方面,本申请的一可能的实施方案提供了一种交互方法,包括:
确定一可形变交互面的形状相关信息;其中,所述形状相关信息与所述可形变交互面一折叠形变后的第一形状对应;
至少根据所述形状相关信息,确定所述可形变交互面上的多个有效交互区域;其中,所述多个有效交互区域满足以下条件:在所述可形变交互面上的位置互不相邻;在所述第一形状下,在空间位置上相邻接;
至少根据所述第一形状下所述多个有效交互区域在所述空间位置上的第一相对位置,将所述多个有效交互区域作为一个交互区域向至少一交互对象提供交互界面。
结合第一方面,在第二种可能的实施方式中,所述形状相关信息包括:
所述第一形状的第一形状信息。
结合第一方面的上述任一种可能的实施方式,在第三种可能的实施方式中,所述形状相关信息包括:
在所述折叠形变前所述可形变交互面的第二形状的第二形状信息、以及所述折叠形变对应的形变信息。
结合第一方面的上述任一种可能的实施方式,在第四种可能的实施方式中,
至少根据一形变控制指令确定所述形状相关信息;
其中,所述形变控制指令用于控制所述可形变交互面进行所述折叠形变。
结合第一方面的上述任一种可能的实施方式,在第五种可能的实施方式中,
至少根据针对所述可形变交互面的形变传感信息确定所述形状相关信息。
结合第一方面的上述任一种可能的实施方式,在第六种可能的实施方式中,所述至少根据所述形状相关信息确定所述多个有效交互区域包括:
根据所述形状相关信息、以及一交互对象相对于所述折叠形变后所述可形变交互面的第二相对位置,确定所述可形变交互面上的多个有效交互区域。
结合第一方面的上述任一种可能的实施方式,在第七种可能的实施方式中,所述至少根据所述形状相关信息确定所述多个有效交互区域包括:
根据所述形状相关信息,确定所述可形变交互面在所述第一形状下、在所述空间位置上相邻接的多个外转折端面所在的多个折边区域;
至少根据所述多个折边区域确定所述多个有效交互区域。
结合第一方面的上述任一种可能的实施方式,在第八种可能的实施方式中,所述至少根据所述多个折边区域确定所述多个有效交互区域包括:
所述多个有效交互区域为所述多个折边区域。
结合第一方面的上述任一种可能的实施方式,在第九种可能的实施方式中,所述至少根据所述多个折边区域确定所述多个有效交互区域包括:
至少根据所述多个折边区域和所述第一形状确定所述多个有效交互区域。
结合第一方面的上述任一种可能的实施方式,在第十种可能的实施方式中,所述多个有效交互区域在所述空间位置上相邻接包括:
对于所述多个有效交互区域中的第一有效交互区域,存在至少一个其他有效交互区域与所述第一有效交互区域在所述空间位置上相邻接;
其中,所述第一有效交互区域为所述多个有效交互区域中的任一有效交互区域。
结合第一方面的上述任一种可能的实施方式,在第十一种可能的实施方式中,所述至少根据所述第一相对位置将所述多个有效交互区域作为一个交互区域向至少一交互对象提供交互界面包括:
根据所述第一相对位置对所述多个有效交互区域进行拼接形成所述交互区域。
结合第一方面的上述任一种可能的实施方式,在第十二种可能的实施方式中,所述至少根据所述第一相对位置将所述多个有效交互区域作为一个交互区域向至少一交互对象提供交互界面包括:
至少根据所述第一相对位置,将交互信息在所述交互区域和所述多个有效交互区域之间进行映射,其中,所述交互信息是通过所述多个有效交互区域与所述至少一交互对象进行交互的。
第二方面,本申请的一可能的实施方案提供了一种交互装置,包括:
信息确定模块,用于确定一可形变交互面的形状相关信息;其中,所述形状相关信息与所述可形变交互面一折叠形变后的第一形状对应;
区域确定模块,用于至少根据所述形状相关信息,确定所述可形变交互面上的多个有效交互区域;其中,所述多个有效交互区域满足以下条件:在所述可形变交互面上的位置互不相邻;在所述第一形状下,在空间位置上相邻接;
交互界面提供模块,用于至少根据所述第一形状下所述多个有效交互区域在所述空间位置上的第一相对位置,将所述多个有效交互区域作为一个交互区域向至少一交互对象提供交互界面。
结合第二方面,在第二种可能的实施方式中,所述形状相关信息包括:
所述第一形状的第一形状信息。
结合第二方面的上述任一种可能的实施方式,在第三种可能的实施方式中,所述形状相关信息包括:
在所述折叠形变前所述可形变交互面的第二形状的第二形状信息、以及所述折叠形变对应的形变信息。
结合第二方面的上述任一种可能的实施方式,在第四种可能的实施方式中,所述信息确定模块包括:
第一信息确定单元,用于至少根据一形变控制指令确定所述形状相关信息;
其中,所述形变控制指令用于控制所述可形变交互面进行所述折叠形变。
结合第二方面的上述任一种可能的实施方式,在第五种可能的实施方式中,
所述信息确定模块包括:
第二信息确定单元,用于至少根据针对所述可形变交互面的形变传感信息确定所述形状相关信息。
结合第二方面的上述任一种可能的实施方式,在第六种可能的实施方式中,所述区域确定模块进一步用于:
根据所述形状相关信息、以及一交互对象相对于所述折叠形变后所述可形变交互面的第二相对位置,确定所述可形变交互面上的多个有效交互区域。
结合第二方面的上述任一种可能的实施方式,在第七种可能的实施方式中,所述区域确定模块包括:
折边区域确定单元,用于根据所述形状相关信息,确定所述可形变交互面在所述第一形状下、在所述空间位置上相邻接的多个外转折端面所在的多个折边区域;
区域确定单元,用于至少根据所述多个折边区域确定所述多个有效交互区域。
结合第二方面的上述任一种可能的实施方式,在第八种可能的实施方式中,所述区域确定单元包括:
第一确定子单元,用于确定所述多个折边区域为所述多个有效交互区域。
结合第二方面的上述任一种可能的实施方式,在第九种可能的实施方式中,所述区域确定单元包括:
第二确定子单元,用于至少根据所述多个折边区域和所述第一形状确定所述多个有效交互区域。
结合第二方面的上述任一种可能的实施方式,在第十种可能的实施方式中,所述多个有效交互区域在所述空间位置上相邻接包括:
对于所述多个有效交互区域中的第一有效交互区域,存在至少一个其他有效交互区域与所述第一有效交互区域在所述空间位置上相邻接;
其中,所述第一有效交互区域为所述多个有效交互区域中的任一有效交互区域。
结合第二方面的上述任一种可能的实施方式,在第十一种可能的实施方式中,所述交互界面提供模块包括:
区域拼接单元,用于根据所述第一相对位置对所述多个有效交互区域进行拼接形成所述交互区域。
结合第二方面的上述任一种可能的实施方式,在第十二种可能的实施方式中,所述交互界面提供模块包括:
信息映射单元,用于至少根据所述第一相对位置,将交互信息在所述交互区域和所述多个有效交互区域之间进行映射,其中,所述交互信息是通过所述多个有效交互区域与所述至少一交互对象进行交互的。
第三方面,本申请的一可能的实施方案提供了一种用户设备,所述用户设备包括:
存储器,用于存放程序;
处理器,用于执行所述存储器存储的程序,所述程序使得所述处理器执行以下操作:
确定一可形变交互面的形状相关信息;其中,所述形状相关信息与所述可形变交互面一折叠形变后的第一形状对应;
至少根据所述形状相关信息,确定所述可形变交互面上的多个有效交互区域;其中,所述多个有效交互区域满足以下条件:在所述可形变交互面上的位置互不相邻;在所述第一形状下,在空间位置上相邻接;
至少根据所述第一形状下所述多个有效交互区域在所述空间位置上的第一相对位置,将所述多个有效交互区域作为一个交互区域向至少一交互对象提供交互界面。
本申请实施例的至少一个实施方案将一可形变交互面发生一形变后在空间位置上邻接的多个有效交互区域进行重组,得到一个新的交互区域用于向交互对象提供交互界面,从而通过可形变设备的形变特性给用户带来新的体验。
附图说明
图1为本申请实施例的一种交互方法的流程示意图;
图2a~2e为本申请实施例一种交互方法的应用场景示意图;
图3a~3b为本申请实施例一种交互方法中可形变交互面折叠后的两种形状示意图;
图4为本申请实施例一种交互装置的结构示意框图;
图5a~5d为本申请实施例四种交互装置的结构示意框图;
图5e~5f为本申请实施例两种交互装置的信息映射单元的结构示意框图;
图6a~6c为本申请实施例的一种应用场景的示意图;
图7a~7c为本申请实施例的一种应用场景的示意图;
图8a~8c为本申请实施例的一种应用场景的示意图;
图9a~9b为本申请实施例的一种应用场景的示意图;
图10a~10c为本申请实施例的一种应用场景的示意图;
图11a~11b为本申请实施例的一种应用场景的示意图;
图12a~12c为本申请实施例的一种应用场景的示意图;
图13为本申请实施例一种用户设备的结构示意框图。
具体实施方式
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例,对本申请的具体实施方式作进一步详细说明。以下实施例用于说明本申请,但不用来限制本申请的范围。
本领域技术人员可以理解,本申请中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
本申请的发明人发现,由于可形变交互面的形状可变,因此,在发生了一形变后,可能形变前的一些有效交互区域在形变后变得无法与交互对象进行有效交互,例如:形变后被覆盖、遮挡的区域;而一些原本离散分布的多个交互区域在形变后却有可能变成在空间位置上相邻接的多个有效交互区域,对所述多个有效交互区域的有效利用可以使可形变设备给用户带来更好的用户体验。
在本申请的下述描述中:
所述可形变交互面的交互对象为与所述可形变交互面进行交互的对象,例如获取所述可形变交互面所输出的信息的输出交互对象;或者通过所述可形变交互面进行输入的输入交互对象;或者既可以获取所述可形变交互面所输出的信息,又可以通过所述可形变交互面进行输入的输入输出交互对象。所述交互对象可以是一用户、也可以是一电子设备等。
有效交互区域为可以与交互对象进行有效交互的区域。在一种可能的实施方式中,所述有效交互区域可以为交互对象可以交互到的区域,例如:所述可形变交互面为显示面时,所述有效交互区域为可以被交互对象看到或获取到图像的区域;所述可形变交互面为触摸输入面时,所述有效交互区域为可以被所述交互对象触摸到的区域。在一些可能的实施方式中,例如,可以设定所述有效交互区域朝向的一侧在设定距离范围内没有遮挡物;和/或设定所述有效交互区域朝向所述交互对象所在的一侧等。或者,进一步的,在另一种可能的实施方式中,除了交互对象可以交互到以外,还需要所述交互满足设定的交互条件,使得与交互对象之间的交互达到预期的交互效果。例如,在所述可形变交互面用于输出交互信息时,所述交互条件可以包括:通过所述有效交互区域输出前的交互信息与输出后可以被交互对象获取的交互信息一致;在所述可形变交互面用于输入交互信息时,所述交互条件可以包括:通过所述有效交互区域获取的交互信息与交互对象想要输入的交互信息一致。
一交互区域在可形变交互面上的位置为:以所述可形变交互面为坐标面,所述区域在所述坐标面上对应的坐标区域的位置。其中,无论所述可形变交互面的形状如何弯曲、折叠变化,所述区域对应的坐标区域是不会变化的。
一区域的空间位置为该区域在一空间坐标系中的位置。
如图1所示,本申请实施例提供了一种交互方法,包括:
S110确定一可形变交互面的形状相关信息;其中,所述形状相关信息与所述可形变交互面一折叠形变后的第一形状对应;
S120至少根据所述形状相关信息,确定所述可形变交互面上的多个有效交互区域;其中,所述多个有效交互区域满足以下条件:在所述可形变交互面上的位置互不相邻;在所述第一形状下,在空间位置上相邻接;
S130至少根据所述第一形状下所述多个有效交互区域在所述空间位置上的第一相对位置,将所述多个有效交互区域作为一个交互区域向至少一交互对象提供交互界面。
举例来说,本申请提供的交互装置作为本实施例的执行主体,执行S110~S130。具体地,所述交互装置可以以软件、硬件或软硬件结合的方式设置在用户设备中,或者,所述交互装置本身就是所述用户设备;所述用户设备包括但不限于具有可折叠形变的可形变交互面的:手机、电脑、电视以及可穿戴设备等。
本申请实施例的实施方式将一可形变交互面发生一形变后在空间位置上邻接的多个有效交互区域进行重组,得到一个新的交互区域用于向交互对象提供交互界面,从而通过可形变设备的形变特性给用户带来新的体验。
通过下面的实施方式进一步说明本申请实施例的方法。
在一种可能的实施方式中,一可形变交互面200展开的形状为如图2a所示的矩形。在进行一折叠形变时,从图2a所示的矩形经过图2b所示的波浪状态最终变成如图2c所示的折叠收拢状态。图2d为所述图2c的右视图。
由图2a~2d可以看出,在一可形变交互面200发生一折叠形变后,一部分交互区域(例如翼面区域212~215)由于折叠被遮挡,不再是有效交互区域。在一些可能的实施方式中,还有一部分交互区域(例如翼面区域211、216)可能会因为朝向问题(例如交互对象对所述可形变交互面200的交互方向D为正对图2a~2c所示的可形变交互面200的方向),也不再是有效交互区域。
在图2a~2d所示的实施方式中,仍然可以用于与交互对象进行有效交互的有效交互区域只剩下几个外转折端面所在的几个折边区域221~225。
在本申请实施例中,一折边区域为褶皱结构中连接相背的两个翼面的转折端所对应的区域。例如,一折边区域221为连接折叠后相背的两个翼面区域211、212的一转折端所对应的区域。
传统的,在对所述可形变交互面200进行了上面所述的折叠形变后,对于剩下的有效交互区域,一种可能的方式是:整个可形变交互面200的交互功能都被关闭,不再与交互对象交互,例如,显示面关闭,用户不再看到显示的内容;另一种可能的方式是:所述剩下的有效交互区域仍然作为变形前的交互界面的一部分,与交互对象进行不完整的交互。
本申请的发明人发现,一些场合下,在可形变交互面发生折叠形变后,可能形成在空间位置上相邻接的多个有效交互区域,虽然一个有效交互区域的面积可能较小,难以作为单独的交互界面与交互对象进行交互,但是多个有效交互区域可能会重组成一个较大的交互区域,可以重新利用。
本申请实施例通过确定与一折叠形变后所述可形变交互面的第一形状对应的形状相关信息,再根据所述形状相关信息来确定所述多个有效交互区域。
在一种可能的实施方式中,可选地,所述形状相关信息可以包括:
所述第一形状的第一形状信息。
例如,在图2a~2d所示的实施方式中,可以获取图2c和2d所示的折叠后的可形变交互面的形状信息作为所述形状相关信息。
在另一种可能的实施方式中,可选地,所述形状相关信息也可以不是所述第一形状信息,而是可以间接得到所述第一形状信息的其它信息,例如,所述形状相关信息包括:
在所述折叠形变前所述可形变交互面的第二形状的第二形状信息、以及所述折叠形变对应的形变信息。
这里,所述形变信息可以是形状变化参数、或者可以是与形变相关的其它参数。例如,在所述可形变交互面为热致形变材料时,所述形变信息可以包括各区域的温度变化信息等;或者,例如,所述形变信息还可以通过与所述可形变交互面对应的加速度传感阵列、陀螺仪阵列等获取的所述可形变交互面上各区域的位移信息。
本领域的技术人员可以知道,根据所述第二形状信息和所述形变信息也可以确定所述第一形状。
在一种可能的实施方式中,所述可形变交互面为形变可控的交互面,用于根据不同的形变控制指令进行不同的形变。其中,所述形变控制指令可以是响应于交互对象的交互操作生成的。在一种可能的实施方式中,根据预先的设置,每个形变控制指令可以对应于一形变后的形状信息;或者可以对应于一形变信息。因此,所述S110可以至少根据一形变控制指令确定所述形状相关信息,其中,所述形变控制指令用于控制所述可形变交互面进行所述折叠形变。
例如如图2a~2d所示的实施方式中,可以响应于用户点击一“折叠收拢”按键的操作,得到第一形变控制指令,该第一形变控制指令对应于图2c所示的形状,此时不管折叠形变前所述可形变交互面为什么形状,一旦获取所述第一形变控制指令后,就自动控制所述可形变交互面形变为图2c所示的形状。
在其他可能的实施方式中,例如,在所述形变控制指令对应于形变信息时,所述S110还需要获取所述第二形状信息才能得到所述形状相关信息。
除了上面所述的形变控制指令外,还可以通过用于根据所述可形变交互面的形变获取对应的形变传感信息的形变传感器来得到所述形变相关信息。所述形变传感器例如可以根据所述可形变交互面的形变生成对应的电压或电流参数值,所述形变传感信息即为所述电压或电流参数值。
在一种可能的实施方式中,在所述可形变交互面发生所述折叠形变后,可以至少根据这些形变传感信息确定所述形状相关信息。
本申请实施例的方法在获取了所述形状相关信息后,就可以至少根据所述形状相关信息确定所述多个有效交互区域。
在本申请实施例中,所述多个有效交互区域满足以下条件:在所述可形变交互面上的位置互不相邻;在所述第一形状下,在空间位置上相邻接。
这里,所述多个有效交互区域在第一形状下、在空间位置上相邻接,因此才可以重组成一个交互区域。
本申请实施例中,如果两个有效交互区域在所述可形变交互面上的位置相邻、在所述第一形状下的所述空间位置上相邻接,就可以将所述两个有效交互区域作为一个有效交互区域看待。
在一可能的实施方式中,所述多个有效交互区域在所述空间位置上相邻接包括:
对于所述多个有效交互区域中的第一有效交互区域,存在至少一个其他有效交互区域与所述第一有效交互区域在所述空间位置上相邻接;
其中,所述第一有效交互区域为所述多个有效交互区域中的任一有效交互区域。
在一种可能的实施方式中,两个有效交互区域在空间位置上相邻接可以为这两个有效交互区域相互靠近的边缘之间的距离基本为0,例如图2c和2d所示的实施方式,相邻的两个有效交互区域相接。
或者,在另一种可能的实施方式中,两个有效交互区域在空间位置上相邻接也可以为这两个交互区域相互靠近的边缘之间的距离小于设定值。例如:图2a所示的可形变交互面也可能折叠变形为如图2e所示的形状,在相邻的两个有效交互区域226、227之间还有一间隙区域231,本实施方式中,在所述间隙区域231的宽度(图2e中上下方向的宽度)小于设定值时,可以认为所述两个有效交互区域226、227相邻接。
在一些可能的实施方式中,可以根据所述距离的大小对与交互对象交互的影响来确定所述设定值。以所述可形变交互面为显示面为例,如果相邻的两个有效交互区域之间的距离大到用户已经无法将所述两个有效交互区域显示的内容作为一个整体观看时,则所述两个有效交互区域之间的距离大于所述设定值。
在一种可能的实施方式中,除了所述形状相关信息外,可能还同时要结合其他信息来得到所述多个有效交互区域。
例如,在一种可能的实施方式中,所述可形变交互面与交互对象之间的交互是有方向性的,例如,所述可形变交互面为一显示面。此时可能需要根据所述形状相关信息、以及所述交互对象相对于在所述第一形状下所述可形变交互面的第二相对位置来确定所述多个有效交互区域。进一步的说明会在下面的实施方式中记载。
在一种可能的实施方式中,所述S120可以包括:
根据所述形状相关信息,确定所述可形变交互面在所述第一形状下、在空间位置上相邻接的多个外转折端面所在的多个折边区域;
至少根据所述多个折边区域确定所述多个有效交互区域。
在一种可能的实施方式中,所述多个有效交互区域即为所述多个折边区域。
如图2a和2c所示,多个折边区域221~225中的每两个在所述可形变交互面上的位置被至少一其它交互区域隔开,互不相邻;在形变后的空间位置上,所述多个折边区域221~225相邻接。因此,在图2a~2d所示的实施方式中,可以确定所述多个折边区域221~225为所述多个有效交互区域。
在一些可能的实施方式中,除了上面所述的多个折边区域外,所述多个有效交互区域可能还包括在折叠形变后与所述多个折边区域在空间位置上相邻或相连的其它区域。
例如,在一种可能的实施方式中,如图2a~2d所示,相连的折边区域221和翼面区域211可以作为一个有效交互区域;相连的折边区域224和翼面区域216可以作为一个有效交互区域。
又,例如图3a所示的实施方式中,在考虑交互方向的情况下,除了四个折边区域311~314外,一展开区域321(褶皱结构中一翼面所在的区域)也是朝向交互对象的有效交互区域,并且在空间位置上与所述四个折边区域311~314相邻接,因此,所述多个有效交互区域还包括所述展开区域321。
因此,所述至少根据所述多个折边区域确定所述多个有效交互区域包括:
至少根据所述多个折边区域和所述第一形状确定所述多个有效交互区域。
在一些可能的实施方式中,所述至少根据所述多个折边区域确定所述多个有效交互区域可以包括:
至少根据所述多个折边区域、所述第一形状以及一交互对象相对于所述折叠形变后所述可形变交互面的第二相对位置确定所述多个有效交互区域。
在一些可能的实施方式中,所述第二相对位置可以是实时获取的;在另一些可能的实施方式中,所述第二相对位置可以默认设置的,例如根据多个用户的使用习惯,得到的通用的所述第二相对位置;或者根据用户的设置,得到所述第二相对位置。
例如,在一种可能的实施方式中,如2a所示的可形变交互面200在一折叠形变后的形状也可能为图3b所示的形状。本实施方式中,所述可形变交互面可以为一显示面,所述交互对象为一用户330。
由图3b可以看出,在实施方式中,尽管所述折叠形变后的多个折边区域没有被所述可形变交互面上的其他区域遮挡,但是由于所述多个折边区域是弧形面,因此,在用户相对于所述可形变交互面的第二相对位置不变的情况下,由于注视角度的原因,用户可能无法完整观看一折边区域上呈现的所有内容。因此,在本实施方式中,考虑用户使用的便利,可选地,可以结合所述第一形状以及所述第二相对位置进一步确定所述多个有效交互区域。
因此,本实施方式中,可以首先根据所述形状相关信息确定朝向用户侧的多个折边区域;再根据所述第一形状以及所述第二相对位置确定用户视线对所述多个折边区域中的多个有效观看区域315~318。
在本实施方式中,可以通过所述可形变交互面侧的交互对象位置传感器、或者通过与交互对象侧的其它设备的通信确定所述第二相对位置。
本申请实施例中,在确定了所述多个有效交互区域之后,就可以将所述多个有效交互区域作为一个新的交互区域向交互对象提供交互界面。
在一种可能的实施方式中,所述至少根据所述第一相对位置将所述多个有效交互区域作为一个交互区域可以为:根据所述第一相对位置将所述多个有效交互区域拼接成所述交互区域。
在一种可能的实施方式中,所述可形变交互面是由包含多个交互单元的交互单元阵列实现与交互对象的交互的,每个有效交互区域对应于多个交互单元。
在一种可能的实施方式中,所述拼接可以是将所述多个有效交互区域中各交互单元的地址进行重新编址,得到与所述交互区域匹配的新的地址。
例如:假设图2a所示的实施方式中,在所述折叠形变前,折边区域221和折边区域222包含的各交互单元的第一地址(x,y)(其中x为第一行地址,y为第一列地址,在一种可能的实施方式中,该第一地址也可以作为各交互单元在所述可形变交互面上的位置坐标)如表一和表二所示:
表一:折边区域221包含的30个交互单元的第一地址
13,1 13,2 13,3 13,4 13,5 13,6 13,7 13,8 13,9 13,10
14,1 14,2 14,3 14,4 14,5 14,6 14,7 14,8 14,9 14,10
15,1 15,2 15,3 15,4 15,5 15,6 15,7 15,8 15,9 15,10
表二:折边区域222包含的30个交互单元的第一地址
40,1 40,2 40,3 40,4 40,5 40,6 40,7 40,8 40,9 40,10
41,1 41,2 41,3 41,4 41,5 41,6 41,7 41,8 41,9 41,10
42,1 42,2 42,3 42,4 42,5 42,6 42,7 42,8 42,9 42,10
在本实施方式中,如果根据这两个折边区域221、222在如图2c所示的折叠形变后的第一形状下在空间上的相对位置对所述两个折边区域221、222中各交互单元的地址进行重新编址,则可以得到如表三和表四所示的所述各交互单元的第二地址(x1,y1):
表三:折边区域221包含的30个交互单元的第二地址
表四:折边区域222包含的30个交互单元的第二地址
4,1 4,2 4,3 4,4 4,5 4,6 4,7 4,8 4,9 4,10
5,1 5,2 5,3 5,4 5,5 5,6 5,7 5,8 5,9 5,10
6,1 6,2 6,3 6,4 6,5 6,6 6,7 6,8 6,9 6,10
可以看出,在对所述两个折边区域221、222中各交互单元的地址进行重新编址后,在折叠形变后相邻的所述两个折边区域221、222,其中分别包含的多个交互单元的第二地址也是相邻连续的。
在另一种可能的实施方式中,所述拼接也可以不对所述多个有效交互区域中各交互单元的地址进行重新编址,即保持所述各交互单元的地址不变,但是对地址之间的关联进行修改。
例如,在与交互对象的交互中对各交互单元进行行扫描的场景下,将所述折边区域221的最后一个交互单元的第一地址(15,10)与所述折边区域222的第一个交互单元的第一地址(40,1)进行关联,使得在与交互对象进行交互信息的交互时,在所述折边区域221的最后一个交互单元被扫描之后,接下来扫描所述折边区域222的第一个交互单元,不再扫描所述两个折边区域221、222之间的其它区域。
在又一种可能的实施方式中,所述拼接也可以是虚拟拼接,所述交互区域为一虚拟交互区域,即根据所述第一相对位置,将所述多个有效交互区域虚拟拼接映射到所述虚拟交互区域上。
在一种可能的实施方式中,所述S130还包括:
至少根据所述第一相对位置,将交互信息在所述交互区域和所述多个有效交互区域之间进行映射,其中,所述交互信息是通过所述多个有效交互区域与所述至少一交互对象进行交互的。
这里所述交互信息可以包括通过所述多个有效交互区域向所述交互对象传递的输出交互信息,也可以包括交互对象通过所述多个有效交互区域向所述交互装置传递的输入交互信息。
在所述交互信息包括所述输出交互信息的实施方式中,所述将交互信息在所述交互区域和所述多个有效交互区域之间进行映射可以包括:
确定与所述交互区域对应的输出交互信息;
根据所述第一相对位置,将所述输出交互信息从所述交互区域映射到所述多个有效交互区域。
在所述交互信息包括所述输入交互信息的实施方式中,所述将交互信息在所述交互区域和所述多个有效交互区域之间进行映射可以包括:
确定与所述多个有效交互区域对应的输入交互信息;
根据所述第一相对位置,将所述输入交互信息从所述多个有效交互区域映射到所述交互区域。
通过上面的实施方式中,可以使得交互对象通过所述多个有效交互区域与所述交互装置进行交互的交互效果与通过所述交互区域与所述交互装置进行交互的交互效果相同或相似。
本领域技术人员可以理解,在本申请具体实施方式的上述方法中,各步骤的序号大小并不意味着执行顺序的先后,各步骤的执行顺序应以其功能和内在逻辑确定,而不应对本申请具体实施方式的实施过程构成任何限定。
如图4所示,本申请实施例还提供了一种交互装置400,包括:
信息确定模块410,用于确定一可形变交互面的形状相关信息;其中,所述形状相关信息与所述可形变交互面一折叠形变后的第一形状对应;
区域确定模块420,用于至少根据所述形状相关信息,确定所述可形变交互面上的多个有效交互区域;其中,所述多个有效交互区域满足以下条件:在所述可形变交互面上的位置互不相邻;在所述第一形状下,在空间位置上相邻接;
交互界面提供模块430,用于至少根据所述第一形状下所述多个有效交互区域在所述空间位置上的第一相对位置,将所述多个有效交互区域作为一个交互区域向至少一交互对象提供交互界面。
本申请实施例的实施方式将一可形变交互面发生一形变后在空间位置上邻接的多个有效交互区域进行重组,得到一个新的交互区域用于向交互对象提供交互界面,从而通过可形变设备的形变特性给用户带来新的体验。
通过下面的实施方式进一步说明本申请实施例的各模块、单元。
在一种可能的实施方式中,可选地,所述形状相关信息可以包括:
所述第一形状的第一形状信息。
在另一种可能的实施方式中,可选地,所述形状相关信息也可以不是所述第一形状信息,而是可以间接得到所述第一形状信息的其它信息,例如,所述形状相关信息包括:
在所述折叠形变前所述可形变交互面的第二形状的第二形状信息、以及所述折叠形变对应的形变信息。
这里,所述形变信息可以是形状变化参数、或者可以是与形变相关的其它参数。例如,在所述可形变交互面为热致形变材料时,所述形变信息可以包括各区域的温度变化信息等;或者,例如,所述形变信息还可以通过与所述可形变交互面对应的加速度传感阵列、陀螺仪阵列等获取的所述可形变交互面上各区域的位移信息。
本领域的技术人员可以知道,根据所述第二形状信息和所述形变信息也可以确定所述第一形状。
在一种可能的实施方式中,所述可形变交互面为形变可控的交互面,用于根据不同的形变控制指令进行不同的形变。其中,所述形变控制指令可以是响应于交互对象的交互操作生成的。在一种可能的实施方式中,根据预先的设置,每个形变控制指令可以对应于一形变后的形状信息;或者可以对应于一形变信息。因此,在一种可能的实施方式中,如图5a所示,所述信息确定模块410包括:
第一信息确定单元411,用于至少根据一形变控制指令确定所述形状相关信息;
其中,所述形变控制指令用于控制所述可形变交互面进行所述折叠形变。
在一种可能的实施方式中,所述第一信息确定单元411例如可以根据所述形变控制指令,从存储有至少一形变控制指令与至少一形变相关信息之间的对应关系的存储模块获取所述对应关系,再得到与所述形变控制指令对应的形变相关信息。
除了上面所述的形变控制指令外,还可以通过用于根据所述可形变交互面的形变获取对应的形变传感信息的形变传感器来得到所述形变相关信息。所述形变传感器例如可以根据所述可形变交互面的形变生成对应的电压或电流参数值,所述形变传感信息即为所述电压或电流参数值。因此,在一种可能的实施方式中,如图5b所示,所述信息确定模块410可以包括:
第二信息确定单元412,用于至少根据针对所述可形变交互面的形变传感信息确定所述形状相关信息。
在一可能的实施方式中,所述多个有效交互区域在所述空间位置上相邻接包括:
对于所述多个有效交互区域中的第一有效交互区域,存在至少一个其他有效交互区域与所述第一有效交互区域在所述空间位置上相邻接;
其中,所述第一有效交互区域为所述多个有效交互区域中的任一有效交互区域。
在一种可能的实施方式中,两个有效交互区域在空间位置上相邻接可以为这两个有效交互区域相互靠近的边缘之间的距离基本为0。
或者,在另一种可能的实施方式中,两个有效交互区域在空间位置上相邻接也可以为这两个交互区域相互靠近的边缘之间的距离小于设定值。
在一些可能的实施方式中,可以根据所述距离的大小对与交互对象交互的影响来确定所述设定值。以所述可形变交互面为显示面为例,如果相邻的两个有效交互区域之间的距离大到用户已经无法将所述两个有效交互区域显示的内容作为一个整体观看时,则所述两个有效交互区域之间的距离大于所述设定值。
在一种可能的实施方式中,除了所述形状相关信息外,可能还同时要结合其他信息来得到所述多个有效交互区域。
例如,在一种可能的实施方式中,所述可形变交互面与交互对象之间的交互是有方向性的,例如,所述可形变交互面为一显示面。在本实施方式中,所述区域确定模块420进一步用于:
根据所述形状相关信息、以及一交互对象相对于所述折叠形变后所述可形变交互面的第二相对位置,确定所述可形变交互面上的多个有效交互区域。
在一些可能的实施方式中,所述第二相对位置可以是实时获取的,例如可以通过所述可形变交互面侧的交互对象位置传感器、或者通过与交互对象侧的其它设备的通信获取所述第二相对位置。
在另一些可能的实施方式中,所述第二相对位置可以默认设置的,例如根据多个用户的使用习惯,得到的通用的所述第二相对位置;或者根据用户的设置,得到所述第二相对位置。
结合所述第二相对位置来确定所述多个有效交互区域可以使得用户对交互装置的使用更加便捷,具体参见上面方法实施例中对应的描述。
在一种可能的实施方式中,如图5a所示,所述区域确定模块420包括:
折边区域确定单元421,用于根据所述形状相关信息,确定所述可形变交互面在所述第一形状下、在空间位置上相邻接的多个外转折端面所在的多个折边区域;
区域确定单元422,用于至少根据所述多个折边区域确定所述多个有效交互区域。
在一种可能的实施方式中,所述多个有效交互区域即为所述多个折边区域。因此,在本实施方式中,如图5a所示,所述区域确定单元422包括:
第一确定子单元4221,用于确定所述多个折边区域为所述多个有效交互区域。
在一些可能的实施方式中,除了上面所述的多个折边区域外,所述多个有效交互区域可能还包括在折叠形变后与所述多个折边区域在空间位置上相邻或相连的其它区域。因此,在本实施方式中,如图5c所示,所述区域确定单元422包括:
第二确定子单元4222,用于至少根据所述多个折边区域和所述第一形状确定所述多个有效交互区域。
在一种可能的实施方式中,如图5d所示,可选地,所述交互界面提供模块430可以包括:
区域拼接单元431,用于根据所述第一相对位置对所述多个有效交互区域进行拼接形成所述交互区域。具体的拼接方式参见上面方法实施例中对应的描述。
在一种可能的实施方式中,如图5d所示,可选地,所述交互界面提供模块430可以包括:
信息映射单元432,用于至少根据所述第一相对位置,将交互信息在所述交互区域和所述多个有效交互区域之间进行映射,其中,所述交互信息是通过所述多个有效交互区域与所述至少一交互对象进行交互的。
在所述交互信息包括所述输出交互信息的实施方式中,如图5e所示,所述信息映射单元432可以包括:
第一信息确定子单元4321,用于确定与所述交互区域对应的输出交互信息;
第一映射子单元4322,用于根据所述第一相对位置,将所述输出交互信息从所述交互区域映射到所述多个有效交互区域。
在所述交互信息包括所述输入交互信息的实施方式中,如图5f所示,所述信息映射单元432可以包括:
第二信息确定子单元4323,用于确定与所述多个有效交互区域对应的输入交互信息;
第二映射子单元4324,用于根据所述第一相对位置,将所述输入交互信息从所述多个有效交互区域映射到所述交互区域。
本申请实施例各模块、单元功能的进一步描述参见上面方法实施例中对应的描述。
由上面的描述可以知道,在一些可能的实施方式中,本申请的所述可形变交互面可以用于进行信息输出,例如所述可形变交互面可以为光信息输出面、声音信息输出面以及触感反馈面。在一些可能的实施方式中,本申请的所述可形变交互面可以用于进行信息输入,例如所述可形变交互面可以为光信息输入面、声音信息输入面以及触摸传感面。在一些可能的实施方式中,本申请的所述可形变交互面还可以同时用于信息的输入和输出,例如触摸显示屏等集合输入输出功能的交互面。
下面分别以所述可形变交互面为光信息输出面、声音信息输出面、触感反馈面、光信息输入面、声音信息输入面以及触摸传感面来说明本申请实施例的应用场景。其中,在所述可形变交互面为上面所述的各种交互面时,确定所述可形变交互面的形状相关信息、确定所述可形变交互面的多个有效交互区域、以及对所述多个有效交互区域进行拼接得到所述交互区域的方式与图1、图2a~2e、图3a~3b所示实施例中类似,下面不再赘述。
在一种可能的实施方式中,可选地,所述光信息输出面为一可形变显示面。
在本实施方式中,与图1、图2a~2e、图3a~3b所示实施例相比,特别地,在确定了所述多个有效交互区域后,将所述多个有效交互区域作为一个新的交互区域向交互对象提供显示输出界面。
在一种可能的实施方式中,将所述多个有效交互区域作为一个新的交互区域向交互对象提供显示输出界面可以包括:
确定与所述交互区域匹配的显示信息;
根据所述第一相对位置,将所述显示信息从所述交互区域映射到所述多个有效交互区域。
在一种可能的实施方式中,至少根据所述交互区域的显示属性信息确定与所述显示属性信息匹配的显示信息。
在一种可能的实施方式中,所述显示属性信息可以包括:
显示区域形状信息。例如,显示区域的大小、边缘形状(例如矩形、圆形等)。
在本实施方式中,与所述显示区域形状信息匹配的显示信息例如可以为:
所述显示信息对应的显示内容的大小、边缘形状与所述显示区域的大小以及边缘形状匹配。
在另一种可能的实施方式中,所述显示属性信息还可以包括:
显示像素的分布特性。例如,显示像素的数量多少、密度分布等。
在本实施方式中,与所述显示像素的分布特性匹配的显示信息例如可以为:
所述显示信息对应的图像像素的数量和密度分布与所述显示像素的数量和密度分布一致。
在一种可能的实施方式中,根据预先的设置,除了所述显示属性信息以外,所述显示信息还可以与所述可形变显示面在所述折叠形变前的原始显示信息相关。例如,在一种可能的实施方式中,所述显示信息为根据所述显示属性信息压缩简化的原始显示信息,例如若折叠变形前所述可形变显示面显示的是一段无结构图像或文本内容,则利用智能裁剪或摘要生成算法,生成适合新形成的交互区域的图像或文本。或者,在另一种可能的实施方式中,所述显示信息为与所述原始显示信息关联的其它信息,例如:所述原始显示信息为一本书的文字显示内容信息;所述显示信息可以为该书的著录项目信息和/或摘要信息等和/或前述文字显示内容信息所在的章节信息、位置信息。
在又一种可能的实施方式中,根据预先的设置,所述可形变显示面的一种折叠形变可以对应于一固定的显示信息。例如,图2a所示的可形变显示面在折叠变形为图2c所示的形状之后,就对应于一显示信息的输出,例如:设定格式的时间和日期的显示。因此,可以根据所述折叠形变或所述第一形状来确定所述显示信息。
本领域技术人员可以知道,确定与所述交互区域匹配的显示信息的方式还可以为其它方式,这里不再一一列出。
在确定了与所述交互区域对应的所述显示信息之后,本实施方式可以根据所述第一相对位置,将所述显示信息从所述交互区域映射到所述多个有效交互区域。
基于现有的显示系统,所述根据所述第一相对位置将所述显示信息从所述交互区域映射到所述多个有效交互区域可以在四个层面上实现:
A)在应用层实现:通过一个图片浏览软件或者阅读软件根据所述第一相对位置以及所述显示信息,在生成对应的屏幕缓冲器(Screen buffer)中的数据时,进行映射,进而在所述Screen buffer中形成一个映射后的可以给系统做显示的图像。
B)图形加速器上实现:为了节省CPU填充帧缓冲器(Framebuffer)的时间,显示系统中常常拥有图形加速器这一把矢量图转换为栅格图并进而填充到Framebuffer中去的部件。在一种可能的实施方式中,在图形加速器栅格化待显示图形图像时,可以进行从所述交互区域到多个有效交互区域的位置映射工作,并把映射后的数据填充到Framebuffer中。
C)Framebuffer上实现:Framebuffer是RAM的一部分,数字显示设备常常用其存储待显示的位图数据。在一种可能的实施方式中,可以根据所述交互区域以及所述第一相对位置可以计算每个像素在所述可形变显示面上的目标位置,把Framebuffer中的像素所在的位置进行调整即可完成上述映射。
进一步的,在具有双缓冲区的Framebuffer实现中,可以把其中一个缓冲区对应所述交互区域,另外一个对应所述可形变显示面原始的显示区域以便快速来回切换。
D)可物理像素驱动的(例如有机发光显示器OLED)显示屏驱动器上实现:由于OLED上每个物理像素可以单独索引进行显示操作,以飞思卡尔HCS08系列的OLED为例,可以通过修改其显示数据随机存储器(Graphic Display Data RAM,GDDRAM)中的数据完成映射。比如通过行和列索引检出一个像素的数据,并把该数据写入到根据第一相对位置计算出的新的位置上去即可。
在一种可能的实施方式中,可以在B或C或D之前加一个单独的新的映射模块来实现该映射。
在一种可能的实施方式中,可选地,所述根据所述第一相对位置将所述显示信息从所述交互区域映射到所述多个有效交互区域包括:
根据所述第一相对位置对所述显示信息进行处理,获得分别与所述多个有效交互区域对应的多个显示子信息。这里,根据所述第一相对位置对所述显示信息进行的处理可以参见上面所述的四种方法中的一种。
如图6a~6c所示,在一种可能的实施方式中,所述可形变显示面200为图2c所示的形状,所述多个有效交互区域221~225拼接后得到的交互区域610的形状为如图6a所示的矩形。根据所述交互区域610确定与所述交互区域610匹配的显示信息,如图6a和6b所示,所述显示信息对应于一显示图像620。
根据所述第一相对位置对所述显示信息进行处理例如可以为:根据所述第一相对位置对所述显示图像620进行分区处理,得到所述多个有效交互区域对应的多个显示图像区域621~625。
在进行分割时,可以根据所述第一相对位置,将所述显示图像620的图像像素一一映射到所述多个有效交互区域221~225的各显示像素上。
可以看出,交互对象通过相邻接的所述多个有效交互区域221~225获取的多个显示图像区域621~625在拼接后与交互对象通过一个交互区域610获取的显示图像620的效果是基本相同的。
在一些可能的实施方式中,可选地,所述可形变显示面除了可以是用于显示一图像的图像显示面外,还可以是用于光通信的其它光信号输出面。
如图6c所示,在一种可能的实施方式中,所述可形变显示面上,所述多个有效交互区域以外的交互区域可以不再进行图像显示,减少所述可形变显示面的能量消耗。
当然,在其他可能的实施方式中,在不影响所述多个有效交互区域221~225与交互对象的交互效果的情况下,所述多个有效交互区域以外的交互区域也可以进行信息输出,例如,在翼面区域212~215也可以显示折叠形变之前的内容等。
可以看出,采用本申请实施例的上述方法,通过所述多个有效交互区域输出所述多个显示子信息与通过所述交互区域输出所述显示信息分别达到的与交互对象的交互效果是相同或相似的。
在一种可能的实施方式中,可选地,所述声音信息输出面为一可形变扬声阵列面。
在一种可能的实施方式中,所述可形变扬声阵列面例如可以包括:一柔性基底面以及所述柔性基底面上按阵列分布的多个扬声单元。其中,在一种可能的实施方式中,所述柔性基底面可以为一柔性显示屏或柔性显示触摸屏,所述扬声单元为透明的扬声单元。
在另一种可能的实施方式中,所述可形变扬声阵列面例如还可以为柔性的薄膜扬声阵列面。
在本实施方式中,与图1、图2a~2e、图3a~3b所示实施例相比,特别地,在确定了所述多个有效交互区域后,将所述多个有效交互区域作为一个新的交互区域向交互对象提供声音输出界面。
在一种可能的实施方式中,将所述多个有效交互区域作为一个新的交互区域向交互对象提供声音输出界面包括:
确定与所述交互区域匹配的声音信息;
根据所述第一相对位置,将所述声音信息从所述交互区域映射到所述多个有效交互区域的多个扬声单元。
在一种可能的实施方式中,至少根据所述交互区域的声音输出属性信息确定与所述声音输出属性信息匹配的声音信息。
在一种可能的实施方式中,所述声音输出属性信息可以包括以下的至少一种:
所述交互区域的形状信息。例如,交互区域的大小、边缘形状(例如矩形、圆形等)。
所述交互区域对应的扬声阵列的分布特性。所述分布特性例如可以包括以下的至少一种:扬声单元的数量多少、分布位置、分布密度等。
所述扬声阵列中各扬声单元的扬声特性。所述扬声特性例如可以包括:功率特性、频率响应特性等。
在一种可能的实施方式中,所述根据所述第一相对位置将所述声音信息从所述交互区域映射到所述多个有效交互区域包括:
根据所述第一相对位置对所述声音信息进行处理,获得分别与所述多个扬声单元对应的多个声音子信息。
例如,在一种可能的实施方式中,可以根据所述交互区域的形状信息、所述扬声阵列的分布特性以及各扬声单元的扬声特性确定所述扬声阵列各扬声单元需要输出的声音子信息(这里,可以认为所述交互区域中不需要发声的扬声单元对应于零输出的声音子信息,例如振动幅度为0),以达到预期的声音恢复效果。这里,例如可以通过音效定位算法,例如头部反应传送函数(Head-ResponseTransfer Function,HRTF),来确定所述声音子信息。
在一种可能的实施方式中,根据预先的设置,除了所述声音输出属性信息以外,所述声音信息还可以与所述可形变扬声阵列面在所述折叠形变前的原始声音信息相关。例如,在一种可能的实施方式中,根据所述原始声音信息所对应的原始音效来确定所述声音信息对应的音效。例如,满足所述音效与所述原始音效之间的差异最小或差异在设定值之内。或者,在一种可能的实施方式中,满足所述声音信息与所述原始声音信息中包含相同的需要传达给交互对象的信息(例如语义内容),此时声音效果可以不相同。
因此,在一种可能的实施方式中,所述确定与所述交互区域匹配的声音信息包括:
至少根据所述折叠形变前所述可形变扬声阵列面对应的原始声音信息、以及所述声音输出属性信息确定所述声音信息。
本领域技术人员可以知道,确定与所述交互区域匹配的声音信息的方式还可以为其它方式,这里不再一一列出。
如图7a所示为一可形变扬声阵列面700的多个扬声单元710在一柔性基板720上的分布情况,其中所述多个扬声单元710成5*9阵列。
在一折叠形变后,例如,第一、第三、第四、第六、第七和第九列扬声单元所在区域被覆盖或朝向改变,因此这六列扬声单元所在区域都不再是有效交互区域。在本实施方式中,在进行声音输出时,可以无需对这六列扬声单元进行驱动,进而禁止所述六列扬声单元发声,从而避免干扰并可以降低功耗。第二、第五和第八列扬声单元所在的区域为折叠形变后的形状的三个折边区域711~713,构成了折叠形变后的三个有效交互区域,这三个有效交互区域在折叠形变后的各扬声单元710的位置分布如图7b所示。可以看出,这三个有效交互区域在所述扬声阵列700上的位置不相邻,在本次折叠形变后,在空间位置上相邻接,构成了一新的交互区域730。
如图7c所示,确定了与所述交互区域730对应的声音信息后,通过驱动(例如使用多个权重因子驱动)所述交互区域730上的所述第二、第五和第八列的多个扬声单元710,使得所述声音信息呈现给用户。
在所述可形变交互面为可形变触感反馈面的实施方式中,与图1、图2a~2e、图3a~3b所示实施例相比,特别地,在确定了所述多个有效交互区域后,将所述多个有效交互区域作为一个新的交互区域向交互对象提供触感反馈界面。
在一种可能的实施方式中,将所述多个有效交互区域作为一个新的交互区域向交互对象提供触感反馈界面可以包括:
确定与所述交互区域匹配的触感反馈信息;
根据所述第一相对位置,将所述触感反馈信息从所述交互区域映射到所述多个有效交互区域。
在一种可能的实施方式中,所述可形变触感反馈面例如可以包括:一柔性基底面以及所述柔性基底面上按阵列分布并相互关联的多个触感反馈单元。其中,在一种可能的实施方式中,所述柔性基底面可以为一柔性显示屏、柔性触摸屏或柔性显示触摸屏。在一种可能的实施方式中,所述触感反馈单元为透明的触感反馈单元。
在一些可能的实施方式中,所述多个触感反馈单元可以提供例如高低起伏、振动、纹理以及温度等的触感反馈中的一种或多种,丰富用户与智能设备的交互体验。
在一种可能的实施方式中,所述确定与所述交互区域匹配的触感反馈信息包括:确定至少与所述交互区域的形状匹配的触感反馈信息。
例如,在所述交互区域整体需要向用户提供一个低温的触感反馈的场景下,根据所述交互区域的形状确定所述触感反馈信息,使得根据所述触感反馈信息进行呈现时,所述交互区域整体向用户提供所述低温的触感反馈。
所述交互区域的形状例如可以包括:所述交互区域的大小、边缘形状(例如矩形、圆形等)。
在一种可能的实施方式中,所述交互区域提供的触感反馈是与一显示图像对应的。例如:所述可形变触感反馈面是一集显示和触感反馈为一体的交互面(例如:所述触感反馈阵列的基底为一柔性显示面);或者所述可形变触感反馈面是与一显示屏对应的触控板。在这样的场景下,与所述交互区域匹配的触感反馈信息可以为:与所述显示图像匹配的触感反馈信息。
例如:一显示图像包括选项:“Yes”和“No”。在本实施方式中,确定一触感反馈信息,使得所述交互区域上与“Yes”选项对应的区域为凸起形状的触感反馈、与“No”选项对应的区域为凹陷形状的触感反馈。
或者,一显示图像上显示有对象:“热咖啡”和“冰水”。在本实施方式中,可以确定一触感反馈信息,使得与所述“热咖啡”对象对应的区域为高温度的触感反馈、与“冰水”对象对应的区域为低温度的触感反馈。
在一种可能的实施方式中,可选地,所述确定与所述交互区域匹配的触感反馈信息还可以包括:
响应于在所述交互区域的一触摸操作,确定至少与所述触摸操作匹配的触感反馈信息。
在本实施方式中,用户没有触摸到的区域进行触感反馈的呈现在消耗了能量的同时没有给用户带来好的体验,因此,可以根据所述触摸操作确定一触摸反馈信息,使得仅在用户触摸到的区域、或触摸可能性大的区域呈现触摸反馈。
这里,例如,可以通过触摸传感器或接近传感器来确定所述触摸操作。
在一种可能的实施方式中,可以同时根据所述交互区域对应的显示图像和所述触摸操作来确定与所述显示图像和所述触摸操作对应的触感反馈信息。
例如:所述交互区域对应的显示图像包括“热咖啡”对象和“冰水”对象,并且,根据所述触摸操作确定用户已经触摸或即将触摸所述交互区域上与所述“冰水”对象对应的区域,则确定一触感反馈信息,使得与所述“冰水”对象对应的区域为低温度的触感反馈,而所述交互区域上其它区域则没有特殊的触感反馈。
本领域技术人员可以知道,确定与所述交互区域匹配的触感反馈信息的方式还可以为其它方式,这里不再一一列出。
在一种可能的实施方式中,所述根据所述第一相对位置将所述触感反馈信息从所述交互区域映射到所述多个有效交互区域包括:
根据所述第一相对位置对所述触感反馈信息进行处理,获得分别与所述多个有效交互区域对应的多个触感反馈子信息。
如图8a~8c所示,在一种可能的实施方式中,所述可形变触摸传感面200为图2c所示的形状,所述多个有效交互区域221~225拼接后得到的交互区域810的形状为如图8a所示的矩形。根据所述交互区域810确定与所述交互区域810匹配的触摸传感信息,如图8a和8b所示,所述触摸传感信息对应于一矩形触感反馈区域820的颗粒凹凸纹理的触感反馈。
根据所述第一相对位置对所述触摸传感信息进行处理例如可以为:根据所述第一相对位置对所述矩形触感反馈区域820进行分区处理,得到所述多个有效交互区域对应的多个触感反馈子区域821~825,所述多个触感反馈子区域821~825均对应于颗粒凹凸纹理的触感反馈。
其中,所述多个触感反馈区域821~825在所述可形变触感反馈面200上的位置如图8c所示(其中触感反馈子区域825在图8c中没有示出)。
可以看出,交互对象与拼接后的所述多个有效交互区域221~225的多个触感反馈子区域821~825的交互效果与交互对象通过一个交互区域810上的矩形触感反馈区域820的交互效果是基本相同的。
如图8c所示,在一种可能的实施方式中,所述可形变触摸传感面上,所述多个有效交互区域以外的交互区域可以不再进行触摸反馈的呈现,减少所述可形变触摸传感面的能量消耗。
在一种可能的实施方式中,可选地,所述光信息输入面为一可形变图像传感面。
在本实施方式中,与图1、图2a~2e、图3a~3b所示实施例相比,特别地,在确定了所述多个有效交互区域后,将所述多个有效交互区域作为一个新的交互区域向交互对象提供图像传感界面。
在一种可能的实施方式中,将所述多个有效交互区域作为一个新的交互区域向交互对象提供图像传感界面可以包括:
确定与所述交互区域对应的第二图像传感信息。
在一种可能的实施方式中,所述确定与所述交互区域对应的第二图像传感信息还可以包括:
确定与所述多个有效交互区域对应的多个图像传感子信息;例如,获取所述多个有效交互区域对应的图像传感数据,得到所述多个图像传感子信息;
根据所述第一相对位置,将所述多个图像传感子信息从所述多个有效交互区域映射到所述交互区域,得到与所述第二图像传感信息。
在一种可能的实施方式中,如图9a和9b所示,通过图2a中所示的所述五个折边区域221~224(其中有一个折边区域未示出)得到的五个图像传感子信息分别对应五个图像区域911~915,将所述五个图像传感子信息映射到一交互区域910,得到的第二图像传感信息对应于如图9b所示的笑脸图像。
这里,根据所述第一相对位置,将所述多个图像传感子信息从所述多个有效交互区域映射到所述交互区域,得到与所述第二图像传感信息可以通过多种方式实现,例如:
a)在应用层实现:通过一个照相应用或者视频拍摄应用获取所述第一相对位置,根据所述第一相对位置对从底层获取的所述可形变图像传感面对应的第一图像传感信息(例如图9a所示的图像对应的传感信息)进行映射处理。删去所述多个有效交互区域以外的其它区域的图像传感信息,并对所述多个有效交互区域对应的多个图像传感子信息进行映射和拼接即可获取所述交互区域910对应的第二图像传感信息。
其中,在应用层上进行的实现比较灵活,每个应用都可以有自己的实现方法,然而却也增加了工作量:每个应用都要实现自己的处理方法。
b)在图像传感器驱动上实现:
b1)一种可以类似于在应用层的实现,只是所有的应用将会共享同一种处理方式。图像传感器驱动程序维护第一相对位置对应的分区参数,并对采集到的数据(即第一图像传感信息)直接进行映射处理,并把处理后的数据(即第二图像传感信息)交给上层应用。
b2)另一种实现可以为通过图像传感器驱动来对可形变图像传感面的硬件进行控制实现。例如:通过图像传感器驱动设置所述可形变图像传感面相关的控制寄存器的值来实现。例如通过上面的设置,所述控制寄存器禁止所述多个有效交互区域以外的其它区域的数据读取或采集,则所述从所述可形变图像传感面输出的图像传感数据就是所述第二图像传感信息。
本领域技术人员可以知道,在一些可能的实施方式中,一设备可以通过上面所述的三种方式中的任一种来实现所述映射,这里,设备可以根据需要灵活的进行选择。当然,对于一实时选择多个层面中的一个进行映射的设备,每一帧待捕获的数据可以标注其是否已经做过映射、以及其期望在那个层面上进行映射。
在另一种可能的实施方式中,在所述交互装置不包括所述可形变图像传感面时,所述确定所述第二图像传感信息还可以为通过通信的方式,从至少一外部设备获取所述第二图像传感信息。
在一种可能的实施方式中,可选地,所述声音信息输入面为一可形变声音传感阵列面。
在一种可能的实施方式中,所述可形变声音传感阵列面例如可以包括:一柔性基底面以及所述柔性基底面上按阵列分布的多个声音传感单元,例如多个麦克风单元。其中,在一种可能的实施方式中,所述柔性基底面可以为一柔性显示屏或柔性显示触摸屏,所述声音传感单元为透明的声音传感单元。
在另一种可能的实施方式中,所述可形变声音传感阵列面例如还可以为柔性的薄膜声音传感阵列面。
在本实施方式中,与图1、图2a~2e、图3a~3b所示实施例相比,特别地,在确定了所述多个有效交互区域后,将所述多个有效交互区域作为一个新的交互区域向交互对象提供声音传感界面。
在一种可能的实施方式中,将所述多个有效交互区域作为一个新的交互区域向交互对象提供声音传感界面包括:
确定与所述交互区域对应的声音传感信息。
在上面重新编址和对地址之间的关联进行修改得到所述交互区域的场景中,如果所述交互装置包括所述可形变声音传感阵列面,所述确定与所述交互区域对应的声音传感信息可以包括:根据所述交互区域包含的所有声音传感单元在所述交互区域的位置以及所述所有声音传感单元得到的声音传感数据,得到所述声音传感信息。
在另一种可能的实施方式中,所述确定与所述交互区域对应的声音传感信息还可以包括:
确定与所述多个有效交互区域对应的多个声音传感子信息;例如,分别对所述多个有效交互区域进行声音传感扫描,得到所述多个声音传感子信息;
根据所述第一相对位置,将所述声音传感子信息从所述多个有效交互区域映射到所述交互区域,得到与所述交互区域对应的声音传感信息。
在另一种可能的实施方式中,在所述交互装置不包括所述可形变声音传感阵列面时,所述确定所述声音传感信息还可以为通过通信的方式,从至少一外部设备获取所述声音传感信息。
通过上面的实施方式中,可以使得交互对象通过所述多个有效交互区域与所述交互装置进行交互的交互效果与通过所述交互区域与所述交互装置进行交互的交互效果相同或相似。
下面以柔性基底的麦克风阵列为例进一步说明本申请实施例。
如图10a所示为所述麦克风阵列1000的多个麦克风单元1010在一柔性基板1020上的分布情况,其中所述多个麦克风单元1010成5*9阵列。
在一折叠形变后,例如,第一、第三、第四、第六、第七和第九列麦克风单元所在区域被覆盖或朝向改变,因此这六列麦克风单元所在区域都不再是有效交互区域。在本实施方式中,在检测交互对象的声音输入时,可以无需对这六列麦克风单元进行驱动,进而禁止所述六列麦克风单元的声音传感,从而避免自干扰并可以降低功耗。第二、第五和第八列麦克风单元所在的区域为折叠形变后的形状的三个折边区域1011~1013,构成了折叠形变后的三个有效交互区域,这三个有效交互区域在折叠形变后的各麦克风单元1010的位置分布如图10b所示。可以看出,这三个有效交互区域在所述麦克风阵列1000上的位置不相邻,在本次折叠形变后,在空间位置上相邻接,构成了一新的交互区域1030。
如图10c所示,来自交互对象的方向性的声音波束传播到所述交互区域1030后,所述第二、第五和第八列麦克风单元可以同时被驱动(例如使用多个权重因子),对所述声音波束进行方向性声音采集,可以实现音源定位等。本实施方式中,可以根据所述交互区域1030上各麦克风单元1010的位置以及采集到的声音信息合成得到与所述声音波束对应的声音传感信息。
在所述可形变交互面为可形变触摸传感面的实施方式中,与图1、图2a~2e、图3a~3b所示实施例相比,特别地,在确定了所述多个有效交互区域后,将所述多个有效交互区域作为一个新的交互区域向交互对象提供触感传感界面。
在一种可能的实施方式中,所述将所述多个有效交互区域作为一个新的交互区域向交互对象提供触感传感界面包括:
确定与所述交互区域对应的触摸传感信息。
在上面重新编址和对地址之间的关联进行修改得到所述交互区域的场景中,如果所述交互装置包括所述可形变触摸传感面,所述确定与所述交互区域对应的触摸传感信息可以包括:对所述交互区域包含的所有触摸传感单元进行整体的触摸传感扫描,得到所述触摸传感信息。
在另一种可能的实施方式中,所述确定与所述交互区域对应的触摸传感信息还可以包括:
确定与所述多个有效交互区域对应的多个触摸传感子信息;例如,分别对所述多个有效交互区域进行触摸传感扫描,得到所述多个触摸传感子信息;
根据所述第一相对位置,将所述触摸传感子信息从所述多个有效交互区域映射到所述交互区域,得到与所述交互区域对应的触摸传感信息。
在另一种可能的实施方式中,在所述交互装置不包括所述可形变触摸传感面时,所述确定所述触摸传感信息还可以为通过通信的方式,从至少一外部设备获取所述触摸传感信息。
在一种可能的实施方式中,所述将所述多个有效交互区域作为一个新的交互区域向交互对象提供触感传感界面还可以包括:至少根据所述触摸传感信息确定与所述触摸传感信息对应的输入内容。
例如:用户在如图2c所示的多个有效交互区域221~225作出一滑动手势,该手势对应的滑动轨迹1110经过四个有效交互区域222~225。
对于所述可形变触摸传感面200来说,如图11a所示,其通过与所述可形变触摸传感面200对应的触摸感应阵列可以确定在所述可形变触摸传感面200上离散分布、时间上连续的四个滑动轨迹1111~1113(其中,与有效交互区域225对应的滑动轨迹在图11a上没有示出)对应的四个触摸传感子信息。
将所述四个触摸传感子信息从所述多个有效交互区域221~225映射到与所述多个有效交互区域221~225对应的一交互区域1120可以得到与所述滑动轨迹1110对应的触摸传感信息,如图11b所示。
在一种可能的实施方式中,所述将所述多个有效交互区域作为一个新的交互区域向交互对象提供触感传感界面还可以包括:至少根据所述触摸传感信息确定与所述触摸传感信息对应的输入内容。
例如,在图11a和11b所示的实施方式中,所述输入内容例如可以为与所述触摸传感信息对应的输入指令。
在一些可能的实施方式中,所述触摸传感信息可能包括距离信息。例如图11a和11b所示的实施方式中,所述触摸传感信息包含所述滑动轨迹1110的起始点之间的距离信息,这里,由于所述滑动轨迹1110为直线轨迹,因此,所述距离信息对应的距离即为所述滑动轨迹1110的长度。
在一些可能的实施方式中,该距离信息与所述输入内容相关,例如,所述滑动轨迹1110对应的手势用来调节一显示屏的显示亮度,一滑动轨迹的长度大于一设定值时,则对所述显示亮度调节20%。在一些可能的实施方式中,在所述可形变触摸传感面折叠变形后,受所述交互区域尺寸缩小的限制,用户无法方便地在所述交互区域实现与一输入内容对应的手势。因此,在本实施方式中,所述至少根据所述触摸传感信息确定所述输入内容包括:
至少根据所述交互区域相对于所述可形变触摸传感面的缩放比例确定所述触摸传感信息对应的参考触摸传感信息,其中,所述参考触摸传感信息包含有与所述距离信息之间满足所述缩放比例的参考距离信息;
根据所述参考触摸传感信息、以及至少一参考触摸传感信息与至少一输入内容之间的对应关系,确定所述输入内容。
在本实施方式中,至少一参考触摸传感信息与至少一输入内容之间的第二对应关系可以为所述可形变触摸传感面在展开状态时对应的至少一触摸传感信息与至少一输入内容之间的对应关系。
在一种可能的实施方式中,所述缩放比例可以是所述交互区域的面积与所述可形变触摸传感面的面积的比例;在另一种可能的实施方式中,如果一距离信息具有方向性限制,则所述缩放比例也与方向有关。例如,所述距离信息包括:在长度方向的距离和/或在宽度方向的距离等,则所述缩放比例还可以是所述交互区域的长度与所述可形变触摸传感面的长度的比例,和/或所述交互区域的宽度与所述可形变触摸传感面的宽度的比例等。
例如,在如图11a、11b所示的实施方式中,所述交互区域1120与所述可形变触摸传感面200的缩放比例,例如为在长度方向为1:10;在宽度方向为1:1。所述滑动轨迹1110的起始点之间在长度方向的距离为dy、在宽度方向的距离为dx。
确定与所述滑动轨迹1110对应的第一参考滑动轨迹在长度方向的距离为10*dy、在宽度方向的距离为dx。
其中,参考滑动轨迹与输入内容之间存在以下的对应关系:
参考滑动轨迹在长度方向的距离大于设定的距离阈值Dsy时,将显示屏的亮度调亮20%。
其中,10*dy>Dsy>dy。
则,根据所述对应关系,以及所述参考滑动轨迹在长度方向的距离,可以确定与所述滑动轨迹1110对应的输入内容为:将显示屏的亮度调亮20%。
通过本实施方式,可以避免由于交互区域大小的变化带来的原有手势输入无法或很难完成的问题。
通过上面的实施方式中,可以使得交互对象通过所述多个有效交互区域与所述交互装置进行交互的交互效果与通过所述交互区域与所述交互装置进行交互的交互效果相同或相似。
下面以柔性感应式电容屏为例进一步说明本申请实施例。
如图12a所示为所述柔性感应式电容屏1200的六个顶层Y轴电极Y1~Y6,和九个底层X轴电极X1~X9的分布情况。
在一折叠形变后,其中,四个X轴电极X3、X4、X6以及X7所对应的区域被覆盖,两个X轴电极X1和X9被折叠至与纸面垂直的侧面,不方便用户在朝向纸面的方向进行输入交互,因此,这六个X轴电极都不再是有效交互区域。在本实施方式中,在检测用户输入时,可以无需对这六个X轴电极进行驱动(而所述六个Y轴的电极仍然需要被驱动),从而避免自干扰并可以降低功耗。另外三个X轴电极X2、X5和X8所在的区域为折叠形变后的形状的三个折边区域1211~1213,构成了折叠形变后的三个有效交互区域,这三个有效交互区域在折叠形变后的各电极的位置分布如图12b所示。可以看出,这三个有效交互区域在所述柔性感应式电容屏1200上的位置不相邻,在本次折叠形变后,在空间位置上相邻接。
通过将三个X轴电极X2、X5和X8关联为相邻电极来将所述三个有效交互区域进行拼接得到所述折叠形变后的一交互区域1220,用户可以与所述交互区域1220进行触摸输入。
如图12c所示,在所述交互区域1220上,一用户的输入触点1230被检测为与四个电极节点:(X2,Y3),(X2,Y4),(X5,Y3),(X5,Y4)对应的感应电容的变化,并且由于其临近关系,用户输入被确定为面积为A(包含上面所述四个电极节点)的单点输入。本领域技术人员可以知道,如果没有将三个X轴电极X8、X5和X2关联为相邻电极,系统则会判断输入为两个面积为B的多点输入(包含两个电极节(X2,Y3),(X2,Y4)的第一点和包含两个电极节(X5,Y3),(X5,Y4)的第二点),使得用户无法通过折叠形变后的柔性感应式电容屏1200进行正确的输入操作。
图13为本申请实施例提供的一种用户设备1300的结构示意图,本申请具体实施例并不对用户设备1300的具体实现做限定。如图13所示,该用户设备1300可以包括:
处理器(processor)1310、通信接口(Communications Interface)1320、存储器(memory)1330、以及通信总线1340。其中:
处理器1310、通信接口1320、以及存储器1330通过通信总线1340完成相互间的通信。
通信接口1320,用于与比如客户端等的网元通信。
处理器1310,用于执行程序1332,具体可以执行上述方法实施例中的相关步骤。
具体地,程序1332可以包括程序代码,所述程序代码包括计算机操作指令。
处理器1310可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器1330,用于存放程序1332。存储器1330可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。程序1332具体可以用于使得所述用户设备1300执行以下操作:
确定一可形变交互面的形状相关信息;其中,所述形状相关信息与所述可形变交互面一折叠形变后的第一形状对应;
至少根据所述形状相关信息,确定所述可形变交互面上的多个有效交互区域;其中,所述多个有效交互区域满足以下条件:在所述可形变交互面上的位置互不相邻;在所述第一形状下,在空间位置上相邻接;
至少根据所述第一形状下所述多个有效交互区域在所述空间位置上的第一相对位置,将所述多个有效交互区域作为一个交互区域向至少一交互对象提供交互界面。
程序1332中各步骤的具体实现可以参见上述实施例中的相应步骤和单元中对应的描述,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施方式仅用于说明本申请,而并非对本申请的限制,有关技术领域的普通技术人员,在不脱离本申请的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本申请的范畴,本申请的专利保护范围应由权利要求限定。

Claims (10)

1.一种交互方法,其特征在于,包括:
确定一可形变交互面的形状相关信息;其中,所述形状相关信息与所述可形变交互面一折叠形变后的第一形状对应;
至少根据所述形状相关信息,确定所述折叠形变后所述可形变交互面上的多个有效交互区域;其中,所述多个有效交互区域满足以下条件:在所述可形变交互面上的位置互不相邻;在所述第一形状下,在空间位置上相邻接;
至少根据所述第一形状下所述多个有效交互区域在所述空间位置上的第一相对位置,将所述多个有效交互区域作为一个交互区域向至少一交互对象提供交互界面。
2.如权利要求1所述的方法,其特征在于,所述至少根据所述形状相关信息确定所述多个有效交互区域包括:
根据所述形状相关信息、以及一交互对象相对于所述折叠形变后所述可形变交互面的第二相对位置,确定所述可形变交互面上的多个有效交互区域。
3.如权利要求1或2所述的方法,其特征在于,所述至少根据所述形状相关信息确定所述多个有效交互区域包括:
根据所述形状相关信息,确定所述可形变交互面在所述第一形状下、在所述空间位置上相邻接的多个外转折端面所在的多个折边区域;
至少根据所述多个折边区域确定所述多个有效交互区域。
4.如权利要求3所述的方法,其特征在于,所述至少根据所述多个折边区域确定所述多个有效交互区域包括:
所述多个有效交互区域为所述多个折边区域。
5.如权利要求3所述的方法,其特征在于,所述至少根据所述多个折边区域确定所述多个有效交互区域包括:
至少根据所述多个折边区域和所述第一形状确定所述多个有效交互区域。
6.一种交互装置,其特征在于,包括:
信息确定模块,用于确定一可形变交互面的形状相关信息;其中,所述形状相关信息与所述可形变交互面一折叠形变后的第一形状对应;
区域确定模块,用于至少根据所述形状相关信息,确定所述折叠形变后所述可形变交互面上的多个有效交互区域;其中,所述多个有效交互区域满足以下条件:在所述可形变交互面上的位置互不相邻;在所述第一形状下,在空间位置上相邻接;
交互界面提供模块,用于至少根据所述第一形状下所述多个有效交互区域在所述空间位置上的第一相对位置,将所述多个有效交互区域作为一个交互区域向至少一交互对象提供交互界面。
7.如权利要求6所述的装置,其特征在于,所述区域确定模块进一步用于:
根据所述形状相关信息、以及一交互对象相对于所述折叠形变后所述可形变交互面的第二相对位置,确定所述可形变交互面上的多个有效交互区域。
8.如权利要求6或7所述的装置,其特征在于,所述区域确定模块包括:
折边区域确定单元,用于根据所述形状相关信息,确定所述可形变交互面在所述第一形状下、在所述空间位置上相邻接的多个外转折端面所在的多个折边区域;
区域确定单元,用于至少根据所述多个折边区域确定所述多个有效交互区域。
9.如权利要求8所述的装置,其特征在于,所述区域确定单元包括:
第一确定子单元,用于确定所述多个折边区域为所述多个有效交互区域。
10.一种用户设备,其特征在于,所述用户设备包括:
存储器,用于存放程序;
处理器,用于执行所述存储器存储的程序,所述程序使得所述处理器执行以下操作:
确定一可形变交互面的形状相关信息;其中,所述形状相关信息与所述可形变交互面一折叠形变后的第一形状对应;
至少根据所述形状相关信息,确定所述折叠形变后所述可形变交互面上的多个有效交互区域;其中,所述多个有效交互区域满足以下条件:在所述可形变交互面上的位置互不相邻;在所述第一形状下,在空间位置上相邻接;
至少根据所述第一形状下所述多个有效交互区域在所述空间位置上的第一相对位置,将所述多个有效交互区域作为一个交互区域向至少一交互对象提供交互界面。
CN201610079954.5A 2016-02-04 2016-02-04 交互方法、交互装置及用户设备 Active CN106325588B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610079954.5A CN106325588B (zh) 2016-02-04 2016-02-04 交互方法、交互装置及用户设备
US15/412,779 US10809814B2 (en) 2016-02-04 2017-01-23 Interaction method, interaction apparatus, and user equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610079954.5A CN106325588B (zh) 2016-02-04 2016-02-04 交互方法、交互装置及用户设备

Publications (2)

Publication Number Publication Date
CN106325588A CN106325588A (zh) 2017-01-11
CN106325588B true CN106325588B (zh) 2019-11-15

Family

ID=57726255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610079954.5A Active CN106325588B (zh) 2016-02-04 2016-02-04 交互方法、交互装置及用户设备

Country Status (2)

Country Link
US (1) US10809814B2 (zh)
CN (1) CN106325588B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106325718B (zh) 2016-02-04 2019-11-29 北京智谷睿拓技术服务有限公司 交互方法、交互装置及用户设备
CN107589578A (zh) * 2017-10-31 2018-01-16 武汉华星光电技术有限公司 拼接显示器及其制造方法
US11256470B1 (en) 2020-08-18 2022-02-22 International Business Machines Corporation Sound management in edgeless flexible display device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441539B (zh) * 2008-12-30 2013-06-12 华为终端有限公司 电子白板系统、输入装置、处理装置及处理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8803816B2 (en) * 2008-09-08 2014-08-12 Qualcomm Incorporated Multi-fold mobile device with configurable interface
US10234902B2 (en) * 2010-08-10 2019-03-19 Lepton Computing Llc Reconfigurable touch screen computing device
KR101832958B1 (ko) * 2011-06-01 2018-02-28 엘지전자 주식회사 이동 단말기 및 그의 3d영상 표시방법
US10169534B2 (en) * 2013-09-30 2019-01-01 Toshiba Medical Systems Corporation Medical image display system and method
KR102511325B1 (ko) * 2014-04-18 2023-03-20 가부시키가이샤 한도오따이 에네루기 켄큐쇼 표시 장치 및 그 동작 방법
KR102304461B1 (ko) * 2015-02-24 2021-09-24 삼성디스플레이 주식회사 폴더블 디스플레이 장치
KR102287583B1 (ko) * 2015-04-08 2021-08-09 삼성디스플레이 주식회사 표시 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441539B (zh) * 2008-12-30 2013-06-12 华为终端有限公司 电子白板系统、输入装置、处理装置及处理方法

Also Published As

Publication number Publication date
CN106325588A (zh) 2017-01-11
US10809814B2 (en) 2020-10-20
US20170228042A1 (en) 2017-08-10

Similar Documents

Publication Publication Date Title
US10186084B2 (en) Image processing to enhance variety of displayable augmented reality objects
CN105320352A (zh) 柔性装置及其接口方法
CN106325588B (zh) 交互方法、交互装置及用户设备
CN107249703B (zh) 信息处理系统、程序、服务器、终端和介质
CN110502293A (zh) 一种截屏方法及终端设备
KR101421369B1 (ko) 터치락 레이어를 설정하는 단말기 및 방법
KR102237520B1 (ko) 효율적인 데이터 관리를 위한 가상 전시 공간 제공 방법
CN106249864B (zh) 交互方法、交互装置及用户设备
CN104598035B (zh) 基于3d立体图像显示的光标显示方法、智能设备及系统
CN109376618A (zh) 图像处理方法、装置及电子设备
CN107861788A (zh) 图片排版方法、终端及计算机可读存储介质
CN106325718B (zh) 交互方法、交互装置及用户设备
CN105975259A (zh) 一种3d空间用户界面的实现方法及其装置
CN106249863B (zh) 交互方法、交互装置及用户设备
CN105511759A (zh) 一种图片处理方法及电子设备
JP5801604B2 (ja) 表示制御装置及び表示制御方法
CN106249861B (zh) 交互方法、交互装置及用户设备
CN106249862B (zh) 交互方法、交互装置及用户设备
CN106249971A (zh) 交互方法、交互装置及用户设备
JP6000482B1 (ja) ユーザ・インタフェース画像表示方法およびプログラム
CN106293449B (zh) 交互方法、交互装置及用户设备
CN105976422A (zh) 一种利用点九图像优化3d空间纹理的方法及装置
CN104123005A (zh) 触控显示系统及其显示可触控操作界面的方法
CN105975263A (zh) 一种在3d空间中的控件实现方法及其装置
CN106250074B (zh) 交互方法、交互装置及用户设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant