CN106249971B - 交互方法、交互装置及用户设备 - Google Patents

交互方法、交互装置及用户设备 Download PDF

Info

Publication number
CN106249971B
CN106249971B CN201610081056.3A CN201610081056A CN106249971B CN 106249971 B CN106249971 B CN 106249971B CN 201610081056 A CN201610081056 A CN 201610081056A CN 106249971 B CN106249971 B CN 106249971B
Authority
CN
China
Prior art keywords
interaction
areas
deformable
interactive
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610081056.3A
Other languages
English (en)
Other versions
CN106249971A (zh
Inventor
于魁飞
徐然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhigu Ruituo Technology Services Co Ltd
Original Assignee
Beijing Zhigu Ruituo Technology Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhigu Ruituo Technology Services Co Ltd filed Critical Beijing Zhigu Ruituo Technology Services Co Ltd
Priority to CN201610081056.3A priority Critical patent/CN106249971B/zh
Publication of CN106249971A publication Critical patent/CN106249971A/zh
Priority to US15/414,740 priority patent/US10444857B2/en
Application granted granted Critical
Publication of CN106249971B publication Critical patent/CN106249971B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0446Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a grid-like structure of electrodes in at least two directions, e.g. using row and column electrodes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/04166Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04102Flexible digitiser, i.e. constructional details for allowing the whole digitising part of a device to be flexed or rolled like a sheet of paper
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了一种交互方法、交互装置及用户设备,所述方法包括:确定一可形变交互面的形状相关信息;其中,所述可形变交互面至少用于进行信息输入,所述形状相关信息与所述可形变交互面一折叠形变后的第一形状对应;至少根据所述形状相关信息,确定所述可形变交互面上的多个有效交互区域;其中,所述多个有效交互区域满足以下条件:在所述可形变交互面上的位置互不相邻;在所述第一形状下,在空间位置上相邻接;至少根据所述第一形状下所述多个有效交互区域在所述空间位置上的第一相对位置,将所述多个有效交互区域作为一个交互区域向至少一交互对象提供信息输入界面。本申请实施例的技术方案可以根据可形变设备的形变特性给用户带来新的体验。

Description

交互方法、交互装置及用户设备
技术领域
本申请涉及交互技术领域,尤其涉及一种交互方法、交互装置及用户设备。
背景技术
随着技术的发展,柔性设备等可形变设备越来越多的出现在人们的视野中。可形变设备由于其形状可以变化,给用户带来了很多新的用户体验,例如:更容易满足用户对可穿戴设备符合不同人体曲线的需求;以及对设备使用时尺寸变大、携带时尺寸缩小的需求等等。在利用可形变交互设备进行交互时,也会给用户带来不同体验。
发明内容
本申请实施例可能的目的是:提供一种基于可形变交互面的交互方案。
第一方面,本申请的一可能的实施方案提供了一种交互方法,包括:
确定一可形变交互面的形状相关信息;其中,所述可形变交互面至少用于进行信息输入,所述形状相关信息与所述可形变交互面一折叠形变后的第一形状对应;
至少根据所述形状相关信息,确定所述可形变交互面上的多个有效交互区域;其中,所述多个有效交互区域满足以下条件:在所述可形变交互面上的位置互不相邻;在所述第一形状下,在空间位置上相邻接;
至少根据所述第一形状下所述多个有效交互区域在所述空间位置上的第一相对位置,将所述多个有效交互区域作为一个交互区域向至少一交互对象提供信息输入界面。
结合第一方面,在第二种可能的实施方式中,所述形状相关信息包括:
所述第一形状的第一形状信息。
结合第一方面的上述任一种可能的实施方式,在第三种可能的实施方式中,所述形状相关信息包括:
在所述折叠形变前所述可形变交互面的第二形状的第二形状信息、以及所述折叠形变对应的形变信息。
结合第一方面的上述任一种可能的实施方式,在第四种可能的实施方式中,
至少根据一形变控制指令确定所述形状相关信息;
其中,所述形变控制指令用于控制所述可形变交互面进行所述折叠形变。
结合第一方面的上述任一种可能的实施方式,在第五种可能的实施方式中,
至少根据针对所述可形变交互面的形变传感信息确定所述形状相关信息。
结合第一方面的上述任一种可能的实施方式,在第六种可能的实施方式中,所述至少根据所述形状相关信息确定所述多个有效交互区域包括:
根据所述形状相关信息、以及一交互对象相对于所述折叠形变后所述可形变交互面的第二相对位置,确定所述可形变交互面上的多个有效交互区域。
结合第一方面的上述任一种可能的实施方式,在第七种可能的实施方式中,所述至少根据所述形状相关信息确定所述多个有效交互区域包括:
根据所述形状相关信息,确定所述可形变交互面在所述第一形状下、在所述空间位置上相邻接的多个外转折端面所在的多个折边区域;
至少根据所述多个折边区域确定所述多个有效交互区域。
结合第一方面的上述任一种可能的实施方式,在第八种可能的实施方式中,所述至少根据所述多个折边区域确定所述多个有效交互区域包括:
所述多个有效交互区域为所述多个折边区域。
结合第一方面的上述任一种可能的实施方式,在第九种可能的实施方式中,所述至少根据所述多个折边区域确定所述多个有效交互区域包括:
至少根据所述多个折边区域和所述第一形状确定所述多个有效交互区域。
结合第一方面的上述任一种可能的实施方式,在第十种可能的实施方式中,所述多个有效交互区域在所述空间位置上相邻接包括:
对于所述多个有效交互区域中的第一有效交互区域,存在至少一个其他有效交互区域与所述第一有效交互区域在所述空间位置上相邻接;
其中,所述第一有效交互区域为所述多个有效交互区域中的任一有效交互区域。
结合第一方面的上述任一种可能的实施方式,在第十一种可能的实施方式中,所述至少根据所述第一相对位置将所述多个有效交互区域作为一个交互区域向至少一交互对象提供信息输入界面包括:
根据所述第一相对位置对所述多个有效交互区域进行拼接形成所述交互区域。
结合第一方面的上述任一种可能的实施方式,在第十二种可能的实施方式中,所述至少根据所述第一相对位置将所述多个有效交互区域作为一个交互区域向至少一交互对象提供信息输入界面包括:
确定与所述多个有效交互区域对应的多个输入交互子信息;
根据所述第一相对位置,将所述输入交互子信息从所述多个有效交互区域映射到所述交互区域,得到与所述交互区域对应的输入交互信息。
结合第一方面的上述任一种可能的实施方式,在第十三种可能的实施方式中,所述至少根据所述第一相对位置将所述多个有效交互区域作为一个交互区域向至少一交互对象提供信息输入界面还包括:
至少根据所述输入交互信息确定与所述输入交互信息对应的输入内容。
第二方面,本申请的一可能的实施方案提供了一种交互装置,包括:
信息确定模块,用于确定一可形变交互面的形状相关信息;其中,所述可形变交互面至少用于进行信息输入,所述形状相关信息与所述可形变交互面一折叠形变后的第一形状对应;
区域确定模块,用于至少根据所述形状相关信息,确定所述可形变交互面上的多个有效交互区域;其中,所述多个有效交互区域满足以下条件:在所述可形变交互面上的位置互不相邻;在所述第一形状下,在空间位置上相邻接;
信息输入界面提供模块,用于至少根据所述第一形状下所述多个有效交互区域在所述空间位置上的第一相对位置,将所述多个有效交互区域作为一个交互区域向至少一交互对象提供信息输入界面。
结合第二方面,在第二种可能的实施方式中,所述形状相关信息包括:
所述第一形状的第一形状信息。
结合第二方面的上述任一种可能的实施方式,在第三种可能的实施方式中,所述形状相关信息包括:
在所述折叠形变前所述可形变交互面的第二形状的第二形状信息、以及所述折叠形变对应的形变信息。
结合第二方面的上述任一种可能的实施方式,在第四种可能的实施方式中,
所述信息确定模块包括:
第一信息确定单元,用于至少根据一形变控制指令确定所述形状相关信息;
其中,所述形变控制指令用于控制所述可形变交互面进行所述折叠形变。
结合第二方面的上述任一种可能的实施方式,在第五种可能的实施方式中,所述信息确定模块包括:
第二信息确定单元,用于至少根据针对所述可形变交互面的形变传感信息确定所述形状相关信息。
结合第二方面的上述任一种可能的实施方式,在第六种可能的实施方式中,所述区域确定模块进一步用于:
根据所述形状相关信息、以及一交互对象相对于所述折叠形变后所述可形变交互面的第二相对位置,确定所述可形变交互面上的多个有效交互区域。
结合第二方面的上述任一种可能的实施方式,在第七种可能的实施方式中,所述区域确定模块包括:
折边区域确定单元,用于根据所述形状相关信息,确定所述可形变交互面在所述第一形状下、在所述空间位置上相邻接的多个外转折端面所在的多个折边区域;
区域确定单元,用于至少根据所述多个折边区域确定所述多个有效交互区域。
结合第二方面的上述任一种可能的实施方式,在第八种可能的实施方式中,所述区域确定单元包括:
第一确定子单元,用于确定所述多个折边区域为所述多个有效交互区域。
结合第二方面的上述任一种可能的实施方式,在第九种可能的实施方式中,所述区域确定单元包括:
第二确定子单元,用于至少根据所述多个折边区域和所述第一形状确定所述多个有效交互区域。
结合第二方面的上述任一种可能的实施方式,在第十种可能的实施方式中,所述多个有效交互区域在所述空间位置上相邻接包括:
对于所述多个有效交互区域中的第一有效交互区域,存在至少一个其他有效交互区域与所述第一有效交互区域在所述空间位置上相邻接;
其中,所述第一有效交互区域为所述多个有效交互区域中的任一有效交互区域。
结合第二方面的上述任一种可能的实施方式,在第十一种可能的实施方式中,所述信息输入界面提供模块包括:
区域拼接单元,用于根据所述第一相对位置对所述多个有效交互区域进行拼接形成所述交互区域。
结合第二方面的上述任一种可能的实施方式,在第十二种可能的实施方式中,
所述信息输入界面提供模块包括:
信息确定单元,用于确定与所述多个有效交互区域对应的多个输入交互子信息;
信息映射单元,用于根据所述第一相对位置,将所述多个输入交互子信息从所述多个有效交互区域映射到所述交互区域,得到与所述交互区域对应的输入交互信息。
结合第二方面的上述任一种可能的实施方式,在第十三种可能的实施方式中,
所述信息输入界面提供模块还包括:
输入内容确定单元,用于至少根据所述输入交互信息确定与所述输入交互信息对应的输入内容。
第三方面,本申请的一可能的实施方案提供了一种用户设备,所述用户设备包括:
存储器,用于存放程序;
处理器,用于执行所述存储器存储的程序,所述程序使得所述处理器执行以下操作:
确定一可形变交互面的形状相关信息;其中,所述可形变交互面至少用于进行信息输入,所述形状相关信息与所述可形变交互面一折叠形变后的第一形状对应;
至少根据所述形状相关信息,确定所述可形变交互面上的多个有效交互区域;其中,所述多个有效交互区域满足以下条件:在所述可形变交互面上的位置互不相邻;在所述第一形状下,在空间位置上相邻接;
至少根据所述第一形状下所述多个有效交互区域在所述空间位置上的第一相对位置,将所述多个有效交互区域作为一个交互区域向至少一交互对象提供信息输入界面。
本申请实施例的至少一个实施方案将一可形变交互面发生一形变后在空间位置上邻接的多个有效交互区域进行重组,构成一个新的交互区域用于向交互对象提供信息输入界面,从而通过可形变设备的形变特性给用户带来新的体验。
附图说明
图1为本申请实施例的一种交互方法的流程图;
图2a~2e为本申请实施例一种交互方法的应用场景示意图;
图3a~3b为本申请实施例一种交互方法中可形变交互面折叠后的两种形状示意图;
图4为本申请实施例的一种交互装置的结构示意框图;
图5a~5e为本申请实施例的五种交互装置的结构示意框图;
图6a~6b为本申请实施例一种应用场景示意图;
图7a~7c为本申请实施例一种应用场景示意图;
图8a~8b为本申请实施例一种应用场景示意图;
图9a~9c为本申请实施例一种应用场景示意图;
图10为本申请实施例的一种用户设备的结构示意框图。
具体实施方式
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例,对本申请的具体实施方式作进一步详细说明。以下实施例用于说明本申请,但不用来限制本申请的范围。
本领域技术人员可以理解,本申请中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
本申请的发明人发现,由于可形变交互面的形状可变,因此,在发生了一形变后,形变前的一些有效交互区域在形变后可能变得无法与交互对象进行有效交互,例如:形变后被覆盖、遮挡的区域;而一些原本离散分布的多个交互区域在形变后却有可能变成在空间位置上相邻接的多个有效交互区域,对所述多个有效交互区域的有效利用可以使可形变设备给用户带来更好的用户体验。
在本申请的下述描述中:
所述可形变交互面的一交互对象可以是一用户、也可以是一电子设备等。
有效交互区域为可以与交互对象进行有效交互的区域。在一种可能的实施方式中,所述有效交互区域可以为交互对象可以交互到的区域,例如:所述可形变交互面为触摸输入面时,所述有效交互区域为可以方便地被所述交互对象触摸到的区域。在一些可能的实施方式中,例如,可以设定所述有效交互区域朝向的一侧在设定距离范围内没有遮挡物;和/或设定所述有效交互区域朝向所述交互对象所在的一侧等。或者,进一步的,在另一种可能的实施方式中,除了交互对象可以交互到以外,还需要所述交互满足设定的交互条件,使得与交互对象之间的交互达到预期的交互效果。例如,所述交互条件可以包括:通过所述有效交互区域获取的交互信息与交互对象想要输入的交互信息一致。
一区域在可形变交互面上的位置为:以所述可形变交互面为坐标面,所述区域在所述坐标面上对应的坐标区域的位置。其中,无论所述可形变交互面的形状如何弯曲、折叠变化,一区域对应的坐标区域是不会变化的。
一区域的空间位置为该区域在一空间坐标系中的位置。
如图1所示,本申请实施例提供了一种交互方法,包括:
S110确定一可形变交互面的形状相关信息;其中,所述可形变交互面至少用于进行信息输入,所述形状相关信息与所述可形变交互面一折叠形变后的第一形状对应;
S120至少根据所述形状相关信息,确定所述可形变交互面上的多个有效交互区域;其中,所述多个有效交互区域满足以下条件:在所述可形变交互面上的位置互不相邻;在所述第一形状下,在空间位置上相邻接;
S130至少根据所述第一形状下所述多个有效交互区域在所述空间位置上的第一相对位置,将所述多个有效交互区域作为一个交互区域向至少一交互对象提供信息输入界面。
在一种可能的实施方式中,所述可形变交互面例如可以包括以下的至少一种:
光信息输入面、声音信息输入面以及触摸传感面等。
举例来说,本申请提供的交互装置作为本实施例的执行主体,执行S110~S130。具体地,所述交互装置可以以软件、硬件或软硬件结合的方式设置在用户设备中,或者,所述交互装置本身就是所述用户设备;所述用户设备包括但不限于具有可折叠形变的可形变交互面的:手机、电脑、电视以及可穿戴设备等。
本申请实施例的实施方式将一可形变交互面发生一形变后在空间位置上邻接的多个有效交互区域进行重组,得到一个新的交互区域用于向交互对象提供信息输入界面,从而通过可形变设备的形变特性给用户带来新的体验。
通过下面的实施方式进一步说明本申请实施例的方法。
在一种可能的实施方式中,一可形变交互面200展开的形状为如图2a所示的矩形。在进行一折叠形变时,从图2a所示的矩形经过图2b所示的波浪状态最终变成如图2c所示的折叠收拢状态。图2d为所述图2c的右视图。
由图2a~2d可以看出,在一可形变交互面200发生一折叠形变后,一部分交互区域(例如翼面区域212~215)由于折叠被遮挡,不再是有效交互区域。在一些可能的实施方式中,还有一部分交互区域(例如翼面区域211、216)可能会因为朝向问题(例如交互对象对所述可形变交互面200的交互方向D为正对图2a~2c所示的可形变交互面200的方向),也不再是有效交互区域。
在图2a~2d所示的实施方式中,仍然可以用于与交互对象进行有效交互的有效交互区域只剩下几个外转折端面所在的几个折边区域221~225。
在本申请实施例中,一折边区域为褶皱结构中连接相背的两个翼面的转折端所对应的区域。例如,一折边区域221为连接折叠后相背的两个翼面区域211、212的一转折端所对应的区域。
传统的,在对所述可形变交互面200进行了上面所述的折叠形变后,对于剩下的有效交互区域,一种可能的方式是:整个可形变交互面200的交互功能都被关闭,不再与交互对象交互;另一种可能的方式是:所述剩下的有效交互区域仍然作为变形前的信息输入界面的一部分,与交互对象进行不完整的交互。
本申请的发明人发现,一些场合下,在可形变交互面发生折叠形变后,可能形成在空间位置上相邻接的多个有效交互区域,虽然一个有效交互区域的面积可能较小,难以作为单独的信息输入界面与交互对象进行交互,但是多个有效交互区域可能会重组成一个较大的交互区域,可以重新利用。
本申请实施例通过确定与一折叠形变后所述可形变交互面的第一形状对应的形状相关信息,再根据所述形状相关信息来确定所述多个有效交互区域。
在一种可能的实施方式中,可选地,所述形状相关信息可以包括:
所述第一形状的第一形状信息。
例如,在图2a~2d所示的实施方式中,可以获取图2c和2d所示的折叠后的可形变交互面的形状信息作为所述形状相关信息。
在另一种可能的实施方式中,可选地,所述形状相关信息也可以不是所述第一形状信息,而是可以间接得到所述第一形状信息的其它信息,例如,所述形状相关信息包括:
在所述折叠形变前所述可形变交互面的第二形状的第二形状信息、以及所述折叠形变对应的形变信息。
这里,所述形变信息可以是形状变化参数、或者可以是与形变相关的其它参数。例如,在所述可形变交互面为热致形变材料时,所述形变信息可以包括各区域的温度变化信息等;或者,例如,所述形变信息还可以通过与所述可形变交互面对应的加速度传感阵列、陀螺仪阵列等获取的所述可形变交互面上各区域的位移信息。
本领域的技术人员可以知道,根据所述第二形状信息和所述形变信息也可以确定所述第一形状。
在一种可能的实施方式中,所述可形变交互面为形变可控的交互面,用于根据不同的形变控制指令进行不同的形变。其中,所述形变控制指令可以是响应于交互对象的交互操作生成的。在一种可能的实施方式中,根据预先的设置,每个形变控制指令可以对应于一形变后的形状信息;或者可以对应于一形变信息。因此,所述S110可以至少根据一形变控制指令确定所述形状相关信息,其中,所述形变控制指令用于控制所述可形变交互面进行所述折叠形变。
例如如图2a~2d所示的实施方式中,可以响应于用户点击一“折叠收拢”按键的操作,得到第一形变控制指令,该第一形变控制指令对应于图2c所示的形状,此时不管折叠形变前所述可形变交互面为什么形状,一旦获取所述第一形变控制指令后,就自动控制所述可形变交互面形变为图2c所示的形状。
在其他可能的实施方式中,例如,在所述形变控制指令对应于形变信息时,所述S110还需要获取所述第二形状信息才能得到所述形状相关信息。
除了上面所述的形变控制指令外,还可以通过用于根据所述可形变交互面的形变获取对应的形变传感信息的形变传感器来得到所述形变相关信息。所述形变传感器例如可以根据所述可形变交互面的形变生成对应的电压或电流参数值,所述形变传感信息即为所述电压或电流参数值。
在一种可能的实施方式中,在所述可形变交互面发生所述折叠形变后,可以至少根据这些形变传感信息确定所述形状相关信息。
本申请实施例的方法在获取了所述形状相关信息后,就可以至少根据所述形状相关信息确定所述多个有效交互区域。
在本申请实施例中,所述多个有效交互区域满足以下条件:在所述可形变交互面上的位置互不相邻;在所述第一形状下,在空间位置上相邻接。
这里,所述多个有效交互区域在第一形状下、在空间位置上相邻接,因此才可以重组成一个交互区域。
本申请实施例中,如果两个有效交互区域在所述可形变交互面上的位置相邻、在所述第一形状下的所述空间位置上相邻接,就可以将所述两个有效交互区域作为一个有效交互区域看待。
在一可能的实施方式中,所述多个有效交互区域在所述空间位置上相邻接包括:
对于所述多个有效交互区域中的第一有效交互区域,存在至少一个其他有效交互区域与所述第一有效交互区域在所述空间位置上相邻接;
其中,所述第一有效交互区域为所述多个有效交互区域中的任一有效交互区域。
在一种可能的实施方式中,两个有效交互区域在空间位置上相邻接可以为这两个有效交互区域相互靠近的边缘之间的距离基本为0,例如图2c和2d所示的实施方式,相邻的两个有效交互区域相接。
或者,在另一种可能的实施方式中,两个有效交互区域在空间位置上相邻接也可以为这两个交互区域相互靠近的边缘之间的距离小于设定值。例如:图2a所示的可形变交互面也可能折叠变形为如图2e所示的形状,在相邻的两个有效交互区域226、227之间还有一间隙区域231,本实施方式中,在所述间隙区域231的宽度(图2e中上下方向的宽度)小于设定值时,可以认为所述两个有效交互区域226、227相邻接。
在一些可能的实施方式中,可以根据所述距离的大小对与交互对象交互的影响来确定所述设定值。以所述可形变交互面为触摸输入面为例,如果相邻的两个有效交互区域之间的距离大到用户已经无法在所述两个有效交互区域之间进行触摸输入时(例如,滑动手势无法顺利跨越两个有效交互区域),则所述两个有效交互区域之间的距离大于所述设定值。
在一种可能的实施方式中,除了所述形状相关信息外,可能还同时要结合其他信息来得到所述多个有效交互区域。
例如,在一种可能的实施方式中,所述可形变交互面与交互对象之间的交互是有方向性的。此时可能需要根据所述形状相关信息、以及所述交互对象相对于在所述第一形状下所述可形变交互面的第二相对位置来确定所述多个有效交互区域。
在一种可能的实施方式中,所述S120可以包括:
根据所述形状相关信息,确定所述可形变交互面在所述第一形状下、在所述空间位置上相邻接的多个外转折端面所在的多个折边区域;
至少根据所述多个折边区域确定所述多个有效交互区域。
在一种可能的实施方式中,所述多个有效交互区域即为所述多个折边区域。
如图2a和2c所示,多个折边区域221~225中的每两个在所述可形变交互面上的位置被至少一其它交互区域隔开,互不相邻;在形变后的空间位置上,所述多个折边区域221~225相邻接。因此,在图2a~2d所示的实施方式中,可以确定所述多个折边区域221~225为所述多个有效交互区域。
在一些可能的实施方式中,除了上面所述的多个折边区域外,所述多个有效交互区域可能还包括在折叠形变后与所述多个折边区域在空间位置上相邻或相连的其它区域。
例如,在一种可能的实施方式中,如图2a~2d所示,相连的折边区域221和翼面区域211可以作为一个有效交互区域;相连的折边区域224和翼面区域216可以作为一个有效交互区域。
又,例如图3a所示的实施方式中,在考虑交互方向的情况下,除了四个折边区域311~314外,一展开区域321(褶皱结构中一翼面所在的区域)也是朝向交互对象的有效交互区域,并且在空间位置上与所述四个折边区域311~314相邻接,因此,所述多个有效交互区域还包括所述展开区域321。
因此,所述至少根据所述多个折边区域确定所述多个有效交互区域包括:
至少根据所述多个折边区域和所述第一形状确定所述多个有效交互区域。
在一些可能的实施方式中,所述至少根据所述多个折边区域确定所述多个有效交互区域可以包括:
至少根据所述多个折边区域、所述第一形状以及一交互对象相对于所述折叠形变后所述可形变交互面的第二相对位置确定所述多个有效交互区域。
在一些可能的实施方式中,所述第二相对位置可以是实时获取的真实位置信息,例如可以通过所述可形变交互面侧的交互对象位置传感器、或者通过与交互对象侧的其它设备的通信确定所述第二相对位置。;在另一些可能的实施方式中,所述第二相对位置可以默认设置的,例如根据多个用户的使用习惯,得到的通用的所述第二相对位置;或者根据用户的设置,得到所述第二相对位置。
当然,除了上面几个需要考虑的因素外,在其它一些可能的实施方式中,在至少根据所述多个折边区域确定所述多个有效交互区域时,可能还要考虑其它因素。
例如,在一种可能的实施方式中,还要考虑交互的特点来确定所述多个折边区域是否都是有效的交互区域。例如,在一种可能的实施方式中,图2a所示的可形变交互面200在一折叠形变后的第一形状也可以如图3b所示,根据所述第一形状可以确定四个折边区域315~318。然而,所述四个折边区域315~318在与交互对象的交互过程中并不一定都是有效的交互区域。例如,在所述可形变交互面为触摸输入面时,相邻两个折边区域之间相互靠近的部分可能无法被交互对象触摸到,因此,每个折边区域只有部分是有效交互区域。例如图3b所示,根据所述四个折边区域315~318以及交互对象的特点(例如通常用户手指的形状等特点)可以确定四个有效交互区域315a~318a。
本申请实施例中,在确定了所述多个有效交互区域之后,就可以将所述多个有效交互区域作为一个新的交互区域向交互对象提供信息输入界面。
在一种可能的实施方式中,所述至少根据所述第一相对位置将所述多个有效交互区域作为一个交互区域可以为:根据所述第一相对位置将所述多个有效交互区域拼接成所述交互区域。
在一种可能的实施方式中,所述可形变交互面是由包含多个交互单元的交互单元阵列实现与交互对象的交互的,每个有效交互区域对应于多个交互单元。
在一种可能的实施方式中,所述拼接可以是将所述多个有效交互区域中各交互单元的地址进行重新编址,得到与所述交互区域匹配的新的地址。
例如:假设图2a所示的实施方式中,在所述折叠形变前,折边区域221和折边区域222包含的各交互单元的第一地址(x,y)(其中x为第一行地址,y为第一列地址,在一种可能的实施方式中,该第一地址也可以作为各交互单元在所述可形变交互面上的位置坐标)如表一和表二所示:
表一:折边区域221包含的30个交互单元的第一地址
13,1 13,2 13,3 13,4 13,5 13,6 13,7 13,8 13,9 13,10
14,1 14,2 14,3 14,4 14,5 14,6 14,7 14,8 14,9 14,10
15,1 15,2 15,3 15,4 15,5 15,6 15,7 15,8 15,9 15,10
表二:折边区域222包含的30个交互单元的第一地址
40,1 40,2 40,3 40,4 40,5 40,6 40,7 40,8 40,9 40,10
41,1 41,2 41,3 41,4 41,5 41,6 41,7 41,8 41,9 41,10
42,1 42,2 42,3 42,4 42,5 42,6 42,7 42,8 42,9 42,10
在本实施方式中,如果根据这两个折边区域221、222在如图2c所示的折叠形变后的第一形状下在空间上的相对位置对所述两个折边区域221、222中各交互单元的地址进行重新编址,则可以得到如表三和表四所示的所述各交互单元的第二地址(x1,y1):
表三:折边区域221包含的30个交互单元的第二地址
1,1 1,2 1,3 1,4 1,5 1,6 1,7 1,8 1,9 1,10
2,1 2,2 2,3 2,4 2,5 2,6 2,7 2,8 2,9 2,10
3,1 3,2 3,3 3,4 3,5 3,6 3,7 3,8 3,9 3,10
表四:折边区域222包含的30个交互单元的第二地址
4,1 4,2 4,3 4,4 4,5 4,6 4,7 4,8 4,9 4,10
5,1 5,2 5,3 5,4 5,5 5,6 5,7 5,8 5,9 5,10
6,1 6,2 6,3 6,4 6,5 6,6 6,7 6,8 6,9 6,10
可以看出,在对所述两个折边区域221、222中各交互单元的地址进行重新编址后,在折叠形变后相邻的所述两个折边区域221、222,其中分别包含的多个交互单元的第二地址也是相邻连续的。
在另一种可能的实施方式中,所述拼接也可以不对所述多个有效交互区域中各交互单元的地址进行重新编址,即保持所述各交互单元的地址不变,但是对地址之间的关联进行修改。
例如,在与交互对象的交互中对各交互单元进行行扫描的场景下,将所述折边区域221的最后一个交互单元的第一地址(15,10)与所述折边区域222的第一个交互单元的第一地址(40,1)进行关联,使得在与交互对象进行交互信息的交互时,在所述折边区域221的最后一个交互单元被扫描之后,接下来扫描所述折边区域222的第一个交互单元,不再扫描所述两个折边区域221、222之间的其它区域。
在又一种可能的实施方式中,所述拼接也可以是虚拟拼接,所述交互区域为一虚拟交互区域,即根据所述第一相对位置,将所述多个有效交互区域虚拟拼接映射到所述虚拟交互区域上。
在一种可能的实施方式中,可选地,所述S130还可以包括:
确定与所述多个有效交互区域对应的多个输入交互子信息;
根据所述第一相对位置,将所述输入交互子信息从所述多个有效交互区域映射到所述交互区域,得到与所述交互区域对应的输入交互信息。
在一种可能的实施方式中,所述输入交互信息例如可以为输入传感信息。例如,在一种可能的实施方式中,所述多个有效交互区域包含多个输入传感单元,所述输入传感信息为所述多个输入传感单元的感应信息,例如:电流信息、电压信息等。
在一种可能的实施方式中,所述交互装置包括所述可形变交互面,则,所述确定与所述多个有效交互区域对应的所述输入交互信息可以包括:
通过所述可形变交互面上与所述多个有效交互区域对应的多个输入传感单元采集所述输入交互子信息。
在另一种可能的实施方式中,在所述交互装置不包括所述可形变交互面时,所述确定所述输入交互信息还可以为通过通信的方式,从至少一外部设备获取所述输入交互子信息。
在获取了所述输入交互子信息之后,由于所述多个有效交互区域在所述可形变交互面上是分散分布的,因此需要所述根据所述第一相对位置将所述输入交互子信息从所述多个有效交互区域映射到所述交互区域,才能准确确定所述输入交互信息对应的输入内容。
在一种可能的实施方式中,可选地,所述S130还可以包括:至少根据所述输入交互信息确定与所述输入交互信息对应的输入内容。
例如,在一种可能的实施方式中,所述输入内容例如可以为与所述输入交互信息对应的输入指令。
在所述可形变交互面为光信息输入面时,所述输入内容例如可以为图像内容,或与所述图像内容对应的隐藏信息等。
在所述可形变交互面为声音信息输入面时,所述输入内容例如可以为声音信息所对应的声控指令等。
可以看出,通过上面的实施方式,可以使得交互对象通过所述多个有效交互区域与所述交互装置进行交互的交互效果与通过所述交互区域与所述交互装置进行交互的交互效果相同或相似。
本领域技术人员可以理解,在本申请具体实施方式的上述方法中,各步骤的序号大小并不意味着执行顺序的先后,各步骤的执行顺序应以其功能和内在逻辑确定,而不应对本申请具体实施方式的实施过程构成任何限定。
如图4所示,本申请实施例还提供了一种交互装置400,包括:
信息确定模块410,用于确定一可形变交互面的形状相关信息;其中,所述形状相关信息与所述可形变交互面一折叠形变后的第一形状对应;
区域确定模块420,用于至少根据所述形状相关信息,确定所述可形变交互面上的多个有效交互区域;其中,所述多个有效交互区域满足以下条件:在所述可形变交互面上的位置互不相邻;在所述第一形状下,在空间位置上相邻接;
信息输入界面提供模块430,用于至少根据所述第一形状下所述多个有效交互区域在所述空间位置上的第一相对位置,将所述多个有效交互区域作为一个交互区域向至少一交互对象提供信息输入界面。
本申请实施例的实施方式将一可形变交互面发生一形变后在空间位置上邻接的多个有效交互区域进行重组,得到一个新的交互区域用于向交互对象提供信息输入界面,从而通过可形变设备的形变特性给用户带来新的体验。
通过下面的实施方式进一步说明本申请实施例的各模块、单元。
在一种可能的实施方式中,可选地,所述形状相关信息可以包括:
所述第一形状的第一形状信息。
在另一种可能的实施方式中,可选地,所述形状相关信息也可以不是所述第一形状信息,而是可以间接得到所述第一形状信息的其它信息,例如,所述形状相关信息包括:
在所述折叠形变前所述可形变交互面的第二形状的第二形状信息、以及所述折叠形变对应的形变信息。
这里,所述形变信息可以是形状变化参数、或者可以是与形变相关的其它参数。例如,在所述可形变交互面为热致形变材料时,所述形变信息可以包括各区域的温度变化信息等;或者,例如,所述形变信息还可以通过与所述可形变交互面对应的加速度传感阵列、陀螺仪阵列等获取的所述可形变交互面上各区域的位移信息。
本领域的技术人员可以知道,根据所述第二形状信息和所述形变信息也可以确定所述第一形状。
在一种可能的实施方式中,所述可形变交互面为形变可控的交互面,用于根据不同的形变控制指令进行不同的形变。其中,所述形变控制指令可以是响应于交互对象的交互操作生成的。在一种可能的实施方式中,根据预先的设置,每个形变控制指令可以对应于一形变后的形状信息;或者可以对应于一形变信息。因此,在一种可能的实施方式中,如图5a所示,所述信息确定模块410包括:
第一信息确定单元411,用于至少根据一形变控制指令确定所述形状相关信息;
其中,所述形变控制指令用于控制所述可形变交互面进行所述折叠形变。
在一种可能的实施方式中,所述第一信息确定单元411例如可以根据所述形变控制指令,从存储有至少一形变控制指令与至少一形变相关信息之间的对应关系的存储模块获取所述对应关系,再得到与所述形变控制指令对应的形变相关信息。
除了上面所述的形变控制指令外,还可以通过用于根据所述可形变交互面的形变获取对应的形变传感信息的形变传感器来得到所述形变相关信息。所述形变传感器例如可以根据所述可形变交互面的形变生成对应的电压或电流参数值,所述形变传感信息即为所述电压或电流参数值。因此,在一种可能的实施方式中,如图5b所示,所述信息确定模块410可以包括:
第二信息确定单元412,用于至少根据针对所述可形变交互面的形变传感信息确定所述形状相关信息。
在一可能的实施方式中,所述多个有效交互区域在所述空间位置上相邻接包括:
对于所述多个有效交互区域中的第一有效交互区域,存在至少一个其他有效交互区域与所述第一有效交互区域在所述空间位置上相邻接;
其中,所述第一有效交互区域为所述多个有效交互区域中的任一有效交互区域。
在一种可能的实施方式中,两个有效交互区域在空间位置上相邻接可以为这两个有效交互区域相互靠近的边缘之间的距离基本为0。
或者,在另一种可能的实施方式中,两个有效交互区域在空间位置上相邻接也可以为这两个交互区域相互靠近的边缘之间的距离小于设定值。
在一些可能的实施方式中,可以根据所述距离的大小对与交互对象交互的影响来确定所述设定值。
在一种可能的实施方式中,除了所述形状相关信息外,可能还同时要结合其他信息来得到所述多个有效交互区域。
例如,在一种可能的实施方式中,所述可形变交互面与交互对象之间的交互是有方向性的,例如,所述可形变交互面为一声音输入面,用于接收方向性的声音波束。在本实施方式中,所述区域确定模块420进一步用于:
根据所述形状相关信息、以及一交互对象相对于所述折叠形变后所述可形变交互面的第二相对位置,确定所述可形变交互面上的多个有效交互区域。
在一些可能的实施方式中,所述第二相对位置可以是实时获取的,例如可以通过所述可形变交互面侧的交互对象位置传感器、或者通过与交互对象侧的其它设备的通信获取所述第二相对位置。
在另一些可能的实施方式中,所述第二相对位置可以默认设置的,例如根据多个用户的使用习惯,得到的通用的所述第二相对位置;或者根据用户的设置,得到所述第二相对位置。
结合所述第二相对位置来确定所述多个有效交互区域可以使得用户对交互装置的使用更加便捷,具体参见上面方法实施例中对应的描述。
在一种可能的实施方式中,如图5a所示,所述区域确定模块420包括:
折边区域确定单元421,用于根据所述形状相关信息,确定所述可形变交互面在所述第一形状下、在所述空间位置上相邻接的多个外转折端面所在的多个折边区域;
区域确定单元422,用于至少根据所述多个折边区域确定所述多个有效交互区域。
在一种可能的实施方式中,所述多个有效交互区域即为所述多个折边区域。因此,在本实施方式中,如图5a所示,所述区域确定单元422包括:
第一确定子单元4221,用于确定所述多个折边区域为所述多个有效交互区域。
在一些可能的实施方式中,除了上面所述的多个折边区域外,所述多个有效交互区域可能还包括在折叠形变后与所述多个折边区域在空间位置上相邻或相连的其它区域。因此,在本实施方式中,如图5c所示,所述区域确定单元422包括:
第二确定子单元4222,用于至少根据所述多个折边区域和所述第一形状确定所述多个有效交互区域。
在一种可能的实施方式中,如图5d所示,可选地,所述信息输入界面提供模块430可以包括:
区域拼接单元431,用于根据所述第一相对位置对所述多个有效交互区域进行拼接形成所述交互区域。具体的拼接方式参见上面方法实施例中对应的描述。
在一种可能的实施方式中,如图5d所示,可选地,所述信息输入界面提供模块430可以包括:
信息确定单元432,用于确定与所述多个有效交互区域对应的多个输入交互子信息;
信息映射单元433,用于根据所述第一相对位置,将所述多个输入交互子信息从所述多个有效交互区域映射到所述交互区域,得到与所述交互区域对应的输入交互信息。
在一种可能的实施方式中,如图5d所示,可选地,所述信息输入界面提供模块430还可以包括:
输入内容确定单元434,用于至少根据所述输入交互信息确定与所述输入交互信息对应的输入内容。
本申请实施例各模块、单元功能的进一步描述参见上面方法实施例中对应的描述。
下面分别以所述可形变交互面为光信息输入面、声音信息输入面以及触摸传感面来说明本申请实施例的应用场景。其中,在所述可形变交互面为上面所述的各种交互面时,确定所述可形变交互面的形状相关信息、确定所述可形变交互面的多个有效交互区域、以及对所述多个有效交互区域进行拼接得到所述交互区域的方式与图1、图2a~2e、图3a~3b所示实施例中类似,下面不再赘述。
在一种可能的实施方式中,可选地,所述光信息输入面为一可形变图像传感面。
在本实施方式中,与图1、图2a~2e、图3a~3b所示实施例相比,特别地,在确定了所述多个有效交互区域后,将所述多个有效交互区域作为一个新的交互区域向交互对象提供图像传感界面。
在一种可能的实施方式中,将所述多个有效交互区域作为一个新的交互区域向交互对象提供图像传感界面可以包括:
确定与所述交互区域对应的第二图像传感信息。
在一种可能的实施方式中,所述确定与所述交互区域对应的第二图像传感信息还可以包括:
确定与所述多个有效交互区域对应的多个图像传感子信息;例如,获取所述多个有效交互区域对应的图像传感数据,得到所述多个图像传感子信息;
根据所述第一相对位置,将所述多个图像传感子信息从所述多个有效交互区域映射到所述交互区域,得到与所述第二图像传感信息。
在一种可能的实施方式中,如图6a和6b所示,通过图2a中所示的所述五个折边区域221~224(其中有一个折边区域未示出)得到的五个图像传感子信息分别对应五个图像区域611~615,将所述五个图像传感子信息映射到一交互区域610,得到的第二图像传感信息对应于如图6b所示的笑脸图像。
这里,根据所述第一相对位置,将所述多个图像传感子信息从所述多个有效交互区域映射到所述交互区域,得到与所述第二图像传感信息可以通过多种方式实现,例如:
a)在应用层实现:通过一个照相应用或者视频拍摄应用获取所述第一相对位置,根据所述第一相对位置对从底层获取的所述可形变图像传感面对应的第一图像传感信息(例如图6a所示的图像对应的传感信息)进行映射处理。删去所述多个有效交互区域以外的其它区域的图像传感信息,并对所述多个有效交互区域对应的多个图像传感子信息进行映射和拼接即可获取所述交互区域610对应的第二图像传感信息。
其中,在应用层上进行的实现比较灵活,每个应用都可以有自己的实现方法,然而却也增加了工作量:每个应用都要实现自己的处理方法。
b)在图像传感器驱动上实现:
b1)一种可以类似于在应用层的实现,只是所有的应用将会共享同一种处理方式。图像传感器驱动程序维护第一相对位置对应的分区参数,并对采集到的数据(即第一图像传感信息)直接进行映射处理,并把处理后的数据(即第二图像传感信息)交给上层应用。
b2)另一种实现可以为通过图像传感器驱动来对可形变图像传感面的硬件进行控制实现。例如:通过图像传感器驱动设置所述可形变图像传感面相关的控制寄存器的值来实现。例如通过上面的设置,所述控制寄存器禁止所述多个有效交互区域以外的其它区域的数据读取或采集,则所述从所述可形变图像传感面输出的图像传感数据就是所述第二图像传感信息。
本领域技术人员可以知道,在一些可能的实施方式中,一设备可以通过上面所述的三种方式中的任一种来实现所述映射,这里,设备可以根据需要灵活的进行选择。当然,对于一实时选择多个层面中的一个进行映射的设备,每一帧待捕获的数据可以标注其是否已经做过映射、以及其期望在那个层面上进行映射。
在另一种可能的实施方式中,在所述交互装置不包括所述可形变图像传感面时,所述确定所述第二图像传感信息还可以为通过通信的方式,从至少一外部设备获取所述第二图像传感信息。
在一种可能的实施方式中,可选地,所述声音信息输入面为一可形变声音传感阵列面。
在一种可能的实施方式中,所述可形变声音传感阵列面例如可以包括:一柔性基底面以及所述柔性基底面上按阵列分布的多个声音传感单元,例如多个麦克风单元。其中,在一种可能的实施方式中,所述柔性基底面可以为一柔性显示屏或柔性显示触摸屏,所述声音传感单元为透明的声音传感单元。
在另一种可能的实施方式中,所述可形变声音传感阵列面例如还可以为柔性的薄膜声音传感阵列面。
在本实施方式中,与图1、图2a~2e、图3a~3b所示实施例相比,特别地,在确定了所述多个有效交互区域后,将所述多个有效交互区域作为一个新的交互区域向交互对象提供声音传感界面。
在一种可能的实施方式中,将所述多个有效交互区域作为一个新的交互区域向交互对象提供声音传感界面包括:
确定与所述交互区域对应的声音传感信息。
在上面重新编址和对地址之间的关联进行修改得到所述交互区域的场景中,如果所述交互装置包括所述可形变声音传感阵列面,所述确定与所述交互区域对应的声音传感信息可以包括:根据所述交互区域包含的所有声音传感单元在所述交互区域的位置以及所述所有声音传感单元得到的声音传感数据,得到所述声音传感信息。
在另一种可能的实施方式中,所述确定与所述交互区域对应的声音传感信息还可以包括:
确定与所述多个有效交互区域对应的多个声音传感子信息;例如,分别对所述多个有效交互区域进行声音传感扫描,得到所述多个声音传感子信息;
根据所述第一相对位置,将所述声音传感子信息从所述多个有效交互区域映射到所述交互区域,得到与所述交互区域对应的声音传感信息。
在另一种可能的实施方式中,在所述交互装置不包括所述可形变声音传感阵列面时,所述确定所述声音传感信息还可以为通过通信的方式,从至少一外部设备获取所述声音传感信息。
通过上面的实施方式中,可以使得交互对象通过所述多个有效交互区域与所述交互装置进行交互的交互效果与通过所述交互区域与所述交互装置进行交互的交互效果相同或相似。
下面以柔性基底的麦克风阵列为例进一步说明本申请实施例。
如图7a所示为所述麦克风阵列700的多个麦克风单元710在一柔性基板720上的分布情况,其中所述多个麦克风单元710成5*9阵列。
在一折叠形变后,例如,第一、第三、第四、第六、第七和第九列麦克风单元所在区域被覆盖或朝向改变,因此这六列麦克风单元所在区域都不再是有效交互区域。在本实施方式中,在检测交互对象的声音输入时,可以无需对这六列麦克风单元进行驱动,进而禁止所述六列麦克风单元的声音传感,从而避免自干扰并可以降低功耗。第二、第五和第八列麦克风单元所在的区域为折叠形变后的形状的三个折边区域711~713,构成了折叠形变后的三个有效交互区域,这三个有效交互区域在折叠形变后的各麦克风单元710的位置分布如图7b所示。可以看出,这三个有效交互区域在所述麦克风阵列700上的位置不相邻,在本次折叠形变后,在空间位置上相邻接,构成了一新的交互区域730。
如图7c所示,来自交互对象的方向性的声音波束传播到所述交互区域730后,所述第二、第五和第八列麦克风单元可以同时被驱动(例如使用多个权重因子),对所述声音波束进行方向性声音采集,可以实现音源定位等。本实施方式中,可以根据所述交互区域730上各麦克风单元710的位置以及采集到的声音信息合成得到与所述声音波束对应的声音传感信息。
在所述可形变交互面为可形变触摸传感面的实施方式中,与图1、图2a~2e、图3a~3b所示实施例相比,特别地,在确定了所述多个有效交互区域后,将所述多个有效交互区域作为一个新的交互区域向交互对象提供触感传感界面。
在一种可能的实施方式中,所述将所述多个有效交互区域作为一个新的交互区域向交互对象提供触感传感界面包括:
确定与所述交互区域对应的触摸传感信息。
在上面重新编址和对地址之间的关联进行修改得到所述交互区域的场景中,如果所述交互装置包括所述可形变触摸传感面,所述确定与所述交互区域对应的触摸传感信息可以包括:对所述交互区域包含的所有触摸传感单元进行整体的触摸传感扫描,得到所述触摸传感信息。
在另一种可能的实施方式中,所述确定与所述交互区域对应的触摸传感信息还可以包括:
确定与所述多个有效交互区域对应的多个触摸传感子信息;例如,分别对所述多个有效交互区域进行触摸传感扫描,得到所述多个触摸传感子信息;
根据所述第一相对位置,将所述触摸传感子信息从所述多个有效交互区域映射到所述交互区域,得到与所述交互区域对应的触摸传感信息。
在另一种可能的实施方式中,在所述交互装置不包括所述可形变触摸传感面时,所述确定所述触摸传感信息还可以为通过通信的方式,从至少一外部设备获取所述触摸传感信息。
在一种可能的实施方式中,所述将所述多个有效交互区域作为一个新的交互区域向交互对象提供触感传感界面还可以包括:至少根据所述触摸传感信息确定与所述触摸传感信息对应的输入内容。
例如:用户在如图2c所示的多个有效交互区域221~225作出一滑动手势,该手势对应的滑动轨迹810经过四个有效交互区域222~225。
对于所述可形变触摸传感面200来说,如图8a所示,其通过与所述可形变触摸传感面200对应的触摸感应阵列可以确定在所述可形变触摸传感面200上离散分布、时间上连续的四个滑动轨迹811~813(其中,与有效交互区域225对应的滑动轨迹在图8a上没有示出)对应的四个触摸传感子信息。
将所述四个触摸传感子信息从所述多个有效交互区域221~225映射到与所述多个有效交互区域221~225对应的一交互区域820可以得到与所述滑动轨迹810对应的触摸传感信息,如图8b所示。
在一种可能的实施方式中,所述将所述多个有效交互区域作为一个新的交互区域向交互对象提供触感传感界面还可以包括:至少根据所述触摸传感信息确定与所述触摸传感信息对应的输入内容。
例如,在图8a和8b所示的实施方式中,所述输入内容例如可以为与所述触摸传感信息对应的输入指令。
在一些可能的实施方式中,所述触摸传感信息可能包括距离信息。例如图8a和8b所示的实施方式中,所述触摸传感信息包含所述滑动轨迹810的起始点之间的距离信息,这里,由于所述滑动轨迹810为直线轨迹,因此,所述距离信息对应的距离即为所述滑动轨迹810的长度。
在一些可能的实施方式中,该距离信息与所述输入内容相关,例如,所述滑动轨迹810对应的手势用来调节一显示屏的显示亮度,一滑动轨迹的长度大于一设定值时,则对所述显示亮度调节20%。在一些可能的实施方式中,在所述可形变触摸传感面折叠变形后,受所述交互区域尺寸缩小的限制,用户无法方便地在所述交互区域实现与一输入内容对应的手势。因此,在本实施方式中,所述至少根据所述触摸传感信息确定所述输入内容包括:
至少根据所述交互区域相对于所述可形变触摸传感面的缩放比例确定所述触摸传感信息对应的参考触摸传感信息,其中,所述参考触摸传感信息包含有与所述距离信息之间满足所述缩放比例的参考距离信息;
根据所述参考触摸传感信息、以及至少一参考触摸传感信息与至少一输入内容之间的对应关系,确定所述输入内容。
在本实施方式中,至少一参考触摸传感信息与至少一输入内容之间的第二对应关系可以为所述可形变触摸传感面在展开状态时对应的至少一触摸传感信息与至少一输入内容之间的对应关系。
在一种可能的实施方式中,所述缩放比例可以是所述交互区域的面积与所述可形变触摸传感面的面积的比例;在另一种可能的实施方式中,如果一距离信息具有方向性限制,则所述缩放比例也与方向有关。例如,所述距离信息包括:在长度方向的距离和/或在宽度方向的距离等,则所述缩放比例还可以是所述交互区域的长度与所述可形变触摸传感面的长度的比例,和/或所述交互区域的宽度与所述可形变触摸传感面的宽度的比例等。
例如,在如图8a、8b所示的实施方式中,所述交互区域820与所述可形变触摸传感面200的缩放比例,例如为在长度方向为1:10;在宽度方向为1:1。所述滑动轨迹810的起始点之间在长度方向的距离为dy、在宽度方向的距离为dx。
确定与所述滑动轨迹810对应的第一参考滑动轨迹在长度方向的距离为10*dy、在宽度方向的距离为dx。
其中,参考滑动轨迹与输入内容之间存在以下的对应关系:
参考滑动轨迹在长度方向的距离大于设定的距离阈值Dsy时,将显示屏的亮度调亮20%。
其中,10*dy>Dsy>dy。
则,根据所述对应关系,以及所述参考滑动轨迹在长度方向的距离,可以确定与所述滑动轨迹810对应的输入内容为:将显示屏的亮度调亮20%。
通过本实施方式,可以避免由于交互区域大小的变化带来的原有手势输入无法或很难完成的问题。
通过上面的实施方式中,可以使得交互对象通过所述多个有效交互区域与所述交互装置进行交互的交互效果与通过所述交互区域与所述交互装置进行交互的交互效果相同或相似。
下面以柔性感应式电容屏为例进一步说明本申请实施例。
如图9a所示为所述柔性感应式电容屏900的六个顶层Y轴电极Y1~Y6,和九个底层X轴电极X1~X9的分布情况。
在一折叠形变后,其中,四个X轴电极X3、X4、X6以及X7所对应的区域被覆盖,两个X轴电极X1和X9被折叠至与纸面垂直的侧面,不方便用户在朝向纸面的方向进行输入交互,因此,这六个X轴电极都不再是有效交互区域。在本实施方式中,在检测用户输入时,可以无需对这六个X轴电极进行驱动(而所述六个Y轴的电极仍然需要被驱动),从而避免自干扰并可以降低功耗。另外三个X轴电极X2、X5和X8所在的区域为折叠形变后的形状的三个折边区域911~913,构成了折叠形变后的三个有效交互区域,这三个有效交互区域在折叠形变后的各电极的位置分布如图9b所示。可以看出,这三个有效交互区域在所述柔性感应式电容屏900上的位置不相邻,在本次折叠形变后,在空间位置上相邻接。
通过将三个X轴电极X2、X5和X8关联为相邻电极来将所述三个有效交互区域进行拼接得到所述折叠形变后的一交互区域920,用户可以与所述交互区域920进行触摸输入。
如图9c所示,在所述交互区域920上,一用户的输入触点930被检测为与四个电极节点:(X2,Y3),(X2,Y4),(X5,Y3),(X5,Y4)对应的感应电容的变化,并且由于其临近关系,用户输入被确定为面积为A(包含上面所述四个电极节点)的单点输入。本领域技术人员可以知道,如果没有将三个X轴电极X8、X5和X2关联为相邻电极,系统则会判断输入为两个面积为B的多点输入(包含两个电极节(X2,Y3),(X2,Y4)的第一点和包含两个电极节(X5,Y3),(X5,Y4)的第二点),使得用户无法通过折叠形变后的柔性感应式电容屏900进行正确的输入操作。
图10为本申请实施例提供的一种用户设备1000的结构示意图,本申请具体实施例并不对用户设备1000的具体实现做限定。如图10所示,该用户设备1000可以包括:
处理器(processor)1010、通信接口(Communications Interface)1020、存储器(memory)1030、以及通信总线1040。其中:
处理器1010、通信接口1020、以及存储器1030通过通信总线1040完成相互间的通信。
通信接口1020,用于与比如客户端等的网元通信。
处理器1010,用于执行程序1032,具体可以执行上述方法实施例中的相关步骤。
具体地,程序1032可以包括程序代码,所述程序代码包括计算机操作指令。
处理器1010可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器1030,用于存放程序1032。存储器1030可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。程序1032具体可以用于使得所述用户设备1000执行以下操作:
确定一可形变交互面的形状相关信息;其中,所述形状相关信息与所述可形变交互面一折叠形变后的第一形状对应;
至少根据所述形状相关信息,确定所述可形变交互面上的多个有效交互区域;其中,所述多个有效交互区域满足以下条件:在所述可形变交互面上的位置互不相邻;在所述第一形状下,在空间位置上相邻接;
至少根据所述第一形状下所述多个有效交互区域在所述空间位置上的第一相对位置,将所述多个有效交互区域作为一个交互区域向至少一交互对象提供信息输入界面。
程序1032中各步骤的具体实现可以参见上述实施例中的相应步骤和单元中对应的描述,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施方式仅用于说明本申请,而并非对本申请的限制,有关技术领域的普通技术人员,在不脱离本申请的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本申请的范畴,本申请的专利保护范围应由权利要求限定。

Claims (10)

1.一种交互方法,其特征在于,包括:
确定一可形变交互面的形状相关信息;其中,所述可形变交互面至少用于进行信息输入,所述形状相关信息与所述可形变交互面一折叠形变后的第一形状对应;
至少根据所述形状相关信息,确定所述可形变交互面上的多个有效交互区域;其中,所述多个有效交互区域满足以下条件:在所述可形变交互面上的位置由于被所述折叠形变后而无法与至少一交互对象进行有效交互的交互区域相间隔而互不相邻;在所述第一形状下,在空间位置上相邻接;
至少根据所述第一形状下所述多个有效交互区域在所述空间位置上的第一相对位置,将所述多个有效交互区域作为一个交互区域向所述至少一交互对象提供信息输入界面。
2.如权利要求1所述的方法,其特征在于,所述至少根据所述形状相关信息确定所述多个有效交互区域包括:
根据所述形状相关信息、以及一交互对象相对于所述折叠形变后所述可形变交互面的第二相对位置,确定所述可形变交互面上的多个有效交互区域。
3.如权利要求1或2所述的方法,其特征在于,所述至少根据所述形状相关信息确定所述多个有效交互区域包括:
根据所述形状相关信息,确定所述可形变交互面在所述第一形状下、在所述空间位置上相邻接的多个外转折端面所在的多个折边区域;
至少根据所述多个折边区域确定所述多个有效交互区域。
4.如权利要求3所述的方法,其特征在于,所述至少根据所述多个折边区域确定所述多个有效交互区域包括:
所述多个有效交互区域为所述多个折边区域。
5.如权利要求3所述的方法,其特征在于,所述至少根据所述多个折边区域确定所述多个有效交互区域包括:
至少根据所述多个折边区域和所述第一形状确定所述多个有效交互区域。
6.一种交互装置,其特征在于,包括:
信息确定模块,用于确定一可形变交互面的形状相关信息;其中,所述可形变交互面至少用于进行信息输入,所述形状相关信息与所述可形变交互面一折叠形变后的第一形状对应;
区域确定模块,用于至少根据所述形状相关信息,确定所述可形变交互面上的多个有效交互区域;其中,所述多个有效交互区域满足以下条件:在所述可形变交互面上的位置由于被所述折叠形变后而无法与至少一交互对象进行有效交互的交互区域相间隔而互不相邻;在所述第一形状下,在空间位置上相邻接;
信息输入界面提供模块,用于至少根据所述第一形状下所述多个有效交互区域在所述空间位置上的第一相对位置,将所述多个有效交互区域作为一个交互区域向所述至少一交互对象提供信息输入界面。
7.如权利要求6所述的装置,其特征在于,所述区域确定模块进一步用于:
根据所述形状相关信息、以及一交互对象相对于所述折叠形变后所述可形变交互面的第二相对位置,确定所述可形变交互面上的多个有效交互区域。
8.如权利要求6或7所述的装置,其特征在于,所述区域确定模块包括:
折边区域确定单元,用于根据所述形状相关信息,确定所述可形变交互面在所述第一形状下、在所述空间位置上相邻接的多个外转折端面所在的多个折边区域;
区域确定单元,用于至少根据所述多个折边区域确定所述多个有效交互区域。
9.如权利要求8所述的装置,其特征在于,所述区域确定单元包括:
第一确定子单元,用于确定所述多个折边区域为所述多个有效交互区域。
10.一种用户设备,其特征在于,所述用户设备包括:
存储器,用于存放程序;
处理器,用于执行所述存储器存储的程序,所述程序使得所述处理器执行以下操作:
确定一可形变交互面的形状相关信息;其中,所述可形变交互面至少用于进行信息输入,所述形状相关信息与所述可形变交互面一折叠形变后的第一形状对应;
至少根据所述形状相关信息,确定所述可形变交互面上的多个有效交互区域;其中,所述多个有效交互区域满足以下条件:在所述可形变交互面上的位置由于被所述折叠形变后而无法与至少一交互对象进行有效交互的交互区域相间隔而互不相邻;在所述第一形状下,在空间位置上相邻接;
至少根据所述第一形状下所述多个有效交互区域在所述空间位置上的第一相对位置,将所述多个有效交互区域作为一个交互区域向所述至少一交互对象提供信息输入界面。
CN201610081056.3A 2016-02-04 2016-02-04 交互方法、交互装置及用户设备 Active CN106249971B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610081056.3A CN106249971B (zh) 2016-02-04 2016-02-04 交互方法、交互装置及用户设备
US15/414,740 US10444857B2 (en) 2016-02-04 2017-01-25 Interaction method, interaction apparatus, and user equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610081056.3A CN106249971B (zh) 2016-02-04 2016-02-04 交互方法、交互装置及用户设备

Publications (2)

Publication Number Publication Date
CN106249971A CN106249971A (zh) 2016-12-21
CN106249971B true CN106249971B (zh) 2020-04-14

Family

ID=57626866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610081056.3A Active CN106249971B (zh) 2016-02-04 2016-02-04 交互方法、交互装置及用户设备

Country Status (2)

Country Link
US (1) US10444857B2 (zh)
CN (1) CN106249971B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853076A (zh) * 2010-04-29 2010-10-06 郭小卫 一种输入设备获取输入信息的方法
CN105224021A (zh) * 2011-01-31 2016-01-06 苹果公司 附属设备及其方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7487118B2 (en) * 2005-05-06 2009-02-03 Crutchfield Corporation System and method of image display simulation
US8803816B2 (en) * 2008-09-08 2014-08-12 Qualcomm Incorporated Multi-fold mobile device with configurable interface

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853076A (zh) * 2010-04-29 2010-10-06 郭小卫 一种输入设备获取输入信息的方法
CN105224021A (zh) * 2011-01-31 2016-01-06 苹果公司 附属设备及其方法

Also Published As

Publication number Publication date
US10444857B2 (en) 2019-10-15
US20170228044A1 (en) 2017-08-10
CN106249971A (zh) 2016-12-21

Similar Documents

Publication Publication Date Title
US10942546B2 (en) Electronic device and method for processing gesture thereof
US11735143B2 (en) Electronic device and method of controlling the same
KR102205283B1 (ko) 적어도 하나의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
KR101421369B1 (ko) 터치락 레이어를 설정하는 단말기 및 방법
CN104766354B (zh) 一种增强现实绘图的方法及移动终端
US10271140B2 (en) Interaction method, interaction apparatus, and user equipment
KR20210038151A (ko) 전자 장치 및 전자 장치의 제어 방법
US20230014641A1 (en) Electronic apparatus for providing execution screen of application, and operation method thereof
US10042445B1 (en) Adaptive display of user interface elements based on proximity sensing
CN106325588B (zh) 交互方法、交互装置及用户设备
KR20140094958A (ko) 플렉서블 디스플레이 장치의 동작 실행 방법 및 그 장치
US10656766B2 (en) Interaction method, interaction apparatus, and user equipment
JP2014013487A (ja) 表示装置およびプログラム
CN106249971B (zh) 交互方法、交互装置及用户设备
US10216405B2 (en) Presenting control interface based on multi-input command
CN106293449B (zh) 交互方法、交互装置及用户设备
US10824233B2 (en) Interaction method, interaction apparatus, and user equipment
KR20210021896A (ko) 전자 장치 및 전자 장치의 제어 방법
JP6000482B1 (ja) ユーザ・インタフェース画像表示方法およびプログラム
US11755171B2 (en) Electronic device and screenshot operation method for electronic device
EP4376396A1 (en) Electronic device comprising flexible display, operation method thereof, and non-transitory storage medium
EP4342457A1 (en) Electronic device, method, and recording medium for displaying list for changing application on basis of size of display region of display
US10809765B2 (en) Interaction method, interaction apparatus, and user equipment
JP2017142770A (ja) ユーザ・インタフェース画像表示方法およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant