CN106484175B - 电子设备的用户接口、输入的处理方法以及电子设备 - Google Patents

电子设备的用户接口、输入的处理方法以及电子设备 Download PDF

Info

Publication number
CN106484175B
CN106484175B CN201610727203.XA CN201610727203A CN106484175B CN 106484175 B CN106484175 B CN 106484175B CN 201610727203 A CN201610727203 A CN 201610727203A CN 106484175 B CN106484175 B CN 106484175B
Authority
CN
China
Prior art keywords
parts
images
coordinate
original image
user interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610727203.XA
Other languages
English (en)
Other versions
CN106484175A (zh
Inventor
下远野享
野村良太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Publication of CN106484175A publication Critical patent/CN106484175A/zh
Application granted granted Critical
Publication of CN106484175B publication Critical patent/CN106484175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means

Abstract

本发明提供电子设备的用户接口、输入的处理方法以及电子设备。用户接口不会损害对触摸屏的触摸操作的感觉并且防止误操作。在从显示器(100)的表面(100a)稍微离开的位置进行飞行滑动操作。若进行飞行滑动操作，则对指尖的正下方的坐标的周围进行了放大的部分图像以与原图像重叠的方式显示。进行相对于部分图像使手指接触显示器(10)的触摸操作。将向部分图像的触摸操作作为向原图像的触摸操作进行处理。在进行飞行滑动操作之前，即便使指尖接近显示器(100)，部分图像也不被显示。在暂时显示有部分图像之后，若使指尖充分从表面离开，则部分图像消失。

Description

电子设备的用户接口、输入的处理方法以及电子设备
技术领域
本发明涉及容易进行相对于触摸屏的输入的技术，特别涉及容易进行相对于显示小操作对象的触摸屏的输入的技术。
背景技术
智能电话或者平板终端那样的电子设备能够相对于在组合有显示器与触摸传感器的触摸屏显示的操作对象，通过手指、手写笔进行触摸操作进行画面的操作、文字的输入等。若触摸屏小，则操作对象也存在变小的趋势，因此存在用户对与成为目标的操作对象邻接的操作对象进行触摸操作的情况。
另外，如Windows(注册商标)8/10那样，在能够利用通过鼠标指针进行操作的鼠标操作模式、与进行相对于触摸屏的触摸操作的触摸面板操作模式双方的OS中，存在包含以鼠标指针为前提的小操作对象的情况，更加难以进行触摸操作。为了解决该问题，进行了各种尝试。在Microsoft(注册商标)公司中，提供Modern UI这一新显示风格以及操作规则的用户接口(UI)。对于Modern UI，显示被称为标题的适于触摸操作的大小的图标。
在Lenovo公司中，提供相对于Aura UI这一现有的OS对触摸操作用重叠有新的对象处理程序的UI。另外，在多点触摸对应的OS中，能够通过以扩展2根手指的方式进行触摸操作的捏放暂时放大画面防止误操作。专利文献1公开如下显示装置：通过将手指举起到从触摸面板的面上离开的空间上的位置的悬停操作、从通过悬停操作被举起的空间上的位置使手指相对于构成触摸屏的触摸面板的面大致平行地滑动的悬停滑动操作以及触摸操作而进行输入。
显示装置能够通过触摸面板检测悬停操作以及悬停滑动操作中的手指的坐标与相对于触摸操作的手指的坐标。若手指通过悬停操作与触摸面板接近，则显示装置以与原图像重叠的方式显示以手指的正下方为中心的放大画面，若进行悬停滑动操作，则显示目标地点的正下方的放大画面。专利文献2公开在手指接近了静电电容方式的触摸面板时进行放大显示的触摸面板装置。在该文献中记载如下内容：以食指最初接近了图像键盘的图像键为中心放大显示图像键盘，直至手指离开放大了的图像为止存在。专利文献3公开在手指接近了静电电容方式的触摸面板时放大显示的触摸面板装置。在该文献中记载控制部将放大显示区域的坐标转换为放大前的原来的图像的坐标。
专利文献4公开在手指接近了触摸面板时放大画面的触摸面板显示的控制方法。在该文献中记载如下内容：只要手指距离触摸面板的表面恒定的距离，就显示放大画面，在手指远离了触摸操作或者触摸面板时，消除放大画面。专利文献5公开根据相对于触摸面板的手指的距离显示使倍率变化了的放大画面的用户接口。
非专利文献1公开利用了手指在与平板的表面接近的位置进行的手势的接口。在该文献中记载有使多层化的IR平面与高速照相机的快门同步检测出手指的手势。另外，记载有通过指出地图然后改变手指的高度进行放大、滚动。
非专利文献2公开如下三维触摸面板接口，即，检测用户的手指与触摸面板接触之前的接近状态，并且根据接近位置切换焦点或者放大按钮。该文献记载有只通过通常的触摸面板不仅检测出手指的接触状态而且检测出手指的接近状态的三维触摸面板。另外，记载有根据接近距离的时间迁移计算手指接近触摸面板的速度、加速度来切换UI。
专利文献1：日本特开2013-225261号公报
专利文献2：国际公开2012/132802号公报
专利文献3：国际公开2011/027665号公报
专利文献4：日本特开平11-65769号公报
专利文献5：美国专利申请公开第2013/0293490号说明书
非专利文献1：Yoshiki Takeoka,et al.Ztouch:An Infrastructure for 3Dgesture interaction in the proximity of tabletop surfaces，[online]，ITS 2010:Devices&Algorithms、[平成27年8月1日检索]、网络〈URL:http://lab.rekimoto.org/projects/z-touch/>
非专利文献2：Hiroyuki Washino,et al.3D Touch Panel User Interface、[online]、信息处理学会Interaction2009、[平成27年8月1日检索]、网络〈URL：http://www.interaction-ipsj.org/archives/paper2009/interactive/0037/0037.pdf〉
虽然在触摸屏能够相对于画面的操作对象进行直觉的操作这点上优异，但要求防止误操作。在特别环境下，Modern UI、Aura UI实现了误操作少的触摸操作，但优选能够在不会给予现有的应用、OS影响的环境下实现的方法。另外，在如智能电话、平板终端那样使触摸屏为专用的输入设备的电子设备中，一般预先使操作对象比手指或者手写笔的大小大。这相当于通过利用另一方限制组装于规定的大小的画面的操作对象的数量，使画面的密度或者信息量变粗。
另外，在能够进行鼠标操作模式与触摸面板操作模式双方的OS中，若使操作对象为适于鼠标操作的大小，则在触摸操作中误操作产生，若为适于触摸操作的大小，则画面与能够通过鼠标操作的程度相比，变得过粗。进行捏放从而放大画面的方法也存在伴随着通过捏放使画面复原的操作的情况，给用户带来多余的负担。也存在以进行了触摸操作的坐标为中心对规定的区域进行放大然后对放大后的图像进行触摸操作的方法，但在能够不放大地进行触摸操作的情况下，也经常显示放大图像，因此使用户感到烦恼。
在现有技术文献中，检测在触摸操作之前在接近区域进行的手势而放大画面。这些现有技术文献存在以下几个问题点。首先，存在用户在进行触摸操作之前在触摸面板之上停止手指选择操作对象或者考虑的情况。此时，若检测出手指的接近立即显示放大的画面，则对不放大想要继续观察宽范围的原图像的用户而言，强使进行消除放大画面的操作，而感到烦恼。另外，在操作对象不放大也能够进行正确的触摸操作的程度较大的情况下也显示放大画面会损害用户对原图像的触摸操作的操作感。
用户控制手指与触摸面板接近时的距离触摸面板的距离、接近时的速度或者加速度进行操作是不容易的。另外，为了继续显示放大画面，将手指距离触摸面板继续维持在恒定的范围也给用户带来痛苦。并且，在放大画面显示在手指的正下方的情况下，也依然存在操作对象隐于手指的阴影的情况。
在显示放大画面的情况下，为了不损害相对于触摸屏的触摸操作的感觉，需要尽可能简单地进行附加于对操作对象进行触摸操作的动作的操作。另外，优选还预先残留不显示来自以往的放大画面地进行的触摸操作。并且优选放大画面能够根据用户的意图显示。
发明内容
因此，本发明的目的在于提供不会损害对触摸屏的触摸操作的感觉并且防止误操作的用户接口。并且，本发明的目的在于提供能够优良适应现有的OS、应用的用户接口。并且，本发明的目的在于提供仅在用户意图时显示相对于原图像的规定的倍率的部分图像的用户接口。并且，本发明的目的在于提供适应于这种用户接口的输入的处理方法、电子设备以及计算机程序。
本发明涉及能够通过指示介质向电子设备输入的用户接口。用户接口可以组装于电子设备，也可以是通过无线、有线与电子设备连接的设备。用户接口具有：显示器；接近传感器，其用于生成相对于显示有原图像的显示器的表面以接近状态存在的指示介质的接近坐标；触摸传感器，其用于生成相对于显示器的表面以接触状态存在的指示介质的接触坐标；部分图像控制部，其生成用于当从接近坐标中识别出在接近状态下进行的指示介质的飞行滑动操作时以与原图像重叠的方式在显示器显示将原图像的规定区域放大了的部分图像的数据；以及接触坐标处理部，其将部分图像的接触坐标作为原图像的接触坐标向用户功能部输出。
指示介质可以是指尖，也可以是手写笔。根据上述结构，能够通过简单的飞行滑动操作放大原图像的规定区域，因此在看较小的文字那样的情况下，不必进行放大画面整体的捏放。直至进行飞行滑动操作为止，即便指示介质以接近状态存在，部分图像也未被显示。因此，部分图像能够仅在用户意图时显示，因此不会妨碍在触摸操作之前一边看原图像一边使指尖为接近状态进行思索的用户。
另外，虽然也存在用户相对于充分大的操作对象不显示部分图像反而方便的情况，但在本发明中，只要不进行飞行滑动操作，就如以往那样不显示部分图像，而能够进行相对于原图像的触摸操作。因此，能够不损害相对于触摸屏进行触摸操作时的感觉并且防止误操作。另外，由于将接触坐标作为原图像的接触坐标向用户功能部输出，所以不必进行现有的OS、应用的变更。
能够由触摸面板构成接近传感器与触摸传感器，通过显示器与触摸面板构成触摸屏。所述接触坐标处理部能够将与以接触状态存在的指示介质相对于原图像进行的滑动操作对应的接触坐标向用户功能部输出。由于用户接口通过接近坐标处理飞行滑动操作，所以也能够进行通过接触坐标处理的向滑动方向的操作对象的移动以及画面的滚动等至此为止的滑动操作。用户接口也可以具有指点设备，该指点设备用于生成对原图像显示的鼠标光标进行操作的事件。在该情况下，即便原图像包含适于通过鼠标光标的操作的较小的操作对象，也能够通过相对于部分图像的触摸操作防止误操作。
原图像的规定区域也可以包含飞行滑动操作的开始坐标。由于用户能够容易识别飞行滑动操作的开始坐标，所以通过使部分图像包含开始坐标，用户能够容易使部分图像包含与开始坐标重叠的操作对象。部分图像控制部能够在以接近状态存在的指示介质的正下方显示目标图像。因此，用户相对于有可能存在即便不显示部分图像也能够进行触摸操作的操作对象，能够利用目标图像正确地进行触摸操作。部分图像控制部也可以在接近状态的指示介质的位置定位于原图像的操作对象的正上方时使操作对象的显示变化。因此，用户能够通过显示的变化识别在原图像中难以知道的操作对象的存在。另外，能够对不显示部分图像也意图的操作对象正确地进行触摸操作。
部分图像控制部能够在显示了部分图像之后从指示介质移动至隔离状态开始经过了规定时间时消除部分图像。即便暂时显示部分图像，也在用户放弃输入时仅使指示介质离开就能够立即返回至仅有原图像的状态。部分图像控制部能够生成用于以部分图像包含的与原图像的操作对象对应的操作对象位于原图像包含的操作对象的附近的方式显示部分图像的数据。
部分图像控制部能够根据飞行滑动操作的从开始坐标的移动方向，而决定部分图像相对于原图像的位置。因此，用户能够在飞行滑动操作的方向控制部分图像的显示位置。部分图像控制部能够根据飞行滑动操作的从开始坐标的移动方向，而决定部分图像相对于原图像的倍率。因此，用户通过选择飞行滑动操作的方向，能够显示放大了的部分图像或者缩小了的部分图像。另外，能够显示用户不进行捏合也仅在需要的区域缩小了的画面。
部分图像控制部能够根据在进行飞行滑动操作时移动的指示介质的速度或者加速度，而决定部分图像相对于原图像的倍率。用户例如在想要显示更加放大的部分图像时，能够进行更加快速的飞行滑动操作。部分图像控制部能够每当在规定的时间间隔以内反复进行的飞行滑动操作时，显示相对于原图像的倍率呈阶梯状地变化的部分图像。因此，用户通过反复进行飞行滑动操作，能够将部分图像的倍率逐渐变更。
部分图像控制部能够识别原图像包含的多个操作对象的排列，并且根据操作对象的排列而设定部分图像的形状以及尺寸、或者二者中的任一个。因此，用户能够在多个操作对象在原图像排列的情况下，使恒定大小的部分图像包含存在进行触摸操作的可能性的更多的操作对象。
根据本发明，能够提供不会损害相对于触摸屏的触摸操作的感觉并且防止误操作的用户接口。并且，根据本发明，能够提供优良适应现有的OS、应用的用户接口。并且，根据本发明，能够提供仅在用户意图时显示相对于原图像的规定的倍率的部分图像的用户接口。并且，根据本发明，能够提供适应于这种用户接口的输入的处理方法、电子设备。
附图说明
图1是用于说明进行对显示器100的触摸操作与飞行滑动(flying flick)操作时的情形的图。
图2是用于说明用户接口200的结构的功能框图。
图3是用于说明用户接口200显示滑动窗口时的顺序的一个例子的主流程图。
图4是用于说明显示部分图像的顺序的一个例子的流程图。
图5是用于说明对原图像303的点击操作的情形的图。
图6是用于说明在指尖的正下方坐标显示有目标图像(spot image)307的情形以及开始飞行滑动操作时的情形的图。
图7是用于说明与原图像303重叠地显示有部分图像313时的情形的图。
图8是用于说明利用飞行滑动操作的移动信息构成滑动窗口325的例子的图。
图9是用于说明利用飞行滑动操作的移动信息构成滑动窗口325的例子的图。
图10是用于说明基于原图像303包含的操作对象的排列而决定滑动窗口325的形状的例子的图。
具体实施方式
[触摸操作与飞行滑动操作]
图1是用于说明进行对显示器100的触摸操作与飞行滑动操作时的情形的图。在显示器100的表面100a定义X-Y轴，在与X-Y平面垂直的方向定义Z轴。对于相对于显示器100的指尖而言，如图1(B)所示，存在从触摸屏的表面100a沿Z轴方向离开距离Z1以上的状态、离开不足距离Z1且为距离Z2以上的状态、不足距离Z2的状态，如图1(C)所示，存在当距离Z为零时进行了接触的状态。
对于本实施方式的用户接口而言，虽然如图1(C)所示那样通过在手指接触到表面100a的接触状态下进行的触摸操作而进行输入，但此时根据需要，能够如图1(B)所示那样辅助地利用在手指与表面100a接近至规定的距离的接近状态下进行的飞行滑动操作。将指尖从表面100a离开距离Z1以上的状态称为隔离状态。若手指从隔离状态接近表面100a成为不足距离Z2，则进入接近状态。若暂时进入接近状态，则指尖成为接触状态、或者直至离开距离Z1以上为止维持接近状态。
因此，在Z轴方向的指尖的位置存在于超过距离0至距离Z2之间的情况下，相当于接近状态。另外，在存在于距离Z1与距离Z2之间的情况下，根据至此为止的情况，成为接近状态与隔离状态中的任一个。此外，触摸操作与飞行滑动操作也可以取代指尖通过手写笔那样的导电性的指示介质进行。这里，针对飞行滑动操作进行说明。接触状态下的滑动操作众所周知。飞行滑动操作是指在接近状态下进行与在接触状态下进行的滑动操作(接触滑动操作)相同的指尖的移动的手势。但是，由于飞行滑动操作在空中进行，所以没有如接触滑动操作那样滑动的引导面，在Z轴方向上产生微小的指尖移动。
虽然针对在接触状态下进行的触摸操作定义了各种手势，但能够通过与接触滑动操作相同的算法检测出从飞行滑动操作中提取出的手指的向X-Y方向的移动。触摸操作是指使手指或者手写笔(以下，在本说明书中包含双方而简单地称为指尖。)接触显示器100的表面100a进行的全部输入操作。触摸操作也包括对与显示器100显示的特定的应用或者特定的文件等有关的图标、与规定的地址有关的文字或者图像的对象那样的操作对象的输入操作、以及对操作对象以外的显示区域的输入操作中的任一个。
触摸操作包括一系列操作中的未使触摸操作的位置变化的点击操作、与使其变化的手势操作。检测出点击操作的系统能够获得进行了触摸操作的坐标、相对于该坐标继续触摸操作的时间以及触摸操作的次数等信息。手势操作包括滑动操作、横扫操作、拖动操作以及旋转操作等单点触摸操作、与捏合(pinch in)、捏放(pinch out)之类的多点触摸操作。检测出手势操作的系统能够获得进行了触摸操作的坐标的轨迹以及坐标变化的速度及加速度等信息。而且，系统能够从坐标的轨迹的图案以及变化的方向等中识别手势的种类。
接触滑动操作是指使正进行触摸操作的手指只以较短的距离大致沿恒定的方向移动的操作。横扫操作是指使正进行触摸操作的手指以比滑动操作长的距离大致沿恒定的方向移动的操作，也是指滑动操作。接触滑动操作是指手指的移动速度比横扫操作快的操作。拖动操作是指使相对于特定对象进行了触摸操作的手指移动至规定的位置的操作。
接触滑动操作与横扫操作以及拖动操作相比，具有移动距离短且移动速度快这一特征，除此之外，具有不需要用户知道指尖的移动目的地的坐标这一特征。因此，接触滑动操作适于用在移动目的地的坐标不是问题的翻页、高速下的画面的滚动、通过指尖向如键盘的滑动输入那样确定的方向移动而确定输入那样的情况。
对于飞行滑动操作而言，虽然指尖相对于表面100a以接近状态存在，但系统能够根据X-Y方向的指尖的移动速度以及移动距离利用与接触滑动操作相同的算法进行检测，容易向现有系统应用。为了检测出飞行滑动操作，需要对接近状态下的指尖的坐标进行检测的接近传感器。
[用户接口的结构]
图2是用于说明用户接口200的结构的功能框图。用户接口200能够通过由显示器151、接近传感器153以及触摸传感器155构成的输入设备、CPU、RAM、芯片组等硬件资源、与应用、OS、设备驱动等软件资源的配合而构成。
用户接口200也可以具备鼠标、指点杆或者触摸板那样的对鼠标光标进行操作的指点设备157。即，用户接口200能够支持鼠标操作模式以及触摸面板操作模式双方。软件资源在执行前储存于在用户接口200或者搭载用户接口200的计算机、平板终端或者智能电话那样的电子设备安装的非易失性存储器。
接近传感器153输出以接近状态存在的指尖的能够生成相对于显示器151的X、Y、Z坐标的物理量。接近传感器153的种类、原理并不特别限定，能够采用作为与显示器151不同的总成而设置的电磁感应式传感器、利用红外线的光学线传感器、立体相机、超声波传感器等。
触摸传感器155输出能够生成相对于显示器151的表面的接触状态的指尖的X、Y坐标的物理量。触摸传感器155的种类、原理也并不特别限定。作为触摸传感器发挥功能的静电电容方式的触摸面板能够通过静电电容的大小检测出以接近状态存在的指尖相对于触摸面板表面的距离Z。在本实施方式中，例示通过由作为接近传感器153与触摸传感器155发挥功能的透明电极构成的静电电容式的触摸面板、与显示器151构成的触摸屏150进行说明。
接近坐标生成部211、接触坐标处理部215以及事件生成部217在一个例子中能够由设备驱动与设备控制程序构成。接近坐标生成部211根据触摸屏150输出的物理量而生成接近状态下的指尖的X-Y-Z方向的坐标。在接近状态下，触摸屏150的表面与指尖的距离取各种值。接近坐标生成部211在根据指尖的Z轴方向的距离以及至该距离为止的履历信息而检测出接近状态时，将与能够以接近状态确定的物理量对应的坐标作为接近坐标向接近坐标处理部209输出。
接触坐标生成部215根据触摸屏150输出的物理量而生成接触状态下的指尖的X-Y方向的坐标(接触坐标)。接触坐标生成部215在根据指尖的Z轴方向的距离或者触摸屏150输出的物理量而检测出接触状态时，输出接触坐标。在接近坐标系与接触坐标系不同的情况下，如之后进行说明那样，为了将相对于部分图像313(图7)的触摸操作作为相对于原图像303(图7)的触摸操作进行处理，而需要使双方预先相关联，但在本实施方式中，由于通过触摸屏150构成2个坐标系，所以二者一致。指点设备157输出根据用户的操作使鼠标光标移动的物理量。事件生成部217输出与使鼠标光标移动的事件或者鼠标的点击相当的事件。
在接近状态下，与接触状态相比，指尖对更广范围的单元给予静电电容的变化。与接触坐标处理部215生成接触坐标时相比，接近坐标处理部209针对更广范围的单元，输出为接近坐标。将相对于触摸屏105的从指尖的腹部的垂线形成的触摸屏150的X-Y坐标称为正下方坐标。接近坐标处理部209根据接近坐标的集合生成正下方坐标并通知给部分图像控制部207。正下方坐标作为一个例子，能够为接近坐标的集合的重心。
接触坐标处理部213根据接触坐标的集合生成指尖的坐标并发送至用户功能部201。接触坐标处理部213检测出进行了触摸操作时的接触坐标，并将包含开始坐标、移动方向以及移动的速度或者加速度等信息的操作数据发送至用户功能部201。触摸操作包含接触滑动操作。在本实施方式中，虽然将接触滑动操作作为相对于用户功能部201直接的输入进行处理，但飞行滑动操作仅作为与滑动窗口325(图7)相关的输入进行利用。因此，飞行滑动操作仅以将部分图像313与原图像303重叠的方式进行显示，因此不会给予OS、现有的应用影响。
用户功能部201包含应用、OS等，通过触摸屏150向用户提供浏览器的阅览、照片的编辑或者文书的作成等功能。用户功能部201向原图像数据生成部203以及部分图像控制部207发送用于生成原图像的数据的图像信息。原图像数据生成部203包含存储呈现出的图像数据的缓冲区，根据从用户功能部201接受的图像信息而生成用于在触摸屏150显示的图像数据。
部分图像控制部207根据从用户功能部201接受的图像信息而生成部分图像313的数据。部分图像控制部207监视正下方坐标的时间的变化而识别飞行滑动操作。部分图像控制部207从飞行滑动操作中提取出开始飞行滑动操作的位置的正下方坐标(开始坐标)、以及移动方向、移动的速度或者加速度等移动信息。
部分图像控制部207根据从用户功能部201接受的图像信息与从飞行滑动操作中提取出的开始坐标以及移动信息而生成在滑动窗口325显示的部分图像313的数据，并向图像数据合成部205输出。部分图像控制部207能够生成在接近状态下并且在飞行滑动操作的正下方坐标显示的目标图像的数据，向图像数据合成部205发送。目标图像能够用于用户识别在接近状态下与正下方坐标重叠的操作对象、或者未显示滑动窗口325地进行点击操作。
部分图像控制部207在正下方坐标重叠于触摸屏150显示的原图像包含的按钮、文字或者图形等的操作对象时，能够将用于突出显示该操作对象的事件向用户功能部201发送。突出显示能够用户使明确地识别操作对象，因此有益于防止不进行飞行滑动操作地进行直接进行触摸操作时的误操作。
部分图像控制部207能够基于飞行滑动操作包含的开始坐标与移动信息，决定滑动窗口325的尺寸、形状、坐标等。部分图像控制部207能够基于飞行滑动操作包含的开始坐标与移动信息，决定部分图像相对于原图像的放大或者缩小的倍率。部分图像控制部207将部分图像313的坐标向接触坐标处理部213发送。接触坐标处理部213将相对于部分图像313的触摸操作的坐标转换为相对于原图像303的触摸操作的坐标并向用户功能部201发送。
[用户接口的动作顺序]
图3是用于说明用户接口200显示滑动窗口时的顺序的一个例子的主流程图，图4是用于说明显示滑动窗口的顺序的一个例子的流程图。图5～图10是用于说明通过飞行滑动操作显示滑动窗口325时的情形的图。
在通过块501开始操作之前，如图5(A)所示，触摸屏150在包含标题栏302的窗口显示包含对象303a～303d的原图像303。触摸屏150另外显示有通过指点设备157进行操作的鼠标光标305。用户接口200相对于原图像303通过鼠标操作模式与触摸面板操作模式种的任一个模式均能够进行操作，本发明也能够应用于仅支持触摸面板操作模式的用户接口。
通过鼠标操作模式进行操作的原图像与仅通过触摸面板操作模式进行操作的原图像相比，具有操作对象小的趋势，因此应用本发明有效。另外，本发明也能够应用于多窗口以及单窗口中的任一个的原图像。标题栏302包含操作对象的一个例子亦即操作按钮30la～301c。用户在关闭窗口时对操作按钮301a进行点击操作，为了窗口尺寸的缩小以及复原，对操作按钮301b进行点击操作，在使窗口最小化时，对操作按钮30lc进行点击操作。
通过使鼠标光标305相对于这些操作对象移动进行点击操作、或者通过指尖进行点击操作而进行激活，执行操作对象定义的功能。在块503中，用户如图5(B)所示那样相对于按钮301a进行点击操作想要关闭原图像303的窗口。按钮30la的尺寸不能说是与指尖的尺寸相比足够大，因此存在用户打算对按钮301a进行点击操作却对邻接的按钮301b进行点击操作的情况。
用户使指尖移动至按钮301a的正上方附近。接近坐标生成部211若检测出接近状态，则开始接近坐标的集合的输出。接近坐标处理部209输出正下方坐标。在块505中，部分图像控制部207根据需要，如图6(A)所示那样在正下方坐标显示目标图像307。目标图像307明显与原图像303重叠，但不会给予用户功能部201的动作影响地在正下方坐标被显示。用户能够根据目标图像303容易地识别飞行滑动操作的开始坐标，并且即便有视差，也会不显示滑动窗口325地对与目标图像307重叠的比较大的操作对象容易进行触摸操作。
在其他例子中，部分图像控制部207在操作对象存在于正下方坐标时，以突出显示该操作对象的方式指示给用户功能部201。被突出显示的操作对象成为原图像303的一部分，即便用户有视差，也能够不显示滑动窗口325地正确地对被突出的比较大的操作对象进行触摸操作。
用户存在在指尖进入接近状态的状态下进行点击操作之前考虑是否真地关闭窗口的情况。根据情况可能会迷惑欲缩小或者最小化。但是，即便指尖进入接近状态，部分图像控制部207除非检测出飞行滑动操作，否则也不会显示滑动窗口325，因此用户在不需要时不会感到滑动窗口325被显示的烦恼。
在块507中，如图6(B)所示，用户将操作对象301a作为开始坐标306进行飞行滑动操作。此外，即便飞行滑动操作的开始坐标与任意的操作对象也不重叠，部分图像控制部207也显示滑动窗口325以及部分图像。因此，为了显示滑动窗口，用户不必将意图操作的操作对象作为开始坐标。用户能够仅使食指的比第2关节靠前的部位动作而使指尖迅速移动进行飞行滑动操作。部分图像控制部207生成部分图像313向图像数据合成部205发送。
在块509中，图像数据合成部205以与原图像303重叠的方式设定图7所示的滑动窗口325显示部分图像313。部分图像313包含与操作对象301a、301b、30lc对应的操作对象315a、315b、315c。块509的顺序参照图4之后进行说明。在此刻，没有对原图像303的触摸操作。在块511中，接近坐标生成部211连续监视接近状态，在移动至隔离状态时，停止接近坐标的输出。在维持有接近状态时，移至块513，在移动至隔离状态时，移至块551。在块513中，用户对部分图像313包含的操作对象315a进行点击操作。
在部分图像313从原图像303放大时，能够通过指尖正确地对操作对象315a进行点击操作。由于结束飞行滑动操作的瞬间如图6(B)所示那样食指未在操作对象315a之上，所以如图7(A)所示，用户能够清楚地看到在开始坐标306的附近显示的部分图像313的操作对象315a，因此容易操作。另外，如图7(B)所示，在部分图像313存在于从开始坐标306离开的位置时，能够一边看原图像303与部分图像313双方一边进行点击操作，因此通过任意方法也能够将部分图像313显示于用户方便的位置。
在块513中，若用户对操作对象315a进行点击操作，则接触坐标处理部213转换坐标将原图像325包含的对应的操作对象301a的坐标向用户功能部201发送。在块515中，用户功能部201进行被定义为对原图像303的操作对象301a的触摸操作的处理。用户功能部201不必为了处理对部分图像313的点击操作而识别部分图像313的坐标。因此，用户功能部201不必进行伴随着在滑动窗口325显示部分图像313的动作的变更。
除飞行滑动操作之外，用户还能够进行接触滑动操作。用户功能部201若从接触坐标处理部213接受与接触滑动操作对应的坐标数据，则进行相当于画面的滚动、翻页或者对软键盘的滑动输入等的处理。在通过接触滑动操作实现部分图像313的显示的情况下，这些功能无法利用，但在本实施方式中，由于通过不同于接触滑动操作的层来实现，所以不会给予这些功能影响。
在块551中，部分图像控制部207根据正下方坐标的输入停止的时间判断从指尖移动至隔离状态开始是否经过了规定时间。在经过了规定时间时，部分图像控制部207在块531中识别接近状态的结束，解除滑动窗口325的设定，停止部分图像313的数据的输出。其结果是，图像数据合成部205消除部分图像313的显示。
因此，即便暂时显示部分图像313，也在用户放弃了对部分图像313的点击操作时，能够通过使指尖移动至隔离状态消除部分图像313。在块553中，在恒定时间以内指尖再次移动至接近状态时，能够移至块513进行点击操作。因此，即便在从开始坐标至结束飞行滑动操作为止期间指尖暂时移动至隔离状态，也能够结束飞行滑动操作，因此没有强加给用户精确的手势。
接下来，参照图4说明显示块509的部分图像的顺序的一个例子。在块601中对飞行滑动操作进行了识别的部分图像控制部207判断在块603中是否进行了放大/缩小设定。在部分图像控制部207进行了放大/缩小设定时，移至块651，在未被设定时，移至块605。在块605中，部分图像控制部207判断反复飞行滑动操作是否被设定。
反复飞行滑动操作是指将多个飞行滑动操作在规定的时间以内的间隔连续地进行。由于第二次以后的飞行滑动操作能够视为与最初的飞行滑动操作在时间上统一的一体的操作，所以第二次以后的飞行滑动操作的开始坐标不必与最初的飞行滑动操作的开始坐标一致。另外，反复飞行滑动操作的开始坐标为最初的飞行滑动操作的开始坐标。在部分图像控制部207对反复飞行滑动操作进行了设定时，移至块631，在未被设定时，移至块607。
在块607中，部分图像控制部207识别飞行滑动操作的方向。飞行滑动操作的方向能够为以开始坐标为起点的X-Y坐标的方向。部分图像控制部207能够预先定义以开始坐标306为起点的4个方向或者8个方向左右作为飞行滑动操作的方向，并且使滑动窗口325以及部分图像313的显示方法等与各个方向相关联。
在块609中，部分图像控制部207根据飞行滑动操作的移动信息而决定滑动窗口325的尺寸以及形状。滑动窗口253的尺寸可以通过默认决定，也可以基于飞行滑动操作的速度或者加速度决定。例如部分图像控制部207能够设定为指尖的移动速度越快尺寸越大。
在该情况下，用户仅调整进行飞行滑动操作的指尖的沿X-Y方向的移动速度，就能够调整滑动窗口325的尺寸。对于指尖的移动，也可以包含Z轴方向的成分，但部分图像控制部207仅能够提取出X-Y方向的成分。与Z轴方向的调整相比，用户能够容易调整沿X-Y方向的指尖的移动速度。
滑动窗口325的形状能够为纵长的长方形、横长的长方形或者圆形等。此时，部分图像控制部207也可以根据存在于开始坐标306的附近的操作对象的排列而决定滑动窗口325的形状。如图5(A)所示，例如图像数据生成部207在操作对象301a、301b、30lc沿原图像303的X轴方向排列的情况下，如图7(A)、(B)所示，能够设定沿X轴方向较长的横长的滑动窗口325。
另外，如图10所示，在原图像303的操作对象381沿Y轴方向排列的情况下，部分图像控制部207能够设定沿Y轴方向较长的纵长的滑动窗口325，将与操作对象381对应的操作对象383作为部分图像313f的一部分显示。另外，在操作对象未存在于开始坐标306的附近时，能够设定圆形、正方形那样的没有方向性的滑动窗口。
在块611中，部分图像控制部207决定滑动窗口325的坐标。滑动窗口325的坐标能够以滑动窗口325的重心与开始坐标306一致的方式决定。在该情况下，在滑动窗口325的一部分从画面伸出时，如图7(A)例示那样，在滑动窗口325的操作对象315a与原图像303的操作对象301a最接近的位置，且在滑动窗口325完全收纳于画面的位置进行定位。
在其他例子中，如图7(B)所例示那样，能够在飞行滑动操作的方向，并且在从开始坐标306离开规定的距离的位置决定滑动窗口325的坐标。此时，部分图像控制部207也可以基于飞行滑动操作的速度或者加速度决定距离开始坐标的距离。例如部分图像控制部207能够设定为速度或者加速度越快速距离越长。在该情况下，用户仅调整进行飞行滑动操作的指尖的沿X-Y方向的移动速度，就能够决定滑动窗口325的位置。
在块613中，部分图像控制部207决定在滑动窗口325显示的部分图像313的放大率。放大率可以通过默认决定，也可以基于飞行滑动操作的移动信息决定。例如部分图像控制部207能够设定为指尖的移动速度越快放大率越大。用户仅调整进行飞行滑动操作的指尖的移动速度，就能够调整部分图像313的放大率313。
在块614中，部分图像控制部207将以滑动窗口325为范围的部分图像313的坐标通知给接触坐标处理部213。之后，接触坐标处理部213将通过对部分图像313的触摸操作检测出的接触坐标转换为原图像303的坐标向用户功能部201转送。在块615中，部分图像控制部207生成决定了尺寸、形状以及坐标的在滑动窗口325显示的部分图像313的数据向图像数据合成部205转送。部分图像数据合成部205在图3的块509中在滑动窗口325的位置显示部分图像313。
在块651中，部分图像控制部207识别飞行滑动操作的方向。针对飞行滑动操作的方向的处理，能够以块607为基准。现在，如图8(A)所示，部分图像控制部207作为一个例子沿Y轴方向定义方向321与方向323，将如图8(B)所示那样缩小了的部分图像313a的生成与方向321有关，将如图9(A)所示那样放大了的部分图像313b的生成与方向323有关。开始坐标306可以是与操作对象对应的位置，也可以是不对应的位置，但为了便于说明，在图8(A)中，使开始坐标320位于原图像303的操作对象不存在的位置。
部分图像313a以及部分图像313b是以开始坐标320为中心的对原图像303的规定区域进行了缩小或者放大的图像。在块653中，部分图像控制部207决定滑动窗口325的尺寸以及形状。此时的顺序能够以块609的顺序为基准。在块655中，部分图像控制部207决定滑动窗口325的尺寸以及形状。此时的顺序能够以块611的顺序为基准。
在块657中，部分图像控制部207在相对于开始坐标306的飞行滑动操作的方向为方向321时，生成图8(B)所示的缩小了的部分图像313a的数据，在为方向323时，生成图9(A)所示的放大了的部分图像313b的数据。决定部分图像313a、313b的缩小以及放大的倍率的顺序能够以块613的顺序为基准。
在块631中，部分图像控制部207判断是否进行了反复飞行滑动操作。部分图像控制部207如图8(A)所示那样，将缩小了的部分图像数据的生成与方向321有关，将放大了的部分图像数据的生成与方向323有关。
部分图像控制部207在块633中通过最初的飞行滑动操作识别方向判断缩小或者放大。飞行滑动操作的方向的处理能够以块607为基准。部分图像控制部207通过最初的飞行滑动操作，在块635中决定滑动窗口325的尺寸以及形状，在块637中决定滑动窗口325的坐标。此时的顺序能够以块609、611的顺序为基准。
在块639中，部分图像控制部207识别后续的飞行滑动操作。在识别出方向323时，部分图像控制部207生成用于每当在块641中识别在规定的时间以内进行的后续的飞行滑动操作时如图9(B)所示那样在滑动窗口325b、325c显示相比其紧前的滑动窗口325a、325b的部分图像313c、313d放大了的部分图像313d、313e的图像数据。
在识别出方向321时，部分图像控制部207生成用于每当识别在规定时间以内进行的后续的飞行滑动操作在滑动窗口325显示相比其紧前缩小了的部分图像的图像数据。此外，滑动窗口325a～325c的尺寸也可以恒定，仅使部分图像的倍率变化。在设定了反复飞行滑动操作时，在块615中，每当用户进行飞行滑动操作，部分图像控制部207将倍率呈阶梯状地变化的缩小或者放大了的部分图像的数据向图像数据合成部205转送。
至此为止，针对本发明，举出附图所示的特定的实施方式进行了说明，但本发明并不限定于附图所示的实施方式，理所当然，只要起到本发明的效果，即便是至此不知道的结构，也能够采用。
附图标记说明：
100…显示器；100a…显示器的表面；200…用户接口；301a～301c、381…原图像303的操作对象；303…原图像；305…鼠标光标；306、320…开始坐标；307…目标图像；313、313a～313f…部分图像；315a～315c…部分图像313的操作对象；325、325a～325c…滑动窗口；351a～351b、353a～353c、355a～355c…操作对象；381…原图像303的操作对象；383…部分图像313的操作对象。

Claims (19)

1.一种用户接口，能够通过指示介质向电子设备输入，
其中，具有：
显示器；
接近传感器，其用于生成相对于显示有原图像的所述显示器的表面以接近状态存在的所述指示介质的接近坐标；
触摸传感器，其用于生成相对于所述显示器的表面以接触状态存在的所述指示介质的接触坐标；
部分图像控制部，其生成用于当从所述接近坐标中识别出在所述接近状态下进行的所述指示介质的飞行滑动操作时以与所述原图像重叠的方式在所述显示器显示将所述原图像的规定区域放大了的部分图像的数据；以及
接触坐标处理部，其将所述部分图像的接触坐标作为所述原图像的接触坐标向用户功能部输出。
2.根据权利要求1所述的用户接口，其中，
由触摸面板构成所述接近传感器与所述触摸传感器，通过所述显示器与所述触摸面板构成触摸屏。
3.根据权利要求1所述的用户接口，其中，
所述接触坐标处理部将与以所述接触状态存在的所述指示介质相对于所述原图像进行的滑动操作对应的接触坐标向所述用户功能部输出。
4.根据权利要求1所述的用户接口，其中，
具有指点设备，该指点设备用于生成对所述原图像显示的鼠标光标进行操作的事件。
5.根据权利要求1所述的用户接口，其中，
所述原图像的规定区域包含所述飞行滑动操作的开始坐标。
6.根据权利要求1所述的用户接口，其中，
所述部分图像控制部生成在以所述接近状态存在的所述指示介质的正下方坐标显示的目标图像的数据。
7.根据权利要求1所述的用户接口，其中，
所述部分图像控制部将在以所述接近状态存在的所述指示介质定位于所述原图像的操作对象的正上方时使所述操作对象的显示变化的事件向所述用户功能部发送。
8.根据权利要求1所述的用户接口，其中，
所述部分图像控制部在显示了所述部分图像之后从所述指示介质移动至隔离状态开始经过了规定时间时，停止所述部分图像的数据的生成。
9.根据权利要求1所述的用户接口，其中，
所述部分图像控制部生成用于以所述部分图像包含的与所述原图像的操作对象对应的操作对象位于所述原图像包含的操作对象的附近的方式显示所述部分图像的数据。
10.根据权利要求1所述的用户接口，其中，
所述部分图像控制部根据所述飞行滑动操作的从开始坐标的移动方向，而决定所述部分图像相对于所述原图像的位置。
11.根据权利要求1所述的用户接口，其中，
所述部分图像控制部根据所述飞行滑动操作的从开始坐标的移动方向，而决定所述部分图像相对于所述原图像的倍率。
12.根据权利要求1所述的用户接口，其中，
所述部分图像控制部根据进行所述飞行滑动操作的所述指示介质的移动速度或者移动加速度，而决定所述部分图像相对于所述原图像的倍率。
13.根据权利要求1所述的用户接口，其中，
所述部分图像控制部生成每当在规定的时间间隔以内反复进行的飞行滑动操作时相对于所述原图像的倍率呈阶梯状地变化的所述部分图像的数据。
14.根据权利要求1所述的用户接口，其中，
所述部分图像控制部根据所述原图像包含的多个操作对象的排列，而设定所述部分图像的形状以及尺寸、或者二者中的任一个。
15.一种电子设备，能够通过权利要求1～14中的任一项所述的用户接口进行输入。
16.一种方法，是具备显示器的用户接口处理输入的方法，其中，具有：
检测相对于显示原图像的所述显示器移动至接近状态的指示介质的坐标的步骤；
根据以所述接近状态存在的所述指示介质的坐标而检测飞行滑动操作的步骤；
响应所述飞行滑动操作的检测以与所述原图像重叠的方式显示将所述原图像的规定区域部分放大了的部分图像的步骤；以及
将相对于所述部分图像的触摸操作作为相对于所述原图像的触摸操作进行处理的步骤。
17.根据权利要求16所述的方法，其中，具有：
检测相对于所述显示器移动至接触状态的指示介质进行了的接触滑动操作的步骤；以及
响应所述接触滑动操作的检测进行相对于所述原图像的处理的步骤。
18.根据权利要求16所述的方法，其中，具有：
不进行所述飞行滑动操作而进行相对于所述原图像包含的操作对象的触摸操作的步骤；以及
不显示所述部分图像地进行相对于所述操作对象的处理的步骤。
19.根据权利要求16所述的方法，其中，具有：
从所述飞行滑动操作中提取出移动信息的步骤；以及
基于所述移动信息而决定所述部分图像的尺寸、形状、坐标以及相对于所述原图像的倍率中的任一个的步骤。
CN201610727203.XA 2015-08-27 2016-08-25 电子设备的用户接口、输入的处理方法以及电子设备 Active CN106484175B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015167570A JP5993072B1 (ja) 2015-08-27 2015-08-27 電子機器のユーザ・インターフェース、入力の処理方法および電子機器
JP2015-167570 2015-08-27

Publications (2)

Publication Number Publication Date
CN106484175A CN106484175A (zh) 2017-03-08
CN106484175B true CN106484175B (zh) 2019-06-25

Family

ID=56921050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610727203.XA Active CN106484175B (zh) 2015-08-27 2016-08-25 电子设备的用户接口、输入的处理方法以及电子设备

Country Status (4)

Country Link
US (1) US10318047B2 (zh)
JP (1) JP5993072B1 (zh)
CN (1) CN106484175B (zh)
DE (1) DE102016115479A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7130514B2 (ja) * 2018-09-27 2022-09-05 キヤノン株式会社 情報処理装置およびその制御方法およびプログラム
JP2021176049A (ja) 2020-05-01 2021-11-04 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び情報処理方法
JP2022065419A (ja) 2020-10-15 2022-04-27 セイコーエプソン株式会社 表示方法、及び表示装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102109926A (zh) * 2009-12-25 2011-06-29 索尼公司 信息处理设备、信息处理方法以及程序

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1165769A (ja) 1997-08-25 1999-03-09 Oki Electric Ind Co Ltd タッチパネル表示制御方法及びそれを記録した記録媒体
JP4882319B2 (ja) * 2005-09-08 2012-02-22 パナソニック株式会社 情報表示装置
KR100900295B1 (ko) * 2008-04-17 2009-05-29 엘지전자 주식회사 이동 디바이스와 이동 통신 시스템의 사용자 인터페이스방법
JP5326802B2 (ja) * 2009-05-19 2013-10-30 ソニー株式会社 情報処理装置、画像拡大縮小方法及びそのプログラム
JP4843696B2 (ja) 2009-06-30 2011-12-21 株式会社東芝 情報処理装置およびタッチ操作支援プログラム
US20120154331A1 (en) 2009-09-02 2012-06-21 Nec Corporation Display device
US9129045B2 (en) 2010-04-23 2015-09-08 C Speed, Llc Interactive magnification tool
JP5654118B2 (ja) 2011-03-28 2015-01-14 富士フイルム株式会社 タッチパネル装置及びその表示方法並びに表示用プログラム
JP5845969B2 (ja) * 2012-02-27 2016-01-20 カシオ計算機株式会社 情報処理装置、情報処理方法及びプログラム
JP2012043452A (ja) * 2011-10-05 2012-03-01 Toshiba Corp 情報処理装置およびタッチ操作支援プログラム
EP2624116B1 (en) 2012-02-03 2017-09-06 EchoStar Technologies L.L.C. Display zoom controlled by proximity detection
US8654076B2 (en) * 2012-03-15 2014-02-18 Nokia Corporation Touch screen hover input handling
JP5949010B2 (ja) * 2012-03-16 2016-07-06 富士通株式会社 入力制御装置、入力制御プログラム、及び入力制御方法
JP5828800B2 (ja) 2012-04-23 2015-12-09 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示装置、表示制御方法及びプログラム
JP5620440B2 (ja) * 2012-08-09 2014-11-05 パナソニックインテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示制御装置、表示制御方法及びプログラム
JP2014115876A (ja) * 2012-12-11 2014-06-26 Mitsubishi Electric Corp ３次元タッチパネルを用いた被操作端末の遠隔操作方法
US9075507B2 (en) * 2013-03-14 2015-07-07 Cellco Partnership Silence reminder

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102109926A (zh) * 2009-12-25 2011-06-29 索尼公司 信息处理设备、信息处理方法以及程序

Also Published As

Publication number Publication date
CN106484175A (zh) 2017-03-08
JP2017045298A (ja) 2017-03-02
US10318047B2 (en) 2019-06-11
JP5993072B1 (ja) 2016-09-14
US20170060324A1 (en) 2017-03-02
DE102016115479A1 (de) 2017-03-02

Similar Documents

Publication Publication Date Title
US11747956B2 (en) Multi-dimensional object rearrangement
US11632600B2 (en) Devices, methods, and graphical user interfaces for depth-based annotation
US10884592B2 (en) Control of system zoom magnification using a rotatable input mechanism
US9753639B2 (en) Device, method, and graphical user interface for displaying content associated with a corresponding affordance
KR102618362B1 (ko) 사용자 인터페이스들 사이에 내비게이팅하기 위한 디바이스 및 방법
DK179583B1 (en) USER INTERFACE FOR RECEIVING USER INPUT
DK179052B1 (en) REMOVE CAMERA INTERFACE
KR101806350B1 (ko) 사용자 인터페이스 객체를 선택하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
EP2377000A2 (en) Computing device and method for selecting display regions responsive to non-discrete directional input actions and intelligent content analysis
US20190034053A1 (en) Movement between multiple views
US20160299657A1 (en) Gesture Controlled Display of Content Items
CN106484175B (zh) 电子设备的用户接口、输入的处理方法以及电子设备
JP2019505024A (ja) タッチ感知面−ディスプレイによるジェスチャー制御式インタラクティブ方法及び装置
US10613732B2 (en) Selecting content items in a user interface display
US8786569B1 (en) Intermediate cursor touchscreen protocols
JP2016129019A (ja) グラフィック要素の選択

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant