CN102473060B - 坐标决定装置、坐标决定方法 - Google Patents

坐标决定装置、坐标决定方法 Download PDF

Info

Publication number
CN102473060B
CN102473060B CN201180002866.0A CN201180002866A CN102473060B CN 102473060 B CN102473060 B CN 102473060B CN 201180002866 A CN201180002866 A CN 201180002866A CN 102473060 B CN102473060 B CN 102473060B
Authority
CN
China
Prior art keywords
coordinate
input
information
user
coordinate information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180002866.0A
Other languages
English (en)
Other versions
CN102473060A (zh
Inventor
山内真树
小岛良宏
高桥知成
原田久美
池田洋一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN102473060A publication Critical patent/CN102473060A/zh
Application granted granted Critical
Publication of CN102473060B publication Critical patent/CN102473060B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04892Arrangements for controlling cursor position based on codes indicative of cursor displacements from one discrete location to another, e.g. using cursor control keys associated to different directions or using the tab key

Abstract

为了提供一种在用户进行自然的动作中自动地识别对于用户来说更容易使用的坐标模式并进行坐标模式的切换的坐标决定装置,本发明的坐标决定装置(200)具有:取得保存部(204),从坐标输入装置(201)中取得坐标信息并保存到记录介质中;时间相关确定部(320),确定保存在记录介质中的多个坐标信息中第1坐标信息和第2坐标信息所表示的输入时刻间的相关;坐标相关确定部(324),确定多个坐标信息中第2坐标信息和第3坐标信息所表示的输入坐标间的相关;坐标模式选择部(326),根据坐标相关值和时刻相关值来选择坐标模式;以及坐标变换部(328),将第2坐标信息所表示的输入坐标变换为基于坐标模式选择部(326)所选择的坐标模式的坐标。

Description

坐标决定装置、坐标决定方法
技术领域
本发明涉及坐标决定装置以及坐标决定方法,尤其涉及根据从坐标输入装置中取得的输入信息来决定指针在显示装置具有的显示部上的坐标位置的坐标决定装置等。
背景技术
随着显示器的大画面化/高性能化,不仅将TV用于视听广播节目和电影,还实现和利用了基于互联网连接的多种信息阅览、与连接在网络上的家庭内设备的关联、照片阅览和游戏这样的各种应用程序的新功能。
在这种状况下,为了操作预想今后进一步开发的多种多样的应用程序和功能,除了由现有的代表性的多个按钮构成的输入装置以外,还需要开发自由度更高的能够进行灵活输入操作的输入装置。
定点设备是能够控制显示在画面上的指针和光标用于指定任意位置和方向的输入装置,例如是触摸面板、轨迹球、操纵杆以及鼠标等。与以往的按钮型相比,由于与GUI的结构无关,菜单和项目的选择操作简单,所以近年来开发的移动电话、AV设备、游戏设备中多数安装该定点设备。
其中,近年来开发了很多将触摸面板或触摸垫用作输入装置的设备,其特征是具有通过直接用手指或笔进行触摸即可操作的直感性。由于能够使用多个指令/手势操作,所以作为极快的自由度高的定点设备,除了应用于信息设备,也应用于更多用户使用的家电设备的遥控器。
指针位置在依赖于这种现有的坐标输入装置的显示装置上的提示方法和操作方法通过“坐标输入装置和显示装置是一体型还是分离型”这样的分类轴和“用户输入的坐标输入装置侧的坐标系和系统显示的显示装置侧的坐标系是一一对应的吗”这样的分类轴能够大致分为4种。
这里,所谓一体型是指“像触摸面板那样重叠为1个设备的形状”,所谓分离型是指“个人计算机的显示器和鼠标这样的分离的形状”。
以下,将用户输入的坐标系和系统显示的坐标系一一对应的模式称为绝对坐标模式,将此外的模式简单地称为相对坐标模式。并且,将相互切换两坐标模式简单地称为坐标模式切换。
(1)一体型绝对坐标模式
在显示装置的显示部(显示器)和坐标输入装置的输入检测部(触摸面板)重叠的结构中,通过直接触摸显示部上的操作对象物(图标等)进行定点。任天堂公司的NintendoDS(注册商标)和苹果公司的iPhone(注册商标)等。
(2)分离型相对坐标模式
显示装置的显示部和坐标输入装置的输入检测部在物理上不重合,坐标输入相对于显示装置是间接的。台式机的鼠标、台式机的触摸垫等。在将台式机整体看作一个设备的情况下,也可以将触摸垫和显示装置说成是一体型,但在本申请中,由于显示部和输入检测部没有像上述例(1)那样在物理上重合,所以作为分离型来处理。
(3)分离型绝对坐标模式
触摸垫和手写板等输入检测部上的坐标与显示部上的坐标一一对应。手写文字输入设备用的触摸垫、描绘工具用的外带输入手写板等。和冠公司(Wacom社)的笔输入型手写板和触摸手写板(与液晶不是一体型)等。由于触摸到输入检测部(开始输入)的坐标点直接变换到显示部上对应的坐标位置,所以用于手写汉字的输入和插图描绘等。
(4)一体型相对坐标模式
在使用了触摸面板的一部分游戏应用程序中,为了操作游戏中的主人公,具有使用显示装置的显示部兼坐标输入装置的输入检测部的一部分的例子等。与该情况相当的控制设备/方法与上述(1)~(3)相比不一般。
这样,在坐标输入装置和显示装置之间,在坐标的交换(显示控制)的方法中大致存在“绝对坐标模式”和“相对坐标模式”这两种。
作为代表例,图16和图17示出使用了“分离型绝对坐标模式”和“分离型相对坐标模式”的定点例。另外,输入检测部210例如是触摸垫等。并且,显示部230例如是LCD(LiquidCrystalDisplay:液晶显示器)等。现在,为了说明坐标模式,假设用手指描画输入检测部210时,其指针的轨迹显示在显示部230上。
图16是表示绝对坐标模式时手指在输入检测部210上的轨迹和指针在显示部230上的轨迹的对应的图。
例如,当手指接触到输入检测部210上如轨迹A610那样进行描画时,在显示部230上显示轨迹显示A620。此时,输入检测部210上的接触坐标与显示部230上的坐标一一对应。
另一方面,图17是表示相对坐标模式时手指在输入检测部210上的轨迹和指针在显示部230上的轨迹的对应的图。
例如,当手指接触到输入检测部210上依次描画出轨迹B630、轨迹C632、轨迹D634时,在显示部230上显示连续的轨迹显示B640、轨迹显示C642和轨迹显示D644。这里,轨迹显示B640、轨迹显示C642和轨迹显示D644分别对应轨迹B630、轨迹C632、轨迹D634的输入。
现有技术文献
专利文献
【专利文献1】日本特开2001-117713号公报
【专利文献2】日本特开平10-340153号公报
【专利文献3】日本特开平11-095912号公报
【专利文献4】日本特开2006-201916号公报
【专利文献5】日本特开2001-228964号公报
非专利文献
【非专利文献1】花井幸太郎、角田博保著「接触面積を用いたタッチパッドのためのカーソル移動手法」、情報処理学会インタラクション2008、電気通信大学情報工学科
发明内容
发明要解决的课题
但是,在现有的坐标输入装置中,存在如下的课题:对于用户来说,在自然的动作/操作体系中,不能自动地切换坐标模式。
在实际使用时,在1个坐标输入装置中,会频繁产生需要切换坐标模式的情况。即,在1个坐标输入装置中,存在应当将来自用户的输入解释为绝对坐标模式的情况和解释为相对坐标模式的情况。
按照相对坐标模式和绝对坐标模式中的哪个进行操作是用户的喜好问题,但是用户要想进行舒适的操作,需要自动地切换相对坐标模式和绝对坐标模式而不用操作用于切换坐标模式的物理开关等。但是,在现有的技术中,还无法实现自动切换坐标模式的坐标输入装置。
本发明是用于解决这种现有课题的,其目的在于提供一种坐标决定装置,在用户进行自然的动作中,自动地识别对于用户来说更容易使用的坐标模式,并进行坐标模式的切换。
用于解决课题的手段
本发明的某个方面的坐标决定装置是决定与输入坐标对应的输出坐标的坐标决定装置,具有:取得保存部,依次取得表示所述输入坐标和输入时刻的坐标信息并保存到记录介质中;时间相关确定部,确定保存在所述记录介质中的多个坐标信息中第1坐标信息和第2坐标信息所表示的输入时刻间的相关,作为时刻相关值;坐标相关确定部,确定所述多个坐标信息中第2坐标信息和第3坐标信息所表示的输入坐标间的相关,作为坐标相关值;坐标模式选择部,根据所述坐标相关值和所述时刻相关值,选择第一坐标模式和第二坐标模式中的任意一方,作为坐标模式;以及坐标变换部,通过将所述第2坐标信息所表示的输入坐标变换为基于所述坐标模式选择部所选择的坐标模式的坐标,将该坐标决定为所述输出坐标,在选择了所述第一坐标模式时,所述坐标变换部将所述第2坐标信息所表示的输入坐标变换为预先设定与该输入坐标建立对应的坐标,在选择了所述第二坐标模式时,所述坐标变换部将所述第2坐标信息所表示的输入坐标变换为与相对于其他输入坐标已经决定的输出坐标对应的坐标。
根据该结构,无需用户对物理开关等的特殊操作,就能分别计算出与触摸操作的时刻和坐标位置对应的特征量,将这些特征量集中起来判断用户的心理模式,由此,在用户进行自然的动作中能够自动地识别对于用户来说更容易使用的坐标模式,并进行坐标模式的切换。
具体来讲,可以是所述坐标相关确定部确定所述输入坐标间的距离作为所述坐标相关值,判定所确定的所述坐标相关值是否小于事先设定的特定阈值,所述时间相关确定部确定所述输入时刻间的差作为所述时刻相关值,判定所确定的所述时刻相关值是否小于事先设定的特定时间,所述坐标模式选择部在通过所述坐标相关确定部和所述时间相关确定部判断为所述坐标相关值小于特定阈值、并且所述时刻相关值小于特定时间的情况下,将所述第二坐标模式选择为坐标模式。
通过这样的判断,将触摸操作时的操作时间和所触摸的坐标间的距离作为特征量,能够自动识别与操作坐标输入装置的用户的心理模式对应的坐标模式。
可以优选所述取得保存部从具有输入检测部的坐标输入装置中取得坐标信息,所述第1坐标信息是与用户的手指离开所述输入检测部的时刻对应的坐标信息,所述第2坐标信息是与检测到所述第1坐标信息后用户的手指再次接触到所述输入检测部的时刻对应的坐标信息。
通过使用这样的信息,能够根据用户的操作时刻识别对于用户来说容易使用的坐标模式。
可以优选所述第3坐标信息是与用户的手指接触到所述输入检测部的时刻对应的坐标信息,所述第1坐标信息是与检测到所述第3坐标信息后用户的手指离开所述输入检测部的时刻对应的坐标信息,所述第2坐标信息是与检测到所述第1坐标信息后用户的手指再次接触到所述输入检测部的时刻对应的坐标信息。
通过使用这样的信息,能够根据用户的操作时刻和坐标识别对于用户来说容易使用的坐标模式。
并且,可以是所述取得保存部还取得选择完成信息并保存到所述记录介质中,所述选择完成信息包含作为用户的选择操作完成时刻的选择完成时刻,所述坐标模式选择部从所述记录介质中取得所述选择完成信息,如果所述第1坐标信息所表示的输入时刻是距离所述选择完成时刻在事先设定的特定宽限时间内,则不进行坐标模式的选择或坐标模式的变更。
通过该处理,能够防止在伴随着点击的附属释放中进行用户没有意图的坐标模式的切换。
并且,可以是所述坐标决定装置还具有所述坐标输入装置,所述坐标输入装置接受用户的坐标输入操作和选择操作,将所述坐标信息和所述选择完成信息发送给所述取得保存部,所述输入检测部是能够检测机械按下动作的可点击触摸垫,将用户因按下所述可点击触摸垫的手指离开而完成所述可点击触摸垫的返回动作的时刻确定为所述选择完成时刻。
根据该结构,在具有可点击触摸垫的坐标输入装置中,无需用户对物理开关等的特殊操作,就能在用户进行自然的动作中自动地识别对于用户来说更容易使用的坐标模式,并进行坐标模式的切换。
并且,可以是所述坐标模式选择部根据所述第2坐标之前所述取得保存部取得的多个坐标信息和选择信息中的至少1个以上,计算表示用户的操作特性的操作程度,根据所述计算出的操作程度,变更所述特定时间、所述特定阈值和所述特定宽限时间中的至少1个。
根据该处理,按照每个用户的不同操作,各个用户在进行更自然的动作中能够自动地识别对于用户来说更容易使用的坐标模式,并进行坐标模式的切换。
具体来讲,可以是所述坐标模式选择部按照所述多个坐标信息中包含的每个坐标信息,计算该坐标信息所表示的输入时刻与其他坐标信息所表示的输入时刻之间的差,并且计算所计算出的多个所述差的平均值的倒数,作为所述操作程度。
通过该处理,能够将用户对坐标输入系统的习惯用作操作程度。
另外,还可以是所述坐标模式选择部以计算出的所述操作程度越大,使所述特定时间、所述特定阈值和所述特定宽限时间中的至少1个越小的方式进行变更。
通过该处理,随着用户对坐标输入系统的习惯的改进,能够迅速地识别对于用户来说自然的动作。
并且,可以是所述第3坐标信息所表示的位置与所述第1坐标信息所表示的位置一致。
并且,可以是所述第1坐标信息包含在第1坐标序列中,该第1坐标序列是从用户的手指暂时触摸到所述输入检测部到离开为止所输入的一连串的坐标信息,所述第2坐标信息包含在第2坐标序列中,该第2坐标序列是所述第1坐标序列输入后从用户的手指再次接触到所述输入检测部到手指离开为止所输入的一连串的坐标信息,所述第3坐标信息包含在所述第1坐标序列中。
通过使用这样的各种距离,在更多样的使用环境中,也能自动地识别对于用户来说更容易使用的坐标模式,并进行坐标模式的切换。
并且,可以是所述坐标模式选择部在从所述第1坐标信息所表示的输入时刻起未经过事先设定的特定时间并且所述取得保存部未取得所述第2坐标信息的情况下,将特定图像显示在显示部上。
通过该显示,用户能够预测系统自动识别的坐标模式。
并且,可以是所述坐标决定装置还具有操作识别部,该操作识别部判定所述第1坐标序列是否是命令显示装置开始特定的计算机处理的手势,所述操作识别部在将所述第1坐标序列判定为手势的情况下,所述坐标模式选择部不进行所述坐标模式的选择。
根据该结构,即使在能够输入各种手势的坐标输入装置中,也能在用户进行自然的动作中自动地识别对于用户来说更容易使用的坐标模式,并进行坐标模式的切换。
并且,可以是所述取得保存部还取得把持信息并保存在所述记录介质中,所述把持信息表示用户把持所述坐标输入装置的哪个位置,所述坐标决定装置还具有把持估计部,所述把持估计部使用从所述记录介质中取得的所述把持信息,估计用户对所述坐标输入装置的把持状况,所述坐标模式选择部按照所述把持估计部估计出的把持状况,变更所述特定阈值、所述特定时间和所述特定宽限时间中的至少1个的值。
根据该结构,能够更准确地识别对于用户来说更容易使用的坐标模式,并进行坐标模式的切换。
并且,可以是所述坐标输入装置具备至少2个以上的所述输入检测部,所述取得保存部将从多个所述输入检测部中的第1输入检测部中取得的坐标信息和从第2输入检测部中取得坐标信息保存在所述记录介质中。
根据该结构,即使在具有2个以上的输入检测部的坐标输入装置中,也能识别对于用户来说更容易使用的坐标模式,并进行坐标模式的切换。
并且,可以是决定与输入坐标对应的输出坐标的坐标决定装置,具有:取得保存部,依次从坐标输入装置中取得表示所述输入坐标的坐标信息并保存到记录介质中;坐标相关确定部,确定与显示在显示装置上的图标的中心对应的显示装置上的坐标、与按照绝对坐标模式对保存在所述记录介质中的所述多个坐标信息中第2坐标信息所表示的输入坐标进行了变换的输出坐标之间的距离;坐标模式选择部,根据所述距离,选择绝对坐标模式和相对坐标模式中的任意一方,作为坐标模式;以及坐标变换部,通过将所述第2坐标信息所表示的输入坐标变换为基于所述坐标模式选择部所选择的坐标模式的坐标,将该坐标决定为所述输出坐标,在选择了所述绝对坐标模式时,所述坐标变换部将所述第2坐标信息所表示的输入坐标变换为预先与该输入坐标确定对应的坐标,在选择了所述相对坐标模式时,所述坐标变换部将所述第2坐标信息所表示的输入坐标变换为与相对于其他输入坐标已经决定的输出坐标对应的坐标。
根据该结构,在用户点击显示在画面上的特定位置的图标时,坐标决定装置能够自动选择绝对坐标模式,能够选择沿着用户意图的坐标模式。
发明效果
以上,根据本发明,能够提供一种在用户进行自然的动作中自动地识别对于用户来说更容易使用的坐标模式并进行坐标模式的切换的坐标决定装置。
附图说明
图1是本实施方式中的用于实现坐标决定装置的坐标输入系统的外观图。
图2是表示本实施方式中的坐标决定装置的一例的功能框图。
图3是表示本实施方式中的输入检测部中的用户操作的一例的示意图。
图4是表示本实施方式中的用于坐标模式的判定的接触坐标的一例的示意图。
图5是表示本实施方式中的对指针显示结束后取得的输入信息的坐标模式判定处理的状态迁移图。
图6是表示本实施方式中的对指针显示结束前取得的输入信息的坐标模式判定处理的状态迁移图。
图7是表示本实施方式中的坐标决定装置的处理的流程图。
图8是表示本实施方式中的释放事件以外的事件处理的详情的流程图。
图9是表示在本实施方式的第1变形例中根据操作程度而进行的阈值等的变更处理的流程图。
图10是表示在本实施方式的第2变形例中用于坐标模式的判定的距离的一例的示意图。
图11是表示在本实施方式的第3变形例中坐标决定装置的处理的流程图。
图12是表示本发明的实施方式中的实现坐标决定装置的计算机系统的一例的外观图。
图13是表示本发明的实施方式中的实现坐标决定装置的计算机系统的硬件结构的框图。
图14a是现有例(专利文件1)所公开的坐标切换单元的流程图。
图14b是现有例(专利文件1)所公开的坐标切换单元的流程图。
图15a是现有例(专利文件5)所公开的坐标切换单元的流程图。
图15b是现有例(专利文件5)所公开的坐标切换单元的流程图。
图16是表示绝对坐标模式时的输入检测部上的轨迹与显示装置上的轨迹的对应的图。
图17是表示相对坐标模式时的输入检测部上的轨迹与显示装置上的轨迹的对应的图。
具体实施方式
首先,为了明确本发明与现有技术的差异,对用于在坐标决定装置中切换坐标模式的现有技术进行更详细的说明。
以往,作为用于切换坐标模式的技术,提出了如下技术等:
·使用户按下ESC键等,依赖于应用程序来切换绝对坐标模式和相对坐标模式(例如,参照专利文件1);
·使用户操作输入检测部210所具备的物理切换按钮(开关)(例如,参照专利文件2);
·根据显示部230上的指针位置来进行切换(例如,参照专利文件1和专利文件3);
·绝对坐标模式的输入和相对坐标模式的输入分别假定不同的输入检测部210(例如,参照专利文件4);
·根据手指在触摸垫上的接触面积的大小来进行坐标模式切换(例如,参照非专利文件1);
·根据向触摸垫输入的时间间隔来进行坐标模式切换(例如,参照专利文件5)。
图14a和图14b是表示专利文件1所记载的现有坐标模式切换处理的流程图。
如图14a所示,在步骤S2中,坐标输入系统将坐标模式设定为绝对坐标模式。
接着,在步骤S5中,坐标输入系统将在步骤S4中用户输入到触摸垫上的坐标校正为所确定的尺寸内(绝对坐标模式)。
之后,坐标输入系统只要在步骤S8中检测到来自用户的ESC键的输入,就持续上述处理。
并且,坐标输入系统如果在步骤S8中没有检测到来自用户的ESC键的输入,则在步骤S9中切换为相对坐标模式。
进一步,如图14b所示,在步骤S14中,坐标输入系统判断鼠标光标(指针)是否在规定的区域内。
当鼠标光标(指针)在区域内的情况下,在步骤S15中,坐标输入系统将坐标模式从相对坐标模式切换为绝对坐标模式。之后,在坐标输入系统在步骤S19中检测到ESC键的输入之前,坐标输入系统将坐标模式设定为绝对坐标模式。
这样,专利文件1中的坐标模式切换是通过坐标输入系统检测用户的ESC键的输入来进行的。
并且,在专利文件5中,提出了使用对触摸垫的输入的时间间隔来切换“输入模式”的方案。
图15a和图15b是表示专利文件5所记载的坐标输入系统中的输入模式的坐标模式切换处理的流程图。在图15a的步骤S44~步骤S49中,计算向触摸垫上输入n次坐标的平均值,并将其作为输入坐标值,在步骤S50中判定坐标模式。
如图15b的步骤S34所示,以“向触摸垫上的输入间隔是否在一定时间内”为基准进行该坐标模式的判定。即,如果是一定时间外,则在步骤S35中切换为被称为“第1模式”的输入模式,另一方面,如果是一定时间以内,则在步骤S36中切换为“第2模式或绝对值模式”。
但是,专利文件5所公开的第1模式和第2模式的不同仅在于有无步骤S55的“有上次坐标值?”这样的判断部分,在实际的坐标处理中,第1模式和第2模式都输出步骤S57~步骤S59的“本次输入坐标值相对于上次输入坐标值的相对值”。
即,在专利文件5所公开的发明中,第1模式和第2模式都是输出“输入坐标值间的相对值”的所谓相对坐标模式。
另外,在专利文件5中,没有公开坐标输入系统用于判断应该使用第2模式还是绝对值模式的判断基准。即,只记载了仅通过物理开关(在专利文件5中记载为“开关5”)的设定来判断是否是绝对值模式(在专利文件5中,有针对绝对值模式的以下记载。“【0032】并且,开关5根据电源电压29来切换坐标输入面板10的绝对值模式和相对值模式。根据开关5的切换,CPU3切换绝对值模式和相对值模式来进行坐标值的检测。”)。
如上所述,无论在哪个现有技术中,都不根据应用程序而从用户的输入动作中估计用户的输入意图(即,想作为绝对坐标输入还是想作为相对坐标输入的意图),由此切换坐标输入装置所使用的坐标模式,这不能成为发明的课题。
更具体来讲,当举触摸垫为例进行说明时,在基于相对坐标模式的操作中,“使手指在触摸垫上滑动、离开,并且返回到开始场所附近使手指在垫上滑动”这样的“相同动作的重复”是基本。
另一方面,在基于绝对坐标模式的操作中,“手指不离开触摸垫,一次到达目的场所”的形式是用户使用触摸垫进行操作时的基本(暗自进行的)心理模式。
以往,提出了如下的方法:根据这种沿着用户实际的利用场面的心理模式,坐标输入系统选择“实际容易使用的”坐标模式来切换坐标模式。
具体来讲,在现有技术中具有以下的课题。
·用户每次想切换坐标模式时,需要使用特定的按钮、开关、输入检测部等来进行坐标模式的切换操作(专利文件1~2和专利文件4~5);
·用户为了切换坐标模式,强制将指针向特定位置移动,并且,在将指针移动到该位置时,由于强制产生切换,所以不能自由进行操作系统的切换(专利文件1和3);
·用户为了切换坐标模式,强制记住一边控制手指的接触面积一边也操作指针这样的新奇的(不说一般的)操作,并且,在操作面上也强制进行较难的动作(非专利文件1)。
因此,对于用户来说,在自然的动作/操作体系中,具有无法自动切换坐标模式的根本性的课题。
并且,物理按钮等的设置和多个输入设备的设置是成本提高的要因。由于即使在画面上配置虚拟的切换按钮,每次也需要对开关进行切换,所以无法直感地操作,而且画面设计/设备设计也受到制约。
另一方面,本发明通过提供根据用户的输入动作能够适当选择与该输入动作时的用户的心理模式对应的坐标模式的坐标决定装置,能够解决上述现有的课题。
以下,参照附图对本发明的实施方式进行说明。
图1是在本实施方式中使用本发明的坐标决定装置200来实现的坐标输入系统90的外观图。坐标输入系统90由显示装置100和坐标输入装置201构成。
显示装置100是从坐标输入装置201中接受用户的输入并将与该输入对应的处理结果显示在显示部230上的装置。例如,考虑电视机和录像/再现装置等,但不限于此。
坐标输入装置201是向通过有线或无线连接的显示装置100输入用户的操作信息的输入装置。例如,考虑电视机和录像/再现装置的遥控器等,但不限于此。
并且,显示装置100具有坐标决定装置200和显示部230。
坐标决定装置200是取得用户向坐标输入装置201输入的输入信息并显示在显示部230上的处理装置。
本实施方式的坐标决定装置200自动决定对于用户来说更容易使用的坐标模式,将按照所决定的坐标模式从坐标输入装置201内取得的输入坐标变换为指针坐标位置之后,输出给显示部230。
即,指针坐标位置是坐标决定装置200的输出坐标。
显示部230是显示装置100具备的视觉显示装置。例如,考虑LCD和CRT(CathodeRayTube:阴极线管)等,但不限于此。显示部230在坐标决定装置200输出的指针坐标位置处显示指针110。
指针110是在GUI(GraphicalUserInterface:图像用户界面)环境中为了示出搜查对象而显示的小图形。通过对坐标输入装置201的操作,显示在显示部230上的指针110移动。例如,指针110是箭头和手指等形状的图形等。
并且,坐标输入装置201具备输入检测部210、把持检测传感器212和发送部220。
输入检测部210是取得输入信息的定点设备。作为用于输入检测部210的设备,例如考虑触摸垫、手写板和轨迹球等。
输入检测部210取得的输入信息主要是坐标信息和选择信息。
所谓坐标信息例如是通过用户的手指触摸输入检测部210而输入的输入坐标及其输入时刻。即,坐标决定装置200根据包含在坐标信息中的输入坐标决定作为输出坐标的指针坐标位置。
包含在坐标信息中的输入坐标对应于用户的手指在输入检测部210上触摸的位置。
另外,所谓输入坐标例如是表示2维或3维空间上的点的值。
用户通过使用输入检测部210输入坐标信息,例如能够使指针110移动。
接着,所谓选择信息例如是表示用户通过触摸或点击输入检测部210等而输入的选择操作的开始和结束中的任意一个的输入信息。具体来讲,选择信息是表示选择开始时刻的选择开始时刻信息和表示选择结束的选择结束时刻信息中的任意一方。
例如,在输入检测部210是可点击触摸垫的情况下,输入检测部210输出用户完成对输入检测部210按压的时刻,作为选择开始时刻信息。
并且,通过用户的手指离开输入检测部210,输入检测部210输出输入检测部210根据可点击触摸垫所具有的弹簧机构而返回到原位置(可点击触摸垫的返回动作完成)的时刻,作为选择结束时刻信息。
用户通过使用输入检测部210来输入选择信息,例如能够选择显示在显示部230上的图标,执行与图标相关联的处理。
另外,通过组合选择信息和坐标信息,例如能够进行拖拉操作。
把持检测传感器212是检测用户把持坐标输入装置201的壳体的哪个位置并将其作为把持信息输出的传感器。
例如,考虑只有设置在用户把持的部位的把持检测传感器212输出表示在把持期间被把持的ON信息。
通过在坐标输入装置201的壳体的外缘或背面等设置这种把持检测传感器212,坐标决定装置200例如获得用于判断用户是用左手把持坐标输入装置201还是用右手保持等的信息。
作为把持检测传感器212的检测方式,考虑抵抗膜式、红外线式、SAW式、静电式等,但不限于此。
发送部220是通信接口。发送部220将输入检测部210检测到的输入信息发送给坐标决定装置200。发送部220发送的输入信息具体来讲是多个坐标信息、选择信息和把持信息等。
发送部220使用的通信方式考虑无线LAN和红外线通信、近距离无线通信等,但不限于此。
另外,虽然未在图1中记载,但坐标输入装置201和坐标决定装置200也可以具备CPU(CentralProcessingUnit:中央处理单元)等运算装置、ROM(ReadOnlyMemory:只读存储器)和RAM(RandomAccessMemory:随机存取存储器)等存储装置。
根据以上的结构,用户通过对坐标输入装置201所具备的输入检测部210进行操作,能够将显示在显示装置100所具备的显示部230上的指针110移动到期望的位置。并且,能够选择期望的图标。
另外,作为图1中的输入检测部210,触摸垫和触摸面板是当然不用说的,本发明以个人计算机的鼠标(除了一般的滚动鼠标以外,还包含罗技公司(logicool)的空气鼠标MXAir这样的能够在空中定点的鼠标等任意的鼠标)、空中定点设备(照相机式的Wii(注册商标)的遥控器等)和手写板型输入设备等一般能获得的设备为前提。
并且,在图1中坐标输入装置201和坐标决定装置200分离,但坐标输入装置201和坐标决定装置200也可以是一体型。
图2是表示本实施方式中的坐标输入装置201和显示装置100的功能结构的框图。另外,对与图1相同的要素赋予相同的符号并省略说明。
坐标决定装置200具备取得保存部204、检测结果序列存储部314、把持估计部316、操作识别部318、时间相关确定部320、坐标相关确定部324、坐标模式选择部326以及坐标变换部328。
取得保存部204通过无线或有线依次取得从坐标输入装置201发送的输入信息(坐标信息、选择信息、把持信息等),并存储到检测结果序列存储部314中。
检测结果序列存储部314是记录介质,例如可以通过RAM等实现。
把持估计部316从检测结果序列存储部314中取得把持检测传感器212输出的把持信息。然后,把持估计部316根据把持信息估计用户的把持状况,并输出给坐标模式选择部326。
操作识别部318从检测结果序列存储部314中取得输入信息(坐标信息、选择信息等),识别该输入信息是否与事先确定的多个“事件”中的某个匹配。然后,操作识别部318将识别结果通知给坐标模式选择部326。
操作识别部318识别的事件的种类例如考虑“(指针的)移动”、“释放”、“手势(滑动、轻击等)”、“选择”等。
其中,选择事件和释放事件是能够从一个选择信息中识别的事件。
另一方面,移动事件和手势事件如果不是取得一连串的坐标信息后则无法区别。在该情况下,操作识别部318在能够将暂时识别为移动事件的一连串的坐标信息识别为例如描画圆的手势后,考虑另外识别为手势事件。
接着,时间相关确定部320确定从检测结果序列存储部314中取得的多个坐标信息中的第1坐标信息所表示的输入时刻和第2坐标信息所表示的输入时刻之间的相关,作为时刻相关值,并输出给坐标模式选择部326。
这里,所谓的“确定相关作为时刻相关值”例如是在计算出输入了第1坐标信息的输入时刻和输入了第2坐标信息的输入时刻的差之后,将该差与事先确定的特定时间进行比较。
即,时间相关确定部320将2个输入时刻的差与特定时间之间的大小关系作为时刻相关值输出给坐标模式选择部326。
接着,坐标相关确定部324确定从检测结果序列存储部314中取得的多个坐标信息中的第3坐标信息所表示的输入坐标和第2坐标信息所表示的输入坐标之间的相关,作为坐标相关值,并输出给坐标模式选择部326。
这里,所谓的“确定相关作为坐标相关值”例如是在计算出第3坐标信息的输入坐标与第2坐标信息的输入坐标的距离之后,将该距离与事先确定的特定阈值进行比较。
即,坐标相关确定部324将2个输入坐标间的距离与特定阈值之间的大小关系作为坐标相关值输出给坐标模式选择部326。
坐标模式选择部326根据从坐标相关确定部324和时间相关确定部320中取得的特定结果,将坐标模式决定为绝对坐标模式(即,第一坐标模式)和相对坐标模式(即,第二坐标模式)中的任意一方。
例如,如果输入了第1坐标信息的时刻与输入了第2坐标信息的时刻的差在特定时间以下、并且第3坐标信息所表示的输入坐标与第2坐标信息所表示的输入坐标的距离在特定阈值以内,则坐标模式选择部326考虑将坐标模式决定为相对坐标模式。后面将对更详细的决定方法进行叙述。
坐标变换部328按照坐标模式选择部326决定的坐标模式,将坐标信息所表示的输入坐标变换为显示部230上的指针坐标位置,并将变换后的指针坐标位置输出给显示部230。
如果使用图17具体进行说明,则现在用户输入了轨迹B630后,手指暂时从输入检测部210离开,假设手指触摸了轨迹C632的始端。并且,假设坐标模式选择部326将坐标模式决定为相对坐标模式。
在该情况下,坐标变换部328将与轨迹C632的始端对应的输入坐标变换为与轨迹显示B640的终端对应的指针坐标位置,并输出给显示部230。
即,坐标变换部328将与轨迹C632的始端对应的输入坐标变换为与轨迹显示B640的终端对应的坐标,该坐标是相对于其他输入坐标已经决定的输出坐标。
并且,在坐标模式是绝对坐标模式的情况下,坐标变换部328将与轨迹C632的始端对应的输入坐标变换为预先与该输入坐标确定对应的坐标。坐标变换部328按照静态(即,与对应于轨迹C632的始端的坐标信息以外的坐标信息无关地进行确定)的规则进行该对应。
另外,本发明的坐标决定装置200即使是只具有取得保存部204、时间相关确定部320、坐标相关确定部324、坐标模式选择部326以及坐标变换部328的结构,也能达成发明目的。
即,作为坐标决定装置200的构成要素,即使不包含检测结果序列存储部314,例如即使坐标输入装置201、坐标决定装置200以外的显示装置100具备检测结果序列存储部314,也能实施本发明。
并且,作为坐标决定装置200的构成要素,即使不包含把持估计部316,例如即使由坐标输入装置201估计把持状态,并且坐标决定装置200取得该估计结果,也能实施本发明。并且,如后面所述,坐标模式选择部326只不过是将把持状况用作坐标模式选择用的附加信息,所以即使坐标模式选择部326不使用把持状况,也能实施本发明。
并且,作为坐标决定装置200的构成要素,即使不包含操作识别部318,例如即使由坐标输入装置201识别用户操作,并且坐标决定装置200取得该识别结果,也能实施本发明。并且,例如在只以指针110的移动为目的的系统等限定了要发生的事件的种类的情况下,即使不识别用户的操作,也能知道发生事件。因此,即使不具备操作识别部318也能实施本发明。
接着,使用图3~图6对坐标模式选择部326进行的坐标模式选择处理的概要进行说明。
图3是表示在本实施方式中与坐标模式的决定相关的输入检测部中的用户的操作的一例的示意图。
如图3所示,用户按照第1输入状态810~第4输入状态816的顺序操作输入检测部210。
在第1输入状态810中,当前的手指的位置800位于接触开始点904。作为本发明的第3坐标信息,例如考虑使用接触开始点904的输入坐标和输入时刻。
在第2输入状态812中,用户使手指在输入检测部210上移动后,现在手指即将离开输入检测部210上的移动结束点906。例如,作为本发明的第1坐标信息,考虑使用将手指即将从输入检测部210上离开之前的移动结束点906的输入坐标和输入时刻。
在第3输入状态814中,用户使手指暂时离开移动结束点906,并使手指再次放置在接触开始点910上。作为本发明的第2坐标信息,例如考虑接触开始点910的输入坐标和输入时刻。
在第4输入状态816中,是用户的手指在输入检测部210上移动的状态,当前的手指的位置800位于移动点912。
另外,将从用户的手指暂时接触到输入检测部210上的接触开始点904开始到手指离开移动结束点906为止输入的一连串的坐标信息设为第1坐标序列。
并且,将输入第1坐标序列后从用户的手指再次接触到输入检测部210上的接触开始点910起通过移动点912到手指再次离开为止所输入的一连串的坐标信息设为第2坐标序列。
接着,图4是表示输入检测部210上的坐标G_it(x,y)510、G_n(x,y)512和G_cur(x,y)520的图。
G_it(x,y)510是第1坐标序列的始端。因此,图3的接触开始点904是G_it(x,y)510。
G_n(x,y)512是第2坐标序列的始端。因此,图3的接触开始点910是G_n(x,y)512。
G_cur(x,y)520是当前接触在输入检测部210上的坐标。因此,图3的移动点912是G_cur(x,y)520。
坐标模式选择部326使用这些G_it(x,y)510、G_n(x,y)512和G_cur(x,y)520等输入坐标、输入时刻和把持信息等来选择坐标模式。
图5是表示本实施方式中的坐标模式选择部326进行的坐标模式判定处理的一例的状态迁移图。
坐标模式选择部326将从输入检测部210中取得的第2坐标序列的始端G_n(x,y)512作为显示在显示部230上时的坐标模式,选择绝对坐标模式130和相对坐标模式132中的任意一方。即,坐标模式选择部326选择用于将第2坐标信息所表示的输入坐标输出为指针坐标位置的坐标模式。
这里,为了说明,假设当前的坐标模式是绝对坐标模式130。
并且,将从输入坐标信息的用户的手指离开输入检测部210开始到手指再次接触到输入检测部210为止的时间设为Wr。
具体来讲,从用户的手指在移动结束点906离开输入检测部210后到手指再次放到输入检测部210上的接触开始点910为止的时间差为Wr。更具体来讲,第1坐标信息所表示的输入时刻与第2坐标信息所表示的输入时刻之差为Wr。
此时,时间相关确定部320对Wr和特定时间Wd进行比较,将表示Wr是否在特定时间Wd以上的时刻相关值通知给坐标模式选择部326。坐标模式选择部326取得通知,如果Wr在特定时间Wd以上,则坐标模式选择部326选择绝对坐标模式130作为坐标模式(S800)。
并且,坐标模式选择部326取得通知,如果Wr小于特定时间Wd,则坐标模式选择部326选择相对坐标模式132作为坐标模式(S806)。
另一方面,假设当前的坐标模式是相对坐标模式132。
此时,时间相关确定部320也对Wr和特定时间Wd进行比较,将表示Wr是否在特定时间Wd以上的时刻相关值通知给坐标模式选择部326。
坐标模式选择部326取得通知,如果Wr在特定时间Wd以上,则坐标模式选择部326选择绝对坐标模式130作为坐标模式(S802)。
并且,坐标模式选择部326取得通知,如果Wr小于特定时间Wd,则坐标模式选择部326选择相对坐标模式132作为坐标模式(S804)。
并且,图6是表示本实施方式中的坐标模式选择部326进行的坐标模式选择处理的另一例的状态迁移图。
与图5同样,坐标模式选择部326将显示部230显示从输入检测部210中取得的第2坐标序列的始端G_n(x,y)512时的坐标模式选择为绝对坐标模式130和相对坐标模式132的任意一方。
为了说明,假设当前的坐标模式是绝对坐标模式130。
并且,将初始接触位置G_it(x,y)510和初始位置G_n(x,y)512这两个点之间的距离设为Rm。
具体来讲,接触开始点904与接触开始点910之间的距离为Rm。更具体来讲,将第3坐标信息所表示的输入坐标与第2坐标信息所表示的输入坐标之间的距离设为Rm。
此时,坐标相关确定部324将Rm与特定阈值Rr进行比较,将Rm是否大于特定阈值Rr作为坐标相关值通知给坐标模式选择部326。坐标模式选择部326取得通知,如果Rm大于特定阈值Rr,则坐标模式选择部326选择绝对坐标模式130作为坐标模式(S820)。
并且,坐标模式选择部326取得通知,在坐标相关确定部324的比较结果是Rm在特定阈值Rr以下的情况下,坐标模式选择部326选择相对坐标模式132作为坐标模式(S836)。
另一方面,假设当前的坐标模式是相对坐标模式132。
此时,坐标相关确定部324将Rm与特定阈值Rb进行比较,将Rm是否大于特定阈值Rm作为坐标相关值通知给坐标模式选择部326。
坐标模式选择部326取得通知,如果Rm大于特定阈值Rb,则坐标模式选择部326选择绝对坐标模式130作为坐标模式(S822)。
并且,坐标模式选择部326取得通知,如果Rm在特定阈值Rb以下,则坐标模式选择部326选择相对坐标模式132作为坐标模式(S824)。
以上是坐标模式选择部326进行的处理的概要。
图7是表示本实施方式中的坐标决定装置200的具体处理的流程图。
另外,为了说明,以下假设初始状态为绝对坐标模式来进行说明。
并且,假设一开始用户的手指未接触输入检测部210。
首先,用户把持坐标输入装置201,假设手指接触到输入检测部210。其结果,发送部220将输入检测部210和把持检测传感器212检测到的信号作为输入信息发送给取得保存部204。取得保存部204将所取得的输入信息保存到检测结果序列存储部314中。
接着,坐标模式选择部326从检测结果序列存储部314中取得坐标信息,将坐标信息中包含的输入坐标存储为G_it(x,y)510(S214)。
另外,由于当前时刻用户未使手指在输入检测部210上移动,所以G_it(x,y)510和G_cur(x,y)520一致。
接着,坐标变换部328将所取得的输入坐标G_cur(x,y)520变换为与作为当前坐标模式的绝对坐标模式130对应的指针坐标位置,并输出给显示部230。
其结果,显示部230将为了显示指针110而保持的指针坐标位置更新为与G_cur(x,y)520对应的指针坐标位置(S216)。
这样,在与用户的手指所触摸的输入检测部210上的输入坐标对应的显示部230上的指针坐标位置处显示指针110。
另外,在用函数M表示坐标变换部328进行的坐标变换处理时,在绝对坐标模式下将G_cur(x,y)520变换为显示部230上的指针坐标位置P(X,Y)的处理由P(X,Y)=M(x,y)表示。即,坐标变换部328只根据接触瞬间的坐标信息中包含的输入坐标(x,y)决定指针坐标位置P(X,Y)。
另一方面,相对坐标模式下的坐标变换处理由P(X,Y)=M(x,y,X_pre,Y_pre)表示。即,坐标变换部328除了输入坐标(x,y),还依赖与其之前的输入对应的指针坐标位置(X_pre,Y_pre)决定要输出的指针坐标位置(X,Y)。
接着,操作识别部318试着从检查结果序列存储部314中取得还未取得的新的输入信息(S218)。
在无法取得新的输入信息的情况下,操作识别部318试着再次取得(在S218中为“否”)。
另一方面,在操作识别部318能够从检测结果序列存储部314中取得一些输入信息的情况下,操作识别部318判定能否将该输入信息识别为某个事件(在S218中为“是”,S220、S231、S232)。
这里,操作识别部318识别的事件包含释放事件、移动事件、选择事件、手势事件等。
释放事件是表示用户使暂时接触到输入检测部210上的手指离开输入检测部210的事件。操作识别部318通过判断相邻的输入时刻的差是否在特定值以上或者相邻的输入坐标的距离是否在特定值以上,能够识别释放事件的发生。
移动事件是表示用户不使暂时接触到输入检测部210上的手指离开输入检测部210而移动的事件。操作识别部318通过取得坐标信息等,能够识别移动事件的发生,其中,该坐标信息包含从之前的坐标信息所包含的输入时刻起的一定时间内的输入时刻、并且包含从之前的坐标信息所包含的输入坐标起的一定距离内的输入坐标。
选择事件是指用户的选择操作完成的事件。
操作识别部318在从检测结果序列存储部314中取得的选择信息是选择完成信息的情况下,识别选择事件的发生。
所谓选择完成信息是选择开始时刻信息和选择结束时刻信息中的任意一方。将选择开始时刻信息和选择结束时刻信息中的哪方作为选择完成信息,由坐标决定装置200事先决定。
这是因为,将用户选择操作的完成作为用户选择的开始时刻还是选择的结束时刻,是依赖于应用程序和坐标决定装置200的,所以选择开始时刻信息和选择结束时刻信息都能作为选择完成信息。
手势事件是通过用户在输入检测部210上进行弹这样的动作或者画圆或四方等进行特定输入,使显示装置100开始进行与这种特定输入相关联的特定的计算机处理的事件。
如前所述,操作识别部318例如在相邻时刻由于输入坐标大幅不同,能够识别移动事件的发生。但是,如果不是取得了一定期间的连续的输入信息之后,则操作识别部318无法识别手势事件的发生。
首先,操作识别部318判定从检测结果序列存储部314中取得的输入信息是否能识别为释放事件(S220)。
在操作识别部318判断为不能将该输入信息识别为释放事件的情况下(在S220中为“否”),显示装置100进行与事件类别对应的事件处理(S219)。其详细情况在后面进行叙述。
另一方面,在操作识别部318将该输入信息识别为释放事件的情况下(在步骤S220中为“是”),坐标模式选择部326记录作为被识别为释放事件的输入信息的坐标信息所包含的输入时刻(用户的手指离开坐标输入装置201的时刻)。以下,将该时刻设为Tr。
接着,操作识别部318判定能否将识别为释放事件的输入信息识别为手势事件的一部分(S231)。即,操作识别部318判定能否将操作识别部318从取得保存部204中取得的一连串的坐标信息识别为手势事件。
更具体来讲,操作识别部318判定能否将作为从接触开始点904(第3坐标信息所表示的输入坐标)到移动结束点906(第1坐标信息所表示的输入坐标)的一连串的输入坐标的第1坐标序列识别为手势事件(S231)。
这是因为,存在轻击动作(用手指弹这样的手势动作)的情况等在手指离开输入检测部210时才能够确定识别为轻击动作的种类的手势动作。因此,操作识别部318在用户的手指离开输入检测部210的时刻,需要判断用户输入的一连串的坐标信息是否是手势事件(S231)。
这里,操作识别部318在将识别为释放事件的坐标信息判断为是手势事件的一部分(即,识别为手势事件的一连串的坐标信息的终端)的情况下(在S231中为“是”),显示装置100进行与该手势事件对应的处理(S230)。
例如,在轻击动作的情况下,显示装置100按照轻击手势的操作方向(在横向上轻击或者在纵向上轻击等),进行变更/控制画面显示等。
另一方面,在操作识别部318未将坐标信息识别为手势事件的一部分的情况下(在S231中为“否”),坐标模式选择部326使用时间相关确定部320判断是否在释放事件的发生时刻Tr之前的特定宽限时间(以后,设为Wt)内发生了选择事件(S232)。
即,时间相关确定部320计算坐标模式选择部326所存储(后述的图8,S412)的选择事件的发生时刻(选择操作的完成时刻)Ts与释放事件的发生时刻(手指离开输入检测部210的时刻)Tr的差,并将该差与特定宽限时间Wt进行比较,将比较结果作为时刻相关值输出给坐标模式选择部326。
坐标模式选择部326在时间相关确定部320的比较结果是Tr和Ts的差在特定宽限时间Wt以内的情况下,判断为“本次的释放事件是发生了选择事件所导致的附属的事件发生”(在步骤S232中为“是”),转移到依据选择事件的处理(S234)。
即,坐标模式选择部326不进行坐标模式的选择或者不进行坐标模式的变更。
例如,在坐标模式选择部326判断为是伴随着进行了按压按钮这样的选择动作的释放时,显示装置100在画面上进行表示按钮按压结束的显示处理和用户通过按压按钮而期待的实质性处理等(S234)。
另一方面,在Tr与Ts的差大于特定宽限时间Wt的情况下(在步骤S232中为“否”),坐标模式选择部326开始进行坐标模式的选择处理。
这里,为了以后的说明,将发生了释放事件之后的经过时间(从操作识别部318识别为是释放事件的坐标信息所包含的输入时刻起的经过时间)设为Wr。
时间相关确定部320判定从释放事件发生起到现在是否未经过特定的时间Wp、即是否满足Wr≤Wp,将其结果作为时刻相关值输出给坐标模式选择部326(S240)。
在坐标模式选择部326判明了从时间相关确定部320中取得时刻相关值的结果是从释放事件发生起未经过特定时间Wp、即满足Wr≤Wp的情况下,坐标模式选择部326判定能否从检测结果序列存储部314中取得新的坐标信息(S242)。
在坐标模式选择部326无法取得新的坐标信息的情况下(在S242中为“否”),坐标模式选择部326将表示未经过Wp的指针110等的图像显示到显示部230上(S244)。然后,在满足Wr≤Wp的情况下,坐标模式选择部326返回新的坐标信息的取得判定处理(S242)(S246到S240的循环)。
即,坐标模式选择部326的处理是轮询状态(或回调状态),在取得坐标信息或者从释放事件发生起经过特定时间Wp之前,持续进行指针110等在显示装置100上的图像显示(S244)。
坐标模式选择部326在特定时间Wp内无法从检测结果序列存储部314中取得新的坐标信息的情况下,退出S240至S246的循环处理,然后结束指针110在显示部230上的显示(S250)。
在结束了指针110的显示之后,坐标模式选择部326也判定能否在一定时间内从检测结果序列存储部314中取得新的坐标信息(S251)。
这里,在坐标模式选择部326从检测结果序列存储部314中取得了新的坐标信息的情况下(在S251中为“是”),坐标模式选择部326进行坐标模式的选择处理(S252)。
其结果,在坐标模式选择部326选择了绝对坐标模式130作为坐标模式的情况下(在步骤S252中为“绝对”),选择绝对坐标模式130作为坐标模式(S254)。
另一方面,在坐标模式选择部326决定为相对坐标模式132的情况下(在S252中为“相对”),选择相对坐标模式132作为坐标模式(S256)。
然后,设定为任意一种模式的情况下,坐标模式决定装置200都从循环1的最开始再次进行处理(S214)。
另外,坐标模式选择部326进行的动作模式的选择(S252)例如考虑按照上述的图5所示那样进行。
此时,通过将特定时间Wd的值设定得充分大,在指针110的显示结束后(S250),也容易转移到以原来的指针位置为基点的相对坐标模式132(在S252中为“相对”)。相反,通过将Wd的值设定得较小,在指针110的显示结束后(S250),容易转移到绝对坐标模式130(在步骤S252中为“绝对”)。Wd的值例如可以使用事先确定的特定值。
例如,在将Wp设定为2秒钟的情况下,用户的手指离开输入检测部210两秒钟,指针110(例如,模拟了手指形状的图像)便会显示在显示部230上。在显示了该指针110的期间再次向输入检测部210进行了输入的情况下,坐标决定装置200将该输入作为从指针110的位置开始的相对坐标上的输入来进行处理。另一方面,将从指针110的显示消失起到向输入检测部210的输入作为绝对坐标上的输入来进行处理。这样,将指针的显示状态和坐标输入模式对应起来的坐标决定装置在现有技术中是未被公开的。并且,即使是作为相对坐标模式进行动作的情况,也从指针110的显示消失后输入的输入开始点起作为绝对坐标上的输入来进行处理,这种根据用户的操作时间来改变输入检测部210与显示部230的显示内容的对应关系的技术以及作为其前提的课题在现有技术中未被公开。
接着,在坐标模式选择部326无法从检测结果序列存储部314中取得新的坐标信息的情况下(在S251中为“否”),坐标模式选择部326选择坐标决定装置200的既定值作为坐标模式。例如,如果相对坐标模式132是既定值,则选择相对坐标模式132作为坐标模式(S256)。然后,坐标决定装置200再次从循环1的最开始进行处理(S214)。
以上,叙述了坐标模式选择部326在预定时间Wp内无法从检测结果序列存储部314中取得坐标信息的情况下(S250及以后)的坐标模式选择部326的处理。
接着,对坐标模式选择部326在预定时间Wp内能够从检测结果序列存储部314中取得坐标信息的情况下(在S242中为“是”)的坐标模式选择部326的处理进行说明。
在该情况下,坐标模式选择部326使用能够取得的坐标信息选择坐标模式(S280)。
另外,坐标模式选择部326进行的动作模式的选择(S280)考虑例如按照上述图6所示那样进行。
其结果,在坐标模式选择部326选择了绝对坐标模式130的情况下(在S280中为“绝对”),选择绝对坐标模式130作为坐标模式(S282)。并且,在坐标模式选择部326决定为相对坐标模式132的情况下(在S280中为“相对”),选择相对坐标模式132作为坐标模式(S284)。
这里,坐标决定装置200通过以下的处理,实现以往无法实现的如下的处理:在用户进行自然的动作中,自动识别对于用户来说更容易使用的坐标模式,并且自动切换坐标模式。
即,坐标决定装置200通过时间相关确定部320计算释放事件的发生时刻与当前时刻的差Wr,作为时刻相关值(S240),并将该时刻相关值输出给坐标模式选择部326。
这里,当Wr在Wp以下时,如果坐标模式选择部326取得新的坐标信息,则坐标相关确定部324计算G_it(x,y)510与G_n(x,y)512的距离Rm,将该距离与特定阈值Rr和Rb中的任意一方的比较结果(大小关系)作为坐标相关值输出给坐标模式选择部326。
根据该比较结果,如果Rm大于特定阈值,则坐标模式选择部326将坐标模式自动选择为绝对坐标模式130,反过来,如果小于特定阈值,则坐标模式选择部326将坐标模式自动选择为相对坐标模式132(S280)。
最后,设定为任意一种模式的情况下,显示装置100都从与坐标模式对应的显示坐标的更新开始再次进行处理(S216)。
另外,坐标模式选择部326在选择了绝对坐标模式130作为坐标模式的情况下(S282),坐标模式选择部326将G_cur(x,y)520存储为新的G_it(x,y)510(S286)。
图8是表示本实施方式中的释放事件以外的事件处理的详细情况的流程图。
即,图8所示的流程图是在操作识别部318无法将输入信息识别为释放事件的情况下(在步骤S220中为“否”),与显示装置100进行的事件类别对应的处理(S219)的详细情况。
首先,在操作识别部318将输入信息判断为是移动事件的情况下(在S402中为“是”),显示装置100进行与移动事件对应的处理(S404)。具体来讲,显示装置100对坐标模式选择部326存储的G_cur(x,y)520的值进行更新。
然后,坐标变换部328将G_cur(x,y)520变换为对应的显示部230上的指针坐标位置。另外,显示部230描绘指针110(S216)。
并且,在操作识别部318将输入信息判断为是手势事件的情况下(在S402中为“否”、并且在S406中为“是”),显示装置100进行与手势事件对应的处理(S408)。
手势可以是任意的手势,例如是“旋转”动作的情况下,如果操作识别部318识别出在输入检测部210上的类似于“旋转”的动作,则将事件识别为“旋转手势”。然后,显示装置100进行与“旋转手势”对应的处理。具体来讲,例如考虑使画面显示滚动等。
并且,在操作识别部318将输入信息判断为是选择事件的情况下(在S406中为“否”、并且在S410中为“是”),坐标模式选择部326记录选择完成信息所表示的选择完成时刻(选择开始时刻和选择结束时刻中的任意一个)、选择完成时刻的G_cur(x,y)520的坐标以及根据需要所选择的图标的种类等(S412)。
进而,显示装置100进行伴随着选择完成信息的处理(S416)。具体来讲,相当于如下的处理等:当在特定的图标上按压了作为可点击触摸垫的输入检测部210时,显示装置100在显示部230上描绘位于指针110的位置处的按钮凹陷的状态。
以上,是对释放事件以外的事件的处理(S219)。
如上所述,本实施方式的坐标输入装置能够动态地选择与用户的操作对应的动作模式,不需要用户明示的动作切换就能无缝地提供对于各个用户来说以及根据各个状况而容易使用的动作模式。
另外,在本实施方式中,在坐标模式选择部326进行的循环处理(S240~S246)到最后结束的情况下,坐标模式选择部326等待输入(S251),转移到动作模式判定(S252)。
可是,在指针显示结束(S250)后,坐标决定装置200也可以将处理返回到循环1的最开始。即,可以省略坐标决定装置200进行的处理中的步骤S251、步骤S252、步骤S254以及步骤S256。在该情况下,坐标决定装置200在步骤S250之后执行步骤S214。
另外,在本实施方式中,根据从释放事件的发生(S220)到下一次接触(输入)的时间(S242、S251),坐标模式选择部326切换选择处理的内容(S252、S280)。
可是,坐标模式选择部326也可以进行选择处理而不根据时间来切换动作模式(S252)。具体来讲,可以省略坐标决定装置200进行的处理中的步骤S240、步骤S242、步骤S244、步骤S246、步骤S280、步骤S282、步骤S284、步骤S286。在该情况下,当在步骤S232中预定条件不成立时(在步骤S232中为“否”),坐标决定装置200接下来进行S250的处理(不需要S240至S246的循环处理)。
另外,在任意的事件发生时,根据到下一次接触(输入)的时间,在想切换坐标模式选择部326进行的坐标模式的选择处理的情况下,可以省略步骤S240之前的处理,将步骤S240及以后应用于任意的输入系统。
另外,坐标模式选择部326的坐标模式的选择处理(S252和S280)不限于上述。例如,坐标模式选择部326也可以根据机器和设备等坐标决定装置200能够得知的任意数据来选择坐标模式。
另外,坐标决定装置200也能够任意决定坐标模式的规定值。例如,可以人为地或者根据之前的使用历史/经过,由坐标决定装置200自动决定坐标模式,坐标决定装置200可以从ROM等中取得坐标模式作为初始设定值。
另外,操作识别部318检测/处理怎样的事件(S218、S220、S231)依赖于系统结构和应用程序结构,不必限于上述的三个事件。
在本实施方式中,作为定点功能,列举了“移动”,作为一般的动作识别功能,列举了“手势”,作为传递决定等意图的功能,列举了“选择”。
但是,作为坐标决定装置200的处理对象的输入信息不限于这3种事件,可以包含“由能够从一般可利用的输入检测部210中取得的信息和组合一般可利用的识别技术而得到的识别结果信息等构成的”所有事件。
另外,显示装置100进行的移动事件处理(S404)不仅是内部的指针坐标的更新,也包含一般的在个人计算机/组装设备等中指针移动时进行的任意的处理。
例如,具有指针对GUI部件的选中判定处理/显示等,但并不限于此。
另外,显示装置100进行的手势事件处理(S408)不仅是旋转,也包含基于一般的手势识别技术的任意处理。例如,具有基于滑动操作的画面的滚动处理和基于放大操作的画面的放大处理等,但不限于此。
另外,显示装置100进行的选择事件处理(S412)可以将通过一般的输入检测部210的选择操作方法而发生的任意的选择事件作为触发。
例如,在输入检测部210是触摸垫的情况下,通过在触摸垫的下部设置输入开关机构,使触摸垫整体作为可点击触摸垫发挥功能,可以将像物理开关(按钮)那样按压该触摸垫作为选择操作的触发。并且,选择操作不限于这些。
另外,显示装置100进行的手势事件处理(S408)不限于上述的轻击动作,也可以是伴随任意释放的手势操作。
另外,显示装置100进行的基于选择事件的动作(S234)不仅限于按钮显示例,也可以是个人计算机和一般设备中的一般的选择事件中的任意的处理或显示。
另外,坐标模式选择部326的等待输入的循环2(S240、S242、S244、S246)不一定非要是循环控制,也可以通过系统的中断处理等任意的编程手段和系统构成手段来实现相同的功能。这在循环1和等待输入(S218、S251)中也是同样的。
另外,坐标模式选择部326进行的等待输入的循环控制后的指针显示结束处理(S250)在S246至S246的循环结束后,不仅停止(消去)即时显示,还可以显示表示显示逐渐变淡、或者闪烁、或者“时间马上结束”这样的动画效果或提示、建议等。
另外,坐标模式选择部326也可以在等待输入的循环控制中(S240、S242、S244、S246),将上述那样的显示表示显示逐渐变淡、或者闪烁、或者“时间马上结束”这样的动画效果或提示、建议等显示在显示部230上。另外,通过使这些表现与时间的经过一起变化,可以促进用户的注意和理解。
另外,坐标模式选择部326进行的关于是否在特定宽限时间Wt内发生了选择事件的选择(S232)不限于选择事件,也可以对上述的任意事件进行判定。
但是,在坐标模式选择部326使用与操作识别部318检测的上述事件相同的事件种类的情况下,将“特定宽限时间Wt以内”的判定基准设为从对应的过去事件发生开始的定时。具体来讲,在坐标模式选择部326取得了第n次事件发生的情况下,坐标模式选择部326对从第n-1次的同种类的事件发生时起的经过时间与特定宽限时间Wt进行比较(S232)。
另外,坐标模式选择部326也可以取得坐标相关确定部324的比较结果、时间相关确定部320的比较结果、把持估计部316的把持状况的估计结果以及操作识别部318的用户操作识别结果中的至少一个结果,并根据该结果决定坐标模式。
(变形例1)
以下,对本实施方式的变形例进行说明。
在上述实施方式中,将Wt、Wp、Wd、Rr和Rb设为预确设定的值,但在本变形例中,Wt、Wp、Wd、Rr和Rb可以根据用户的“操作程度”动态地进行变更。
另外,操作程度的具体例子考虑有每单位时间的操作次数、坐标决定装置200的操作期间、每个坐标模式的使用历史等,但不限于这些。
图9是表示在本实施方式的第1变形例中根据操作程度而进行的阈值等的变更处理的流程图。
首先,坐标模式选择部326取得坐标模式选择部326过去决定的各坐标模式的使用历史(S289)。即,取得绝对坐标模式130和相对坐标模式132的使用历史。作为取得方法,例如通过将坐标模式选择部326通知给坐标变换部328的过去的坐标模式记录在RAM、硬盘或闪存等中,以后能够取得历史。
坐标模式选择部326一并取得事件处理数据的历史(S289)。例如,考虑所发生的移动事件、手势事件以及选择事件各自的种类、发生时刻、结束时刻等。
它们能够通过由坐标模式选择部326取得操作识别部318的识别处理的结果并记录到RAM、硬盘或闪存等中来取得历史。
接着,坐标模式选择部326根据所取得的坐标模式和事件处理数据,计算操作程度(S290)。
例如,坐标模式选择部326计算操作识别部318分别识别为移动事件、手势事件及选择事件的每单位时间的次数和移动事件、手势事件及选择事件各自的每次输入时间的平均值等。
更具体地将,考虑由坐标模式选择部326计算多个从用户的选择完成时刻到释放事件的发生时刻的差,并计算所算出的差的平均值的倒数作为操作程度。
并且,操作程度不限于这些,也可以是将用户对输入检测部210的输入操作作为特征的其他特征量。
接着,坐标模式选择部326根据所算出的操作程度,校正特定宽限时间Wt的值(S292)。
例如,如果坐标模式选择部326判断为所算出的操作程度比以前大、用户一直习惯着坐标决定装置200的操作,则将Wt设定得更小。
并且,在作为坐标决定装置200的操作期间的操作程度大的情况下,坐标模式选择部326判断为用户习惯当前的坐标模式,可以将特定宽限时间Wt设定得较短(S232)。
由此,能够改善对于用户来说希望变更坐标模式(在S232中为“否”)但是坐标模式选择部326判断为不变更坐标模式(在S232中为“是”)这样的问题。
接着,坐标模式选择部326根据所算出的操作程度,校正特定时间Wp和Wd的值(S294和S297)。
例如,如果坐标模式选择部326由于每单位时间的移动事件的发生次数多而判断为作为操作频度的操作程度比以前大,则将Wp和Wd的值设定得更小。由此,能够改善即使在对于用户来说希望识别为绝对坐标模式130的情况下也识别为相对坐标模式132的情况的倾向。
最后,坐标模式选择部326根据所算出的操作程度,校正特定阈值Rr和Rb的值(S299)。
例如,如果坐标模式选择部326由于与移动事件的始端对应的输入坐标总是处于一定范围内而判断为作为接触开始点的偏差的倒数的操作程度比以前大,则将Rr和Rb的值设定得更小。由此,能够改善即使在对于用户来说希望识别为绝对坐标模式130的情况下也识别为相对坐标模式132的情况的倾向。
另外,在本实施方式中,基于操作程度的Wt、Wp、Wd、Rr和Rb等参数的校正方法,可以根据坐标输入系统90的目的而改变。
例如,在如将键盘显示在显示部230上的虚拟键盘、投篮游戏这样的状况下,连续多次发生选择事件。
因此,通过将Wt设定得较短,容易在短时间内检测从选择操作完成后到释放为止用户进行的有意图的保持操作,具有用户能够很快输入这样的优点。
这对于其他的Wp、Wd、Rr和Rb等参数也是同样的。
例如,坐标模式选择部326也可以根据坐标模式的历史、当前的决定模式的持续时间、利用时间的长短来决定操作程度,变更Wd、Rr和Rb等参数。具体来讲,考虑按照当前的坐标模式越是持续了很长时间没有变更的情况,坐标选择部326越不容易发生坐标模式变更的方式,对Wd、Rr和Rb等参数进行校正。
另一方面,也假定如下的情况:根据应用程序,操作程度越高、即用户越习惯使用坐标决定装置200的输入,坐标模式选择部326将参数设定得越长。
例如,在对照片一览进行缩略显示的照片阅览应用程序中,假设坐标决定装置200提供如下的应用程序特有的操作方法:选择了一张照片后,通过移动接触到输入检测部210上的手指,能够选择第2、第3张照片。
在该情况下,越是习惯坐标决定装置200的用户,越判断为想进行特有的操作,越将Wt设定得较长,由此,容易同时选择多张照片的情况与用户的使用难易度相关联。
另外,坐标模式选择部326也可以计算多个操作程度。
具体来讲,可以作为时间序列来保持操作程度信息,或者在各个事件中分别计算操作程度。
并且,坐标模式选择部326可以对存在按照用户、按照使用的时间段、按照星期、按照应用程序等系统能够得知的构成要素/信息中的多个的情况单独或复合地设定操作程度。在该情况下,所谓“复合”是指例如“星期二的应用程序A中的操作程度”或“用户A的应用程序B中的选择事件的发生频度”等前面举出的构成要素的组合。
并且,也可以不根据操作程度而根据坐标模式来校正特定时间和特定阈值等。具体来讲,在按照相对坐标模式132进行操作的情况下,将特定时间和特定阈值等设定得较长(或者较短),在绝对坐标模式130时,将特定时间和特定阈值等设定得较短(或者较长)。
并且,也可以根据各个坐标模式下的选择等事件的发生时间分布、平均发生时间、最长时间、最短时间,来设定作为预定时间的Wt、Wp、Wd等。
并且,坐标模式选择部326也可以根据按照Wt、Wp、Wd、Rr和Rb等参数而不同的操作程度和校正方法来校正各参数的值。
并且,坐标模式选择部326计算的操作程度不仅根据“单位时间内的操作次数”来决定,也可以根据“各事件的发生次数和频度”和“发生事件时的坐标模式、指针位置和位置分布”等来决定。
另外,坐标模式选择部326也可以根据“输入传感器的接触位置、位置分布”、“根据与过去的利用状况的匹配的用户估计等设定用户固有的操作程度”、“变更预定时间和判定条件前后的操作状况的变化”、“系统能够得知的内部数据与用户事先或者能够动态输入的信息之间的任意组合”等来计算操作程度。
在该情况下,检测结果序列存储部314也可以保持坐标模式选择部326计算操作程度所需的一切信息、即输入检测部210所检测的坐标等及其时刻、操作识别部318所识别的事件的种类及发生时刻、坐标模式选择部326的坐标模式的选择结果及其时刻、识别操作用户的ID等及操作日期时间等。
并且,在作为等待输入的循环控制(S240、S242、S244、S246)结束条件的特定时间Wp被坐标模式选择部326校正的情况下,坐标模式选择部326可以使指针的消去表现根据特定时间的绝对值(特定时间长还是短等)或相对值(与之前的条件相比,变短了还是变长了等)而变化。
另外,坐标模式选择部326也可以通过动画效果、提示、建议等来显示Wp的增加状态本身。
另外,坐标模式选择部326也可以根据各个坐标模式下的操作熟练度,进行Wt、Wp、Wd、Rr和Rb等参数的校正。
所谓操作熟练度是操作程度的一种,根据各个坐标模式中的事件的发生频度(选择事件的数量等)、错误次数、利用时间等来决定。
并且,也可以根据操作熟练度的高低来选择坐标模式。
以上,根据本实施方式的变形例1,按照每个用户计算与操作习惯或癖好、用途等对应的“操作程度”,使用该操作程度能够变更坐标模式选择部326使用的时间和距离的阈值等(Wt、Wp、Wd、Rr和Rb)。
由此,坐标决定装置200能够更细致地对应对于各用户来说自然的输入操作,能够自动实现对于用户来说更容易使用的坐标模式的识别及其切换。
更具体来讲,针对由系统判定为是习惯绝对坐标模式的输入操作的用户的用户,可以进行如下的处理:缩短指针110的显示时间(上述的Wp),不容易转移到相对坐标模式,或者,即使存在手指也判定为绝对坐标模式。并且,也可以如一般的键盘输入中的打字那样,即使例如所输入的各点间的距离比阈值短,也判定为绝对坐标模式。另外,这种处理以及成为其前提的课题在现有技术中未被公开。
(变形例2)
以下,对本实施方式的第2变形例进行说明。
在上述实施方式中,坐标模式选择部326使用了第3坐标信息所表示的输入坐标G_it(x,y)510与第2坐标信息所表示的输入坐标G_n(x,y)512之间的距离,作为用于坐标模式选择的距离,但在本变形例中坐标模式选择部326使用不同的距离。
以下,使用图10具体进行说明。
图10是表示在本实施方式的第2变形例中坐标模式选择部326用于决定坐标模式的距离的一例的示意图。
现在,假设手指接触到触摸垫形式的输入检测部210上的点、即接触开始点904。然后,用户的手指不离开输入检测部210而使手指移动,在移动结束点906使手指离开。
然后,假设用户再次从接触开始点910开始接触,使手指不离开输入检测部210而移动到移动点912。
此时,G_it(x,y)510相当于接触开始点904。并且,G_n(x,y)512相当于接触开始点910。并且,将接触开始点904与接触开始点910之间的距离设为距离Dgg740。
并且,在手指从接触开始点904移动到移动结束点906时,在显示部230中,假设与其对应的指针110从显示接触开始点944显示到显示移动结束点946。
另外,将接触开始点910在解释为绝对坐标模式130的情况下的显示部230上的显示位置设为接触开始虚拟点950。并且,如前所述,在用户将手指移动到移动点912的情况下,将移动点912在解释为绝对坐标模式130的情况下的显示部230上的显示位置设为虚拟指针位置952。
另外,作为在显示部230上显示的图标,有图标924,将图标924的中心坐标设为图标中心928。
此时,将显示移动结束点946与接触开始虚拟点950之间的距离设为距离Dgp720。
并且,将图标中心928与接触开始虚拟点950之间的距离设为距离Dgd710。
并且,将虚拟指针位置952与图标中心928之间的距离设为距离Dpd730。
坐标模式选择部326使用将这些距离任意组合的条件式,能够选择坐标模式。
作为一例,在距离Dgg740在预定值以上、并且距离Dgd710在预定值以下、并且距离Dgp720在预定值以上的情况下,坐标模式选择部326考虑选择绝对坐标模式130作为坐标模式。
并且,在距离Dgg740在预定值以上、并且距离Dgd710在预定值以下、并且距离Dgp720在预定值以上、并且距离Dpd730在预定值以下的情况下,坐标模式选择部326考虑选择相对坐标模式132作为坐标模式。
另外,坐标模式选择部326比较与指针110之间的距离的画面显示部件不限于最近的画面显示部件。坐标模式选择部326在选择坐标模式选择时,可以复合地使用指针110与任意部件之间的距离或指针110与多个部件之间的多个距离。
并且,坐标模式选择部326可以根据在画面显示部件上具有(没有)指针110这样的信息来选择坐标模式。
另外,在上述的说明中,将虚拟指针位置952定义为绝对坐标模式130中的显示部230上的指针110的显示位置,但也可以考虑为绝对坐标模式130或相对坐标模式132中的实际的指针110的显示位置。
另外,作为显示在显示部230上的指针110的形状,显示装置100除了一般的光标形状之外,还可以显示手指形状等任意形状的图像。
另外,在上述的说明中,将距离Dgd710定义为图标中心928与接触开始虚拟点950之间的距离,但不限于图标中心928,也可以使用至少1个以上的与图像显示部件的任意场所的距离信息来求出。
并且,用于计算坐标模式选择部326使用的距离信息的画面显示部件的数量不限于1个。坐标模式选择部326也可以计算与多个画面显示部件之间的距离来使用,还可以使用其平均值等。
另外,在等待指针显示结束后坐标模式选择部326选择坐标模式时(S252),可以局部地或者组合一部分地或者直接使用在等待指针显示结束前坐标模式选择部326在坐标模式的决定(S280)中使用的方法。
并且,坐标模式选择部326也可以根据G_n(x,y)512与画面的显示(GUI)之间的距离来选择坐标模式。
并且,坐标模式选择部326也可以根据当前(或过去)的指针在画面上的位置(或历史)来选择坐标模式。
并且,坐标模式选择部326也可以根据G_n(x,y)512、画面的显示(GUI)的位置、G_cur(x,y)520这3点的相互距离来选择坐标模式。
另外,也可以在前面的3个点中加上G_it(x,y)510,坐标模式选择部326根据4点的相互距离来选择坐标模式。
另外,坐标模式选择部326不仅可以使用G_it(x,y)510,还可以使用第1坐标序列所包含的任意的坐标信息(例如,第1坐标序列的终端、与位于始端和终端的途中的点对应的坐标信息等)来选择坐标模式。
具体来讲,假设用户在相对坐标模式132下操作指针110,如果是绝对坐标模式130,则使指针110通过相当于特定GUI部件(按钮等)的部分的附近。此时,坐标模式选择部326通过选择绝对坐标模式130作为坐标模式(S280),能够在该GUI部件上显示指针。
另外,如果该GUI部件的位置与画面上的指针110的位置在特定距离以下,则坐标模式选择部326可以优于其他条件选择绝对坐标模式130作为坐标模式。
坐标模式选择部326也可以根据G_it(x,y)510、G_n(x,y)512、画面显示(GUI)的位置和当前的指针110在显示部230上的位置这4个相互之间的距离来选择坐标模式。
并且,坐标模式选择部326也可以通过组合多个相互距离或进行加权来选择坐标模式。
另外,坐标输入装置201也可以如图1所示的带触摸垫的遥控型坐标输入装置201那样,具有多个输入检测部210(例如触摸垫)。
此时,取得保存部204将来自多个输入检测部210的所有输入保存到检测结果序列存储部314中。
另外,坐标模式选择部326也可以通过改变用于输入的输入检测部210(触摸垫),将坐标模式返回默认值。
并且,坐标模式选择部326也可以根据把持估计部316的估计结果(例如,右手、左手、双手等用户的把持方法)来选择坐标模式。
例如,坐标模式选择部326也可以根据把持估计部316估计的把持状况,使特定宽限时间Wt、特定时间Wp和Wd、以及特定阈值Rr和Rb中的至少一个的大小增加或减小。
更具体来讲,考虑如下的情况:如图1所示,用户用右手把持坐标输入装置201,用拇指操作输入检测部210。
此时,作为使拇指接触的位置,在输入检测部210(触摸垫)的左侧和右侧,左侧方对于用户来说成为舒服的操作。这是因为,用右手把持的同时用拇指触摸输入检测部210的右侧,作为把持状态是不稳定的。
因此,在用户将输入检测部210的右侧作为G_it(x,y)510触摸的情况下,作为硬要进行难以操作的操作的意图,估计在该方面具有特别的意义,如使绝对坐标模式容易被选择那样,考虑减小特定宽限时间Wt、特定时间Wp和Wd、以及特定阈值Rr和Rb的值。
并且,坐标模式选择部326在用户的把持方法发生了变化的情况下,可以将坐标模式返回规定值(绝对坐标模式130和相对坐标模式132中的任意一方)。并且,坐标模式选择部326在用户的手暂时离开坐标输入装置201的情况下,将坐标模式返回到规定值。
并且,坐标模式选择部326也可以在用户双手把持坐标输入装置201时和单手把持坐标输入装置201时变更坐标模式的规定值本身。
并且,坐标模式选择部326也可以在用户右手把持坐标输入装置201时和左手把持坐标输入装置201时变更坐标模式的规定值。
并且,坐标模式选择部326也可以按照用户的更顺的手来变更坐标模式的规定值。
并且,并不限于这些,坐标模式选择部326也可以使用其他方法来选择坐标模式。
最后,对本实施方式的第3变形例进行说明。
在上述实施方式中,不能变更坐标模式的规定值。但是,在本变形例中,例如可以根据用户的喜好和使用目的来变更坐标模式的规定值。
图11是表示在本实施方式的第3变形例中坐标决定装置200的处理的流程图。
另外,关于与图7相同的步骤,赋予相同符号,并省略说明。
在第3变形例中,坐标决定装置200首先将坐标模式的既定值设定为绝对坐标模式130和相对坐标模式132中的任意一方(S310)。
作为既定值的设定方法,例如考虑如下的方法等:坐标模式选择部326在显示部230上显示GUI画面,取得用户使用坐标输入装置201选择的结果来进行设定的方法;坐标模式选择部326根据过去的操作历史进行决定的方法。
然后,在操作识别部318识别了释放事件后,坐标模式选择部326再次取得了用户的坐标信息的情况下(在S242中为“是”),坐标模式选择部326进行坐标模式的选择处理(S350)。
例如,参照图3,在接触开始点910的输入时刻是从移动结束点906的输入时刻起的一定时间以内的情况下(在S350中为“是”),转移到相对坐标模式132(S284)。
或者,在接触开始点910的输入坐标与接触开始点904的输入坐标的距离是一定距离以内的情况下(在S350中为“是”),转移到相对坐标模式132(S284)。
其他情况下,转移到绝对坐标模式130(S282)。
另外,坐标模式选择部326进行的坐标模式的选择处理(S350)不限于上述情况。
例如,在接触开始点910的输入时刻是从移动结束点906的输入时刻起的一定时间以内、并且接触开始点910的输入坐标与接触开始点904的输入坐标的距离是一定距离以内的情况下,坐标模式选择部326可以选择相对坐标模式132作为坐标模式,其他情况下,可以选择绝对坐标模式130。
另外,坐标模式选择部326也可以使用在上述其他变形例中使用的决定处理(S232、S252、S280)等来选择坐标模式。
并且,在本实施方式中说明的坐标决定装置200可以通过计算机来实现。参照图12,坐标决定装置200包含计算机34、用于给予计算机34指示的键盘36和鼠标38、用于提示计算机34的运算结果等信息的显示器32、用于读取在计算机34中执行的程序的CD-ROM(CompactDisc-ReadOnlyMemory:光盘只读存储器)装置40和通信调制解调器(未图示)。
用于实现坐标决定装置200进行的各处理的程序存储在作为计算机可读取的介质的CD-ROM42中,由CD-ROM装置40读取。或者,通过计算机网络26由通信调制解调器读取。
图13是表示实现坐标决定装置200的计算机系统的硬件结构的框图。计算机34包含CPU44、ROM46、RAM48、硬盘50、通信调制解调器52和总线54。
CPU44执行经由CD-ROM装置40或通信调制解调器52读取的程序。ROM46存储计算机34的动作所需的程序和数据。RAM48存储程序执行时的参数等数据。硬盘50存储程序和数据等。通信调制解调器52经由计算机网络26进行与其他计算机的通信。总线54对CPU44、ROM46、RAM48、硬盘50、通信调制解调器52、显示器32、键盘36、鼠标38以及CD-ROM装置40相互进行连接。
另外,构成上述各装置的构成要素的一部分或全部可以由1个系统LSI(LargeScaleIntegration:大规模集成电路)构成。系统LSI是将多个构成部集成在1个芯片上制造而成的超多功能LSI,具体来讲,是构成为包含微处理器、ROM、RAM等的计算机系统。RAM存储计算机程序。微处理器根据计算机程序进行动作,由此系统LSI实现其功能。
另外,构成上述各装置的构成要素的一部分或全部可以由可在各装置中装卸的IC卡或单体模块构成。IC卡或模块是由微处理器、ROM、RAM等构成的计算机系统。IC卡或模块可以包含上述的超多功能LSI。微处理器根据计算机程序进行动作,由此IC卡或模块实现其功能。该IC卡或该模块可以具有防篡改性。
并且,本发明可以是上述所示的方法。并且,也可以是通过计算机实现这些方法的计算机程序,还可以是由上述计算机程序构成的数字信号。
另外,本发明可以将上述计算机程序或上述数字信号记录在计算机可读取的记录介质、例如软盘、硬盘、CD-ROM、MO、DVD、DVD-RAM、BD(Blu-rayDisc(注册商标))、USB存储器、SD卡等存储卡、半导体存储器等中。并且,也可以是记录在这些记录介质中的上述数字信号。
并且,本发明可以通过电气通信线路、无线或有线通信线路、以互联网为代表的网络、数据广播等传送上述计算机程序或上述数字信号。
并且,本发明可以是具有微处理器和存储器的计算机系统,上述存储器可以存储上述计算机程序,上述微处理器可以根据上述计算机程序来进行动作。
并且,通过将上述程序或上述数字信号记录在上述记录介质中进行移送,或者通过将上述程序或上述数字信号经由上述网络等进行移动,可以由独立的其他计算机系统来实施。
另外,也可以分别组合上述实施方式和上述变形例。
本次公开的实施方式的所有点应当认为只是例示而不是限制性内容。本发明的范围不是上述的说明而是权利要求所示的内容,包含与权利要求相当的意思和范围内的所有变更。
产业上的可利用性
本发明能够应用于坐标决定装置等,尤其能够应用于根据从坐标输入装置中取得的输入信息来决定指针在显示装置所具有的显示部上的坐标位置的坐标决定装置等。
符号说明
32:显示器;34:计算机;36:键盘;38:鼠标;40:CD-ROM装置;44:CPU;46:ROM;48:RAM;50:硬盘;52:通信调制解调器;54:总线;90:坐标输入系统;100:显示装置;110:指针;130:绝对坐标模式;132:相对坐标模式;200:坐标决定装置;201:坐标输入装置;204:取得保存部;210:输入检测部;212:把持检测传感器;220:发送部;230:显示部;314:检测结果序列存储部;316:把持估计部;318:操作识别部;320:时间相关确定部;324:坐标相关确定部;326:坐标模式选择部;328:坐标变换部;510:G_it(x,y);512:G_n(x,y);520:G_cur(x,y);610:轨迹A;620:轨迹显示A;630:轨迹B;632:轨迹C;634:轨迹D;640:轨迹显示B;642:轨迹显示C;644:轨迹显示D;710:距离Dgd;720:距离Dgp;730:距离Dpd;740:距离Dgg;800:当前的手指位置;810:第1输入状态;812:第2输入状态;814:第3输入状态;816:第4输入状态;904、910:接触开始点;906:移动结束点;912:移动点;924:图标;928:图标中心;944:显示接触开始点;946:显示移动结束点;950:接触开始虚拟点;952:虚拟指针位置。

Claims (15)

1.一种坐标决定装置,决定与输入坐标对应的输出坐标,该坐标决定装置具有:
取得保存部,从具有输入检测部的坐标输入装置中,依次取得表示所述输入坐标和输入时刻的坐标信息并保存到记录介质中;
时间相关确定部,确定保存在所述记录介质中的多个坐标信息中第1坐标信息和第2坐标信息所表示的输入时刻间的相关,作为时刻相关值,所述第1坐标信息是与用户的手指离开所述输入检测部的时刻对应的坐标信息,所述第2坐标信息是与检测到所述第1坐标信息后用户的手指再次接触到所述输入检测部的时刻对应的坐标信息;
坐标相关确定部,确定所述多个坐标信息中第2坐标信息和第3坐标信息所表示的输入坐标间的相关,作为坐标相关值,所述第3坐标信息是与用户的手指接触到所述输入检测部的时刻对应的坐标信息;
坐标模式选择部,根据所述坐标相关值和所述时刻相关值,选择绝对坐标模式和相对坐标模式中的任意一方,作为坐标模式;以及
坐标变换部,通过将所述第2坐标信息所表示的输入坐标变换为基于所述坐标模式选择部所选择的坐标模式的坐标,将该坐标决定为所述输出坐标,
在选择了所述绝对坐标模式时,所述坐标变换部将所述第2坐标信息所表示的输入坐标变换为预先设定与该输入坐标建立对应的坐标,
在选择了所述相对坐标模式时,所述坐标变换部将所述第2坐标信息所表示的输入坐标变换为与对于其他输入坐标已经决定的输出坐标对应的坐标。
2.根据权利要求1所述的坐标决定装置,其中,
所述坐标相关确定部确定所述输入坐标间的距离作为所述坐标相关值,判定所确定的所述坐标相关值是否小于事先设定的特定阈值,
所述时间相关确定部确定所述输入时刻间的差作为所述时刻相关值,判定所确定的所述时刻相关值是否小于事先设定的特定时间,
所述坐标模式选择部在通过所述坐标相关确定部和所述时间相关确定部判断为所述坐标相关值小于特定阈值、并且所述时刻相关值小于特定时间的情况下,将所述相对坐标模式选择为坐标模式。
3.根据权利要求2所述的坐标决定装置,其中,
所述第1坐标信息是与检测到所述第3坐标信息后用户的手指离开所述输入检测部的时刻对应的坐标信息。
4.根据权利要求3所述的坐标决定装置,其中,
所述取得保存部还取得选择完成信息并保存到所述记录介质中,所述选择完成信息包含作为用户的选择操作完成时刻的选择完成时刻,
所述坐标模式选择部从所述记录介质中取得所述选择完成信息,如果所述第1坐标信息所表示的输入时刻是距离所述选择完成时刻在事先设定的特定宽限时间内,则不进行坐标模式的选择或坐标模式的变更。
5.根据权利要求4所述的坐标决定装置,其中,
所述坐标决定装置还具有所述坐标输入装置,
所述坐标输入装置接受用户的坐标输入操作和选择操作,将所述坐标信息和所述选择完成信息发送给所述取得保存部,
所述输入检测部是能够检测机械按下动作的可点击触摸垫,
将因用户按下所述可点击触摸垫的手指离开而完成所述可点击触摸垫的返回动作的时刻确定为所述选择完成时刻。
6.根据权利要求4所述的坐标决定装置,其中,
所述坐标模式选择部根据所述取得保存部在取得所述第2坐标信息之前所取得的多个坐标信息和选择完成信息中的1个以上,计算表示用户的操作特性的操作程度,根据计算出的所述操作程度,变更所述特定时间、所述特定阈值和所述特定宽限时间中的至少1个。
7.根据权利要求6所述的坐标决定装置,其中,
所述坐标模式选择部按照所述多个坐标信息中包含的每个坐标信息,计算该坐标信息所表示的输入时刻与其他坐标信息所表示的输入时刻之间的差,并且计算所计算出的多个所述差的平均值的倒数,作为所述操作程度。
8.根据权利要求6所述的坐标决定装置,其中,
所述坐标模式选择部以计算出的所述操作程度越大,使所述特定时间、所述特定阈值和所述特定宽限时间中的至少1个越小的方式进行变更。
9.根据权利要求1所述的坐标决定装置,其中,
所述第3坐标信息所表示的位置与所述第1坐标信息所表示的位置一致。
10.根据权利要求1所述的坐标决定装置,其中,
所述第1坐标信息包含在第1坐标序列中,该第1坐标序列是从用户的手指暂时触摸到所述输入检测部到离开为止所输入的一连串的坐标信息,
所述第2坐标信息包含在第2坐标序列中,该第2坐标序列是所述第1坐标序列输入后从用户的手指再次接触到所述输入检测部到手指离开为止所输入的一连串的坐标信息,
所述第3坐标信息包含在所述第1坐标序列中。
11.根据权利要求2所述的坐标决定装置,其中,
所述坐标模式选择部在从所述第1坐标信息所表示的输入时刻起未经过事先设定的特定时间并且所述取得保存部未取得所述第2坐标信息的情况下,将指针或光标的图像显示在显示装置的显示部上。
12.根据权利要求10所述的坐标决定装置,其中,
所述坐标决定装置还具有操作识别部,该操作识别部判定所述第1坐标序列是否是命令包括所述坐标决定装置和显示部的显示装置开始特定的计算机处理的手势,
所述操作识别部在将所述第1坐标序列判定为手势的情况下,所述坐标模式选择部不进行所述坐标模式的选择。
13.根据权利要求4所述的坐标决定装置,其中,
所述取得保存部还取得把持信息并保存在所述记录介质中,所述把持信息表示用户把持所述坐标输入装置的哪个位置,
所述坐标决定装置还具有把持估计部,所述把持估计部使用从所述记录介质中取得的所述把持信息,估计用户对所述坐标输入装置的把持状况,
所述坐标模式选择部按照所述把持估计部估计出的把持状况,变更所述特定阈值、所述特定时间和所述特定宽限时间中的至少1个的值。
14.根据权利要求1所述的坐标决定装置,其中,
所述坐标输入装置具备2个以上的所述输入检测部,
所述取得保存部将从多个所述输入检测部中的第1输入检测部中取得的坐标信息和从第2输入检测部中取得的坐标信息保存在所述记录介质中。
15.一种坐标决定方法,决定与输入坐标对应的输出坐标,所述坐标决定方法包括:
取得保存步骤,从具有输入检测部的坐标输入装置,依次取得表示所述输入坐标和输入时刻的坐标信息并保存到记录介质中;
时间相关确定步骤,确定保存在所述记录介质中的多个坐标信息中第1坐标信息和第2坐标信息所表示的输入时刻间的相关,作为时刻相关值,所述第1坐标信息是与用户的手指离开所述输入检测部的时刻对应的坐标信息,所述第2坐标信息是与检测到所述第1坐标信息后用户的手指再次接触到所述输入检测部的时刻对应的坐标信息;
坐标相关确定步骤,确定所述多个坐标信息中第2坐标信息和第3坐标信息所表示的输入坐标间的相关,作为坐标相关值,所述第3坐标信息是与用户的手指接触到所述输入检测部的时刻对应的坐标信息;
坐标模式选择步骤,根据所述坐标相关值和所述时刻相关值,选择绝对坐标模式和相对坐标模式中的任意一方,作为坐标模式;以及
坐标变换步骤,通过将所述第2坐标信息所表示的输入坐标变换为基于在所述坐标模式选择步骤所选择的坐标模式的坐标,将该坐标决定为所述输出坐标,
在选择了所述绝对坐标模式时,所述坐标变换步骤将所述第2坐标信息所表示的输入坐标变换为预先设定与该输入坐标建立对应的坐标,
在选择了所述相对坐标模式时,所述坐标变换步骤将所述第2坐标信息所表示的输入坐标变换为与对于其他输入坐标已经决定的输出坐标对应的坐标。
CN201180002866.0A 2010-05-18 2011-05-17 坐标决定装置、坐标决定方法 Expired - Fee Related CN102473060B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010114752 2010-05-18
JP2010-114752 2010-05-18
PCT/JP2011/002729 WO2011145330A1 (ja) 2010-05-18 2011-05-17 座標決定装置、座標決定方法及び座標決定プログラム

Publications (2)

Publication Number Publication Date
CN102473060A CN102473060A (zh) 2012-05-23
CN102473060B true CN102473060B (zh) 2016-03-23

Family

ID=44991448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180002866.0A Expired - Fee Related CN102473060B (zh) 2010-05-18 2011-05-17 坐标决定装置、坐标决定方法

Country Status (4)

Country Link
US (1) US9041649B2 (zh)
JP (1) JP5762967B2 (zh)
CN (1) CN102473060B (zh)
WO (1) WO2011145330A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9746995B2 (en) * 2011-07-14 2017-08-29 Microsoft Technology Licensing, Llc Launcher for context based menus
US9491146B2 (en) 2011-09-07 2016-11-08 Elwha Llc Computational systems and methods for encrypting data for anonymous storage
JP6091829B2 (ja) * 2011-09-28 2017-03-08 京セラ株式会社 装置、方法、及びプログラム
US9924907B2 (en) * 2011-09-30 2018-03-27 Google Technology Holdings LLC Method and system for identifying location of a touched body part
US20130127738A1 (en) * 2011-11-23 2013-05-23 Microsoft Corporation Dynamic scaling of touch sensor
KR101611777B1 (ko) * 2011-12-15 2016-04-11 도요타 지도샤(주) 조작 장치
US20130176218A1 (en) * 2012-01-10 2013-07-11 Cywee Group Limited Pointing Device, Operating Method Thereof and Relative Multimedia Interactive System
CN103376926B (zh) * 2012-04-16 2016-07-06 汉王科技股份有限公司 可切换坐标的绘画板及其坐标切换方法
KR20140010780A (ko) * 2012-07-17 2014-01-27 최경순 터치 유저 인터페이스, 영상 장치, 시스템 및 원격 터치 입력 장치
US9348512B2 (en) * 2012-08-08 2016-05-24 Nuance Communications, Inc. Methods for facilitating text entry
CN103019375B (zh) * 2012-11-28 2016-02-10 广东远峰电子科技有限公司 一种基于图像识别的光标控制方法及其系统
KR20140089660A (ko) * 2013-01-04 2014-07-16 삼성전자주식회사 터치 패드, 디스플레이 장치 및 터치 패드의 제어 방법
US10175874B2 (en) * 2013-01-04 2019-01-08 Samsung Electronics Co., Ltd. Display system with concurrent multi-mode control mechanism and method of operation thereof
US10031610B2 (en) 2013-02-19 2018-07-24 Toyota Jidosha Kabushiki Kaisha Operation device for vehicle
JP5739015B2 (ja) * 2013-03-28 2015-06-24 株式会社東芝 通信装置、通信方法及びプログラム
US9584849B2 (en) 2013-07-17 2017-02-28 Kyung Soon CHOI Touch user interface method and imaging apparatus
JP6149604B2 (ja) * 2013-08-21 2017-06-21 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
EP2853992A1 (en) * 2013-09-27 2015-04-01 Movea Air pointer with improved user experience
KR20150046852A (ko) * 2013-10-23 2015-05-04 삼성전자주식회사 전자 장치 및 전자 장치의 암호를 이용한 인증 방법
CN103645847A (zh) * 2013-12-02 2014-03-19 乐视致新电子科技(天津)有限公司 通过移动终端模拟鼠标控制智能电视的方法和系统
JP6264871B2 (ja) * 2013-12-16 2018-01-24 セイコーエプソン株式会社 情報処理装置および情報処理装置の制御方法
JP6034281B2 (ja) * 2013-12-18 2016-11-30 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation オブジェクト選択方法、装置及びコンピュータ・プログラム
CN103727899B (zh) * 2013-12-31 2015-07-01 京东方科技集团股份有限公司 一种电视系统中检测遥控器旋转角度的方法及电视系统
JP2015128918A (ja) * 2014-01-06 2015-07-16 株式会社東海理化電機製作所 操作装置
CN103699244B (zh) * 2014-01-08 2016-08-17 福建利利普光电科技有限公司 测量仪器中轨迹球的识别方法
US10019155B2 (en) * 2014-06-30 2018-07-10 Honda Motor Co., Ltd. Touch control panel for vehicle control system
US9727236B2 (en) * 2014-08-28 2017-08-08 Peigen Jiang Computer input device
JP6367720B2 (ja) * 2015-01-14 2018-08-01 シャープ株式会社 情報処理装置およびプログラム
CN104866136B (zh) * 2015-05-11 2019-02-15 努比亚技术有限公司 一种确定终端操作模式的方法及装置
CN110114535B (zh) * 2017-03-30 2021-04-20 株式会社小松制作所 作业车辆的控制系统、工作装置的轨迹设定方法以及作业车辆
CN107145259A (zh) * 2017-05-09 2017-09-08 深圳Tcl新技术有限公司 触摸图标校对方法及装置
DE112018004763T5 (de) * 2017-08-24 2020-06-18 Mitsubishi Electric Corporation Aktivititäts-Aufzeichnungseinrichtung, Aktivititäts-Aufzeichnungsprogamm und Aktivititäts-Aufzeichnungsverfahren
CN107728837A (zh) * 2017-09-27 2018-02-23 惠州Tcl移动通信有限公司 一种触摸屏定位输出的方法、存储介质及智能终端
KR102492560B1 (ko) * 2017-12-12 2023-01-27 삼성전자주식회사 전자 장치 및 그의 입력 제어 방법
CN110069147B (zh) * 2018-01-23 2023-02-03 可赛尔内存股份有限公司 操控装置及其控制方法
WO2019220728A1 (ja) * 2018-05-14 2019-11-21 株式会社ワコム 学習支援システム
JP7342111B2 (ja) * 2019-04-24 2023-09-11 株式会社ワコム タッチパッド用のシステム
CN115185411B (zh) * 2022-07-08 2024-03-15 北京字跳网络技术有限公司 光标移动方法、装置和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1475897A (zh) * 2002-07-30 2004-02-18 ������������ʽ���� 坐标输入装置及其控制方法、程序
CN101078963A (zh) * 2005-12-14 2007-11-28 阿尔卑斯电气株式会社 输入装置及使用了该输入装置的电子设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4049877B2 (ja) 1997-03-31 2008-02-20 株式会社ワコム 電子ペンを用いたコンピュータシステム
JPH10340153A (ja) 1997-06-06 1998-12-22 Smk Corp 座標入力装置
JPH1195912A (ja) 1997-09-22 1999-04-09 Sanyo Electric Co Ltd 座標入力装置、座標入力方法及び座標入力プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2001117713A (ja) 1999-10-19 2001-04-27 Casio Comput Co Ltd データ処理装置、及び記憶媒体
JP4878667B2 (ja) 2000-02-17 2012-02-15 富士通コンポーネント株式会社 座標検出装置及び座標検出方法
JP2003167669A (ja) * 2001-11-22 2003-06-13 Internatl Business Mach Corp <Ibm> 情報処理装置、プログラム及び座標入力方法
JP4776237B2 (ja) 2005-01-19 2011-09-21 富士通コンポーネント株式会社 座標入力制御システムおよび座標入力制御処理をコンピュータに実行させるためのプログラム
KR20080021906A (ko) * 2006-09-05 2008-03-10 삼성전자주식회사 휴대용 단말기에서 아날로그 조작을 하기 위한 장치 및방법
JP4966636B2 (ja) * 2006-12-13 2012-07-04 株式会社ワコム 座標入力装置
JP2009276819A (ja) 2008-05-12 2009-11-26 Fujitsu Ltd ポインティング装置の制御方法およびポインティング装置、並びにコンピュータプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1475897A (zh) * 2002-07-30 2004-02-18 ������������ʽ���� 坐标输入装置及其控制方法、程序
CN101078963A (zh) * 2005-12-14 2007-11-28 阿尔卑斯电气株式会社 输入装置及使用了该输入装置的电子设备

Also Published As

Publication number Publication date
JPWO2011145330A1 (ja) 2013-07-22
WO2011145330A1 (ja) 2011-11-24
US9041649B2 (en) 2015-05-26
US20120113001A1 (en) 2012-05-10
CN102473060A (zh) 2012-05-23
JP5762967B2 (ja) 2015-08-12

Similar Documents

Publication Publication Date Title
CN102473060B (zh) 坐标决定装置、坐标决定方法
US11550399B2 (en) Sharing across environments
US9298266B2 (en) Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US8610678B2 (en) Information processing apparatus and method for moving a displayed object between multiple displays
TWI610201B (zh) 手寫筆的計算環境
US8786547B2 (en) Effects of gravity on gestures
US20130222301A1 (en) Method and apparatus for moving contents in terminal
US9798456B2 (en) Information input device and information display method
US20160034058A1 (en) Mobile Device Input Controller For Secondary Display
US20130019201A1 (en) Menu Configuration
US20150199030A1 (en) Hover-Sensitive Control Of Secondary Display
US8462113B2 (en) Method for executing mouse function of electronic device and electronic device thereof
CA2799524A1 (en) Character selection
US20160147294A1 (en) Apparatus and Method for Recognizing Motion in Spatial Interaction
CN103543921A (zh) 信息处理设备和信息处理方法
WO2016098463A1 (ja) 情報処理プログラムおよび情報処理方法
JP5784260B1 (ja) 情報処理プログラムおよび情報処理方法
CN116048370A (zh) 显示设备及操作切换方法
CN102455858A (zh) 光标管理方法及相关管理系统
EP3659024A1 (en) Programmable multi-touch on-screen keyboard

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20141009

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20141009

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Seaman Avenue Torrance the American city of California, No. 20000, room 200, 90503

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM:

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160323

Termination date: 20200517

CF01 Termination of patent right due to non-payment of annual fee