CN114063768A - 信息处理方法、非暂时性记录介质以及信息处理装置 - Google Patents
信息处理方法、非暂时性记录介质以及信息处理装置 Download PDFInfo
- Publication number
- CN114063768A CN114063768A CN202110874892.8A CN202110874892A CN114063768A CN 114063768 A CN114063768 A CN 114063768A CN 202110874892 A CN202110874892 A CN 202110874892A CN 114063768 A CN114063768 A CN 114063768A
- Authority
- CN
- China
- Prior art keywords
- data
- execution
- information processing
- designated
- controlling execution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 45
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 158
- 230000008569 process Effects 0.000 claims abstract description 155
- 230000033001 locomotion Effects 0.000 abstract description 56
- 238000004886 process control Methods 0.000 description 22
- 210000003128 head Anatomy 0.000 description 19
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 210000001508 eye Anatomy 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 7
- 238000005070 sampling Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000004886 head movement Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03541—Mouse/trackball convertible devices, in which the same ball is used to track the 2D relative movement
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明利用设有传感器的指定部位的动作来将至少两个不同的处理适当地分开。本发明的信息处理方法由信息处理装置执行获取步骤、判定步骤、控制第1处理的执行的步骤和控制第2处理的执行的步骤。上述获取步骤为从用户的指定部位所佩戴的传感器依次获取指定部位的关于移动速度的数据。上述判定步骤为判定数据是否为指定阈值以上。在判定数据不足指定阈值的情况下，使用从判定为不足指定阈值的时间点往前推第1指定时间的数据来控制第1处理的执行。在判定数据为指定阈值以上的情况下，控制第2处理的执行，上述第2处理与第1处理不同。
Description
技术领域
本发明涉及一种信息处理方法、非暂时性记录介质以及信息处理装置。
背景技术
以往，已知存在一种技术，其使用检测用户的头部动作的传感器，来控制对鼠标等输入机构的点击操作等输入操作(例如，参见专利文献1、2)。
专利文献
专利文献1：日本特开平4-309996号公报
专利文献2：日本特开平9-258887号公报
发明内容
然而，在现有技术中，难以使用头部动作来将两个不同的操作适当地分开。例如，在将基于画面内的鼠标指针的移动操作与其他操作分开的情况下，如果以点击操作作为其他操作的例子，当用户移动头部从而使指针对准指定位置，并想要进行点击操作而移动头部时，直至被判定为点击操作为止的头部动作会被用作移动操作，因此会导致指针的位置偏离指定位置，用户难以指示在指定位置进行点击操作。
因此，本发明的目的在于利用设有传感器的指定部位的动作，来将至少两个不同的处理适当地分开。
本发明的一个实施方式中的信息处理方法由信息处理装置中包含的处理器执行获取步骤、判定步骤、控制第1处理的执行的步骤和控制第2处理的执行的步骤。上述获取步骤为从用户的指定部位所佩戴的传感器依次获取上述指定部位的关于移动速度的数据。上述判定步骤为判定上述数据是否为指定阈值以上。在判定上述数据不足指定阈值的情况下，使用从判定为不足上述指定阈值的时间点往前推第1指定时间的数据来控制第1处理的执行。在判定上述数据为上述指定阈值以上的情况下，控制第2处理的执行，上述第2处理与上述第1处理不同。
根据本发明，能够利用设有传感器的指定部位的动作，来将至少两个不同的处理适当地分开。
附图说明
图1为表示实施例中的信息处理系统的一个例子的图。
图2为表示实施例中的信息处理装置的结构的一个例子的方框图。
图3为表示实施例中的处理装置的结构的一个例子的方框图。
图4为表示实施例中的关于移动速度的数据的一个例子的图。
图5为表示实施例中的用于处理控制的数据的具体例子的图。
图6为表示实施例中的具体例子的判定时间点、执行的处理以及使用的数据的时间点之间的关系的图。
图7为表示关于实施例中的处理控制的处理的一个例子的流程图。
具体实施方式
下面，参照附图对本发明的实施方式进行说明。但下文中说明的实施方式只是示例，并不意图排除下文中未明示的各种变形和技术的应用。即，本发明在不脱离其主旨的范围内，可以进行多种多样的变形。此外，在下面的附图的记载中，对相同或相似的部分标注相同或相似的符号来表示。附图是示意图，不一定与实际的尺寸、比例等一致。即使是在各个附图之间也存在包含彼此的尺寸关系与比例不同的部分的情况。
[实施例]
在实施例中，虽然作为搭载加速度传感器和/或角速度传感器，并且根据需要搭载生物电极的可穿戴终端的对象，列举了眼部佩戴用具(eyewear)为例，但不局限于此。图1为表示实施例中的信息处理系统1的一个例子的图。图1所示的信息处理系统1包含信息处理装置10以及眼部佩戴用具30，信息处理装置10以及眼部佩戴用具30通过网络连接，从而能够进行数据通信。
眼部佩戴用具30例如在中梁(bridge)部分搭载有处理装置20。处理装置20包含一对鼻托和中梁部，它们各自具有生物电极32、34、36。处理装置20也可以包含三轴加速度传感器和/或三轴角速度传感器(也可以是六轴传感器)。应予说明，并不一定需要生物电极32、34、36。
处理装置20检测传感器信号、眼电位信号等，并将其发送至信息处理装置10。处理装置20的设置位置不一定为中梁部分，将其位置设于当佩戴眼部佩戴用具30时能够获取传感器信号、眼电位信号的位置即可。此外，处理装置20也可以设置为能够从中梁部分上卸下。
信息处理装置10为具有通信功能的信息处理装置。例如，信息处理装置10为个人电脑、平板型(tablet)终端、便携式终端等。信息处理装置10获取从处理装置20接收到的关于用户的头部移动的数据，并基于该数据来执行多个操作处理。操作处理例如包含光标移动、点击、拖动、滚动等。此外，信息处理装置10也可以从处理装置20接收命令操作处理的指令。
<信息处理装置10的结构>
图2为表示实施例中的信息处理装置10的结构的一个例子的方框图。信息处理装置10包含一个或多个处理装置(CPU)110、一个或多个网络通信接口120、存储器130、用户界面150以及用于使这些结构单元相互连接的一个或多个通信总线170。
网络通信接口120通过移动体通信用天线、无线LAN通信用天线来与网络连接，从而能够进行与处理装置20之间的数据通信。
用户界面150可列举显示装置以及输入装置(键盘和/或鼠标、或者其他任意定点设备等)。用户界面150能够对在显示装置中显示的指针进行移动操作。
存储器130为例如DRAM(Dynamic Random Access Memory，动态随机存取存储器)、SRAM(Static Random-Access Memory，静态随机存取存储器)、或其他随机存取固体存储装置等高速随机存取存储器，此外，也可以为一个或多个磁盘存储装置、光盘存储装置、闪存设备或其他非易失性固体存储装置等非易失性存储器，还可以为计算机可读取的非暂时性记录介质。
存储器130存储信息处理系统1使用的数据。例如，存储器130存储从眼部佩戴用具30(处理装置20)发送的数据。应予说明，在后文中，使用图4对存储的数据的一个例子进行说明。
此外，作为存储器130的其他例子，可以为远离CPU110设置的一个或多个存储装置。在某些实施方式中，存储器130存储CPU110执行的程序、模块与数据结构、或它们的子集(subset)。
CPU110通过执行存储器130中存储的程序，来构成获取部112、判定部113以及处理控制部114。
获取部112依次从佩戴于用户的指定部位的传感器获取关于指定部位的动作速度的数据。例如，获取部112通过网络通信接口120依次获取从处理装置20发送的角速度数据，该处理装置20包含以指定采样速度(sampling rate)进行采样的角速度传感器。从传感器获取数据包括直接或间接地获取数据。实施例中的指定部位为头部，但也可以为手臂或脚等。传感器为能够测量指定部位的动作速度的传感器，在实施例中，优选角速度传感器或加速度传感器。
判定部113判定由获取部112获取的数据是否为指定阈值以上。例如，判定部113判定依次获取的角速度数据的数据值是否为指定阈值以上。指定阈值预先设定为能够检测到突然动作的阈值。例如，在指定部位为头部的情况下，设定超过在横向或纵向上迅速摆动头部的情况的阈值，在指定部位为手臂、脚的情况下，设定超过迅速移动手臂、脚的情况的阈值。
处理控制部114至少控制两个处理，即第1处理以及第2处理这两个处理的执行。在对处理的执行的控制中，包括发出命令执行该处理的指令，此外，也包括执行该处理本身。
在判定部113判定数据不足指定阈值的情况下，处理控制部114使用从判定为不足指定阈值的时间点(以下，也称“超阈值判定时间点”)往前推第1指定时间的数据来控制第1处理的执行。第1处理包括例如伴随画面内的指针移动的处理。
在判定部113判定数据为指定阈值以上的情况下，处理控制部114控制与第1处理不同的第2处理的执行。第2处理包括例如在指定位置处进行指示的处理。
在此，以下述情况为例：第1处理为画面内的指针的移动处理，第2处理为在指定位置的指示处理，以用户以不足阈值的角速度来移动头部从而使指针移动，当判断指针到达至指定位置后，以阈值以上的角速度移动头部从而执行指示处理。根据该例子，由于头部的角速度在到达阈值之前需要上升时间，因而用户判断指针到达指定位置的时间点与头部的角速度达到阈值以上的时间点不一致。因此，如果实时地依次利用所获取的数据中的头部的角速度不足阈值的数据来执行第1处理，则上升时间内的数据也会被用于移动处理，由此会导致在偏离指定位置的位置执行指示处理。
因此，在第1处理中不使用在基于为了达到指定阈值以上的指定部位的一系列动作的数据中的、直至到达指定阈值以上为止的上升部分的数据。由此，处理控制部114在第1处理中使用从超阈值判定时间点往前推第1指定时间的数据。为了减少用户动作与指针动作之间的延时，第1指定时间优选设为例如0.05秒至0.2秒之间的数值。应予说明，基于处理装置20的传感器的采样速度来设定第1指定时间即可。例如，如果采样速度为0.05秒，则可以以0.05秒为单位设定第1指定时间。
这样一来，使用往前推第1指定时间的数据来执行第1处理，并在数据达到指定阈值以上的时间点执行第2处理，由此能够将第1处理与第2处理适当地分开。例如，在第1处理为伴随指针的移动的处理的情况下，可以良好地执行上述处理。
此外，对于处理控制部114，当控制第1处理的执行时，应该回避使用用于指示第2处理的基于指定部位的一系列动作的数据，也包括不使用从判定数据为指定阈值以上的时间点开始在第2指定时间内的数据。例如，第2指定时间为0.4秒、0.5秒等数值，其可以设置为为了达到指定阈值以上的指定部位的一系列动作的平均时间等。例如，从超阈值判定时间点开始至经过第2指定时间为止，处理控制部114可以禁止将获取的数据用于移动处理，也可以中断数据的获取本身。应予说明，对于第2指定时间，可以将从判定数据为指定阈值以上的时间往前推第1指定时间的时间点，作为倒计时的开始时间点。
由此，无需为了执行第1处理而使用用于指示第2处理的、基于指定部位的一系列动作的数据，能够将第1处理与第2处理更加适当地分开。
此外，可以基于直至判定数据不足指定阈值为止的时间来设定第2指定时间。例如，判定部113判定一度达到指定阈值以上的数据是否不足指定阈值。在判定部113判定数据不足指定阈值的情况下，处理控制部114使用该数据来控制第1处理的执行。
由此，能够在变为第1处理的执行中使用的数据的范围内(不足指定阈值)的情况下，立即转移至执行第1处理。
此外，在控制第1处理的执行时，处理控制部114可以基于判定数据达到指定阈值以上的时间点来设定计时器。在这种情况下，处理控制部114可以包括将在计时器的计时过程中未判定数据为阈值以上并且直至该计时器期满为止的时间作为第2指定时间，并且不使用该第2指定时间内的数据。例如，在计时器的计时过程中数据达到阈值以上的情况下，可以使计时器复位。应予说明，计时器可以从判定数据达到指定阈值以上的时间往前推第1指定时间的时间点开始倒计时。
由此，能够使用计时器来判定数据的使用禁止区间，另外，在计时器的计时过程中数据再次达到阈值以上的情况下，也能够将计时器复位。
此外，在关于移动速度的数据包括多个方向的关于移动速度的数据，并且该多个方向包含第1方向的情况下，判定部113也可以包括判定第1方向上的数据是否为指定阈值以上。在这种情况下，处理控制部114也可以包括在第1处理的执行中不使用第2指定时间内的第1方向以及其他方向上的数据。例如，在传感器为三轴角速度传感器的情况下，数据为包含方向的角速度矢量的数据。作为具体例子，在将第1方向设为右方向的情况下，如果用户迅速向右方向移动指定部位，则执行第2处理，但在这时，在第2指定时间内，即使指定部位向右方向以外的方向移动，对应于该动作的数据也不会被用于第1处理。
由此，数据为具有方向性的数据，在基于第1方向的移动来执行第2处理的情况下，能够防止由于其他方向的移动而执行第1处理。例如，能够防止紧接在用于指示第2处理的执行的用户动作后的用户的无意的动作导致执行第1处理。
此外，在判定数据为指定阈值以上的情况下，处理控制部114也可以包括从第1处理的执行开始切换而控制第2处理的执行。在这种情况下，判定部113也可以判定是否满足返回至第1处理的执行的解除条件。在满足解除条件的情况下，处理控制部114从第2处理的执行切换至第1处理的执行并进行控制。解除条件例如包括从判定数据为指定阈值以上的时间点开始经过第2指定时间、以及数据达到指定阈值以下中的至少一者。
由此，处理控制部114通过改变控制主体，能够可靠地将两个处理分开。
此外，第1处理可以包括信息处理装置10的显示画面内的指针的移动处理，第2处理可以包括点击处理或拖动处理。例如，设定第1处理为作为指针的一个例子的鼠标光标的移动处理，第2处理为鼠标的点击处理。在这种情况下，当根据用户的头部(指定部位的一个例子)的一般的动作来使鼠标光标在画面内移动，并通过迅速的头部动作执行点击处理时，能够防止由于迅速的一例动作中的初始阶段的动作(关于移动速度的数据不足指定阈值的动作)而导致鼠标光标移动，从而能够在指定位置执行点击处理。
此外，设定第1处理为作为指针的一个例子的鼠标光标的移动处理，第2处理为鼠标的拖动处理。在这种情况下，当根据用户的头部(指定部位的一个例子)的一般的动作来使鼠标光标在画面内移动，并通过迅速的头部动作来执行拖动处理时，能够防止由于迅速的一例动作中的初始阶段的动作(关于移动速度的数据不足指定阈值的动作)而导致鼠标光标移动(偏离用户所期望的图标等的位置)，从而能够适当地指示指定位置的图标等并执行拖动处理。
在这种情况下，如果数据达到指定阈值以上进而执行拖动处理，则处理控制部114基于达到指定阈值以上后的数据来控制拖动的移动处理的执行。此外，通过设定拖动处理的解除条件，处理控制部114控制第1处理的执行即可。这种情况下的解除条件例如包括数据达到指定阈值以上。
此外，关于移动速度的数据可以使用角速度数据、加速度数据，但也可通过含有表示方向性的数据，使处理控制部114控制两个以上的处理的执行。例如，处理控制部114使头部的左方向的迅速的动作对应于左击，右方向的迅速的动作对应于右击，下方向的迅速的动作对应于开始拖动(在一般的鼠标操作中为在移动目标对象(例如，桌面上的图标等)上持续按下点击按键的状态)，上方向的迅速的动作对应于解除拖动(在上述一般的鼠标操作中，为停止按下点击按键的状态)。由此，处理控制部114能够根据关于移动速度的数据达到指定阈值以上的方向来改变所控制的处理。在这种情况下，也可将对应于各个方向的指定阈值配合各自的动作而设定为不同。
<处理装置20的结构>
图3为表示实施例中的处理装置20的结构的一个例子的方框图。如图3所示，处理装置20具有处理部202、发送部204、六轴传感器206、电源部208以及各生物电极32、34、36。此外，各个生物电极32、34、36例如通过增幅部并使用电线与处理部202连接。应予说明，各生物电极32、34、36不是必需的结构。此外，处理装置20具有存储处理数据的存储器。
六轴传感器206为三轴加速度传感器以及三轴角速度传感器。此外，这些传感器可以分开设置，也可以设置任意一种传感器。六轴传感器206将检测到的传感器信号向处理部202输出。
处理部202对从六轴传感器206获得的传感器信号或根据需要从各个生物电极32、34、36获得的眼电位信号进行处理，例如，将传感器信号、眼电位信号数据包化，并将该数据包输出至发送部204。此外，处理部202包含处理器，例如处理部202可以使用眼电位信号，计算出关于视线的移动速度的第2移动速度数据。
此外，处理部202也可以将来自六轴传感器206的传感器信号设为关于头部动作的第1移动速度数据。关于头部动作的信息例如为关于头部的向上下左右的动作的信息。此外，处理部202也可以仅对从六轴传感器206获取的传感器信号进行增幅等。
发送部204例如向信息处理装置10发送经过处理部202数据包化的第1移动速度数据或第2移动速度数据。例如，发送部204通过Bluetooth(注册商标)以及无线LAN等无线通信、或有线通信向信息处理装置10发送第1移动速度数据或第2移动速度数据。电源部208向处理部202、发送部204以及六轴传感器206等供给电力。
此外，处理部202也具备图2所示的CPU110的功能。例如，处理部202具有获取部112、判定部113、以及处理控制部114。在这种情况下，处理部202获取从六轴传感器206获取的传感器信号(第1移动速度数据)，并判定第1移动速度数据是否为指定阈值以上，然后根据判定结果来控制第1处理或第2处理的执行。这种情况下的控制为发出命令执行处理的指令。
发送部204向信息处理装置10发送处理部202发出的指令。信息处理装置10的处理控制部114如果获取处理装置20的发送部204发送的指令，则执行根据该指令的处理。这样一来，能够在处理装置20侧发出使根据用户的动作的处理的指令，信息处理装置10仅执行根据指令的处理即可，容易应用于现有的信息处理装置10。
<数据例>
图4为表示实施例中的关于移动速度的数据的一个例子的图。图4所示的数据表示根据指定采样速度(例如，20Hz＝0.05秒)而获取的数据。在图4所示的例子的情况下，例如，在判定时间点60时，如果设定0.05秒作为第1指定时间，则将判定时间点60前一个的判定时间点59的数据d_59用于第1处理的执行，如果设定0.2秒作为第1指定时间，则将判定时间点60前4个的判定时间点56的数据d_56用于第1处理的执行。应予说明，也可以存储关于基于眼电位信号的视线的移动速度的数据(第2移动速度数据)作为关于移动速度的数据。
<具体例子>
图5为表示实施例中的用于处理控制的数据的具体例子的图。在图5所示的例子中，设定指定阈值为Th1，采样速度为0.05秒，第1指定时间为TA(0.05秒)，第2指定时间为TB(0.4秒)，并设定关于移动速度的数据使用角速度数据。
在图5所示的例子中，在0.85秒(t1时间点)，数据达到指定阈值Th1以上。在这种情况下，直至0.85秒为止，处理控制部114使用从现在的时间点往前推第1指定时间TA的数据(前一个的数据)来控制第1处理的执行。例如，如果现在的时间点为0.60秒，则使用0.55秒的数据来控制第1处理的执行。
在时刻t1，在判定部113判定数据为指定阈值以上的情况下，处理控制部114不使用前一个的0.80秒的数据来控制第1处理的执行，而是从第1处理的执行开始切换并控制第2处理的执行。即，用于第1处理的执行的数据为直至第0.75秒为止的P1期间。
接着，在图5所示的例子中，判定部113判定是否从判定时间点t1开始经过了第2指定时间TB。即，判定部113判定是否经过了从作为判定时间点t1的0.85秒开始加上第2指定时间TB的0.4秒所得的1.25秒。第1处理不使用从0.85秒至1.25秒为止的期间P2的数据。
接着，如果判定部113判定从超阈值判定时间开始经过了第2指定时间，则处理控制部114基于上述判定结果，使用1.25秒之后的期间P3的数据来重新开始对第1处理的执行的控制。
图5所示的例子可良好应用于第1处理为鼠标光标的移动处理，并且第2处理为点击处理的情况。此外，在第2处理为拖动处理的情况下，例如，在拖动的开始处理中使用期间P2的数据，并在拖动的移动处理中使用期间P3的数据。
图6为表示实施例中的具体例子的判定时间点、执行的处理以及使用的数据的时间点之间的关系的图。在图6所示的例子中，图5所示的数据表示在第1处理为鼠标光标的移动处理，第2处理为点击处理的情况下，在什么时间点使用什么数据来执行什么处理。
如图6所示，在数据达到指定阈值以上的判定时间点0.85之前，执行第1处理，在该第1处理中，使用往前推第1指定时间的数据(在这种情况下，为前一个数据)。
在判定时间点0.85时，执行第2处理。在这种情况下，第2处理为点击处理，因而使用数据达到指定阈值以上的判定结果以及该时间点的位置信息。第1处理不使用任一数据。
在判定时间点1.25时，由于经过了第2指定时间，因此在判定时间点1.25之前不执行处理，也不使用数据。在判定时间点1.30以后，执行第1处理，在该第1处理中使用往前推第1指定时间的数据(前一个的数据)。
<动作>
图7为表示关于实施例中的处理控制的处理的一个例子的流程图。图7所示的处理为在信息处理装置10或处理装置20的任一者中执行的处理的一个例子。
在图7所示的步骤S102中，获取部112从用户的指定部位所佩戴的传感器依次获取关于指定部位的动作速度的数据。指定部例如为用户的头部，关于移动速度的数据例如为角速度数据。
在步骤S104中，判定部113判定关于移动速度的数据是否为指定阈值以上。如果数据为指定阈值以上(步骤S104-是)，则处理进入步骤S110，如果数据不足指定阈值(步骤S104-否)，则处理进入步骤S106。
在步骤S106中，判定部113设定关于第2指定时间的计时器，并判定是否在该计时器期满之前。如果在计时器期满之前(步骤S106-是)，则不使用关于移动速度的数据，而是获取下一次的数据(返回至步骤S102)，如果没有设定计时器或计时器期满(步骤S106-否)，则处理进入步骤S108。
在步骤S108中，处理控制部114使用从判定不足指定阈值的时间点往前推第1指定时间的数据来控制第1处理的执行。然后，处理返回至步骤S102。
在步骤S110中，在判定部113判定数据为指定阈值以上的情况下，处理控制部114控制与第1处理不同的第2处理的执行。
在步骤S112中，处理控制部114设置(设定)关于第2指定时间的计时器。此时，对计时器设置预定的时间。然后，处理返回至步骤S102。因此，不足指定阈值的数据在第2指定时间内禁止使用，而指定阈值以上的数据可以在第2指定时间内多次使用，例如，在第2指定时间内，能够在指针静止的状态下执行双击。
在处理装置20的处理部202执行图7所示的处理的情况下，处理的控制包括发出命令执行处理的指令，在信息处理装置10的CPU110执行图7所示的处理的情况下，处理的控制也可以包括发出命令执行处理的指令并基于指令执行处理。
应予说明，对于在图7中进行说明的处理的流程中所包含的各个处理步骤，能够在处理内容中不产生矛盾的范围内，任意地对顺序进行变更或并行执行，同时，也可以在各个处理步骤之间增加另外的步骤。此外，为了方便而作为一个步骤记载的步骤可以分为多个步骤来执行，另一方面，为了方便而分为多个步骤记载的，可以作为一个步骤来把握。
以上，根据实施例，使用设置有传感器的指定部位的动作，来将至少两个不同的处理适当地分开。例如，在第1处理伴随对应于指定部位的动作的移动处理的情况下，本发明的技术将良好地发挥作用。
此外，在上述实施例中，作为指定部位的动作，列举了用户的头部、腕、脚等的动作的例子，但也可以使用眼球的视线的动作。在这种情况下，也可以根据从各个生物电极(传感器的一个例子)检测的传感器信号来求出眼球的动作，并使处理控制部114基于关于该动作的数据(上述第2移动速度数据)来对处理进行控制。
应予说明，在实施例中，对使用来自于搭载于眼部佩戴用具30的六轴传感器的传感器信号进行了说明，但如上所述，六轴传感器不仅可以佩戴于头部，也可以佩戴于人体的任意位置。
此外，在实施例中，说明了对于移动速度数据，使用三轴加速度传感器的数据，但在这种情况下，也可以在检测出加速度之后，根据指定的运算处理对速度进行变换，并使用变换后的速度的数据。
以上，虽然使用实施例对本发明进行了说明，但是本发明的技术范围不限于上述实施例中记载的范围。本领域技术人员清楚得知，能够在上述实施例中加入各种变更或改良。该加入了各种变更或改良的方式也能够包含于本发明的技术范围内，这是从权利要求书的记载中能够清楚得知的。
符号说明
10 信息处理装置
20 处理装置
30 眼部佩戴用具
110 CPU
112 获取部
113 判定部
114 处理控制部
120 网络通信接口
130 存储器
150 用户界面
202 处理部
204 发送部
206 六轴传感器
208 电源部。
Claims (8)
1.一种信息处理方法，其中，由信息处理装置执行以下步骤：
获取步骤，所述获取步骤为从用户的指定部位所佩戴的传感器依次获取多个时间点的所述指定部位的关于移动速度的数据；
判定步骤，所述判定步骤为判定所述数据是否为指定阈值以上；
控制第1处理的执行的步骤，所述控制第1处理的执行的步骤为在判定所述数据不足指定阈值的情况下，使用从判定为不足所述指定阈值的时间点往前推第1指定时间的数据来控制第1处理的执行；以及
控制第2处理的执行的步骤，所述控制第2处理的执行的步骤为在判定所述数据为所述指定阈值以上的情况下，控制与所述第1处理不同的第2处理的执行。
2.如权利要求1所述的信息处理方法，其中，
所述控制第1处理的执行的步骤包括不使用从判定所述数据为所述指定阈值以上的时间点开始的在第2指定时间内的数据。
3.如权利要求2所述的信息处理方法，其中，
所述控制第1处理的执行的步骤包括基于判定所述数据为所述指定阈值以上的时间点来设定计时器，并且不使用在未判定此后的所述数据为所述指定阈值以上并且直至该计时器期满为止的所述第2指定时间内的数据。
4.如权利要求2所述的信息处理方法，其中，
所述关于移动速度的数据包括包含第1方向在内的多个方向的关于移动速度的数据，
所述判定步骤包括判定所述第1方向上的数据是否为所述指定阈值以上，
所述控制第1处理的执行的步骤包括不使用所述第2指定时间内的所述第1方向以及其他方向上的数据。
5.如权利要求1所述的信息处理方法，其中，
所述控制第2处理的执行的步骤包括从所述第1处理的执行开始切换并控制所述第2处理的执行。
6.如权利要求1所述的信息处理方法，其中，
所述第1处理包括画面内的指针的移动处理，
所述第2处理包括点击处理或拖动处理。
7.一种非暂时性记录介质，其中，所述非暂时性记录介质存储有使信息处理装置执行以下步骤的程序：
获取步骤，所述获取步骤为从用户的指定部位所佩戴的传感器依次获取所述指定部位的关于移动速度的数据；
判定步骤，所述判定步骤为判定所述数据是否为指定阈值以上；
控制第1处理的执行的步骤，所述控制第1处理的执行的步骤为在判定所述数据不足指定阈值的情况下，使用从判定为不足所述指定阈值的时间点往前推第1指定时间的数据来控制第1处理的执行；以及
控制第2处理的执行的步骤，所述控制第2处理的执行的步骤为在判定所述数据为所述指定阈值以上的情况下，控制与所述第1处理不同的第2处理的执行。
8.一种信息处理装置，所述信息处理装置包含处理器，其中，所述处理器执行以下步骤：
获取步骤，所述获取步骤为从用户的指定部位所佩戴的传感器依次获取所述指定部位的关于移动速度的数据；
判定步骤，所述判定步骤为判定所述数据是否为指定阈值以上；
控制第1处理的执行的步骤，所述控制第1处理的执行的步骤为在判定所述数据不足指定阈值的情况下，使用从判定为不足所述指定阈值的时间点往前推第1指定时间的数据来控制第1处理的执行；以及
控制第2处理的执行的步骤，所述控制第2处理的执行的步骤为在判定所述数据为所述指定阈值以上的情况下，控制与所述第1处理不同的第2处理的执行。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020129625A JP6957695B1 (ja) | 2020-07-30 | 2020-07-30 | プログラム、情報処理方法、及び情報処理装置 |
| JP2020-129625 | 2020-07-30 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114063768A true CN114063768A (zh) | 2022-02-18 |
| CN114063768B CN114063768B (zh) | 2024-06-07 |
Family
ID=78282038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110874892.8A Active CN114063768B (zh) | 2020-07-30 | 2021-07-30 | 信息处理方法、非暂时性记录介质以及信息处理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11604507B2 (zh) |
| JP (1) | JP6957695B1 (zh) |
| CN (1) | CN114063768B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7560144B2 (ja) | 2022-06-08 | 2024-10-02 | 株式会社ジンズホールディングス | 情報処理方法、プログラム、及び情報処理装置 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201489451U (zh) * | 2009-07-14 | 2010-05-26 | 融汇通网络服务有限公司 | 一种计算机装置 |
| US20120075206A1 (en) * | 2010-09-24 | 2012-03-29 | Fuji Xerox Co., Ltd. | Motion detecting device, recording system, computer readable medium, and motion detecting method |
| CN105264467A (zh) * | 2013-06-07 | 2016-01-20 | 精工爱普生株式会社 | 电子设备及点击操作检测方法 |
| CN105324741A (zh) * | 2013-05-30 | 2016-02-10 | 内奥诺德公司 | 光学接近传感器 |
| JP2016038807A (ja) * | 2014-08-08 | 2016-03-22 | シャープ株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
| JP2016195310A (ja) * | 2015-03-31 | 2016-11-17 | Ｎｅｃソリューションイノベータ株式会社 | ウェアラブル端末、制御方法、およびプログラム |
| CN106662914A (zh) * | 2014-12-08 | 2017-05-10 | 罗希特·塞思 | 可穿戴无线hmi装置 |
| US20190079662A1 (en) * | 2017-09-09 | 2019-03-14 | Apple Inc. | Devices, Methods, and Graphical User Interfaces for Adjusting a Display Property of an Affordance Over Changing Background Content |
| US20190146222A1 (en) * | 2017-10-31 | 2019-05-16 | Seiko Epson Corporation | Head-mounted display apparatus, display control method, and computer program |
| CN109931951A (zh) * | 2017-12-13 | 2019-06-25 | 京瓷办公信息系统株式会社 | 往复位移检测装置以及信息处理装置 |
| CN110366388A (zh) * | 2017-02-22 | 2019-10-22 | 睛姿控股公司 | 信息处理方法、信息处理装置以及程序 |
| KR102057803B1 (ko) * | 2019-05-28 | 2019-12-19 | 최현준 | 인터랙션 마우스 장치, 제어방법, 프로그램 및 컴퓨터 판독가능 기록매체 |
| JP2020044132A (ja) * | 2018-09-19 | 2020-03-26 | 株式会社コロプラ | プログラム、情報処理装置、及び情報処理方法 |
Family Cites Families (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04309996A (ja) | 1991-04-08 | 1992-11-02 | Hitachi Ltd | マンマシン装置 |
| JPH09258887A (ja) | 1996-03-22 | 1997-10-03 | Nec Corp | ハンドフリーマウス |
| WO2002065898A2 (de) * | 2001-02-19 | 2002-08-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und verfahren zur blickrichtungsbestimmung bezüglich eines festen referenzkoordinatensystems |
| TW200804887A (en) * | 2006-07-12 | 2008-01-16 | Jia-Lin Jou | Slim frame of spectacle having electronic device thereon, and spectacle having the same |
| JP5440167B2 (ja) * | 2007-07-04 | 2014-03-12 | ソニー株式会社 | 入力装置、制御装置、制御方法及びハンドヘルド装置 |
| JP5532865B2 (ja) * | 2008-12-04 | 2014-06-25 | セイコーエプソン株式会社 | データ処理装置およびデータ処理システム |
| JP4652489B2 (ja) * | 2009-01-19 | 2011-03-16 | パナソニック株式会社 | 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム |
| JP5490664B2 (ja) * | 2009-11-18 | 2014-05-14 | パナソニック株式会社 | 眼電位推定装置、眼電位算出方法、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイおよび電子めがね |
| JP5613025B2 (ja) * | 2009-11-18 | 2014-10-22 | パナソニック株式会社 | 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置 |
| US8313191B2 (en) * | 2010-10-15 | 2012-11-20 | Miro Optix Llc | Eyewear assembly |
| US9035878B1 (en) * | 2012-02-29 | 2015-05-19 | Google Inc. | Input system |
| US8947323B1 (en) * | 2012-03-20 | 2015-02-03 | Hayes Solos Raffle | Content display methods |
| JP5661067B2 (ja) * | 2012-05-29 | 2015-01-28 | 株式会社ジェイアイエヌ | アイウエア |
| US9378592B2 (en) * | 2012-09-14 | 2016-06-28 | Lg Electronics Inc. | Apparatus and method of providing user interface on head mounted display and head mounted display thereof |
| JP2015011689A (ja) * | 2013-07-02 | 2015-01-19 | 船井電機株式会社 | 情報処理装置、情報処理方法、および、システム |
| US9946340B2 (en) * | 2014-11-06 | 2018-04-17 | Kabushiki Kaisha Toshiba | Electronic device, method and storage medium |
| WO2016194581A1 (ja) * | 2015-05-29 | 2016-12-08 | アルプス電気株式会社 | 姿勢検出装置、眼鏡型電子機器、姿勢検出方法およびプログラム |
| JP6383490B2 (ja) * | 2015-06-01 | 2018-08-29 | アルプス電気株式会社 | 眼鏡型電子機器 |
| JP6513195B2 (ja) * | 2015-06-01 | 2019-05-15 | アルプスアルパイン株式会社 | 眼鏡型電子機器 |
| JP2017068001A (ja) * | 2015-09-30 | 2017-04-06 | セイコーエプソン株式会社 | 表示装置及び表示装置の制御方法 |
| JP6426589B2 (ja) * | 2015-11-27 | 2018-11-21 | 株式会社東芝 | 眼電位検出装置、眼電位検出方法、アイウエア及びフレーム |
| JP2017117211A (ja) * | 2015-12-24 | 2017-06-29 | 富士通株式会社 | 検出装置、方法、及びプログラム |
| JP2017162054A (ja) * | 2016-03-08 | 2017-09-14 | 株式会社東芝 | 情報処理装置及び出力装置 |
| KR20170126295A (ko) * | 2016-05-09 | 2017-11-17 | 엘지전자 주식회사 | 헤드 마운티드 디스플레이 장치 및 그것의 제어방법 |
| US20210294482A1 (en) * | 2016-10-19 | 2021-09-23 | Sony Corporation | Information processing device, information processing method, and program |
| US10474226B2 (en) * | 2016-11-30 | 2019-11-12 | Seiko Epson Corporation | Head-mounted display device, computer program, and control method for head-mounted display device |
| JP6919206B2 (ja) * | 2017-01-27 | 2021-08-18 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
| JP6919222B2 (ja) * | 2017-02-27 | 2021-08-18 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
| US11320957B2 (en) * | 2019-01-11 | 2022-05-03 | Microsoft Technology Licensing, Llc | Near interaction mode for far virtual object |
-
2020
- 2020-07-30 JP JP2020129625A patent/JP6957695B1/ja active Active
-
2021
- 2021-07-29 US US17/388,272 patent/US11604507B2/en active Active
- 2021-07-30 CN CN202110874892.8A patent/CN114063768B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201489451U (zh) * | 2009-07-14 | 2010-05-26 | 融汇通网络服务有限公司 | 一种计算机装置 |
| US20120075206A1 (en) * | 2010-09-24 | 2012-03-29 | Fuji Xerox Co., Ltd. | Motion detecting device, recording system, computer readable medium, and motion detecting method |
| CN105324741A (zh) * | 2013-05-30 | 2016-02-10 | 内奥诺德公司 | 光学接近传感器 |
| CN105264467A (zh) * | 2013-06-07 | 2016-01-20 | 精工爱普生株式会社 | 电子设备及点击操作检测方法 |
| JP2016038807A (ja) * | 2014-08-08 | 2016-03-22 | シャープ株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
| CN106662914A (zh) * | 2014-12-08 | 2017-05-10 | 罗希特·塞思 | 可穿戴无线hmi装置 |
| JP2016195310A (ja) * | 2015-03-31 | 2016-11-17 | Ｎｅｃソリューションイノベータ株式会社 | ウェアラブル端末、制御方法、およびプログラム |
| CN110366388A (zh) * | 2017-02-22 | 2019-10-22 | 睛姿控股公司 | 信息处理方法、信息处理装置以及程序 |
| US20190079662A1 (en) * | 2017-09-09 | 2019-03-14 | Apple Inc. | Devices, Methods, and Graphical User Interfaces for Adjusting a Display Property of an Affordance Over Changing Background Content |
| US20190146222A1 (en) * | 2017-10-31 | 2019-05-16 | Seiko Epson Corporation | Head-mounted display apparatus, display control method, and computer program |
| CN109931951A (zh) * | 2017-12-13 | 2019-06-25 | 京瓷办公信息系统株式会社 | 往复位移检测装置以及信息处理装置 |
| JP2020044132A (ja) * | 2018-09-19 | 2020-03-26 | 株式会社コロプラ | プログラム、情報処理装置、及び情報処理方法 |
| KR102057803B1 (ko) * | 2019-05-28 | 2019-12-19 | 최현준 | 인터랙션 마우스 장치, 제어방법, 프로그램 및 컴퓨터 판독가능 기록매체 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114063768B (zh) | 2024-06-07 |
| JP6957695B1 (ja) | 2021-11-02 |
| JP2022026251A (ja) | 2022-02-10 |
| US11604507B2 (en) | 2023-03-14 |
| US20220035448A1 (en) | 2022-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11231786B1 (en) | Methods and apparatus for using the human body as an input device | |
| US10654171B2 (en) | Operation device for operating robot, robot system, and operation method | |
| AU2016218318B2 (en) | Navigation user interface | |
| EP3414644B1 (en) | Control system for navigation in virtual reality environment | |
| EP2908215B1 (en) | Method and apparatus for gesture detection and display control | |
| JP6105822B1 (ja) | タッチスクリーンの制御方法及び装置 | |
| US9300430B2 (en) | Latency smoothing for teleoperation systems | |
| US10372223B2 (en) | Method for providing user commands to an electronic processor and related processor program and electronic circuit | |
| KR102297473B1 (ko) | 신체를 이용하여 터치 입력을 제공하는 장치 및 방법 | |
| US20240143066A1 (en) | Head-mounted information processing apparatus and its controlling method | |
| EP2790087A2 (en) | Information processing in accordance with the attitude of an input member | |
| CN103034343A (zh) | 一种感知鼠标的控制方法和装置 | |
| CN114063768B (zh) | 信息处理方法、非暂时性记录介质以及信息处理装置 | |
| TWI788607B (zh) | 人機交互系統和人機交互方法 | |
| CN106339088B (zh) | 检测设备运动状态的方法、手持式移动终端及穿戴式设备 | |
| US20160291703A1 (en) | Operating system, wearable device, and operation method | |
| US9940900B2 (en) | Peripheral electronic device and method for using same | |
| CN117784926A (zh) | 控制装置、控制方法和计算机可读存储介质 | |
| CN118076940A (zh) | 基于用户佩戴的腕式可穿戴设备的侧倾值来不同地解释用户的手指对手指手势的系统及其使用方法 | |
| CN112764615B (zh) | 悬浮球控制方法及装置 | |
| JP7560144B2 (ja) | 情報処理方法、プログラム、及び情報処理装置 | |
| KR20150093270A (ko) | 모션 인터페이스 디바이스 | |
| KR20150098960A (ko) | 웨어러블 디바이스의 제어 방법 및 그 장치 | |
| JP7246390B2 (ja) | ウェアラブルコンピューティングデバイスを用いた表示デバイスの直接操作 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |