CN109906423A - 姿势输入系统及姿势输入方法 - Google Patents

姿势输入系统及姿势输入方法 Download PDF

Info

Publication number
CN109906423A
CN109906423A CN201780066347.8A CN201780066347A CN109906423A CN 109906423 A CN109906423 A CN 109906423A CN 201780066347 A CN201780066347 A CN 201780066347A CN 109906423 A CN109906423 A CN 109906423A
Authority
CN
China
Prior art keywords
user
sense
touch
people
tactile cues
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780066347.8A
Other languages
English (en)
Other versions
CN109906423B (zh
Inventor
和久田大介
松本玄
江崎贤一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Automotive Electronic Systems Co ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN109906423A publication Critical patent/CN109906423A/zh
Application granted granted Critical
Publication of CN109906423B publication Critical patent/CN109906423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

姿势输入系统(100)受理基于用户的身体的一部分的运动而进行的用户操作,生成表示身体的一部分的运动的方向及/或运动量的输入信号,该姿势输入系统(100)具备:传感器(1),其对用户的身体的一部分的运动进行检测;触感提示装置(3),其在设定于空间内的基点(61)提示触感;以及控制装置(2),其在由传感器检测到的身体的一部分(50)设定追迹点,基于追迹点与基点的相对位置关系的变化而生成所述输入信号。触感提示装置(3)在姿势输入系统处于能够受理用户操作的能输入状态的期间,在基点(61)持续提示触感。

Description

姿势输入系统及姿势输入方法
技术领域
本公开涉及根据用户的身体的运动来受理输入的姿势输入系统及姿势输入方法。
背景技术
在专利文献1中,作为根据空间中的用户的操作来受理来自用户的输入的输入控制装置,例如具有专利文献1所公开的虚拟接口控制装置。专利文献1的虚拟接口控制装置具有:位置检测单元,其对用户的空间中的操作位置进行检测;输入受理单元,其在位置检测单元检测到的操作位置为规定的输入受理位置的情况下,受理用户的输入;以及空气喷出装置,其向空间中喷出空气,使得利用空气流来给予用于抵抗用户对输入受理位置的操作的阻力。
根据专利文献1的虚拟接口控制装置,利用空气流来给予用于抵抗用户对输入受理位置的操作的阻力,因此,用户能够通过由该空气流产生的阻力(触感)来掌握要操作的空间中的位置。
在先技术文献
专利文献
专利文献1:日本特开2005-219938号公报
发明内容
发明要解决的课题
在专利文献1所记载的系统中,能够使用户掌握要操作的空间中的位置,但在针对虚拟的输入设备的操作中,没有提示使用户感觉到用户的手的移动方向、移动距离这样的触感。
本公开提供一种能够使用户感觉到用户操作的方向、操作量的姿势输入系统及姿势输入方法。
用于解决课题的手段
在本公开的第一方式中提供一种姿势输入系统,其受理基于用户的身体的一部分的运动而进行的用户操作,生成表示身体的一部分的运动的方向及/或运动量的输入信号。姿势输入系统具备:传感器,其对用户的身体的一部分的运动进行检测;触感提示装置,其在设定于空间内的基点提示触感;以及控制装置,其在由传感器检测到的身体的一部分设定追迹点,基于追迹点与基点的相对位置关系的变化,生成输入信号。触感提示装置在姿势输入系统处于能够受理用户操作的能输入状态的期间,在基点持续提示触感。
在本公开的第二方式中提供一种姿势输入方法,受理基于用户的身体的一部分的运动而进行的用户操作,生成表示所述身体的一部分的运动的方向及/或运动量的输入信号。根据姿势输入方法,利用传感器来检测用户的身体的一部分的运动,利用触感提示装置,在设定于空间内的基点提示触感,利用控制装置,在由传感器检测到的身体的一部分设定追迹点,利用控制装置,基于追迹点与基点的相对位置关系的变化,生成输入信号。触感提示装置在处于能够受理用户操作的能输入状态的期间,在基点持续提示触感。
在本公开的第三方式中提供一种电子设备,该电子设备具备上述的姿势输入系统或实施姿势输入方法。
发明效果
根据本公开的姿势输入系统及姿势输入方法,在空间中进行姿势操作时,用户能够感觉到姿势操作的基准位置,能够感觉到相对于基准位置的移动方向及移动量。由此,姿势操作中的便利性提高。
附图说明
图1是示出本公开的实施方式1中的姿势输入系统的结构的框图。
图2是用于说明由姿势输入系统进行的虚拟的跟踪球的操作的图。
图3是说明了利用姿势输入系统设定的基点、追迹点、触感提示区及能输入区的图。
图4是说明了基于能输入区与触感提示区的相对位置关系来描述触感提示输出的打开/关闭的图(在将能输入区设定于用户的手的掌部整个区域的情况下)。
图5是说明了基于能输入区与触感提示区的相对位置关系来描述触感提示输出的打开/关闭的图(在将能输入区设定于用户的手的掌部的一部分区域的情况下)。
图6是用于说明在能输入区与触感提示区未接触时将触感提示输出设为关闭的原因的图。
图7是说明了实施方式1中的针对姿势输入系统的间断的输入操作的图。
图8是说明了实施方式1中的针对姿势输入系统的间断的输入操作的图。
图9是用于说明根据操作位置(高度)来变更姿势输入系统的灵敏度的功能的图。
图10是示出实施方式1中的姿势输入系统的动作的流程图。
图11是说明了在本公开的实施方式2中、与能输入区和触感提示区的相对位置关系无关地将触感提示输出维持为打开的功能的图。
图12是说明了实施方式2中的针对姿势输入系统的间断的输入操作的图。
图13是示出实施方式2中的姿势输入系统的动作的流程图。
图14是示出本公开的实施方式3中的信息处理装置的结构的框图。
图15是示出实施方式3中的信息处理装置的动作的流程图。
图16是示出本公开的实施方式4中的信息传递装置的结构的框图。
图17是用于说明实施方式4中的征兆报告区域内的触感提示的方法的图。
图18是说明了根据紧急度的高低而变化的触感提示的方法的图。
图19是示出实施方式4中的信息传递装置的警告动作的流程图。
图20是示出本公开的实施方式5中的信息传递装置的结构的框图。
图21是用于说明实施方式5中的征兆报告区域内的触感提示的方法的图。
图22是示出实施方式5中的信息传递装置的警告动作的流程图。
图23是说明了由本公开的实施方式6中的信息传递装置设定的征兆报告区域的图。
图24是示出本公开的实施方式6中的信息传递装置的结构的框图。
图25是示出实施方式6中的信息传递装置的警告动作的流程图。
图26是说明了由本公开的实施方式7中的信息传递装置设定的征兆报告区域及禁止进入区域的图。
图27是示出本公开的实施方式7中的信息传递装置的结构的框图。
图28是示出实施方式7中的信息传递装置的警告动作的流程图。
图29是示出本公开的实施方式8中的信息传递装置的结构的框图。
图30是示出实施方式8中的信息传递装置的警告动作的流程图。
图31是示出本公开的实施方式9中的信息传递装置的结构的框图。
图32是示出实施方式9中的信息传递装置的警告动作的流程图。
图33是示出本公开的实施方式10中的信息传递装置的结构的框图。
图34是示出实施方式10中的信息传递装置的警告动作的流程图。
具体实施方式
以下,参照附图对本发明的实施方式进行说明。
(实施方式1)
以下所说明的姿势输入系统是能够进行用户的姿势输入的装置。姿势输入是指,利用用户的身体的至少一部分(例如,手)的运动而将用户的操作的意思传递给电子设备等的输入方法。姿势输入系统将表示基于用户的身体的运动而进行的操作的信号(操作信息)向电子设备等输出。电子设备等按照由姿势输入系统检测到的基于用户的身体的运动而进行的操作,执行与操作建立了关联的命令。
1.姿势输入系统的结构
图1是示出本公开的实施方式1的姿势输入系统的结构的图。本实施方式的姿势输入系统100包括:对用户的身体的运动进行检测的传感器1;基于传感器1的输出来受理用户的姿势输入的输入控制装置2;以及根据输入控制装置2的控制而向用户提示触感的触感提示装置3。
传感器1是能够在规定范围内检测物体的运动的传感器,包括相机等视觉传感器。例如,传感器1是能够以非接触的方式三维地检测物体的运动的距离图像传感器(TOF传感器)或激光传感器。传感器1能够检测人体的运动即可,例如,也可以是超声波传感器、红外线传感器或可见光传感器。
传感器1对用户的身体的一部分的运动进行检测。传感器1获取参照部位的三维的坐标来作为与参照部位的运动相关的信息。在本实施方式中,检测对象的身体的一部分是人的手(hand)。检测对象的部位也可以是身体的其他部位,可以是人的上半身、脸、手指或指尖等。
输入控制装置2基于传感器1检测到的用户的手的运动,来检测用户的操作,输出表示用户操作的信息。输入控制装置2包括判定姿势输入的控制部21;存放控制所需的各种信息的存储部22;用于与外部设备进行通信的接口部23。控制部21能够由半导体元件等实现,由微机、CPU、MPU、DSP、FPGA、ASIC等构成。控制部21可以仅由硬件构成,也可以通过将硬件与软件组合来实现。控制部21将表示基于传感器1的输出而判定的用户操作的信息向控制对象的电子设备200输出。电子设备200是任意的装置,是个人计算机或各种电子设备。
存储部22例如能够由DRAM、闪速存储器或强电介质存储器等实现。
接口部23是按照USB、HDMI(注册商标)、PCI总线等通信规格来进行输入控制装置与作为控制对象的电子设备200之间的通信的装置(电路)。
触感提示装置3是能够在空中提示触感的通知装置。“触感”是指人体能够通过皮肤来识别的感觉。作为能够通过皮肤来识别的感觉的例子,举出触觉、振动感觉、压觉、温热感觉、寒冷感觉及痛觉。“提示触感”例如可以通过振动及/或压力来给予刺激,也可以给予温感及/或冷感。例如,触感提示装置3可以利用振子(例如超声波振子)向用户给予振动及/或声辐射压,也可以给予通过皮肤与由激光生成的等离子体接触而产生的冲击。或者,触感提示装置3也可以利用压缩机或风扇向用户给予空气流。或者,触感提示装置3也可以利用红外线源向用户给予温感,还可以利用帕尔帖(Peltier)元件向用户给予冷感。换言之,触感提示装置3也可以包含从由振子、激光、压缩机、风扇、帕尔帖元件及红外线源构成的组中选择的至少一种。空中的触感的提示,是指在不与人体接触的状态下使人体感觉到触感。
也可以利用超声波的声辐射压来作为触感提示。例如,也可以由并排多个超声波振子而构成的超声波振子阵列构成触感提示装置3。超声波振子阵列能够通过在空中的任意位置处作出超声波的焦点而向人体的表面提示触觉。在超声波的焦点中,除了声压的振动之外还产生声辐射压这样的静态压力。在空气中传播的超声波被与空气的声阻抗不同的物体遮挡时产生声辐射压这样的静态压力。当成为声压等级较大的超声波时,超声波被身体表面遮挡,由此,产生能够由人识别的这种按压身体表面的力。由此,能够以非接触的方式对身体提示力。
“超声波”通常是具有20kHz以上的频率的声波,不能被人的耳朵听到。为了不依赖于听觉地提示触感,将频率设为20kHz以上即可。超声波的频率没有上限的制约,但在空气中传播的超声波的衰减随着频率变高而变大,因此,进行使用了超声波的触感提示的频率优选为20kHz~200kHz,更优选为20kHz~100kH。另外,能够向身体表面提示可由人识别的压力的超声波的声压等级为140dB以上,优选为150dB以上,进一步优选为160dB以上。
通过间歇地驱动超声波振子或对超声波振子进行振幅调制,能够使声辐射压随时间变化,从而作为振动提示给用户。此时,在掌管振动感的皮肤感觉接受器中存在灵敏度高的振动频率。通过使声辐射压的调制驱动与该灵敏度高的振动频率一致,即便声辐射压相同,也能够给予更强的触感。该调制频率优选为0~300Hz,更优选为100Hz~300Hz。
或者,也可以利用空气流来作为触感提示。即,也可以由包括喷嘴和泵且喷射空气流的装置构成触感提示装置3。
2.姿势输入系统的动作
对如以上那样构成的姿势输入系统100的动作进行说明。姿势输入系统100利用传感器1来检测用户的手50在空间中的运动(移动),将表示运动(移动)的方向及运动量的信息作为操作信息(操作信号)向外部的电子设备200发送。由此,如图2所示,用户想象在空间中存在虚拟的跟踪球90,能够以针对该虚拟的跟踪球90进行旋转操作这样的感觉来对电子设备200进行操作。即,用户通过以使虚拟的跟踪球90在前后左右旋转的方式对手50进行操作,从而实现了使光标在电子设备200的显示部中沿上下左右移动,或者使画面沿上下左右滚动。
另外,姿势输入系统100还对用户的手50的形状进行检测,将表示形状的信息作为操作信息向电子设备200发送。例如,姿势输入系统100检测手50的掌部闭合的形状(石头的状态)或全部打开的形状(布的状态)来作为用户的手50的形状,将表示该形状的信息作为操作信息(操作信号)向电子设备200发送。
首先,参照图3,对与姿势输入系统100的动作关联的几个用语进行说明。
“基点”是用户进行姿势输入操作时的基准位置。如图3的(A)所示,姿势输入系统100在用户进行姿势输入操作的空间中设定基点61的坐标。用户一边与基点61触碰一边在空间中进行输入操作。因此,姿势输入系统100(触感提示装置3)在空间中以基点61为中心的某一范围63内提示触感(参照图3的(A)、(B))。将该提示触感的范围称为“触感提示区”。用户在手50(身体的一部分的例子)与触感提示区63接触的期间,手感觉到触感。若基点61的坐标一旦被决定,则不随时间变化而固定。
“追迹点”是姿势输入系统100作为判定用户的手50的位置的基准而设定的、用户的手50的区域内的位置。在本实施方式中,如图3的(A)、(B)所示,追迹点51设定在用户的手50的区域内的规定位置。姿势输入系统100基于追迹点51与基点61的相对位置关系的变化,来检测由用户进行的姿势输入(用户操作)。该追迹点伴随手50的运动而移动。
姿势输入系统100在用户的手50的掌部的全部或一部分区域设定“能输入区”53。能输入区53的尺寸大于触感提示区63的尺寸,且成为用户的手50的尺寸以下。在能输入区53与触感提示区63接触的期间,能够受理姿势输入。能输入区53伴随手50的运动而一起移动。
能输入区53例如可以如图4的(B1)、(B2)所示设定于手的掌部整体的区域,也可以如图5的(B1)、(B2)所示设定于手的掌部的一部分区域。需要说明的是,在本实施方式中,如图4的(B1)、(B2)所示,设为能输入区53设定在手的掌部整体的区域来进行以下的说明。
姿势输入系统100具有能够受理姿势输入的能受理输入状态和不进行姿势输入的受理的不能受理输入状态来作为动作状态。在能输入区53与触感提示区63接触的情况下,姿势输入系统100将其动作状态设定为能够受理姿势输入的能受理输入状态。当处于能受理输入状态时,触感提示装置3对触感提示区63提示触感(参照图4的(A1)、(B1)、图5的(A1)、(B1))。用户通过手的掌部感觉到触感而能够识别出可进行姿势输入。
另一方面,在能输入区53未与触感提示区63接触的情况下,姿势输入系统100将其动作状态设定为不能受理姿势输入的状态。此时,触感提示装置3不对触感提示区63提示触感(参照图4的(A2)、(B2)、图5的(A2)、(B2))。这样,在不能受理状态中停止触感提示的原因是为了防止在不能受理姿势输入的状态下用户感觉到触感而误解为能受理状态。例如,如图6所示,在利用气流66给予触感且手的掌部(能输入区53)位于触感提示区63的下方的情况下,由于能输入区53未与触感提示区63接触,因此,姿势输入系统100被设定为不能受理输入状态。此时,若不将触感提示输出设为关闭,则气流66触碰到用户的手的掌部,因此,存在用户感觉到触感而误解为能够进行姿势输入的可能性。对此,在本实施方式中,在能输入区53未与触感提示区63接触的情况下,将触感提示输出设为关闭,由此,使用户识别到不能受理。
图7及图8是说明了在姿势输入系统100中用于连续地指示朝一方向(方向A)的运动(移动)的间断的用户操作的图。图7是说明了从进行操作的用户的正面侧观察时的用户的手的运动的图。图8是说明了从用户的侧面侧观察时的用户的手50与触感提示区63的相对位置关系的变迁的图。如图7及图8的(A)、(B)所示,首先,用户使手50(即能输入区53)一边与触感提示区63接触一边朝一方向(方向A)移动。此时,在姿势输入系统100中,基于基点61与追迹点51的相对位置关系的变化,输入朝方向A的方向的操作指示。由此,例如,在电子设备200上,光标朝与方向A对应的方向移动。
当用户使手50进一步朝方向A移动时,能输入区53向触感提示区63的外侧移动,不再与触感提示区63接触(参照图8的(C))。此时,姿势输入系统100成为不能受理输入状态。此时,在电子设备200中光标不移动。
然后,如图7所示,用户在维持能输入区53与触感提示区63不接触的状态下将手50移动到触感提示区63的上方(参照图8的(D))。进而,用户使手50下降(参照图8的(E)),在能输入区53与触感提示区63接触的时间点,再次使手50朝一方向(方向A)移动(参照图8的(A)、(B))。由此,光标再次从停止位置进一步朝方向A移动。
如上所述,通过重复进行在能输入区53与触感提示区63接触的状态下使手50朝一方向移动的操作、在能输入区53与触感提示区63不接触的状态下将手50返回到原来位置的操作、以及在能输入区53与触感提示区63接触的状态下使手50朝一方向移动的操作,从而能够实现对朝一方向的长距离的移动进行指示的操作。通过这样的间断操作,能够通过有限的空间内的操作(手的运动)来实现较宽的虚拟空间内的光标的移动等。
另外,姿势输入系统100也可以根据用户进行操作的位置来变更输出灵敏度。即,姿势输入系统100也可以根据用户进行操作的位置(例如高度)来使表示移动量的输出值相对于手的实际移动量的比例(灵敏度)变化。
例如,在利用空气流进行触感提示且触感提示区如图9所示成为圆柱形的区域63b的情况下,也可以是,越是在区域63b的下侧进行姿势操作,即,能输入区53与触感提示区63b越是在更靠下方的位置接触,则越增大输出值相对于手的实际的单位移动量的比例。由此,用户通过改变所操作的位置(高度),能够变更相对于手的相同移动量而言的向电子设备指示的移动量。例如,用户在想要使光标加速(加快)移动时,在触感提示区域63b的下方侧进行操作,在想要使光标减速(缓慢)移动时,在上方侧进行操作即可。这样,能够相对于手的相同的运动而变更向电子设备指示的移动量,因此,用户的便利性提高。
另外,在该情况下,也可以与灵敏度的变化配合地变更所提示的触感的强度。由此,用户能够一边直观地感觉到灵敏度(移动量)的大小一边进行操作。
图10是示出姿势输入系统100中的姿势输入动作的流程图。以下,参照该流程图来说明姿势输入系统100中的姿势输入动作。
在姿势输入系统100中,传感器1对用户的手50(身体的一部分)的运动进行检测(S11)。由传感器1检测到的结果向输入控制装置2输入。输入控制装置2(控制部21)基于来自传感器1的信息对用户的运动进行分析(S12),来检测是否检测到成为用于开始输入受理的触发的规定运动(S13)。该规定运动例如是从手50的掌部闭合的状态(石头的状态)向手50的掌部全开的状态(布的状态)变化的运动。
输入控制装置2的控制部21在未检测到规定运动的情况下(S13中为否),返回步骤S11,持续检测用户的手的运动。
在检测到规定运动的情况下(S13中为是),控制部21将姿势输入系统100的动作状态设定为能够受理姿势输入的能受理输入状态(S14)。进而,控制部21设定基点61的坐标,对触感提示装置3进行控制,在包含基点61的触感提示区63提示触感(S15)。控制部21基于检测到的手50的位置,来设定基点61的位置(坐标),使得在手50的掌部感觉到触感。由此,能够进行姿势输入。需要说明的是,若基点61的坐标一旦被决定,则固定为所决定的坐标,直至本处理结束为止。
然后,传感器1对用户的手50的运动(姿势操作)进行检测(S16)。将表示传感器1的检测结果的信息向控制部21输入。控制部21基于表示来自传感器1的检测结果的信息,对手的运动进行分析(S17)。即,控制部21基于检测到的手的区域的信息,来检测追迹点51的位置(坐标)和能输入区53。需要说明的是,预先决定了将手的掌部的哪一部分设定为追迹点51和能输入区53,表示该设定的信息存放在存储部22中。控制部21基于检测到的基点61与追迹点51的相对位置关系的变化来检测用户操作。具体而言,控制部21求出追迹点51的坐标相对于基点61的坐标的变化,算出从上次检测时起算的追迹点51的移动方向及移动量。控制部21基于算出的追迹点51的移动方向及移动量来求出用户操作(操作的方向及量)。
另外,控制部21也可以检测手50的形状。例如,也可以检测手50的掌部闭合的状态(石头的状态)、手50的掌部全开的状态(布的状态)、竖立一根手指的状态等,从而检测与各状态对应的用户操作。
控制部21经由接口部23,将表示基于分析结果检测到的用户操作的操作信息向电子设备200输出(S18)。电子设备200按照基于从输入控制装置2接收到的操作信息的用户操作而进行动作。例如,电子设备200基于操作信息,使光标在显示画面上移动。
之后,控制部21判定设定于用户的手50的区域的能输入区53是否与触感提示区63接触(S19)。
在能输入区53与触感提示区63接触的情况下(S19中为否),控制部21在姿势输入系统100的动作状态处于不能受理输入状态时设定为能受理输入状态(S23)。进而,控制部21对触感提示装置3进行控制,在包含基点61的触感提示区63提示触感(S24)。之后,控制部21返回步骤S16,重复进行上述处理。
另一方面,在能输入区53处于触感提示区63之外的情况下(S19中为是),控制部21将姿势输入系统100的动作状态设定为不能受理输入状态(S20)。进而,控制部21对触感提示装置3进行控制,停止触感提示用的输出(S21)。这样,在能输入区53成为触感提示区63之外的情况下,设定为不受理姿势输入,并且停止触感提示。
之后,控制部21判断在规定时间内是否由传感器1检测到用户的手的运动(S22)。在规定时间内由传感器1检测到用户的手的运动的情况下(S22中为是),控制部21返回步骤S19,重复进行上述处理(S16~S22)。例如,在由用户进行了使用图7、图8说明的间断操作的情况下,重复进行步骤S16~S22。
另一方面,在规定时间内未由传感器1检测到用户的手的运动的情况下(S22中为是),控制部21结束本处理。
如以上那样,本实施方式的姿势输入系统100能够根据在空间中进行的用户的姿势来检测其操作信息,向作为控制对象的电子设备200输出该操作信息。此时,姿势输入系统100在以空间中的一点作为基点61且以该基点61的位置为中心的区域(触感提示区)63提示触感。用户一边利用手的掌部感觉在基点61附近提示的触感一边进行操作,由此能够容易地识别所操作的方向和量。
3.小结
如以上那样,本实施方式的姿势输入系统100受理基于用户的手50(身体的一部分的一例)的运动而进行的用户操作,生成表示手的运动的方向及/或运动量的输入信号。姿势输入系统100具备:传感器1,其对用户的手50的运动进行检测;触感提示装置3,其在设定在空间内的基点61提示触感;以及输入控制装置2,其在由传感器1检测到的身体的一部分设定追迹点51,基于追迹点51与基点61的相对位置关系的变化来生成输入信号。触感提示装置3在姿势输入系统100处于能够受理用户操作的能输入状态的期间,在基点61持续提示触感。这样,在处于能输入状态的期间,持续提示触感,因此,用户能够一边根据触感而识别出处于输入操作中一边进行姿势操作。
输入控制装置2在不是能输入状态时传感器1检测到用户的手50的规定运动(例如,使手从闭合的状态到打开的状态的运动)时,在空间内设定基点61,并且,将姿势输入系统100设定为能输入状态。基点61的位置被固定,直至再次设定为止。由此,在用户进行了规定的操作时设定空间内的基点61。另外,通过将基点61的位置固定,用户能够识别姿势操作的基准位置。
基点61设定在用户的手50上。由此,能够对用户的手50提示触感。
触感提示装置3在空间内的包含基点61的规定范围即触感提示区63提示触感。通过在触感提示区63提示触感,从而用户能够识别可进行姿势操作的空间内的范围。
输入控制装置2在手50上设定能输入区53,当能输入区53的至少一部分与触感提示区63重叠时,将姿势输入系统设定为能输入状态。当能输入区未与触感提示区重叠时,将姿势输入系统设为不受理用户操作的不能输入状态(S19-S20)。由此,用户能够进行间断的输入操作。
当姿势输入系统100处于不能输入状态时,触感提示装置3停止触感的提示(S21)。由此,用户能够识别出不能受理,并且能够实现节电。
输入控制装置2根据追迹点51在触感提示区63内的位置,使输入信号所示的运动量相对于手的实际的运动的变化比例(灵敏度)变化。由此,用户能够通过简单的操作而容易地变更例如光标的移动速度。
触感提示装置3利用声辐射压或空气流来提示触感。触感提示装置3可以利用振子(例如超声波振子)向用户给予振动及/或声辐射压,也可以给予通过皮肤与由激光生成的等离子体接触而产生的冲击。或者,触感提示装置3也可以利用压缩机或风扇向用户给予空气流。或者,触感提示装置3也可以利用红外线源向用户给予温感,还可以利用帕尔帖元件向用户给予冷感。换言之,触感提示装置3也可以包含从由振子、激光、压缩机、风扇、帕尔帖元件及红外线源构成的组中选择的至少一种。
本实施方式公开了受理基于用户的手50(身体的一部分的一例)的运动而进行的用户操作、并生成表示手50的运动的方向及/或运动量的输入信号的姿势输入方法。根据姿势输入方法,利用传感器1来检测用户的手50的运动(S12)。利用触感提示装置3,在包含设定于空间内的基点61的触感提示区63提示触感(S15)。利用输入控制装置2,在由传感器1检测到的手50中设定追迹点51,基于追迹点51与基点61的相对位置关系的变化而生成输入信号(S17)。触感提示装置3在处于能够受理用户操作的能输入状态的期间,在基点持续提示触感。
本公开的姿势输入系统及姿势输入方法能够通过硬件资源、例如处理器、存储器以及与程序的协同配合等来实现。
(实施方式2)
在本实施方式中,以能输入区53设定在手的掌部整体的区域作为前提。在实施方式1的姿势输入系统100中,在能输入区53处于触感提示区63之外的情况下,设定为不能受理输入状态(S20),并且,停止来自触感提示装置3的触感提示输出(S21)。与此相对,在实施方式2的姿势输入系统100中,在能输入区53处于触感提示区63之外的情况下,设定为不能受理输入状态,但持续来自触感提示装置3的触感提示输出。除此以外的结构、动作与实施方式1是同样的。
图11是说明了在实施方式2中,与能输入区和触感提示区的相对位置关系无关地将触感提示输出维持为打开的功能的图。在能输入区(手的掌部整体)53与触感提示区63接触的情况下,姿势输入系统100将动作状态设定为姿势输入的能受理状态。此时,触感提示装置3将触感提示的输出设为打开,对触感提示区63提示触感(参照图11的(A1)、(B1))。
另一方面,在能输入区53处于触感提示区63之外的情况下,姿势输入系统100将动作状态设定为姿势输入的不能受理状态。此时,触感提示装置3不将触感提示的输出设为关闭而持续触感提示输出(参照图11的(A2)、(B2))。
在本实施方式中,将能输入区53设定在手的掌部整体的区域。因此,在能输入区53处于触感提示区63之外的情况下,在手的掌部的区域外提示触感,因此,用户不会感觉到触感。因此,即便持续提示触感,也不会产生用户通过触感而误解为能受理输入这样的问题。
图12是说明了实施方式2中的针对姿势输入系统的间断的输入操作(参照图7)的图。在进行了间断的输入操作的情况下,如图12的(C)~(E)所示,即便在能输入区53处于触感提示区63之外的情况下,也通过触感提示装置3持续提示触感。
图13是示出实施方式2中的姿势输入系统的动作的流程图。图13所示的流程图是在图10所示的流程图中将步骤S21置换为步骤S21b而得到的。即,在本实施方式中,即便在能输入区53处于触感提示区63之外的情况下,也通过触感提示装置3持续提示触感(S21b)。
如以上那样,即便在能输入区53处于触感提示区63之外的情况下,也持续触感提示输出,因此,在触感提示装置3中不再需要频繁地切换触感提示的打开/关闭,控制变得容易。
(实施方式3)
以下,说明将上述的实施方式所说明的姿势输入系统作为输入单元之一而应用的信息处理装置的结构。
图14是示出将上述的实施方式所说明的姿势输入系统作为输入单元之一而应用的信息处理装置的结构的图。信息处理装置例如是个人计算机。
如图14所示,信息处理装置300具备:控制其整体动作的控制器311;显示各种信息的显示部313;供用户进行操作的操作部315;RAM316;以及存储数据、程序的硬盘驱动器(HDD)317。此外,信息处理装置300具备用于与外部设备进行通信的接口部319。此外,信息处理装置300具备传感器321和触感提示部323。
显示部313例如由液晶显示器或有机EL显示器构成。操作部315包括键盘、触摸板、触摸面板及/或按钮等。触摸面板配置为其操作区域与显示部313的显示区域重叠。按钮包括物理地设置于信息处理装置300的按钮、显示部313所显示的虚拟的按钮。
接口部319是用于按照HDMI、USB、LAN、Bluetooth(蓝牙,注册商标)、WiFi等的通信规格而与外部设备进行通信的电路(模块)。
RAM316例如由DRAM或SRAM等半导体器件构成,临时地存储数据,并且还作为控制器311的作业区发挥功能。
硬盘驱动器(HDD)317是对为了实现规定的功能而需要的参数、数据及控制程序等进行存储的记录介质。代替硬盘驱动器(HDD),也可以使用半导体存储装置(SSD)这样的其他记录介质。
控制器311是CPU或MPU,通过执行控制程序(软件)来实现规定的功能。需要说明的是,在本实施方式中,在硬盘驱动器317中预先安装有用于使姿势输入系统发挥功能的程序(驱动程序),控制器311通过执行该程序来实现姿势输入系统的功能。
传感器321是具有与上述的实施方式中说明的传感器1同样的结构、功能、且在规定范围内能够检测物体的运动的传感器。触感提示部323也是具有与上述的实施方式中说明的触感提示装置3同样的结构、功能、且能够在空中提示触感的通知装置。
传感器321与触感提示部323和控制器311一起构成姿势输入部。姿势输入部具有与上述的实施方式中的姿势输入系统100同样的姿势输入功能。控制器311按照图10或图13所示的流程图中示出的处理而实现姿势输入功能。
信息处理装置300除了能够通过用户对操作部315的直接操作来受理输入之外,还能够通过用户在空中的姿势操作来受理输入。即,信息处理装置300由触感提示部323在基点坐标提示触感,利用传感器321来检测基点附近的用户的手的运动。控制器311基于检测到的手的运动,进行显示部313所显示的光标的位置、画面的滚动。
图15是示出本实施方式的信息处理装置300中的进行基于姿势输入的光标移动时的一系列动作的流程图。
控制器311基于从传感器321获取到的信息,来确认是否由用户进行了用于将姿势输入设为打开的规定运动(触发动作)(S41)。触发动作例如是指,从手指关闭的状态变更为手指全部打开的状态的动作。在检测到触发动作的情况下(S41中为是),开始姿势输入的受理。
控制器311基于检测到的手的位置来决定空间中的基点坐标,对触感提示部323进行控制,在以基点坐标为中心的范围内(触感提示区63)提示触感(S42)。此时,用户一边使手的掌部感觉提示于空间中的触感一边进行姿势操作(移动方向的指示)。即,用户一边使手的掌部感觉触感,一边使手朝想要移动光标的方向移动所希望的量。传感器321检测该用户的手的运动(姿势)并向控制器311传递(S43)。
控制器311基于检测到的用户的手的运动(姿势)来检测用户操作(移动方向、移动量)(S44)。具体而言,基于基点61的位置与手的区域上的追迹点51的位置的相对位置关系的变化,求出追迹点51的移动方向及移动量。
控制器311基于检测到的用户操作,来变更显示部313所显示的光标的位置(S45)。
之后,用户进行用于对光标所选择的功能(图标)执行特定的处理的规定的姿势。规定的姿势例如是将手指全部打开的状态(布)变更为手指关闭的状态(石头)的动作。控制器311经由传感器321来检测由用户进行的规定的姿势,执行与该姿势建立了关联的处理(S47)。
之后,控制器311对触感提示部323进行控制来停止触感的提示(S48)。
根据以上那样的结构,能够在信息处理装置300中进行姿势输入。需要说明的是,在本实施方式中,作为信息处理装置而例示了个人计算机,但信息处理装置也可以为平板终端、智能手机。
另外,本公开的姿势输入系统不局限于信息处理装置,也能够应用于其他各种电子设备。例如,本公开的姿势输入系统也能够作为汽车导航装置、空调装置、音频装置及游戏设备的输入单元而应用。
(本公开1)
上述的实施方式1~3公开了以下的结构。
(1)、公开了一种姿势输入系统,受理基于用户的身体的一部分的运动而进行的用户操作,生成表示所述身体的一部分的运动的方向及/或运动量的输入信号。
姿势输入系统具备:传感器,其对用户的身体的一部分的运动进行检测;触感提示装置,其在包含设定于空间内的基点的规定区域提示触感;以及控制装置,其在由传感器检测到的身体的一部分设定追迹点,基于追迹点与基点的相对位置关系的变化而生成输入信号。触感提示装置在姿势输入系统处于能够受理用户操作的能输入状态的期间,在规定区域持续提示触感。
由此,在处于能输入状态的期间,在基点持续提示触感,因此,用户能够一边根据触感而识别出处于输入操作中一边进行姿势操作。
(2)、在(1)的基础上也可以是,控制部在不是能输入状态时传感器检测到用户的身体的一部分的规定运动时,在空间内设定基点,并且将姿势输入系统设定为能输入状态。之后,基点的位置也可以被固定,直至再次设定为止。由此,在用户进行了规定的操作时设定空间内的基点。另外,通过将基点的位置固定,用户能够识别姿势操作的基准位置。
(3)、在(2)的基础上也可以是,基点设定在用户的身体的一部分上。由此,将用户所进行的规定的操作作为触发而设定空间内的基点,开始触感提示。
(4)、在(1)的基础上也可以是,触感提示装置在空间内的包含基点的规定范围即触感提示区提示触感。通过设定触感提示区,用户能够识别可进行姿势操作的空间内的范围。
(5)、在(4)的基础上也可以是,控制装置在身体的一部分设定能输入区,当能输入区的至少一部分与触感提示区重叠时,将姿势输入系统设定为能输入状态,当能输入区未与触感提示区重叠时,将姿势输入系统设定为不受理用户操作的不能输入状态。由此,用户能够进行间断的输入操作。
(6)、在(5)的基础上也可以是,当姿势输入系统处于不能输入状态时,触感提示装置停止触感的提示。由此,用户能够识别出不能受理,并且能够实现节电。
(7)、在(5)的基础上也可以是,控制装置根据触感提示区内的追迹点的位置,使输入信号所示的运动量相对于身体的一部分的实际运动的变化比例变化。由此,例如能够通过简单的操作来变更光标的移动速度。
(8)、在(1)的基础上也可以是,触感提示装置利用声辐射压或空气流来提示触感。
(9)公开了一种姿势输入方法,受理基于用户的身体的一部分的运动而进行的用户操作,生成表示所述身体的一部分的运动的方向及/或运动量的输入信号。根据姿势输入方法,
利用传感器来检测用户的身体的一部分的运动,
利用触感提示装置,在设定于空间内的基点提示触感,
利用控制装置,在由传感器检测到的身体的一部分设定追迹点,
利用控制装置,基于追迹点与基点的相对位置关系的变化而生成输入信号,
触感提示装置在处于能够受理用户操作的能输入状态的期间,在基点持续提示触感。
(10)、公开了一种电子设备(个人计算机、导航装置、空调装置、音频装置及游戏设备等),具备(1)~(8)中任一项的姿势输入系统或实施(9)的姿势输入方法。
本公开所记载的姿势输入系统及姿势输入方法通过硬件资源、例如处理器、存储器以及与程序的协同配合等来实现。
(实施方式4)
近年来,随着机器(机器人)的技术发展,不仅在工厂、办公室这样的生产场所,在道路、家中等,人与机器共存的情况也不断增加。对此,提出了不通过光、声音而是通过触觉来向人报告机器的危险的警告装置(例如参照日本特开2008-018896号公报、日本特开2014-148027号公报)。
在以往的警告装置中,仅向人报告人处于靠近车辆或机器人的位置的情况,并没有向人通知从车辆或机器人躲避的躲避方向、相对于车辆或机器人靠近的靠近程度等。
在以下的实施方式4~10中,说明这样的信息传递装置:不仅能够向人报告靠近规定的物体或区域(例如,从安全角度来说不优选让人靠近的装置或区域)这一情况,还能够向人报告人向规定的物体或区域靠近的靠近状况。
1.结构
图16是示出本公开的实施方式4的信息传递装置的结构的图。在本实施方式中,将包含不优选让人靠近的对象261在内的规定区域设定为征兆报告区域R1(警告区域的一例)。这里,不优选让人靠近的对象261是指,静止的机械的附近区域、车辆(机动车)、无人机、搬运机器人等移动体的附近的区域、或者危险的场所(例如楼梯、拐角)、展示有高价的展示物的场所。征兆报告区域是向人报告对象261的征兆的区域。即,信息传递装置10在检测到人250进入了征兆报告区域R1时,通过触感而向该人250传递表示靠近对象261的警告。换言之,信息传递装置10通过触感,向人250提示不优选靠近的对象261的征兆。
信息传递装置10包括:对规定的检测范围R0内的物体进行检测的传感器11;向人提示触感的触感提示部13;以及基于传感器11的输出来控制针对人的触感提示的控制部15。
传感器11是能够在规定的检测范围R0内检测人、机器这样的物体的存在及它们的运动的传感器。例如,传感器11是能够以非接触的方式三维地检测物体的运动的距离图像传感器(TOF传感器)或激光传感器。传感器11只要能够检测人体的运动即可,也可以是相机。传感器11将表示检测的结果的检测信号向控制部15输出。
触感提示部13是能够向人(目标物的一例)提示触感的装置。“触感”是指人体能够通过皮肤来识别的感觉。作为能够通过皮肤来识别的感觉的例子,举出触觉、振动感觉、压觉,温热感觉、寒冷感觉及痛觉。“提示触感”例如可以通过振动及/或压力来给予刺激,也可以给予温感及/或冷感。例如,触感提示部13可以利用振子(例如超声波振子)向用户给予振动及/或声辐射压,也可以给予通过皮肤与由激光生成的等离子体接触而产生的冲击。或者,触感提示部13也可以包括喷嘴和泵,向用户给予空气流。或者,触感提示部13也可以利用红外线源向用户给予温感,还可以利用帕尔帖元件向用户给予冷感。换言之,触感提示部13也可以包含从由振子、激光、压缩机、风扇、帕尔帖元件及红外线源构成的组中选择的至少一种。空中的触感的提示是指在不与人体接触的状态下使人体感觉到触感。或者,触感提示部13也可以是包括喷嘴和泵且喷射空气流的装置(气流产生装置)。
也可以利用超声波的声辐射压来作为触感提示。例如,也可以由并排多个超声波振子而构成的超声波振子阵列构成触感提示部13。超声波振子阵列能够通过在空中的任意位置处作出超声波的焦点而向人体的表面提示触觉。在超声波的焦点中,除了声压的振动之外还产生声辐射压这样的静态压力。在空气中传播的超声波被与空气的声阻抗不同的物体遮挡时产生声辐射压这样的静态压力。当成为声压等级较大的超声波时,超声波被身体表面遮挡,由此,产生能够由人识别的这种按压身体表面的力。由此,能够以非接触的方式对身体提示力。
“超声波”通常是具有20kHz以上的频率的声波,不能被人的耳朵听到。为了不依赖于听觉地提示触感,将频率设为20kHz以上即可。超声波的频率没有上限的制约,但在空气中传播的超声波的衰减随着频率变高而变大,因此,进行使用了超声波的触感提示的频率优选为20kHz~200kHz,更优选为20kHz~100kH。另外,能够向身体表面提示可由人识别的压力的超声波的声压等级为140dB以上,优选为150dB以上,进一步优选为160dB以上。
通过间歇地驱动超声波振子或对超声波振子进行振幅调制,能够使声辐射压随时间变化,从而能够向用户提供更容易感觉到的触感。此时,在掌管振动感的皮肤感觉接受器中存在灵敏度高的振动频率。通过使声辐射压的调制驱动与该灵敏度高的振动频率一致,即便声辐射压相同,也能够给予更强的触感。该调制频率优选为0~300Hz,更优选为100Hz~300Hz。例如在以几Hz进行了振幅调制的情况下能够使用户始终感觉到振动的触感,在以200Hz进行了振幅调制的情况下能够使用户始终感觉到静态压力这样的触感。
此外,在向用户给予触感的情况下,对通过以前述的200Hz进行振幅调制而向用户给予的静态压力双重地进行振幅调制是有效的。例如利用几Hz的振动、按压了开关的振动、敲击物体的振动等双重地进行调制,由此,能够向用户提示更容易感觉到的触感。
控制部15基于传感器11检测到的信息,对触感提示部13进行控制而向人提示触感。控制部15能够由半导体元件等实现,由微机、CPU、MPU、DSP、FPGA、ASIC等构成。控制部15也可以通过将硬件与软件组合来实现,还可以仅由硬件构成。
2.动作
对具有以上那样的结构的信息传递装置10所进行的警告动作进行说明。如前所述,在信息传递装置10中,将包含不优选让人靠近的对象261(例如机器人、车辆、拐角、楼梯这样的危险场所)在内的规定的范围设定为征兆报告区域R1。传感器11配置为,传感器11的检测范围R0包含征兆报告区域R1。
信息传递装置10在由传感器11检测到人250进入了征兆报告区域R1时,向该人250提示触感。由此,向人250给予对象261的征兆。尤其是信息传递装置10在进行基于触感的警告时,基于人250在征兆报告区域R1内的行动(移动方向、移动速度)而使触感的提示方法变化。以下,参照图17,对基于人250在征兆报告区域R1内的行动而不同的触感的提示方法进行说明。
图17是用于说明由信息传递装置10进行的、人250进入了征兆报告区域R1内时的触感提示方法的变化的图。信息传递装置10在检测到人250从征兆报告区域R1之外进入了征兆报告区域R1内时,开始针对该人250的触感提示(状态A)。
此时,在征兆报告区域R1内、人250朝远离征兆报告区域R1的外周的方向移动(即,人250靠近危险的对象261)的情况下,信息传递装置10判断为紧急度高,按照针对高紧急度的触感提示方法来向人250提示触感。例如提示强烈的触感(状态B)。另一方面,在征兆报告区域R1内、人250朝向征兆报告区域R1的外周移动(即,人250远离危险的对象261)的情况下,信息传递装置10判断为紧急度低,按照针对低紧急度的触感提示方法来向人250提示触感。例如提示微弱的触感(状态C)。
之后,当检测到人250从征兆报告区域R1内移动到征兆报告区域R1外时,信息传递装置10停止针对人250的触感提示(状态D)。
如以上那样,当人250进入了征兆报告区域R1内时,根据人250的移动方向,使向人250提示的触感的提示方法变化。由此,人250在进入了征兆报告区域R1内时,能够根据所提示的触感直观地掌握自身靠近危险的对象261或远离危险的对象261,能够可靠地向征兆报告区域R1的外侧移动。
图18是说明了根据紧急度而变化的触感提示方法的例子的图。在图18的例子中,将紧急度分为高/低的两个阶段,根据紧急度而使触感提示方法不同。如图18所示,除了变更触感的强度以外,也可以根据紧急度来变更频率及提示触感的人体的部位。或者,也可以根据紧急度来变更触感(例如风)的温度的高低。例如也可以是,在紧急度低的情况下,提示低频率的触感,在紧急度高的情况下,提示高频率的触感。另外也可以是,在紧急度低的情况下,向躯体、手提示触感,在紧急度高的情况下,向人的头、脸等的人更容易感觉到的部位提示触感。另外也可以是,在紧急度低的情况下,向人的身体提示温感(温暖的风),在紧急度高的情况下,提示冷感(寒冷的风)。另外也可以是,在紧急度低的情况下,以微弱的风进行提示,在紧急度高的情况下,以强烈的风进行提示。也可以根据紧急度,来变更触感的强度、触感的频率及触感的提示位置、或者温感/冷感、风的强度中的任一方,还可以将它们适当组合来变更。
图19是示出实施方式4中的信息传递装置10的警告动作的流程图。以下,参照图19的流程图来说明信息传递装置10的动作。
在信息传递装置10中,当传感器11检测到人250进入了检测范围R0内时(S211中为是),控制部15将包含危险的对象261的规定的范围设定为征兆报告区域R1(S212)。
控制部15接收来自传感器11的检测信号,基于检测信号对人250的位置、运动进行分析(S213)。作为分析的结果,在检测范围R0内未检测到人250时(S214中为否),结束本处理。作为分析的结果,在检测范围R0内检测到人250的情况下(S214中为是),控制部15判断是否在征兆报告区域R1内检测到人250(S215)。
在征兆报告区域R1内未检测到人250的情况下(S215中为否),控制部15返回到步骤S213,进行上述的处理。
在征兆报告区域R1内检测到人的情况下(S215中为是),控制部15判断人250是否朝向征兆报告区域R1的外周移动(S16)。在人250朝向征兆报告区域R1的外周移动的情况下(S216中为是),控制部15提示针对低紧急度的触感(S17)。在人250未朝向征兆报告区域R1的外周移动的情况下(S26中为是),控制部15提示针对高紧急度的触感(S18)。
之后,控制部15返回到步骤S213,基于来自传感器11的检测信号进行上述的处理。
如以上那样,本实施方式的信息传递装置10具备:传感器11,其能够检测进入了传感器的检测范围R0(规定区域的一例)内的人250(物体的一例)的位置及速度;触感提示部13,其以非接触的方式向目标物提示触感;以及控制部15,其在由传感器11在设定于检测范围R0内的征兆报告区域R1(警告区域的一例)内检测到人250的情况下,将触感提示部13控制为向检测到的人提示触感。控制部15基于人在征兆报告区域R1内的行动(移动方向,移动速度)来决定触感提示部所提示的触感的种类、强度及/或位置。
即,信息传递装置10在人进入了征兆报告区域R1时,一边基于人在征兆报告区域R1内的运动而使触感的提示方法变化,一边向人提示触感。由此,进入了征兆报告区域R1的人通过感受到触感,能够感官地识别危险的对象261的征兆,即,靠近对象261的情况及对象261的方向,能够针对对象261采用适当的躲避行动。
(实施方式5)
图20是示出本公开的实施方式5中的信息传递装置10b的结构的框图。在实施方式5中,作为警告区域,除了征兆报告区域R1之外还设定有禁止进入区域R2。禁止进入区域R2设置在征兆报告区域R1内。在禁止进入区域R2配置(固定)有从安全角度来说不优选让人靠近的机器262。
本实施方式的信息传递装置10b在实施方式4中的信息传递装置10的结构的基础上还具备用于与机器262进行通信的通信部16。信息传递装置10b能够经由该通信部16,向设置在禁止进入区域R2内的机器262发送用于使机器262停止的紧急停止命令。
图21是用于说明本实施方式的信息传递装置10b所进行的触感提示方法的图。信息传递装置10b在检测到人250从征兆报告区域R1之外进入了征兆报告区域R1内时,开始针对该人250的触感提示(状态A)。此时,在征兆报告区域R1内、人250靠近禁止进入区域R2的情况下,信息传递装置10判断为紧急度高,按照针对高紧急度的触感提示方法向人250提示触感(状态B)。另一方面,在征兆报告区域R1内、人250远离禁止进入区域R2的情况下,信息传递装置10b判断为紧急度低,按照针对低紧急度的触感提示方法向人250提示触感(状态C)。使触感提示方法变化的方法如实施方式4的说明所述。
图22是示出实施方式5中的信息传递装置10b的动作的流程图。以下,参照图22的流程图对信息传递装置10b的动作进行说明。
在信息传递装置10b中,当传感器11检测到人250进入了检测范围R0内时(S221中为是),控制部15设定征兆报告区域R1和禁止进入区域R2(S222)。即,控制部15在机器262的附近,将包含从安全角度来说不优选让人250进入的机器262在内的规定的范围设定为禁止进入区域R2。此外,控制部15将禁止进入区域R2的外侧的规定的范围设定为征兆报告区域R1。
控制部15接收来自传感器11的检测信号,基于检测信号对人250的位置、运动进行分析(S223)。作为分析的结果,在检测范围R0内未检测到人250时(S224中为否),结束本处理。作为分析的结果,在检测范围R0内检测到人250的情况下(S224中为是),控制部15判断是否在征兆报告区域R1内检测到人250(S225)。
在征兆报告区域R1内未检测到人的情况下(S225中为否),控制部15返回到步骤S223,基于来自传感器11的检测信号进行上述的处理。
在征兆报告区域R1内检测到人的情况下(S225中为是),控制部15判断人250是否进入了禁止进入区域R2内(S226)。在检测到人250进入了禁止进入区域R2内的情况下(S226中为是),控制部15使机器262停止(S230)。因此,控制部15经由通信部16向机器262发送紧急停止命令。当机器262接收到紧急停止命令时,停止其动作。
在未检测到人250进入了禁止进入区域R2内的情况下(S226中为否),控制部215判断人250是否靠近禁止进入区域R2(S227)。在人250靠近禁止进入区域R2的情况下(S227中为是),控制部15提示针对高紧急度的触感(S29)。在人250未靠近禁止进入区域R2的情况下(S227中为否),控制部15提示针对低紧急度的触感(S228)。
之后,控制部15返回到步骤S223,基于来自传感器11的检测信号来重复进行上述的处理。
如以上那样,在本实施方式中,信息传递装置10b基于人是否在征兆报告区域R1内靠近禁止进入区域R2而使触感提示方法变化。由此,进入了征兆报告区域R1的人250通过感受到触感,能够感官地识别靠近禁止进入区域R2的情况及禁止进入区域R2的方向,能够针对禁止进入区域R2适当地采取躲避行动。另外,当人250进入了禁止进入区域R2时,向设置在禁止进入区域R2内的机器262发送紧急停止命令。由此,能够使设置在禁止进入区域R2内的机器262紧急停止,能够确保安全性。
(实施方式6)
在实施方式4中,征兆报告区域R1内的危险的对象261不移动,但在本实施方式中,说明基于车辆、无人机、搬运机器人这样的移动机器的位置而设定征兆报告区域R1的例子。
图23是说明了在本实施方式中由信息传递装置设定的征兆报告区域R1的图。图24是示出本实施方式的信息传递装置10c的结构的框图。如图24所示,本实施方式的信息传递装置10c具有与实施方式4的信息传递装置10同样的结构。
如图23、24所示,在本实施方式中,征兆报告区域R1设定在车辆263(移动机器的一例)的附近。更具体而言,在车辆263的前方的规定区域设定征兆报告区域R1。由于车辆263移动,因此,征兆报告区域R1随着车辆263的移动而移动。即,基于车辆263的位置、速度及行进方向中的至少任一方而动态地设定征兆报告区域R1。在人250进入了征兆报告区域R1内的情况下,向人250提示警告用的触感。
图25是示出实施方式6中的信息传递装置10c的动作的流程图。以下,参照图25的流程图对信息传递装置10c的动作进行说明。
在信息传递装置10c中,当传感器11检测到人250及车辆263进入了检测范围R0内时(S31中为是),控制部15设定征兆报告区域R1(S32)。控制部15基于来自传感器11的检测信号来识别车辆263的位置、移动方向,以靠近车辆263的方式在车辆263的前方的规定区域设定征兆报告区域R1。
控制部15接收来自传感器11的检测信号,基于检测信号对人250及车辆263的位置、运动进行分析(S33)。作为分析的结果,在检测范围R0内未检测到人250及车辆263时(S34中为否),结束本处理。作为分析的结果,在检测范围R0内检测到人250及车辆263的情况下(S34中为是),控制部15判断是否在征兆报告区域R1内检测到人250(S35)。
在征兆报告区域R1内未检测到人250的情况下(S35中为否),控制部15返回到步骤S33,基于来自传感器11的输出进行上述的处理。
在征兆报告区域R1内检测到人250的情况下(S35中为是),控制部15判断人250与车辆263是否相互靠近(S36)。在人250与车辆263相互靠近的情况下(S36中为是),控制部15提示针对高紧急度的触感(S38)。在该情况下,人250与车辆263接触的危险性高,因此,提示针对高紧急度的触感。在人250与车辆263未相互靠近的情况下(S36中为否),控制部15提示针对低紧急度的触感(S37)。
之后,控制部15返回到步骤S33,基于来自传感器11的检测信号进行上述的处理。
如以上那样,在本实施方式中,根据移动车辆263(移动机器)的运动来设定征兆报告区域R1,因此,能够对人250发出警告,以避免人250过于靠近车辆263。此时,基于人250及车辆263的相对位置关系使触感的提示方法变化。由此,人250能够感觉到车辆263的征兆,能够感官地识别车辆263靠近的情况及车辆263的方向,能够针对车辆263采取适当的躲避行动。
需要说明的是,在本实施方式中,作为移动机器的一例,使用车辆进行了说明,但移动机器也可以是其他装置,例如也可以是无人机、在地上或空中搬运物体的搬运机器人。
(实施方式7)
在实施方式6中,靠近移动车辆263而设定了征兆报告区域R1。在本实施方式6中,根据移动车辆263的运动来设定征兆报告区域R1和禁止进入区域R2。图26是说明了由实施方式7中的信息传递装置设定的征兆报告区域R1及禁止进入区域R2的图。图27是示出本实施方式中的信息传递装置的结构的框图。本实施方式的信息传递装置10d具有与实施方式4的信息传递装置10同样的结构。
如图26、图27所示,靠近车辆263的行进方向的前方而设定禁止进入区域R2。征兆报告区域R1设定在禁止进入区域R2的更靠前方。也可以根据车辆263的制动距离而动态地设定禁止进入区域R2的大小。
与前述的实施方式同样地,当人250进入了征兆报告区域R1内时,向人250提示触感。
参照图28的流程图对信息传递装置210d的动作进行说明。
在信息传递装置10d中,当传感器11检测到人250及车辆263进入了检测范围R0内时(S241中为是),控制部15设定征兆报告区域R1和禁止进入区域R2(S242)。即,控制部15将车辆263的行进方向的前方的规定的范围设定为禁止进入区域R2。进而,控制部15将禁止进入区域R2的前方(车辆263的行进方向上的前方)的规定的范围设定为征兆报告区域R1。
控制部15接收来自传感器11的检测信号,基于检测信号对人250及车辆263的位置、运动进行分析(S243)。作为分析的结果,在检测范围R0内未检测到人250及车辆263时(S244中为否),结束本处理。作为分析的结果,在检测范围R0内检测到人250及车辆263的情况下(S244中为是),控制部15判断是否在征兆报告区域R1内检测到人250(S245)。
在征兆报告区域R1内未检测到人250的情况下(S245中为否),控制部15返回到步骤S243,基于来自传感器11的输出进行上述的处理。
在征兆报告区域R1内检测到人250的情况下(S245中为是),控制部15判断人250与禁止进入区域R2是否相互靠近(S246)。即,控制部15判断人250与禁止进入区域R2之间的距离是否减少。
在人250与禁止进入区域R2相互靠近的情况下(S246中为是),控制部15提示针对高紧急度的触感(S248)。在该情况下,人250与车辆263接触的危险性高,因此,提示针对高紧急度的触感。在人250与车辆263未相互靠近的情况下(S246中为否),控制部15提示针对低紧急度的触感(S247)。
之后,控制部15返回到步骤S243,基于来自传感器11的检测信号进行上述的处理。
如以上那样,在本实施方式中,在移动车辆(移动机器)的附近设定禁止进入区域R2,能够对人250发出警告,以避免人250过于靠近禁止进入区域R2。此时,基于人250及禁止进入区域R2的相对位置关系而使触感的提示方法变化。由此,人250能够感官地识别禁止进入区域R2靠近的情况及禁止进入区域R2的方向,能够针对禁止进入区域R2采取适当的躲避行动。
需要说明的是,在本实施方式中也可以是,车辆263具备用于与信息传递装置10d进行通信的通信装置,信息传递装置10d具备用于与车辆263进行通信的通信部。而且,与实施方式5同样地,信息传递装置10d也可以在检测到人250进入了禁止进入区域R2的情况下,向车辆263发送用于使车辆263停止的紧急停止命令。另外,代替车辆263,对无人机这样的在空中飞行的移动体也能够应用本实施方式的思想。在该情况下,在飞行移动体的周围设定征兆报告区域R1及禁止进入区域R2。飞行移动体(例如无人机)及信息传递装置10d具备用于相互进行通信的通信装置。当无人机这样的飞行移动体在飞行中由于紧急停止命令而停止动作时,存在落下的危险性。因此,针对这样的飞行移动体,在检测到人250进入了禁止进入区域R2的情况下,信息传递装置10d也可以发送紧急躲避命令(浮起或回旋),使得躲避着人进行飞行。
(实施方式8)
在前述的实施方式中,说明了具备一个传感器11及一个触感提示部13的信息提示装置的结构、动作。在本实施方式中,来说明具备多个传感器11及多个触感提示部13的信息提示装置的结构、动作。
图29是示出实施方式8中的信息传递装置10e的结构的框图。信息传递装置10e包括多个传感器单元21a~21c、多个触感提示单元23a~23c、以及控制单元25。在本例中,信息传递装置10e具有三个传感器单元和三个触感提示单元,但这些单元的数量不局限于三个。
传感器单元21a~21c包括传感器11和通信部17。传感器11具有与上述的实施方式中说明的传感器同样的结构、功能。通信部17包括按照IEEE802.3、WiFi、Bluetooth(蓝牙,注册商标)等的通信规格来进行通信的通信模块。通信部17将来自传感器11的检测信号向控制单元25发送。
触感提示单元23a~23c包括触感提示部13和通信部18。触感提示部13具有与上述的实施方式中说明的触感提示部同样的结构、功能。通信部18包括按照IEEE802.3、WiFi、Bluetooth等的通信规格来进行通信的通信模块。通信部17从控制单元25接收针对触感提示部13的控制信号。
控制单元25包括控制部15和通信部19。控制部15具有与上述的实施方式中说明的控制部同样的结构。通信部19包括按照IEEE802.3、WiFi、Bluetooth等的通信规格来进行通信的通信模块。控制单元25以无线或有线的形式与传感器单元21a~21c进行通信,从各传感器单元21a~21c的传感器11接收检测信号。另外,控制单元25以无线或有线的形式与触感提示单元23a~23c进行通信,向各触感提示单元23a~23c的触感提示部13发送控制信号。
传感器单元21a、21b、21c、触感提示单元23a、23b、23c、控制单元25分别独立地设置,能够分别独立地配置于任意场所。例如,传感器单元21a、21b、21c、触感提示单元23a、23b、23c配置于设施的停车场内的各种位置。
图30是示出实施方式8中的信息传递装置的动作的流程图。参照图30的流程图对信息传递装置10e的动作进行说明。
在信息传递装置10e中,当传感器单元21a~21c的任一传感器11检测到人250及车辆263进入了检测范围R0内时(S51中为是),控制部15设定征兆报告区域R1(S52)。控制部15基于来自传感器11的检测信号来识别车辆263的位置、移动方向,以靠近车辆263的方式在车辆263的前方的规定区域设定征兆报告区域R1。
控制部15接收来自传感器11的检测信号,基于检测信号对人250及车辆263的位置、运动进行分析(S53)。作为分析的结果,在检测范围R0内未检测到人250及车辆263时(S54中为否),结束本处理。作为分析的结果,在检测范围R0内检测到人250及车辆263的情况下(S54中为是),控制部15判断是否在征兆报告区域R1内检测到人250(S55)。
在征兆报告区域R1内未检测到人250的情况下(S55中为否),控制部15返回到步骤S53,基于来自传感器11的输出进行上述的处理。
在征兆报告区域R1内检测到人250的情况下(S55中为是),在多个触感提示单元23a~23c中,确定最靠近检测到的人250而配置的触感提示单元(触感提示部13)(S56)。
之后,控制部15判断人250与车辆263是否相互靠近(S57)。在人250与车辆263相互靠近的情况下(S57中为是),控制部15提示针对高紧急度的触感(S59)。在该情况下,人250与车辆263接触的危险性高,因此,提示针对高紧急度的触感。在人250与车辆263未相互靠近的情况下(S57中为否),控制部15提示针对低紧急度的触感(S58)。
之后,控制部15返回到步骤S53,基于来自传感器11的检测信号重复进行上述的处理。
如以上那样,根据本实施方式的信息传递装置10e,能够在多个区域向人报告危险性。因此,本实施方式的信息传递装置10e在确保宽区域内的安全性的情况下是有用的。
需要说明的是,在本实施方式中,作为警告区域而仅设定了征兆报告区域R1,但也可以与实施方式2、4同样地除了征兆报告区域R1之外还设定禁止进入区域R2,进行同样的动作。
(实施方式9)
在本实施方式中,针对搭载于车辆、无人机,搬运机器人这样的移动机器的信息传递装置的结构、动作进行说明。车辆、无人机、搬运机器人这样的移动机器能够前进或后退。因此,在移动机器的前后的区域,人与移动机器可能接触。以下,对降低这种接触的危险性的信息传递装置进行说明。
图31是示出实施方式9中的信息传递装置10f的结构的框图。信息传递装置10f搭载于车辆263(移动机器的一例)。信息传递装置10f具备:设置于车辆263的前方部分的传感器11f和触感提示部13f、设置于车辆263的后方部分的传感器11r和触感提示部13r、以及控制部15。
设置于车辆263的前方部分的传感器11f在车辆263的前方侧具有传感器检测范围。设置于车辆263的后方部分的传感器11r在车辆263的后方侧具有传感器检测范围。设置于车辆263的前方部分的触感提示部13f向处于车辆263的前方的物体提示触感。设置于车辆263的后方部分的触感提示部13r向处于车辆263的后方的物体提示触感。
图32是示出实施方式9中的信息传递装置10f的动作的流程图。参照图32的流程图对信息传递装置10f的动作进行说明。
在信息传递装置10f中,当传感器11f、11r中的至少任一传感器检测到人250进入了检测范围R0内时(S61中为是),控制部15设定征兆报告区域R1f、R1r(S62)。控制部15在车辆263的附近区域且检测到人这一侧的规定的范围内设定征兆报告区域R1f、Rir。此时,控制部15根据来自检测到人的传感器11f、11r的检测信号所示的人的位置、速度、以及车辆263的速度,来设定征兆报告区域R1f、Rir。
控制部15接收来自检测到人的传感器11f、11r的检测信号,基于检测信号对人250的位置、运动进行分析(S63)。作为分析的结果,在传感器11f、11r的检测范围内未检测到人250时(S64中为否),结束本处理。另一方面,作为分析的结果,在检测范围R0内检测到人250的情况下(S64中为是),控制部15判断在所设定的征兆报告区域R1f、R1r内是否检测到人250(S65)。
在所设定的征兆报告区域R1f、R1r内未检测到人250的情况下(S65中为否),控制部15返回到步骤S63,基于来自传感器11的输出重复进行上述的处理。
在所设定的征兆报告区域R1f、R1r内检测到人250的情况下(S65中为是),在两个触感提示部13f、13r中,确定最靠近检测到的人250而配置的触感提示部(S66)。
之后,控制部15判断人250与车辆263是否相互靠近(S67)。在人250与车辆263相互靠近的情况下(S67中为是),控制部15从确定出的触感提示部提示针对高紧急度的触感(S69)。在该情况下,人250与车辆263接触的危险性高,因此提示针对高紧急度的触感。在人250与车辆263未相互靠近的情况下(S67中为否),控制部15从确定出的触感提示部提示针对低紧急度的触感(S58)。
之后,控制部15返回到步骤S63,基于来自传感器11的检测信号重复进行上述的处理。
如以上那样,根据本实施方式的信息传递装置10f,能够在车辆263的前后的范围内向人报告危险性。另外,例如若关于无人机、搬运机器人,则不仅在前后设定征兆报告区域,还能够在左右设定征兆报告区域,能够在前后左右的范围内向人报告危险性。
需要说明的是,在本实施方式中,作为警告区域而仅设定了征兆报告区域R1,但也可以与实施方式4同样地除了征兆报告区域R1之外还设定禁止进入区域R2,进行同样的报告动作。
(实施方式10)
通常,车辆的制动距离根据车辆的速度、天气等而变化。例如,车辆速度越快,制动距离越长,相比晴天的情况,在路面湿润的雨天,制动距离变长。随着制动距离的变化,处于车辆周围的危险范围(即,不优选让人靠近的范围)也变化。对此,在本实施方式中,来说明根据车辆、搬运机器人、无人机这样的移动机器的动作及周边环境的信息而使征兆报告区域R1及/或禁止进入区域R2变化的信息传递装置。
图33是示出实施方式10中的信息传递装置10g的结构的框图。需要说明的是,在本实施方式中,作为移动机器的一例,使用车辆来进行说明。信息传递装置10g搭载于车辆263。信息传递装置10g在实施方式9中的信息传递装置10f的结构的基础上还具有信息获取部31。
信息获取部31获取与车辆263的动作相关的车辆信息(OBD2数据等)、天气、道路状况这样的周边环境的信息。在信息获取部31中例如包括获取车辆的各种动作信息的传感器、遥测单元、用于从因特网获取信息的通信模块、接口模块。
信息获取部31例如获取下述的信息。
·移动机器的速度、加速度
·天气、风速、风向(雨刷的运动、天气信息)
·道路的坡度(汽车导航信息、交通信息等)
·事故多发区(汽车导航信息、交通信息等)
控制部15基于这些信息,来设定征兆报告区域R1及/或禁止进入区域R2。即,事先获取上述的各信息所示的条件和制动距离及注意等级,预先设定与该制动距离及注意等级相应的征兆报告区域R1及/或禁止进入区域R2。由此,控制部15能够设定对上述的各信息所示的条件来说合适的征兆报告区域R1及/或禁止进入区域R2。例如,车辆速度越快,制动距离越长。因此,如图33所示,预先测定车辆速度为Xkm/h时的制动距离和车辆速度为Ykm/h时的制动距离,预先设定适于各个速度的征兆报告区域R1x、R1y。控制部15在车辆速度为Ykm/h的情况下(在比较慢的情况下),以覆盖距车辆263比较近的范围的方式设定较窄的征兆报告区域R1y。另一方面,在车辆速度为Xkm/h的情况下(在比较快的情况下),控制部15以直至距车辆263比较远的范围都能够覆盖的方式设定较宽的征兆报告区域R1x。
图34是示出实施方式10中的信息传递装置10g的动作的流程图。参照图34的流程图对信息传递装置10g的动作进行说明。
在信息传递装置10g中,当传感器11f、11r中的至少任一传感器检测到人250进入了检测范围R0内时(S71中为是),控制部15设定征兆报告区域R1(S72)。控制部15在车辆263的附近区域且检测到人这一侧的规定的范围内设定征兆报告区域R1。尤其是控制部15根据来自检测到人的传感器11f、11r的检测信号所示的人的位置、速度、以及由信息获取部31获取到的信息(车辆速度、天气、道路信息等),来设定征兆报告区域R1。
控制部15接收来自检测到人的传感器11f、11r的检测信号,基于检测信号对人250的位置、运动进行分析(S73)。作为分析的结果,在传感器11f、11r的检测范围内未检测到人250时(S74中为否),结束本处理。另一方面,作为分析的结果,在检测范围R0内检测到人250的情况下(S74中为是),控制部15判断是否在所设定的征兆报告区域R1内检测到人250(S75)。
在所设定的征兆报告区域R1内未检测到人250的情况下(S75中为否),控制部15返回到步骤S73,基于来自传感器11的输出重复进行上述的处理。
在所设定的征兆报告区域R1内检测到人250的情况下(S75中为是),在两个触感提示部13f、13r中,确定最靠近检测到的人250而配置的触感提示部(S76)。
之后,控制部15判断人250与车辆263是否相互靠近(S77)。在人250与车辆263相互靠近的情况下(S77中为是),控制部15从确定出的触感提示部提示针对高紧急度的触感(S79)。在该情况下,人250与车辆263接触的危险性高,因此,提示针对高紧急度的触感。在人250与车辆263未相互靠近的情况下(S77中为否),控制部15从确定出的触感提示部提示针对低紧急度的触感(S78)。
之后,控制部15返回到步骤S73,基于来自传感器11的检测信号重进行上述的处理。
如以上那样,根据本实施方式的信息传递装置10g,使警告区域根据移动机器的动作、周边环境的信息而变化,因此,能够在与根据移动机器的动作、周边环境而变动的制动距离相应的合适范围内向人报告危险性。
需要说明的是,在本实施方式中,作为警告区域而仅设定了征兆报告区域R1,但也可以与实施方式4同样地除了征兆报告区域R1之外还设定禁止进入区域R2,进行同样的报告动作。
在上述的实施方式4~10中,以高/低的两个阶段判定了紧急度,但也可以按照更多的段数(或连续地)设定紧急度。例如,也可以根据从征兆报告区域R1的外周或禁止进入区域R2到人250为止的距离,更细致地设定紧急度。在该情况下,根据紧急度使触感的强度、触感的频率及/或触感的提示位置细致地变化即可。
另外,在上述的实施方式4~10中,基于人的移动方向判定了紧急度,但也可以除了人的移动方向之外还考虑人的移动速度来判定紧急度,或者代替人的移动方向而考虑人的移动速度来判定紧急度。例如,在实施方式1中也可以是,在征兆报告区域R1内检测到人250朝远离征兆报告区域R1的外周的方向移动(即,靠近危险的对象261)的情况下,移动速度越是更快,越判定为紧急度更高,越提示与紧急度相应的更强的触感。另外也可以是,在征兆报告区域R1内检测到人250朝向征兆报告区域R1的外周移动时(人250远离危险的对象261)的情况下,移动速度越是更快,越判定为紧急度更低,越提示与紧急度相应的更弱的触感。不仅是触感的强度,也可以使触感的频率及触感的提示位置基于移动速度而变化。
另外,在上述的实施方式4~10中,作为触感的提示方法的变化,也可以使触感的种类变化。例如也可以是,在紧急度较低时,提示基于超声波的触感,在紧急度较高时,提示基于空气流的触感。
(本公开2)
实施方式4~10公开了以下的技术思想。
(1)、上述的实施方式公开了一种信息提示装置(10~10g),该信息提示装置(10~10g)具备:传感器(11),其能够检测进入了规定区域(R0)内的物体(人、车辆等)的位置及速度;触感提示部(13),其以非接触的方式向目标物(人等)提示触感;以及控制部(15),其在由传感器(11)在设定于规定区域内的警告区域(R1,R2)内检测到人的情况下,将触感提示部(13)控制为向检测到的人提示触感。控制部(15)基于人在警告区域内的行动(移动方向、移动速度等)来决定触感提示部(13)所提示的触感的提示方法。
(2)、在(1)的基础上也可以是,控制部使触感的种类、强度、频率、温度及提示触感的人的身体的部位中的至少任一方变化,来作为触感的提示方法的变化。
(3)、在(1)的基础上也可以是,控制部(15)基于由传感器(11)检测到的人相对于警告区域的外周的相对距离及/或人的速度,来检测人在警告区域内的行动。
(4)、在(1)的基础上也可以是,信息传递装置(10b)还具备与外部装置(262)通信的通信部(16)。也可以是,警告区域包括第一区域(R1)和第二区域(R2)。也可以是,控制部(15)在传感器(11)在第一区域(R1)内检测到人的情况下,向人提示触感,在传感器(11)在第二区域(R2)内检测到人的情况下,经由通信部(16)向外部装置发送用于使外部装置紧急停止的控制命令。
(5)、在(1)的基础上也可以是,传感器(11)在规定区域(R0)内,除了人(250)之外还可以检测装置(262)的位置及速度。也可以是,在由传感器(11)在规定区域(R0)内检测到人及装置、并且在警告区域(R1)内检测到人的情况下,控制部(15)将触感提示部(13)控制为向检测到的人提示触感。也可以是,控制部(15)基于在警告区域(R1)内检测到的人的行动和装置(262)的行动,使触感的提示方法变化。
(6)、在(5)的基础上也可以是,控制部(15)基于由传感器(11)检测到的装置相对于人的相对距离及/或相对速度,来检测人(250)的行动和装置(262)的行动。
(7)、在(5)的基础上也可以是,还具备与装置(262)通信的通信部(16)。也可以是,警告区域包括第一区域(R1)和第二区域(R2)。也可以是,控制部(15)在传感器(11)在第一区域(R1)内检测到人的情况下,向人提示触感,在传感器(11)在第二区域(R2)内检测到人的情况下,经由通信部向装置发送使装置(62)紧急停止的控制命令(S30)。
(8)、在(4)或(7)的基础上也可以是,控制部(15)基于检测到的人与第二区域(R2)之间的距离来检测人的行动。
(9)、在(4)或(7)的基础上也可以是,人越是靠近第二区域(R2),控制部(15)将向人提示的触感的强度及/或触感的变化的频率设定得越大。
(10)、在(1)的基础上也可以是,信息传递装置(10e)具备多个传感器(11)及多个触感提示部(13)。也可以是,控制部(15)将触感提示部(13)控制为从距检测到的人最近的触感提示部提示触感。
(11)、在(1)的基础上也可以是,信息传递装置(10g)还具备获取规定的信息的信息获取部(31)。也可以是,控制部(15)基于从信息获取部(31)获取到的信息,来设定警告区域(第一区域(R1)及/或第二区域(R2))的范围。
(12)、在(10)的基础上也可以是,规定的信息包括移动装置(车辆、搬运机器人、无人机等)的速度、天气、交通信息中的至少任一方。
(13)、在(1)~(12)中任一项的基础上也可以是,触感提示部(13)利用声辐射压或空气流来提示触感。
(14)、在(13)的基础上也可以是,控制部(15)基于人在警告区域内的行动,使声辐射压或空气流的强度、频率及/或温度变化。
(15)此外,上述的实施方式公开了一种信息传递方法。信息传递方法包括:利用传感器(11)来检测人是否进入了警告区域(R1、R2)内的步骤;在由传感器(11)在警告区域内检测到人的情况下,利用触感提示部(13)向检测到的人提示触感的步骤;以及基于人在警告区域内的行动(移动方向、移动速度等)而使触感提示部所提示的触感的种类及/或位置变化的步骤。
产业上的可利用性
根据本公开的姿势输入系统,能够提高姿势操作中的便利性,因此,作为各种电子设备的输入单元是有用的。例如,作为个人计算机、汽车导航装置、空调装置、音频装置及游戏设备的输入单元是有用的。
根据本公开的信息传递装置,在人靠近或进入了不让人靠近或想要防止人的进入的区域、装置的情况下,能够向该人提示基于触感的警告。因此,本公开的信息传递装置作为向进入了规定区域的人提示警告的装置是有用的。
附图标记说明:
1 传感器;
2 输入控制装置;
3 触感提示装置;
21 控制部;
22 存储部;
50 用户的手;
51 追迹点;
53 能输入区;
61 基点;
63 触感提示区;
100 姿势输入系统;
200 电子设备(控制对象);
300 信息处理装置;
311 控制器;
313 显示部;
323 触感提示部。

Claims (10)

1.一种姿势输入系统,其受理基于用户的身体的一部分的运动而进行的用户操作,生成表示所述身体的一部分的运动的方向及/或运动量的输入信号,所述姿势输入系统具备:
传感器,其对用户的身体的一部分的运动进行检测;
触感提示装置,其在设定于空间内的基点提示触感;以及
控制装置,其在由所述传感器检测到的身体的一部分设定追迹点,基于所述追迹点与所述基点的相对位置关系的变化,生成所述输入信号,
所述触感提示装置在所述姿势输入系统处于能够受理所述用户操作的能输入状态的期间,在所述基点持续提示触感。
2.根据权利要求1所述的姿势输入系统,其中,
所述控制装置在不是所述能输入状态时所述传感器检测到用户的身体的一部分的规定运动时,在空间内设定所述基点,并且将所述姿势输入系统设定为所述能输入状态,之后将所述基点的位置固定,直至再次设定为止。
3.根据权利要求2所述的姿势输入系统,其中,
所述基点设定在所述用户的身体的一部分上。
4.根据权利要求1所述的姿势输入系统,其中,
所述触感提示装置在空间内的包含所述基点的规定范围即触感提示区提示触感。
5.根据权利要求4所述的姿势输入系统,其中,
所述控制装置在所述身体的一部分设定能输入区,当所述能输入区的至少一部分与所述触感提示区重叠时,将所述姿势输入系统设定为所述能输入状态,
当所述能输入区未与所述触感提示区重叠时,将所述姿势输入系统设定为不受理所述用户操作的不能输入状态。
6.根据权利要求5所述的姿势输入系统,其中,
当所述姿势输入系统处于所述不能输入状态时,所述触感提示装置停止触感的提示。
7.根据权利要求5所述的姿势输入系统,其中,
所述控制装置根据所述触感提示区内的所述追迹点的位置,使所述输入信号所示的运动量相对于所述身体的一部分的实际运动的变化比例变化。
8.根据权利要求1所述的姿势输入系统,其中,
所述触感提示装置利用声辐射压或空气流来提示触感。
9.一种电子设备,具备权利要求1至8中任一项所述的姿势输入系统。
10.一种姿势输入方法,受理基于用户的身体的一部分的运动而进行的用户操作,生成表示所述身体的一部分的运动的方向及/或运动量的输入信号,在所述姿势输入方法中,
利用传感器来检测用户的身体的一部分的运动,
利用触感提示装置,在设定于空间内的基点提示触感,
利用控制装置,在由所述传感器检测到的身体的一部分设定追迹点,
利用所述控制装置,基于所述追迹点与所述基点的相对位置关系的变化,生成所述输入信号,
所述触感提示装置在处于能够受理所述用户操作的能输入状态的期间,在所述基点持续提示触感。
CN201780066347.8A 2016-11-02 2017-10-27 姿势输入系统及姿势输入方法、电子设备 Active CN109906423B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2016-215518 2016-11-02
JP2016215518 2016-11-02
JP2016-220946 2016-11-11
JP2016220946 2016-11-11
PCT/JP2017/038908 WO2018084082A1 (ja) 2016-11-02 2017-10-27 ジェスチャ入力システム及びジェスチャ入力方法

Publications (2)

Publication Number Publication Date
CN109906423A true CN109906423A (zh) 2019-06-18
CN109906423B CN109906423B (zh) 2022-05-06

Family

ID=62076937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780066347.8A Active CN109906423B (zh) 2016-11-02 2017-10-27 姿势输入系统及姿势输入方法、电子设备

Country Status (4)

Country Link
US (1) US10747324B2 (zh)
JP (1) JP6934618B2 (zh)
CN (1) CN109906423B (zh)
WO (1) WO2018084082A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807898A (zh) * 2019-11-04 2020-02-18 中国第一汽车股份有限公司 一种防疲劳驾驶方法及系统
CN114729843A (zh) * 2019-11-26 2022-07-08 松下知识产权经营株式会社 载置物检测装置以及车辆控制系统

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948542B (zh) * 2019-03-19 2022-09-23 北京百度网讯科技有限公司 手势识别方法、装置、电子设备和存储介质
JP7333185B2 (ja) * 2019-03-27 2023-08-24 株式会社Subaru 車両の接近警報装置
JP7127592B2 (ja) 2019-03-27 2022-08-30 オムロン株式会社 報知システム
JP7247901B2 (ja) * 2020-01-07 2023-03-29 トヨタ自動車株式会社 移動体制御装置、移動体制御方法、およびプログラム
US20230057596A1 (en) * 2020-02-07 2023-02-23 Nippon Telegraph And Telephone Corporation Temperature stimulus presentaton device and method
US11537701B2 (en) * 2020-04-01 2022-12-27 Toyota Motor North America, Inc. Transport related n-factor authentication
GB2597492B (en) * 2020-07-23 2022-08-03 Nissan Motor Mfg Uk Ltd Gesture recognition system
US20230116341A1 (en) * 2021-09-30 2023-04-13 Futian ZHANG Methods and apparatuses for hand gesture-based control of selection focus
CN114639205A (zh) * 2022-03-30 2022-06-17 中国工商银行股份有限公司 基于喷气感应的密码输入装置、方法和自助设备
WO2023228919A1 (ja) * 2022-05-27 2023-11-30 京セラ株式会社 表示装置および空中像表示装置
US20240061514A1 (en) * 2022-08-18 2024-02-22 Meta Platforms Technologies, Llc Navigating a user interface using in-air gestures detected via neuromuscular-signal sensors of a wearable device, and systems and methods of use thereof

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005292976A (ja) * 2004-03-31 2005-10-20 Alpine Electronics Inc 仮想インタフェース制御装置
WO2008149482A1 (ja) * 2007-06-05 2008-12-11 Mitsubishi Electric Corporation 車両用操作装置
WO2014058909A2 (en) * 2012-10-08 2014-04-17 Oblong Industries, Inc. Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control
CN104321723A (zh) * 2012-12-19 2015-01-28 松下知识产权经营株式会社 触觉输入输出装置
CN104508600A (zh) * 2012-07-27 2015-04-08 日本电气方案创新株式会社 三维用户界面装置及三维操作方法
WO2015086919A2 (fr) * 2013-12-11 2015-06-18 Dav Dispositif de commande à retour sensoriel
CN105912110A (zh) * 2016-04-06 2016-08-31 北京锤子数码科技有限公司 一种在虚拟现实空间中进行目标选择的方法、装置及系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7893920B2 (en) * 2004-05-06 2011-02-22 Alpine Electronics, Inc. Operation input device and method of operation input
JP2008018896A (ja) 2006-07-14 2008-01-31 Toyota Motor Corp 歩行者警告装置
CN103797440B (zh) * 2011-09-15 2016-12-21 皇家飞利浦有限公司 具有用户反馈的基于姿势的用户界面
US20130100008A1 (en) * 2011-10-19 2013-04-25 Stefan J. Marti Haptic Response Module
JP2013250637A (ja) * 2012-05-30 2013-12-12 Toshiba Corp 認識装置
US9541997B2 (en) * 2012-07-27 2017-01-10 Nec Solution Innovators, Ltd. Three-dimensional user interface apparatus and three-dimensional operation method
JP6008123B2 (ja) 2013-02-04 2016-10-19 セイコーエプソン株式会社 警報装置
JP2014219938A (ja) 2013-05-10 2014-11-20 株式会社ゲッシュ 入力支援装置、入力支援方法、および、プログラム
JP2015090547A (ja) * 2013-11-05 2015-05-11 ソニー株式会社 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
WO2015122079A1 (ja) * 2014-02-14 2015-08-20 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
US20160232713A1 (en) * 2015-02-10 2016-08-11 Fangwei Lee Virtual reality and augmented reality control with mobile devices
EP3101511A1 (en) * 2015-06-03 2016-12-07 Nokia Technologies Oy Monitoring
EP3115926A1 (en) * 2015-07-08 2017-01-11 Nokia Technologies Oy Method for control using recognition of two-hand gestures
JP6615541B2 (ja) * 2015-09-02 2019-12-04 株式会社バンダイナムコアミューズメント 投影システム
JP2017068569A (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP6240135B2 (ja) * 2015-10-26 2017-11-29 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法およびプログラム
CN107179826B (zh) * 2016-03-11 2021-08-31 松下知识产权经营株式会社 姿势输入系统和姿势输入方法
JP2017207795A (ja) * 2016-05-16 2017-11-24 小島プレス工業株式会社 ジェスチャー操作装置
KR20170143384A (ko) * 2016-06-21 2017-12-29 엘지전자 주식회사 이동 단말기 및 그 제어방법
US11572653B2 (en) * 2017-03-10 2023-02-07 Zyetric Augmented Reality Limited Interactive augmented reality
US11112857B2 (en) * 2017-04-28 2021-09-07 Sony Interactive Entertainment Inc. Information processing apparatus, information processing method, and program
US10967255B2 (en) * 2017-05-26 2021-04-06 Brandon Rosado Virtual reality system for facilitating participation in events

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005292976A (ja) * 2004-03-31 2005-10-20 Alpine Electronics Inc 仮想インタフェース制御装置
WO2008149482A1 (ja) * 2007-06-05 2008-12-11 Mitsubishi Electric Corporation 車両用操作装置
CN104508600A (zh) * 2012-07-27 2015-04-08 日本电气方案创新株式会社 三维用户界面装置及三维操作方法
WO2014058909A2 (en) * 2012-10-08 2014-04-17 Oblong Industries, Inc. Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control
CN104321723A (zh) * 2012-12-19 2015-01-28 松下知识产权经营株式会社 触觉输入输出装置
WO2015086919A2 (fr) * 2013-12-11 2015-06-18 Dav Dispositif de commande à retour sensoriel
CN105912110A (zh) * 2016-04-06 2016-08-31 北京锤子数码科技有限公司 一种在虚拟现实空间中进行目标选择的方法、装置及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807898A (zh) * 2019-11-04 2020-02-18 中国第一汽车股份有限公司 一种防疲劳驾驶方法及系统
CN114729843A (zh) * 2019-11-26 2022-07-08 松下知识产权经营株式会社 载置物检测装置以及车辆控制系统
CN114729843B (zh) * 2019-11-26 2024-04-26 松下知识产权经营株式会社 载置物检测装置以及车辆控制系统

Also Published As

Publication number Publication date
US20190243451A1 (en) 2019-08-08
JP6934618B2 (ja) 2021-09-15
WO2018084082A1 (ja) 2018-05-11
JPWO2018084082A1 (ja) 2019-09-19
US10747324B2 (en) 2020-08-18
CN109906423B (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
CN109906423A (zh) 姿势输入系统及姿势输入方法
US10459080B1 (en) Radar-based object detection for vehicles
CN105182803B (zh) 车辆控制装置及其方法
US10380851B2 (en) Haptic effects conflict avoidance
CN106104426B (zh) 用于基于力的对象操纵和触觉检测的系统、方法和计算机可读介质
KR101993848B1 (ko) 플랫폼에 걸쳐 햅틱 피드백을 갖는 상호작용 터치 스크린 게임 메타포
JP5200008B2 (ja) ダイナミック・システム及びデバイスの手動操縦を監視する方法
WO2020069181A1 (en) Neuromuscular control of physical objects in an environment
CN110740896B (zh) 用于运输工具的用户界面以及具有用户界面的运输工具
CN105302291A (zh) 触觉通知管理器
US11762473B2 (en) Gesture control systems with logical states
WO2022144839A1 (en) Systems and methods for determining driver control over a vehicle
CN109582128A (zh) 用于触觉遥控游戏的系统和方法
EP3489804A1 (en) Haptic accessory apparatus
CN109474863A (zh) 用非音频数据在耳机上渲染触觉
JP2017174397A (ja) ジェスチャ入力システム及びジェスチャ入力方法
WO2020235306A1 (ja) 制御システムおよび提示システム
KR20180074404A (ko) 공항용 로봇 및 그의 동작 방법
CN108322598A (zh) 一种信息提示方法及移动终端
JP2018110625A (ja) ゲームシステム、ゲームプログラム、情報処理装置およびゲーム制御方法
CN107107756A (zh) 通过检测驾驶员的运动和/或表情控制交通工具功能的人/机界面和方法
CN111292493A (zh) 一种振动提醒方法、装置、电子设备及系统
WO2023133080A1 (en) Vr headset with integrated thermal/motion sensors field
CN115080936A (zh) 安全验证方法、装置、电子设备及存储介质
CN117130486A (zh) 超声触感的控制方法、系统、电子设备、介质和芯片

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240328

Address after: Kanagawa Prefecture, Japan

Patentee after: Panasonic Automotive Electronic Systems Co.,Ltd.

Country or region after: Japan

Address before: Osaka Prefecture, Japan

Patentee before: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Country or region before: Japan