CN111033452B - 空间位置指示系统 - Google Patents

空间位置指示系统 Download PDF

Info

Publication number
CN111033452B
CN111033452B CN201880051868.0A CN201880051868A CN111033452B CN 111033452 B CN111033452 B CN 111033452B CN 201880051868 A CN201880051868 A CN 201880051868A CN 111033452 B CN111033452 B CN 111033452B
Authority
CN
China
Prior art keywords
electronic pen
spatial
position detection
spatial position
digitizer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880051868.0A
Other languages
English (en)
Other versions
CN111033452A (zh
Inventor
熊巳创
吉田浩司
玉野浩
宗像博史
陈元昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wacom Co Ltd
Original Assignee
Wacom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wacom Co Ltd filed Critical Wacom Co Ltd
Publication of CN111033452A publication Critical patent/CN111033452A/zh
Application granted granted Critical
Publication of CN111033452B publication Critical patent/CN111033452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供电子笔的操作者能够一边无缝地切换基于线画的描绘和基于手势的描绘一边执行描绘的空间位置指示系统。电子笔具备指示位置检测装置部、空间位置检测装置部及选择部。指示位置检测装置部检测包括输入面的上方的悬浮区域的检测区域中的电子笔的指示位置。空间位置检测装置部将包括指示位置检测装置部的悬浮区域的至少一部分的空间区域中的电子笔的位置与指示位置检测装置部相独立地检测。在基于电子笔的指示位置检测输出和空间位置检测输出来生成显示于显示部的描绘图像的情况下,选择部根据电子笔从输入面起的分离距离,以使用指示位置检测输出和空间位置检测输出的任一者的方式进行选择控制。

Description

空间位置指示系统
技术领域
本发明涉及适于在空间上使用电子笔的情况的空间位置指示系统。
背景技术
已知有通过利用电子笔对被称作数字转换器的坐标输入装置连续地进行位置指示来进行描绘从而制作动画图像等的描绘系统。在该情况下,操作者在使电子笔与内置有数字转换器的平板装置的输入面接触的状态或者虽然与平板装置的输入面非接触但置于能够进行位置检测的上方区域的状态(悬浮状态)下进行用于生成描绘图像的位置指示操作。数字转换器检测由电子笔指示的位置,作为其检测结果而生成描绘图像,显示于显示画面。操作者一边确认显示于显示画面的描绘图像一边执行描绘。
最近,出现了能够将在2维的显示画面上显示的描绘图像在视觉上如3维图像那样描绘表现(例如旋转、变形等)的系统、应用。在该情况下,使用动作传感器来检测操作者的例如手或手指的动作(手势),基于该检测到的动作(手势)来进行描绘表现处理。
以往,基于利用数字转换器检测电子笔的指示位置来制作2维描绘图像的工序和将2维图像如3维图像那样描绘表现或处理的工序分别独立而作为不同的工序执行。
提供了能够进行如上所述的位置指示输入和手势等的操作输入双方的用户接口(例如,参照专利文献1及专利文献2)。
在专利文献1中公开了构成为响应来自动作传感器的信号而从悬浮事件检测模式切换为手势事件检测模式的触摸控制器。
另外,在专利文献2中公开了交替地判定经由触摸传感器式显示器而检测的位置信息和经由非接触检测单元而检测的位置信息的控制器单元。
现有技术文献
专利文献
专利文献1:美国专利第9367169号说明书
专利文献2:美国专利第9323379号说明书
发明内容
发明所要解决的课题
然而,在如专利文献1那样根据来自动作传感器的信号来进行切换的方法中,存在不得不为了切换而每次变更设备的倾斜这一问题。
另外,在专利文献2的情况下,会将触摸传感器式显示器和非接触检测单元以时间分割进行切换,存在各自的时间分辨率下降的问题。
本发明的目的在于,提供能够解决以上的问题点的空间位置指示系统。
用于解决课题的方案
为了解决上述的课题,提供一种空间位置指示系统,其特征在于,具备:
指示位置检测装置部,检测用于接受电子笔的指示输入的输入面及所述输入面的上方的悬浮区域的至少一方处的所述电子笔的第一位置;
空间位置检测装置部,检测包括所述悬浮区域的至少一部分的空间区域中的所述电子笔的第二位置;及
选择部,根据所述电子笔从所述输入面起的分离距离,选择是使用所述第一位置还是使用所述第二位置作为所述指示输入。
在上述的结构的空间位置指示系统中,指示位置检测装置部中的电子笔的指示输入的检测区域被设为包括用于接受电子笔的指示输入的输入面的上方的悬浮区域的区域。空间位置检测装置部构成为能够检测包括指示位置检测装置部的上述的悬浮区域的至少一部分的空间区域中的电子笔的位置。
并且,通过选择部,根据电子笔从指示位置检测装置部的输入面起的分离距离,以使用来自指示位置检测装置部的指示位置检测输出和来自空间位置检测装置部的空间位置检测输出的任一者的方式进行选择控制。由此,电子笔的操作者仅通过将电子笔改变从指示位置检测装置部的输入面起的分离距离,就能够一边无缝地切换指示位置检测装置部和空间位置检测装置一边执行操作。
附图说明
图1是用于说明本发明的空间位置指示系统的第一实施方式的概要的图。
图2是用于说明本发明的空间位置指示系统的第一实施方式的结构例的框图。
图3是用于说明本发明的空间位置指示系统的第一实施方式中的空间坐标系的图。
图4是用于说明本发明的空间位置指示系统的第一实施方式的一部分动作的图。
图5是用于说明本发明的空间位置指示系统的第一实施方式中的电子笔的位置检测用的坐标系的切换的图。
图6是示出本发明的空间位置指示系统的第一实施方式中的显示部的显示画面的显示图像的例的图。
图7是用于说明本发明的空间位置指示系统的第一实施方式的变形例的图。
图8是用于说明本发明的空间位置指示系统的第一实施方式的变形例的图。
图9是用于说明本发明的空间位置指示系统的第一实施方式的变形例的图。
图10是用于说明本发明的空间位置指示系统的第一实施方式的变形例的图。
图11是用于说明本发明的空间位置指示系统的第二实施方式的概要的图。
图12是用于说明本发明的空间位置指示系统的第二实施方式的主要的动作的图。
图13是用于说明本发明的空间位置指示系统的第二实施方式的结构例的框图。
具体实施方式
以下,一边参照附图一边说明本发明的空间位置指示系统的实施方式。
[第一实施方式]
图1是示出本发明的空间位置指示系统的第一实施方式的整体结构例的图。如图1所示,该第一实施方式的空间位置指示系统具备电子笔1和平板装置2。并且,在该实施方式中,平板装置2具备如图2所示的内部结构。概略地说,在从平板装置2的输入面到电子笔1的笔尖为止的Z轴方向的高度位置比后述的临界高度位置Lz小的情况下(例如,图1中的高度位置B1),使用由指示位置检测装置部203检测到的电子笔1的指示位置。另一方面,在从平板装置2的输入面到电子笔1的笔尖为止的Z轴方向的高度位置为临界高度位置Lz以上的情况下(例如,图1中的高度位置B2),使用由空间位置检测装置部204检测到的电子笔1的指示位置。一般来说,指示位置检测装置部203的位置检测的精度比空间位置检测装置部204的位置检测的精度高。因而,优选的是,在电子笔1从平板装置2的用于接受指示输入的输入面离开并位于其上方的悬浮区域的情况下,优选继续使用指示位置检测装置部203的位置检测,在其高度位置成为了临界高度位置Lz以上时使用空间位置检测装置部204的位置检测。
该第一实施方式的空间位置指示系统的平板装置2具备作为显示部的例的LCD(Liquid Crystal Display;液晶显示器)201,该LCD201的显示画面201D配置于壳体202的表面。
并且,在平板装置2中,在LCD201的里侧以与LCD201重叠的状态配设有检测电子笔1的指示位置的指示位置检测装置部(以下,称作数字转换器)203的传感器部2031。如图2所示,数字转换器203具备传感器部2031和位置检测电路2032。
虽然图示省略,但传感器部2031通过分别在平板装置2的壳体202的横向(X轴方向)和壳体202的纵向(Y轴方向)上配设多个环形线圈而构成。在该例中,数字转换器203被设为电磁感应方式,但本实施方式不限定于此。
另一方面,电子笔1在笔尖侧具备由线圈和电容器构成的谐振电路(图示省略),通过在数字转换器203的传感器部2031的环形线圈与电子笔1的谐振电路之间进行电磁感应耦合而在电子笔1与数字转换器的传感器部2031之间进行信号的授受。电子笔1也被设为电磁感应方式,但本实施方式不限定于此。
数字转换器203的位置检测电路2032通过传感器部2031的环形线圈而向电子笔1供给信号,并且通过环形线圈而接收来自电子笔1的信号,基于该接收到的信号而在传感器部2031的检测区域中检测由电子笔1指示的位置。此外,在该实施方式中,数字转换器203构成为检测由电子笔1的笔尖指示的位置。
在该例中,以罩住LCD201的显示画面201D的大致全域的方式配置有数字转换器203的传感器部2031的环形线圈,与显示画面201D的表面全域大致相同的区域成为电子笔1相对于传感器部2031的输入面203S(由图1的虚线包围的部分)。
并且,在该实施方式中,能够利用数字转换器203来检测电子笔1的指示位置的位置检测区域不仅包括电子笔1的笔尖与数字转换器203的输入面203S接触时的平面区域,也包括电子笔1的笔尖与数字转换器203的输入面203S非接触而与输入面203S在与该输入面203S正交的方向(与X轴方向及Y轴方向正交的Z轴方向)上分离但能够通过基于电磁耦合的信号的授受来检测电子笔1的指示位置的空间区域(电子笔1的悬浮状态的悬浮区域)。
例如,在图1中将数字转换器203的输入面203S的左上角的位置P0设为X轴方向、Y轴方向及Z轴方向的原点的坐标((X、Y、Z)=(0、0、0))时,数字转换器203中的能够检测电子笔1的指示位置的位置检测区域DT成为在图3中标注斜线而示出的输入面203S的平面区域及该输入面203S的上方的长方体的空间区域。
即,若如图1所示那样将数字转换器203的输入面203S的X轴方向的长度设为Lx,将Y轴方向的长度设为Ly,将能够检测悬浮状态的Z轴方向的临界高度位置设为Lz,则如图3所示,由P0(0、0、0)、P1(Lx、0、0)、P2(Lx、Ly、0)、P3(0、Ly、0)、P4(0、0、Lz)、P5(Lx、0、Lz)、P6(Lx、Ly、Lz)、P7(0、Ly、Lz)这8个点的坐标点位置包围的区域成为数字转换器203的位置检测区域DT。
并且,该第一实施方式的平板装置2具备空间位置检测装置部204作为与数字转换器203相独立地检测电子笔1的空间位置的单元。如图1所示,在壳体202的表面设置有空间位置检测装置部204的空间位置检测用构件2041。在该例中,虽然图示省略,但空间位置检测用构件2041构成为具备非可见光传感器(例如,红外线发光部(红外线LED)及红外线相机等),但本实施方式不限定于此,也可以使用可见光传感器等其他传感器或它们的组合。另外,也可以取代空间位置检测用构件2041或与空间位置检测用构件2041一起,通过提高从数字转换器203放出的电磁波的频率来提高临界高度位置而检测电子笔1的空间位置。即,通常,以第一频率在包括数字转换器203的输入面及悬浮区域的空间区域中检测电子笔1的位置,切换为比第一频率高的第二频率来检测比第一频率下的第一临界高度位置高的第二临界高度位置下的电子笔1的空间位置即可。
空间位置检测装置部204的空间位置检测用构件2041的红外线发光部将包括数字转换器的位置检测区域DT的至少一部分的空间区域设为探索区域,以探索存在于该探索区域的物品(也称作物体)的方式发出红外光。即,空间位置检测用构件2041的红外线发光部以探索包括数字转换器的位置检测区域DT的至少一部分的空间的方式发出红外光。并且,空间位置检测用构件2041的红外线相机通过接受来自存在于该空间区域的物体的红外光的反射光来检测物体的存在及位置。如前所述,在该实施方式中,由空间位置检测装置部204检测的物体是电子笔1,例如对其笔尖位置进行位置检测。
在该第二实施方式中,空间位置检测装置部204构成为,考虑与由数字转换器203检测的电子笔1的指示位置的连续性而检测电子笔1的笔尖的空间位置,但本实施方式不限定于此,但也可以构成为检测电子笔1的另外的1个或多个部位的位置。在该实施方式的平板装置2中,可以构成为,根据基于由空间位置检测装置部204检测到的电子笔1的笔尖的空间位置而求出的该笔尖的动作,来检测由电子笔1的操作者执行的手势。
空间位置检测装置部204的空间位置检测电路2042(参照图2)根据由红外线相机接受到的反射光的受光信息(受光方向、发光时刻与受光时刻之差等)来检测前述的广阔的空间区域内的物体的位置(在该例中是电子笔1的笔尖位置)。并且,在该例中,空间位置检测装置部204检测空间区域内的电子笔1的笔尖位置的动作。在该说明书中,将空间位置检测装置部204设为探索对象的空间区域为了方便而称作动作检测空间区域MD。
空间位置检测装置部204的动作检测空间区域MD的空间坐标系可以与数字转换器203的位置检测区域DT的空间坐标系相独立地设定。在图3中,动作检测空间区域MD的空间坐标系的3轴使用后缀s而设为Xs轴、Ys轴、Zs轴,与数字转换器203的检测区域DT的空间坐标系的X轴、Y轴、Z轴区分而示出。在该情况下,在该例中,如图3所示,空间位置检测装置部204的动作检测空间区域MD在平板装置2的壳体202中将设置空间位置检测用构件2041的部分的中心位置作为动作检测空间区域MD的空间坐标系的原点位置而确定。
此外,在图3中,为了方便,Xs轴、Ys轴、Zs轴各自的方向作为与X轴、Y轴、Z轴各自的方向相同的方向而示出,但在构成空间位置检测用构件2041的红外线发光部、红外线相机的光轴方向的关系上,Xs轴、Ys轴、Zs轴各自的方向可以与X轴、Y轴、Z轴各自的方向不同。
但是,在该实施方式中,电子笔1的笔尖的位置的位置信息构成为,通过使用数字转换器203的位置检测区域DT的空间坐标系和空间位置检测装置部204的动作检测空间区域MD的空间坐标系的共通的区域,能够使用后述的空间位置修正信息来进行坐标变换。即,空间位置检测装置部204的动作检测空间区域MD的空间坐标系以包括数字转换器203的位置检测区域DT的空间坐标系的至少一部分作为共通区域的方式配置。
此外,若Xs轴、Ys轴、Zs轴各自的方向与X轴、Y轴、Z轴各自的方向是同一方向,则数字转换器203的位置检测区域DT的空间坐标系和动作检测空间区域MD的空间坐标系通过考虑两空间坐标系的原点位置之差而能够作为一个空间坐标系共通地处理。即,若例如将数字转换器203的位置检测区域DT的空间坐标系的原点位置与动作检测空间区域MD的空间坐标系的原点位置的X轴方向、Y轴方向、Z轴方向的偏置值分别设为Δx、Δy、Δz,则通过求出Xs-Δx(=X)、Ys-Δy(=Y)、Zs-Δz(=Z),能够将动作检测空间区域MD的空间坐标系的坐标值(Xs、Ys、Zs)变换为数字转换器203的位置检测区域DT的空间坐标系的坐标值(X、Y、Z)。
但是,在该第一实施方式的平板装置2中,如上所述,在独立设置的数字转换器203的位置检测区域DT的空间坐标系和动作检测空间区域MD的空间坐标系中,X轴、Y轴、Z轴各自的方向可以与Xs轴、Ys轴、Zs轴各自的方向不同。另外,在X轴、Y轴、Z轴各自的方向与Xs轴、Ys轴、Zs轴各自的方向相同的情况下,也难以准确地规定原点位置的偏置值,可能会针对各平板装置2不同。
于是,2个空间坐标系中的坐标位置不同,例如,在显示画面201D上将电子笔1的笔尖位置用箭头等指针示出的情况下,在切换了数字转换器203的位置检测区域DT的空间坐标系和动作检测空间区域MD的空间坐标系这2个空间坐标系时,如图4所示,可能会从实线的指针CS的显示位置跳到虚线的指针CS′状态。因而,对于要输入描绘图像的使用者来说,不得不重新对指示位置进行指示。
于是,在该第一实施方式中,利用数字转换器203的位置检测区域DT的至少一部分区域是与动作检测空间区域MD共通的空间区域这一点,生成数字转换器203的检测区域DT的空间坐标系与动作检测空间区域MD的空间坐标系的偏离的修正信息。在该例中,通过将数字转换器203的位置检测区域DT的空间坐标系的坐标值(X、Y、Z)变换为由空间位置检测装置部204的空间位置检测电路2042检测到的动作检测空间区域MD的空间坐标系的坐标值(Xs、Ys、Zs),能够得到修正了两者的偏离的坐标值。接着,对用于该变换的修正信息进行说明。
数学式1示出用于将由空间位置检测装置部204的空间位置检测电路2042检测到的动作检测空间区域MD的空间坐标系的坐标值(Xs、Ys、Zs)线性变化成数字转换器203的位置检测区域DT的空间坐标系的坐标值(X、Y、Z)的行列式。该行列式是3行3列,将其成分用aij(i、j=1,2,3)表示。
在该第一实施方式中,利用数字转换器的位置检测区域DT的至少一部分是与动作检测空间区域MD共通的空间区域,生成用于数字转换器的检测区域DT的空间坐标系与动作检测空间区域MD的空间坐标系之间的变换的修正信息。
即,如图3所示,对数字转换器的位置检测区域DT和动作检测空间区域MD的共通的空间区域内的至少3点Pa、Pb、Pc进行位置指定,从各设备取得各点的数字转换器203的位置检测区域DT的空间坐标系的坐标值(X、Y、Z)和动作检测空间区域MD的空间坐标系的坐标值(Xs、Ys、Zs)。理想的是,从这些设备取得的坐标值成为相同的值,但若不进行校准,则这些坐标值通常不一致。一般,数字转换器203的位置检测的精度比空间位置检测装置部204的位置检测的精度高,因此优选使空间位置检测装置部204的动作检测空间区域MD的空间坐标系的坐标值与数字转换器203的位置检测区域DT的空间坐标系的坐标值一致。
关于在共通区域内进行了位置指定的1个点,若将对应的位置检测区域DT的空间坐标系的坐标值(X、Y、Z)和动作检测空间区域MD的空间坐标系的坐标值(Xs、Ys、Zs)代入数学式1则得到3个方程式。通过在共通区域内进行至少3点的位置指定,得到关于a11~a33的至少9个方程式,因此能够求出a11~a33各自的值。另外,数字转换器的检测区域DT的空间坐标系与动作检测空间区域MD的空间坐标系之间的变换不限定于上述方法,也可以使用基于使用了共通区域中的至少3点的坐标值的机器学习的学习、用户的校准等。
如以上这样,第一实施方式的平板装置2构成为,在空间位置检测装置部204的动作检测空间区域MD内包括数字转换器203的位置检测区域DT的至少一部分。也就是说,平板装置2构成为,空间位置检测装置部204的动作检测空间区域MD具有数字转换器203的位置检测区域DT的至少一部分作为共通区域。
并且,在该实施方式的平板装置2中,构成为,根据电子笔1的笔尖位置从数字转换器203的传感器部2031的输入面203S起的分离距离(Z轴方向的分离距离)来切换是使用由数字转换器203检测到的电子笔1的指示位置(第一位置)还是使用由空间位置检测装置部204检测到的电子笔1的空间区域中的位置(第二位置)。
即,如图5所示,在将成为切换点的从输入面203S起的分离距离(Z轴方向的分离距离)设为θth时,在电子笔1从输入面203S起的分离距离比θth小时,平板装置2的数字转换器203作为在其位置检测区域DT中检测电子笔1的指示位置并进行与该检测到的指示位置对应的处理的装置进行动作。另一方面,在电子笔1从输入面203S起的分离距离比θth大时,平板装置2切换成空间位置检测装置部204作为检测电子笔1的空间区域内的位置并进行与位置对应的处理的装置进行动作。
在该实施方式中,成为切换点的从输入面203S起的分离距离(Z轴方向的分离距离)θth被设定为数字转换器203能够检测电子笔1的悬浮状态的Z轴方向的临界高度距离Lz以下。在该例中,如图5所示,成为切换点的从输入面203S起的分离距离θth被设定成与数字转换器203能够检测电子笔1的悬浮状态的Z轴方向的临界高度距离Lz即位置检测区域DT的Z轴方向的长度Lz相等。
即,平板装置2以在电子笔1存在于数字转换器203的位置检测区域DT内时使用由数字转换器203检测该电子笔1的位置的结果且在电子笔1存在于数字转换器203的位置检测区域DT的外侧时使用由空间位置检测装置部204检测该电子笔1的动作的结果的方式切换,并且根据该切换而描绘处理也被切换。
关于电子笔1的笔尖位置从数字转换器203的传感器部2031的输入面203S起的分离距离(Z轴方向的分离距离),在该实施方式中,由于数字转换器203的传感器部2031处的来自电子笔1的接收信号的信号电平(信号强度)成为与分离距离对应的值,所以平板装置2基于来自该电子笔1的接收信号的信号电平来检测该分离距离。
接着,对实现以上内容的平板装置2的结构部分的例进行说明。即,构成数字转换器203的位置检测电路2032将电子笔1的指示位置的检测输出作为选择电路205的一方的输入信号而供给。此外,在从该位置检测电路2032向选择电路205供给的信息中除了电子笔1的指示位置的检测输出之外,还包含有向电子笔1施加的笔压信息。通过该笔压信息,知道电子笔1是否与输入面203S接触,另外,在描绘线画的情况下,能够描绘与笔压的大小对应的粗细的线画。
另外,空间位置检测装置部204的空间位置检测电路2042将电子笔1的空间位置的检测输出向空间位置坐标修正电路206供给。对该空间位置坐标修正电路206供给来自修正信息存储器207的前述的(数学式1)所示的行列式的成分a11~a33。空间位置坐标修正电路206使用从修正信息存储器207供给的成分来执行数学式1的行列式的运算,将空间位置检测装置部204的空间坐标系的坐标信息变换为数字转换器203的空间坐标系的坐标信息。并且,空间位置坐标修正电路206将该变换后的坐标输出向手势检测电路208供给。
手势检测电路208基于来自空间位置坐标修正电路206的坐标输出来检测电子笔1的笔尖的动作(手势),将该检测输出作为选择电路205的另一方的输入信号而供给。
并且,在该实施方式中,数字转换器203的位置检测电路2032将来自电子笔1的接收信号的信号电平的信息向分离距离检测电路210供给。在该实施方式中,分离距离检测电路210根据来自电子笔1的接收信号的信号电平来检测电子笔1的笔尖从数字转换器203的输入面203S起的分离距离。并且,分离距离检测电路210将检测到的分离距离的信息向选择控制信号生成电路211供给。
选择控制信号生成电路211生成在电子笔1的笔尖从数字转换器203的输入面203S起的分离距离为距离Lz以下时以选择数字转换器203的检测输出的方式控制选择电路205且在比距离Lz大时以选择手势检测电路208的检测输出的方式控制选择电路205的选择控制信号SE,通过生成的选择控制信号SE来对选择电路205进行选择控制。
选择电路205将一方的输入和另一方的输入的一方根据选择控制信号SE而切换,并向描绘处理电路212供给。
描绘处理电路212具备基于来自数字转换器203的电子笔1的指示位置检测输出来描绘精细的线画等的笔描绘处理部2121和进行基于根据来自空间位置检测装置部204的电子笔1的空间位置而检测到的动作(手势)的描绘处理的手势处理部2122。并且,对该描绘处理电路212供给来自切换信号生成电路211的切换控制信号SW,描绘处理电路212将笔描绘处理部2121和手势处理部2122与开关电路205的切换联动地切换,执行3D描绘图像的描绘处理。
由描绘处理电路212生成的3D描绘图像信息通过显示驱动电路213而向在该例中由LCD构成的显示部201供给,显示于其显示画面201D。
图6示出在显示部201的显示画面201D上显示的3D描绘图像的一例。在该实施方式中,如图6所示,在显示画面201D上显示有将开关电路205的切换状态是数字转换器203侧(平板模式)还是手势检测电路208侧(空间模式)向使用者通知的当前模式显示220。该当前模式显示220由描绘处理电路212例如基于切换控制信号SW而生成并显示于显示图像。
当前模式显示220用于将电子笔1是存在于数字转换器203的位置检测区域DT内还是存在于空间位置检测装置部204的动作检测空间区域MD内向使用者报知,在图6的例中,由通过标注斜线而示出电子笔1存在于哪个区域的栏221B的高度而示出的栏显示221和用于报知栏显示221表示哪个区域的的文字显示栏222构成。
此外,若向描绘处理电路212供给分离距离检测电路210的检测输出和来自空间位置坐标修正电路206的坐标输出,则描绘处理电路212能够得知来自电子笔1的输入面203S的分离距离,因此也能够将当前模式显示202中的电子笔1的位置的栏显示221的栏的高度显示成与电子笔1从输入面203S起的分离距离对应的高度。
图6(A)示出了电子笔1存在于数字转换器203的位置检测区域DT内且由电子笔1描绘了长方体的物体OBJ时的显示画面。
图6(B)示出了从图6(A)的状态起由使用者将电子笔1移动到数字转换器203的位置检测区域DT外并例如如图6(B)的箭头AR所示那样进行了使长方体的物体OBJ旋转的手势操作的情况下的显示图像例。
在图6中,数字转换器203的位置检测区域DT中的描绘及空间位置检测装置部204的动作检测空间区域MD中的描绘是一例,对于基于手势操作的描绘,也能够进行物体的移动、施加压力、将一部分拉拽而延伸从而使物体变形的描绘处理。
此外,在电子笔1设置有检测在与输入面203S接触时向笔尖施加的笔压的笔压检测电路,该笔压检测电路的检测结果的信息构成为向平板装置2传递。并且,电子笔1的精细的描绘操作大多在与输入面203S接触的状态下进行。于是,在平板装置2中,也可以基于从电子笔1接收的笔压检测结果的信息,区分电子笔1与输入面203S接触的状态和非接触的悬浮状态,在显示画面201D上以将其向操作者传递的方式进行例如“接触状态”“悬浮状态”等文字显示。
此外,平板装置2具备例如由计算机构成的控制电路200,基于该控制电路200的控制来进行上述的各电路的动作。此外,空间位置坐标修正电路206、手势检测电路208、分离距离检测电路210、选择控制信号生成电路211、描绘处理电路212的各处理也可以构成为控制电路200通过软件程序而执行的软件功能部。
在修正信息存储器207中也可以将行列式的成分a11~a33在平板装置2的工场出厂前存储。但是,在该实施方式中,通过使用者以能够也包含各各平板装置2的误差而修正的方式使平板装置2执行修正信息生成保存处理,能够在使平板装置2起动前将修正信息(行列式的成分a11~a33)保存于修正信息存储器207。
图2所示的修正信息生成电路209是为此的处理部,基于来自控制电路200的控制来执行修正信息生成处理。该修正信息生成电路209也可以作为控制电路200所具备的用于修正信息生成保存处理的应用而设置。
在平板装置2的最初的起动时,由控制电路200以使修正信息生成电路209进行动作的方式控制。然后,由控制电路200催促使用者利用电子笔1在针对空间位置检测装置部204和数字转换器203共通的数字转换器203的位置检测区域DT中对至少3点进行位置指示。当使用者根据此而对3点以上进行位置指示时,如前所述,关于该3点以上,数字转换器203的检测坐标信息和空间位置检测装置部204的检测坐标信息向修正信息生成电路209取入。
然后,在修正信息生成电路209中,使用取入的3点以上的坐标信息,如前述那样算出行列式的成分a11~a33,保存于修正信息存储器207。
此外,以上的由修正信息生成电路209进行的行列式的成分a11~a33的算出及向修正信息存储器207的保存处理当然也可以不是由使用者进行,而是在向使用者贩售前预先设定。
由于如以上这样构成,所以该实施方式的平板装置2在电子笔1与数字转换器203的输入面203S接触或处于悬浮状态时,数字转换器203检测电子笔1的指示位置并进行基于线画的精细的描绘,在电子笔1处于离开得比从输入面230S起的分离距离Lz远的状态时,切换为空间位置检测装置部204的空间位置检测,进行电子笔1的动作(手势)检测,进行与检测到的动作(手势)对应的操作。
因此,操作者不会意识到数字转换器203与空间位置检测装置部204的切换,仅通过将电子笔1在平板装置2上空间性地移动就能够无缝地从精细描绘进行基于手势的操作。
并且,在该实施方式的平板装置2中,由于将数字转换器203的坐标输出变换为空间位置检测装置部204的空间坐标系的值,所以即使在空间坐标系切换时,也能够抑制根据电子笔1的位置检测而显示于显示画面的指针位置跳动这一不良情况。
另外,由于在平板装置2的显示部201的显示画面201D上根据电子笔1从输入面203S起的分离距离而显示是由数字转换器203检测电子笔1的指示位置的状态还是由空间位置检测装置部204检测电子笔1的空间位置的状态,所以电子笔1的操作者能够确切地掌握在该时间点下的电子笔1的空间位置下应该进行何种操作。
[第一实施方式的变形例]
<变形例1>
此外,在以上的第一实施方式的说明中,在数字转换器203中,基于来自电子笔1的接收信号的信号电平来求出电子笔1从输入面203S起的分离距离,根据该求出的分离距离来生成开关电路205的切换信号。但是,电子笔1从输入面203S起的分离距离的算出方法不限于上述的例。
例如,也可以设为,在电子笔1中,在接收到来自平板装置2的数字转换器203的传感器部2031的信号时,检测该接收信号的信号电平,将该信号电平的信息向平板装置2发送。图7是示出这样构成的情况下的电子笔1A和平板装置2A的要部的结构例的图。
在该例中,电子笔1A具备检测来自平板装置2A的数字转换器203的传感器部2031的接收信号的信号电平的接收信号电平检测电路101,并且具备进行例如蓝牙(注册商标)标准的无线通信的无线通信部102。并且,电子笔1A将由接收信号电平检测电路101检测到的来自传感器部2031的接收信号的信号电平的信息通过无线通信部102而向平板装置2A发送。
平板装置2A具备用于与无线通信部102进行无线通信的蓝牙(注册商标)标准的无线通信部221,并且取代图2的例中的分离距离检测电路210及切换信号生成电路211而具备分离距离检测电路222及选择控制信号生成电路223。在该例中,分离距离检测电路222基于由无线通信部221接收到的来自电子笔1A的信号电平的信息来检测电子笔1A从数字转换器203的输入面203S起的分离距离,将该检测到的分离距离的信息向选择控制信号生成电路223供给。
选择控制信号生成电路223生成以在电子笔1的笔尖从数字转换器203的输入面203S起的分离距离为距离Lz以下时选择数字转换器203的检测输出且在比距离Lz大时选择手势检测电路208的检测输出的方式进行控制的选择控制信号SEa,通过生成的切换控制信号SEa来对选择电路205进行切换控制。
平板装置2A的其他部分的结构与图2所示的结构是同样的。
根据该图7的例的结构,从数字转换器203的传感器部2031向电子笔1A发送的信号的电波强度比平板装置2从电子笔1接收的信号的电波强度大。因而,在平板装置2A的分离距离检测电路222及切换信号生成电路223中,与图2的结构的平板装置2的情况相比,能够更确切地检测切换点的分离距离Lz的位置。
<变形例2>
另外,在上述的例中,基于数字转换器203的传感器部2031与电子笔1或电子笔1A之间的信号的接收电平来检测电子笔1或电子笔1A从数字转换器203的输入面203S起的分离距离。但是,也可以根据由空间位置检测装置部204位置检测的电子笔1的笔尖位置来生成选择电路205的选择控制信号。
图8是示出这样构成的情况下的平板装置2B的要部的结构例的图。即,在该例的平板装置2B中,取代图2的例中的分离距离检测电路210及切换信号生成电路211,如图8所示,具备分离距离检测电路224及切换信号生成电路225。在该例中,向分离距离检测电路224供给空间位置坐标修正电路206的位置坐标输出。分离距离检测电路224根据空间位置坐标修正电路206的位置坐标输出来检测电子笔1的空间位置,根据该Z坐标来检测从数字转换器203的输入面203S起的电子笔1A的分离距离,将该检测输出向选择控制信号生成电路225供给。
选择控制信号生成电路225生成以在电子笔1的笔尖从数字转换器203的输入面203S起的分离距离为距离Lz以下时选择数字转换器203的检测输出且在比距离Lz大时选择手势检测电路208的检测输出的方式进行控制的选择控制信号SEb,通过生成的切换控制信号SEb来控制选择电路205。
平板装置2A的其他部分的结构与图2所示的结构是同样的。
<变形例3>
在以上的实施方式的说明中,手势仅通过由空间位置检测装置部204检测到的电子笔1的位置的变化来检测。但是,通过在电子笔设置检测该电子笔的动作的动作检测传感器,将该动作检测传感器的检测输出向平板装置发送,在平板装置中也参照该动作检测传感器的检测输出,能够将更精细的手势操作反映于描绘。
图9是示出这样构成的情况下的电子笔1C和平板装置2C的要部的结构例的图。在该图9的例中,电子笔1C具备与图7的变形例同样的无线通信部102,并且作为自身的动作检测传感器而具备9轴传感器103。如周知那样,9轴传感器103是将3轴陀螺仪传感器、3轴加速度传感器及3轴地磁传感器组合而成的,因此关于电子笔1C的动作,送出9轴的传感器输出。
电子笔1C将由该9轴传感器103检测到的关于自身的动作的9轴的传感器输出通过无线通信部102而向平板装置2C发送。
平板装置2C具备与图7的变形例同样的无线通信部221,并且具备笔动作检测电路226。并且,在平板装置2C中,将利用无线通信部221从电子笔1C接收到的9轴的传感器输出向笔动作检测电路226供给。在笔动作检测电路226中,解析9轴的传感器输出来检测电子笔1C的动作,将该检测输出向手势检测电路208′供给。手势检测电路208′除了来自空间位置坐标修正电路206的空间位置坐标的变化之外,还参照来自笔动作检测电路226的电子笔1C的动作检测输出来检测由电子笔1C的操作者进行的手势。
平板装置2C的其他部分的结构与图2所示的结构是同样的。
根据该图9的例,具有“在平板装置2C中,能够细致地检测电子笔1C的操作者的手势,能够将比以往细致的动作的手势反映于描绘”这一效果。
此外,在以上的例中,平板装置2C在检测手势的情况下,使用从电子笔1C接收到的由9轴传感器103检测到的该电子笔1C的动作检测输出,但也可以在数字转换器203中检测由电子笔1C指示的位置的情况下使用。例如,由于能够根据笔动作检测输出来检测电子笔1C的倾斜,所以能够一边参照该倾斜的检测结果,一边检测电子笔1C的指示位置。另外,也能够将电子笔1C的倾斜反映于线画的粗细。
根据同样的想法,在平板装置2、平板装置2A~2C中,在数字转换器203中检测由电子笔1C指示的位置的情况下,也可以根据空间位置检测装置部204中的位置检测结果来检测电子笔1、电子笔1A、电子笔1B及电子笔1C的倾斜,一边参照该倾斜一边检测电子笔1C的指示位置。
此外,平板装置2C的笔动作检测电路226的动作检测输出也可以不是仅为了手势、电子笔的指示位置的检测而使用,而是使其自身独立地反映于描绘。另外,在平板装置中,不仅是描绘操作,当然也可以作为其他的输入操作来检测。
<变形例4>
在上述的实施方式中,考虑在数字转换器203的空间坐标系与空间位置检测装置部204的空间坐标系之间可能会在电子笔的位置检测结果产生误差,例如以避免在显示画面201D上产生指针的显示位置在切换两坐标系时跳动这样的变化的方式,将空间位置检测装置部204的空间坐标系的坐标输出变换为数字转换器203的空间坐标系的坐标输出。
但是,在不进行这样的修正而在切换两坐标系时指针位置不同时,通过以从切换前的空间坐标系的指针位置向切换后的空间坐标系的指针位置慢慢使位置变化的方式显示指针,能够使指针位置的切换时的变化不显眼。
即,例如如图10所示,在显示画面201D上在空间坐标系的切换前如实线的指针CS那样显示时,空间坐标系的切换后的指针位置如虚线的指针CS′的那样跳动的情况下,从实线的指针CS的位置向虚线的指针CS′的位置慢慢改变显示位置。为此,根据实线的指针CS的坐标位置信息Pa和虚线的指针CS′的坐标位置信息Pb来算出慢慢变化的指针的位置坐标Pc。
即,作为以下所示的数学式2而算出。
在(数学式2)中,k1及k2是加权系数。即,从指针的位置坐标Pc是实线的指针CS的坐标位置信息Pa的切换的时间点起,加权系数k1的值以从“1”慢慢变小的方式变化,另一方面,加权系数k2的值以从“0”慢慢变大的方式变化。
并且,直到指针CS的位置到达虚线的指针CS′的位置的时间点为止以慢慢变小而成为“0”的方式变化,加权系数k2的值以慢慢变大而成为“1”的方式变化。
由此,即使显示位置从指针CS如指针CS′这样变化,该变化也不显眼。
此外,k1及k2也可以是根据时间t而变化的变量k1(t)、k2(t)。在该情况下,可以是,从指针的位置坐标Pc是实线的指针CS的坐标位置信息Pa的切换的时间点起,加权系数k1(t)的值以从“1”慢慢变小的方式变化,另一方面,加权系数k2(t)的值以从“0”慢慢变大的方式变化。
<变形例5>
在以上的说明中,在电子笔的位置成为了从数字转换器203的输入面203S起的分离距离超过Lz的状态时,立即从数字转换器203对电子笔的指示位置的检测向空间位置检测装置部204对电子笔的空间位置检测切换。但是,根据情况,有时,即使操作者将电子笔从平板装置的数字转换器203的输入面203S移动到Lz以上的分离距离的位置,该状态也不是为了描绘中的手势输入。
因此,空间位置检测装置部204对电子笔的空间位置检测也可以不是在成为了从数字转换器203的输入面203S起的分离距离超过Lz的状态时立即开始,而是在进一步产生了规定的开始契机时开始。作为该情况下的规定的开始契机,例如作为一例而举出,在操作者操作了在电子笔以操作者能够操作的方式设置的侧开关时,将该侧开关的操作信息通过无线通信部102而向平板装置发送。
此外,不仅是将电子笔的位置(笔尖的位置)移动到从数字转换器的输入面离开的位置的情况,在从自数字转换器的输入面离开的空间位置以与数字转换器的输入面的距离成为Lz以内的方式移动的情况下,也可以同样地根据例如侧开关等的利用者的操作信息而从空间位置检测装置部的空间坐标系切换为数字转换器的空间坐标系。
另外,在电子笔搭载有9轴传感器的情况下,也可以利用9轴传感器检测作为规定的开始契机的动作而预先确定的电子笔的动作,将该检测结果通过无线通信部102而向平板装置发送。另外,也可以在平板装置的空间位置检测装置部204中检测基于电子笔的动作的手势,在检测到基于作为规定的开始契机的动作而预先确定的电子笔的动作的手势时,开始检测成为描绘处理的对象的手势的处理动作。
另外,也可以通过由电子笔具备的9轴传感器检测到的电子笔的动作来进行空间位置检测装置部的空间坐标系与数字转换器的空间坐标系的切换。
<其他变形例>
在上述的实施方式中,平板装置设为了具备显示部的结构,但显示部也可以构成为与平板装置相独立,通过无线或有线而将平板装置与显示部连接。在该情况下,平板装置的数字转换器203的输入面203S当然也可以不是显示部的显示画面的表面,而是数字转换器203的传感器部2031的上表面。另外,配置空间位置检测装置部204的构件不限于数字转换器203,也可以设置于与数字转换器203分体的显示部或其他构件。
另外,上述的实施方式的空间位置指示系统设为了以下结构:作为由平板装置和电子笔构成的系统的结构,平板装置具备数字转换器、空间位置检测装置部及描绘信息生成部的全部。但是,也可以将数字转换器203和空间位置检测装置部204以外的部分例如利用个人计算机构成,通过将仅具有数字转换器的功能的平板装置和空间位置检测装置部连接于个人计算机而设为空间位置指示系统的结构。
此外,在上述的实施方式中,为了修正2个空间坐标系中的误差,将数字转换器203的空间坐标系的坐标值变换为空间位置检测装置部204的坐标值,但也可以反过来将空间位置检测装置部204的坐标值变换为数字转换器203的检测区域DT的坐标值。
另外,在上述的例中,将平板装置2是平板模式的状态还是空间模式的状态通过当前模式显示220而显示于显示画面201D,向操作者报知。但是,当前模式显示220当然不限于如图6所示的栏显示。另外,也可以构成为将当前模式通过平板装置2所具备的扬声器以语音的方式说出。
[第二实施方式]
本发明的空间位置指示系统也可以将显示部设为头戴显示器的结构,将3D描绘空间设为虚拟现实(包括VR(Virtual Reality:虚拟现实)、MR(Mixed Reality:混合现实)、AR(Augmented Reality:增强现实)等。以下,简称作VR)的空间。图11是示出将VR的空间设为3D描绘空间的第二实施方式的空间位置指示系统的整体的结构的概要的图。
即,如图11所示,该第二实施方式的空间位置指示系统构成为具备电子笔10、数字转换器20、空间位置检测用单元30、空间描绘信息生成装置40及头戴显示器(以下,称作HMD)50。
电子笔10与第一实施方式的电子笔1同样,在该第二实施方式中,也将电磁感应方式的电子笔作为例而使用,但本实施方式不限定于此。数字转换器20具备与第一实施方式的平板装置2的壳体同样的薄型的长方体形状的壳体21,将其表面设为输入面21S。并且,数字转换器20具备与第一实施方式的数字转换器203同样的结构,具备传感器部22和位置检测电路23。并且,数字转换器20与第一实施方式的数字转换器203的位置检测区域DT(参照图3的位置检测区域DT)同样,具备不仅包括输入面21S的区域也包括该输入面21的上方的空间区域即悬浮区域的位置检测区域(以下,为了与第一实施方式的数字转换器203的位置检测区域DT区分而称作位置检测区域DT′(未图示))。在该数字转换器20中,在位置检测区域DT′中检测到的电子笔10的位置信息向空间描绘信息生成装置40供给。
空间位置检测用单元30设定检测电子笔10的操作者的动作的动作检测对象空间区域,构成为包括2个发光跟踪装置31A、31B和多个光位置通知部(以下,称作跟踪器)32A、32B、32C、32D。此外,在该第二实施方式中,如后所述,在HMD50中,在动作检测对象空间区域中描绘的3D描绘图像作为虚拟显示图像而显示。以下,将该第二实施方式中的动作检测对象空间区域记为动作检测对象空间区域MDv。
2个发光跟踪装置31A、31B具有同一结构,分别具备红外线激光的激光发光部、通过发出的红外线激光而对动作检测对象空间区域MDv内进行搜索的搜索单元及检测接受了红外线激光的跟踪器32A、32B、32C、32D的发光部的发光的光位置检测单元。
跟踪器32A、32B、32C、32D具备检测来自发光跟踪装置31A、31B的红外线激光的受光传感器和在利用受光传感器检测到红外线激光的受光时用于通知发光跟踪装置31A、31B的该情况的例如由LED(Light Emitting Diode:发光二极管)构成的发光部。在该例中,在跟踪器32A、32B、32C、32D以能够接受来自任何方向的激光的方式设置有多个受光传感器,并且也设置有用于检测动作、方向(朝向)的例如9轴传感器。跟踪器32A、32B、32C、32D安装于成为检测动作检测对象空间区域MDv内的位置的对象的物体。并且,受光传感器的受光输出、9轴传感器的输出从跟踪器32A、32B、32C、32D的各自通过有线或无线或者经由安装的物体而向空间描绘信息生成装置40供给。
发光跟踪装置31A、31B利用搜索单元来控制激光发光部,将红外线激光以为了检测跟踪器位置而对动作检测对象空间区域MDv内进行探索扫描的方式出射,进行搜索。跟踪器32A、32B、32C、32D的各自利用传感器来监视红外线激光的受光,在利用传感器检测到红外线激光的受光时,点亮由LED构成的发光部。发光跟踪装置31A、31B通过检测跟踪器32A、32B、32C、32D的发光部的发光来检测装配有该跟踪器32A、32B、32C、32D的物体在动作检测对象空间区域MDv内的位置。发光跟踪装置31A、31B构成为,在检测到跟踪器32A、32B、32C、32D的发光部的发光时,能够也检测该检测到的时间点的从发光的红外线激光的发光时刻起的经过时刻。
2个发光跟踪装置31A、31B相对于空间描绘信息生成装置40通过有线后无线而连接,对空间描绘信息生成装置40通知检测到的跟踪器的动作检测对象空间区域MDv中的空间位置信息。
装配跟踪器32A、32B、32C、32D的物体在该实施方式中除了电子笔10和数字转换器20之外,在该例中,如图11所示,被设为操作者佩戴的专用的手套用单元(手套单元)60,在各自安装有跟踪器。即,在该例中,为了能够通知数字转换器20的位置,在薄型的长方体形状的数字转换器20的壳体的左上角和右下角装配有跟踪器32A和跟踪器32B。另外,为了通知电子笔10的位置及电子笔10的动作,在电子笔10装配有跟踪器32C。而且,在手套单元60为了通知操作者的手的位置及手的动作而装配有跟踪器32D。
空间描绘信息生成装置40例如由个人计算机构成,通过用于空间描绘信息生成的程序执行处理。该空间描绘信息生成装置40在电子笔10的指示位置从数字转换器20的位置检测区域DT移动到空间位置检测单元30的动作检测对象空间区域MD时或从动作检测对象空间区域MD移动到位置检测区域DT时,进行以能够无缝地处理电子笔10的指示位置的坐标值的方式切换的处理。另外,伴随该切换,也可以进行电子笔10的指示位置的坐标值的变换处理。使用图12来说明该空间描绘信息生成装置40中的主要的处理功能的概要。
图12(A)是例示性地示出电子笔10的笔尖的位置从数字转换器20的位置检测区域DT的外侧的动作检测对象空间区域MD向数字转换器20的位置检测区域DT内移动的情况的图。空间位置检测单元30将电子笔10的笔尖的位置如空间位置检测单元30的3维坐标空间(Xv、Yv、Zv)中的位置坐标Av1、Av2、Av3、…、AvN这样检测,向空间描绘信息生成装置40供给。
并且,关于电子笔10的笔尖位置处于数字转换器20的位置检测区域DT内的位置Av2、Av3,在数字转换器20中,也如图12(B)所示,如数字转换器20的3维坐标空间(X、Y、Z)中的位置坐标At2、At3、…这样检测电子笔10的笔尖位置,向空间描绘信息生成装置40供给。
在空间描绘信息生成装置40中,如图12(C)所示,作为电子笔10的笔尖的位置信息Aout,在成为了数字转换器20的位置检测区域DT时,从由空间位置检测单元30检测到的位置信息切换为由数字转换器20检测到的位置信息切换并输出。
并且,在空间描绘信息生成装置40中,在该例中,由空间位置检测单元30检测到的电子笔10的笔尖的位置坐标Av1、AV2、Av3,···与上述的第一实施方式同样,设为以能够与数字转换器20共通地处理的方式变换后的坐标f(Av1)、f(AV2)、f(Av3)、…、f(AvN)(f表示从动作检测对象空间区域MD向位置检测区域DT的映射)。
在此,坐标的变换处理与前述同样,若Xv轴、Yv轴、Zv轴各自的方向与X轴、Y轴、Z轴各自的方向相同,则数字转换器20的位置检测区域DT的空间坐标系和动作检测空间区域MD的空间坐标系能够使用考虑了两空间坐标系的原点位置之差的偏置值。另外,在X轴、Y轴、Z轴各自的方向与Xv轴、Yv轴、Zv轴各自的方向不同的情况下,与上述的第一实施方式同样,例如,通过使用由数学式1表示的行列式等进行线性变换,能够进行坐标的变换。
在图12的情况下,作为电子笔10的笔尖移动时的空间描绘信息生成装置40中的电子笔10的笔尖的位置信息输出Aout,能够使用f(Av1)、f(AV2)、f(Av3)、…、f(AvN)。在位置坐标Av2、Av3中,使用由数字转换器20检测到的位置信息即可,分别成为At2、At3。
因此,电子笔10的笔尖的位置信息输出Aout如
Aout=f(Av1)、At2、At3、…这样表示。
因此,在空间描绘信息生成装置40中,在电子笔10的笔尖的移动轨迹跨能够利用数字转换器20来检测电子笔10的笔尖位置的位置检测区域DT内和能够仅利用空间位置检测单元30来检测笔尖位置的位置检测区域DT的外侧的区域的情况下,也能够无缝地处理电子笔10的笔尖位置。
图13示出将该第二实施方式中的由空间描绘信息生成装置40执行的处理功能作为功能框的结构而示出的结构例。此外,在图13中,各功能框为了方便而称作“电路”。
在空间描绘信息生成装置40中,来自数字转换器20的位置检测电路23的的电子笔10的指示位置的检测输出向选择电路401作为其一方的输入而供给。
并且,来自空间位置检测用单元30的2个发光跟踪装置31A及31B的各跟踪器32A~32D的空间位置信息向空间描绘信息生成装置40的空间位置检测电路402供给。另外,虽然图示省略,但如前所述,来自跟踪器32A、32B、32C、32D的各自的受光传感器的受光输出、9轴传感器的输出也向该空间位置检测电路402供给。空间位置检测电路402根据这些信息而也检测跟踪器32A、32B、32C、32D朝向哪个方向。由于在电子笔10上,跟踪器32C与笔尖位置以特定的方向关系及位置关系的状态安装,所以空间位置检测电路402根据检测到的跟踪器32C的位置和方向来检测电子笔10的笔尖位置。
空间位置检测电路402作为能够利用空间位置检测用单元30来检测跟踪器32A~32D的位置的空间区域,将3坐标轴(在该例中也为了方便而设为Xs、Ys、Zs)的空间区域设为动作检测对象空间区域MDv,根据来自2个发光跟踪装置31A及31B的各跟踪器32A~32D的空间位置信息来检测数字转换器20、电子笔10及手套单元60的3轴Xs、Ys、Zs的空间位置坐标。
因此,在该第二实施方式的空间位置指示系统中,在空间位置检测用单元30的动作检测对象空间区域MDv内包括数字转换器20的位置检测区域DT′的整体。在该实施方式中,数字转换器20在动作检测对象空间区域MDv内以位置固定的方式设置。也就是说,数字转换器20的位置检测区域DT′作为固定区域而包含于空间位置检测电路402中的动作检测对象空间区域MDv内。即,空间位置检测电路402的动作检测对象空间区域MDv包括数字转换器20的位置检测区域DT′作为共通区域。
若安装于数字转换器20的跟踪器32A及32B的安装位置正确,则数字转换器20的位置检测区域DT的坐标系(X、Y、Z)和空间位置检测电路402的动作检测空间区域MD′的坐标系(Xs、Ys、Zs)调整原点位置的偏置即可。
但是,在该实施方式中,考虑在数字转换器20的位置检测区域DT′的坐标系(X、Y、Z)与空间位置检测电路402的动作检测对象空间区域MDv的坐标系(Xs、Ys、Zs)之间可能会产生精度上的误差,空间位置检测电路402具备在第一实施方式中说明的空间位置坐标修正电路206的功能。并且,在该第二实施方式中,也设置存储与第一实施方式的修正信息存储器207同样地求出的图5所示的行列式的成分a11~a33的修正信息存储器403。
并且,空间位置检测电路402使用来自修正信息存储器403的行列式的成分a11~a33来进行(数学式1)的行列式的运算,将跟踪器32A~32D的空间位置坐标输出向手势检测电路404供给。
手势检测电路404基于来自空间位置检测电路402的坐标输出来检测电子笔10的动作(手势)、手套单元60的动作,将其检测输出作为选择电路401的另一方的输入信号而供给。
并且,在该第二实施方式中,与第一实施方式同样,数字转换器20的位置检测电路23将来自电子笔10的接收信号的信号电平的信息向空间描绘信息生成装置40的分离距离检测电路405供给。分离距离检测电路405根据来自电子笔10的接收信号的信号电平来检测电子笔10的笔尖从数字转换器20的输入面21S起的分离距离。并且,分离距离检测电路405将检测到的分离距离的信息向选择控制信号生成电路406供给。
选择控制信号生成电路406生成在电子笔10的笔尖从数字转换器20的输入面21S起的分离距离为前述的能够进行悬浮状态的检测的距离Lz以下时以选择数字转换器20的位置检测电路23的检测输出的方式控制选择电路401且在比距离Lz大时以选择手势检测电路404的检测输出的方式控制选择电路401的选择控制信号SE′,通过生成的切换控制信号SE′来控制选择电路401。另外,选择控制信号生成电路406将切换控制信号SE′向描绘信息生成电路407供给。
选择电路401根据选择控制信号SW′而选择一方的输入或另一方的输入的一方,并向描绘信息生成电路407供给。
描绘信息生成电路407在动作检测对象空间区域MDv内生成与电子笔10的操作者的用于描绘的对电子笔10的操作对应的描绘信息。在该第二实施方式中,作为电子笔10的操作者的用于描绘的对电子笔10的操作,包括使电子笔10位于数字转换器20的位置检测区域DT′内并利用该电子笔10来进行指示位置输入的操作和使电子笔1位于动作检测对象空间区域MDv内的数字转换器20的位置检测区域DT′外并移动电子笔1来进行用于描绘的手势的操作。
并且,在电子笔10位于数字转换器20的位置检测区域DT′内时,由分离距离检测电路405检测该情况,基于该检测输出,选择控制信号生成电路406生成以选择数字转换器20的位置检测电路23的检测输出的方式控制选择电路401的选择控制信号SE′。因此,通过选择电路401而来自数字转换器20的位置检测电路23的电子笔10的指示位置检测输出向描绘信息生成电路407供给。
描绘信息生成电路407将接收到的电子笔10的指示位置检测输出作为线画输入而进行描绘处理,进行精细的3D描绘图像的生成。
另外,在电子笔1位于动作检测对象空间区域MDv内的数字转换器20的位置检测区域DT′外时,由分离距离检测电路405检测该情况,基于该检测输出,切换信号生成电路406生成以选择手势检测电路404的检测输出的方式控制选择电路401的选择控制信号SE′。因此,通过选择电路401而基于来自手势检测电路404的电子笔10、手套单元60的动作检测输出的手势信息向描绘信息生成电路407供给。
描绘信息生成电路407进行基于接收到的手势信息的3D描绘处理。即,根据由手势检测电路404检测到的电子笔10的动作、操作者佩戴的手套单元60的动作来进行描绘处理。
在该情况下,描绘信息生成电路407根据选择电路401的选择控制信号SE′来判断是将电子笔10的指示位置检测输出作为线画输入进行描绘处理还是进行基于手势信息的描绘处理。
如以上这样由描绘信息生成电路407生成的描绘图像信息通过显示驱动电路408而向HMD50供给,例如在由LCD构成的显示图像上作为虚拟图像而显示。
因此,起到“操作者不会意识到数字转换器20中的位置检测与空间位置检测用单元30中的位置检测(动作检测)的切换,仅通过将电子笔10在空间上移动,就能够无缝地从精细描绘进行基于手势的描绘”这一显著的效果。
在该情况下,在该第二实施方式中,描绘信息生成电路407具备显示于HMD50的虚拟空间图像的产生部,在该虚拟空间图像上能够描绘电子笔10的操作者的描绘图像。并且,能够预先确定该虚拟空间图像中包含的虚拟物的动作检测对象空间区域MDv内的位置。并且,描绘信息生成电路407通过来自手势检测电路404的手势信息,在操作者对虚拟空间图像中包含的虚拟物进行了利用手套单元60触摸的操作时,能够检测该情况。并且,描绘信息生成电路407在操作者对虚拟空间图像中包含的虚拟物进行了利用手套单元60触摸的操作时,将该检测输出向触感产生信息发生部409输出。
触感产生信息发生部409在从描绘信息生成电路407接收到操作者对虚拟空间图像中包含的虚拟物的触摸操作的检测输出时,将产生触感的触感产生信息向手套单元60供给。手套单元60具备基于该触感产生信息而进行振动等的触感产生装置,驱动该触感产生装置来向操作者通知虚拟地触摸了虚拟物。
此外,在HMD50的显示画面上,以根据电子笔10从数字转换器20的输入面21S起的分离距离而显示是由数字转换器20检测电子笔10的指示位置的状态还是由空间位置检测用单元30检测电子笔10的空间位置的状态的方式,描绘信息生成电路407生成输出的描绘图像信息。因此,电子笔1的操作者能够确切地掌握在当前时间点下的电子笔10的空间位置下应该进行何种描绘操作。
此外,在该第二实施方式中,也能够应用上述的第一实施方式的变形例。变形例2在第二实施方式中,取代空间位置检测装置部204而使用空间位置检测用单元30及空间位置检测电路402,这是不言自明的。
[第二实施方式的变形例]
在上述的第二实施方式中,空间位置检测用单元30设为了具备发出红外线激光的发光跟踪装置和跟踪器的结构,但当然不限于该结构。例如,也可以设为使用了其他的非可见光传感器、可见光线传感器或它们的组合的结构。另外,空间位置检测用单元30也可以设为通过提高从数字转换器203放出的电磁波的频率来提高临界高度位置而检测电子笔1的空间位置的结构。即,空间位置检测用单元30通常以第一频率在数字转换器203的输入面及悬浮区域检测电子笔1的位置,切换为比第一频率高的第二频率来检测比第一频率下的第一临界高度位置高的第二临界高度位置下的电子笔1的空间位置即可。
另外,也可以设为以下结构:在电子笔设置蓄电池并且设置电波的收发单元,从外部对电子笔发送电波,通过接收来自该电子笔的电波来使用电子笔的空间位置。另外,也可以是使用磁共振的结构、使用电波的结构、使用超声波的结构等。另外,也可以利用1台或多台相机对检测空间位置的对象物(电子笔、平板)进行拍摄,使用该拍摄图像来检测对象物的空间位置。
此外,在上述的第二实施方式中,由于装配有HMD50,所以电子笔10的操作者无法直接观察数字转换器20。于是,也可以构成为,在显示于HMD50的虚拟空间图像上描绘数字转换器20的虚拟图像,在HMD50的显示画面中,操作者识别数字转换器20的位置。另外,当然也可以构成为将HMD设为应对AR(增强现实)的结构而能够直接观察数字转换器20。另外,虽然手套单元60和电子笔10分别独立构成,但也可以是手套单元60和电子笔10合体的结构。
另外,作为显示3维图像的单元,不限于HMD,也可以使用眼镜、3D显示器、隐形眼镜、AI(Aerial Imaging:航空影像)板以及全息图技术等。另外,也可以在数字转换器20设置例如LCD等显示器,在该显示器中进行3D显示。这些显示单元也可以与HMD一起使用,用于供HMD的佩戴者以外的人观察显示于HMD的描绘图像。
此外,关于坐标的变换,在第二实施方式中,将由空间位置检测单元30检测到的电子笔的笔尖的坐标值变换为数字转换器20中的坐标系的坐标值,但也可以反过来将由数字转换器20检测到的电子笔的笔尖的坐标值变换为空间位置检测单元30中的坐标系的坐标值。
另外,在上述的例中,基于数字转换器20的传感器部22与电子笔10之间的信号的接收电平来检测电子笔10的笔尖位置从数字转换器20的输入面起的分离距离,但检测电子笔10的笔尖位置与数字转换器20的输入面的分离距离的方法不限于此。
例如,在该第二实施方式中,在空间位置检测单元30中,能够检测电子笔的笔尖位置和数字转换器20的输入面的位置,因此也可以根据检测到的电子笔10的笔尖位置和数字转换器20的输入面的位置来检测电子笔10的笔尖位置与数字转换器20的输入面的分离距离,生成选择电路401的选择控制信号。
[其他实施方式或变形例]
此外,在上述的实施方式的说明中,在作为指示位置检测装置部的例子的数字转换器的位置检测区域DT或DT′的外侧的空间区域中,检测基于电子笔的动作的手势,但在所述外侧的空间区域中,不仅是电子笔的动作,也能够检测基于电子笔的笔尖的动作的电子笔的指示位置。
此外,在上述的实施方式中,当电子笔的位置从作为指示位置检测装置部的例的数字转换器的位置检测区域DT或DT′内移动到其外侧的空间区域时,描绘处理电路212、描绘信息生成电路407立即执行与基于动作检测空间区域MD或动作检测对象空间区域MDv中的动作检测的手势对应的描绘处理。但是,操作者不限于为了进行用于描绘的手势而将电子笔从数字转换器的位置检测区域DT或DT′内移动到其外侧的空间区域,有时仅为了描绘操作输入的休止而这样移动。
考虑这一点,也可以构成为,在电子笔的位置从作为指示位置检测装置部的例的数字转换器的位置检测区域DT或DT′内移动到其外侧的空间区域时,在检测到进一步的规定的契机事件时,描绘处理电路212、描绘信息生成电路407执行与基于动作检测空间区域MD或动作检测对象空间区域MDv中的动作检测的手势对应的描绘处理。
此外,在该情况下,选择电路205、选择电路401也可以在电子笔的位置从作为指示位置检测装置部的例的数字转换器的位置检测区域DT或DT′内移动到其外侧的空间区域时进行选择控制,还可以在检测到进一步的契机事件时进行选择控制。此外,当然,在电子笔的位置从作为指示位置检测装置部的例的数字转换器的位置检测区域DT或DT′的外侧的空间区域移动到该位置检测区域DT或DT′内时,立即进行数字转换器203、数字转换器20对电子笔1的位置检测。
即,例如构成为,仅在操作者使电子笔的位置从作为指示位置检测装置部的例的数字转换器的位置检测区域DT或DT′内移动到其外侧的空间区域,并且作为规定的契机事件而操作者进一步操作了搭载于电子笔的侧开关时,描绘处理电路212、描绘信息生成电路407执行与基于动作检测空间区域MD或动作检测对象空间区域MDv中的动作检测的手势对应的描绘处理。
作为规定的契机事件,不限于侧开关的操作。例如,也可以是电子笔的操作者的特定的手势。或者,还可以是操作者的语音指示。在将语音指示设为规定的契机事件的情况下,在第一实施方式中,在平板装置2设置传声器,另外,在第二实施方式中,在空间描绘信息生成装置设置传声器,对由该传声器收集到的语音进行语音识别来判定是否是操作者的特定的契机事件。或者,也可以构成为,在电子笔设置传声器,将收集到的语音信息通过电子笔搭载的无线通信部而送出,利用搭载于平板装置2、空间描绘信息生成装置的无线通信部来接收,进行语音识别。
在上述的第一实施方式及第二实施方式中,电子笔及数字转换器使用电磁感应方式,但不限于此,当然也可以使用静电方式(包括主动静电耦合方式、被动静电耦合方式)的电子笔和数字转换器。
另外,第一实施方式的平板装置2、第二实施方式的数字转换器也可以是被称作所谓智能手机的便携型便携电话终端,另外,还可以是带数字转换器的个人计算机。
此外,在以上的说明中,虽然对利用空间位置指示系统进行3D描绘的情况进行了说明,但设为本发明的对象的描绘图像也可以是2D描绘图像、2.5D描绘图像。
标号说明
1、1A、1C、10…电子笔,2…平板装置,20…数字转换器,30…空间位置检测用单元,40…空间描绘信息生成装置,50…头戴显示器,201…LCD,202…平板装置2的壳体,203…数字转换器,204…空间位置检测装置部,205、401…选择电路,206…空间位置坐标修正电路,207…修正信息存储器,208、404…手势检测电路,210、405…分离距离检测电路,211、406…选择控制信号生成电路,213…描绘处理电路,407…描绘信息生成电路。

Claims (12)

1.一种空间位置指示系统,其特征在于,具备:
指示位置检测装置部,检测用于接受电子笔的指示输入的输入面的上方的悬浮区域的所述电子笔的第一位置;
空间位置检测装置部,检测包括所述悬浮区域的至少一部分的空间区域中的所述电子笔的第二位置;及
变换部,与所述第一位置对应的第一坐标值是所述指示位置检测装置部的第一坐标系中的第一坐标值,与所述第二位置对应的第二坐标值是与所述第一坐标系不同的第二坐标系且虚拟现实空间的第二坐标系中的第二坐标值,所述变换部将所述指示位置检测装置部的所述第一坐标系中的所述第一坐标值变换为所述虚拟现实空间的第二坐标系中的坐标值。
2.根据权利要求1所述的空间位置指示系统,其特征在于,
还具备分离距离检测部,该分离距离检测部基于所述指示位置检测装置部从所述电子笔接收的信号电平来检测所述分离距离。
3.根据权利要求1所述的空间位置指示系统,其特征在于,
还具备分离距离检测部,该分离距离检测部基于所述空间位置检测装置部对所述电子笔的所述空间位置检测输出来检测所述分离距离。
4.根据权利要求1所述的空间位置指示系统,其特征在于,
还具备分离距离检测部,该分离距离检测部基于所述指示位置检测装置部从所述电子笔接收的信号电平及所述空间位置检测装置部对所述电子笔的所述空间位置检测输出来检测所述分离距离。
5.根据权利要求1~4中任一项所述的空间位置指示系统,其特征在于,
还具备描绘图像控制部,该描绘图像控制部基于来自所述指示位置检测装置部的所述电子笔的指示位置检测输出和来自所述空间位置检测装置的空间位置检测输出来控制显示于显示部的描绘图像。
6.根据权利要求5所述的空间位置指示系统,其特征在于,
所述描绘图像控制部将是选择了所述指示位置检测装置部还是选择了所述空间位置检测装置部在视觉上展示于所述显示部。
7.根据权利要求5所述的空间位置指示系统,其特征在于,
所述电子笔包括:
动作传感器,检测动作;及
发送单元,将由所述动作传感器检测到的所述电子笔的动作的信息向所述描绘图像控制部发送。
8.根据权利要求1~4中任一项所述的空间位置指示系统,其特征在于,
所述空间位置检测装置部经由装配于所述电子笔的空间位置检测用构件来检测所述第二位置。
9.根据权利要求1~4中任一项所述的空间位置指示系统,其特征在于,
所述空间位置检测装置部经由装配于所述指示位置检测装置部的空间位置检测用构件来检测所述第二位置。
10.根据权利要求5所述的空间位置指示系统,其特征在于,
所述显示部是头戴显示器。
11.根据权利要求10所述的空间位置指示系统,其特征在于,
所述描绘图像控制部将所述描绘图像作为虚拟现实图像而生成,在所述头戴显示器上显示所述虚拟现实图像。
12.根据权利要求1~4中任一项所述的空间位置指示系统,其特征在于,
所述空间位置指示系统具备选择部,该选择部根据所述电子笔从所述输入面起的分离距离来选择是使用所述第一位置还是使用所述第二位置作为所述指示输入,
所述选择部在进一步检测到契机事件时,对是使用所述第一位置还是使用所述第二位置作为所述指示输入进行选择控制。
CN201880051868.0A 2017-09-04 2018-03-08 空间位置指示系统 Active CN111033452B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-169679 2017-09-04
JP2017169679 2017-09-04
PCT/JP2018/008894 WO2019044003A1 (ja) 2017-09-04 2018-03-08 空間位置指示システム

Publications (2)

Publication Number Publication Date
CN111033452A CN111033452A (zh) 2020-04-17
CN111033452B true CN111033452B (zh) 2024-04-09

Family

ID=65527458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880051868.0A Active CN111033452B (zh) 2017-09-04 2018-03-08 空间位置指示系统

Country Status (5)

Country Link
US (1) US11630570B2 (zh)
EP (1) EP3680755A4 (zh)
JP (2) JP7441600B2 (zh)
CN (1) CN111033452B (zh)
WO (1) WO2019044003A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7386152B2 (ja) * 2018-03-05 2023-11-24 株式会社ワコム 入力システム及び入力方法
JP7320970B2 (ja) * 2019-03-28 2023-08-04 株式会社ジャパンディスプレイ 表示装置
JP7183975B2 (ja) * 2019-06-26 2022-12-06 株式会社デンソー 入力装置
WO2021117446A1 (ja) 2019-12-13 2021-06-17 アルプスアルパイン株式会社 入力装置
WO2021235193A1 (ja) * 2020-05-21 2021-11-25 ソニーグループ株式会社 情報処理システム、情報処理方法およびプログラム
KR20220074053A (ko) * 2020-11-27 2022-06-03 삼성전자주식회사 전자 장치 및 전자 장치에서 스타일러스 펜의 에어 포인터를 제어하기 위한 방법
CN116848494A (zh) * 2021-03-22 2023-10-03 株式会社和冠 控制器及追踪系统
WO2023210721A1 (ja) * 2022-04-29 2023-11-02 株式会社ワコム 指示器及び入力装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09305306A (ja) * 1996-03-12 1997-11-28 Toho Business Kanri Center:Kk 位置入力装置、位置入力処理装置およびその方法
JPH10333817A (ja) * 1997-03-31 1998-12-18 Wacom Co Ltd 電子ペンを用いたコンピュータシステム
JP2008129907A (ja) * 2006-11-22 2008-06-05 Konica Minolta Holdings Inc 情報処理システム
JP2012194915A (ja) * 2011-03-17 2012-10-11 Seiko Epson Corp 画像表示システム
JP2013003961A (ja) * 2011-06-20 2013-01-07 Konica Minolta Business Technologies Inc 空間手書きシステム及び電子ペン
CN104007814A (zh) * 2013-02-22 2014-08-27 三星电子株式会社 用于使用传感器识别接近运动的设备和方法
JP2014203425A (ja) * 2013-04-10 2014-10-27 パナソニック株式会社 電子ペンを備えた画像表示システム
EP2818985A1 (en) * 2013-06-28 2014-12-31 Nokia Corporation A hovering field
CN104423771A (zh) * 2013-08-19 2015-03-18 株式会社和冠 描绘装置
CN105912175A (zh) * 2015-02-20 2016-08-31 株式会社和冠 位置指示器、信号处理电路、信号供给控制方法及信号处理方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004280205A (ja) * 2003-03-13 2004-10-07 Minolta Co Ltd 入力装置
JP2010026565A (ja) * 2008-07-15 2010-02-04 Seiko Epson Corp 表示装置及びプログラム
KR20100041006A (ko) * 2008-10-13 2010-04-22 엘지전자 주식회사 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법
US8516397B2 (en) * 2008-10-27 2013-08-20 Verizon Patent And Licensing Inc. Proximity interface apparatuses, systems, and methods
DE102010007455A1 (de) * 2010-02-10 2011-08-11 Ident Technology AG, 82234 System und Verfahren zum berührungslosen Erfassen und Erkennen von Gesten in einem dreidimensionalen Raum
WO2012032515A1 (en) * 2010-09-07 2012-03-15 Zrro Technologies (2009) Ltd. Device and method for controlling the behavior of virtual objects on a display
US9323379B2 (en) 2011-12-09 2016-04-26 Microchip Technology Germany Gmbh Electronic device with a user interface that has more than two degrees of freedom, the user interface comprising a touch-sensitive surface and contact-free detection means
US9552068B2 (en) * 2012-08-27 2017-01-24 Microchip Technology Germany Gmbh Input device with hand posture control
JP6047822B2 (ja) * 2013-03-14 2016-12-21 シャープ株式会社 情報処理装置、情報処理方法及びプログラム
JP2014215649A (ja) * 2013-04-23 2014-11-17 アルプス電気株式会社 入力装置
JP2015032101A (ja) * 2013-08-01 2015-02-16 株式会社東芝 情報端末装置
US9367169B2 (en) 2014-03-31 2016-06-14 Stmicroelectronics Asia Pacific Pte Ltd Method, circuit, and system for hover and gesture detection with a touch screen
JP6525010B2 (ja) * 2014-08-05 2019-06-05 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
US9411440B2 (en) * 2014-08-22 2016-08-09 Qualcomm Incorporated Digital ultrasonic emitting base station
JP2016048153A (ja) * 2014-08-28 2016-04-07 直之 矢田 水素酸素供給装置
US10146331B2 (en) * 2014-11-28 2018-12-04 Ricoh Company, Ltd. Information processing system for transforming coordinates of a position designated by a pointer in a virtual image to world coordinates, information processing apparatus, and method of transforming coordinates
JP2016157226A (ja) * 2015-02-24 2016-09-01 コニカミノルタ株式会社 操作パネル及び操作パネルを備える画像形成装置
JP6416687B2 (ja) * 2015-04-17 2018-10-31 株式会社ジャパンディスプレイ 表示装置およびタッチ検出装置
WO2016185838A1 (ja) * 2015-05-15 2016-11-24 シャープ株式会社 タッチペン、タッチパネルシステムおよび電子機器

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09305306A (ja) * 1996-03-12 1997-11-28 Toho Business Kanri Center:Kk 位置入力装置、位置入力処理装置およびその方法
JPH10333817A (ja) * 1997-03-31 1998-12-18 Wacom Co Ltd 電子ペンを用いたコンピュータシステム
JP2008129907A (ja) * 2006-11-22 2008-06-05 Konica Minolta Holdings Inc 情報処理システム
JP2012194915A (ja) * 2011-03-17 2012-10-11 Seiko Epson Corp 画像表示システム
JP2013003961A (ja) * 2011-06-20 2013-01-07 Konica Minolta Business Technologies Inc 空間手書きシステム及び電子ペン
CN104007814A (zh) * 2013-02-22 2014-08-27 三星电子株式会社 用于使用传感器识别接近运动的设备和方法
JP2014203425A (ja) * 2013-04-10 2014-10-27 パナソニック株式会社 電子ペンを備えた画像表示システム
EP2818985A1 (en) * 2013-06-28 2014-12-31 Nokia Corporation A hovering field
CN104423771A (zh) * 2013-08-19 2015-03-18 株式会社和冠 描绘装置
CN105912175A (zh) * 2015-02-20 2016-08-31 株式会社和冠 位置指示器、信号处理电路、信号供给控制方法及信号处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
红外激光笔遥指虚拟触摸系统;刘政怡等;;计算机工程与设计(第05期);全文 *

Also Published As

Publication number Publication date
JP7441600B2 (ja) 2024-03-01
JP2019046458A (ja) 2019-03-22
EP3680755A4 (en) 2020-10-28
US11630570B2 (en) 2023-04-18
CN111033452A (zh) 2020-04-17
US20200201542A1 (en) 2020-06-25
WO2019044003A1 (ja) 2019-03-07
EP3680755A1 (en) 2020-07-15
JP2023053397A (ja) 2023-04-12

Similar Documents

Publication Publication Date Title
CN111033452B (zh) 空间位置指示系统
US11934592B2 (en) Three-dimensional position indicator and three-dimensional position detection system including grip part orthogonal to electronic pen casing
JP7386152B2 (ja) 入力システム及び入力方法
US10191281B2 (en) Head-mounted display for visually recognizing input
US20230205416A1 (en) Spatial position indication system
CN111344663B (zh) 渲染装置及渲染方法
CN108027987B (zh) 信息处理方法、信息处理装置及信息处理系统
JP2019164420A (ja) 透過型頭部装着型表示装置および透過型頭部装着型表示装置の制御方法、透過型頭部装着型表示装置の制御のためのコンピュータープログラム
JP2012088764A (ja) 入力装置、入力制御システム、情報処理方法及びプログラム
JP2018124721A (ja) 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
JP2018022426A (ja) 表示装置、頭部装着型表示装置、及び、表示装置の制御方法
US11620044B2 (en) Mobile terminal
JP2017134630A (ja) 表示装置、表示装置の制御方法、及び、プログラム
US20230143456A1 (en) Systems and methods for dynamic shape sketching
WO2023188659A1 (ja) 情報処理システム
US20220124239A1 (en) Operating method
US20230333394A1 (en) Systems Having Peripherals With Magnetic Field Tracking
KR102671211B1 (ko) 하우징의 입력에 대응하는 피드백을 제공하는 전자 장치
CN117897948A (zh) 便携信息终端以及目标显示方法
KR20170110442A (ko) 증강현실 기능을 구비한 제어용 컴퓨터 장치 및 그 제어방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant