CN116848494A - 控制器及追踪系统 - Google Patents

控制器及追踪系统 Download PDF

Info

Publication number
CN116848494A
CN116848494A CN202180090279.5A CN202180090279A CN116848494A CN 116848494 A CN116848494 A CN 116848494A CN 202180090279 A CN202180090279 A CN 202180090279A CN 116848494 A CN116848494 A CN 116848494A
Authority
CN
China
Prior art keywords
pen
controller
light emitting
cameras
disposed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180090279.5A
Other languages
English (en)
Inventor
宗像博史
长谷川润
井股风太
藤冈润吏
佐藤雄太
坂井清一
菊池亮一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wacom Co Ltd
Original Assignee
Wacom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wacom Co Ltd filed Critical Wacom Co Ltd
Publication of CN116848494A publication Critical patent/CN116848494A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/039—Accessories therefor, e.g. mouse pads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Position Input By Displaying (AREA)

Abstract

提供能够以高的精度检测位置及朝向的控制器。控制器具有形成为笔形状的笔部、与笔部的轴向交叉的握柄部及配置于握柄部的距所述笔部的轴向近的端部的表面的第一发光部。

Description

控制器及追踪系统
技术领域
本发明涉及控制器及追踪系统，尤其涉及在由VR(Virtual Reality：虚拟现实)、AR(Augmented Reality：增强现实)、MR(Mixed Reality：混合现实)、SR(SubstitutionalReality：代替现实)等XR技术构成的空间(以下称作“XR空间”)内使用的控制器和用于追踪这样的控制器的移动的追踪系统。
背景技术
在XR技术中，为了用户指示XR空间内的位置，使用手持型的控制器。控制器的追踪由包含相机和连接于相机的计算机的追踪系统执行。若用户在相机的可拍摄范围内移动控制器，则计算机基于由相机拍摄到的影像来检测控制器的位置及朝向，基于检测的结果来追踪控制器的移动。
在专利文献1中公开了作为手持型的控制器的一种的笔型的控制器的例子。
现有技术文献
专利文献
专利文献1：国际公开第2019/225170号说明书
发明内容
发明所要解决的课题
在专利文献1所公开的控制器的表面设置有多个发光二极管(Light EmittingDiode。以下称作“LED”)。追踪控制器的移动的计算机构成为通过从由相机拍摄到的影像中检测这些LED来检测控制器的位置及朝向。
然而，若LED被用户的手等遮挡，则难以以高的精度检测控制器的位置及朝向。
因此，本发明的目的之一在于提供能够以高的精度检测位置及朝向的笔型的控制器。
另外，在上述以往的追踪系统中，若在由相机拍摄到的影像中存在变形，则控制器的位置及朝向的检测精度会下降，因此使用了能够拍摄变形少的影像的相机。具体而言，使用了具有能够一次扫描图像传感器的各行的全局快门的相机。
然而，具有全局快门的相机一般来说昂贵，追踪系统整体的价格会变高。因此，需要在使用具有比全局快门廉价的卷帘快门的相机时也能够以高的精度检测控制器的位置及朝向的技术。
因此，本发明的目的之一在于提供在使用具有卷帘快门的相机时也能够以高的精度检测控制器的位置及朝向的追踪系统。
用于解决课题的手段
本发明的控制器具有：笔部，形成为笔形状；握柄部，与所述笔部的轴向交叉；及第一发光部，配置于所述握柄部的距所述笔部的轴向近的端部的表面。
本发明的追踪系统是用于追踪上述控制器的移动的追踪系统，其中，包含：1个以上的相机，分别具有卷帘快门，以使该卷帘快门的副扫描方向与垂直方向一致的方式配置；及计算机，基于由所述1个以上的相机拍摄到的影像来追踪所述控制器的移动。
发明效果
根据本发明的控制器，能够以高的精度检测控制器的位置及朝向。
根据本发明的追踪系统，能够使用卷帘快门来以高的精度检测控制器的位置及朝向。
附图说明
图1是示出本发明的实施方式的追踪系统1的使用状态的图。
图2是示出本发明的实施方式的笔型控制器的使用状态的图。
图3是从各种各样的角度观察时的控制器6的立体图。
图4是从各种各样的角度观察时的控制器6的立体图。
图5是示出控制器6的绕着笔轴的旋转的图。
图6是示出控制器6的绕着笔轴的旋转的图。
图7是示出捕捉了本发明的实施方式的控制器6的相机4b、4c的影像的图。
图8是关于相机4a～4c的配置进行说明的图。
图9的(a)是示出相机4a～4c分别内置的图像传感器40的图，(b)是说明卷帘快门的动作的图。
图10是示出为了以使卷帘快门的副扫描方向与垂直方向一致的方式配置相机4a～4c而采用的相机4a～4c的构造的图。
图11是示出本发明的实施方式的变形例的追踪系统1的使用状态的图。
图12是示出本发明的实施方式的变形例的控制器6的图。
具体实施方式
以下，一边参照附图，一边关于本发明的实施方式详细说明。
图1是示出本实施方式的追踪系统1的使用状态的图。如该图所示，追踪系统1构成为具有计算机2、位置检测装置3、3台相机4a～4c、头戴显示器5及笔型的控制器6。计算机2、位置检测装置3、相机4a～4c、头戴显示器5、控制器6分别构成为能够通过有线或无线而通信。
如图1所示，用户以坐在办公椅101上、在头部佩戴头戴显示器5、将控制器6拿在右手的状态使用追踪系统1。在头戴显示器5的显示面显示有由计算机2渲染的XR空间，用户一边观看该XR空间一边在办公桌100的上方操作控制器6。控制器6是具有在笔上带有握柄的形状的笔型的设备，进行显示于XR空间内的3D对象的控制(具体而言，3D对象的描绘、3D对象的移动等)。而且，控制器6为了使用位置检测装置3进行2D输入而使用。
在图1的例子中，计算机2由配置于办公桌100的中央的笔记本型的个人计算机构成。不过，未必需要将计算机2配置于办公桌100中央，配置于能够与位置检测装置3、相机4a～4c、头戴显示器5及控制器6通信的位置即可。另外，计算机2除了笔记本型的个人计算机之外，也能够由台式的个人计算机、平板型的个人计算机、智能手机、服务器计算机等各种各样的类型的计算机构成。
计算机2起到以下的作用：基于由相机4a～4c拍摄到的影像来周期性地检测头戴显示器5、控制器6及位置检测装置3各自的位置及倾斜，从而追踪它们的移动。计算机2进行以下的处理：基于追踪的各装置的移动和设置于控制器6的后述的各操作按钮及拨盘按钮的操作状态来生成XR空间及在该XR空间中显示的3D对象，对生成的XR空间及3D对象进行渲染，并向头戴显示器5发送。头戴显示器5起到通过显示从计算机2发送来的渲染图像而显示包含1个以上的3D对象的XR空间的作用。
在图1的例子中，位置检测装置3由配置于办公桌100的上表面中的从用户观察时相当于计算机2的近前侧的位置的平板构成。不过，未必需要将位置检测装置3配置于该位置，配置于坐在办公椅101上的用户的手能够到的范围即可。另外，也可以将位置检测装置3及计算机2利用例如平板终端等一体的装置构成。
位置检测装置3具有周期性地检测触摸面上的控制器6的笔尖的位置并将检测到的位置逐次向计算机2发送的功能。计算机2基于发送来的位置来进行构成2D对象或3D对象的笔划数据的生成及渲染。位置检测装置3的位置检测的具体的方式不特别限定，但例如适合使用主动静电方式或静电感应方式。
相机4a～4c分别是用于拍摄静止图像或动态图像的摄像装置，构成为将通过拍摄而得到的影像逐次向计算机2供给。相机4a以能够拍摄办公桌100的上表面的朝向配置于隔着办公桌100而与用户相对的位置，相机4b以能够拍摄办公桌100的上表面的朝向配置于用户的左侧上方，相机4c以能够拍摄办公桌100的上表面的朝向配置于用户的右侧上方。相机4a～4c分别是具有卷帘快门的相机，为了将影像内的控制器6的变形最小化，以使卷帘快门的副扫描方向与垂直方向一致的方式配置。关于这一点的详情后述。
图2是示出用户将控制器6用右手把持的状态的图。另外，图3(a)、图3(b)、图4(a)、图4(c)是从各种各样的角度观察时的控制器6的立体图。如这些图所示，控制器6构成为具有形成为笔形状的笔部6p和以使长度方向与笔部6p的轴向交叉的方式固定于笔部6p的握柄部6g。以下，将笔部6p的轴向称作x方向，将由x方向和握柄部6g的长度方向构成的平面内的与x方向正交的方向称作z方向，将与x方向及z方向分别正交的方向称作y方向。
如图3(a)所示，在笔部6p的表面设置有压力板6pa、6pb和移位按钮6pc、6pd。压力板6pa、6pb分别是包含压力传感器及触摸传感器的构件，相对于xz平面对称地配置于笔部6p的侧面中的笔尖附近的位置。由压力传感器检测到的压力为了应用上的选择或描绘而使用。另一方面，表示由触摸传感器检测到的触摸的有无的信息为了实现压力传感器输出的ON/OFF判定及轻的双击而使用。移位按钮6pc、6pd分别是对应用的菜单分配的开关，相对于xz平面对称地配置于压力板6pa、6pb与握柄部6g之间的位置。如从图2所理解的那样，用右手把持着控制器6的用户利用拇指来进行压力板6pa及移位按钮6pc的操作，利用食指来进行压力板6pb及移位按钮6pd的操作。
如图3的(a)、(b)及图4的(a)、(b)所示，在握柄部6g的表面设置有顶部触动按钮6ga、抓取按钮6gb、触动按钮6gc、6gd、拨盘按钮6ge及凹部6gf。顶部触动按钮6ga是通过长按而作为电源按钮发挥功能的开关，配置于握柄部6g的长度方向的两端部中的距笔部6p近的一方的端部的表面。以下，将该端部称作“上侧端部”，将握柄部6g的长度方向的两端部中的距笔部6p远的一方的端部称作“下侧端部”。拨盘按钮6ge是构成为能够旋转的环状的构件，构成为输出旋转量。该旋转量例如为了使选择中的对象旋转而使用。拨盘按钮6ge也以包围顶部触动按钮6ga的方式配置于握柄部6g的上侧端部。
抓取按钮6ga是为了将对象抓着移动而使用的开关，配置于握柄部6g的笔尖侧侧面中的下侧端部附近的位置。另外，触动按钮6gc、6gd分别是为了鼠标的右键那样的按钮辅助而使用的开关，配置于握柄部6g的笔尖侧侧面中的在z方向上观察时成为笔部6p的附近的位置。触动按钮6gc配置于将控制器6用右手把持的情况下的拇指侧，触动按钮6gd配置于将控制器6用右手把持的情况下的食指侧。
如从图2所理解的那样，用右手把持着控制器6的用户利用中指来进行抓取按钮6ga的按下操作。另外，利用拇指来进行触动按钮6gc的按下操作，利用食指来进行触动按钮6gd的按下操作。拨盘按钮6ge的旋转操作及顶部触动按钮6ga的按下操作由用户的拇指执行。不过，顶部触动按钮6ga及拨盘按钮6ge处于用户若不将拇指有意地抬起至握柄部6g的上侧端部则无法操作的位置，因此，在通常状态下，不被用户的手遮挡而露出。
如图2所示，凹部6gf是构成为在用户把持了控制器6的情况下从食指的根部到拇指的根部的部分正好嵌合的部分。通过在控制器6设置该凹部6gf，使用控制器6的用户的疲劳被减轻。
在此，在笔部6p及握柄部6g的表面配置有1个以上的LED。在本实施方式中，各LED由所谓的点光源LED构成。计算机2构成为通过从由相机4a～4c拍摄到的影像中检测这些LED来检测控制器6的位置及朝向。
若关于LED的配置具体地说明，则1个以上的LED在图3(b)所示的控制器6的3个部分PT1～PT3分别配置1个以上。部分PT1是笔部6p中的从握柄部6g观察时位于笔尖侧的部分，部分PT2是笔部6p中的从握柄部6g观察时位于笔后侧的部分，部分PT3是握柄部6g。在图示的例子中，在部分PT1配置2个LED10a-1、10a-2，在部分PT2配置4个LED10b-1～10b-4，在部分PT3配置1个LED10c。
与部分PT1对应的2个LED10a-1、10a-2在比笔尖稍靠握柄部6g的位置排列配置于在x方向上观察时相同的位置。另外，与部分PT2对应的4个LED10b-1～10b-4中的LED10b-4配置于笔的末端。另一方面，其他的3个LED10b-1～10b-3从握柄部6g到笔的末端呈锯齿形地配置。即，LED10b-1及LED10b-3设置于部分PT2的靠近右侧面的位置，LED10b-2设置于部分PT2的靠近左侧面的位置。
与部分PT3对应的LED10c配置于握柄部6g的上侧端部的表面(更具体而言，顶部触动按钮6ga的表面)。如上所述，在用户未操作顶部触动按钮6ga的状态下，顶部触动按钮6ga不被用户的手遮挡而露出。因此，通过在该顶部触动按钮6ga的表面设置LED10c，计算机2能够以高的概率始终检测控制器6，因此，能够以高的精度检测控制器6的位置及朝向。另外，通过在握柄部6g的下部不配置LED，影像内的LED的图案被简化，由计算机2进行的形状识别变得容易。
另外，通过在握柄部6g的上侧端部的表面设置LED10c，也可得到能够高精度地捕捉控制器6的绕着笔轴的旋转这一效果。以下，关于这一点，参照图5及图6来详细说明。
图5及图6是示出控制器6的绕着笔轴的旋转的图。图5的(a)、(c)、图6的(a)、(c)分别是从笔尖侧观察时的控制器6的立体图，以图5(a)、图5(c)、图6(a)、图6(c)的顺序示出了以笔轴(x方向)为中心使控制器6旋转的状态。图5的(b)、(d)及图6的(b)、(d)是从左侧面观察时的控制器6的立体图，分别对应于图5的(a)、(c)及图的6(a)、(c)。
在控制器6处于图5的(a)、(b)的状态时，在来自处于控制器6的左侧的相机4b的影像中，处于笔部6p的部分PT2的LED10b-2出现而处于顶部触动按钮6ga的表面的LED10c不出现，但随着控制器6以笔轴为中心进行旋转，LED10c也出现。并且，出现于影像内的LED10c与LED10b-2之间的z方向的距离Lz随着控制器6如图5的(c)、(d)、图6的(a)、(b)、图6的(c)、(d)那样旋转而逐渐变短。另一方面，LED10c与LED10b-2之间的x方向的距离Lx不变。因此，计算机2能够基于Lz、Lx及与其他的LED的距离、角度等信息来导出控制器6的绕着笔轴的旋转角度。
返回图3。本实施方式的控制器6在笔尖侧的部分PT1具有LED10a-1、10a-2。由此，与在部分PT1不设置LED的情况相比，能够使由计算机2导出的坐标的重心向笔尖侧接近。因此，从这一点也可以说：若使用本实施方式的控制器6，则能够以高的精度检测控制器6的位置及朝向。
另外，设置于部分PT1的LED10a-1和LED10a-2相对于包含笔部6p的轴向及握柄部6g的长度方向的xz平面非对称地设置。同样，设置于部分PT2的LED10b-1、10b-2，10b-3也相对于包含笔部6p的轴向及握柄部6g的长度方向的xz平面非对称地设置。即，如前所述，3个LED10b1、10b-2、10b-3从握柄部6g到笔的末端呈锯齿形地配置。通过这样做，计算机2能够判别控制器6的左右。
图7是示出捕捉了本实施方式的控制器6的相机4b、4c的影像的图。影像内的各亮点对应于设置于控制器6的表面的LED。如该图所示，若使用本实施方式的控制器6，则在从左侧拍摄控制器6的相机4b的影像和从右侧拍摄控制器6的相机4c的影像中，在LED的配置上产生明显的不同。因此。计算机2能够根据相机4b、4c的影像来判别控制器6的左右。
另外，如观察图3(a)所理解的那样，尤其在控制器6的右侧集中地配置LED。控制器6经常被拿在右手中使用，在该情况下，控制器6的左侧容易成为从相机4a～4c的死角，因此，通过这样做，在将控制器6拿在右手中使用的情况下，能够使得LED容易在相机4a～4c拍摄到的影像内出现。
接着，关于相机4a～4c的优选的配置进行说明。图8的(a)～(c)是关于相机4a～4c的配置进行说明的图。图8的(a)、(c)所示的办公桌100及办公椅101与图1所示的结构相同，用户以朝向办公桌100上的计算机2而坐在办公椅101上的状态使用追踪系统1。图8(b)为与图8(a)的A-A线对应的相机4b、4c的剖视图。以下，将从相机4b去往相机4c的方向称作X方向，将从用户去往相机4a的方向称作Y方向，将垂直方向称作Z方向。
图示的位置P1是图1所示的头戴显示器5的位置，2个位置P2是用户的两肩的位置。相机4a～4c以能够拍到从这些位置朝向计算机2侧展开的大致扇形的区域E中的位于办公桌100上的部分的整体的方式配置。具体而言，基于由图8(a)所示的长度D1～D4及角度θ1以及图8(c)所示的长度D6～D11及角度θ2、θ3等定义的区域E的尺寸、形状及位置、由图8(a)所示的长度D5定义的从区域E的后端到办公桌100的前端为止的距离、由图8(c)所示的长度D12定义的办公桌100的高度，求出从区域E到相机4b、4c的各自为止的X方向的距离X1、从区域E的后端到相机4b、4c的各自为止的Y方向的距离Y1、从区域E的后端到相机4a为止的Y方向的距离Y2、从地板面到相机4b、4c为止的距离Z1、从地板面到相机4a为止的距离Z2、相机4c、4b各自的拍摄方向在XY平面内与X方向所成的角相机4c、4b各自的拍摄方向在XZ平面内与X方向所成的角/>从而决定相机4a～4c的配置。通过这样决定相机4a～4c的配置，计算机2能够基于由相机4a～4c拍摄到的影像而合适地检测头戴显示器5、控制器6及位置检测装置3各自的位置及倾斜。
接着，关于为了以使卷帘快门的副扫描方向与垂直方向一致的方式配置相机4a～4c而采用的相机4a～4c的构造进行说明。以下，首先参照图9来关于卷帘快门进行说明，之后，参照图10及图11来关于本实施方式的相机4a～4c的构造具体地说明。
图9(a)是示出在相机4a～4c分别内置的图像传感器40的图。该图所示的一个个的四边形表示像素，如该图所示，图像传感器40由多个像素配置成矩阵状而成的像素矩阵构成。以下，将该像素矩阵的行数设为N。另外，将像素矩阵的行方向称作“主扫描方向”，将列方向称作“副扫描方向”。
图9(b)是说明卷帘快门的动作的图。该图的横轴表示时间，纵轴表示像素矩阵的主扫描方向。另外，该图所示的横长的长方形表示将1个行内包含的多个像素沿着副扫描方向扫描的时间。
如图9(b)所示，具有卷帘快门的相机4a～4c构成为一边在主扫描方向上移动行一边进行将各行内的多个像素沿着副扫描方向扫描(曝光并读取)的处理。作为这样的相机4a～4c的动作的结果，第n(n＝2～N)行的扫描开始与第n-1行的扫描开始相比延迟时间tRow。另外，第N行的扫描开始与第1行的扫描开始相比延迟时间tTotal＝tRow×(N-1)。
由于这样产生延迟，所以在具有卷帘快门的相机4a～4c中，在物体的主扫描方向的一端与另一端之间在拍摄定时产生时间差，作为其结果，若该物体在副扫描方向上快速地移动，则会在影像产生变形。因此，在本实施方式中，在相机4a～4c的构造上下功夫，以使得能够以使卷帘快门的副扫描方向与垂直方向一致的方式设置相机4a～4c。用户通常将控制器6在水平方向上频繁地移动而在垂直方向上不怎么移动，因此，通过这样做，能够将影像内的控制器6的变形最小化。
图10是示出为了以使卷帘快门的副扫描方向与垂直方向一致的方式配置相机4a～4c而采用的相机4a～4c的构造的图。如该图所示，相机4a～4c分别具有快门41及三脚架固定用的螺纹孔42，通过该螺纹孔42而向朝上地设置有相机安装螺钉的三脚架50固定。并且，螺纹孔42以使轴向与快门41的副扫描方向平行的方式设置于相机4a～4c。通过这样做，在三脚架50安装了相机4a～4c的情况下，能够以使卷帘快门的副扫描方向与垂直方向一致的方式配置相机4a～4c。因此，能够将影像内的控制器6的变形最小化。
如以上说明的那样，根据本实施方式的笔型的控制器6，由于在握柄部6g的上侧端部这一被用户的手遮挡的情况少的部分设置有LED10c，所以能够利用计算机2以高的精度检测笔型的控制器6的位置及朝向。
另外，根据本实施方式的追踪系统1，在使用具有卷帘快门作为快门41的相机4a～4c时能够将影像内的控制器6的变形最小化，因此能够以高的精度检测控制器6的位置及朝向。
以上，关于本发明的优选的实施方式进行了说明，但本发明丝毫不限定于这样的实施方式，本发明当然能够在不脱离其主旨的范围内以各种方案来实施。
例如，在上述实施方式中，说明在控制器6设置7个LED(2个LED10a-1、10a-2、4个LED10b-1～10b-4及1个LED10c)的例子，但该7个这一数量是一例，当然也可以配置其他个数的LED。不过，若在控制器6的表面配置大量的LED，则在由相机4a～4c拍摄到的影像中产生LED的重叠，各个LED的判别变得困难，因此LED的数量过多也不合适。在本实施方式中采用的7个这一LED的数量为考虑这一点而优化后的数量。
另外，在上述实施方式中，说明了使用3台相机4a～4c的例子，但也可以使用4台以上的相机。
图11是示出本实施方式的变形例的追踪系统1的使用状态的图。本变形例的追踪系统1除了具有4台相机4a～4d之外，与本实施方式的追踪系统1是同样的。相机4a～4d以能够从办公桌100的4个角的上方拍摄办公桌100上的方式配置。通过这样做，计算机2能够基于由相机4a～4c拍摄到的影像来合适地检测头戴显示器5、控制器6及位置检测装置3各自的位置及倾斜。相机4a～4d各自的具体的位置与本实施方式同样，以能够拍到图8的(a)、(c)所示的区域E中的位于办公桌100上的部分的整体的方式决定即可。
另外，在上述实施方式中，将配置于控制器6的表面的各LED利用所谓的点光源来构成，但关于至少一部分的LED，也可以使用发光面积比所谓的点光源大的LED。
图12的(a)、(b)是示出本实施方式的变形例的控制器6的图。在本变形例中，将设置于握柄部6g的上侧端部的表面的LED10c和设置于笔的末端的LED10b-4利用发光面积比所谓的点光源大的LED来构成。另外，在本变形例中，通过沿着设置部位的形状而配置LED10c及LED10b-4，将它们构成为半球状。通过这样做，计算机2能够根据在相机4a～4c的影像内出现的圆来求出半球的中心及半径，能够仅根据LED10c及LED10b-4各自的影像来取得坐标。因此，能够以进一步高的精度检测控制器6的位置及朝向。
附图标记说明
1 追踪系统
2 计算机
3 位置检测装置
4a～4d相机
5 头戴显示器
6 控制器
6g 握柄部
6ga顶部触动按钮
6gb抓取按钮
6gc、6gd触动按钮
6ge拨盘按钮
6gf凹部
6p笔部
6pa、6pb压力板
6pc、6pd移位按钮
10a-1、10a-2、10b-1～10b-4、10c LED
40 图像传感器
41 快门
42 螺纹孔
50 三脚架
100办公桌
101办公椅
PT1～PT3控制器6的部分。

Claims (11)

1.一种控制器，具有：
笔部，形成为笔形状；
握柄部，与所述笔部的轴向交叉；及
第一发光部，配置于所述握柄部的距所述笔部的轴向近的端部。
2.根据权利要求1所述的控制器，
具有设置于所述握柄部的距所述笔部的轴向近的端部的第一操作部，
所述第一发光部配置于所述第一操作部。
3.根据权利要求2所述的控制器，
具有以包围所述第一操作部的方式设置的第二操作部。
4.根据权利要求1所述的控制器，
具有配置于所述笔部的1个以上的第二发光部。
5.根据权利要求4所述的控制器，
所述1个以上的第二发光部包含配置于笔尖侧的所述笔部的1个以上的第三发光部和配置于与所述笔尖侧相对的笔后侧的所述笔部的1个以上的第四发光部。
6.根据权利要求5所述的控制器，
所述1个以上的第三发光部相对于包含所述笔部的轴向及所述握柄部的长度方向的平面非对称地设置。
7.根据权利要求5或6所述的控制器，
所述1个以上的第四发光部相对于包含所述笔部的轴向及所述握柄部的长度方向的平面非对称地设置。
8.根据权利要求6所述的控制器，
所述笔部具有第一侧面及第二侧面，
所述1个以上的第三发光部设置于所述第一侧面及所述第二侧面，设置于所述第一侧面的所述第三发光部的个数与设置于所述第二侧面的所述第三发光部的个数相同。
9.根据权利要求7所述的控制器，
所述笔部具有第一侧面及第二侧面，
所述1个以上的第四发光部设置于所述第一侧面及所述第二侧面，设置于所述第一侧面的发光部的个数与设置于所述第二侧面的发光部的个数不同。
10.一种追踪系统，是用于追踪权利要求1～9中任一项所述的控制器的移动的追踪系统，其中，包含：
1个以上的相机，具有卷帘快门，以使该卷帘快门的副扫描方向与垂直方向一致的方式配置；及
计算机，基于由所述1个以上的相机拍摄到的影像来追踪所述控制器的移动。
11.根据权利要求10所述的追踪系统，
所述1个以上的相机以固定于朝上地设置有相机安装螺钉的三脚架的状态使用，
所述1个以上的相机具有以使轴向与所述卷帘快门的副扫描方向平行的方式设置的三脚架固定用的螺纹孔。
CN202180090279.5A 2021-03-22 2021-12-22 控制器及追踪系统 Pending CN116848494A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-047265 2021-03-22
JP2021047265 2021-03-22
PCT/JP2021/047473 WO2022201693A1 (ja) 2021-03-22 2021-12-22 コントローラ及びトラッキングシステム

Publications (1)

Publication Number Publication Date
CN116848494A true CN116848494A (zh) 2023-10-03

Family

ID=83396735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180090279.5A Pending CN116848494A (zh) 2021-03-22 2021-12-22 控制器及追踪系统

Country Status (6)

Country Link
US (1) US20240012492A1 (zh)
EP (1) EP4318185A1 (zh)
JP (1) JPWO2022201693A1 (zh)
CN (1) CN116848494A (zh)
TW (1) TW202240354A (zh)
WO (1) WO2022201693A1 (zh)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3937533B2 (ja) * 1997-11-07 2007-06-27 セイコーエプソン株式会社 遠隔座標入力装置および遠隔座標入力方法
US7268774B2 (en) * 1998-08-18 2007-09-11 Candledragon, Inc. Tracking motion of a writing instrument
US7623652B2 (en) * 2003-09-04 2009-11-24 Panasonic Corporation Electronic device, input device, and portable electronic device using the same
WO2015031456A1 (en) * 2013-08-29 2015-03-05 Interphase Corporation Rolling shutter synchronization of a pointing device in an interactive display system
JP2017010314A (ja) * 2015-06-23 2017-01-12 株式会社リコー 画像投影システム、画像投影装置、ポインティングデバイス、および映像供給装置
JP5980404B1 (ja) * 2015-11-26 2016-08-31 株式会社コロプラ 仮想空間内オブジェクトへの動作指示方法、及びプログラム
WO2019044003A1 (ja) * 2017-09-04 2019-03-07 株式会社ワコム 空間位置指示システム
EP3770732B1 (en) * 2018-03-23 2023-06-14 Wacom Co., Ltd. Three-dimensional pointing device and three-dimensional position detection system
JP7401427B2 (ja) 2018-05-21 2023-12-19 株式会社ワコム 位置指示デバイス及び空間位置指示システム
JP7258482B2 (ja) * 2018-07-05 2023-04-17 キヤノン株式会社 電子機器
US10719143B2 (en) * 2018-08-03 2020-07-21 Logitech Europe S.A. Input device for use in an augmented/virtual reality environment
US11886650B2 (en) * 2019-04-19 2024-01-30 Apple Inc. Stylus-based input system for a head-mounted device

Also Published As

Publication number Publication date
EP4318185A1 (en) 2024-02-07
WO2022201693A1 (ja) 2022-09-29
JPWO2022201693A1 (zh) 2022-09-29
TW202240354A (zh) 2022-10-16
US20240012492A1 (en) 2024-01-11

Similar Documents

Publication Publication Date Title
US20050275618A1 (en) Pointing device
TWI393037B (zh) 光學觸控顯示裝置及其操作方法
US9494415B2 (en) Object position determination
US8269750B2 (en) Optical position input system and method
US20140085245A1 (en) Display integrated camera array
US20150089453A1 (en) Systems and Methods for Interacting with a Projected User Interface
WO2005124528A2 (en) Optical joystick for hand-held communication device
CN1474260A (zh) 采用具有任选双模能力的图像传感器的无源光鼠标
TW201214243A (en) Optical touch system and object detection method therefor
JPH08240407A (ja) 位置検出入力装置
TW201626174A (zh) 具高追蹤速度的光學導航裝置
US20110254813A1 (en) Pointing device, graphic interface and process implementing the said device
US20110193969A1 (en) Object-detecting system and method by use of non-coincident fields of light
JP2010055576A (ja) 画像処理装置、画像処理プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理方法
US9489077B2 (en) Optical touch panel system, optical sensing module, and operation method thereof
CN116848494A (zh) 控制器及追踪系统
Colaço Sensor design and interaction techniques for gestural input to smart glasses and mobile devices
JP2018018308A (ja) 情報処理装置、及びその制御方法ならびにコンピュータプログラム
TWI471757B (zh) 懸浮及點擊手勢偵測裝置
US20090079691A1 (en) Cursor positioning method by a handheld camera
TWI493382B (zh) 懸浮及點擊手勢偵測裝置
US20220236807A1 (en) Method and apparatus for a three dimensional interface
EP2042970A1 (en) Cursor positioning method by a handheld camera
KR102136739B1 (ko) 디스플레이 유닛 상의 입력 위치를 검출하는 방법 및 장치
US20130162592A1 (en) Handwriting Systems and Operation Methods Thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination