CN117120867A - 便携信息终端及其显示方法 - Google Patents
便携信息终端及其显示方法 Download PDFInfo
- Publication number
- CN117120867A CN117120867A CN202180096508.4A CN202180096508A CN117120867A CN 117120867 A CN117120867 A CN 117120867A CN 202180096508 A CN202180096508 A CN 202180096508A CN 117120867 A CN117120867 A CN 117120867A
- Authority
- CN
- China
- Prior art keywords
- portable information
- wave source
- information terminal
- radio wave
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012545 processing Methods 0.000 description 26
- 238000004891 communication Methods 0.000 description 20
- 238000005259 measurement Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 102220534543 Pseudouridylate synthase 7 homolog-like protein_S35A_mutation Human genes 0.000 description 3
- 102220638056 E3 ubiquitin-protein ligase RFWD3_S24A_mutation Human genes 0.000 description 2
- 102220476563 NF-kappa-B inhibitor alpha_S32A_mutation Human genes 0.000 description 2
- 102220471545 Single-stranded DNA cytosine deaminase_S26A_mutation Human genes 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 102200044883 rs121913228 Human genes 0.000 description 2
- 102220070930 rs794728599 Human genes 0.000 description 2
- 102220560826 Aldehyde dehydrogenase family 16 member A1_S25A_mutation Human genes 0.000 description 1
- 102220560888 Aldehyde dehydrogenase family 16 member A1_S34A_mutation Human genes 0.000 description 1
- 102220560887 Aldehyde dehydrogenase family 16 member A1_S36A_mutation Human genes 0.000 description 1
- 102220560886 Aldehyde dehydrogenase family 16 member A1_S38A_mutation Human genes 0.000 description 1
- 102220534405 Pseudouridylate synthase 7 homolog-like protein_S31A_mutation Human genes 0.000 description 1
- 102220474389 Retinoic acid receptor RXR-alpha_S27A_mutation Human genes 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000543 intermediate Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 102220198146 rs1057519886 Human genes 0.000 description 1
- 102220247850 rs1421233354 Human genes 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
- G01S5/04—Position of source determined by a plurality of spaced direction-finders
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Navigation (AREA)
Abstract
目的在于提供一种便携信息终端及其显示方法，在搜索电波源的情况下向用户易于理解地提示推测的电波源位置。为此，便携信息终端具备接收电波源的无线信号的无线接收设备、测定本终端的移动量和旋转量的传感器、显示设备以及控制装置，控制装置构成为根据由无线接收设备接收到的电波源的接收强度以及由传感器测定的本终端的移动量和旋转量来推测电波源的位置，将表示从便携信息终端的位置观察的电波源的推测位置的相对位置关系的示出三维的方向和距离的图形引导显示重叠于外界图像而显示到显示设备。
Description
技术领域
本发明涉及对RF标签、信标等电波源的位置进行推测并显示的电波源搜索用的便携信息终端。
背景技术
作为与电波源的位置推测有关的技术领域的背景技术，有专利文献1。在专利文献1中公开了如下的点：使便携型终端进行位置移动而在不同的位置处测量从发射机接受的接收电波强度以及作为接收侧的便携型终端自身的位置，综合作为在多个地点得到的测量结果的接收电波强度以及接收侧位置信息来推测发射机的位置，并重叠于二维地图信息来显示推测电波源的位置。
现有技术文献
专利文献1：日本特开2017-142180号公报
发明内容
在专利文献1中，由于需要在二维地图上表示位置，所以首先具有在无法取得地图信息的环境中无法利用这样的课题。另外，在室内的情况下，在无法进行室内测位的环境中不知道地图上的本终端位置，所以也不知道电波源的位置在地图上处于何处。而且，还有如下情况：存在未记载于地图信息的实物，被其遮蔽而难以获知所推测的电波源位置。此外，具有关于电波源的高度的信息缺失这样的课题。
本发明鉴于上述课题，其目的在于，提供一种在搜索电波源的情况下向用户易于理解地提示所推测的电波源位置的便携信息终端及其显示方法。
在本发明中，在列举其一个例子时，是一种便携信息终端，具备接收电波源的无线信号的无线接收设备、测定本终端的移动量和旋转量的传感器、显示设备以及控制装置，控制装置构成为根据由无线接收设备接收到的电波源的接收强度以及由传感器测定的本终端的移动量和旋转量来推测电波源的位置，将表示从便携信息终端的位置观察的电波源的推测位置的相对位置关系的示出三维的方向和距离的图形引导显示重叠于外界图像而显示到显示设备。
根据本发明，能够提供在搜索电波源的情况下向用户易于理解地提示所推测的电波源位置的便携信息终端及其显示方法。
附图说明
图1是实施例1中的电波源搜索系统的概略结构图。
图2A是实施例1中的便携信息终端为HMD的情况的电波源推测位置的显示例。
图2B是在图2A中电波源的位置变化的情况的电波源推测位置的显示例。
图3是实施例1中的作为便携信息终端的一个例子的HMD的外观结构例。
图4是实施例1中的便携信息终端(HMD)的功能块结构例。
图5是实施例1中的电波源搜索的处理流程图。
图6是实施例1中的电波源的方向推测的说明图。
图7是实施例1中的电波源推测位置的显示的变形例。
图8是实施例2中的电波源推测位置的显示例。
图9是实施例2中的电波源搜索的处理流程图。
图10是实施例3中的电波源推测位置的显示例。
图11是实施例4中的电波源推测位置的显示例。
图12是实施例5中的电波源搜索系统的概略结构图。
图13是实施例5中的电波源搜索的处理流程图。
图14A是实施例6中的便携信息终端为智能手表的情况的电波源推测位置的显示例。
图14B是在图14A中电波源处于被构造物遮蔽的位置的情况的电波源推测位置的显示例。
图15A是实施例6中的便携信息终端为智能手表的情况的电波源推测位置的其他显示例。
图15B是在图15A中电波源处于朝上的方向的情况的电波源推测位置的显示例。
图16是实施例7中的对方终端搜索系统的概略结构图。
图17A是实施例7中的对方终端推测位置的显示例。
图17B是实施例7中的对方终端推测位置的其他显示例。
图18是实施例7中的对方终端搜索的处理流程图。
图19A是实施例8中的电波源推测位置的显示例。
图19B是在图19A中电波源的位置推测的精度提高的情况的电波源推测位置的显示例。
图20是实施例8中的电波源搜索的处理流程图。
具体实施方式
以下，使用附图，说明本发明的实施例。
实施例1
图1是本实施例中的电波源搜索系统的概略结构图。在图1中，在电波源搜索系统中，作为对电波源80的位置进行搜索并推测的便携信息终端，例如持有作为HMD(HeadMount Display，头戴式显示器)的便携信息终端1A、作为智能手机的便携信息终端1B、作为智能手表的便携信息终端1C中的至少1个。以下的便携信息终端的电波源搜索动作既可以由这些便携信息终端单独地进行，也可以协作地进行。此外，在以下的记述中，将便携信息终端1A至1C总称而记述为便携信息终端1。另外，有时将便携信息终端简单地记述为终端。
服务器2经由通信网9来代理各便携信息终端1的处理、或者中介各便携信息终端1之间的信息的收发、或者提供必要的信息。服务器2例如是本地服务器、云服务器、边缘服务器、网络服务等，其形态是不限的。
图2A是本实施例中的便携信息终端为HMD的情况的电波源推测位置的显示例。在图2A中，外框在HMD为光学透视的情况下表示用户的视场，在视频透视(video seethrough)的情况下表示显示器的视场。
如图2A所示，用81表示的圆圈是显示电波源推测位置的标志位置(以下记载为电波源推测位置81)，显示电波源推测位置81和作为直观地获知从HMD的佩戴者起的远近感的对象的引导(guide)82。例如，如图2A所示，引导82可以是获知一定间隔的对象。另外，将电波源推测位置81和引导82重叠于外界的图像而进行显示。这样，在本实施例中的电波源推测位置的显示中，将表示电波源推测位置的相对位置关系的示出三维的方向和距离的图形引导显示与电波源的推测位置一起重叠于外界图像而进行显示。此外，在图2A中，也可以如83所示那样显示直至电波源推测位置为止的距离。另外，也可以如84所示那样，示出成为距离基准的点间的间隔。
另外，图2B是在图2A中电波源的位置变化的情况的电波源推测位置的显示例。如图2B所示，通过使引导82的前端的显示位置对准即重叠到视场内的电波源推测位置81，电波源推测位置的场所被进一步强调而变得容易获知。另外，由于获知直至目标为止的距离间隔，所以即使在被物体遮蔽的情况下也易于辨识位置。
图3是本实施例中的作为便携信息终端的一个例子的HMD的外观结构例。在图3中，作为HMD的便携信息终端1A在眼镜状的框体10中具备包括显示面11的显示设备。该显示设备是例如透射型显示设备，在显示面11中透射外界的实像，在该实像上重叠显示图像。在框体10中安装有控制装置、相机12、测距传感器13、其他传感器部14等。
相机12具有例如配置于框体10的左右两侧的2个相机，对包括HMD的前方的范围进行摄影而取得图像。测距传感器13是测定HMD与外界的物体的距离的传感器。测距传感器13既可以使用TOF(Time Of Flight，飞行时间)方式的传感器，也可以使用立体相机或其他方式。传感器部14包括用于对HMD的位置以及朝向的状态进行检测的传感器群。在框体10的左右，具备包括麦克风的声音输入装置18、包括扬声器、耳机端子的声音输出装置19等。
也可以在作为HMD的便携信息终端1A中，附属有遥控器等操作器20。在该情况下，HMD在与该操作器20之间进行例如近距离无线通信。用户通过用手来操作操作器20，能够实现与HMD的功能有关的指示输入、显示面11中的光标移动等。HMD也可以与外部的智能手机、PC等进行通信来进行协作。例如，HMD也可以从智能手机的应用接收AR(增强现实：Augmented Reality)的图像数据。
作为HMD的便携信息终端1A也可以使AR等的虚拟图像显示于显示面11。例如，作为HMD的便携信息终端1A生成用于引导用户的虚拟图像并显示于显示面11。
图4是图3的作为HMD的便携信息终端1A的功能块结构例。其他便携信息终端1基本上也是同样的结构。便携信息终端1具备处理器101、存储器102、相机12、测距传感器13、传感器部14、显示设备103、通信设备104、包括麦克风的声音输入装置18、包括扬声器等的声音输出装置19、无线发送设备105、无线接收设备106、操作输入部107、以及电池108等。这些要素经由总线等相互连接。
处理器101由CPU、ROM、RAM等构成，构成HMD的控制装置。处理器101通过执行依照存储器102的控制程序31、应用程序32的处理，实现OS、中间件、应用等的功能、其他功能。存储器102由非易失性存储装置等构成，存储由处理器101等处理的各种数据、信息。在存储器102中，作为临时性的信息，还储存由相机12等取得的图像、检测信息等。
相机12将从镜头入射的光利用摄像元件变换为电信号而取得图像。测距传感器13在使用例如TOF(Time Of Flight)传感器的情况下，根据直至射出到外界的光碰到物体而返回来为止的时间，计算直至该物体为止的距离。传感器部14例如包括加速度传感器141、陀螺仪传感器(角速度传感器)142、地磁传感器143、GPS接收器144。传感器部14使用这些传感器的检测信息，检测HMD的位置、朝向、活动等的状态。HMD不限于此，也可以具备照度传感器、接近传感器(proximity sensor)、气压传感器等。
显示设备103包括显示驱动电路、显示面11，根据显示信息34的图像数据，在显示面11上显示虚拟图像等。此外，显示设备103不限于透射型显示设备，也可以是非透射型显示设备等。
通信设备104包括与预定的各种通信接口对应的通信处理电路、天线等。关于通信接口的例子，可以列举移动网、Wi-Fi(日本注册商标)、蓝牙(Bluetooth，日本注册商标，)、红外线等。通信设备104在与其他便携信息终端1、接入点之间进行无线通信处理等。通信设备104还进行与操作器的近距离通信处理。
无线发送设备105发送与在位置推测中使用的识别信号相伴的电波源的无线信号。在此，与识别信息相伴的无线信号是指例如蓝牙等的信号。无线接收设备106接收与上述识别信号相伴的电波源的无线信号，测定接收强度。此外，也可以使用无线发送设备105和无线接收设备106进行信息通信。另外，在仅进行无线信号的发送或者接收的便携信息终端1的情况下，具备必要的设备即可。
声音输入装置18将来自麦克风的输入声音变换为声音数据。声音输出装置19根据声音数据，从扬声器等输出声音。声音输入装置也可以具备声音辨识功能。声音输出装置也可以具备声音合成功能。操作输入部107是受理针对HMD的操作输入、例如电源接通/断开、音量调整等的部分，由硬件按钮、触摸传感器等构成。电池108对各部分供给电力。
在基于处理器101的控制装置中，作为通过处理来实现的功能块的结构例，具有通信控制部101A、显示控制部101B、数据处理部101C以及数据取得部101D。
在存储器102中，储存有控制程序31、应用程序32、设定信息33、显示信息34、位置推测信息35等。控制程序31是用于实现便携信息终端1之间的相对位置关系的推测的程序。应用程序32是实现针对用户的引导功能的程序。设定信息33包括与各功能有关的系统设定信息、用户设定信息。显示信息34包括用于将虚拟图像显示于显示面11的图像数据、位置坐标信息。位置推测信息35是用于进行位置推测的与便携信息终端1的移动距离、便携信息终端1相对外界的朝向、无线信号的接收强度相关的信息。
通信控制部101A在与其他便携信息终端1通信时等，控制使用通信设备104的通信处理。显示控制部101B使用显示信息34，控制向显示设备103的显示面11进行的虚拟图像等的显示。
数据处理部101C读写位置推测信息35，进行本机与对方终端的相对位置关系的推测等。
数据取得部101D从无线接收设备106取得无线信号的强度，从相机12、测距传感器13以及传感器部14等各种传感器取得各检测数据。数据取得部101D根据各种传感器的检测数据，推测自身位置，测定移动距离。
图5是本实施例中的电波源搜索的处理流程图。在图5中，便携信息终端1首先在步骤S1中受理搜索开始指示时，在步骤S2中利用无线接收设备106接收电波源的无线信号。由于成为外界的电波源与本终端的相对位置关系的掌握基础，所以便携信息终端1需要始终测定外界中的本终端的位置变化和朝向的变化。因此，便携信息终端1同样地在步骤S2中，根据图4中的传感器部14的传感器的检测数据，测定本终端的移动量和作为朝向的变化的旋转量。然后，在步骤S3中处理器101进行电波源位置的推测，在步骤S4中进行电波源的推测位置和引导的显示。然后，直至受理搜索结束的指示为止，继续步骤S2至S4的处理，持续更新电波源的推测位置的显示和引导的显示。这样，在搜索电波源而进行移动的状况下，随时推测电波源位置，持续更新电波源的推测位置的显示和引导的显示。
在综合多个地点处的测定来推测电波源位置的情况下，需要获知当前和过去的本终端的位置和朝向的关系。便携信息终端1根据步骤S2中的本终端的移动量和旋转量的测定，始终掌握相对外界的本终端的移动量和朝向的变化，所以还能够掌握当前和过去的本终端的位置和朝向的关系。
作为电波源的位置推测方法的1个例子，有下述例子。
电波的接收强度在反射波充分小的状态下与距离的平方成反比。通过使用表示该特性的函数，并根据多个地点的数据用最小二乘法进行拟合，能够推测电波源位置。即，如下所示计算接收强度P。
P＝k/{(X-X0)2+(Y-Y0)2+(Z-Z0)2}
在此，k：依赖于电波源强度的系数；(X0、Y0、Z0)：电波源位置；(X、Y、Z)：接收位置。
因此，在多个接收位置测定接收强度P，通过参数拟合来求出k和(X0、Y0、Z0)即电波源位置。在反射波较强时产生误差，但随着接近电波源，反射波相对地变弱，所以推测精度得到提高。拟合函数不限定于上述，也可以还考虑由反射波引起的失真，取入高次的项等。此外，在位置推测的计算负荷大的情况下，也可以并非由便携信息终端进行计算，而是由服务器等其他设备进行计算。
另外，作为电波源的位置推测方法的其他例子，有下述例子。
在使用UWB(超宽带无线，Ultra Wide Band)的技术时，能够用一处的测定值来推测电波源的位置。图6是电波源的方向推测的说明图。在图6中，通过AOA(Angle ofArrival，到达角)的方法，获知电波源80相对天线的排列面70的方向θ。与此相应地，根据与电波源的距离信息d来获知电波源的位置。
通过例如以下的2个方法来获知与电波源的距离。
(1)在有终端的时刻同步的情况下，测定电波的到达时刻。
(2)测定与从终端侧发送的触发对应的来自电波源的回信所花费的时间。
此外，即便是上述方法，也可以为了降低误差，使用多处的推测电波源位置的平均值。
图7是本实施例中的电波源推测位置的显示的变形例。在图7中，在避开从HMD的佩戴者朝向电波源推测位置81的线上而显示引导82时，可以清楚地看到直至电波源推测位置81的路径，所以也可以使引导82的前端位置避开显示电波源推测位置的标志位置而显示于旁边。即，也可以使引导82的前端不重叠于电波源推测位置的显示中。
这样，在本实施例中，在外界图像上重叠地显示表示从包括HMD的用户携带的便携信息终端起的电波源推测位置的三维相对位置关系、即从便携信息终端位置起的三维的方向和距离的图形引导显示。由此，直观地获知实际上看到的外界的样子和电波源的位置关系，所以容易辨识电波源的位置。
如以上所述，根据本实施例，能够提供在搜索电波源的情况下向用户易于理解地提示所推测的电波源位置的便携信息终端及其显示方法。
实施例2
图8是本实施例中的便携信息终端为HMD的情况的电波源推测位置的显示例。
如图8所示，在电波源推测位置隐藏于物体的背后或者处于提包等的内部等、处于无法从外观上直接确认的位置的情况下，以与其他部分不同的形式来显示引导82的被外界的物体遮蔽的部分。即，在图8中，以使引导82的显示成为还反映了与外界的实物的遮蔽关系的显示的方式，用虚线显示被遮蔽的部分，用实线显示未被遮蔽的部分。此外，作为其他显示例，可以按照浓淡、按照颜色等来区分显示。另外，同样地也可以按照虚线显示等不同的形式，还显示电波源推测位置81。由此，具有更容易获知电波源推测位置和外界的物体之间的位置关系这样的效果。
图9是本实施例中的电波源搜索的处理流程图。在图9中，关于与图5相同的处理附加相同的符号，省略其说明。在图9中，与图5不同的点是将步骤S2置换为步骤S10的点。即，在步骤S10中，为了使遮蔽关系反映到引导82的显示，在步骤S2的处理中还添加了测定直至外界的物体为止的距离这样的点。
实施例3
在本实施例中，说明在电波源推测位置的误差中有各向异性的情况下以反映了该各向异性的三维的形式显示电波源推测位置的点。
图10是本实施例中的电波源推测位置的显示例。
在作为上述电波源的位置推测方法之一的、根据多个地点的数据用最小二乘法进行拟合的方法的情况下，如果一边在水平面上移动一边进行测定，则有时垂直方向的测定位置的宽度消失，垂直方向的位置推测误差变大。此时，如图10所示，用在作为误差大的方向的垂直方向上延伸的形状的标志85，显示电波源推测位置。即，以包含由三维方向引起的差异的方式显示电波源推测位置的误差范围。
由此，成为误差的基准，并且成为增加测定位置的情况的参考。此外，也可以显示用于降低电波源推测位置的误差的具体的追加测定点的向导86。
实施例4
在本实施例中，说明在购物中心等中依据设置于多个店铺的电波信标来搜索多个店铺的场所的情况等、作为目标的电波源有多个的情况下，将多个电波源推测位置与引导一起显示的例子。
图11是本实施例中的电波源推测位置的显示例。在图11中，利用包含于电波信号的电波源的ID信息来区分测定多个电波源，分别显示例如第1电波源推测位置87和第2电波源推测位置88。
作为显示方法，可以采用各种显示方法。即，也可以根据由电波源推测位置的远近导致的距离差，使推测位置、引导的显示的样式不同。在图11中，越是远的电波源，则使显示电波源推测位置的标志的大小越小(使远的第2电波源推测位置88小于近的第1电波源推测位置87)，引导82的线也越细。此外，也可以根据远近来改变颜色。而且，还可以以能够简洁地看到外界的方式，仅显示朝向近的电波源的引导。
另外，便携信息终端1在可利用地图信息的情况下，也可以将用于到达电波源的移动方向的向导89显示为AR对象。由此，通过与获知朝向电波源的距离感的引导一起显示移动方向的向导，从而获得直至到达目标地点为止的距离感，对于用户而言安心感增加。此外，该向导在电波源为一个的情况下也是有效的。在有多个电波源的情况下，也可以按照用于从近的电波源开始巡回的路线进行引导。另外，地图信息既可以是记录于便携信息终端的信息，也可以从服务器2取得。
根据本实施例，能够同时确认多个电波源推测位置，所以便利性得到提高。
实施例5
在本实施例中，说明利用智能手机来推测电波源的位置，并利用HMD来显示电波源推测位置和引导的例子。
图12是本实施例中的电波源搜索系统的概略结构图。在图12中，关于与图1以及图3相同的结构附加相同的符号，省略其说明。在图12中，与图1以及图3不同的点是在HMD1A中搭载有4个电波源(30a～30d)这样的点。
如图12所示，在本实施例中，为了测定智能手机1B和HMD1A的位置关系，在HMD1A中搭载3个以上的UWB的电波源，从智能手机测定其电波源位置。在图12中，示出了搭载4个电波源的例子(30a～30d)。根据智能手机1B和HMD1A的位置关系的信息，将用智能手机1B测定的目标电波源位置变换为HMD1A的坐标系中的位置。
图13是本实施例中的电波源搜索的处理流程图。在图13中，便携信息终端1A是HMD。便携信息终端1B是智能手机。首先，在步骤S21A、S21B中，可以针对任意的便携信息终端进行搜索开始的用户指示，通过便携信息终端1A、1B之间的通信，以向任意的便携信息终端的搜索开始指示为触发，开始各个便携信息终端1A、1B的电波源搜索的处理。
在便携信息终端1B中，在步骤S22B中进行与在图5中说明的步骤S2同样的无线信号的接收以及本终端的移动量和旋转量的测定。然后，在步骤S23B中，进行与在图5中说明的步骤S3同样的电波源位置的推测。
接下来，在步骤S24B中，测定便携信息终端1A、1B之间的位置关系。此外，关于该处理，在便携信息终端1A的步骤S24A中也进行对应的处理。然后，在步骤S25B中，将在步骤S23B中推测的电波源推测位置的信息发送并提供给便携信息终端1A。
之后，在步骤S27B中，判断是否受理了搜索结束的指示，直至受理搜索结束的指示为止，继续步骤S22B至S25B的处理，持续更新电波源的推测位置。此外，也可以针对任意的便携信息终端进行搜索结束的用户指示，通过便携信息终端1A、1B之间的通信，以向任意的便携信息终端的搜索结束指示为触发，结束各个便携信息终端1A、1B的电波源搜索的处理。
在便携信息终端1A中，在步骤S22A中为了显示遮蔽关系而进行外界的物体的距离测定。此外，在引导的显示中不反映遮蔽关系的情况下，也可以不测定。
接下来，在步骤S24A中，测定便携信息终端1A、1B之间的位置关系，在步骤S25A中，接收从便携信息终端1B发送的电波源推测位置的信息。
然后，在步骤S26A中，根据便携信息终端1A、1B之间的位置关系的信息，将从便携信息终端1B发送的电波源推测位置变换为便携信息终端1A的坐标系中的电波源推测位置，进行与在图5中说明的步骤S4同样的电波源的推测位置和引导的显示。
之后，在步骤S27A中，判断是否受理了搜索结束的指示，直至受理搜索结束的指示为止，继续步骤S22A至S26A的处理，持续更新电波源的推测位置和引导的显示。
此外，在图1中未图示便携信息终端之间的协作关系，但也可以如本实施例那样，用多个便携信息终端来分散处理。另外，如果获知便携信息终端之间的相对位置关系，则也可以协同地进行电波的接收处理。
如以上那样，在本实施例中，通过用HMD进行显示，能够直观地掌握电波源位置。另外，通过用智能手机进行位置推测的计算，实现HMD中的处理负担的减轻化。
实施例6
在本实施例中，说明电波源推测位置和引导的显示区域小的情况的显示例。
图14A是本实施例中的便携信息终端为智能手表的情况的电波源推测位置的显示例。在图14A中，在如智能手表1C那样显示区域小的便携信息终端的情况下，为了防止引导显示小导致看不清，不设为如图2B所示那样的使引导显示的前端对准到电波源推测位置的显示。即，在图14A中，在智能手表1C中，不使引导91的前端对准到电波源推测位置，而是针对电波源推测位置81，以智能手表1C的位置为标准，设为使进深方向朝上、使靠近自身方向朝下并使左右方向朝向左右的倾斜的显示，用引导(在此是箭头)的形状来显示直至电波源推测位置为止的直观的感觉。换言之，用箭头的方向来表示电波源的方向，用长度来表示直至电波源为止的距离。此外，如图14A所示，既可以如92所示那样显示直至电波源推测位置为止的距离和角度，也可以如93所示那样显示成为引导91的长度的距离的基准的比例尺。
图14B是在图14A中电波源的位置变化且电波源处于被构造物遮蔽的位置的情况的电波源推测位置的显示例。如图14B所示，在电波源处于被遮蔽的位置的情况下，对引导91的箭头前端部分附加斜线，改变箭头前端部分的显示样式。
此外，使引导91重叠地显示的外界的图像是用户视角的图像且是包括电波源的图像。并且，该图像也可以并非是在引导显示时间点进行摄影得到的图像。而且，也可以是利用其他终端进行摄影得到的图像。
图15A是本实施例中的便携信息终端为智能手表的情况的电波源推测位置的其他显示例。在图15A中，关于与图14A相同的结构附加相同的符号，省略其说明。在图15A中，与图14A不同的点在于，在智能手表1C中，通过引导91的箭头是前端变细还是前端变粗这样的形状，表示相对于智能手表1C的水平面或者显示面而言有电波源的方向是朝下的方向还是朝上的方向。即，在图15A中，箭头是前端变细，所以表示电波源处于朝下的方向。图15B是表示电波源处于朝上的方向的显示例。
此外，代替箭头是前端变细还是前端变粗这样的形状，而可以是改变颜色等附加区分的显示。另外，也可以通过倾斜，改变前端变粗的变化率等，改变显示的样式。由此，具有如下效果：即便是小的显示画面，也能够推测电波源所在的高度。
另外，在显示有相对水平面的倾斜的情况下，如果改变智能手表1C的高度来搜寻表示水平的高度，则获知高度。另外，在显示有相对显示面的倾斜的情况下，如果改变显示面的倾斜来搜寻箭头的相对显示面的倾斜成为0的角度，则容易直观地获知电波源位置。
实施例7
在本实施例中，说明在双方的人员持有具备电波源搜索功能的便携信息终端的情况下能够由双方推测对方侧的终端位置的例子。
图16是本实施例中的电波源搜索系统的概略结构图。在图16中，关于与图1相同的结构附加相同的符号，省略其说明。在图16中，与图1不同的点在于如下点：作为HMD的便携信息终端1A和1D具有电波源搜索功能，由双方推测对方侧的终端位置。
图17A是本实施例中的对方终端推测位置的显示例。在图17A中，显示对方终端推测位置94，并且显示对方终端是否捕捉到本终端、即是否以充分的精度完成了位置推测这样的显示95。由此，能够掌握对方终端的状况。
图17B是本实施例中的对方终端推测位置的其他显示例。在图17B中，显示对方终端推测位置94，并且显示对方终端的移动历史96。仅根据本终端的测定结果也获知移动历史，但如果能够从对方终端取得移动信息，则能够精确地获知推测位置的变化。
图18是本实施例中的对方终端搜索的处理流程图。在图18中，首先在步骤S31A、S31D中，可以针对任意的便携信息终端进行搜索开始的用户指示，通过便携信息终端1A、1D之间的通信，以向任意的便携信息终端的搜索开始指示为触发，开始各个便携信息终端1A、1D的对方终端搜索的处理。
以下的各个便携信息终端1A、1D的对方终端搜索的处理是同样的处理，所以代表地说明便携信息终端1A的处理。
便携信息终端1A在步骤S32A中，进行与在图9中说明的步骤S10同样的无线信号的接收、本终端的移动量和旋转量的测定、以及直至外界物体为止的距离的测定。然后，在步骤S33A中，与便携信息终端1D进行移动量和旋转量信息的收发。然后，在步骤S34A中，对照便携信息终端1D的移动量和旋转量信息，通过与在图5中说明的步骤S3同样的处理来推测便携信息终端1D的终端位置。
接下来的步骤S35A、36A是利用从对方终端观察的本终端的位置推测数据进一步提高推测精度的处理。即，在进行对方终端的新的位置的推测时，得到以本终端位置为起点并以对方终端位置为终点的终端间矢量V1。同样地，通过对方终端的测定而得到终端间矢量V2。关于这2个矢量，在变换为相同的坐标系的值时，如果在位置推测中没有误差则应成为逆矢量。此外，通过还包含各终端的旋转量的数据的过去的位置测定中的数据交换来获知相互的坐标系的关系，所以对方终端测定的终端间矢量能够变换为本终端的值。因此，在双方的终端中，如下述式那样，能够根据这2个矢量之和来估算误差Δ。
Δ＝(V1+V2)/2
因此，在步骤S35A中，在便携信息终端之间进行推测位置信息的收发，获得对方终端位置信息。然后，通过步骤S36A，考虑该误差Δ来进行对方终端位置的重新推测。通过重新推测得到的终端间矢量V1’如下所示。
V1’＝V1-Δ＝(V1-V2)/2
关于该误差修正，除了由电波源测定引起的误差以外，还修正由本终端的移动量和旋转量的测定引起的误差。此外，如果无需提高推测精度，则也可以不进行该重新推测。在该情况下，跳过步骤S35A、36A。
接下来，在步骤S37A中，进行与在图5中说明的步骤S4同样的处理的对方终端的推测位置和引导的显示。之后，在步骤S38A中，判断是否受理了搜索结束的指示，直至受理搜索结束的指示为止，继续步骤S32A至S37A的处理，持续更新对方终端的推测位置的显示和引导的显示。
这样，根据本实施例，在进行对方侧的终端位置的推测时，如果能够改变矢量的方向，则从对方终端观察的本终端的位置是从本终端观察的对方终端的位置，所以如果能够对照双方的推测结果，则能够提高推测精度。另外，通过还取得移动历史，能够将过去的推测结果也加在一起用作当前的位置推测的数据，能够提高推测精度。
实施例8
在本实施例中，说明与其他搜索方法并用的例子。
图19A是本实施例中的电波源推测位置的显示例。在图19A中，例如在由于数据数量少、存在距离等理由而利用便携信息终端的电波接收来进行的直接的电波源推测的精度低的情况下，便携信息终端1首先通过作为其他搜索方法的室内测位等测位技术进行外界基准的电波源的位置推测、即间接搜索。在图19A中，在间接搜索中，显示直接搜索准备中等显示97，显示电波源推测位置的标志也显示作为概略位置的表示宽范围的电波源推测位置98。
图19B是在图19A中电波源的位置推测的精度提高的情况的电波源推测位置的显示例。在图19B中，在数据数量增加或者根据间接推测信息接近电波源位置等而推测精度提高的时间点，切换为基于直接搜索的推测位置的显示。即，如图19B所示，显示直接搜索开始的显示99，显示与图2A同样的推测精度提高的电波源推测位置81以及引导82。
图20是本实施例中的电波源搜索的处理流程图。在图20中，关于与图5相同的处理附加相同的符号，省略其说明。在图20中，便携信息终端1在步骤S1中受理搜索开始指示时，在步骤S15中通过作为其他搜索方法的间接搜索进行电波源的位置推测，进行图19A所示的作为概略位置的表示宽范围的电波源推测位置的显示。然后，在与图5同样的步骤S2中，通过直接搜索接收无线信号，测定本终端的移动量和旋转量。然后，在步骤S3中推测电波源位置，在步骤S16中判定推测位置误差是否小于预定值，如果推测位置误差不小于预定值则判断为推测精度低，返回到步骤S15，直至推测精度成为预定精度为止，反复通过间接搜索推测电波源位置。然后，在推测精度成为预定精度以上时，在步骤S2、S3中更新无线信号接收、本终端的移动量和旋转量的测定、电波源位置的推测，在步骤S4中切换为通过直接搜索得到的推测位置的显示，显示图19B所示的电波源推测位置81以及引导82。然后，直至受理搜索结束的指示为止，继续步骤S2至S4的处理，持续更新电波源的推测位置的显示和引导的显示。
这样，在本实施例中，从基于直接搜索的电波源的位置推测的精度低的阶段，设置推测位置的基准，所以能够高效地进行搜索。本方法即便在会面等中也是有效的。即，最初以地图信息为基础，去往会面场所并充分接近，在能够接收电波后，使用基于电波源搜索的最后的精确的位置推测，能够更高效地找到目标人物。
以上说明了实施例，但上述实施例是为了易于理解地说明本发明而详细地说明的例子，并非限定于一定具备所说明的所有的结构。另外，能够将某个实施例的结构的一部分置换为其他实施例的结构，另外还能够对某个实施例的结构添加其他实施例的结构。另外，关于各实施例的结构的一部分，能够进行其他结构的追加、删除、置换。
符号的说明
1、1A～1D：便携信息终端；2：服务器；9：通信网；10：框体；11：显示面；101：处理器；102：存储器；103：显示设备；107：操作输入部；80：电波源；81：电波源推测位置；82：引导；87：第1电波源推测位置；88：第2电波源推测位置；91：引导；94：对方终端推测位置；96：移动历史。
Claims (17)
1.一种便携信息终端，具备接收电波源的无线信号的无线接收设备、测定本终端的移动量和旋转量的传感器、显示设备以及控制装置，其特征在于，
所述控制装置根据由所述无线接收设备接收到的电波源的接收强度以及由所述传感器测定的本终端的移动量和旋转量来推测所述电波源的位置，将表示从便携信息终端的位置观察的所述电波源的推测位置的相对位置关系的示出三维的方向和距离的图形引导显示重叠于外界图像而显示到所述显示设备。
2.根据权利要求1所述的便携信息终端，其特征在于，
所述图形引导显示的前端重叠于所述电波源的推测位置的显示中。
3.根据权利要求1所述的便携信息终端，其特征在于，
所述图形引导显示的前端不重叠于所述电波源的推测位置的显示中。
4.根据权利要求1所述的便携信息终端，其特征在于，
所述图形引导显示是还反映了与外界的实物的遮蔽关系的显示。
5.根据权利要求1所述的便携信息终端，其特征在于，
由服务器进行所述电波源的推测位置的计算。
6.根据权利要求1所述的便携信息终端，其特征在于，
所述控制装置以包括由三维方向引起的差异的方式显示所述电波源的推测位置的误差范围。
7.根据权利要求6所述的便携信息终端，其特征在于，
所述控制装置显示用于降低所述电波源的推测位置的误差的向导。
8.根据权利要求1所述的便携信息终端，其特征在于，
所述控制装置显示多个电波源的推测位置，根据所述多个电波源的推测位置的距离差而使所述图形引导显示的样式不同。
9.根据权利要求1所述的便携信息终端，其特征在于，
所述控制装置一并显示直至所述电波源的推测位置为止的移动方向。
10.根据权利要求1所述的便携信息终端，其特征在于，
由其他便携信息终端进行所述电波源的位置的推测，
所述控制装置测定与所述其他便携信息终端的位置关系，根据该位置关系的信息，将从所述其他便携信息终端发送的电波源的推测位置变换为自身的便携信息终端的坐标系中的电波源的推测位置，进行所述图形引导显示。
11.根据权利要求1所述的便携信息终端，其特征在于，
由其他便携信息终端进行所述图形引导显示，
所述控制装置针对进行所述图形引导显示的所述其他便携信息终端，发送所述电波源的推测位置。
12.根据权利要求1所述的便携信息终端，其特征在于，
所述控制装置针对用户视角的图像且包括所述电波源的图像，重叠所述图形引导显示来进行显示。
13.根据权利要求1所述的便携信息终端，其特征在于，
所述控制装置从其他便携信息终端接收推测本便携信息终端的位置而得到的信息，参照接收到的该信息进行所述其他便携信息终端的相对推测位置的所述图形引导显示。
14.根据权利要求1所述的便携信息终端，其特征在于，
所述控制装置一并显示所述电波源的位置的移动历史。
15.根据权利要求1所述的便携信息终端，其特征在于，
所述控制装置在推测所述电波源的位置之前显示通过其他方法得到的位置推测结果，在所述电波源的位置的推测精度成为预定以上的情况下，进行所述图形引导显示。
16.一种便携信息终端的显示方法，推测并显示电波源的位置，其特征在于，
根据接收到的所述电波源的接收强度以及本终端的移动量和旋转量来推测所述电波源的位置，
将表示从所述便携信息终端的位置观察的所述电波源的推测位置的相对位置关系的示出三维的方向和距离的图形引导显示重叠于外界图像而进行显示。
17.根据权利要求16所述的便携信息终端的显示方法，其特征在于，
由其他便携信息终端进行所述电波源的位置的推测，
测定与所述其他便携信息终端的位置关系，
根据该位置关系的信息，将从所述其他便携信息终端发送的电波源的推测位置变换为自身的便携信息终端的坐标系中的电波源的推测位置，进行所述图形引导显示。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2021/013384 WO2022208628A1 (ja) | 2021-03-29 | 2021-03-29 | 携帯情報端末およびその表示方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117120867A true CN117120867A (zh) | 2023-11-24 |
Family
ID=83455808
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180096508.4A Pending CN117120867A (zh) | 2021-03-29 | 2021-03-29 | 便携信息终端及其显示方法 |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JPWO2022208628A1 (zh) |
| CN (1) | CN117120867A (zh) |
| WO (1) | WO2022208628A1 (zh) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4822926B2 (ja) * | 2006-05-01 | 2011-11-24 | 本田技研工業株式会社 | 無線発信機の三次元位置を推定する方法、プログラムおよびシステム |
| FR2910974B1 (fr) * | 2006-12-27 | 2010-01-01 | Pascal Benoudiz | Systeme permettant de localiser un objet ou une personne |
| JP5402969B2 (ja) * | 2011-03-23 | 2014-01-29 | カシオ計算機株式会社 | 携帯端末及びプログラム |
| JP2014126380A (ja) * | 2012-12-25 | 2014-07-07 | International Business Maschines Corporation | ミリ波を発している送信機の位置を受信端末の側に可視化して表示する方法 |
| JP5868876B2 (ja) * | 2013-01-22 | 2016-02-24 | 東芝テック株式会社 | 無線タグ通信装置及びプログラム |
| DE102016213234A1 (de) * | 2016-02-12 | 2017-08-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung zur Darstellung von Benutzerinformationen und entsprechendes Verfahren |
| JP6984817B2 (ja) * | 2017-08-28 | 2021-12-22 | 国立大学法人岩手大学 | 無線通信装置を用いた位置推定方法、位置推定装置及び携帯通信装置 |
| GB201714613D0 (en) * | 2017-09-12 | 2017-10-25 | Tomtom Navigation Bv | Methods and systems of providing lane information using a navigation apparatus |
-
2021
- 2021-03-29 WO PCT/JP2021/013384 patent/WO2022208628A1/ja active Application Filing
- 2021-03-29 CN CN202180096508.4A patent/CN117120867A/zh active Pending
- 2021-03-29 JP JP2023509936A patent/JPWO2022208628A1/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2022208628A1 (zh) | 2022-10-06 |
| WO2022208628A1 (ja) | 2022-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9401050B2 (en) | Recalibration of a flexible mixed reality device | |
| CN110463165B (zh) | 信息处理装置、信息处理方法和记录介质 | |
| US8908043B2 (en) | System and method for location-based operation of a head mounted display | |
| JP4142460B2 (ja) | 運動検出装置 | |
| KR101285360B1 (ko) | 증강현실을 이용한 관심 지점 표시 장치 및 방법 | |
| KR101330805B1 (ko) | 증강 현실 제공 장치 및 방법 | |
| JP2006105640A (ja) | ナビゲーション装置 | |
| EP2600109A2 (en) | Method for calibration of a sensor unit and accessory comprising the same | |
| KR101413605B1 (ko) | 네비게이션 시스템 및 방법 | |
| US20210217210A1 (en) | Augmented reality system and method of displaying an augmented reality image | |
| CN114127794A (zh) | 信息终端装置以及位置辨识共享方法 | |
| KR101573289B1 (ko) | 위치 측정 방법 및 이를 이용한 휴대 단말기 | |
| JP6481456B2 (ja) | 表示制御方法、表示制御プログラム、及び情報処理装置 | |
| US20140292636A1 (en) | Head-Worn Infrared-Based Mobile User-Interface | |
| US20230388643A1 (en) | Portable device | |
| JP2011113245A (ja) | 位置認識装置 | |
| US20230089061A1 (en) | Space recognition system, space recognition method, information terminal, and server apparatus | |
| KR101644608B1 (ko) | 가시 범위 내 통신대상 인식을 위한 단말 및 그 방법 | |
| CN111754564B (zh) | 视频展示方法、装置、设备及存储介质 | |
| CN117120867A (zh) | 便携信息终端及其显示方法 | |
| CN110095792B (zh) | 定位终端的方法及装置 | |
| JP2005017074A (ja) | 情報送受信装置、情報送受信用プログラム | |
| WO2006043319A1 (ja) | 端末及びサーバ | |
| JP2010171664A (ja) | 携帯情報端末、情報表示制御方法、及び、情報表示制御プログラム | |
| CN112835021B (zh) | 定位方法、装置、系统及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |