CN116097667A - 通过使用uwb和ar来搜索丢失装置的方法及其设备 - Google Patents

通过使用uwb和ar来搜索丢失装置的方法及其设备 Download PDF

Info

Publication number
CN116097667A
CN116097667A CN202180056720.8A CN202180056720A CN116097667A CN 116097667 A CN116097667 A CN 116097667A CN 202180056720 A CN202180056720 A CN 202180056720A CN 116097667 A CN116097667 A CN 116097667A
Authority
CN
China
Prior art keywords
electronic device
uwb
external device
information
communication circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180056720.8A
Other languages
English (en)
Inventor
林采吉
金根硕
申宰和
曹志晩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210004178A external-priority patent/KR20220017344A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN116097667A publication Critical patent/CN116097667A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00Arrangements affording multiple use of the transmission path
    • H04L5/0091Signaling for the administration of the divided path
    • H04L5/0096Indication of changes in allocation
    • H04L5/0098Signalling of the activation or deactivation of component carriers, subcarriers or frequency bands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W64/00Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00Arrangements affording multiple use of the transmission path
    • H04L5/003Arrangements for allocating sub-channels of the transmission path
    • H04L5/0048Allocation of pilot signals, i.e. of signals known to the receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/024Guidance services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W72/00Local resource management
    • H04W72/04Wireless resource allocation
    • H04W72/044Wireless resource allocation based on the type of the allocated resource
    • H04W72/0453Resources in frequency domain, e.g. a carrier in FDMA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W8/00Network data management
    • H04W8/005Discovery of network devices, e.g. terminals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • H04W76/15Setup of multiple wireless link connections
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W88/00Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02Terminal devices
    • H04W88/04Terminal devices adapted for relaying to or from another terminal or user

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Telephone Function (AREA)

Abstract

一种根据实施例的电子装置可以包括:相机;显示器;位置测量电路;UWB天线;UWB通信电路;第一无线通信电路,所述第一无线通信电路用于支持短距离通信;第二无线通信电路,所述第二无线通信电路用于支持蜂窝通信;以及至少一个处理器。所述至少一个处理器能够:通过使用所述第二无线通信电路来从服务器获得关于外部装置的信息;当所述电子装置在离所述外部装置的指定距离内时,通过所述第一无线通信电路与所述外部装置建立短距离通信连接;向所述外部装置发送激活所述外部装置的UWB功能的请求;基于从所述外部装置接收到的UWB信号来识别所述外部装置关于所述电子装置的位置,以及基于通过使用所述相机获得的图像数据和所识别的所述外部装置的位置来在所述显示器上输出增强现实界面。

Description

通过使用UWB和AR来搜索丢失装置的方法及其设备
技术领域
本公开涉及一种用于提供确认电子装置的位置的服务的技术。
背景技术
随着近来各种电子产品的普及程度的增加,用户除了使用诸如智能电话的移动通信装置之外,还正在使用能够与智能电话关联使用的许多装置,诸如智能手表、耳机或平板。然而,由于诸如耳机的装置的尺寸小或者由于用户的疏忽,用户可能会丢失一些装置,并且为这样的情况做准备,装置的制造商或服务提供商可以提供用于确认丢失装置的位置的服务。
例如,现有服务可以是服务器收集丢失的用户的智能电话的位置并将智能电话的位置提供给用户的方法。例如,如果已丢失了智能电话的用户在用其账号登录智能电话制造商的网站之后请求确认智能电话的位置,则服务器可以通过网站或应用来提供通过与智能电话的通信所确认的位置信息。
由于上述方法假定能够直接与服务器进行通信的电子装置(诸如智能电话)丢失了,所以可以在上述方法中通过近场通信(例如,蓝牙或Wi-Fi直连)与智能电话配对,但是不能与不具有直接与服务器进行通信的能力的装置(例如,耳机或头戴式耳机)一起使用上述方法。在这种情况下,当丢失装置向外围装置发送其标识信息时,外围装置可以将它自己的信息和丢失装置的标识信息一起提供给服务器,并且服务器可以使用丢失装置的标识信息来将丢失装置的位置信息提供给丢失装置的原始用户。
发明内容
技术问题
即使丢失装置的所有者获取了丢失装置的位置信息,所获取的位置信息也对应于基于诸如GPS的定位系统的坐标信息,使得即使用户实际上访问所对应的坐标,用户也可能难以容易地找到丢失装置。例如,即使所获取的丢失装置的坐标指定了特定公园或建筑物,但是现实中,所指定的地方从用户的观点来看也可能对应于巨大的搜索范围。
本公开的实施例提供了一种使得用户在他接近丢失装置时能够使用例如超宽带(UWB)通信和增强现实(AR)功能来容易地发现丢失装置的方法。
技术方案
一种根据示例实施例的电子装置可以包括:相机;显示器;位置测量电路;超宽带(UWB)天线;UWB通信电路,所述UWB通信电路连接到所述UWB天线;第一无线通信电路,所述第一无线通信电路被配置为支持近场通信;第二无线通信电路,所述第二无线通信电路被配置为支持蜂窝通信;以及至少一个处理器。所述至少一个处理器可以被配置为:使用所述第二无线通信电路来从服务器获取关于在所述电子装置中注册的并且当前未连接到所述电子装置的外部装置的信息;基于从所述服务器获取的所述信息和由所述位置测量电路测量的所述电子装置的位置来确定所述电子装置是否在关于所述外部装置的所述信息中包括的所述外部装置的坐标的指定距离内;响应于所述确定来通过所述第一无线通信电路与所述外部装置建立近场通信连接;通过所建立的近场通信连接来向所述外部装置发送激活所述外部装置的UWB功能的请求;基于从所述外部装置接收到的UWB信号来识别所述外部装置相对于所述电子装置的位置;以及基于使用所述相机获取的图像数据和所识别的所述外部装置的位置来向所述显示器输出AR界面。
一种根据示例实施例的方法可以包括:使用电子装置的第二无线通信电路来从服务器获取关于在所述电子装置中注册的并且当前未连接到所述电子装置的外部装置的信息;基于从所述服务器获取的所述信息和由所述电子装置的位置测量电路测量的所述电子装置的位置来确定所述电子装置是否在关于所述外部装置的所述信息中包括的所述外部装置的坐标的指定距离内;响应于所述确定来通过所述电子装置的第一无线通信电路与所述外部装置建立近场通信连接;通过所建立的近场通信连接来向所述外部装置发送激活所述外部装置的UWB功能的请求;基于从所述外部装置接收到的UWB信号来识别所述外部装置相对于所述电子装置的位置;以及基于使用所述电子装置的相机获取的图像数据和所识别的所述外部装置的位置来向所述电子装置的显示器输出AR界面。
一种根据示例实施例的电子装置可以包括:无线通信电路;超宽带(UWB)通信电路;UWB天线,所述UWB天线电连接到所述UWB通信电路;以及处理器,所述处理器电连接到或可操作地连接到所述无线通信电路和所述UWB通信电路,其中,所述处理器被配置为:使用所述无线通信电路来与外部装置建立近场通信连接;经由所述近场通信连接来接收UWB激活请求;以及响应于所述UWB激活请求,使用所述UWB通信电路来发送指定频率的UWB信号。
一种根据示例实施例的电子装置可以包括:位置测量电路;第一无线通信电路,所述第一无线通信电路被配置为支持近场通信;第二无线通信电路,所述第二无线通信电路被配置为支持蜂窝通信;以及至少一个处理器,所述至少一个处理器电连接到所述位置测量电路、所述第一无线通信电路和所述第二无线通信电路。所述至少一个处理器可以被配置为:使用所述第一无线通信电路来从外部装置获取通告分组;使用所述第二无线通信电路来向服务器发送通过所述通告分组获取的所述外部装置的标识信息和通过所述位置测量电路获取的所述电子装置的位置信息;从所述服务器获取与所述外部装置相关联的认证密钥;以及使用所述认证密钥来与所述外部装置建立通信连接。
有益效果
根据各种示例实施例,电子装置可以根据与丢失装置的距离来提供适当的引导,并且用户可以通过跟随使用增强现实(AR)的引导而直观地确定丢失装置的位置。
根据各种示例实施例,电子装置可以通过提前注册丢失消息并且限制性地允许丢失装置与另一人的装置之间的连接来提高丢失装置的搜索效率。
另外,可以提供通过本公开直接或间接识别的各种效果。
附图说明
图1是示出了根据各种实施例的网络环境中的示例电子装置的框图;
图2是示出了根据各种实施例的用于识别用户装置的位置的示例系统的图;
图3是示出了根据各种实施例的与电子装置的各种功能相关的各种示例模块的图;
图4是示出了根据各种实施例的与服务器的各种功能相关的各种示例模块的图;
图5是示出了根据各种实施例的由第一装置在服务器中注册第二装置的示例的信号流图;
图6是示出了根据各种实施例的在查找系统中跟踪丢失装置的当前位置的示例的信号流图;
图7是示出了根据各种实施例的用于在第一装置中识别用户装置的位置的示例用户界面的图;
图8是示出了根据各种实施例的由电子装置执行扫描以查找任意外部装置的示例的信号流图;
图9是示出了根据各种实施例的根据电子装置的画面的开启/关闭来调整扫描间隔的示例的信号流图;
图10是示出了根据各种实施例的第二装置的示例配置和由第二装置广播的分组的数据结构的图;
图11是示出了根据各种实施例的第一装置的示例配置的框图;
图12是示出了根据各种实施例的与第一装置的硬件部件相关的各种示例模块和通过硬件部件实现的各种功能的图;
图13是示出了根据各种实施例的提供用于查找丢失装置的引导的示例操作的流程图;
图14是示出了根据各种实施例的由电子装置根据距离提供的示例UI的图;
图15是示出了根据各种实施例的由电子装置使用增强现实(AR)提供的示例UI的图;
图16是示出了根据各种实施例的在电子装置中使用UWB和传感器数据来更新目标位置的示例操作的流程图;
图17是示出了根据各种实施例的图16的流程图的示例操作的信号流图;
图18是示出了根据各种实施例的与丢失装置建立连接的示例的信号流图;
图19是示出了根据各种实施例的用于在第一装置中激活查找丢失装置的帮助请求并注册丢失消息的示例UI的图;
图20是示出了根据各种实施例的用于在电子装置中激活丢失装置查找功能的示例UI的图;以及
图21是示出了根据各种实施例的用于在电子装置中执行与丢失装置的连接的示例UI的图。
关于附图的描述,相同或类似的附图标号可以用于相同或类似的部件。
具体实施方式
以下,将参照附图描述本公开的各种示例实施例。然而,这不旨在将本公开限于特定实施例,而应当被理解为包括本公开的实施例的各种修改、等同形式和/或替代方案。
图1是示出了根据各种实施例的网络环境100中的示例电子装置101的框图。
参照图1,网络环境100中的电子装置101可以经由第一网络198(例如,短距离无线通信网络)与电子装置102进行通信,或者经由第二网络199(例如,长距离无线通信网络)与电子装置104或服务器108中的至少一个进行通信。根据实施例,电子装置101可以经由服务器108与电子装置104进行通信。根据实施例,电子装置101可以包括处理器120、存储器130、输入模块150、声音输出模块155、显示模块160、音频模块170、传感器模块176、接口177、连接端178、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在各种实施例中,可以从电子装置101中省略上述部件中的至少一个(例如,连接端178),或者可以将一个或更多个其它部件添加到电子装置101中。在一些实施例中,可以将上述部件中的一些部件(例如,传感器模块176、相机模块180或天线模块197)实现为单个部件(例如,显示模块160)。
处理器120可以运行例如软件(例如,程序140)来控制电子装置101的与处理器120耦接的至少一个其它部件(例如,硬件部件或软件部件),并可以执行各种数据处理或计算。根据实施例,作为所述数据处理或计算的至少部分,处理器120可以将从另一部件(例如,传感器模块176或通信模块190)接收到的命令或数据存储到易失性存储器132中,对存储在易失性存储器132中的命令或数据进行处理,并将结果数据存储在非易失性存储器134中。根据实施例,处理器120可以包括主处理器121(例如,中央处理器(CPU)或应用处理器(AP))或者与主处理器121在操作上独立的或者相结合的辅助处理器123(例如,图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。例如,当电子装置101包括主处理器121和辅助处理器123时,辅助处理器123可以被适配为比主处理器121耗电更少,或者被适配为专用于特定的功能。可以将辅助处理器123实现为与主处理器121分离,或者实现为主处理器121的部分。
在主处理器121处于未激活(例如,睡眠)状态时,辅助处理器123(而非主处理器121)可以控制与电子装置101的部件之中的至少一个部件(例如,显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些,或者在主处理器121处于激活状态(例如,运行应用)时,辅助处理器123可以与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如,显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例,可以将辅助处理器123(例如,图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如,相机模块180或通信模块190)的部分。根据实施例,辅助处理器123(例如,神经处理单元)可以包括专用于人工智能模型处理的硬件结构。可以通过机器学习来生成人工智能模型。例如,可以通过人工智能被执行之处的电子装置101或经由单独的服务器(例如,服务器108)来执行这样的学习。学习算法可以包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可以包括多个人工神经网络层。人工神经网络可以例如包括深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向循环深度神经网络(BRDNN)或深度Q网络或其两个或更多个的组合,但不限于此。另外地或可选地,人工智能模型可以包括除了硬件结构以外的软件结构。
存储器130可以存储由电子装置101的至少一个部件(例如,处理器120或传感器模块176)使用的各种数据。所述各种数据可以包括例如软件(例如,程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可以包括易失性存储器132或非易失性存储器134。
可以将程序140作为软件存储在存储器130中,并且程序140可以包括例如操作系统(OS)142、中间件144或应用146。
输入模块150可以从电子装置101的外部(例如,用户)接收将由电子装置101的其它部件(例如,处理器120)使用的命令或数据。输入模块150可以包括例如麦克风、鼠标、键盘、键(例如,按钮)或数字笔(例如,手写笔)。
声音输出模块155可以将声音信号输出到电子装置101的外部。声音输出模块155可以包括例如扬声器或接收器。扬声器可以用于诸如播放多媒体或播放唱片的通用目的。接收器可以用于接收呼入呼叫。根据实施例,可以将接收器实现为与扬声器分离,或实现为扬声器的部分。
显示模块160可以向电子装置101的外部(例如,用户)视觉地提供信息。显示模块160可以包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例,显示模块160可以包括被适配为检测触摸的触摸传感器或被适配为测量由触摸引起的力的强度的压力传感器。
音频模块170可以将声音转换为电信号,反之亦可。根据实施例,音频模块170可以经由输入模块150获得声音,或者经由声音输出模块155或与电子装置101直接(例如,有线地)连接或无线连接的外部电子装置(例如,电子装置102)的耳机输出声音。
传感器模块176可以检测电子装置101的操作状态(例如,电力或温度)或电子装置101外部的环境状态(例如,用户的状态),然后产生与检测到的状态相应的电信号或数据值。根据实施例,传感器模块176可以包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可以支持将用来使电子装置101与外部电子装置(例如,电子装置102)直接(例如,有线地)或无线耦接的一个或更多个特定协议。根据实施例,接口177可以包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可以包括连接器,其中,电子装置101可以经由所述连接器与外部电子装置(例如,电子装置102)物理连接。根据实施例,连接端178可以包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如,耳机连接器)。
触觉模块179可以将电信号转换为可以被用户经由他的触觉或动觉识别的机械刺激(例如,振动或运动)或电刺激。根据实施例,触觉模块179可以包括例如电机、压电元件或电刺激器。
相机模块180可以捕获静止图像或运动图像。根据实施例,相机模块180可以包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可以管理对电子装置101的供电。根据实施例,可以将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可以对电子装置101的至少一个部件供电。根据实施例,电池189可以包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可以支持在电子装置101与外部电子装置(例如,电子装置102、电子装置104或服务器108)之间建立直接(例如,有线)通信信道或无线通信信道,并经由建立的通信信道执行通信。通信模块190可以包括能够与处理器120(例如,应用处理器(AP))独立操作的一个或更多个通信处理器,并支持直接(例如,有线)通信或无线通信。根据实施例,通信模块190可以包括无线通信模块192(例如,蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如,局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可以经由第一网络198(例如,短距离通信网络,诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如,长距离通信网络,诸如传统蜂窝网络、5G网络、下一代通信网络、互联网或计算机网络(例如,LAN或广域网(WAN)))与外部电子装置进行通信。可以将这些各种类型的通信模块实现为单个部件(例如,单个芯片),或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如,多个芯片)。无线通信模块192可以使用存储在用户识别模块196中的用户信息(例如,国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
无线通信模块192可以支持在4G网络之后的5G网络以及下一代通信技术(例如新无线(NR)接入技术)。NR接入技术可以支持增强型移动宽带(eMBB)、大规模机器类型通信(mMTC)或超可靠低延时通信(URLLC)。无线通信模块192可以支持高频带(例如,毫米波带)以实现例如高数据传输速率。无线通信模块192可以支持用于确保高频带上的性能的各种技术,诸如例如波束成形、大规模多输入多输出(大规模MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块192可以支持在电子装置101、外部电子装置(例如,电子装置104)或网络系统(例如,第二网络199)中指定的各种要求。根据实施例,无线通信模块192可以支持用于实现eMBB的峰值数据速率(例如,20Gbps或更大)、用于实现mMTC的丢失覆盖(例如,164dB或更小)或者用于实现URLLC的U平面延迟(例如,对于下行链路(DL)和上行链路(UL)中的每一个为0.5ms或更小,或者1ms或更小的往返)。
天线模块197可以将信号或电力发送到电子装置101的外部(例如,外部电子装置)或者从电子装置101的外部(例如,外部电子装置)接收信号或电力。根据实施例,天线模块197可以包括天线,所述天线包括辐射元件,所述辐射元件由形成在基底(例如,印刷电路板(PCB))中或形成在基底上的导电材料或导电图案构成。根据实施例,天线模块197可以包括多个天线(例如,阵列天线)。在这种情况下,可以由例如通信模块190(例如,无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可以经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例,除了辐射元件之外的另外的部件(例如,射频集成电路(RFIC))可以附加地形成为天线模块197的一部分。
根据各种实施例,天线模块197可以形成毫米波天线模块。根据实施例,毫米波天线模块可以包括印刷电路板、射频集成电路(RFIC)和多个天线(例如,阵列天线),其中,RFIC设置在印刷电路板的第一表面(例如,底表面)上,或与第一表面相邻并且能够支持指定的高频带(例如,毫米波带),所述多个天线设置在印刷电路板的第二表面(例如,顶部表面或侧表面)上,或与第二表面相邻并且能够发送或接收指定高频带的信号。
上述部件中的至少一些可以经由外设间通信方案(例如,总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互耦接并在它们之间通信地传送信号(例如,命令或数据)。
根据实施例,可以经由与第二网络199耦接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102或电子装置104中的每一个可以是与电子装置101相同类型的装置,或者是与电子装置101不同类型的装置。根据实施例,将在电子装置101运行的全部操作或一些操作可以在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如,如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务,则电子装置101可以请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分,而不是运行所述功能或服务,或者电子装置101除了运行所述功能或服务以外,还可以请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可以执行所述功能或服务中的所请求的所述至少部分,或者执行与所述请求相关的另外功能或另外服务,并将执行的结果传送到电子装置101。电子装置101可以在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此,可以使用例如云计算技术、分布式计算技术、移动边缘计算(MEC)技术或客户机-服务器计算技术。电子装置101可以使用例如分布式计算或移动边缘计算来提供超低延迟服务。在另一实施例中,外部电子装置104可以包括物联网(IoT)装置。服务器108可以是使用机器学习和/或神经网络的智能服务器。根据实施例,外部电子装置104或服务器108可以被包括在第二网络199中。电子装置101可以应用于基于5G通信技术或IoT相关技术的智能服务(例如,智能家居、智能城市、智能汽车或医疗保健)。
图2是示出了根据各种实施例的用于识别用户装置的位置的示例系统的图。
参照图2,根据实施例的系统可以包括用户装置200、服务器300和电子装置400。用户装置200和电子装置400中的至少一者可以通过第二网络199(例如,Wi-Fi或蜂窝网络)连接到服务器300。
在实施例中,用户装置200可以包括多个装置。例如,除了用户主要使用的第一装置201之外,用户还可以拥有第二装置202、第三装置203、第四装置204、第五装置205和第六装置206中的至少一者。第一装置201可以是例如而不限于诸如智能电话的移动通信装置。第二装置202可以是例如而不限于诸如智能手表的可穿戴装置。第三装置203可以是例如而不限于诸如耳塞的蓝牙耳机。第四装置204可以是例如而不限于蓝牙耳机或头戴式耳机。第五装置205可以是例如而不限于笔记本计算机。第六装置206可以是例如而不限于平板。除了图2所示的示例之外,用户还可以互锁和使用除第一装置201以外的适当的装置。例如,并且并非限制,钥匙扣、钱包、背包、狗或猫识别装置、汽车、自行车、识别卡、公文包、雨伞等和/或其他装备也可以与第一装置201相关联,只要它们满足本公开中描述的通信功能即可,并且当它们丢失时,第一装置201可以执行位置跟踪。另外,在各种实施例中,用户可以使用两个或更多个相同的装置。例如,用户可以通过彼此互锁来使用多个智能电话(例如,第一装置201)。另外,用户可以与第一装置201关联地使用两个或更多个平板(例如,第六装置206)。
在实施例中,用户装置200可以使用预定或指定通信协议来彼此连接。例如,第一装置201可以通过近场网络连接到第二装置202、第三装置203、第四装置204、第五装置205和第六装置206中的至少一者。例如,可以适当地选择用于建立用户装置200之间的连接的网络(例如,近场网络)。例如,可以与蓝牙一起或代替蓝牙来使用低能耗蓝牙(BLE)、Wi-Fi直连、近场通信(NFC)、超宽带(UWB)通信、或红外通信来建立用户装置200之间的连接。另外,根据实施例,用户装置200可以通过近场无线通信使用网状网络(例如,Zigbee或Z-Wave)来建立连接。
在实施例中,除了第一装置201之外,第二装置202、第三装置203、第四装置204、第五装置205和第六装置206中的至少一者还可以通过第二网络199直接连接到服务器300。例如,任意用户装置可以在不依靠第一装置201的情况下独立建立与第二网络199的连接。
在实施例中,用户装置200可以具有用于根据装置信息(例如,装置部件)彼此连接的各种方法。例如,当用户装置200中的至少一者是基于IP(IP地址)的装置时,可以使用服务集标识符(SSID)来建立与第二网络199的连接,而当用户装置200中的至少一者不是基于IP的装置(例如,BLE、Zigbee或Z-wave)时,可以使用用户装置(例如,第一装置201)或集线器装置(未示出)来建立与第二网络199的连接。
在实施例中,用户装置200中的至少一者可以在丢失时广播用于提供查找功能的通告分组。例如,当确定第二装置202丢失了时,第二装置202可以广播包括各种类型的信息的分组,所述各种类型的信息包括关于第二装置202的标识信息。分组可以被广播以由除第二装置202以外的位于预定通信范围内的电子装置接收。在本公开的各种实施例中,可以将分组或通告分组理解为例如指能够识别出装置已丢失了的信号、消息或信标。
在实施例中,用户装置200中的至少一者可以根据各种准则来确定它是否丢失了。例如,在自当第二装置202最后连接到作为父终端或主终端的第一装置201时的时间以来已经过了第一时间(例如,48小时)的情况和/或自当第二装置最后连接到第一装置201时的时间以来已经过了比第一时间短的第二时间(例如,24小时)但剩余电池水平降至参考值(例如,30%)以下的情况下,可以确定第二装置202丢失了。各种丢失确定准则可以根据用户配置或制造商的标准而被应用于第一时间、第二时间和/或剩余电池水平,并且不限于上述示例。
在各种实施例中,参照图1对电子装置101的描述可以适当地适用于用户装置200。例如,当用户的第一装置201是智能电话时,第一装置201和电子装置101可以是相同的装置。另外,例如,当用户的第三装置203是没有显示器的耳塞时,在电子装置101的描述中除了显示模块160之外的其他描述可以适当地适用于第三装置203。
在实施例中,服务器300可以对应于图1的服务器108。当用户丢失用户装置200中的任何一者时,服务器300可以提供确认丢失装置的位置的功能。在各种实施例中,为了描述的方便,将描述当用户装置200当中的第二装置202丢失时第一装置201确认第二装置202的位置的非限制性示例。
在实施例中,电子装置400可以是与第二装置202的所有者不同的用户的装置。电子装置400可以在已丢失的第二装置202附近直接或间接获得从第二装置202广播的通告分组。电子装置400可以包括用于接收由已丢失的第二装置202使用近场通信技术(例如,BLE)广播的信号的近场通信电路。另外,电子装置400可以包括用于测量它自己的位置的位置测量电路(例如,GPS电路)。另外,电子装置400可以包括用于向服务器300发送关于第二装置202的信息及其位置的电信电路(例如,支持蜂窝网络和/或Wi-Fi网络的通信电路)。
在实施例中,电子装置400也可以是类型与第一装置201相同的装置(例如,智能电话)。因此,参照图1描述的电子装置101的一些或所有描述也可以适用于电子装置400。另外,本公开中对第一装置201的配置或功能的描述也可以适用于电子装置400。然而,本公开不限于此,并且电子装置400可以是支持上述通信功能的任意电子装置。
图3是示出了根据各种实施例的与电子装置的各种功能相关的各种示例模块的图。
可以将图3中描述的各种功能理解为由第一装置201在查找丢失装置方面支持的功能。另外,可以将图3中描述的各种功能理解为由电子装置400在处理从丢失装置获得的通告分组方面支持的功能。如上所述,第一装置201和电子装置400是仅仅根据对应装置是用户的寻找丢失装置的装置还是用户的帮助查找丢失装置的装置来分类的。可以在第一装置201和电子装置400二者中提供图3中描述的功能。以下,作为参照将通过非限制性示例来描述第一装置201。
可以将参照图3描述的功能或操作理解为由第一装置201的处理器执行的功能。处理器可以运行存储在存储器中的指令以实现图3所示的软件模块,并且可以控制与功能相关联的硬件(例如,图1的通信模块180)。例如,各种示例模块可以包括用于提供各种功能的各种处理电路和/或可运行程序指令。
在实施例中,第一装置201可以管理至少一个装置卡。例如,可以将第一装置201的第一装置卡211注册在第一装置201中。另外,可以将与第一装置201具有互锁历史的第二装置202的第二装置卡212注册在第一装置201中。装置卡(例如,第一装置卡211或第二装置卡212)可以包括例如而不限于装置名称和/或标识信息、装置状态、装置电池信息、装置位置历史和/或装置当前状态、与对应装置相关的消息等。在实施例中,第一装置卡211和/或第二装置卡212中包括的信息可以由用户配置和/或改变。例如,第一装置201和/或第二装置202的用户可以配置与第一装置201和/或第二装置202相关联的名称、装置类型(例如,类型)或策略信息。
在实施例中,第一装置201和第二装置202可以共享同一用户账号,并且可以针对同一用户账号注册第一装置卡211和第二装置卡212。例如,当接收到用于由第一装置201的用户确认与第一装置201互锁的用户装置的位置的输入时,第一装置201可以提供向显示器(例如,图1的显示模块160)示出存储在存储器中的关于第一装置卡211和第二装置卡212的信息的用户界面(UI)。将在下面参照图7更详细地描述示例UI。
在实施例中,第一装置201和第二装置202可以具有不同的用户账号。当第一装置201和第二装置202具有不同的用户账号并且确定它们是可信装置时,能够针对同一用户账号注册第一装置卡211和第二装置卡212。例如,当确定第一装置201的第一用户和第二装置202的第二用户彼此具有家庭关系时,可以通过第一装置201的第一用户的第一用户账号来识别关于第二装置202的信息。以下,为了描述的方便将描述相同的用户参照物,但是即使当第一装置201和第二装置202的用户彼此不同时,也可以应用各种实施例。
在实施例中,可以将跟踪器插件220理解为用于注册用户装置的模块。例如,第一装置201可以驱动跟踪器插件220。跟踪器插件220可以提供易设置弹出窗口、使用例如QR码(QR触发)的注册、或手动配置入网(onboarding)功能。例如,用户能够通过使用安装在第一装置201上的相机(例如,图1的相机模块180)拍摄附着到第二装置202或产品外壳的一面的QR码来将第二装置202与用户账号互锁以将第二装置202注册在服务器300中。
在实施例中,查找平台230可以执行用于查找丢失装置的功能。查找平台230可以控制硬件根据与丢失装置的距离有效地查找丢失装置。例如,查找平台230可以与BT查找器231、UWB查找器232和/或AR查找器233一起工作。BT查找器231可以控制蓝牙通信电路,UWB查找器232可以控制UWB通信电路,而AR查找器233可以控制显示器。
在实施例中,当第一装置201与第二装置202之间的距离在第一距离(例如,约100m)内时,BT查找器231可以工作。查找平台230可以控制BT查找器231,并且可以使用支持蓝牙通信和/或BLE通信的近场通信电路来从第二装置202接收分组,或者可以在第一装置201与第二装置202之间的距离在第一距离内时与第二装置202建立近场通信连接。
在实施例中,当第一装置201与第二装置202之间的距离在小于第一距离的第二距离(例如,约50m)内时,UWB查找器232可以工作。查找平台230可以控制UWB查找器232激活连接到多个UWB天线的UWB通信电路以接收用于定位的UWB信道的信号。查找平台230可以接收使用UWB通信电路从第二装置202接收到的UWB信号,并且可以基于由多个UWB天线中的每一个UWB天线接收到的信号的到达时间和/或到达角来估计第二装置202的位置。
在实施例中,AR查找器233可以通过在第二装置202极为接近时在显示器上实现AR来在视觉上协助用户定位第二装置202。这里,术语“极为接近”可以指例如基本上等于第二距离或在比第二距离短的第三距离内。查找平台230可以将通过相机获得的图像数据输出到显示器,并且可以控制AR查找器233在显示器上输出的画面上显示通过UWB查找器232识别的第二装置202的位置。另外,当第一装置201未能从第二装置202有效地接收UWB信号时(例如,当接收灵敏度等于或小于阈值时),AR查找器233可以通过显示器来引导第一装置201以具有适合于接收UWB信号的姿势(角度)。
在实施例中,当AR查找器233工作时,可以一起激活AR核心服务240。AR核心服务240可以控制第一装置201访问存储在存储器和/或AR服务提供服务器中的人/对象识别数据库以增强AR环境。
在实施例中,查找平台230中包括的BT查找器231、UWB查找器232和/或AR查找器233可以基于离第二装置202的距离同时地或选择性地工作。例如,当第一装置201与第二装置202之间的距离是第二距离(例如,在约50m内)时,BT查找器231和UWB查找器232可以同时地工作或者UWB查找器232可以选择性地工作。
在实施例中,当第一装置201从任意丢失装置(例如,第二装置)接收到通告分组时,国家码匹配模块242可以确定用于证明关于丢失装置的信息的国家或属于该国家的服务器。例如,国家码匹配模块242可以在第一装置201用作电子装置400(例如,用作用户的在定位丢失装置时提供协助的装置)时工作。在实施例中,当第一装置201(或电子装置400)确定国家或属于该国家的服务器时,可以使用包括在服务器(例如,图4的服务器300)中的国家码,即,服务器匹配数据库(DB)330的数据。例如,第一装置201(或电子装置400)可以存储从服务器300获取的国家码的数据,即,服务器匹配DB 330的数据,并且可以向连接到第一装置201(或电子装置400)的第二装置202发送该数据。根据实施例,第一装置201(或电子装置400)可以通过装置或软件升级的过程来存储与国家或其隶属关系相关的数据(例如,国家码-服务器匹配DB)。例如,第一装置201(或电子装置400)可以执行空中(OTA)软件更新作为软件升级。例如,OTA软件更新可以包括开放移动联盟(OMA)下载、固件OTA(FOTA)或普通FTP(FTP)。
在实施例中,当第一装置201从任意丢失装置接收到通告分组时,重复报告管理模块244可以管理向服务器重新广播或报告所接收到的通告分组的操作。例如,重复报告管理模块244可以在从任意丢失装置接收到的通告分组满足预定条件时执行向服务器报告/重新广播所接收到的通告分组的操作,并且可以在通告分组不满足预定条件时不执行所述操作。例如,重复报告管理模块244可以在第一装置201用作电子装置400时工作。
在实施例中,位置管理模块246可以管理从服务器300获得的第二装置202的当前位置和/或位置变化历史。另外,位置管理模块246可以控制第一装置201中包括的诸如GPS的位置测量电路以确认和/或管理第一装置201的位置。
在实施例中,跟踪器信息模块248可以管理第二装置202的类型和/或关于第二装置202的标识信息。跟踪器信息模块248可以在第一装置201用作电子装置400时工作。例如,跟踪器信息模块248可以存储和/或管理第二装置202的装置类型(例如,智能手表、耳机、听筒或平板)、通信类型(例如,是否支持BLE、是否支持蓝牙、是否支持蜂窝网络、或是否支持UWB通信)和/或标识信息(例如,装置唯一ID、网络标识ID或用户定义的ID)。
在实施例中,E2E加密模块250可以执行端到端加密。E2E加密模块250可以在第一装置201用作电子装置400时工作。例如,响应于电子装置400从任意丢失装置(例如,第二装置202)接收到通告分组的事实,当向服务器300发送包括丢失装置的标识信息和电子装置400的位置信息的消息时,E2E加密模块250可以对该消息应用加密算法。当E2E加密模块250使用与丢失装置相关联的加密密钥来对消息进行加密时,具有与丢失装置的加密密钥相对应的解密密钥的装置可以获得丢失装置的位置信息。例如,当电子装置400用第二装置202的公用密钥对包括关于第二装置202的标识信息和电子装置400的位置信息的消息进行加密并且向服务器300发送加密后的消息时,第一装置201可以从服务器300获得关于已丢失的第二装置202的加密后的信息,并且可以用第二装置202的专用密钥对所获得的信息进行解密以确认第二装置202的位置(=电子装置400的位置)。例如,第一装置201可以在将第二装置202注册在用户账号中、将第二装置202注册在服务器300中、或执行与第二装置202配对的过程中获得第二装置202的专用密钥。
在实施例中,随机装置ID模块252可以使用预定算法来将对应装置的标识ID改变为随机ID。随机装置ID模块252可以在第一装置201用作电子装置400时工作。例如,当电子装置400从第二装置202接收到通告分组时,电子装置400可以将第二装置202的标识ID改变为随机ID以向服务器300发送消息。第一装置201可以使用预定算法来从随机ID识别第二装置202的ID。
图4是示出了根据各种实施例的与服务器的各种功能相关的示例模块的图。
参照图4,服务器300可以包括账号管理器310、用户信息管理器320、国家码-服务器匹配数据库(DB)330、公用密钥管理器340和查找我的一切(Find My Everything,FME)系统350。从功能观点对图4所示的服务器300的部件进行分类以实现各种实施例,并且可以通过运行各种软件的多个硬件(例如,用于服务器的多个处理器和存储装置)来实现服务器300。另外,可以将服务器300理解为多个服务器。例如,服务器300可以包括用于在第一国家中提供丢失装置查找服务的第一服务器和用于在第二国家中提供丢失装置查找服务的第二服务器。
在实施例中,服务器300可以包括账号管理器310。账号管理器310可以管理在服务器300中注册的用户账号和/或连接到该用户账号的至少一个装置。例如,当用第一用户账号注册第一装置201、第二装置202和第三装置203时,由于第一装置201和第二装置202被链接到同一第一用户账号,所以即使从第一装置201接收到与第二装置202相关的请求,账号管理器310也可以允许第一装置201访问关于第二装置202的信息。
在实施例中,服务器300可以包括用户信息管理器320。用户信息管理器320可以管理与用户账号相关联的用户信息的注册、添加、删除和/或修改。
在实施例中,国家码-服务器匹配DB 330可以维护和更新与国家码和提供丢失装置查找服务的服务器匹配的数据库。例如,服务器300可以用最新数据管理国家码-服务器匹配DB 330,并且可以在发生变化时向在服务器300中用用户账号注册的至少一个装置提供关于连接到国家码的服务器的信息。例如,服务器300可以将数据库提供给在服务器300中注册的第一装置201或电子装置400。在实施例中,电子装置400可以基于从丢失装置获得的通告分组中包括的国家信息来确定要被提供对应位置信息的服务器。
在实施例中,国家码可以基于指示国家的国际电话国家码。例如,美国的国际电话国家码为+1,韩国的国际电话国家码为+82,越南的国际电话国家码为+84,英国的国际电话国家码为+44等。在这种情况下,国家码-服务器匹配DB 330可以包括表1所示的数据。
[表1]
Figure BDA0004113376520000191
Figure BDA0004113376520000201
在各种实施例中,国家码不限于国际电话国家码,可以是能够识别国家的任意信息。例如,也能够将诸如域码(例如,韩国-KR、美国-US或法国-FR)的字母国家码或诸如移动国家码(MCC)的格式(例如,德国-262、韩国-450或法国-208)用作国家码。另外,指示国家码的上述方法仅仅是示例,并且国家码可以用比特加以表达。
在实施例中,公用密钥管理器340可以管理在服务器300中注册的装置的公用密钥。可以以用户账号为单位对公用密钥进行管理或者可以以装置为单位对公用密钥进行管理。例如,可以每一个用户账号配置一个公用密钥。作为另一示例,当五个装置与同一用户账号连接时,可以向五个装置中的每一个装置指配五个不同的公用密钥。
在实施例中,FME系统350可以执行用于提供丢失装置查找服务的过程。例如,当FME系统350从电子装置400接收到对已丢失的第二装置202的公用密钥的请求时,FME系统350可以从公用密钥管理器340获得第二装置202的公用密钥,并且可以向电子装置400提供所获得的公用密钥。例如,FME系统350可以通过账号管理器310来识别其中注册有第二装置202的用户账号。另外,FME系统350可以通过用户信息管理器320来识别与用户账号和/或第二装置202相对应的国家。另外,FME系统350可以通过国家码-服务器匹配DB 330来确定来自电子装置400的请求是否被发送到适当的国家的服务器。当国家指定不正确时,或者当不能识别关于第二装置202的信息时,FME系统350可以向电子装置400提供存储在国家码-服务器匹配DB 330中的数据的至少一部分。例如,FME系统350可以使与国家码和提供丢失装置查找服务的服务器匹配的数据库维持为最新,并且可以向电子装置400提供更新后的数据的至少一部分。
图5是示出了根据各种实施例的由第一装置在服务器中注册第二装置的示例操作的信号流图。
参照图5,在操作501中,第一装置201和第二装置202可以建立近场通信信道。例如,近场通信信道可以是诸如蓝牙或Wi-Fi直连的装置到装置连接,但是不限于此。
根据实施例,在操作503中,第二装置202可以通过近场通信信道来向第一装置201提供关于第二装置202的信息。关于第二装置202的信息可以包括例如第二装置202的类型(例如,智能手表或平板)、唯一标识信息(例如,装置ID)、第二装置202的制造商、关于第二装置202的硬件信息(例如,处理器性能、存储器容量和/或电池容量)、关于第二装置202的软件信息(例如,操作系统类型和版本、安装的应用和/或是否支持装置查找服务)和/或关于通信性能的信息(例如,是否支持蓝牙、是否支持BLE、是否支持UWB、是否支持蜂窝电话、是否支持Wi-Fi、是否支持NFC和/或是否支持MST)。
根据实施例,在操作505中,第一装置201可以获得(例如,获取)关于第二装置202的信息。第一装置201可以将所获得的关于第二装置202的信息存储在第一装置201的存储器(例如,图1的存储器130)中。
根据实施例,在操作507中,第一装置201可以向服务器300发送关于第二装置202的信息并且可以请求注册第二装置202。例如,第一装置201可以向服务器300发送指定格式的消息,并且指定格式的消息可以包括第一装置201的信息、第一装置201的用户信息、第二装置202的注册请求和/或关于第二装置202的信息。例如,当用在服务器300中注册的第一用户账号注册第一装置201时,第一装置201可以向服务器300发送请求用第一用户账号注册第二装置202的消息。作为另一示例,当用在服务器300中注册的第一用户账号注册第一装置201并且用在服务器300中注册的第二用户账号注册第二装置202时,第一装置201可以向服务器300发送消息,从而请求用包括第一用户账号和第二用户账号的第三用户账号(例如,团体账号)进行注册,而且请求删除关于用第二用户账号注册的第二装置202的信息和用第一用户账号注册第二装置202。
根据实施例,在操作509中,服务器300可以从第一装置201获得关于第二装置202的信息。服务器300和第一装置201可以通过预定网络(例如,蜂窝网络或Wi-Fi网络)彼此连接,并且服务器300可以获得通过预定网络从第一装置201发送的关于第二装置202的信息。
根据实施例,在操作511中,服务器300可以相对于第一装置201注册第二装置202。例如,服务器300的账号管理器310也可以使用从第一装置201获得的信息来相对于与第一装置201相对应的第一用户账号注册第二装置202。
根据实施例,在操作513中,服务器300可以发送指示第二装置202已被注册到第一装置201的通知。该通知可以包括第二装置202的国家信息。例如,当服务器300在韩国提供服务时,第二装置202可以包括与韩国相对应的国家信息。作为另一示例,当在服务器300中注册的第一用户账号的国家信息是韩国时,可以将针对第一用户账号注册的所有用户装置200的国家信息配置为韩国。
根据实施例,在操作515中,第一装置201可以从服务器300接收注册通知。该注册通知可以包含国家信息。然而,在实施例中,当在制造第二装置202时已经在第二装置202中注册了第二装置202的国家信息时,或者当第一装置201直接将第一装置201的国家信息或第一装置201的用户账号的国家信息配置为第二装置202的国家信息时,可以在从服务器300接收到的注册通知中省略国家信息。
在实施例中,可以将操作501至515称为第二装置202的注册过程或配置入网过程。另外,根据实施例,注册过程或配置入网过程可以包括在服务器300中存储第二装置202(例如,跟踪器)的标识信息(ID)的过程。
根据实施例,在操作517中,第一装置201可以向第二装置202发送国家信息。如上所述,国家信息可以从服务器300接收,或者可以是由第一装置201已知(或存储)的国家信息(例如,针对第一装置201注册的国家信息或与第一装置201的用户账号相对应的国家信息)。
根据实施例,在操作519中,第二装置202可以从第一装置201获得(例如,获取)国家信息。另外,在实施例中,第二装置202的国家信息可以已经被注册在第二装置202的存储空间(例如,图1的存储器130)中。在实施例中,当第二装置202已经知道它自己的国家信息时,可以省略操作517和519。例如,第一装置201可以知道已经通过操作503和505注册了第二装置202的国家信息。第二装置202可以在丢失状态下广播包括国家信息的通告分组,将稍后对此进行描述。
图6是示出了根据各种实施例的在查找系统中跟踪丢失装置的当前位置的示例操作的信号流图。作为参照,图6示出了在图2的系统中第一装置201和第二装置202共享同一用户账号并且它们当中的第二装置202丢失了的情形。电子装置400是独立于第一装置201的用户的任意装置,并且可以被理解为位于能够接收从第二装置202广播的分组的距离内的装置。
根据实施例,在操作601中,第二装置202可以使用指定通信协议来广播通告分组。指定通信协议可以对应于一种低功率近场通信协议以便最小化和/或减少电池消耗。例如,指定通信协议可以是BLE。
在实施例中,第二装置202可以在检测到第二装置202处于丢失状态时广播通告分组。如上所述,可以配置用于确定第二装置202处于丢失状态的各种条件。然而,在实施例中,第二装置202可以不管是否检测到第二装置202处于丢失状态都广播通告分组。例如,第二装置202可以每预定周期(例如,1小时)重复地广播通告分组持续预定时间(例如,15分钟)。作为另一示例,第二装置202可以每指定时间(例如,用户配置时间)重复地广播通告分组持续预定时间。
根据实施例,在操作611中,电子装置400可以接收由外部装置广播的通告分组。为了描述的方便,在下面假定由第二装置202广播的通告分组被接收。
在实施例中,电子装置400可以包括各种通信电路。例如,电子装置400可以包括支持近场通信以便接收通告分组的第一无线通信电路。另外,电子装置400可以包括支持长距离通信(例如,蜂窝式通信)以便与服务器300进行通信的第二无线通信电路。另外,电子装置400可以包括用于测量它自己的位置的位置测量电路(例如,GPS)。除了诸如GPS的使用卫星导航的定位系统之外,位置测量电路还可以包括使用基站或Wi-Fi的接入点(AP)的定位系统或使用NFC信标的定位系统。
在实施例中,由于由第二装置202广播的通告分组使用指定近场通信协议,所以通告分组的接收可以例如指第二装置202和电子装置400处于近场通信协议所允许的通信距离内。例如,当电子装置400通过BLE接收到通告分组时,可以将电子装置400估计为位于离第二装置202约100m内。因此,从宏观观点来看,可以将电子装置400的位置视为与第二装置202的位置相同。
根据实施例,在操作613中,电子装置400可以使用位置测量电路来测量电子装置400的位置。电子装置400可以基于测量结果来确定电子装置400的位置(例如,纬度坐标和/或经度坐标)。
根据实施例,在操作615中,电子装置400可以向服务器300发送所测量到的位置信息和第二装置202的标识信息。例如,电子装置400可以使用上述第二无线通信电路来向服务器300发送包括第二装置202的标识信息(例如,唯一ID和/或序列号)和位置信息的消息。电子装置400可以指定消息中包括的位置信息是电子装置400的位置信息,但是可以允许消息简单地包括位置信息本身,而不指定位置信息的主体。
根据实施例,在操作617中,电子装置400可以在向服务器300发送消息之后广播通告分组。例如,由电子装置400从第二装置202获得的通告分组被称为第一分组,而由电子装置400再次广播的通告分组被称为第二分组。然后,第二分组与第一分组相比可以包括基本上相同或更少的内容(数据)。然而,电子装置400可以使得第二分组的一些字段具有与第一分组的一些字段不同的值。例如,电子装置400可以配置不同的多跳计数字段值以指示电子装置400是通告分组的间接传播者而不是直接传播者。例如,当第一分组的多跳计数是n时,可以将第二分组的多跳计数配置为n+1。在实施例中,可以将由第二装置202直接生成的通告分组的多跳计数配置为零(例如,n=0)。根据实施例,可以以部分地与第一分组的格式不同的格式定义基于第一分组所生成的第二分组。例如,在第二分组的格式中,可以省略第一分组的格式中包括的多个字段当中的至少一些字段。
在各种实施例中,电子装置400可以在向服务器300发送消息之前或者与发送消息基本上同时地广播通告分组。另外,可以不执行操作617。
根据实施例,在操作621中,服务器300可以从电子装置400获取包括第二装置202的标识信息和位置信息的消息。当在消息的获取之前和/或之后有来自第一装置201的对跟踪第二装置202的位置的请求(例如,操作631)时,在操作623中,服务器300可以向第一装置201发送外部装置(例如,第二装置202)的位置信息。例如,在操作631中,第一装置201可以向服务器300发送对跟踪第二装置202的位置(或确认位置)的请求,并且服务器300可以在操作623中响应于从第一装置201接收到的请求来发送关于由第一装置201识别的第二装置202的位置的信息。例如,服务器300可以向第一装置201发送最近确认的关于第二装置202的位置的信息。在操作633中,第一装置201可以获取由服务器300在操作623中发送的第二装置202的信息。
根据实施例,在操作635中,第一装置201可以从服务器300获取关于第二装置202的位置信息。在操作635中,第一装置201可以基于从服务器300获取的信息来确定第二装置202的位置。可以通过安装在第一装置201中的提供位置确认服务的应用来实现操作631、633和/或635。在这方面,将参照图7做出描述。
根据实施例,在操作621中,当从电子装置400获取了第二装置202的标识信息和位置信息时,服务器300可以确定是从已在服务器300中用第一账号注册了第二装置202的第一装置201还是从具有第一账号的另一装置接收到位置跟踪请求(例如,操作631)。例如,当未从第一装置201接收到位置跟踪请求(例如,操作631)时,服务器300可以不执行操作623。根据实施例,尽管未示出,但是服务器300可以基于是否从第一装置201接收到位置跟踪请求(例如,操作631)来向电子装置400发送响应消息。例如,当从第一装置201接收到位置跟踪请求(例如,操作631)时,服务器300可以向电子装置400发送指示第二装置202的标识信息和位置信息已被发送到第一装置201的响应消息。作为另一示例,当未从第一装置201接收到位置跟踪请求(例如,操作631)时,服务器300可以请求电子装置400在指定时间内不发送第二装置202的标识信息和位置信息。根据实施例,电子装置400可以基于来自服务器300的响应来广播通告分组(例如,操作617)。
图7是示出了根据各种实施例的用于在第一装置中识别用户装置的位置的示例用户界面的图。
参照图7,第一画面701可以是提供第一装置201的位置确认服务的应用的运行画面。第一装置201可以以列表的形式显示关于在第一装置201中注册的用户装置的信息。根据实施例,第一画面701可以呈现包括与第一装置卡211相对应的项目(未示出)和与第二装置卡212相对应的项目的列表。例如,第一画面701的列表可以包括与表示用第一装置201的用户账号注册的第一装置201的智能电话(例如,Galaxy A)相对应的第一项目710,以及与用所述用户账号注册的任意平板(例如,Galaxy Tab S6 LTE)相对应的第二项目720。在以下描述中,第一项目710和/或第二项目720的描述也可以适用于第一画面701上未指定的其他项目(例如,“Jamie(Galaxy S10)”、“Jamie(_tale device name_)和/或“Galaxy WatchActive2”)。
在实施例中,列表中包括的每个项目可以包括各种类型的信息。例如,第一项目710可以包括以下至少一者:指示智能电话的图标711、智能电话的昵称(例如,Anne)和型号名称(Galaxy A)712、最后确认位置713(例如,IL,美丽城,主街,124号)、对应位置被最后确认时的时间714(例如,最后更新:1分钟前)、从第一装置201的当前位置到智能电话的距离715、以及用于基于第一装置201的当前位置和最后确认位置713来运行地图应用或地图功能的导航菜单716。可以省略上述内容的一些项目。例如,当装置的位置未被确认时,可以不显示最后确认位置713、对应装置被最后确认时的时间714、或导航菜单716中的至少一些。
在实施例中,第一装置201可以在应用被运行时自动地执行操作631。在实施例中,第一装置201可以在应用被运行之后通过用户输入来执行操作631。在实施例中,第一装置201可以每预定周期(例如,12小时)执行操作631并且可以更新在第一装置201中注册的用户装置200的位置。
在实施例中,当发生用于从列表中包括的若干项目当中选择第二项目720的用户输入700时,第一装置201可以向第一装置201的显示器提供第二画面702。第二画面702可以是例如基于第二装置卡212而生成的UI。
在实施例中,第二画面702可以包括地图区域730和第二装置卡区域750。例如,可以将地图区域730显示在第二画面702的上部(区域)上,并且可以将第二装置卡区域750显示在第二画面702的下部(区域)上。然而,这仅是示例,并且第二装置卡区域750可以设置在与所示出的示例不同的位置处。例如,可以在占据第二画面702的大部分的地图上以浮动形式提供第二装置卡区域750。另外,可以通过用户输入来移动/放大/缩小第二装置卡区域750的位置或尺寸。
在实施例中,可以将通过服务器300确认的用户装置的位置显示在地图区域730上。可以以图标的形式显示用户装置的位置。例如,可以将与第一项目710相对应的智能电话的位置与第一图标732一起显示在地图上。另外,可以将与通过用户输入700选择的第二项目720相对应的平板的位置与第二图标731一起显示在地图上。在实施例中,与通过用户输入700选择的第二项目720相对应的平板的位置可以位于地图区域730的中心。另外,可以将第一装置201的当前位置740显示在地图区域730上。在实施例中,第一装置201的当前位置740可以位于地图区域730的中心。
在实施例中,第二装置卡区域750可以包括装置动作菜单751、导航菜单752、铃声菜单753和/或查看细节菜单754。
在实施例中,当装置动作菜单751被选择时,第一装置201可以确定第二装置202(例如,与第二项目720相对应的平板)是否在第一装置201附近。例如,当装置动作菜单751被选择时,第一装置201可以基于第一装置201的位置和从服务器300接收到的用户装置200的位置信息来提供和/或更新地图区域730。另外,例如,响应于装置动作菜单751被选择的事实,第一装置201可以使用指定通信协议(例如,BLE)来搜索第二装置202是否存在于附近。当第一装置201使用指定通信协议连接到第二装置202时,第一装置201可以驱动AR查找器233并通过AR界面来提供第二装置202的位置,或者可以确定是否提供AR界面。
在实施例中,当导航菜单752被选择时,第一装置201可以在地图区域730上显示到第二装置202的确认位置的路线。在实施例中,当铃声菜单753被选择时,第一装置201也可以试图对第二装置202进行呼叫或者使第二装置202产生指定声音。例如,当第二装置202支持呼叫功能时,第一装置201可以响应于对铃声菜单753的选择来试图对第二装置202进行呼叫。作为另一示例,当第二装置202通过预定近场通信网络连接到第一装置201时,响应于对铃声菜单753的选择,第一装置201可以通过近场通信网络来向第二装置202发送指定信号。在接收到指定信号时,第二装置202可以响应于指定信号来生成预定义通知信号(例如,警报、振动和/或发光)以通知其位置。
在实施例中,当查看细节菜单754被选择时,第一装置201可以提供关于第二装置202的更详细信息。例如,第一装置201可以根据各种条件来显示第二装置202的状态。例如,当第二装置202连接到用户装置200当中的第一装置201或另一装置(例如,第五装置205或第六装置206)时,第一装置201可以显示诸如“在附近查找”的第一状态消息。消息可以被以弹出窗口形式显示或者显示在第二装置202的第二装置卡区域750中。另外,当第二装置202未连接到用户装置200中的第一装置201或另一装置但是不处于“离线查找状态”时,第一装置201可以显示诸如“不在范围查找中”的第二状态消息。这里,“离线查找”状态指第二装置202被确定为丢失的状态,以及自当第二装置202最后连接到用户装置200中的任何一者时的时间以来已经过了阈值时间的状态。
在实施例中,当第二装置202未连接到用户装置200中的第一装置201或另一装置并且不处于“离线查找”状态,但是已有查找第二装置202的尝试时,可以显示诸如“丢失模式查找”的第三状态消息。另外,当第二装置202未连接到用户装置200中的第一装置201或另一装置但是处于“离线查找”状态时,第一装置201可以显示诸如“更新模式查找”的第四状态消息。另外,当第一装置201试图连接到第二装置202时,可以显示诸如“正在连接”的第五状态消息。在实施例中,与装置动作菜单751相关的第一状态消息至第五状态消息可以被包括在图3的第一装置卡211和/或第二装置卡212中。
上述第一状态消息至第五状态消息仅仅是非限制性示例,并且根据各种实施例,可以由制造商或用户适当地配置更少或更多的状态消息。例如,第一装置201可以提供第二装置202的剩余电池量信息。另外,第一装置201可以基于时间戳来显示第二装置202的位置(位置信息)。另外,第一装置201可以使用适当的信息(装置卡消息)来显示第二装置202的当前状态。例如,第一装置201可以在显示器上显示指示第二装置202是位于第一装置201附近还是位于用户装置200中的另一装置(例如,第四装置204)附近、第二装置202的最后位置在哪里、是否正在搜索第二装置202、或是否已经找到第二装置202的消息。
在实施例中,第二装置卡区域750中呈现的信息不限于所示出的示例,而是可以与以下中的至少一条信息一起提供:与装置动作菜单751相关的信息和查看细节菜单754中包括的信息(例如,剩余电池水平、位置信息和/或装置卡消息)。
图8是示出了根据各种实施例的由电子装置执行扫描以查找任意外部装置的示例操作的信号流图。
根据实施例,在操作811中,电子装置400可以激活离线查找。例如,电子装置400的用户可以在配置菜单中激活离线查找功能。作为另一示例,可以周期性地激活离线查找功能或者可以一直激活离线查找功能。作为另一示例,可以仅在指定时间段(例如,上午9:00至下午6:00)中激活离线查找功能。
根据实施例,在操作813中,电子装置400可以响应于离线查找功能的激活来配置与离线查找相关的参数。例如,可以配置诸如扫描周期以及扫描窗口、扫描间隔、扫描保持时间和/或唤醒意图的参数。这里,扫描周期可以指执行一次扫描的时间。扫描窗口可以指在扫描周期中实际地执行扫描的时间。例如,当扫描周期是2000ms并且扫描窗口是200ms时,近场通信电路可以在唤醒之后执行第一次扫描持续200ms,可以在剩余1800ms内维持睡眠状态,并且当在唤醒之后已经过了2000ms时,然后可以再次执行第二次扫描持续200ms。
扫描保持时间可以指用于在上述扫描周期中维持扫描的时间。例如,电子装置400可以在一小时内维持每2000ms执行的扫描。扫描间隔可以指扫描保持时间之间的间隔。例如,当扫描保持时间是一小时并且扫描间隔是4小时时,电子装置400可以从00:00起维持扫描持续一小时,可以维持睡眠状态持续3小时,然后可以在从00:00起已经过了4小时之后再次维持扫描持续一小时。
根据实施例,可以省略操作813。当操作813被省略时,指定的配置值(例如,默认值)可以用于配置与离线查找相关的参数。
根据实施例,在操作815中,电子装置400可以开始扫描。可以根据通过在操作813中配置的扫描相关参数所定义的规则来执行电子装置400的扫描。电子装置400可以激活支持近场通信的第一通信电路以在执行扫描的同时获取从外部装置(例如,第二装置202)获得的通告分组。
根据实施例,在操作801中,第二装置202可以使用指定的近场通信协议来广播通告分组。例如,第二装置202可以使用BLE协议来以特定时间间隔广播包括第二装置202的标识信息和国家码的通告分组和/或多跳计数。
在实施例中,第二装置202可以根据网络状态的变化来广播通告分组。例如,第二装置202可以确定当前网络是否可用。例如,当第二装置202与服务器300或第一装置201之间的网络连接丢失了时,第二装置202可以确定网络连接的丢失是否由于飞行模式而发生。为了使第二装置202的应用确认当前网络状态,对应的应用(例如,提供位置查找服务的应用)可以驻留在第二装置202的存储器中。在实施例中,当网络连接的丢失不是由于飞行模式而发生时,第二装置202可以配置警报并且可以在所配置的警报时间到达时广播通告分组。此后,当网络被再次恢复(例如,与第一装置201的连接被恢复)时,第二装置202可以取消所配置的警报并且可以停止广播通告分组。
根据实施例,在扫描开始之后,在操作817中,电子装置400可以从外部装置(例如,第二装置202)接收由第二装置202在操作801中广播的通告分组。在操作817中,电子装置400可以从所接收到的通告分组中包括的信息获得关于第二装置202的信息,并且可以在操作819中将获得的信息存储在电子装置400的存储器中。
根据实施例,在操作821中,电子装置400可以基于从第二装置202接收到的信息(例如,国家码)来向服务器300发送关于第二装置202的信息。电子装置400可以包括关于第二装置202的信息和第二装置202的位置信息。这里,位置信息可以是由电子装置400的位置测量电路测量的电子装置400的位置。另外,电子装置400可以从服务器300获得用于对向服务器300发送的信息进行加密的加密密钥以便改进安全性,可以用所获得的加密密钥对关于第二装置202的信息进行加密,并且可以向服务器300发送加密后的信息。例如,电子装置400可以向服务器300发送关于第二装置202的信息的至少一部分,可以从服务器300获得加密密钥,然后可以使用所获得的加密密钥来对第二装置202的信息和/或位置信息进行加密以向服务器300发送加密后的信息。
根据实施例,在操作831中,服务器300可以从电子装置400获得(例如,获取)第二装置202的信息和/或位置信息,并且可以响应于来自第一装置的请求来向第一装置201提供关于第二装置202的位置的信息(例如,图6的操作623)。
在实施例中,电子装置400可以重复操作815、817、819和/或821持续预定时间,例如,扫描保持时间,并且可以在扫描保持时间结束时在操作823中将离线查找功能去激活。然而,在实施例中,可以通过诸如电子装置400的用户输入或剩余电池水平等的各种事件来将离线查找功能去激活。
图9是示出了根据各种实施例的根据电子装置的画面的开启/关闭来调整扫描间隔的示例操作的信号流图。
参照图9,在操作911中,电子装置400可以配置与屏幕开启/关闭相关的参数。例如,电子装置400可以在图8的操作813中响应于离线查找功能的激活来配置与离线查找功能相关的参数。可以取决于电子装置400的屏幕(显示器)是处于开启状态还是关闭状态而不同地配置一些参数。例如,电子装置400可以在屏幕开启状态下在第一周期(例如,1000ms)中执行扫描,但是可以在屏幕关闭状态下在第二周期(例如,一小时)中执行扫描。又如,电子装置400可以在屏幕开启状态下按第一长度(例如,200ms)在扫描窗口上执行扫描,但是可以在屏幕关闭状态下按第二长度(例如,100ms)在扫描窗口上执行扫描。
根据实施例,在操作913中,可以开启电子装置400的屏幕。当电子装置400的屏幕被切换到开启状态时,在操作915中,电子装置400可以开始以第一间隔对从外部装置广播的通告分组进行扫描。
根据实施例,在操作901中,第二装置202可以如在图8的操作801中一样使用指定近场通信协议来连续地广播通告分组。在以第一间隔执行扫描的同时,电子装置400可以在操作917中从外部装置(例如,第二装置202)获得通告分组,并且可以向服务器300发送通过通告分组获得的第二装置202的信息和/或位置信息。
根据实施例,在操作931中,服务器300可以从电子装置400获取第二装置202的信息和/或位置信息,并且可以响应于来自第一装置201的请求来向第一装置201提供关于第二装置202的位置的信息(例如,图6的操作623)。
根据实施例,在操作921中,电子装置400可以确定电子装置400的屏幕是否被关闭。当电子装置400的屏幕未被关闭(例如,开启状态被维持)时,电子装置400可以以第一间隔连续地执行扫描操作。当电子装置400的屏幕被关闭时,在操作923中,电子装置400可以终止扫描或者可以以被配置为比第一间隔长的第二间隔执行扫描。
图10是示出了根据各种实施例的第二装置的示例配置和由第二装置广播的分组的数据结构的图。
参照图10,第二装置202可以包括处理器(例如,包括处理电路)1010、存储器1020和通信电路1030。图10所示的第二装置202的部件仅仅是示例,并且参照图1描述的部件可以适当地适用于第二装置202。另外,图1的描述可以适用于图10的部件当中与图1相对应的部件。
在实施例中,处理器1010可以包括各种处理电路并且执行来自存储器1020的指令,而且可以实现分组生成模块1040和/或连接管理器1050(这些模块中的每一个模块可以例如包括由处理器运行的各种可运行程序指令)。可以将分组生成模块1040和连接管理器1050理解为通过运行存储在存储器1020中的程序代码所实现的软件模块。另外,在以下描述中,可以将被描述为由分组生成模块1040或连接管理器1050执行的操作理解为由处理器1010执行。
参照图10,处理器1010可以通过运行存储在存储器1020中的指令来驱动分组生成模块1040。分组生成模块1040可以生成包括关于第二装置202的信息的通告分组1000。处理器1010可以经由(使用)连接管理器1050将所生成的通告分组1000提供给通信电路1030,并且通信电路1030可以使用指定协议来广播通告分组1000。
在实施例中,通告分组1000可以包括版本1001、分组类型1002、多跳计数1003、隐私ID 1004、区域1005、UWB 1006和/或配对字段1007。
在实施例中,版本1001可以指通告分组的版本。由于通告分组必须基于在广播通告分组的第二装置202与接收和解释通告分组的电子装置400之间共享的规则,所以通告分组的版本可以用于确定用于由已接收到通告分组的电子装置400解释通告分组中包括的数据的规则。例如,当接收到较旧版本而不是最新版本的通告分组时,电子装置400可以根据与较旧版本相对应的规则来解释通告分组。作为另一示例,当电子装置400的版本低于通告分组的版本时,电子装置400可以通过服务器(例如,图1的服务器108)来更新版本。
在实施例中,分组类型1002可以指示对应分组是否是对于通告分组支持多跳的分组。另外地,和/或可替选地,分组类型1002可以指示关于第二装置202当前是处于离线模式(例如,离线查找)还是在线模式的信息。
在实施例中,多跳计数1003可以指示通告分组被传播了多少次。例如,当从第二装置202直接广播通告分组时,可以将通告分组的多跳计数定义为0。当从第二装置202接收到通告分组的另一装置再次广播通告分组时,可以将再次广播的通告分组的多跳计数定义为1或更大。
在实施例中,隐私ID 1004可以是第二装置202的唯一标识信息。另外地,和/或可替选地,隐私ID 1004可以是基于第二装置202的唯一标识信息根据预定算法生成的随机ID。
在实施例中,区域1005可以包括第二装置202的国家信息。例如,区域1005可以是在第二装置202配置入网时从服务器300接收到的可以通过其知道服务器300的国家信息和/或地址的信息。例如,区域1005可以是与图3的国家码匹配模块242或图4的国家码-服务器匹配DB 330中包括的数据相关的信息。
在实施例中,UWB 1006可以指示第二装置202是否是支持UWB通信的装置。通告分组1000还可以包括关于第二装置202除了支持UWB之外是否还支持E2E或MCF的信息。
在实施例中,配对1007可以包括关于第二装置202是否单独工作、第二装置是否作为一对(诸如耳塞)工作、或当第二装置作为一对工作时第二装置是否彼此配对的信息。
图11是示出了根据各种实施例的第一装置的示例配置的框图。
参照图11,第一装置201可以包括第一无线通信电路1121、第二无线通信电路1122、UWB通信电路1123、位置测量电路1124、相机1131、显示器1140、以及电连接到或可操作地连接到其的至少一个处理器(例如,包括处理电路)1110。可以将图11的第一装置201理解为从服务器300获得已丢失的第二装置202的坐标信息、移动到坐标附近、并且相对于第二装置202执行近场连接和UWB通信的装置。例如,第一装置201可以是基于第一用户账号在服务器300中注册第二装置202的装置,或基于相同的第一用户账号在服务器300中注册的装置。
在各种实施例中,对图1的电子装置101和图2的第一装置201的描述可以适用于参照图11、图12、图13、图14、图15、图16和图17描述的第一装置201。例如,第一装置201的处理器1110可以对应于图1的处理器120。另外,第一装置201的相机1131可以对应于图1的相机模块180。第一装置201的第一无线通信电路1121、第二无线通信电路1122、UWB通信电路1123和位置测量电路1124可以对应于图1的通信模块190或无线通信模块192。另外,对图1的电子装置101的描述可以适当地适用于第一装置201。
在实施例中,第一无线通信电路1121可以支持近场通信。例如,第一无线通信电路1121可以支持BLE通信和/或BT通信。当第一装置201在能够与第二装置202进行近场通信的范围内接近时,第一装置201可以使用第一无线通信电路1121来建立近场通信信道。
在实施例中,第二无线通信电路1122可以与服务器300进行通信。第一装置201可以使用第二无线通信电路1122来通过蜂窝网络或Wi-Fi网络获得报告给服务器300的第二装置202的位置信息。
在实施例中,UWB通信电路1123可以使用天线、使用约3GHz至10.6GHz的频带中的信号来执行通信。例如,UWB通信电路1123可以电连接到多个天线,并且所述多个天线可以包括贴片天线、偶极子天线、或使用第一装置201的壳体(未示出)的一部分的天线。UWB通信电路1123可以通过经由多个天线测量信号的到达角(AOA)来测量目标对象与第一装置201之间的距离和方向。UWB通信电路1123可以以UWB测距数据格式的形式生成和提供定位信息,其中,UWB测距数据可以包括例如第一aoa First(AOA)、第二aoa Second(AOA)、距离、装置ID和/或蓝牙(BT)信息。这里,第一AOA可以指目标对象相对于电子装置的水平轴线(或宽度方向)的角度,而第二AOA可以指目标对象相对于电子装置的垂直轴线(或长度方向)的角度。第一AOA可以被称为aoaPortrait,而第二AOA可以被称为aoaLandscape。
在实施例中,位置测量电路1124可以包括GPS。另外,相机1131可以通常是设置在第一装置201的后侧的后置相机,但是不限于此。例如,相机1131可以包括前置相机或合适的光学传感器(例如,IR相机)。
在实施例中,显示器1140可以在视觉上向第一装置201的外部(例如,用户)提供对应信息。显示器1140可以包括例如显示器、全息图装置、投影仪等,以及用于控制对应装置的控制电路。根据实施例,显示器1140可以包括被配置为感测触摸的触摸传感器或被配置为测量由触摸产生的力的强度的压力传感器。在实施例中,显示器1140可以是可卷的或可折叠的。在各种实施例中,当第一装置201是AR眼镜装置时,第一装置201可以包括眼镜,并且显示器1140可以被定位在眼镜的至少一部分上,而且显示器1140的至少一部分可以包含透明材料。
图12是示出了根据各种实施例的与第一装置的部件相关的各种示例模块和通过部件实现的各种功能的图。
根据实施例的第一装置201可以包括处理器(例如,包括处理电路)1110、一个或更多个传感器1130、显示器1140、存储器1150、蜂窝电路1241、Wi-Fi电路1242、UWB电路1243(例如,图11的UWB通信电路1123)、BLE/BT电路1244和/或GPS电路1245。
参照图12,处理器1110可以通过运行存储在存储器1150中的程序代码来实现位置引导服务1200。例如,可以将位置引导服务1200实现为包括存储在存储器1150中的一个或更多个指令的软件(例如,程序140)。可以将位置引导服务1200理解为使用处理器1110和其他合适的硬件来执行。
根据实施例的位置引导服务1200可以包括UI层1210、环境理解模块1221、光估计模块1222、运动跟踪模块1223、数据储存库1231、锚生成模块1232和/或连接管理器1240。
参照图3和图12,可以通过查找平台230、BT查找器231、UWB查找器232、AR查找器122和/或AR核心服务240来实现位置引导服务1200。例如,查找平台230可以配置UI层1210并且可以通过显示器1140提供UI。另外,可以将通过显示器1140的UI获得的用户输入提供给适当的模块。BT查找器231和UWB查找器232可以通过连接管理器1240来控制适当的通信电路。例如,BT查找器231可以控制BLE/BT电路1244,而UWB查找器232可以控制UWB电路1243。
在实施例中,一个或更多个传感器1130可以包括相机1131、加速度传感器1132、陀螺仪传感器1133和/或地磁传感器1134。
在实施例中,AR核心服务240可以包括环境理解模块1221、光估计模块1222和/或运动跟踪模块1223。
在实施例中,环境理解模块1221可以通过分析诸如地板或桌子的周围环境的特征点来检测水平平面。例如,环境理解模块1221可以激活相机1131并且可以捕获周围图像以进行特征点分析。
在实施例中,光估计模块1222可以通过观察环境照明并且向在AR界面中生成的虚拟对象添加适当的照明效果来更逼真地实现虚拟对象。例如,光估计模块1222可以使用照度传感器和/或相机1131来检测和分析环境照明。
在实施例中,运动跟踪模块1223可以使用一个或更多个传感器1130来根据第一装置201的移动确定第一装置201的姿态,诸如第一装置201的位置和方向。在本公开中,姿态可以被称为是通过将本地坐标空间中的对象转换成标准坐标空间(或世界坐标空间)而获得的。也就是说,即使第一装置201在本地坐标空间中移动,也能够通过将第一装置调整到标准坐标空间来维持一致环境。
在实施例中,运动跟踪模块1223可以使用相机1131、加速度传感器1132、陀螺仪传感器1133和/或地磁传感器1134中的至少一者来确定第一装置201的姿态。运动跟踪模块1223可以使用相机1131来分析周围空间中的特征点。另外,可以将加速度传感器1132和陀螺仪传感器1133称为惯性测量单元(IMU)。
在实施例中,AR查找器233可以包括数据储存库1231和锚生成模块1232。AR查找器233可以在接收到UWB信号和/或BT信号时基于从BT查找器231和UWB查找器232获得的信号来确定临时点(temp point)和目标点。此后,AR查找器233可以将基于目标点生成的AR提供给显示器1140作为AR界面。当临时/持续地未接收到UWB信号时,AR查找器233可以基于临时点来更新AR界面。
在实施例中,数据储存库1231可以执行在通过UI层1210向显示器1140提供AR界面之前适当地存储和处理各种类型的数据的功能。例如,数据储存库1231可以移除在特定周期内收集的数据当中偏差大于或等于指定范围的数据,或者可以执行归一化或平滑操作。
在实施例中,锚生成模块1232可以基于所获得的UWB信号(例如,UWB测距数据)来生成与丢失装置(例如,第二装置202)相对应的锚。锚生成模块1232可以被配置为使得第一装置201或第一装置201的相机1131以及锚的坐标能够与实际位置维持适当的相对位置。例如,锚生成模块1232可以基于所获得的UWB信号和第一装置201的姿势在标准坐标空间中配置锚,并且可以计算出第一装置201与第二装置202之间的距离和方向信息。另外,锚生成模块1232可以基于通过一个或更多个传感器1130获得的信息来更新第一装置201与第二装置202之间的距离和方向信息。
然而,本公开中描述的软件模块的分类仅仅是示例,并且适当的修改是可能的。例如,AR查找器233甚至可以包括AR核心服务240的功能。另外,图12中由箭头指示的连接关系仅仅是示例,而不限制硬件/软件之间的连接。例如,尽管在图12中未示出,但是处理器1110和显示器1140可以通过预定接口直接电连接到和/或可操作地彼此连接。
图13是示出了根据各种实施例的提供用于查找丢失装置的引导的示例操作的流程图。
参照图13,在操作1301中,第一装置201可以从服务器300获得(例如,获取)关于丢失(例如,第二)装置的信息。为了描述的方便,假定丢失装置是用户装置200当中与第一装置201共享同一用户账号的第二装置202。在实施例中,第一装置201可以使用第二无线通信电路1122来从服务器300获得关于在第一装置201中用第一装置201的用户账号注册但是当前未连接到第一装置201的第二装置202的信息。
在实施例中,操作1301可以在用户运行提供位置引导服务的应用时被自动地执行,或者可以在用户通过预定接口提供请求位置信息的输入时被执行。例如,第一装置201可以向服务器300发送对第二装置202的信息请求,并且可以从服务器300接收关于第二装置202的信息。
在实施例中,关于第二装置202的信息可以包括关于第二装置202的坐标的信息。第二装置202的坐标可以指由另一装置(例如,电子装置400)测量的已从第二装置202接收到通告分组的装置的GPS位置信息。另外,关于第二装置202的信息还可以包括关于第二装置202是否支持UWB通信(例如,第二装置202是否包括UWB天线和UWB通信电路)的信息、第二装置202的剩余电池水平和/或关于根据第二装置202的剩余电池水平是否支持UWB通信的信息。
根据实施例,在操作1303中,第一装置201可以基于从服务器300获得的关于第二装置202的信息和由位置测量电路1124测量的第一装置201的位置来确定第一装置201是否存在于离第二装置202的坐标的指定或规定距离内(例如,距离D是否小于指定阈值TH)。例如,第一装置201可以确定第一装置201的当前位置与第二装置202的坐标之间的距离D是否小于阈值距离TH。例如,第一装置201的用户可以基于从服务器300获得的关于第二装置202的信息移动到第二装置202的位置,并且可以通过位置测量电路1245或GPS电路1245来确定第一装置201的当前位置与第二装置202的坐标之间的距离D是否小于阈值距离TH。
响应于操作1303中的确定,第一装置201可以确定是尝试与第二装置202进行近场通信连接还是在第二装置202所位于的方向上引导移动。例如,当第一装置201的当前位置与第二装置202的坐标之间的距离D小于阈值距离TH(例如,第一距离)时,在操作1305中,第一装置201可以使用第二装置202和第一无线通信电路1121来建立近场通信连接。近场通信连接可以例如是蓝牙通信信道。作为另一示例,当第一装置201的当前位置与第二装置202的坐标之间的距离D大于或等于阈值距离TH时,在操作1307中,第一装置201可以在显示器1140上显示指示更靠近第二装置202的移动引导。
根据实施例,当建立了与第二装置202的近场通信连接时,在操作1309中,第一装置201可以通过近场通信连接来向第二装置202发送激活第二装置202的UWB功能的请求。可以在建立了近场通信连接时立即执行该请求,或者即使建立了近场通信连接,也可以在第一装置201在UWB通信可能的范围(例如,第二距离)内接近之后才执行该请求。例如,UWB通信可能的范围(例如,第二距离)可以小于阈值距离TH(例如,第一距离)。另外,一旦建立了近场通信连接,第一装置就可以周期性地发送请求,直到确定UWB通信是否是可能的为止。
在实施例中,当由第一装置201从服务器300获得的关于第二装置202的信息包括第二装置202当前能够支持UWB的内容时,可以执行操作1309。例如,从服务器300获得的第二装置202当前能够支持UWB的内容可以包括关于第二装置是否支持UWB通信和/或第二装置是否具有第二装置能够执行UWB通信的剩余电池水平的信息。然而,本公开不限于此,并且即使当由第一装置201从服务器300获得的关于第二装置202的信息不包含UWB相关信息时,或者即使当关于第二装置202的信息不包括第二装置202不支持UBW的内容时,也可以执行操作1309。另外,可以在执行近场通信连接的同时从第二装置202提供关于第二装置202是否支持UWB的信息。或者,可以在参照图5描述的配置入网过程当中的适当的过程(例如,操作503或操作515)中提供关于第二装置202是否支持UWB的信息。
在实施例中,已通过所建立的与第一装置201的近场通信连接接收到UWB激活请求的第二装置202可以响应于UWB激活请求来激活第二装置202的UWB通信功能。例如,当通过无线通信电路与第一装置201建立近场通信连接时,第二装置202响应于从第一装置201接收到的UWB激活请求来激活第二装置202中的UWB通信电路。在实施例中,第二装置202可以使用UWB通信电路和连接到该UWB通信电路的UWB天线来在通过UWB激活请求配置的信道(频率)和周期(例如,100ms)中发送UWB信号。在各种实施例中,在被描述为包括在第一装置201中的部件当中,参照第一装置201提供的描述可以适用于甚至包括在第二装置202中的部件。
在实施例中,当从第二装置202接收到作为对激活UWB功能的请求的响应的、指示UWB功能的激活为不可能的响应时,第一装置201可以使用另一通信功能而不是UWB功能来估计到第二装置202的距离。例如,第一装置201可以确定使用第一无线通信电路112检测到的信号的强度(例如,蓝牙信号的强度),并且可以在信号的强度增加的方向上引导移动。另外,第一装置201可以使用预定查询表来根据信号强度显示近似的距离。
根据实施例,在操作1311中,第一装置201可以基于从第二装置202接收到的UWB信号来识别第二装置202相对于第一装置201的位置。例如,第一装置201可以识别第二装置202所位于的方向和到第二装置202的距离。
根据实施例,在操作1313中,第一装置201可以通过显示器1140来输出AR界面。例如,第一装置201可以使用相机1131来获取第一装置201的周边图像数据,可以基于所获取的图像数据和所识别的第二装置202的位置来生成AR界面,并且可以将所生成的AR界面输出到显示器1140。参照图14描述与其相关的示例UI。
图14是示出了根据各种实施例的由电子装置根据距离提供的各种示例UI的图。
参照图14,当提供位置引导服务的应用被运行时,第一装置201可以提供诸如第一画面1410的引导画面。例如,第一装置201可以运行位置引导服务以查找第二装置202(例如,Galaxy Note 20),并且可以提供根据与第二装置202的信号强度从外部到内部用预定颜色填充圆圈的UI形式。例如,当在显示第一画面1410时第一装置201接近第二装置202时,可以显示第二画面1420。当显示第一画面1410和第二画面1420时,BT查找器231可以工作。
在实施例中,当发生预定义AR查找器运行事件时,第一装置201可以将引导画面从第一画面1401或第二画面1420切换到第三画面1430或第四画面1440。例如,第二画面1420可以包括用于切换到AR界面的第一图标1401。响应于用户对第一图标1401的选择,可以将第二画面1420切换到提供AR界面的第三画面1430。在这种情况下,用于选择第一图标1401的用户输入可以对应于AR查找器运行事件。类似地,第三画面1430可以包括用于将AR界面切换到BT界面的第二图标1402。例如,当第二画面1420被切换到第三画面1430时,在第二画面1420上显示的第一图标1401可以被改变为同一位置处的第二图标1402并且可以被显示。响应于用户对第二图标1402的选择,可以将第三画面1430切回到提供BT界面的第二画面1420。
在实施例中,可以将第二画面1420自动地切换到第三画面1430。例如,响应于第一装置201位于离第二装置202的坐标的指定距离内并且在第一装置201与第二装置202之间建立了近场通信连接的事实,第一装置201可以将界面从第二画面1420切换到第三画面1430。在这种情况下,第一装置201位于离第二装置202的坐标的指定距离内并且建立了与第二装置202的近场通信连接的事实可以对应于AR查找器运行事件。作为另一示例,响应于在第一装置201与第二装置202之间建立了近场通信连接并且第二装置202激活UWB,可以将对应界面从第二画面1420切换到第三画面1430。在这种情况下,从第二装置202接收到对UWB激活的响应可以对应于AR查找器运行事件。作为另一示例,基于用户使用加速度传感器1132、陀螺仪传感器1133和/或地磁传感器1134检测到第一装置201移动了指定范围或更多的事实,可以将界面从第二画面1420切换到第三画面1430。
在实施例中,第三画面1430可以是在操作1313中输出的AR界面。除了上述第二图标1402之外,第三画面1430还可以包括指示从第一装置201的当前位置到基于UWB信号所识别的第二装置202的位置的距离的第一对象1431。另外,在基于第一装置201的姿态而确定的坐标空间中,可以包括指向与第二装置202相对应的位置的第二对象1432。这里,与第二装置202相对应的位置可以对应于由锚生成模块1232生成的锚的位置。另外,第二对象1432可以是指示方向的对象,诸如用于指示朝向锚的方向的箭头。第二对象1432可以指示第二装置202当前位于由第一装置201的相机1131捕获的帧外部,或者位于帧内部但不够极为接近。
在实施例中,当确定第一装置201与第二装置202极为接近(例如,在3.5m内)并且第二装置202位于由第一装置201的相机1131捕获的帧内时,第一装置201可以向显示器1140输出第四画面1440。在实施例中,第四画面1440可以在AR界面上将指向对象的箭头1442与表示第二装置202的对象一起显示。
图15是示出了根据各种实施例的由电子装置使用增强现实(AR)提供的各种示例UI的图。
参照图15,当第一装置201在参考距离内靠近第二装置202时,可以提供第一UI1501。例如,当在向显示器1140输出图14的第一画面1410或第二画面1420或另一任意画面的状态下第一装置201在参考距离(例如,30m或50m)内靠近第二装置202时,可以显示弹出窗口形式的询问是否运行对应查找器的菜单以及指示第二装置202位于附近的消息(例如,你的Galaxy Note 20可能在附近)。
在实施例中,第一装置201可以响应于运行查找器的用户输入1500来试图与第二装置202进行通信。通信尝试可以是使用蓝牙来建立近场通信连接的过程。建立近场通信连接可以取决于第一装置201与第二装置202之间的距离和/或信号强度而花费几秒钟,并且可以在建立期间提供第二UI 1502。可以在显示第二UI 1502的同时执行操作1305和1309,并且可以从第二装置202接收对UWB激活的响应。
在实施例中,当与第二装置202的连接失败时,可以以弹出窗口的形式显示取消查找功能1532或者促使重试1531的第三UI 1503。当与第二装置202的连接成功时,可以提供用于使用UWB信号来扫描第二装置202的详细位置的第四UI 1504。
在实施例中,第四UI 1504可以是用于引导全景扫描以便更准确地接收UWB信号的画面。一般而言,UWB天线可以包括布置在第一方向上以识别出第一AOA和第二AOA的两个天线,以及布置在与第一方向基本上垂直的第二方向上的两个天线。每一个天线可以按用于UWB通信的信号的波长的约1/2的间隔彼此间隔开。任何一个天线可以通常用于第一方向和第二方向,并且在这种情况下,UWB天线模块可以包括三个天线。由于通过UWB天线测量的AOA值可以取决于用户如何握住第一装置201(即,第一装置201的姿态)而变化,所以在特定时间内获取UWB信号同时以各种角度缓慢地移动第一装置201以进行准确测量可以是有效的。因此,第一装置201可以如第四UI 1504所示的那样在UI的中心处显示箭头以引导对应装置在箭头的方向上移动。第一装置201可以根据移动范围或角度来移动箭头或者改变箭头的颜色。例如,在第四UI 1504包括四个箭头的情况下,当第一装置移动了90度时,可以改变这些箭头之一的颜色,而当第一装置移动了360度时,可以改变所有四个箭头的颜色。作为另一示例,第四UI 1504可以提供将第一装置201从纵向方向切换到横向方向的引导。
在实施例中,可以根据第一装置201的姿态在适当的时间提供如第四UI 1504所示用于有效地接收UWB信号的引导。例如,当用户将第一装置201的相机1131握持为面向地面时,通过相机1131获得的图像可能不适合于生成AR。另外,由于第一装置201中包括的UWB天线平行于地面设置,所以可能不很好地从第二装置202接收UWB信号。因此,第一装置201可以基于通过一个或更多个传感器1130接收到的传感数据来引导用户在与地面基本上垂直的方向上握持第一装置201。
在实施例中,当根据引导的移动完成时,第一装置201可以显示第五UI 1505。然而,可以取决于UWB信号状态而省略第五UI 1505。例如,第五UI 1505可以表示第一装置201移动并基于所接收到的UWB信号来计算出第二装置202的位置的操作。
在实施例中,第一装置201可以在第二装置202的位置确认失败时显示第六UI1506。第六UI 1506可以包括用于取消1562查找功能或者重试1561查找功能的菜单。
在实施例中,当第二装置202的位置基于UWB信号被确认时,第一装置201可以显示第七UI 1507。第七UI 1507可以对应于在上面参照图14描述的第三画面1430,并且在这里可以不重复冗余描述。在实施例中,第七UI 1507还可以包括用于结束使用AR界面的引导并且将UI切换到使用地图和/或方位角来提供引导的方向视图的图标1571。响应于选择图标1571的用户输入,第一装置201可以提供引导第二装置202所位于的方向的地图或方位角(例如,罗盘)UI。
在实施例中,当在根据第七UI 1507的引导移动时从第二装置202丢失了信号时,可以显示第八UI 1508。第八UI 1508可以包括用于取消1582查找功能或者重试1581查找功能的菜单。
在实施例中,当确定第一装置201与第二装置202极为接近并且第二装置202位于由第一装置201的相机1131捕获的帧内时,第一装置201可以向显示器1140输出第九UI1509。第九UI 1509可以对应于图14的第四画面1440,并且在这里可以不重复冗余描述。在实施例中,与显示第九UI 1509一起,第一装置201可以呼叫第二装置202(例如,铃声呼叫)或者提供诸如触觉生成请求和/或发光请求的交互,从而向用户提供第二装置202的确切位置。
图16是示出了根据各种实施例的在电子装置中使用UWB和传感器数据来更新目标位置的示例操作的流程图。
参照图16,在操作1601中,第一装置201可以从第二装置202接收UWB信号。在实施例中,当第一装置201向第二装置202发送UWB激活请求时,可以将用于发送UWB信号的间隔配置为第一周期,并且当第一周期到达时,可以从第二装置202接收UWB信号。
根据实施例,在操作1603中,第一装置201可以基于所接收到的UWB信号来确定目标的位置。这里,目标可以是由锚生成模块1232生成的与第二装置202相对应的锚。也就是说,每当接收到UWB信号时,可以更新锚。换句话说,可以以第一周期更新锚。
根据实施例,在操作1605中,第一装置201可以使用一个或更多个传感器1130来更新目标相对于第一装置201的位置。例如,当第一装置201从在操作1603中确定了锚的位置时起在锚的位置被更新之前移动时,第一装置201可以使用通过一个或更多个传感器1130获得的信息来更新锚和第一装置201的相对位置。可以每第二周期(该第二周期比第一周期短)地执行操作1605。例如,可以将第一周期配置为100ms,并且可以将第二周期配置为10ms。
根据实施例,在操作1607中,第一装置201可以确定第一周期是否已经过去。当第一周期尚未过去时,第一装置201可以基于通过一个或更多个传感器1130获得的信息来每第二周期地更新目标的位置。可以将通过图16的流程图更新的目标的位置反映在参照图13、图14和图15描述的AR界面中。
在实施例中,当第一周期已经过去时,在操作1609中,第一装置201可以确定是否从第二装置202接收到UWB信号。当正常地接收到UWB信号时,第一装置201可以通过再次执行操作1603来基于新接收到的UWB信号更新锚。
在实施例中,即使已到达第一周期,也可能未接收到新UWB信号。例如,当第一装置201朝向第二装置202移动并且通过与UWB信号相对应的频带难以通过的空间时,可能发生UWB通信失败。在这种情况下,第一装置可以在操作1611中改变第一周期和第二周期中的至少一者。例如,第一装置201可以将第一周期(例如,100ms)改变为比第一周期短的第三周期(例如,20ms或50ms)以更快地接收新UWB信号。在此过程中,第一装置201可以通过先前建立的近场通信连接(例如,蓝牙信道)来释放UWB连接并且可以发送对以改变后的周期再次与第二装置执行UWB连接的请求。另外,由于第一装置201根据基于最后接收到的UWB信号所配置的锚来更新第一装置201和目标的相对位置,所以随着时间过去,锚的位置具有低可靠性。也就是说,由于锚的位置与当接收UWB信号时相比不太可靠,所以第一装置201可以使用一个或更多个传感器1130来将更新相对位置的周期改变为比第二周期(例如,10ms)长的第四周期(例如,20ms或30ms)。
根据实施例,当在第一周期和第二周期中的至少一者被改变之后接收到UWB信号超过指定次数时,第一装置201可以将UWB信号接收周期从第三周期改变为第一周期,并且/或者可以使用一个或更多个传感器1130来将用于更新相对位置的周期从第四周期改变为第二周期。
图17是示出了根据各种实施例的图16的流程图的示例操作的信号流图。
根据实施例,第一装置201可以包括AR核心服务240、至少一个或更多个传感器1130、UI层1210、数据储存库1231、锚生成模块1232和/或UWB电路1243。
参照图16,可以在操作1701中执行通过UI层1210来注册监听器(listener)的操作。根据实施例,可以将注册监听器的操作理解为在数据储存库1231中注册与从第二装置202接收到的UWB信号相关的各种参数的过程。例如,可以将关于UWB通信的开始以及第二装置202和UWB信号的传输周期(例如,第一周期-100ms)的信息注册在数据储存库1231中。另外,注册监听器的操作可以包括注册用于接收传感器信号以协助UWB信号并且基于传感器信号来更新UI的周期(例如,第二周期—10ms)。
根据实施例,在操作1703中,UWB电路1243可以与第二装置202建立UWB连接。数据储存库1231中注册的参数可以用于UWB连接。另外,可以将UWB电路1243理解为UWB查找器232。
根据实施例,在操作1705中,UWB电路1243可以以第一周期接收UWB信号。可以将所接收到的UWB数据提供给AR核心服务240。
根据实施例,在操作1707中,AR核心服务240可以向锚生成模块1232提供UWB数据。除了从UWB电路1243获得的UWB数据(例如,UWB测距数据)、关于世界坐标的信息和/或关于本地坐标与世界坐标之间的关系的信息之外,AR核心服务240还可以向锚生成模块1232提供关于用于生成AR的本地坐标的信息。
根据实施例,在操作1709中,锚生成模块1232可以基于从AR核心服务240获得的数据来生成虚拟锚。例如,当生成了第一装置201的姿态并且在标准坐标空间中配置锚时,锚可以相对于第一装置201的相机1131位于第一方向和第一距离中。当在标准坐标空间中朝向锚定位相机1131时,即使第一装置201的位置和姿态发生改变,也可以将锚显示在相机1131的视角内。因此,当使用一个或更多个传感器1130来检测第一装置201的运动和/或倾斜时,第一装置201可以确定相机1131当前面向的方向以及相机1131的当前方向之间的角度和距离。
根据实施例,在操作1711中,一个或更多个传感器1130可以向锚生成模块1232提供传感器数据。例如,可以向锚生成模块1232提供以下当中的至少一条数据:通过相机1131获得的数据、通过加速度传感器1132获得的第一装置201的运动信息、通过陀螺仪传感器1133获得的第一装置201的倾斜信息、和/或通过地磁传感器1134获得的第一装置201的方向信息。一个或更多个传感器1130可以连续地或周期性地向锚生成模块1132提供传感器数据。
根据实施例,在操作1713中,锚生成模块1132可以通过将第一装置201的传感器数据反映在生成的虚拟锚坐标中来以第二周期更新AR界面。例如,锚生成模块可以每第二周期(例如,10ms)更新第一装置201与锚之间的距离和方向信息并且可以将更新后的信息提供给数据储存库1231。
根据实施例,在操作1715中,数据储存库1231可以使用各种算法来执行数据的归一化、扁平化和/或滤波。例如,数据储存库1231可以使用卡尔曼滤波器来移除超出预定范围的数据。数据储存库1231可以对提供给数据储存库1231的所有数据执行上述操作,并且在这里可以不重复其描述。
根据实施例,在操作1717中,数据储存库1231可以向UI层1210提供关于离锚的距离和/或方向的信息。第一装置201的用户可以通过第一装置201的显示器1140、通过以指定时间间隔(例如,10ms)更新的AR界面来接收第二装置202的位置。根据实施例,可以基于提供AR界面的显示器的扫描速率来确定指定间隔。
在实施例中,当将接收新UWB数据时,UWB信号可能未被正常地接收。例如,当即使自最后接收到UWB信号的时间以来已过去了第一周期也未从第二装置202接收到新UWB信号时,在操作1719中,UWB电路1243可以向AR核心服务240通知尚未接收到UWB信号。在实施例中,UWB电路1243可以在未接收UWB信号时不向AR核心服务240提供任何数据,并且当即使已到达第一周期也未提供新UWB时,AR核心服务240可以确定在UWB通信中已发生了通信故障。
根据实施例,在操作1721中,AR核心服务240可以使用一个或更多个传感器1130的数据来改变作为UWB信号的接收周期的第一周期和作为目标位置的更新周期的第二周期中的一者或更多者。例如,AR核心服务240可以从UWB电路1243请求将第一周期改变为比第一周期短的第三周期。根据实施例,UWB电路1243可以基于从AR核心服务240接收到的周期改变请求来释放第一周期中配置的现有UWB连接,并且可以配置请求以第三周期发送UWB信号的新UWB连接。可以通过由第一通信电路1121建立的近场通信连接来交换与UWB连接的释放/重新建立相关的消息。作为另一示例,AR核心服务240可以从锚生成模块1232请求将第二周期改变为比第二周期长的第四周期。
在操作1722中,锚生成模块1232可以从一个或更多个传感器1130请求从AR核心服务240接收到的周期改变。然而,在实施例中,虽然可以维持从一个或更多个传感器1130获取的传感器数据的周期,但是可以增加仅由锚生成模块1232更新的周期。当仅由锚生成模块1232更新的周期被增加时,可以省略由锚生成模块1232向一个或更多个传感器1130发送的请求的过程。
根据实施例,在操作1723中,锚生成模块1232可以甚至在接收到UWB信号之后获取传感器数据。在这种情况下,锚生成模块1232可以维持基于最后接收到的UWB信号而生成的锚的坐标。也就是说,可以基于最后生成的锚来反映新获取的传感器数据。
根据实施例,在操作1725中,锚生成模块1232可以向数据储存库1231提供基于最后锚的距离和方向信息。例如,锚生成模块1232可以以比第二周期长的第四周期向数据储存库1231提供锚相对于第一装置201的位置。
根据实施例,在操作1727中,数据储存库1231可以基于改变后的周期向UI层1210提供关于到锚的距离和/或方向的信息。UI层1210可以基于从数据储存库1231接收到的从锚起的距离和方向信息来更新AR界面。
图18是示出了根据各种实施例的与丢失装置建立连接的示例操作的信号流图。
参照图18,描述这样的示例:当已丢失第二装置202的第一装置201的用户应用与第二装置202的丢失相关的配置时,另一用户的电子装置400查找第二装置202并与第二装置202进行通信。在参照图1至图17描述的内容当中,没有与图18至图21的内容一起布置的内容可以同样地适用于图18至图21的描述。
根据实施例,在操作1801中,第一装置201可以激活帮助请求。例如,识别出第二装置202已丢失的第一装置201的用户可以注册有助于查找第二装置202的信息。另外地或可替选地,为了查找第二装置202,第一装置201的用户可以主动地向其他用户请求协助。参照图19描述与注册信息和请求帮助相关的示例UI。
在实施例中,当通过第一装置201的UI激活了帮助请求时,第一装置201可以向服务器300发送指示该帮助请求被激活的信息。服务器300可以从第一装置201接收指示对丢失装置(例如第二装置202)的帮助请求已被激活的信息。另外,所述信息可以包括关于丢失消息的信息。丢失消息可以包括例如当找到丢失装置时要联系的联系人(例如,第一装置201的用户的联系人)、关于丢失时奖励的信息等。
在实施例中,帮助请求可以是在第二装置202丢失之前做出的,或者可以是在丢失之后做出的。当帮助请求是在第二装置202的丢失之前做出的时,第一装置201可以使用支持近场范围通信(例如,BT)的第一无线通信电路1121来向第二装置202提供丢失消息。第二装置202可以将所获取的丢失消息存储在存储器1020中并且可以在建立了与电子装置400的连接之后将丢失消息提供给电子装置400。
在实施例中,当帮助请求是在第二装置202丢失之后做出的,丢失消息可以由服务器300提供给电子装置400。
根据实施例,在操作1810中,电子装置400可以使得查找丢失装置。操作1810可以对应于图8的操作811。例如,电子装置400可以通过适当的设置画面来激活搜索丢失装置的功能。将参照图20描述与其相关的示例UI。
在实施例中,电子装置400的丢失装置查找功能可以基本上处于激活状态。在这种情况下,电子装置400的用户可以将丢失装置查找功能去激活以便减少功耗。在实施例中,当电子装置400的电池高于指定水平(50%)时,电子装置400的丢失装置查找功能可以被自动地激活。在实施例中,电子装置400的丢失装置查找功能可以基本上处于不活动状态。可以通过针对适当的设置画面的用户输入来激活丢失装置查找功能。
根据实施例,在操作1811中处于丢失状态的第二装置202可以广播通告分组。操作1811可以对应于图6的操作601、图8的操作801和图9的操作901。
根据实施例,在操作1820中,电子装置400可以接收由第二装置201广播的通告分组。操作1820可以对应于图6的操作611。
根据实施例,在操作1830中,电子装置400可以向服务器300发送第二装置202的标识信息和电子装置400的位置信息。例如,电子装置400可以确认第二装置202的通告分组中包括的第二装置202的标识信息(例如,隐私ID 1004)。另外,电子装置400可以使用位置测量电路来确认电子装置400的位置信息。电子装置400可以向服务器300发送所确认的标识信息和位置信息。操作1830可以对应于图6的操作613和615。
根据实施例,在操作1831中,服务器300可以获得(获取)第二装置202的标识信息和位置信息。操作1831可以对应于图6的操作621。
根据实施例,在操作1833中,服务器300可以向电子装置400发送丢失消息和/或认证密钥。例如,服务器300可以确认与从电子装置400接收到的第二装置202的标识信息相对应的第一装置201的配置。例如,服务器300可以确认在第一装置201中激活了对丢失装置的帮助请求。当帮助请求被激活时,服务器300可以向电子装置400发送丢失消息和诸如一次性会话密钥的认证密钥。认证密钥可以用于在无线通信连接(例如,BLE GATT连接)期间在没有单独的加密/解密的情况下认证电子装置400和第二装置202是可信装置。
在实施例中,当帮助请求未被激活时,服务器300可以执行图6的操作623,而不是执行图18的操作1833至1850。
在实施例中,可以出于安全目的以规则间隔改变第二装置202的隐私ID 1004。例如,第二装置202可以根据预定算法以15分钟间隔改变通告分组中包括的隐私ID 1004。可以在第一装置201和/或服务器300中以相同方式实现算法。例如,服务器300可以在用第一专用密钥维持第二装置202的标识信息的第一时间间隔(例如,15分钟)中生成与第一专用密钥相对应的一次性会话密钥。这里,此一次性会话密钥可以仅在第一时间间隔期间对与第二装置202的通信有效。例如,在电子装置400接收到一次性会话密钥之后过去预定时间之后(例如,在第二装置202的隐私ID 1004被改变为第二专用密钥之后),当用与第一隐私密钥相对应的一次性会话密钥尝试与第二装置202的通信连接时,该通信连接可能被第二装置202拒绝。
根据实施例,在操作1840中,电子装置400可以从服务器300接收丢失消息和/或认证密钥。在操作1841中,电子装置400可以在电子装置400的显示器上输出有关丢失装置的通知。例如,电子装置400可以使用弹出窗口、通知、声音、振动等来在显示器上显示附近有丢失装置的通知。
根据实施例,在操作1843中,电子装置400可以试图使用认证密钥来与第二装置202连接。电子装置400可以包括支持近场通信网络的第一无线通信电路和支持长距离通信网络(例如,蜂窝、Wi-Fi)的第二无线通信电路。电子装置400可以在与服务器300的通信中使用第二无线通信电路并且可以在与第二装置202的通信中使用第一无线通信电路。
根据实施例,在操作1845中,第二装置202可以基于从电子装置400接收到的认证密钥来允许与电子装置400的连接。例如,第二装置202可以基于认证密钥来允许与电子装置的BLE通用属性(GATT)连接。然而,第二装置202与电子装置400之间的连接可以是使用近场通信的各种连接并且不限于GATT连接。
根据实施例,在操作1850中,电子装置400可以与第二装置202建立通信连接。电子装置400可以控制第二装置202的一些功能,或者可以使用此通信连接来从第二装置202获得丢失消息。
以下,将在下面参照图19、图20和图21描述执行图18的操作的第一装置201和电子装置400的各种示例UI。
图19是示出了根据各种实施例的用于在第一装置中激活查找丢失装置的帮助请求并注册丢失消息的各种示例UI的图。
参照图19,可以在第一装置201的显示器上提供诸如第一画面1910的界面以便做出与帮助请求相关的配置。可以用诸如例如“Galaxy Tag”的名称在第一装置201中提前注册第二装置202。
在实施例中,第一画面1910可以包括用于在找到丢失装置时提供通知的第一配置项目1911,以及供所有者注册消息/配置的第二配置项目1913。响应于对第二配置项目1913的选择,电子装置400可以显示第二画面1920。
在实施例中,第二画面1920可以包括指示能够通过诸如轻拂、拖曳或滚动的触摸输入来切换配置画面的区域1921。当第二画面1920被切换到第三画面1930时,区域1921中的指示器可以指示当前页面。
在实施例中,响应于对“向其他人请求帮助”项目1923的选择,第一装置201可以将处于不活动状态的帮助请求功能切换到活动状态。当帮助请求功能处于活动状态时,可以响应于选择来将帮助请求功能切换到不活动状态。
在实施例中,当帮助请求功能被从不活动状态切换到活动状态时,可以提供适当的警告消息1925。警告消息1925可以以覆盖在第二画面1920上的弹出窗口形式提供,或者可以以替换项目1923的形式提供。当帮助请求功能被激活时,可以输出关于可以提供有关用户的联系信息的事实、第二装置202的一些功能(例如,铃声)可以由另一装置控制的事实、和/或赔偿承诺可以具有法律约束力的事实的警告。当警告消息1925被确认(例如,选择开启)时,可以激活项目1923的切换开关。
在其他实施例中,可以省略警告消息1925。在这种情况下,响应于选择项目1923,可以立即激活查找丢失装置功能。例如,在第二画面1920上,项目1923可以用项目1927替换。
在实施例中,第一装置201可以响应于对丢失消息项目1931的选择来显示用于输入丢失消息的第四画面1940。例如,用户可以使用键区区域1943或合适的输入手段来生成和存储丢失消息1941。
图20是示出了根据各种实施例的用于在电子装置中激活丢失装置查找功能的各种示例UI的图。
在实施例中,第一画面2010可以包括用于激活丢失装置查找功能的项目2011。响应于对用于激活丢失装置查找功能的项目2011的选择,电子装置400可以显示第二画面2020。当丢失装置查找功能被激活时,电子装置400可以激活图18的用于近场通信的第一无线通信电路并且可以扫描由外围装置广播的通告分组。
在实施例中,第二画面2020可以包括指示丢失装置查找功能被激活的描述。用户可以通过选择第二画面的关闭按钮2021来将丢失装置查找功能切换到不活动状态。
图21是示出了根据各种实施例的用于在电子装置中执行与丢失装置的连接的各种示例UI的图。
如参照图18和图20所描述的,电子装置400可以激活丢失装置查找功能。当丢失装置查找功能被激活时,电子装置400可以通过从诸如在附近存在的第二装置202的丢失装置接收到通告分组而识别出在附近有丢失装置。
在实施例中,当对于第二装置202激活帮助请求时,电子装置404可以从服务器300接收包括丢失消息/认证密钥的信息。响应于对信息的接收,电子装置400可以在显示器上输出关于丢失装置的通知。例如,电子装置400可以执行图18的操作1841。
在实施例中,电子装置400可以在执行操作1841时向显示器输出第一UI 2110。例如,电子装置400可以显示包括确认在附近是否有丢失装置以及是否执行搜索的消息2111的第一UI 2110。图21的消息仅仅是示例并且可以被酌情改变。例如,可以输出确认是否执行与第二装置202的连接的消息。另外,可以将消息作为弹出窗口、声音、振动、通知、或它们的两者或更多者的组合输出。
在实施例中,响应于针对消息的用户输入,电子装置400可以试图与第二装置202连接。例如,电子装置400可以使用从服务器300接收到的认证密钥(例如,一次性会话密钥)来尝试与第二装置202的BLE GATT连接。在电子装置400正在试图连接的同时,可以显示指示正在尝试连接的第二UI 2120。
在实施例中,当建立了使用认证密钥与第二装置202的连接时,电子装置400可以显示指示已建立了与第二装置202的连接的第三UI 2130。第三UI 2130可以包括连接的装置的标识信息(例如,Galaxy Tag)。
在实施例中,可以响应于针对第三UI 2130的用户输入来显示第四UI 2140。在另一示例中,可以在显示第三UI 2130之后过去指定时间之后自动地显示第四UI 2140。在实施例中,可以省略第三UI 2130的显示并且可以立即显示第四UI 2140。
在实施例中,第四UI 2140可以包括由第一装置201注册的丢失消息2141。另外,第四UI 2140可以包括用于使第二装置202的铃声响的图标2143。例如,响应于对图标2143的选择,电子装置400可以通过BLE GATT连接来向第二装置202发送用于使铃声响的控制信号。第二装置202可以通过响应于接收到控制信号来控制第二装置202的扬声器来输出铃声声音。通过上述控制,电子装置400能够有效地查找第二装置202。
在上述示例中,已描述了电子装置400通过图标2143来控制第二装置202的铃声声音,但是电子装置400可以通过适当的图标、菜单、按钮等来控制电子装置202的一个或更多个功能。例如,电子装置400可以在第二装置202中生成振动,或者可以控制第二装置202发送UWB信号。电子装置400可以使用从第二装置202接收到的UWB信号有效地识别第二装置202的位置。在这方面,电子装置400可以执行被描述为能够由第一装置201使用图13至图17执行的至少一些功能。
一种根据示例实施例的电子装置(例如,电子装置101或第一装置201)可以包括:相机(例如,相机模块180或相机1131);显示器(例如,显示模块160或显示器1140);位置测量电路;超宽带(UWB)天线;UWB通信电路,该UWB通信电路与UWB天线连接;第一无线通信电路,该第一无线通信电路被配置为支持近场通信;第二无线通信电路,该第二无线通信电路被配置为支持蜂窝通信;以及至少一个处理器(例如,处理器120或处理器1110)。所述至少一个处理器可以被配置为:使用第二无线通信电路来从服务器(例如,服务器300)获取关于在电子装置中注册的并且当前未连接到电子装置的外部装置(例如,第二装置202)的信息;基于从服务器获得的信息和由位置测量电路测量的电子装置的位置来确定电子装置是否在离关于外部装置的信息中包括的外部装置的坐标的指定距离内;响应于该确定通过第一无线通信电路来与外部装置建立近场通信连接;通过所建立的近场通信连接来向外部装置发送激活外部装置的UWB功能的请求;基于从外部装置接收到的UWB信号来识别外部装置相对于电子装置的位置;以及基于使用相机获取的图像数据和所识别的外部装置的位置来向显示器输出增强现实(AR)界面。
在示例实施例中,AR界面可以包括指示从电子装置的当前位置到所识别的外部装置的位置的距离的第一对象。另外,AR界面可以包括指向所识别的外部装置的位置的第二对象。
在示例实施例中,基于电子装置不在离外部装置的坐标的指定距离内,至少一个处理器可以被配置为提供用于将显示器朝向外部装置的坐标移动的引导。
在示例实施例中,基于从外部装置接收到了作为对激活UWB功能的请求的响应的、指示UWB功能的激活为不可能的响应,至少一个处理器可以被配置为使用第一无线通信电路来检测与外部装置的距离。
在示例实施例中,所述至少一个处理器可以被配置为基于从服务器获得的关于外部装置的信息来确定是否使用UWB功能。
在示例实施例中,从服务器获得的信息可以包括关于外部装置是否支持UWB通信的信息或关于外部装置的电池的信息。
在示例实施例中,基于电子装置不在离外部装置的坐标的指定距离内,至少一个处理器可以被配置为向显示器输出第一UI,并且响应于电子装置在离外部装置的坐标的指定距离内并且在电子装置与外部装置之间建立了近场通信连接,将第一UI切换到包括使用相机获得的图像数据的第二UI。
在示例实施例中,所述电子装置还可以包括一个或更多个传感器(例如,一个或更多个传感器1130),并且至少一个处理器可以被配置为:使用UWB通信电路来每第一周期地从外部装置接收UWB信号;以及基于通过一个或更多个传感器获得的传感器数据,每第二周期地更新基于UWB信号识别的外部装置的位置,第二周期比第一周期短。
在示例实施例中,基于第一周期到达并且未从外部装置接收到UWB信号,所述至少一个处理器可以被配置为改变第一周期和第二周期中的至少一者。
一种根据示例实施例的方法可以包括:使用电子装置的第二无线通信电路来从服务器(例如,服务器300)获取关于在电子装置(例如,电子装置101或第一装置201)中注册的并且当前未连接到电子装置的外部装置(例如,第二装置202)的信息;基于从服务器获得的信息和由电子装置的位置测量电路测量的电子装置的位置来确定电子装置是否在离关于外部装置的信息中包括的外部装置的坐标的指定距离内;响应于该确定通过第一无线通信电路来与外部装置建立近场通信连接;通过所建立的近场通信连接来向外部装置发送激活外部装置的超宽带(UWB)功能的请求;基于从外部装置接收到的UWB信号来识别外部装置相对于电子装置的位置;以及基于使用电子装置的相机获取的图像数据和所识别的外部装置的位置来向电子装置的显示器输出增强现实(AR)界面。
根据示例实施例的方法还可以包括:基于电子装置不在离外部装置的坐标的指定距离内来提供用于将显示器朝向外部装置的坐标移动的引导。
根据示例实施例的方法还可以包括:基于从外部装置接收到了作为对激活UWB功能的请求的响应的、指示UWB功能的激活为不可能的响应,使用第一无线通信电路来检测与外部装置的距离。
根据示例实施例的方法还可以包括:基于电子装置不在离外部装置的坐标的指定距离内来向显示器输出第一UI;以及响应于电子装置在离外部装置的坐标的指定距离内并且在电子装置与外部装置之间建立了近场通信连接,来将第一UI切换到包括使用相机获得的图像数据的第二UI。
根据示例实施例的方法还可以包括:使用UWB通信电路来每第一周期地从外部装置接收UWB信号;以及基于通过一个或更多个传感器获得的传感器数据来每第二周期地更新基于UWB信号识别的外部装置的位置,第二周期比第一周期短。
一种根据示例实施例的电子装置(例如,第二电子装置202)可以包括:无线通信电路(例如,通信电路1030);超宽带(UWB)通信电路;UWB天线,该UWB天线与UWB通信电路电连接;以及处理器(例如,处理器1010),该处理器电连接到或可操作地连接到无线通信电路和UWB通信电路电。所述处理器可以被配置为:使用无线通信电路来与外部装置建立近场通信连接;通过近场通信连接来接收UWB激活请求;以及响应于UWB激活请求,使用UWB通信电路来发送指定频率的UWB信号。
在示例实施例中,所述处理器可以被配置为使用无线通信电路来广播通告分组,所述通告分组包括指示UWB通信电路是否可用的信息。
在示例实施例中,所述处理器可以被配置为通过近场通信连接来向外部装置(例如,第一装置201)提供指示UWB通信电路是否可用的信息。
在示例实施例中,所述处理器可以被配置为基于电子装置的剩余电池水平等于或小于参考值来向外部装置提供指示UWB通信电路不可用的信息。
在示例实施例中,UWB激活请求可以包括关于用于使用UWB通信电路来发送UWB信号的周期的信息,并且处理器可以被配置为使用UWB通信电路来每周期地发送UWB信号。
一种根据示例实施例的电子装置可以包括:位置测量电路;第一无线通信电路,所述第一无线通信电路被配置为支持近场通信;第二无线通信电路,所述第二无线通信电路被配置为支持蜂窝通信;以及至少一个处理器,所述至少一个处理器电连接到所述位置测量电路、所述第一无线通信电路和所述第二无线通信电路。所述至少一个处理器可以被配置为:使用第一无线通信电路来从外部装置获取通告分组;使用第二无线通信电路来向服务器发送从通告分组获得的外部装置的标识信息和通过位置测量电路获得的电子装置的位置信息;从服务器获取与外部装置相关联的认证密钥;以及使用认证密钥来与外部装置建立通信连接。
在示例实施例中,所述至少一个处理器还可以使用第二无线通信电路来从服务器一起获取丢失消息以及认证密钥。
在示例实施例中,所述电子装置还可以包括显示器,并且所述至少一个处理器可以被配置为向显示器输出丢失消息。
在示例实施例中,所述至少一个处理器可以被配置为通过通信连接来发送用于控制外部装置的至少一个功能的控制信号。
在示例实施例中,所述至少一个处理器可以使用第一无线通信电路来与外部装置建立低能耗蓝牙通用属性(BLE GATT)连接。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可以包括例如便携式通信装置(例如,智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器等。根据本公开的实施例,电子装置不限于以上所述的那些电子装置。
应该理解的是,本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例,而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述,相似的参考标号可以用来指代相似或相关的元件。将理解的是,与项目相应的单数形式的名词可以包括一个或更多个事物,除非相关上下文另有明确指示。如这里所使用的,诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可以包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的,诸如“第1”和“第2”或者“第一”和“第二”的术语可以用于将相应部件与另一部件进行简单区分,并且不在其它方面(例如,重要性或顺序)限制所述部件。将理解的是,在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下,如果一元件(例如,第一元件)被称为“与另一元件(例如,第二元件)耦接”、“耦接到另一元件(例如,第二元件)”、“与另一元件(例如,第二元件)连接”或“连接到另一元件(例如,第二元件)”,则意味着所述一元件可以与所述另一元件直接(例如,有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如与本公开的各种实施例关联使用的,术语“模块”可以包括以硬件、软件或固件或其任何组合实现的单元,并可以与其他术语(例如,“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如,根据实施例,可以以专用集成电路(ASIC)的形式来实现模块。
可以将在此阐述的各种实施例实现为包括存储在存储介质(例如,内部存储器136或外部存储器138)中的可由机器(例如,电子装置101)读取的一个或更多个指令的软件(例如,程序140)。例如,在处理器的控制下,所述机器(例如,电子装置101)的处理器(例如,处理器120)可以在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可以包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中,术语“非暂时性”仅意味着所述存储介质是有形装置,并且不包括信号(例如,电磁波),但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例,可以在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可以作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如,紧凑盘只读存储器(CD-ROM))的形式来分发计算机程序产品,或者可以经由应用商店(例如,Play StoreTM)在线分发(例如,下载或上传)计算机程序产品,或者可直接在两个用户装置(例如,智能电话)之间分发(例如,下载或上传)计算机程序产品。如果是在线分发的,则计算机程序产品中的至少部分可以是临时产生的,或者可以将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例,上述部件中的每个部件(例如,模块或程序)可以包括单个实体或多个实体,并且多个实体中的一些实体可分离地设置在不同的部件中。根据各种实施例,可以省略上述部件中的一个或更多个部件,或者可以添加一个或更多个其它部件。可选择地或者另外地,可以将多个部件(例如,模块或程序)集成为单个部件。在这种情况下,根据各种实施例,该集成部件可以仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式,执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例,由模块、程序或另一部件所执行的操作可以顺序地、并行地、重复地或以启发式方式来执行,或者所述操作中的一个或更多个操作可以按照不同的顺序来运行或被省略,或者可以添加一个或更多个其它操作。

Claims (15)

1.一种电子装置,所述电子装置包括:
相机;
显示器;
位置测量电路;
超宽带(UWB)天线;
UWB通信电路,所述UWB通信电路与所述UWB天线连接;
第一无线通信电路,所述第一无线通信电路被配置为支持近场通信;
第二无线通信电路,所述第二无线通信电路被配置为支持蜂窝通信;以及
至少一个处理器,所述至少一个处理器电连接到且可操作地连接到所述相机、所述显示器、所述UWB通信电路、所述位置测量电路、所述第一无线通信电路和所述第二无线通信电路,其中
所述至少一个处理器被配置为:
使用所述第二无线通信电路来从服务器获取关于在所述电子装置中注册的并且当前未连接到所述电子装置的外部装置的信息,关于所述外部装置的所述信息包括关于所述外部装置的坐标的信息;
基于从所述服务器获得的所述信息和由所述位置测量电路测量的所述电子装置的位置来确定所述电子装置是否在离所述外部装置的所述坐标的指定距离内;
响应于所述确定来通过所述第一无线通信电路与所述外部装置建立近场通信连接;
通过所建立的近场通信连接来向所述外部装置发送激活所述外部装置的UWB功能的请求;
基于从所述外部装置接收到的UWB信号来识别所述外部装置相对于所述电子装置的位置;以及
基于使用所述相机获取的图像数据和所识别的所述外部装置的位置来向所述显示器输出增强现实(AR)界面。
2.根据权利要求1所述的电子装置,其中,所述AR界面包括指示从所述电子装置的当前位置到所识别的所述外部装置的位置的距离的第一对象,或指向所识别的所述外部装置的位置的第二对象。
3.根据权利要求1所述的电子装置,其中,基于所述电子装置不在离所述外部装置的所述坐标的所述指定距离内,所述至少一个处理器被配置为在所述显示器上提供用于朝向所述外部装置的所述坐标移动的引导。
4.根据权利要求1所述的电子装置,其中,基于从所述外部装置接收到了作为对激活所述UWB功能的所述请求的响应的、指示所述UWB功能的激活为不可能的响应,所述至少一个处理器被配置为使用所述第一无线通信电路来检测与所述外部装置的距离。
5.根据权利要求1所述的电子装置,其中,所述至少一个处理器被配置为基于从所述服务器获得的关于所述外部装置的所述信息来确定是否使用所述UWB功能,并且
其中,从所述服务器获得的所述信息包括关于所述外部装置是否支持UWB通信的信息或关于所述外部装置的电池的信息。
6.根据权利要求1所述的电子装置,其中,所述至少一个处理器被配置为:
基于所述电子装置不在离所述外部装置的所述坐标的所述指定距离内来向所述显示器输出第一UI;以及
响应于所述电子装置在离所述外部装置的所述坐标的所述指定距离内并且在所述电子装置与所述外部装置之间建立了所述近场通信连接,来将所述第一UI切换到包括使用所述相机获得的图像数据的第二UI。
7.根据权利要求1所述的电子装置,所述电子装置还包括:
一个或更多个传感器,
其中,所述至少一个处理器被配置为:
使用所述UWB通信电路来每第一周期地从所述外部装置接收所述UWB信号;
基于通过所述一个或更多个传感器获得的传感器数据,每第二周期地更新基于所述UWB信号识别的所述外部装置的所述位置,所述第二周期比所述第一周期短;以及
基于所述第一周期过去并且未从所述外部装置接收到所述UWB信号,改变所述第一周期和所述第二周期中的至少一者。
8.一种运行电子装置的方法,所述方法包括:
使用所述电子装置的第二无线通信电路来从服务器获取关于在所述电子装置中注册的并且当前未连接到所述电子装置的外部装置的信息,关于所述外部装置的所述信息包括关于所述外部装置的坐标的信息;
基于从所述服务器获得的所述信息和由所述位置测量电路测量的所述电子装置的位置来确定所述电子装置是否在离所述外部装置的坐标的指定距离内;
响应于所述确定来通过所述电子装置的第一无线通信电路与所述外部装置建立近场通信连接;
通过所建立的近场通信连接来向所述外部装置发送激活所述外部装置的超宽带(UWB)功能的请求;
基于从所述外部装置接收到的UWB信号来识别所述外部装置相对于所述电子装置的位置;以及
基于使用所述电子装置的相机获取的图像数据和所识别的所述外部装置的位置来向所述电子装置的显示器输出增强现实(AR)界面。
9.根据权利要求8所述的方法,所述方法还包括:
基于所述电子装置不在离所述外部装置的所述坐标的所述指定距离内来提供用于将所述显示器朝向所述外部装置的所述坐标移动的引导。
10.根据权利要求8所述的方法,所述方法还包括:
基于从所述外部装置接收到了作为对激活所述UWB功能的所述请求的响应的、指示所述UWB功能的激活为不可能的响应,使用所述第一无线通信电路来检测与所述外部装置的距离。
11.根据权利要求8所述的方法,所述方法还包括:
基于所述电子装置不在离所述外部装置的所述坐标的所述指定距离内来向所述显示器输出第一UI;以及
响应于所述电子装置在离所述外部装置的所述坐标的所述指定距离内并且在所述电子装置与所述外部装置之间建立了所述近场通信连接,来将所述第一UI切换到包括使用所述相机获得的图像数据的第二UI。
12.根据权利要求8所述的方法,所述方法还包括:
使用所述UWB通信电路来每第一周期地从所述外部装置接收所述UWB信号;以及
基于通过所述一个或更多个传感器获得的传感器数据,每第二周期地更新基于所述UWB信号识别的所述外部装置的所述位置,所述第二周期比所述第一周期短。
13.一种电子装置,所述电子装置包括:
无线通信电路;
超宽带(UWB)通信电路;
UWB天线,所述UWB天线电连接到所述UWB通信电路;以及
处理器,所述处理器电连接到或可操作地连接到所述无线通信电路和所述UWB通信电路,其中
所述处理器被配置为:
使用所述无线通信电路来与外部装置建立近场通信连接;
通过所述近场通信连接来接收UWB激活请求;以及
响应于所述UWB激活请求,使用所述UWB通信电路来发送指定频率的UWB信号。
14.根据权利要求13所述的电子装置,其中,所述处理器被配置为使用所述无线通信电路来广播通告分组,所述通告分组包括指示所述UWB通信电路是否可用的信息,
通过所述近场通信连接来向所述外部装置提供指示所述UWB通信电路是否可用的信息,以及
基于剩余电池水平等于或小于参照值来向所述外部装置提供指示所述UWB通信电路不可用的信息。
15.根据权利要求13所述的电子装置,其中,所述UWB激活请求包括关于使用所述UWB通信电路来发送所述UWB信号的周期的信息,并且所述处理器被配置为使用所述UWB通信电路来每周期地发送所述UWB信号。
CN202180056720.8A 2020-08-04 2021-08-04 通过使用uwb和ar来搜索丢失装置的方法及其设备 Pending CN116097667A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20200097683 2020-08-04
KR10-2020-0097683 2020-08-04
KR1020210004178A KR20220017344A (ko) 2020-08-04 2021-01-12 Uwb와 ar를 이용한 분실기기 찾는 방법 및 그 장치
KR10-2021-0004178 2021-01-12
PCT/KR2021/010249 WO2022031019A1 (ko) 2020-08-04 2021-08-04 Uwb와 ar를 이용한 분실기기 찾는 방법 및 그 장치

Publications (1)

Publication Number Publication Date
CN116097667A true CN116097667A (zh) 2023-05-09

Family

ID=80117567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180056720.8A Pending CN116097667A (zh) 2020-08-04 2021-08-04 通过使用uwb和ar来搜索丢失装置的方法及其设备

Country Status (4)

Country Link
US (1) US20220407666A1 (zh)
EP (1) EP4184955A4 (zh)
CN (1) CN116097667A (zh)
WO (1) WO2022031019A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220095123A1 (en) * 2020-09-24 2022-03-24 Apple Inc. Connection assessment system
US12028717B2 (en) * 2020-12-22 2024-07-02 Samsung Electronics Co., Ltd. Electronic device for providing digital ID information and method thereof

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101343635B1 (ko) * 2013-05-28 2013-12-20 이한표 분실 방지 서비스 제공 방법
KR101668656B1 (ko) * 2015-03-18 2016-10-24 주식회사 코너스톤스마트 광대역밴드를 이용한 피탐색 단말기 탐색 시스템 및 방법
US9571985B2 (en) * 2015-04-09 2017-02-14 Datalogic Ip Tech S.R.L. High accuracy indoor locating system
KR102035388B1 (ko) * 2017-09-20 2019-10-22 (주)다스콘 실시간 위치 측위 시스템 및 이를 이용한 콘텐츠 제공 서비스 시스템
KR20200028820A (ko) * 2018-09-07 2020-03-17 삼성전자주식회사 Uwb 트랜잭션을 위한 방법 및 전자 장치
KR102704304B1 (ko) * 2018-09-28 2024-09-09 애플 인크. 모바일 디바이스들 사이의 레인징
US11641563B2 (en) * 2018-09-28 2023-05-02 Apple Inc. System and method for locating wireless accessories
US10901081B2 (en) * 2018-10-02 2021-01-26 International Business Machines Corporation Virtual reality safety

Also Published As

Publication number Publication date
EP4184955A1 (en) 2023-05-24
EP4184955A4 (en) 2023-05-31
WO2022031019A1 (ko) 2022-02-10
US20220407666A1 (en) 2022-12-22

Similar Documents

Publication Publication Date Title
US20220407666A1 (en) Method and apparatus for finding lost device using uwb and ar apparatus
US20220038883A1 (en) Electronic Devices with Intuitive Sharing Capabilities
KR20170001173A (ko) 와치 타입 이동 단말기 및 그의 동작 방법
KR20220017344A (ko) Uwb와 ar를 이용한 분실기기 찾는 방법 및 그 장치
KR20160124636A (ko) 이동단말기 및 그 제어방법
US20230188980A1 (en) Method for providing electronic device positioning service and apparatus thereof
US20230188942A1 (en) Method for providing location confirmation service for electronic device, and device therefor
US20230188934A1 (en) Method for managing wireless connection of electronic device and device therefor
US12080143B2 (en) Method and apparatus for providing location alarm service of electronic device
US20230189360A1 (en) Method for managing wireless connection of electronic device, and apparatus therefor
US20230239963A1 (en) Method and device for identifying lost state of electronic device
KR20220018872A (ko) 전자 장치의 위치 알람 서비스를 제공하는 방법 및 그 장치
US20150163340A1 (en) Portable terminal and a method for operating the same
KR20220018869A (ko) 전자 장치의 무선 연결을 관리하는 방법 및 그 장치
KR20220018874A (ko) 전자 장치의 무선 연결을 관리하는 방법 및 그 장치
KR101587213B1 (ko) 이동 단말기 및 이를 이용한 wlan 애드혹 연결 방법
US20230189357A1 (en) Packet transmission method for electronic device positioning service and apparatus thereof
KR20170071334A (ko) 이동 단말기 및 그의 동작 방법
EP4243555A1 (en) Method and apparatus for managing wireless connection of electronic device
KR20170059816A (ko) 이동단말기 및 그 제어방법
US20240056773A1 (en) Locating method using advertisement and electronic device therefor
KR20220018876A (ko) 전자 장치의 위치 확인 서비스를 위한 패킷 전송 방법 및 그 장치
KR20170023651A (ko) 이동단말기 및 그 제어방법
KR20230064495A (ko) 지오펜스를 이용하는 전자 장치 및 동작 방법
KR101602258B1 (ko) 와치 타입 단말기 및 그것의 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination