CN111526476A - 数据传输方法、数据传输装置、存储介质与终端设备 - Google Patents

数据传输方法、数据传输装置、存储介质与终端设备 Download PDF

Info

Publication number
CN111526476A
CN111526476A CN202010307065.6A CN202010307065A CN111526476A CN 111526476 A CN111526476 A CN 111526476A CN 202010307065 A CN202010307065 A CN 202010307065A CN 111526476 A CN111526476 A CN 111526476A
Authority
CN
China
Prior art keywords
terminal
target
current scene
ultra
scene image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010307065.6A
Other languages
English (en)
Other versions
CN111526476B (zh
Inventor
张海平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010307065.6A priority Critical patent/CN111526476B/zh
Publication of CN111526476A publication Critical patent/CN111526476A/zh
Application granted granted Critical
Publication of CN111526476B publication Critical patent/CN111526476B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Telephone Function (AREA)

Abstract

本公开提供一种数据传输方法、数据传输装置、计算机可读存储介质与终端设备，涉及通信与计算机技术领域。所述数据传输方法应用于第一终端，包括：获取当前场景图像；当识别所述当前场景图像中存在第二终端时，利用超宽带通信向所述第二终端传输目标数据。本公开基于超宽带通信，能够实现无线远距离的数据传输，应用场景较宽，且用户操作简单，便捷性较高。

Description

数据传输方法、数据传输装置、存储介质与终端设备
技术领域
本公开涉及通信与计算机技术领域，尤其涉及一种数据传输方法、数据传输装置、计算机可读存储介质与终端设备。
背景技术
目前，终端设备之间的数据传输技术主要包括有线与无线解决方案：
有线解决方案是指两台终端设备通过USB(Universal Serial Bus，通用串行总线)、网线HUB(集线器)等有线方式形成连接，然后进行数据传输。可见，有线解决方案依赖于硬件条件，需要具备特定的线缆，且终端设备需要具备相应的端口，从而限制了应用场景，特别对于移动终端的适用性较差，例如两台智能手机难以通过USB直接连接。
无线解决方案是指两台终端设备通过WLAN(Wireless Local Area Networks，无线局域网)、BT(Bluetooth，蓝牙)等常规的无线方式形成连接，然后进行数据传输。然而，无线解决方案中建立连接的过程较为复杂，例如需要先将两台终端设备均连接到同一个WLAN中，然后才能建立WLAN连接，或者先将两台终端设备的蓝牙功能打开后进行配对，配对成功后才能建立蓝牙连接，用户使用起来较为不便，且无线连接要求两台终端设备的距离较近，也限制了应用场景。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开提供了一种数据传输方法、数据传输装置、计算机可读存储介质与终端设备，进而至少在一定程度上克服现有技术中数据传输应用不便的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的第一方面，提供一种数据传输方法，应用于第一终端，所述方法包括：获取当前场景图像；当识别所述当前场景图像中存在第二终端时，利用超宽带通信向所述第二终端传输目标数据。
根据本公开的第二方面，提供一种数据传输装置，应用于第一终端，所述装置包括：图像处理单元，用于获取当前场景图像，并识别所述当前场景图像中是否存在第二终端；超宽带通信单元，用于当识别所述当前场景图像中存在第二终端时，利用超宽带通信向所述第二终端传输目标数据。
根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的数据传输方法及其可能的实现方式。
根据本公开的第四方面，提供一种终端设备，包括：处理器；存储器，用于存储所述处理器的可执行指令；以及通信模块，用于和其他设备进行超宽带通信；其中，所述处理器配置为通过执行所述可执行指令来实现上述第一方面的数据传输方法及其可能的实现方式。
本公开的技术方案具有以下有益效果：
根据上述数据传输方法、数据传输装置、计算机可读存储介质与终端设备，当识别当前场景图像中存在第二终端时，利用超宽带通信向第二终端传输目标数据。一方面，超宽带通信是一种新型的无线通信技术，能够解决有线通信方案中对于线缆与端口的依赖，且相比于常规的无线通信方案，具有更远的通信距离和更高的通信质量，因此应用场景较宽，且适用于移动终端之间的数据传输。另一方面，以识别场景中的第二终端作为触发数据传输的条件，简化了现有技术中建立连接与传输数据的繁琐过程，减少了用户操作，提高了数据传输的便捷性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施方式，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本示例性实施方式运行环境的系统架构图；
图2示出本示例性实施方式中增强现实眼镜的结构示意图；
图3示出本示例性实施方式中一种数据传输方法的流程图；
图4示出本示例性实施方式中一种数据传输方法的子流程图；
图5示出本示例性实施方式中一种确定目标第二终端的流程图；
图6示出本示例性实施方式中一种数据传输装置的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本公开的示例性实施方式提供一种数据传输方法和数据传输装置。图1示出该方法和装置运行环境的系统架构图。如图1所示，该系统架构100可以包括第一终端110和第二终端120。第一终端110和第二终端120均可以是智能手机、平板电脑、数码相机、笔记本电脑、游戏机、PDA(Personal Digital Assistant，个人数字助理)、可穿戴设备、无人机、车载导航设备等终端电子设备，两者可以是相同类型的终端，也可以是不同类型的终端。第一终端110是发起数据传输的一方，第二终端120是接受数据传输的一方，在大多数场景中，两者的角色可以互换。
本示例性实施方式中，第一终端110和第二终端120均具备超宽带(Ultra WideBand，UWB)通信功能，相互之间可以建立基于超宽带通信的无线连接。超宽带通信技术是一种无线载波通信技术，它不采用正弦载波，而是利用纳秒级的非正弦波窄脉冲传输数据，是一种占空比很低的冲击脉冲。超宽带通信可以对具有很陡上升和下降时间的冲击脉冲进行直接调制，具有对信道衰落不敏感、发射信号功率谱密度低、截获率低、系统复杂度低、能提供厘米级定位精度等优点。
在一种可选的实施方式中，可以设置多个第二终端120，使第一终端110向多个第二终端120传输数据。
本公开的示例性实施方式还提供一种终端设备，其可以是上述第一终端110。下面以图2中的增强现实(Augmented Reality，AR)眼镜200为例，对终端设备内部的构造进行示例性说明。本领域技术人员应当理解，实际应用中，终端设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出，并不构成对终端设备的结构限定。在另一些实施方式中，终端设备也可以采用与图2不同的接口连接方式，或多种接口连接方式的组合。
如图2所示，增强现实眼镜200可以包括存储器210、处理器220、显示器230和摄像模组240，可选的，增强现实眼镜200还可以包括音频模块250、通信模块260和传感器模块270。
存储器210用于存储可执行指令，例如可以包括操作系统代码、程序代码，还可以存储程序运行期间所产生的数据，例如程序内的用户数据等。存储器210可以设置于两镜片中间的镜体内，也可以设置于其他位置。存储器210可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(UniversalFlash Storage，UFS)等。
处理器220可以包括中央处理器(Central Processing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)、应用处理器(Application Processor，AP)、调制解调处理器、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-Network Processing Unit，NPU)等。其中，不同的处理器可以作为独立的单元，也可以集成在一个处理单元中。处理器220可以设置于两镜片中间的镜体内，也可以设置于其他位置。处理器220可以执行存储器210上的可执行指令，以执行相应的程序命令。
显示器230用于显示图像，视频等，一般设置为镜片的形式，用户透过镜片看到真实场景，而处理器220将虚拟影像传输到显示器230上显示，使用户看到真实和虚拟叠加的影像效果。因此显示器230可以具备“透视”(See-Through)的功能，既要看到真实的外部世界，也要看到虚拟信息，以实现现实和虚拟的融合与“增强”。在一种可选的实施方式中，如图2所示，显示器230可以包括微型显示屏(Display)2301与透镜(Lens)2302。微型显示屏2301用于提供显示内容，可以是自发光的有源器件，如发光二极管面板、或具有外部光源照明的液晶显示屏等；透镜2302用于使人眼看到真实场景，从而对真实场景影像和虚拟影像进行叠加。
摄像模组240由镜头、感光元件等部件组成，其可以位于两镜片中间的位置，或者镜片的左侧或右侧位置，镜头一般朝向镜片的正前方。当用户佩戴增强现实眼镜200时，摄像模组240可以捕获前方的静态图像或视频，例如用户在正前方做出手势操作，摄像模组240可以拍摄用户的手势图像。进一步的，如图2所示，摄像模组240可以包括深度摄像头2401，例如可以是TOF(Time Of Flight，飞行时间)摄像头、双目摄像头等，可以检测场景图像中每个部分或每个物体的深度信息(即与增强现实眼镜200的轴向距离)，从而得到更加丰富的图像信息，例如在拍摄手势图像后，可以根据手势的深度信息，实现准确的手势识别。
音频模块250用于将数字音频信号转换成模拟音频信号输出，也可以将模拟音频输入转换为数字音频信号，还可以用于对音频信号编码和解码。在一些实施方式中，音频模块250可以设置于处理器220中，或将音频模块250的部分功能模块设置于处理器220中。如图2所示，音频模块250一般可以包括麦克风2501和耳机2502。麦克风2501可以设置于增强现实眼镜200一侧或双侧镜腿的底部，靠近用户嘴部的位置，耳机2502可以设置于增强现实眼镜200一侧或双侧镜腿的中后端，靠近用户耳朵的位置。
通信模块260用于和其他设备进行超宽带通信，具备发射与接收超宽带通信所用无线载波脉冲信号的天线，例如可以位于一侧或双侧镜腿的前端，靠近镜片的位置，形成内置的天线阵列。此外，通信模块260还可以提供包括WLAN(如无线保真(Wireless Fidelity，Wi-Fi)网络)、蓝牙、全球导航卫星系统(Global Navigation Satellite System，GNSS)、调频(Frequency Modulation，FM)、近距离无线通信技术(Near Field Communication，NFC)、红外技术(Infrared，IR)等无线通信的解决方案，使增强现实眼镜200连接到互联网，或与其他设备形成连接。
传感器模块270由不同类型的传感器组成，用于实现不同的功能。例如，传感器模块270可以包括至少一个触摸传感器2701，设置在一侧的镜腿外侧，便于用户触摸到的位置，形成一定的触摸感应区域，实现类似于手机触控屏的功能，使用户通过在触摸感应区域进行触摸操作而进行交互控制。
此外，传感器模块270还可以包括其他传感器，例如惯性测量单元(InertiaMeasurement Unit，IMU，一般包括加速度计和陀螺仪)2702，用于感测增强现实眼镜200的位姿；眼动追踪传感器(Eye Tracking)2703，用于追踪用户的眼球位置，以实现图像显示的同步。
在一种可选的实施方式中，增强现实眼镜200还可以包括USB(Universal SerialBus，通用串行总线)接口280，其符合USB标准规范，具体可以是MiniUSB接口，MicroUSB接口，USBTypeC接口等。USB接口280可以用于连接充电器为增强现实眼镜200充电，也可以连接耳机，通过耳机播放音频，还可以用于连接其他电子设备，例如连接电脑、外围设备等。USB接口280可以设置于增强现实眼镜200一侧或双侧镜腿的底部，或其他合适的位置。
在一种可选的实施方式中，增强现实眼镜200还可以包括充电管理单元290，用于从充电器接收充电输入，为电池2901充电。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施方式中，充电管理模块290可以通过USB接口280接收有线充电器的充电输入。在一些无线充电的实施方式中，充电管理模块290可以通过增强现实眼镜200的无线充电线圈接收无线充电输入。充电管理模块290为电池2901充电的同时，还可以为设备供电。
图3示出了数据传输方法的示意性流程，可以由上述第一终端执行，包括以下步骤S310和S320：
步骤S310，获取当前场景图像。
其中，当前场景是指第一终端当前所处的真实世界环境，例如家里、办公室、咖啡店等。第一终端可以打开摄像头，采集当前场景图像，在一种实施方式中，第一终端包括头戴式设备，如增强现实眼镜，则步骤S310可以包括：获取由第一终端的摄像头实时采集的当前场景图像。用户在穿戴增强现实眼镜的情况下在场景中走动，摄像头实时拍摄当前场景图像，传输至处理器以进行后续处理；第一终端也可以是智能手机，用户手持手机一边走动一边拍摄当前场景图像。第一终端也可以从设置于当前场景中的外部摄像头(如监控摄像头，或者AR系统的摄像头)获取当前场景图像，例如第一终端与监控摄像头通过蓝牙连接，监控摄像头将拍摄的当前场景图像实时同步到第一终端。
步骤S320，当识别当前场景图像中存在第二终端时，利用超宽带通信向第二终端传输目标数据。
在一种可选的实施方式中，第一终端开启数据传输的情况下，对于所获取的每一张当前场景图像，均可以识别其中是否存在第二终端。
本示例性实施方式可以采用目标检测的算法模型识别第二终端，例如RetinaNet(一种目标检测的神经网络)、YOLO(You Only Look Once，一种实时目标检测的算法框架，包括v1、v2、v3等多个版本，本公开可以采用其中任一个版本)、R-CNN(Region-Convolutional Neural Network，区域卷积神经网络，或Fast R-CNN、Faster R-CNN等改进版本)、SSD(Single Shot MultiBox Detector，单步多框目标检测)等。
以RetinaNet举例说明模型训练过程：获取大量包含与不包含第二终端的样本图像，样本图像越丰富越好，以覆盖到第二终端在不同角度、不同距离下的外观；对样本图像打标签，其中包含第二终端的样本图像的标签为1，不包含第二终端的样本图像的标签为0；将样本图像及其标签划分为训练集与验证集(如可以按照6:4的比例划分)；将训练集中的样本图像输入初始的RetinaNet，将输出数据与标签代入损失函数，并利用损失函数进行梯度下降，以对RetinaNet的参数进行更新；在验证集上验证经过训练的RetinaNet的准确率，如果达到预定的准确率，则训练完成。
实际应用中，可以将训练完成的模型部署在第一终端上，当获取当前场景图像时，将其输入模型中，可以输出是否存在第二终端的识别结果。
在识别到第二终端的情况下，说明当前场景中存在第二终端，可以与第二终端建立超宽带通信连接，然后通过该连接自动传输目标数据；或者在已经与第二终端建立超宽带通信连接时，直接传输目标数据；或者弹出提示框，询问用户是否向第二终端传输目标数据，在用户选择“是”后传输目标数据。
当然，也可以在第二终端上设置确认的流程。第一终端在识别到第二终端时，先向第二终端发送建立超宽带通信连接的请求，第二终端的用户选择接受后，建立连接并发送目标数据；或者第一终端需要在第二终端同意接收目标数据后，才能发送目标数据。
目标数据可以是用户指定的待传输文件，如用户事先在相册中选取的照片，也可以当前运行的应用程序自动确定的数据，如在多人AR游戏场景中，可以将第一终端上建立的地图数据确定为目标数据，通过超宽带通信将其传输至第二终端，使第二终端接收到地图数据后进行重定位。当有多份目标数据时，可以在用户界面中显示数据(文件)列表，用户选取(如可以在手机界面中触控选择，在VR或AR界面中通过视野光标悬停选择)后进行传输。
在一种可选的实施方式中，在传输目标数据的过程中，当接收到用户操作指令时，将用户操作指令识别为对应的控制指令，并通过控制指令对目标数据的传输进行控制。例如第一终端为头戴式设备时，用户操作指令可以包括以下任意一种或多种：触摸指令，可以通过头戴式设备的触控传感器感测用户输入的触摸指令；手势指令，当用户做出手势时，可以通过头戴式设备的摄像头拍摄并识别其手势指令；头部动作指令，当用户做出点头、摇头等动作时，可以通过头戴式设备的惯性测量单元测量位姿变化，进而识别用户的头部动作；眼部动作指令，当用户转动眼球、眨眼、长时间闭眼时，可以通过头戴式设备的眼动追踪传感器识别到眼部动作。根据预设的用户操作指令与控制指令的对应关系，将用户操作指令识别为对应的控制指令，从而控制目标数据的传输过程。例如用户点头表示继续传输目标数据，摇头表示暂停传输，眨眼表示重新传输，长时间闭眼表示取消传输等等。
由上可知，本示例性实施方式在识别当前场景图像中存在第二终端时，利用超宽带通信向第二终端传输目标数据。一方面，超宽带通信是一种新型的无线通信技术，能够解决有线通信方案中对于线缆与端口的依赖，且相比于常规的无线通信方案，具有更远的通信距离和更高的通信质量，因此应用场景较宽，且适用于移动终端之间的数据传输。另一方面，以识别场景中的第二终端作为触发数据传输的条件，简化了现有技术中建立连接与传输数据的繁琐过程，减少了用户操作，提高了数据传输的便捷性。
当前场景中可能存在多个第二终端，如三人或三人以上参与的AR游戏场景中，以增强现实眼镜为第二终端，当前场景中存在不止一个第二终端，需要确定向哪个第二终端传输目标数据。在一种可选的实施方式中，参考图4所示，步骤S320可以具体包括以下步骤S410至S430：
步骤S410，当识别当前场景图像中存在第二终端时，利用超宽带定位确定当前场景中的第二终端的位置；
步骤S420，根据上述第二终端的位置确定至少一个目标第二终端；
步骤S430，利用超宽带通信向目标第二终端传输目标数据。
超宽带定位是利用事先布置好的已知位置的锚节点(如在特定位置布置超宽带通信传感器)，与新加入的盲节点(即第二终端)进行通信，利用定位算法计算出盲节点的位置。本示例性实施方式的超宽带定位大多为室内定位的场景，例如可以在房间的四个角分别放置超宽带通信传感器，通过与房间内的每个第二终端进行通信，根据信号的相位差、时间延迟等计算出每个第二终端的位置。
本示例性实施方式中，根据当前场景中所有第二终端的位置，从中确定目标第二终端，向目标第二终端传输目标数据，而不向其他第二终端传输目标数据。
在一种实施方式中，可以将距离第一终端最近的至少一个第二终端确定为目标第二终端。例如，将距离最近的第二终端确定为目标第二终端；或者三人同时进行AR游戏时，将距离最近的两个第二终端确定为目标第二终端；或者将一定距离(如10米)以内的第二终端确定为目标第二终端。
在另一种实施方式中，参考图5所示，步骤S420可以具体包括以下步骤S510和S520：
步骤S510，根据第一终端的位姿确定当前视野范围；
步骤S520，将处于当前视野范围以内的第二终端确定为目标第二终端。
其中，第一终端的位姿可以通过惯性测量单元测量获得，包括第一终端的位置与姿态。举例来说，第一终端的位姿可以包括6DOF(Degree of Freedom，自由度)数据，其中三个位置坐标用于确定第一终端的位置，三个角度用于确定第一终端的姿态，本实施方式中将其表示为第一终端的视野中心方向，如用户穿戴增强现实眼镜时，视线的中心线方向，手机摄像头的轴向方向。在当前场景中，基于该位置与方向，通过FOV(Field of Vision，视场角，如可以是120度，具体与第一终端的硬件参数相关)划出一个扇形区域，以模拟用户或摄像头所能观察到的区域，即上述当前视野范围。处于当前视野范围以内的第二终端，应当是当前场景图像中所识别出的第二终端，将其确定为目标第二终端。简而言之，用户看到哪个第二终端，向哪个第二终端传输目标数据。
在另一种实施方式中，还可以根据第二终端与第一终端的历史交互记录，从第二终端中确定目标第二终端。例如与第一终端有过超宽带通信数据传输记录的第二终端为目标第二终端；通过第二终端的用户名、IMEI(International Mobile Equipment Identity，国际移动设备识别码)、手机号等识别该第二终端为好友的设备时，确定为目标第二终端。
通过上述各种方式可以确定目标第二终端。进一步的，当向多个目标第二终端传输目标数据时，可以按照目标第二终端的优先级确定传输顺序。其中，距离第一终端越近的目标第二终端，其优先级越高。也就是说，先向最近的目标第二终端传输目标数据，完成后再向次近的目标第二终端传输目标数据，依此类推。这样在实时互动的场景中，可以提高用户体验。
在一种可选的实施方式中，第一终端可以是分体式AR眼镜的眼镜端，第二终端可以是分体式AR眼镜的控制端，两者之间通过超宽带通信进行数据传输，例如眼镜端识别到控制端时，向控制端发送当前场景图像和用户操作指令，控制端向眼镜端反馈视频数据和音频数据等。也可以反过来，第一终端是控制端，第二终端是眼镜端，当用户穿戴眼镜端进入控制端的摄像头范围以内时，可以触发两者之间的超宽带通信与数据传输。此外，控制端可以获取眼镜端的移动轨迹，根据眼镜端的移动轨迹实时调整主控制向眼镜端传输的数据。例如在AR游戏场景下，用户穿戴眼镜移动时，可以根据用户的移动轨迹调整图像与视频的显示方向与显示角度，以同步适应用户的位姿；或者控制端根据眼镜端的移动轨迹，向其发送移动引导信息，以防止用户碰撞到场景中的障碍物，或者使用户移动到特定位置，触发AR游戏的内容显示或情节发展。
图6示出了本示例性实施方式中的数据传输装置，其可以应用于第一终端。如图6所示，该数据传输装置600可以包括：
图像处理单元610，用于获取当前场景图像，并识别当前场景图像中是否存在第二终端；
超宽带通信单元620，用于当识别当前场景图像中存在第二终端时，利用超宽带通信向第二终端传输目标数据。
在一种可选的实施方式中，超宽带通信单元620可以包括：
第二终端位置确定单元，用于当识别当前场景图像中存在第二终端时，利用超宽带定位确定当前场景中的第二终端的位置；
目标第二终端确定单元，用于根据第二终端的位置确定至少一个目标第二终端；
目标数据传输单元，用于利用超宽带通信向目标第二终端传输目标数据。
在一种可选的实施方式中，目标第二终端确定单元，被配置为：
将距离第一终端最近的至少一个第二终端确定为目标第二终端。
在一种可选的实施方式中，目标第二终端确定单元，被配置为：
根据第一终端的位姿确定当前视野范围；
将处于当前视野范围以内的第二终端确定为目标第二终端。
在一种可选的实施方式中，目标数据传输单元，被配置为：
当向多个目标第二终端传输目标数据时，按照目标第二终端的优先级确定传输顺序；其中，距离第一终端越近的目标第二终端，其优先级越高。
在一种可选的实施方式中，第一终端包括头戴式设备。
图像处理单元610，被配置为：
获取由第一终端的摄像头实时采集的当前场景图像。
在一种可选的实施方式中，数据传输装置600还可以包括指令控制单元，其被配置为：
在传输目标数据的过程中，当接收到用户操作指令时，将用户操作指令识别为对应的控制指令，并通过控制指令对目标数据的传输进行控制。用户操作指令包括以下任意一种或多种：触摸指令，手势指令，头部动作指令，眼部动作指令。
上述装置中各单元的具体细节可以参考方法部分实施方式中的相关内容，因而不再赘述。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。该程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开示例性实施方式的方法。
此外，上述附图仅是根据本公开示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种数据传输方法，应用于第一终端，其特征在于，所述方法包括：
获取当前场景图像；
当识别所述当前场景图像中存在第二终端时，利用超宽带通信向所述第二终端传输目标数据。
2.根据权利要求1所述的方法，其特征在于，所述当识别所述当前场景图像中存在第二终端时，利用超宽带通信向所述第二终端传输目标数据，包括：
当识别所述当前场景图像中存在第二终端时，利用超宽带定位确定当前场景中的第二终端的位置；
根据所述第二终端的位置确定至少一个目标第二终端；
利用超宽带通信向所述目标第二终端传输所述目标数据。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第二终端的位置确定至少一个目标第二终端，包括：
将距离所述第一终端最近的至少一个所述第二终端确定为所述目标第二终端。
4.根据权利要求2所述的方法，其特征在于，所述根据所述第二终端的位置确定至少一个目标第二终端，包括：
根据所述第一终端的位姿确定当前视野范围；
将处于所述当前视野范围以内的所述第二终端确定为所述目标第二终端。
5.根据权利要求2至4任一项所述的方法，其特征在于，当向多个所述目标第二终端传输所述目标数据时，按照所述目标第二终端的优先级确定传输顺序；其中，距离所述第一终端越近的目标第二终端，其优先级越高。
6.根据权利要求1所述的方法，其特征在于，所述第一终端包括头戴式设备；所述获取当前场景图像，包括：
获取由所述第一终端的摄像头实时采集的当前场景图像。
7.根据权利要求6所述的方法，其特征在于，在传输目标数据时，所述方法还包括：
当接收到用户操作指令时，将所述用户操作指令识别为对应的控制指令，并通过所述控制指令对所述目标数据的传输进行控制；
所述用户操作指令包括以下任意一种或多种：触摸指令，手势指令，头部动作指令，眼部动作指令。
8.一种数据传输装置，应用于第一终端，其特征在于，所述装置包括：
图像处理单元，用于获取当前场景图像，并识别所述当前场景图像中是否存在第二终端；
超宽带通信单元，用于当识别所述当前场景图像中存在第二终端时，利用超宽带通信向所述第二终端传输目标数据。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的方法。
10.一种终端设备，其特征在于，包括：
处理器；
存储器，用于存储所述处理器的可执行指令；以及
通信模块，用于和其他设备进行超宽带通信；
其中，所述处理器配置为通过执行所述可执行指令来实现权利要求1至7任一项所述的方法。
CN202010307065.6A 2020-04-17 2020-04-17 数据传输方法、数据传输装置、存储介质与终端设备 Active CN111526476B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010307065.6A CN111526476B (zh) 2020-04-17 2020-04-17 数据传输方法、数据传输装置、存储介质与终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010307065.6A CN111526476B (zh) 2020-04-17 2020-04-17 数据传输方法、数据传输装置、存储介质与终端设备

Publications (2)

Publication Number Publication Date
CN111526476A true CN111526476A (zh) 2020-08-11
CN111526476B CN111526476B (zh) 2022-02-08

Family

ID=71901964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010307065.6A Active CN111526476B (zh) 2020-04-17 2020-04-17 数据传输方法、数据传输装置、存储介质与终端设备

Country Status (1)

Country Link
CN (1) CN111526476B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113038447A (zh) * 2021-03-31 2021-06-25 德氪微电子(深圳)有限公司 数据传输方法、装置、移动终端以及存储介质
CN113055515A (zh) * 2021-03-04 2021-06-29 Oppo广东移动通信有限公司 超宽带数据传输方法及设备支架
CN113141605A (zh) * 2021-04-29 2021-07-20 东莞市小精灵教育软件有限公司 数据传输方法及装置、终端设备及可读存储介质
CN113163364A (zh) * 2021-04-07 2021-07-23 广州小鹏汽车科技有限公司 车辆通讯方法、装置、通讯控制器以及车辆
CN115989667A (zh) * 2020-09-01 2023-04-18 三星电子株式会社 电子设备及控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106199511A (zh) * 2016-06-23 2016-12-07 郑州联睿电子科技有限公司 基于超宽带定位的vr定位追踪系统及其定位追踪方法
CN107484169A (zh) * 2017-08-11 2017-12-15 北京安云世纪科技有限公司 一种无线通信连接的建立方法及装置
CN108460095A (zh) * 2018-01-31 2018-08-28 维沃移动通信有限公司 目标用户的确定方法及装置
CN110955329A (zh) * 2019-11-21 2020-04-03 Oppo广东移动通信有限公司 传输方法以及电子设备和计算机存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106199511A (zh) * 2016-06-23 2016-12-07 郑州联睿电子科技有限公司 基于超宽带定位的vr定位追踪系统及其定位追踪方法
CN107484169A (zh) * 2017-08-11 2017-12-15 北京安云世纪科技有限公司 一种无线通信连接的建立方法及装置
CN108460095A (zh) * 2018-01-31 2018-08-28 维沃移动通信有限公司 目标用户的确定方法及装置
CN110955329A (zh) * 2019-11-21 2020-04-03 Oppo广东移动通信有限公司 传输方法以及电子设备和计算机存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115989667A (zh) * 2020-09-01 2023-04-18 三星电子株式会社 电子设备及控制方法
CN113055515A (zh) * 2021-03-04 2021-06-29 Oppo广东移动通信有限公司 超宽带数据传输方法及设备支架
CN113055515B (zh) * 2021-03-04 2023-08-15 Oppo广东移动通信有限公司 超宽带数据传输方法及设备支架
CN113038447A (zh) * 2021-03-31 2021-06-25 德氪微电子(深圳)有限公司 数据传输方法、装置、移动终端以及存储介质
CN113163364A (zh) * 2021-04-07 2021-07-23 广州小鹏汽车科技有限公司 车辆通讯方法、装置、通讯控制器以及车辆
CN113141605A (zh) * 2021-04-29 2021-07-20 东莞市小精灵教育软件有限公司 数据传输方法及装置、终端设备及可读存储介质
WO2022227204A1 (zh) * 2021-04-29 2022-11-03 东莞市小精灵教育软件有限公司 数据传输方法及装置、终端设备及可读存储介质

Also Published As

Publication number Publication date
CN111526476B (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
CN111526476B (zh) 数据传输方法、数据传输装置、存储介质与终端设备
US11562542B2 (en) Cross reality system with simplified programming of virtual content
US11869158B2 (en) Cross reality system with localization service and shared location-based content
CN107801413B (zh) 对电子设备进行控制的终端及其处理方法
US9508008B2 (en) Wearable emotion detection and feedback system
US9696547B2 (en) Mixed reality system learned input and functions
US9645394B2 (en) Configured virtual environments
US8963956B2 (en) Location based skins for mixed reality displays
US20160086382A1 (en) Providing location occupancy analysis via a mixed reality device
JP2022551734A (ja) 複数のデバイスタイプをサポートするクロスリアリティシステム
US20150205494A1 (en) Gaze swipe selection
CN105009039A (zh) 使用imu的直接全息图操纵
WO2021184952A1 (zh) 增强现实处理方法及装置、存储介质和电子设备
EP2943857A1 (en) Wearable behavior-based vision system
CN103105926A (zh) 多传感器姿势识别
CN111479148A (zh) 可穿戴设备、眼镜终端、处理终端、数据交互方法与介质
US20240135926A1 (en) Voice-controlled settings and navigation
US20220375172A1 (en) Contextual visual and voice search from electronic eyewear device
US20230068730A1 (en) Social connection through distributed and connected real-world objects
US20230217007A1 (en) Hyper-connected and synchronized ar glasses
US11886646B2 (en) Personalized calibration of user interfaces
US20230069328A1 (en) Snapshot messages for indicating user state
US20230060838A1 (en) Scan-based messaging for electronic eyewear devices
KR20230070308A (ko) 웨어러블 장치를 이용한 제어가능한 장치의 위치 식별
CN117979414A (zh) 寻找物品的方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant