CN110111385B - 一种在三维空间实现目标定位的方法、终端和服务器 - Google Patents

一种在三维空间实现目标定位的方法、终端和服务器 Download PDF

Info

Publication number
CN110111385B
CN110111385B CN201910314750.9A CN201910314750A CN110111385B CN 110111385 B CN110111385 B CN 110111385B CN 201910314750 A CN201910314750 A CN 201910314750A CN 110111385 B CN110111385 B CN 110111385B
Authority
CN
China
Prior art keywords
space
sight line
range
position range
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910314750.9A
Other languages
English (en)
Other versions
CN110111385A (zh
Inventor
杜兴
杨钰柯
尚尔昕
杨力
苏冲
郝梦圆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seashell Housing Beijing Technology Co Ltd
Original Assignee
Seashell Housing Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seashell Housing Beijing Technology Co Ltd filed Critical Seashell Housing Beijing Technology Co Ltd
Priority to CN201910314750.9A priority Critical patent/CN110111385B/zh
Publication of CN110111385A publication Critical patent/CN110111385A/zh
Application granted granted Critical
Publication of CN110111385B publication Critical patent/CN110111385B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提供一种在三维空间实现目标定位的方法、终端和服务器。所述方法包括得到与语音片段对应的物品对象，并发送识别指令，以使服务器根据目标识别模型在三维点云数据中得到所述物品对象的空间位置范围；接收服务器发送的空间位置范围，并与当前视线范围进行比对；若不满足重叠标准，则移动视线方向，使所述视线范围符合所述重叠标准，本发明实施例通过得到与语音片段对应的物品对象，向所述服务器发送识别指令，服务器根据目标识别模型将物品对象的空间位置范围发送给终端，由终端判定视线范围若不满足重叠标准，则快速移动视线范围直到满足所述重叠标准，从而实现三维空间内游走、三维空间内物品对象展示、语音内容的三者同步。

Description

一种在三维空间实现目标定位的方法、终端和服务器
技术领域
本发明涉及数据处理技术领域，尤其涉及一种在三维空间实现目标定位的方法、终端和服务器。
背景技术
现有的房源语音讲解一般都是人工在后台预先录制，当用户进入到房屋的三维VR模型中后，播放预先录制的讲解内容。但由于讲解内容无法与实时的视觉呈现的内容保持准确一致，无法使用户更加直观得了解房屋特色。
现有技术对于语音讲解和空间视觉展示的内容不一致，无法准确对房屋进行讲解。
发明内容
本发明实施例提供一种在三维空间实现目标定位的方法、终端和服务器，用以解决现有技术中对于语音讲解和空间视觉展示的内容不一致，无法准确对房屋进行讲解的问题。
第一方面，本发明实施例提供了一种在三维空间实现目标定位的方法，包括：
根据当前播放的语音片段，得到与所述语音片段对应的物品对象，并向服务器发送所述物品对象的识别指令，以使所述服务器根据预先训练的目标识别模型在当前所在空间的三维点云数据中得到所述物品对象在所述空间中的空间位置范围；其中，所述识别指令包括所述物品对象的对象标识和当前所在空间的空间标识；
接收所述服务器发送的所述物品对象的空间位置范围，并与当前视线范围进行比对；
若当前视线范围与所述空间位置范围不满足预设的重叠标准，则移动视线方向，使所述视线范围与所述物品对象的空间位置范围符合所述重叠标准。
第二方面，本发明实施例提供了一种在三维空间实现目标定位的方法，包括：
接收由终端发送的物品对象的识别指令，所述识别指令包括物品对象的对象标识和所在空间的空间标识；其中，所述物品对象与所述终端当前播放的语音片段相对应；
根据预先训练的目标识别模型，在所述空间标识对应的三维点云数据找到所述物品对象的空间位置范围；
将所述空间位置范围发送给所述终端，以使所述终端若判定当前视线范围与所述空间位置范围不满足预设的重叠标准，则移动视线方向，使所述视线范围与所述物品对象的空间位置范围符合所述重叠标准。
第三方面，本发明实施例提供了一种用于在三维空间实现目标定位的终端，包括：
指令发送模块，用于根据当前播放的语音片段，得到与所述语音片段对应的物品对象，并向服务器发送所述物品对象的识别指令，以使所述服务器根据预先训练的目标识别模型在当前所在空间的三维点云数据中得到所述物品对象在所述空间中的空间位置范围；其中，所述识别指令包括所述物品对象的对象标识和当前所在空间的空间标识；
位置接收模块，用于接收所述服务器发送的所述物品对象的空间位置范围，并与当前视线范围进行比对；
视线校正模块，用于若当前视线范围与所述空间位置范围不满足预设的重叠标准，则移动视线方向，使所述视线范围与所述物品对象的空间位置范围符合所述重叠标准。
第四方面，本发明实施例提供了一种用于在三维空间实现目标定位的服务器，其特征在于，包括：
指令接收模块，用于接收由终端发送的物品对象的识别指令，所述识别指令包括物品对象的对象标识和所在空间的空间标识；其中，所述物品对象与所述终端当前播放的语音片段相对应；
目标识别模块，用于根据预先训练的目标识别模型，在所述空间标识对应的三维点云数据找到所述物品对象的空间位置范围；
位置发送模块，用于将所述空间位置范围发送给所述终端，以使所述终端若判定当前视线范围与所述空间位置范围不满足预设的重叠标准，则移动视线方向，使所述视线范围与所述物品对象的空间位置范围符合所述重叠标准。
第五方面，本发明实施例还提供了一种电子设备，包括：
处理器、存储器、通信接口和通信总线；其中，
所述处理器、存储器、通信接口通过所述通信总线完成相互间的通信；
所述通信接口用于该电子设备的通信设备之间的信息传输；
所述存储器存储有可被所述处理器执行的计算机程序指令，所述处理器调用所述程序指令能够执行如下方法：
根据当前播放的语音片段，得到与所述语音片段对应的物品对象，并向服务器发送所述物品对象的识别指令，以使所述服务器根据预先训练的目标识别模型在当前所在空间的三维点云数据中得到所述物品对象在所述空间中的空间位置范围；其中，所述识别指令包括所述物品对象的对象标识和当前所在空间的空间标识；
接收所述服务器发送的所述物品对象的空间位置范围，并与当前视线范围进行比对；
若当前视线范围与所述空间位置范围不满足预设的重叠标准，则移动视线方向，使所述视线范围与所述物品对象的空间位置范围符合所述重叠标准。
第六方面，本发明实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如下方法：
根据当前播放的语音片段，得到与所述语音片段对应的物品对象，并向服务器发送所述物品对象的识别指令，以使所述服务器根据预先训练的目标识别模型在当前所在空间的三维点云数据中得到所述物品对象在所述空间中的空间位置范围；其中，所述识别指令包括所述物品对象的对象标识和当前所在空间的空间标识；
接收所述服务器发送的所述物品对象的空间位置范围，并与当前视线范围进行比对；
若当前视线范围与所述空间位置范围不满足预设的重叠标准，则移动视线方向，使所述视线范围与所述物品对象的空间位置范围符合所述重叠标准。
本发明实施例通过得到与当前播放的语音片段对应的物品对象，向所述服务器发送对象识别指令，若所述服务器根据目标识别模型判定所在空间存在所述物品对象，则所述服务器将所述物品对象的空间位置范围发送给终端，由终端判断当前视线范围是否满足预设的重叠标准，若不满足，则快速移动当前视线范围直到满足所述重叠标准，从而使实现三维空间内游走、三维空间内物品对象展示、语音内容的三者同步，让用户从音频的文字内容、视觉的内容呈现上，非常直观的了解到三维空间内所有物品对象的特点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的在三维空间实现目标定位的方法流程图；
图2为本发明实施例的另一在三维空间实现目标定位的方法流程图；
图3为本发明实施例的又一在三维空间实现目标定位的方法流程图；
图4为本发明实施例的用于在三维空间实现目标定位的终端结构示意图；
图5为本发明实施例的用于在三维空间实现目标定位的服务器结构示意图；
图6示例了一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例的在三维空间实现目标定位的方法流程图，如图1所示，所述方法包括：
步骤S01、根据当前播放的语音片段，得到与所述语音片段对应的物品对象，并向服务器发送所述物品对象的识别指令，以使所述服务器根据预先训练的目标识别模型在当前所在空间的三维点云数据中找到所述物品对象在所述空间中的空间位置范围；其中，所述识别指令包括所述物品对象的对象标识和当前所在空间的空间标识。
当用户通过终端所安装的应用选定讲解对象，开始播放与所述讲解对象对应的语音数据，所述语音数据包括多个按预设顺序排列的语音片段。
根据当前播放的语音片段，所述终端可以解析出所述语音片段包含的字段，并且根据所有物品对象与字段的映射关系，来判断当前播放的语音片段中是否存在对应的物品对象，例如，卧室的衣帽间、飘窗、卫生间的窗户等，相当于是通过对语音片段的解析来判断当前播放的语音片段是否为对该物品对象的讲解。
若当前语音片段不存在与其对应的物品对象，则所述终端不进行后续操作，而等待下一个语音片段的开启。
若当前语音片段存在与其对应的物品对象，则所述终端将向服务器发送物品对象的识别指令。所述识别指令至少包括所述物品对象的对象标识，以及当前所在空间的空间标识。
所述服务器搭建经过训练的目标识别模型，所述目标识别模型可以为卷积神经网络模型。训练后的目标识别模型可以用于识别出输入的三维点云数据所对应的空间中是否存在特定的物品对象，如果存在则所述目标识别模型还可以进一步得到所述物品对象在该空间的空间位置范围。
在接收到所述物品对象的识别指令后，所述服务器提取出其中的空间标识和对象标识。然后，根据所述空间标识在数据库中找到所述空间标识对应的空间的三维点云数据，并将该三维点云数据输入到所述目标识别模型中。若所述目标识别模型判断该空间中不存在与所述对象标识对应的物品对象，则所述服务器可以选择向所述终端发送无法识别消息或者不执行任何操作。而若所述目标识别模型判断该空间中存在与所述对象标识对应的物品对象，且得到了该物品对象在空间中的空间位置范围，则所述服务器将所述空间位置范围发送给所述终端。
步骤S02、接收所述服务器发送的所述物品对象的空间位置范围，并与当前视线范围进行比对。
所述终端在接收到所述物品对象的空间位置范围后，将所述空间位置范围与当前视线范围进行比对。
步骤S03、若当前视线范围与所述空间位置范围不满足预设的重叠标准，则移动视线方向，使所述视线范围与所述物品对象的空间位置范围符合所述重叠标准。
根据预设的重叠标准，若当前视线范围与所述空间位置范围满足所述重叠标准，则不对当前的视线范围和移动进行任何的调整，即相当于可以认为在当前视线范围内所述物品对象可见。而若所述视线范围与所述空间位置范围不满足所述重叠标准，则需要根据所述空间位置范围与所述视线范围的关系，快速转动所述视线范围，以使得视线范围与空间位置范围能够满足所述重叠标准。
所述重叠标准可以根据实际的需要来进行设定，在此不作具体限定。可以采用重叠比例为标准，所述终端预设重叠比例阈值，例如50％，将所述空间位置范围进入到所述视线范围内的面积或体积与所述空间位置范围本身的面积或体积的比值与所述重叠比例阈值进行比较，若所述比值大于所述比例阈值，则判定当前的视线范围满足所述重叠标准；否则为不满足。
本发明实施例通过得到与当前播放的语音片段对应的物品对象，向所述服务器发送对象识别指令，若所述服务器根据目标识别模型判定所在空间存在所述物品对象，则所述服务器将所述物品对象的空间位置范围发送给终端，由终端判断当前视线范围是否满足预设的重叠标准，若不满足，则快速移动当前视线范围直到满足所述重叠标准，从而使实现三维空间内游走、三维空间内物品对象展示、语音内容的三者同步，让用户从音频的文字内容、视觉的内容呈现上，非常直观的了解到三维空间内所有物品对象的特点。
图2为本发明实施例的另一在三维空间实现目标定位的方法流程图，进一步地，所述重叠标准具体为：
所述空间位置范围的中心点位于所述视线范围内。相应地，如图2所示，所述步骤S03具体为：
步骤S031、若当前视线范围内不存在所述中心点，则根据所述中心点的位置移动所述视线方向，使所述中心点进入所述视线范围内，且根据预设的角速度继续向所述中心点方向转动。
对于重叠标准的设定，本发明实施例给出了其中的一种举例说明。所述重叠标准为所述空间位置范围的中心点于所述视线范围内。
此时在将所述空间位置范围与所述当前视线范围进行比对时，只需要先确定所述空间位置范围的中心点，然后再判断当前视线范围内是否包含该中心点即可。所述中心点的位置信息可以是直接由服务器通过目标识别模型得到，也可以是终端自身根据服务器发送的空间位置范围计算得到，在此不作具体的设定。
若所述中心点不位于当前视线范围内，则根据所述中心点的位置信息与当前视线范围的位置关系，快速移动视线范围，以使所述中心点进入所述视线范围内，且在后续视线范围的移动过程中按照预设的角速度，继续向所述中心点方向转动，相当于向所述物品对象移动。
本发明实施例通过空间位置范围的中心点，若判定所述中心点不太当前视线范围内，则快速移动视线范围，使所述中心点进入到所述视线范围内，从而使实现三维空间内游走、三维空间内物品对象展示、语音内容的三者同步，让用户从音频的文字内容、视觉的内容呈现上，非常直观的了解到三维空间内所有物品对象的特点。
基于上述实施例，进一步地，在所述步骤S02后，所述方法还包括：
根据接收到的空间位置范围，在所述空间中对所述物品对象进行标识。
所述终端根据接收到空间位置范围，在所述空间中对所述物品对象进行标识。具体，可以通过改变当前空间的在所述空间位置范围内的三维点云的参数，从而物品对象显示高亮，或者在与所述识别指令中的对象标识比对后，对该空间位置范围直接用文字进行标注。
本发明实施例通过将接收到的空间位置范围进行标识，从而使用户在视线范围内更容易发现所述物品对象，更直观的了解到三维空间内所有物品对象的特点。
图3为本发明实施例的又一在三维空间实现目标定位的方法流程图，如图3所示，所述方法包括：
步骤S10、接收由终端发送的物品对象的识别指令，所述识别指令包括物品对象的对象标识和所在空间的空间标识；其中，所述物品对象与所述终端当前播放的语音片段相对应。
当用户通过终端所述安装的应用选定讲解对象，开始播放与所述讲解对象对应的语音数据，所述语音数据包括多个按预设顺序排列的语音片段。
根据当前播放的语音片段，所述终端可以解析出所述语音片段包含的字段，并且根据所有物品对象与字段的映射关系，来判断当前播放的语音片段中是否存在对应的物品对象。
若当前语音片段不存在与其对应的物品对象，则所述终端不进行后续操作，而等待下一个语音片段的开启。
若当前语音片段存在与其对应的物品对象，则所述终端将向服务器发送物品对象的识别指令。所述识别指令至少包括所述物品对象的对象标识，以及当前所在空间的空间标识。
步骤S11、根据预先训练的目标识别模型，在所述空间标识对应的三维点云数据找到所述物品对象的空间位置范围。
所述服务器搭建经过训练的目标识别模型，所述目标识别模型可以为神经卷积网络模型。训练后的目标识别模型可以用于识别出输入的三维点云数据所对应的空间中是否存在特定的物品对象，如果存在则所述目标识别模型还可以进一步得到所述物品对象在该空间的空间位置范围。
在接收到所述物品对象的识别指令后，所述服务器提取出其中的空间标识和对象标识。然后，根据所述空间标识在数据库中找到所述空间标识对应的空间的三维点云数据，并将该三维点云数据输入到所述目标识别模型中。若所述目标识别模型判断该空间中不存在与所述对象标识对应的物品对象，则所述服务器可以选择向所述终端发送无法识别消息或者不执行任何操作。而若所述目标识别模型判断该空间中存在与所述对象标识对应的物品对象，且得到了该物品对象在空间中的空间位置范围。
步骤S12、将所述空间位置范围发送给所述终端，以使所述终端若判定当前视线范围与所述空间位置范围不满足预设的重叠标准，则移动视线方向，使所述视线范围与所述物品对象的空间位置范围符合所述重叠标准。
所述服务器将得到的所述空间位置范围发送给所述终端。
所述终端在接收到所述物品对象的空间位置范围后，将所述空间位置范围与当前视线范围进行比对。
根据预设的重叠标准，若当前视线范围与所述空间位置范围满足所述重叠标准，则不对当前的视线范围和移动进行任何的调整，即相当于可以认为在当前视线范围内所述物品对象可见。而若所述视线范围与所述空间位置范围不满足所述重叠标准，则需要根据所述空间位置范围与所述视线范围的关系，快速转动所述视线范围，以使得视线范围与空间位置范围能够满足所述重叠标准。
所述重叠标准可以根据实际的需要来进行设定，在此不作具体限定。
本发明实施例通过得到与当前播放的语音片段对应的物品对象，向所述服务器发送对象识别指令，若所述服务器根据目标识别模型判定所在空间存在所述物品对象，则所述服务器将所述物品对象的空间位置范围发送给终端，由终端判断当前视线范围是否满足预设的重叠标准，若不满足，则快速移动当前视线范围直到满足所述重叠标准，从而使实现三维空间内游走、三维空间内物品对象展示、语音内容的三者同步，让用户从音频的文字内容、视觉的内容呈现上，非常直观的了解到三维空间内所有物品对象的特点。
基于上述实施例，进一步地，在所述步骤S10前，所述方法还包括：
利用填加对象标签的三维点云数据样本，对所述目标识别模型进行训练；其中，所述对象标签与所述物品对象一一对应。
所述服务器根据实际的需要预先搭建所述目标识别模型，可以采用循环神经网络、卷积神经网络(Cable News Network，CNN)、Region-CNN、Mask-RCNN等，通过机器学习对所述目标识别模型进行训练，从而建设基本的目标识别能力。卷积神经网络可以包括多个卷积层，且每个卷积层之后还可以设置对应的池化层，一般地，卷积层和池化层交替设置，以通过池化层对卷积层输出的结果进行池化。本实施例中，卷积层和池化层的数量可以根据实际需求进行设置，此处不做具体限定。需要说明的是，若目标识别模型的神经网络包括多个卷积层，则最后一个卷积层输出的结果应为识别出的物品对象的点云数据。根据物品对象的点云数据，即可确定该物品在三维模型中的空间位置。
利用深度图片信息和与物品对象一一对应的对象标签，在图片上填加像素级标签，生成包含所述对象标签的三维点云数据样本，从而使所述三维点云数据样本与所述物品对象一一对应。再由所述三维点云数据样本，对所述目标识别模型进行训练。将完成训练的目标识别模块进行封装。当待检测的三维点云数据输入封装好的识别模型，便可以准确找到点云数据中的物品对象及物品对象边界。
本发明实施例通过搭建目标识别模型，并进行预先的训练，从而使所述目标识别模型能够实现将特定的物品对象从三维点云数据中识别出来并得到对应的空间位置范围的能力，从而能够快速定位在空间中的物品对象，实现三维空间内游走、三维空间内物品对象展示、语音内容的三者同步，让用户从音频的文字内容、视觉的内容呈现上，非常直观的了解到三维空间内所有物品对象的特点。
图4为本发明实施例的用于在三维空间实现目标定位的终端结构示意图，如图4所示，所述终端包括：指令发送模块10、位置接收模块11和视线校正模块12，其中，
所述指令发送模块10用于根据当前播放的语音片段，得到与所述语音片段对应的物品对象，并向服务器发送所述物品对象的识别指令，以使所述服务器根据预先训练的目标识别模型在当前所在空间的三维点云数据中得到所述物品对象在所述空间中的空间位置范围；其中，所述识别指令包括所述物品对象的对象标识和当前所在空间的空间标识；所述位置接收模块11用于接收所述服务器发送的所述物品对象的空间位置范围，并与当前视线范围进行比对；所述视线校正模块12用于若当前视线范围与所述空间位置范围不满足预设的重叠标准，则移动视线方向，使所述视线范围与所述物品对象的空间位置范围符合所述重叠标准。具体地：
当用户通过指令发送模块10选定讲解对象，开始播放与所述讲解对象对应的语音数据，所述语音数据包括多个按预设顺序排列的语音片段。
根据当前播放的语音片段，所述指令发送模块10可以解析出所述语音片段包含的字段，并且根据所有物品对象与字段的映射关系，来判断当前播放的语音片段中是否存在对应的物品对象。
若当前语音片段不存在与其对应的物品对象，则所述指令发送模块10不进行后续操作，而等待下一个语音片段的开启。
若当前语音片段存在与其对应的物品对象，则所述指令发送模块10将向服务器发送物品对象的识别指令。所述识别指令至少包括所述物品对象的对象标识，以及当前所在空间的空间标识。
所述服务器搭建经过训练的目标识别模型，所述目标识别模型可以为神经卷积网络模型。训练后的目标识别模型可以用于识别出输入的三维点云数据所对应的空间中是否存在特定的物品对象，如果存在则所述目标识别模型还可以进一步得到所述物品对象在该空间的空间位置范围。
在接收到所述物品对象的识别指令后，所述服务器提取出其中的空间标识和对象标识。然后，根据所述空间标识在数据库中找到所述空间标识对应的空间的三维点云数据，并将该三维点云数据输入到所述目标识别模型中。若所述目标识别模型判断该空间中不存在与所述对象标识对应的物品对象，则所述服务器可以选择向所述位置接收模块11发送无法识别消息或者不执行任何操作。而若所述目标识别模型判断该空间中存在与所述对象标识对应的物品对象，且得到了该物品对象在空间中的空间位置范围。
所述服务器将得到的所述空间位置范围发送给所述位置接收模块11。
所述位置接收模块11在接收到所述物品对象的空间位置范围后发送给视线校正模块12，由所述视线校正模块12将所述空间位置范围与当前视线范围进行比对。
根据所述视线校正模块12预设的重叠标准，若当前视线范围与所述空间位置范围满足所述重叠标准，则不对当前的视线范围和移动进行任何的调整，即相当于可以认为在当前视线范围内所述物品对象可见。而若所述视线范围与所述空间位置范围不满足所述重叠标准，则所述视线校正模块12需要根据所述空间位置范围与所述视线范围的关系，快速转动所述视线范围，以使得视线范围与空间位置范围能够满足所述重叠标准。
所述重叠标准可以根据实际的需要来进行设定，在此不作具体限定。
本发明实施例提供的装置用于执行上述终端，其功能具体参考上述方法实施例，其具体方法流程在此处不再赘述。
本发明实施例通过指令发送模块10得到与当前播放的语音片段对应的物品对象，向所述服务器发送对象识别指令，若所述服务器根据目标识别模型判定所在空间存在所述物品对象，则所述服务器将所述物品对象的空间位置范围发送给位置接收模块11，由视线校正模块12判断当前视线范围是否满足预设的重叠标准，若不满足，则快速移动当前视线范围直到满足所述重叠标准，从而使实现三维空间内游走、三维空间内物品对象展示、语音内容的三者同步，让用户从音频的文字内容、视觉的内容呈现上，非常直观的了解到三维空间内所有物品对象的特点。
基于上述实施例，进一步地，所述重叠标准具体为：
所述空间位置范围的中心点位于所述视线范围内；相应地，所述视线校正模块具体用于，
若当前视线范围内不存在所述中心点，则根据所述中心点的位置移动所述视线方向，使所述中心点进入所述视线范围内，且根据预设的角速度继续向所述中心点方向转动。
对于重叠标准的设定，本发明实施例给出了其中的一种举例说明。所述重叠标准为所述空间位置范围的中心点于所述视线范围内。
此时所述视线校正模块在将所述空间位置范围与所述当前视线范围进行比对时，只需要先确定所述空间位置范围的中心点，然后再判断当前视线范围内是否包含该中心点即可。所述中心点的位置信息可以是直接由服务器通过目标识别模型得到，也可以是视线校正模块自身根据服务器发送的空间位置范围计算得到，在此不作具体的设定。
若所述中心点不位于当前视线范围内，则根据所述中心点的位置信息与当前视线范围的位置关系，所述视线校正模块快速移动视线范围，以使所述中心点进入所述视线范围内，且在后续视线范围的移动过程中按照预设的角速度，继续向所述中心点方向转动，相当于向所述物品对象移动。
本发明实施例提供的装置用于执行上述终端，其功能具体参考上述方法实施例，其具体方法流程在此处不再赘述。
本发明实施例通过空间位置范围的中心点，若判定所述中心点不太当前视线范围内，则快速移动视线范围，使所述中心点进入到所述视线范围内，从而使实现三维空间内游走、三维空间内物品对象展示、语音内容的三者同步，让用户从音频的文字内容、视觉的内容呈现上，非常直观的了解到三维空间内所有物品对象的特点。
图5为本发明实施例的用于在三维空间实现目标定位的服务器结构示意图，如图5所示，所述服务器包括：指令接收模块20、目标识别模块21和位置发送模块22，其中，
所述指令接收模块20用于接收由终端发送的物品对象的识别指令，所述识别指令包括物品对象的对象标识和所在空间的空间标识；其中，所述物品对象与所述终端当前播放的语音片段相对应；所述目标识别模块21用于根据预先训练的目标识别模型，在所述空间标识对应的三维点云数据找到所述物品对象的空间位置范围；所述位置发送模块22用于将所述空间位置范围发送给所述终端，以使所述终端若判定当前视线范围与所述空间位置范围不满足预设的重叠标准，则移动视线方向，使所述视线范围与所述物品对象的空间位置范围符合所述重叠标准。具体地：
当用户通过终端所述安装的应用选定讲解对象，开始播放与所述讲解对象对应的语音数据，所述语音数据包括多个按预设顺序排列的语音片段。
根据当前播放的语音片段，所述终端可以解析出所述语音片段包含的字段，并且根据所有物品对象与字段的映射关系，来判断当前播放的语音片段中是否存在对应的物品对象。
若当前语音片段不存在与其对应的物品对象，则所述终端不进行后续操作，而等待下一个语音片段的开启。
若当前语音片段存在与其对应的物品对象，则所述终端将向指令接收模块20发送物品对象的识别指令。所述识别指令至少包括所述物品对象的对象标识，以及当前所在空间的空间标识。所述指令接收模块20将接收到的识别指令发送给所述目标识别模块21。
所述目标识别模块21搭建经过训练的目标识别模型，所述目标识别模型可以为神经卷积网络模型。训练后的目标识别模型可以用于识别出输入的三维点云数据所对应的空间中是否存在特定的物品对象，如果存在则所述目标识别模型还可以进一步得到所述物品对象在该空间的空间位置范围。
在接收到所述识别指令后，所述目标识别模块21提取出其中的空间标识和对象标识。然后，根据所述空间标识在数据库中找到所述空间标识对应的空间的三维点云数据，并将该三维点云数据输入到所述目标识别模型中。若所述目标识别模型判断该空间中不存在与所述对象标识对应的物品对象，则所述目标识别模块21可以选择指示所述位置发送模块22向所述终端发送无法识别消息或者不执行任何操作。而若所述目标识别模型判断该空间中存在与所述对象标识对应的物品对象，且得到了该物品对象在空间中的空间位置范围，则所述目标识别模块21将所述空间位置范围发送给所述位置发送模块22。
所述位置发送模块22将得到的所述空间位置范围发送给所述终端。
所述终端在接收到所述物品对象的空间位置范围后，将所述空间位置范围与当前视线范围进行比对。
根据预设的重叠标准，若当前视线范围与所述空间位置范围满足所述重叠标准，则不对当前的视线范围和移动进行任何的调整，即相当于可以认为在当前视线范围内所述物品对象可见。而若所述视线范围与所述空间位置范围不满足所述重叠标准，则需要根据所述空间位置范围与所述视线范围的关系，快速转动所述视线范围，以使得视线范围与空间位置范围能够满足所述重叠标准。
所述重叠标准可以根据实际的需要来进行设定，在此不作具体限定。
本发明实施例提供的装置用于执行上述服务器，其功能具体参考上述方法实施例，其具体方法流程在此处不再赘述。
本发明实施例通过得到与当前播放的语音片段对应的物品对象，向所述服务器发送对象识别指令，若所述目标识别模块21根据目标识别模型判定所在空间存在所述物品对象，则所述位置发送模块22将所述物品对象的空间位置范围发送给终端，由终端判断当前视线范围是否满足预设的重叠标准，若不满足，则快速移动当前视线范围直到满足所述重叠标准，从而使实现三维空间内游走、三维空间内物品对象展示、语音内容的三者同步，让用户从音频的文字内容、视觉的内容呈现上，非常直观的了解到三维空间内所有物品对象的特点。
图6示例了一种电子设备的实体结构示意图，如图6所示，该服务器可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行如下方法：根据当前播放的语音片段，得到与所述语音片段对应的物品对象，并向服务器发送所述物品对象的识别指令，以使所述服务器根据预先训练的目标识别模型在当前所在空间的三维点云数据中得到所述物品对象在所述空间中的空间位置范围；其中，所述识别指令包括所述物品对象的对象标识和当前所在空间的空间标识；接收所述服务器发送的所述物品对象的空间位置范围，并与当前视线范围进行比对；若当前视线范围与所述空间位置范围不满足预设的重叠标准，则移动视线方向，使所述视线范围与所述物品对象的空间位置范围符合所述重叠标准。
进一步地，本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：根据当前播放的语音片段，得到与所述语音片段对应的物品对象，并向服务器发送所述物品对象的识别指令，以使所述服务器根据预先训练的目标识别模型在当前所在空间的三维点云数据中得到所述物品对象在所述空间中的空间位置范围；其中，所述识别指令包括所述物品对象的对象标识和当前所在空间的空间标识；接收所述服务器发送的所述物品对象的空间位置范围，并与当前视线范围进行比对；若当前视线范围与所述空间位置范围不满足预设的重叠标准，则移动视线方向，使所述视线范围与所述物品对象的空间位置范围符合所述重叠标准。
进一步地，本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：根据当前播放的语音片段，得到与所述语音片段对应的物品对象，并向服务器发送所述物品对象的识别指令，以使所述服务器根据预先训练的目标识别模型在当前所在空间的三维点云数据中得到所述物品对象在所述空间中的空间位置范围；其中，所述识别指令包括所述物品对象的对象标识和当前所在空间的空间标识；接收所述服务器发送的所述物品对象的空间位置范围，并与当前视线范围进行比对；若当前视线范围与所述空间位置范围不满足预设的重叠标准，则移动视线方向，使所述视线范围与所述物品对象的空间位置范围符合所述重叠标准。
本领域普通技术人员可以理解：此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种在三维空间实现目标定位的方法，其特征在于，包括：
通过终端所安装的应用选定讲解对象，播放与所述讲解对象对应的语音数据，所述语音数据包括多个按预设顺序排列的语音片段；
根据当前播放的语音片段，得到与所述语音片段对应的物品对象，并向服务器发送所述物品对象的识别指令，以使所述服务器根据预先训练的目标识别模型在当前所在空间的三维点云数据中得到所述物品对象在所述空间中的空间位置范围；其中，所述识别指令包括所述物品对象的对象标识和当前所在空间的空间标识；
接收所述服务器发送的所述物品对象的空间位置范围，并与当前视线范围进行比对；
若当前视线范围与所述空间位置范围不满足预设的重叠标准，则移动视线方向，使所述视线范围与所述物品对象的空间位置范围符合所述重叠标准。
2.根据权利要求1所述的在三维空间实现目标定位的方法，其特征在于，所述重叠标准具体为：
所述空间位置范围的中心点位于所述视线范围内；相应地，所述若当前视线范围与所述空间位置范围不满足预设的重叠标准，则移动视线方向，使所述视线范围与所述物品对象的空间位置范围符合所述重叠标准；具体为：
若当前视线范围内不存在所述中心点，则根据所述中心点的位置移动所述视线方向，使所述中心点进入所述视线范围内，且根据预设的角速度继续向所述中心点方向转动。
3.根据权利要求1所述的在三维空间实现目标定位的方法，其特征在于，所述方法还包括：
根据接收到的空间位置范围，在所述空间中对所述物品对象进行标识。
4.一种在三维空间实现目标定位的方法，其特征在于，包括：
接收由终端发送的物品对象的识别指令，所述识别指令包括物品对象的对象标识和所在空间的空间标识；其中，所述物品对象与所述终端当前播放的语音片段相对应；
根据预先训练的目标识别模型，在所述空间标识对应的三维点云数据找到所述物品对象的空间位置范围；
将所述空间位置范围发送给所述终端，以使所述终端若判定当前视线范围与所述空间位置范围不满足预设的重叠标准，则移动视线方向，使所述视线范围与所述物品对象的空间位置范围符合所述重叠标准。
5.根据权利要求4所述的在三维空间实现目标定位的方法，其特征在于，所述方法还包括：
利用填加对象标签的三维点云数据样本，对所述目标识别模型进行训练；其中，所述对象标签与所述物品对象一一对应。
6.一种用于在三维空间实现目标定位的终端，其特征在于，包括：
指令发送模块，用于选定讲解对象，播放与所述讲解对象对应的语音数据，所述语音数据包括多个按预设顺序排列的语音片段，根据当前播放的语音片段，得到与所述语音片段对应的物品对象，并向服务器发送所述物品对象的识别指令，以使所述服务器根据预先训练的目标识别模型在当前所在空间的三维点云数据中得到所述物品对象在所述空间中的空间位置范围；其中，所述识别指令包括所述物品对象的对象标识和当前所在空间的空间标识；
位置接收模块，用于接收所述服务器发送的所述物品对象的空间位置范围，并与当前视线范围进行比对；
视线校正模块，用于若当前视线范围与所述空间位置范围不满足预设的重叠标准，则移动视线方向，使所述视线范围与所述物品对象的空间位置范围符合所述重叠标准。
7.根据权利要求6所述的用于在三维空间实现目标定位的终端，其特征在于，所述重叠标准具体为：
所述空间位置范围的中心点位于所述视线范围内；相应地，所述视线校正模块具体用于，
若当前视线范围内不存在所述中心点，则根据所述中心点的位置移动所述视线方向，使所述中心点进入所述视线范围内，且根据预设的角速度继续向所述中心点方向转动。
8.一种用于在三维空间实现目标定位的服务器，其特征在于，包括：
指令接收模块，用于接收由终端发送的物品对象的识别指令，所述识别指令包括物品对象的对象标识和所在空间的空间标识；其中，所述物品对象与所述终端当前播放的语音片段相对应；
目标识别模块，用于根据预先训练的目标识别模型，在所述空间标识对应的三维点云数据找到所述物品对象的空间位置范围；
位置发送模块，用于将所述空间位置范围发送给所述终端，以使所述终端若判定当前视线范围与所述空间位置范围不满足预设的重叠标准，则移动视线方向，使所述视线范围与所述物品对象的空间位置范围符合所述重叠标准。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述在三维空间实现目标定位的方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至5任一项所述在三维空间实现目标定位的方法的步骤。
CN201910314750.9A 2019-04-18 2019-04-18 一种在三维空间实现目标定位的方法、终端和服务器 Active CN110111385B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910314750.9A CN110111385B (zh) 2019-04-18 2019-04-18 一种在三维空间实现目标定位的方法、终端和服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910314750.9A CN110111385B (zh) 2019-04-18 2019-04-18 一种在三维空间实现目标定位的方法、终端和服务器

Publications (2)

Publication Number Publication Date
CN110111385A CN110111385A (zh) 2019-08-09
CN110111385B true CN110111385B (zh) 2020-08-11

Family

ID=67485812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910314750.9A Active CN110111385B (zh) 2019-04-18 2019-04-18 一种在三维空间实现目标定位的方法、终端和服务器

Country Status (1)

Country Link
CN (1) CN110111385B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178191B (zh) * 2019-11-11 2022-01-11 贝壳找房(北京)科技有限公司 信息播放方法、装置、计算机可读存储介质及电子设备
CN111397510B (zh) * 2020-03-24 2021-05-18 青岛罗博智慧教育技术有限公司 一种数字轨迹记录装置及坐标校准方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492375A (zh) * 2018-02-07 2018-09-04 链家网（北京）科技有限公司 一种虚拟现实看房方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6154723A (en) * 1996-12-06 2000-11-28 The Board Of Trustees Of The University Of Illinois Virtual reality 3D interface system for data creation, viewing and editing
US10304446B2 (en) * 2016-02-03 2019-05-28 Disney Enterprises, Inc. Self calibration for smartphone goggles
CN106205605A (zh) * 2016-07-14 2016-12-07 苏州美房云客软件科技股份有限公司 基于Android的语音控制VR楼盘展示方法及系统
CN106155326A (zh) * 2016-07-26 2016-11-23 北京小米移动软件有限公司 虚拟现实通讯中的对象识别方法和装置、虚拟现实设备
CN107300970B (zh) * 2017-06-05 2020-12-11 百度在线网络技术（北京）有限公司 虚拟现实交互方法和装置
CN107872731B (zh) * 2017-11-22 2020-02-21 三星电子（中国）研发中心 全景视频播放方法及装置
CN108492376A (zh) * 2018-02-07 2018-09-04 成都智建新业建筑设计咨询有限公司 基于虚拟现实技术的家装展示的方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492375A (zh) * 2018-02-07 2018-09-04 链家网（北京）科技有限公司 一种虚拟现实看房方法及系统

Also Published As

Publication number Publication date
CN110111385A (zh) 2019-08-09

Similar Documents

Publication Publication Date Title
US11557075B2 (en) Body pose estimation
US10311115B2 (en) Object search method and apparatus
CN110111385B (zh) 一种在三维空间实现目标定位的方法、终端和服务器
CN113469000B (zh) 区域地图的处理方法及装置、存储介质及电子装置
EP4073758A1 (en) Skeletal tracking using previous frames
CN108537129B (zh) 训练样本的标注方法、装置和系统
CN111126209B (zh) 车道线检测方法及相关设备
CN112926083B (zh) 基于建筑信息模型的交互处理方法及相关装置
CN113705716B (zh) 图像识别模型训练方法、设备、云控平台及自动驾驶车辆
CN112486691A (zh) 显示设备的控制方法、系统及计算机可读存储介质
CN111611365A (zh) 一种对话系统的流程控制方法、装置、设备及存储介质
CN112508127A (zh) 数据标注方法及装置、电子设备、介质和产品
CN109344335B (zh) 一种内容推荐方法及电子设备
WO2022022292A1 (zh) 手持物体识别方法及装置
US20220207286A1 (en) Logo picture processing method, apparatus, device and medium
EP3477434B1 (en) Information processing device, information processing method, and program
CN111081090B (zh) 一种点读场景下的信息输出方法及学习设备
CN112569574B (zh) 一种模型拆解方法、装置、电子设备及可读存储介质
CN113127058A (zh) 数据标注方法、相关装置及计算机程序产品
US10841252B2 (en) Contact matching method and apparatus
CN112016398B (zh) 手持物体识别方法及装置
EP4016384A1 (en) Method, apparatus and system for identifying item on shelf
CN113535064B (zh) 虚拟标签标记方法、装置、电子设备及存储介质
CN115131562B (zh) 三维场景分割方法、模型训练方法、装置和电子设备
CN115019048B (zh) 三维场景分割方法、模型训练方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20191216

Address after: 100085 Floor 102-1, Building No. 35, West Second Banner Road, Haidian District, Beijing

Applicant after: Seashell Housing (Beijing) Technology Co., Ltd.

Address before: 300 457 days Unit 5, Room 1, 112, Room 1, Office Building C, Nangang Industrial Zone, Binhai New Area Economic and Technological Development Zone, Tianjin

Applicant before: Shell Technology Co., Ltd.

GR01 Patent grant
GR01 Patent grant