CN111178191B - 信息播放方法、装置、计算机可读存储介质及电子设备 - Google Patents

信息播放方法、装置、计算机可读存储介质及电子设备 Download PDF

Info

Publication number
CN111178191B
CN111178191B CN201911310220.3A CN201911310220A CN111178191B CN 111178191 B CN111178191 B CN 111178191B CN 201911310220 A CN201911310220 A CN 201911310220A CN 111178191 B CN111178191 B CN 111178191B
Authority
CN
China
Prior art keywords
information
display
playing
dimensional model
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911310220.3A
Other languages
English (en)
Other versions
CN111178191A (zh
Inventor
肖敏
白杰
朱毅
李阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
As you can see (Beijing) Technology Co.,Ltd.
Original Assignee
Seashell Housing Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seashell Housing Beijing Technology Co Ltd filed Critical Seashell Housing Beijing Technology Co Ltd
Publication of CN111178191A publication Critical patent/CN111178191A/zh
Priority to PCT/CN2020/112004 priority Critical patent/WO2021093416A1/zh
Priority to KR1020227019340A priority patent/KR20220093216A/ko
Priority to JP2022527210A priority patent/JP7407929B2/ja
Priority to US17/775,937 priority patent/US20220415063A1/en
Priority to CA3162120A priority patent/CA3162120A1/en
Application granted granted Critical
Publication of CN111178191B publication Critical patent/CN111178191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种信息播放方法、装置、计算机可读存储介质及电子设备，涉及计算机技术领域，其中的方法包括：对三维模型中的空间图像进行识别处理，获取空间图像中的信息显示设备以及显示区域；确定与显示区域相对应的显示位置信息；基于显示位置信息在显示区域内叠加信息播放层，用以在信息播放层中播放显示信息；本公开的方法、装置以及电子设备、存储介质，通过在三维模型中的信息显示设备上叠加信息播放层，实现在三维模型中的进一步的信息交互，可以让用户在三维模型中更贴近真实场景，提升了用户体验。

Description

信息播放方法、装置、计算机可读存储介质及电子设备
技术领域
本公开涉及计算机技术领域，尤其是一种信息播放方法、装置、计算机可读存储介质及电子设备。
背景技术
目前，互联网技术为人们的生活带来了很多便利。利用三维重建技术，人们可以足不出户，即可体验购物、旅游、参观、看房等操作。并且，在重建的三维模型中，可以给用户提供基本与实际场景相同的用户体验。但随着人们越来越多的使用三维重建场景，对于在三维场景中的交互要求越来越高，而目前的技术，在用户浏览时缺少互动，无法给用户提供更多种多样的基于三维场景的交互，用户体验很差。
发明内容
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种信息播放方法、装置、计算机可读存储介质及电子设备。
本公开的实施例提供了一种信息播放方法，包括：对三维模型中的空间图像进行识别处理，获取所述空间图像中的信息显示设备以及显示区域；确定与所述显示区域相对应的显示位置信息；基于所述显示位置信息在所述显示区域内叠加信息播放层，用以在所述信息播放层中播放显示信息。
可选地，所述对三维模型中的空间图像进行识别处理，获取所述空间图像中的信息显示设备以及显示区域包括：将所述三维模型输入图像识别模型，利用所述图像识别模型在所述空间图像中识别出所述信息显示设备以及所述显示区域，并确定所述信息显示设备以及所述显示区域在所述三维模型中的位置。
可选地，基于标定有所述信息显示设备的三维空间信息的三维模型样本生成训练样本；其中，在所述信息显示设备的三维空间信息中标定显示区域；使用深度学习方法并基于所述训练样本对预设的深度学习模型进行训练，获得所述图像识别模型。
可选地，所述确定与所述显示区域相对应的显示位置信息包括：获取与所述三维模型对应的三维点云信息；基于所述三维点云信息和所述显示区域在所述三维模型中的位置，确定所述显示位置信息；其中，所述显示位置信息包括：在所述三维模型中的空间坐标。
可选地，所述在所述信息播放层中播放显示信息包括：获取当前虚拟用户视野信息，所述视野信息包括所述虚拟用户当前的位置信息以及所述虚拟用户的视角范围信息；判断所述信息显示设备是否在所述虚拟用户的视野范围内；如果所述信息显示设备位于所述虚拟用户的视野范围内，则在所述信息播放层上加载所述显示信息并进行自动播放，或者响应于用户的播放指令进行播放。
可选地，其中，所述判断所述信息显示设备是否在所述虚拟用户的视野范围内包括：获取所述信息显示设备的端点在所述三维模型中的空间坐标；当所述端点的空间坐标落在所述虚拟用户的视野内的数量大于预设阈值时，确定所述信息显示设备在所述虚拟用户的视野范围内。
可选地，响应于用户的播放控制指令，对在所述信息播放层中播放的所述显示信息进行相对应的交互操作。可选地，所述响应于用户的播放控制指令，对所述信息播放层播放的显示信息进行相对应的交互操作包括：在所述信息播放层上设置交互按钮，响应于用户通过所述交互按钮发送的播放控制指令，对所述显示信息进行相应的交互操作；其中，所述交互操作包括：暂停、播放、切换和播放速率转换中的一项或者多项。
可选地，如果在所述三维模型中识别出多个所述显示区域，则控制在各个所述显示区域内的信息播放层中播放的所述显示信息都不相同。
可选地，如果用户在预设的时间区间内浏览了多个三维模型，则确定与所述多个三维模型对应的、需要播放显示信息的目标显示区域，控制在各个所述目标显示显示区域内的信息播放层中播放的所述显示信息都不相同。
可选地，所述显示信息包括：静态图像、流媒体信息或人机交互界面。
本公开的实施例的另一方面，提供了一种信息播放装置，包括：显示区域识别模块，用于对三维模型中的空间图像进行识别处理，获取所述空间图像中的信息显示设备以及显示区域；显示位置确定模块，用于确定与所述显示区域相对应的显示位置信息；显示信息播放模块，用于基于所述显示位置信息在所述显示区域内叠加信息播放层，用以在所述信息播放层中播放显示信息。
可选地，所述显示区域识别模块，用于将所述三维模型输入图像识别模型，利用所述图像识别模型在所述空间图像中识别出所述信息显示设备以及所述显示区域，并确定所述信息显示设备以及所述显示区域在所述三维模型中的位置。
可选地，所述显示区域识别模块，用于基于标定有所述信息显示设备的三维空间信息的三维模型样本生成训练样本；其中，在所述信息显示设备的三维空间信息中标定显示区域；使用深度学习方法并基于所述训练样本对预设的深度学习模型进行训练，获得所述图像识别模型。
可选地，所述显示位置确定模块，用于获取与所述三维模型对应的三维点云信息；基于所述三维点云信息和所述显示区域在所述三维模型中的位置，确定所述显示位置信息；其中，所述显示位置信息包括：在所述三维模型中的空间坐标。
可选地，所述显示信息播放模块，用于获取当前虚拟用户视野信息，所述视野信息包括所述虚拟用户当前的位置信息以及所述虚拟用户的视角范围信息；判断所述信息显示设备是否在所述虚拟用户的视野范围内；如果所述信息显示设备位于所述虚拟用户的视野范围内，则在所述信息播放层上加载所述显示信息并进行自动播放，或者响应于用户的播放指令进行播放。
可选地，所述显示信息播放模块，还用于获取所述信息显示设备的端点在所述三维模型中的空间坐标；当所述端点的空间坐标落在所述虚拟用户的视野内的数量大于预设阈值时，确定所述信息显示设备在所述虚拟用户的视野范围内。
可选地，显示信息交互模块，用于响应于用户的播放控制指令，对在所述信息播放层中播放的所述显示信息进行相对应的交互操作。
可选地，所述显示信息交互模块，用于在所述信息播放层上设置交互按钮，响应于用户通过所述交互按钮发送的播放控制指令，对所述显示信息进行相应的交互操作；其中，所述交互操作包括：暂停、播放、切换和播放速率转换中的一项或者多项。
可选地，所述显示信息播放模块，用于如果在所述三维模型中识别出多个所述显示区域，则控制在各个所述显示区域内的信息播放层中播放的所述显示信息都不相同。
可选地，所述显示信息播放模块，用于如果用户在预设的时间区间内浏览了多个三维模型，则确定与所述多个三维模型对应的、需要播放显示信息的目标显示区域，控制在各个所述目标显示显示区域内的信息播放层中播放的所述显示信息都不相同。
根据本公开实施例的又一个方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序用于执行上述信息播放方法。
根据本公开实施例的再一个方面，提供了一种电子设备，电子设备包括：处理器；用于存储处理器可执行指令的存储器；处理器，用于从存储器中读取可执行指令，并执行指令以实现上述信息播放方法。
基于本公开上述实施例提供的信息播放方法、装置、计算机可读存储介质及电子设备，通过对三维模型中的空间图像进行识别处理，获取空间图像中的信息显示设备以及显示区域，确定与显示区域相对应的显示位置信息，在显示区域内叠加信息播放层并播放显示信息，并对在信息播放层中播放的显示信息进行相对应的交互操作；通过在三维模型中的信息显示设备上叠加信息播放层，实现在三维模型中的进一步的信息交互，可以让用户在三维模型中更贴近真实场景，提升了用户体验。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本公开所适用的系统图；
图2为本公开的信息播放方法的一个实施例中的流程图；
图3为本公开的信息播放方法的一个实施例中的确定显示位置的流程图；
图4为本公开的信息播放方法的一个实施例中的判断信息显示设备是否在视野范围的流程图；
图5A为本公开的信息播放装置的一个实施例的结构示意图；图5B为本公开的信息播放装置的另一个实施例的结构示意图；
图6是本公开的电子设备的一个实施例的结构图。
具体实施方式
下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“”可以指一个、两个或两个以上。
还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
申请概述
目前，互联网技术为人们的生活带来了很多便利。利用三维重建技术，人们可以足不出户，即可体验购物、旅游、参观、看房等操作。并且，在重建的三维模型中，可以给用户提供基本与实际场景相同的用户体验。但随着人们越来越多的使用三维重建场景，对于在三维场景中的交互要求越来越高。目前，在用户浏览时缺少互动，无法给用户提供更多种多样的基于三维场景的交互，用户体验很差。
本公开提供的信息播放方法，对三维模型中的空间图像进行识别处理，获取空间图像中的信息显示设备以及显示区域，确定与显示区域相对应的显示位置信息，在显示区域内叠加信息播放层并播放显示信息，并对在信息播放层中播放的显示信息进行相对应的交互操作；通过在三维模型中的信息显示设备上叠加信息播放层，实现在三维模型中的进一步的信息交互，可以让用户在三维模型中更贴近真实场景，提升了用户体验。
示例性系统
图1示出了可以应用本公开的实施例的信息播放方法或信息播放装置的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101，网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101通过网络102与服务器103交互，以接收或发送消息等。终端设备101上可以安装有各种通讯客户端应用，例如购物类应用、搜索类应用、网页浏览器应用、即时通信工具等。
终端设备101可以是各种电子设备，包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。
服务器103可以是提供各种服务的服务器，例如对终端设备101上传的图像进行处理的后台图像处理服务器。后台图像处理服务器可以对接收到的图像进行处理，得到处理结果(例如物体的建议信息)并反馈给终端设备。
需要说明的是，本公开的实施例所提供的信息推送方法可以由服务器103执行，也可以由终端设备101执行，相应地，信息推送装置可以设置于服务器103中，也可以设置于终端设备101中。例如，图1中的终端设备101的数量可以是多个，其中一个终端设备从其他终端设备获取空间图像，并执行信息推送方法。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
示例性方法
图2为本公开的信息播放方法的一个实施例中的流程图。本实施例可应用在电子设备(如图1所示的服务器或终端设备)上，如图2所示，包括如下步骤：
步骤201，对三维模型中的空间图像进行识别处理，获取空间图像中的信息显示设备以及显示区域。
在一实施例中，三维模型可以为房屋三维模型等，电子设备可以对目标用户终端(例如图1所示的终端设备)显示的三维模型中的空间图像进行识别处理。其中，目标用户终端是目标用户使用的终端，目标用户是对三维空间进行浏览的用户。空间图像可以是预先对房屋等三维空间拍摄的图像，可以是普通二维图像，也可以是全景图像。空间图像可以包括各种物体图像。例如，当空间图像是对房间内拍摄的图像时，空间图像中可以包括各种家具的图像。比如，沙发，茶几，电视，餐桌等图像。
对于具有各种家具的空间图像，电子设备可以利用各种方法确定空间图像中的物体信息。例如，电子设备可以利用现有的目标检测方法(例如基于神经网络的目标检测方法)，对空间图像进行识别，获取空间图像中的信息显示设备以及显示区域。信息显示设备可以是预先设定的能够进行显示操作的设备，例如电视、显示器、投影仪幕布等，显示区域为电视、显示器、幕布等的显示区域，例如为电视的屏幕区域等。进一步地，信息显示设备还可以包括平坦表面的一些特定区域，比如墙面上的某些特定区域，例如墙面上画出来的一个区域；镜面或者玻璃表面的全部，或者某些特定区域。信息显示设备可以包括在真实物理世界中任何可以用来作为显示界面的物体的三维模型表面。
步骤202，确定与显示区域相对应的显示位置信息。
在一实施例中，与显示区域相对应的显示位置信息可以为该显示区域的四个定点在三维模型中的空间坐标等。
步骤203，基于显示位置信息在显示区域内叠加信息播放层，用以在信息播放层中播放显示信息。
在一实施例中，在显示区域内叠加信息播放层，该信息播放层用于播放显示信息。显示信息可以包括具有预定分辨率的静态图像、流媒体信息或人机交互界面中的一项或者多项，本公开对此不作限定。例如，通过电视的显示区域的显示位置信息判断视频所应该贴的位置，然后将视频贴在三维模型中的电视的显示区域，从而让三维模型中的虚拟电视具有播放视频的功能，成为一个真实的电视。
在一实施例中，响应于用户的播放控制指令，对在信息播放层中播放的显示信息进行相对应的交互操作。用户的播放控制指令可以为暂停、播放、切换和播放速率转换等，响应于用户的播放控制指令，对在信息播放层中播放的显示信息进行相对应的暂停、播放、切换和播放速率转换等交互操作。例如，使三维空间中的电视播放视频并新增了交互操作，用户可以与电视播放的视频进行互动，使得用户更加有身临其境的感觉。
可以在信息播放层上设置交互按钮，响应于用户通过交互按钮发送的播放控制指令，对显示信息进行相应的交互操作，包括：暂停、播放、切换和播放速率转换中的一项或者多项。
在一些可选的实现方式中，图3为本公开的信息播放方法的一个实施例中的确定显示位置的流程图，如图3所示，包括如下步骤：
步骤2011，将三维模型输入图像识别模型，利用图像识别模型在空间图像中识别出信息显示设备以及显示区域，并确定信息显示设备以及显示区域在三维模型中的位置。
在一实施例中，图像识别模型可以为深度学习模型，深度学习模型有多种，例如深度学习模型包括CNN、DBN、RNN、RNTN、自动编码器、GAN等。预设的深度学习模型包括三层神经元模型，三层神经元模型包括输入层神经元模型、中间层神经元模型和输出层神经元模型，每层神经元模型的输出作为下一层神经元模型的输入。三层神经元模型可以为具有全连接结构的多个神经网络层的子网络结构，中间层神经元模型为全连接层。
基于标定有信息显示设备的三维空间信息(包括深度信息)的三维模型样本生成训练样本，在信息显示设备的三维空间信息中标定显示区域，三维空间信息使用深度学习方法并基于训练样本对预设的深度学习模型进行训练，获得图像识别模型。例如，获取标定电视、显示器等信息显示设备的三维空间信息的三维模型样本，并在信息显示设备的三维空间信息中标定显示区域，基于三维模型样本生成训练样本，基于训练样本对图像识别模型进行充分的训练后，该模型对于任意三维模型能够识别出信息显示设备以及显示区域，并确定信息显示设备以及显示区域在三维模型中的位置。
在一实施例中，也可以基于标定有信息显示设备图像的位置的全景图样本生成训练样本，在信息显示设备图像中标定显示区域，使用深度学习方法并基于训练样本对预设的深度学习模型进行训练，获得图像识别模型。例如，获取标定电视、显示器等图像的位置的全景图样本，并在信息显示设备的图像中标定显示区域，基于全景图样本生成训练样本，基于训练样本对图像识别模型进行充分的训练后，该模型对于任意全景图能够识别出信息显示设备以及显示区域，并确定信息显示设备以及显示区域在全景图中的位置。
步骤2012，获取与三维模型对应的三维点云信息。
在一实施例中，可以从远端或本地获取三维点云信息。三维点云信息可以包括对应于三维模型中的像素点的三维坐标值。例如，在建立三维模型时，使用深度相机对房屋等三维空间拍摄图像，获得空间图像，空间图像作为深度图像，能够得到空间图像对应的深度信息。深度信息用于表征空间图像中的物体图像与摄像头的成像面之间的距离。深度图像中的每个像素点对应于一个深度值，深度值用于表征像素点指示的位置与摄像头的成像面之间的距离。电子设备可以根据深度信息表征的距离，确定三维点云信息。
步骤2013，基于三维点云信息和显示区域在三维模型中的位置，确定显示位置信息；其中，显示位置信息包括：在三维模型中的空间坐标。
在一实施例中，空间图像中的每个物体图像可以对应于一个三维点云集合，该三维点云集合中的每个三维点云用于表征物体上的一个点。可以根据三维点云信息以及显示区域在三维模型中的位置，确定信息显示设备的显示区域的各个顶点在三维模型中的空间坐标。例如，通过图像识别模型识别出电视以及电视的显示屏，并确定了显示屏的位置信息，根据三维点云信息以及显示屏在三维模型中的位置确定该显示屏的四个顶点在三维模型中的空间坐标，通过四个空间坐标来确定电视的显示屏在三维模型中的具体位置。图4为本公开的信息播放方法的一个实施例中的判断信息显示设备是否在视野范围的流程图，如图4所示，包括如下步骤：
步骤2031，获取当前虚拟用户视野信息，视野信息包括虚拟用户当前的位置信息以及虚拟用户的视角范围信息。
在一实施例中，电子设备可以虚拟用户所在的位置以及虚拟用户的视野范围，确定虚拟用户的视野信息。用户在三维模型中进行浏览时，始终有一个虚拟的用户在三维模型中模拟用户的真实位置，由于人眼的视角范围是一个固定的角度，一般为60°-120°之间，而用户在不同的位置看到的三维模型也是不同的，因此确定虚拟用户的视野信息，需要用到虚拟用户的位置和视角范围。
步骤2032，判断信息显示设备是否在虚拟用户的视野范围内。
在本实施例中，电子设备能够得到物体的坐标信息，在步骤2031中获取到了虚拟用户的视野信息，将虚拟用户的视野信息与三维模型进行交集处理后，即可获得处在虚拟用户的视野范围内的物体信息。
在一实施例中，电子设备获取信息显示设备的端点在三维模型中的空间坐标；当端点的空间坐标落在虚拟用户的视野内的数量大于预设阈值时，确定信息显示设备在虚拟用户的视野范围内。例如，可以设定当信息显示设备的端点若有2个在虚拟用户的视野范围内，则确定该信息显示设备在虚拟用户的视野范围。即，阈值设置为2，当然，可以根据实际情况，可以设置为3,4，等自然数。
在信息播放层中播放显示信息可以采用多种方法。例如，获取当前虚拟用户视野信息，判断信息显示设备是否在虚拟用户的视野范围内，如果信息显示设备位于虚拟用户的视野范围内，则在信息播放层上加载显示信息并进行自动播放，或者响应于用户的播放指令进行播放。播放显示信息可以采用两种播放形式：自动播放、手动触发。自动播放。例如，当用户在三维模型中进行浏览时，如果三维模型中的电视在用户的可视范围内，则电视里的视频将会自动播放，或者，如果电视在用户的可视范围之内，并且用户在三维模型中点击电视，则可触发电视的播放。
在信息播放层上渲染播放按钮，响应于播放按钮被触发，进行相应的播放操作。在信息播放层上进一步可以渲染出交互按钮，用以模仿真实播放器，用户可以对该播放按钮进行点选等操作，实现在真实空间中的用户交互。例如，可以渲染出暂停、播放、切换或播放速率转换等交互按钮，可以使用户在播放图片、流媒体或者人机交互界面时，与之进行交互操作暂停视频。自动暂停、手动暂停。自动暂停：更具体策略可自定义视频播放的时间。达到一定的时间，视频将自动暂停。手动暂停：用户可手动点击电视暂停播放。如果用户未手动点击电视，则视频将循环播放。
在一个实施例中，如果在三维模型中识别出多个显示区域，则控制在各个显示区域内的信息播放层中播放的显示信息都不相同。例如，在同一三维模型中有多个电视，控制不同的电视播放的视频不同。如果用户在预设的时间区间内浏览了多个三维模型，则确定与多个三维模型对应的、需要播放显示信息的目标显示区域，控制在各个目标显示显示区域内的信息播放层中播放的显示信息都不相同。例如，如果用户在30分钟内浏览了多个三维模型(房屋三维模型)，用户浏览的每一个三维模型中的电视所播放的视频都不同。
示例性装置
在一个实施例中，如图5A，本公开提供了一种信息播放装置，包括：显示区域识别模块501、显示位置确定模块502、显示信息播放模块503和显示信息交互模块504。
显示区域识别模块501对三维模型中的空间图像进行识别处理，获取空间图像中的信息显示设备以及显示区域。显示位置确定模块502确定与显示区域相对应的显示位置信息。显示信息播放模块503基于显示位置信息在显示区域内叠加信息播放层，用以在信息播放层中播放显示信息。
如图5B所示，信息播放装置还包括显示信息交互模块504，用于响应于用户的播放控制指令，对在信息播放层中播放的显示信息进行相对应的交互操作。
在一个实施例中，显示区域识别模块501将三维模型输入图像识别模型，利用图像识别模型在空间图像中识别出信息显示设备以及显示区域，并确定信息显示设备以及显示区域在三维模型中的位置。显示区域识别模块501基于标定有信息显示设备的三维模型样本生成训练样本；其中，在信息显示设备中标定显示区域。显示区域识别模块501使用深度学习方法并基于训练样本对预设的深度学习模型进行训练，获得图像识别模型。
显示位置确定模块502获取与三维模型对应的三维点云信息，基于三维点云信息和显示区域在三维模型中的位置，确定显示位置信息；其中，显示位置信息包括：在三维模型中的空间坐标。
显示信息播放模块503获取当前虚拟用户视野信息，视野信息包括虚拟用户当前的位置信息以及虚拟用户的视角范围信息。显示信息播放模块503判断信息显示设备是否在虚拟用户的视野范围内，如果信息显示设备位于虚拟用户的视野范围内，则在信息播放层上加载显示信息并进行自动播放，或者响应于用户的播放指令进行播放。
显示信息播放模块503获取信息显示设备的端点在三维模型中的空间坐标，当端点的空间坐标落在虚拟用户的视野内的数量大于预设阈值时，确定信息显示设备在虚拟用户的视野范围内。
在一个实施例中，显示信息交互模块504在信息播放层上设置交互按钮，响应于用户通过交互按钮发送的播放控制指令，对显示信息进行相应的交互操作；其中，交互操作包括：暂停、播放、切换和播放速率转换中的一项或者多项。
如果在三维模型中识别出多个显示区域，则显示信息播放模块503控制在各个显示区域内的信息播放层中播放的显示信息都不相同。如果用户在预设的时间区间内浏览了多个三维模型，则显示信息播放模块503确定与多个三维模型对应的、需要播放显示信息的目标显示区域，控制在各个目标显示显示区域内的信息播放层中播放的显示信息都不相同。
图6是本公开的电子设备的一个实施例的结构图，如图6所示，电子设备61包括一个或多个处理器611和存储器612。
处理器611可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备61中的其他组件以执行期望的功能。
存储器612可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器，例如，可以包括：随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器，例如，可以包括：只读存储器(ROM)、硬盘以及闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器611可以运行程序指令，以实现上文的本公开的各个实施例的信息播放方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备61还可以包括：输入装置613以及输出装置614等，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。此外，该输入设备613还可以包括例如键盘、鼠标等等。该输出装置614可以向外部输出各种信息。该输出设备614可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图6中仅示出了该电子设备61中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备61还可以包括任何其他适当的组件。
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的信息播放方法中的步骤。
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的信息播放方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列举)可以包括：具有一个或者多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势以及效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
上述实施例中的信息播放方法、装置以及电子设备、存储介质，通过获识别三维模型中的信息显示设备以及显示区域，基于显示区域的位置信息在显示区域内叠加信息播放层并播放显示信息，并对在信息播放层中播放的显示信息进行相对应的交互操作；通过在三维模型中的信息显示设备上叠加信息播放层，实现在三维模型中的信息交互，可以让用户在三维模型中更贴近真实场景，提升了用户体验。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备以及系统。诸如“包括”、“包含、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述，以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改等对于本领域技术人员而言，是非常显而易见的，并且在此定义的一般原理可以应用于其他方面，而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式中。尽管以上已经讨论了多个示例方面以及实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (16)

1.一种信息播放方法，包括
对三维模型中的空间图像进行识别处理，获取所述空间图像中的信息显示设备以及显示区域，包括：
将所述三维模型输入图像识别模型，利用所述图像识别模型在所述空间图像中识别出所述信息显示设备以及所述显示区域，并确定所述信息显示设备以及所述显示区域在所述三维模型中的位置；
确定与所述显示区域相对应的显示位置信息；
基于所述显示位置信息在所述显示区域内叠加信息播放层，用以在所述信息播放层中播放显示信息，用户能够对所述显示信息进行交互操作；
所述显示信息包括：静态图像、流媒体信息或人机交互界面中的一种或者多种；
其中，获取当前虚拟用户视野信息，所述视野信息包括所述虚拟用户当前的位置信息以及所述虚拟用户的视角范围信息；判断所述信息显示设备是否在所述虚拟用户的视野范围内；
如果所述信息显示设备位于所述虚拟用户的视野范围内，则在所述信息播放层上加载所述显示信息并进行自动播放，或者响应于用户的播放指令进行播放；
其中，所述判断所述信息显示设备是否在所述虚拟用户的视野范围内包括：获取所述信息显示设备的端点在所述三维模型中的空间坐标；当所述端点的空间坐标落在所述虚拟用户的视野内的数量大于预设阈值时，确定所述信息显示设备在所述虚拟用户的视野范围内。
2.如权利要求1所述的方法，还包括：
基于标定有所述信息显示设备的三维空间信息的三维模型样本生成训练样本；其中，在所述信息显示设备的三维空间信息中标定显示区域；
使用深度学习方法并基于所述训练样本对预设的深度学习模型进行训练，获得所述图像识别模型。
3.如权利要求1所述的方法，所述确定与所述显示区域相对应的显示位置信息包括：
获取与所述三维模型对应的三维点云信息；
基于所述三维点云信息和所述显示区域在所述三维模型中的位置，确定所述显示位置信息；
其中，所述显示位置信息包括：在所述三维模型中的空间坐标。
4.根据权利要求1所述的方法，还包括：
响应于用户的播放控制指令，对在所述信息播放层中播放的所述显示信息进行相对应的交互操作。
5.如权利要求4所述的方法，所述响应于用户的播放控制指令，对所述信息播放层播放的显示信息进行相对应的交互操作包括：
在所述信息播放层上设置交互按钮，响应于用户通过所述交互按钮发送的播放控制指令，对所述显示信息进行相应的交互操作；
其中，所述交互操作包括：暂停、播放、切换和播放速率转换中的一项或者多项。
6.如权利要求1所述的方法，还包括：
如果在所述三维模型中识别出多个所述显示区域，则控制在各个所述显示区城内的信息播放层中播放的所述显示信息都不相同。
7.如权利要求1所述方法，还包括：
如果用户在预设的时间区间内浏览了多个三维模型，则确定与所述多个三维模型对应的、需要播放显示信息的目标显示区域，控制在各个所述目标显示显示区域内的信息播放层中播放的所述显示信息都不相同。
8.一种信息播放装置，包括：
显示区域识别模块，用于对三维模型中的空间图像进行识别处理，获取所述空间图像中的信息显示设备以及显示区域；
其中，所述显示区域识别模块，用于将所述三维模型输入图像识别模型，利用所述图像识别模型在所述空间图像中识别出所述信息显示设备以及所述显示区域，并确定所述信息显示设备以及所述显示区域在所述三维模型中的位置；
显示位置确定模块，用于确定与所述显示区域相对应的显示位置信息；
显示信息交互模块，使得用户能够对所述显示信息进行交互操作；
显示信息播放模块，用于基于所述显示位置信息在所述显示区域内叠加信息播放层，用以在所述信息播放层中播放显示信息；所述显示信息包括：静态图像、流媒体信息或人机交互界面中的一种或者多种；
其中，所述显示信息播放模块，用于获取当前虚拟用户视野信息，所述视野信息包括所述虚拟用户当前的位置信息以及所述虚拟用户的视角范围信息；判断所述信息显示设备是否在所述虚拟用户的视野范围内；如果所述信息显示设备位于所述虚拟用户的视野范围内，则在所述信息播放层上加载所述显示信息并进行自动播放，或者响应于用户的播放指令进行播放；
所述显示信息播放模块，具体用于获取所述信息显示设备的端点在所述三维模型中的空间坐标；当所述端点的空间坐标落在所述虚拟用户的视野内的数量大于预设阈值时，确定所述信息显示设备在所述虚拟用户的视野范围内。
9.如权利要求8所述的装置，其中，
所述显示区域识别模块，用于基于标定有所述信息显示设备的三维空间信息的三维模型样本生成训练样本；其中，在所述信息显示设备的三维空间信息中标定显示区域；使用深度学习方法并基于所述训练样本对预设的深度学习模型进行训练，获得所述图像识别模型。
10.如权利要求8所述的装置，其中，
所述显示位置确定模块，用于获取与所述三维模型对应的三维点云信息；基于所述三维点云信息和所述显示区域在所述三维模型中的位置，确定所述显示位置信息；其中，所述显示位置信息包括：在所述三维模型中的空间坐标。
11.根据权利要求8所述的装置，还包括：
显示信息交互模块，用于响应于用户的播放控制指令，对在所述信息播放层中播放的所述显示信息进行相对应的交互操作。
12.如权利要求11所述的装置，其中，
所述显示信息交互模块，用于在所述信息播放层上设置交互按钮，响应于用户通过所述交互按钮发送的播放控制指令，对所述显示信息进行相应的交互操作；其中，所述交互操作包括：暂停、播放、切换和播放速率转换中的一项或者多项。
13.如权利要求8所述的装置，其中，
所述显示信息播放模块，用于如果在所述三维模型中识别出多个所述显示区域，则控制在各个所述显示区域内的信息播放层中播放的所述显示信息都不相同。
14.如权利要求8所述装置，其中，
所述显示信息播放模块，用于如果用户在预设的时间区间内浏览了多个三维模型，则确定与所述多个三维模型对应的、需要播放显示信息的目标显示区域，控制在各个所述目标显示显示区域内的信息播放层中播放的所述显示信息都不相同。
15.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如权利要求1-7任一所述的方法。
16.一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-7任一所述的方法。
CN201911310220.3A 2019-11-11 2019-12-18 信息播放方法、装置、计算机可读存储介质及电子设备 Active CN111178191B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/CN2020/112004 WO2021093416A1 (zh) 2019-11-11 2020-08-28 信息播放方法、装置、计算机可读存储介质及电子设备
KR1020227019340A KR20220093216A (ko) 2019-11-11 2020-08-28 정보 재생 방법, 장치, 컴퓨터 판독 가능 저장 매체 및 전자기기
JP2022527210A JP7407929B2 (ja) 2019-11-11 2020-08-28 情報再生方法、装置、コンピュータ読み取り可能な記憶媒体及び電子機器
US17/775,937 US20220415063A1 (en) 2019-11-11 2020-08-28 Information playback method and device, computer readable storage medium, and electronic device
CA3162120A CA3162120A1 (en) 2019-11-11 2020-08-28 Information playback method and device, computer readable storage medium, and electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911096607 2019-11-11
CN2019110966073 2019-11-11

Publications (2)

Publication Number Publication Date
CN111178191A CN111178191A (zh) 2020-05-19
CN111178191B true CN111178191B (zh) 2022-01-11

Family

ID=70657359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911310220.3A Active CN111178191B (zh) 2019-11-11 2019-12-18 信息播放方法、装置、计算机可读存储介质及电子设备

Country Status (6)

Country Link
US (1) US20220415063A1 (zh)
JP (1) JP7407929B2 (zh)
KR (1) KR20220093216A (zh)
CN (1) CN111178191B (zh)
CA (1) CA3162120A1 (zh)
WO (1) WO2021093416A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178191B (zh) * 2019-11-11 2022-01-11 贝壳找房(北京)科技有限公司 信息播放方法、装置、计算机可读存储介质及电子设备
JP6708917B1 (ja) * 2020-02-05 2020-06-10 リンクウィズ株式会社 形状検出方法、形状検出システム、プログラム
CN114079589A (zh) * 2020-08-21 2022-02-22 深圳Tcl新技术有限公司 一种播放控制方法、智能终端及存储介质
CN112261359A (zh) * 2020-09-23 2021-01-22 上海新柏石智能科技股份有限公司 一种多维度实景看房系统
CN112130726B (zh) * 2020-09-25 2022-05-31 北京五八信息技术有限公司 页面操作方法、装置、电子设备和计算机可读介质
CN113572978A (zh) * 2021-07-30 2021-10-29 北京房江湖科技有限公司 全景视频的生成方法和装置
US20240249468A1 (en) * 2021-10-29 2024-07-25 Boe Technology Group Co., Ltd. Information presenting method, system thereof, electronic device, and computer-readable storage medium
CN113870442B (zh) * 2021-12-03 2022-02-25 贝壳技术有限公司 三维房屋模型中的内容展示方法及装置
CN114253499A (zh) * 2022-03-01 2022-03-29 北京有竹居网络技术有限公司 信息的展示方法、装置、可读存储介质和电子设备
CN114827711B (zh) * 2022-06-24 2022-09-20 如你所视(北京)科技有限公司 图像信息显示方法和装置
CN115063564B (zh) * 2022-07-13 2024-04-30 如你所视(北京)科技有限公司 用于二维显示图像中的物品标签展示方法、装置及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107430790A (zh) * 2015-04-09 2017-12-01 奇内莫伊北美有限责任公司 用于提供交互式虚拟环境的系统和方法
CN110111385A (zh) * 2019-04-18 2019-08-09 贝壳技术有限公司 一种在三维空间实现目标定位的方法、终端和服务器

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3674993B2 (ja) * 1995-08-31 2005-07-27 三菱電機株式会社 仮想会議システムの画像表示方法並びに仮想会議用端末装置
JP2008052641A (ja) * 2006-08-28 2008-03-06 Matsushita Electric Works Ltd 映像表示システム
CN101639927A (zh) * 2008-07-31 2010-02-03 国际商业机器公司 调整虚拟世界中的虚拟显示设备的方法和系统
US8294766B2 (en) * 2009-01-28 2012-10-23 Apple Inc. Generating a three-dimensional model using a portable electronic device recording
US20110157218A1 (en) * 2009-12-29 2011-06-30 Ptucha Raymond W Method for interactive display
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
JP5863440B2 (ja) * 2010-12-28 2016-02-16 キヤノン株式会社 情報処理装置および方法
US9497501B2 (en) * 2011-12-06 2016-11-15 Microsoft Technology Licensing, Llc Augmented reality virtual monitor
US20130314398A1 (en) * 2012-05-24 2013-11-28 Infinicorp Llc Augmented reality using state plane coordinates
US10139985B2 (en) * 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
US9773346B1 (en) * 2013-03-12 2017-09-26 Amazon Technologies, Inc. Displaying three-dimensional virtual content
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
JP2016001823A (ja) * 2014-06-12 2016-01-07 カシオ計算機株式会社 画像補正装置、画像補正方法、及び、プログラム
KR101453815B1 (ko) * 2014-08-01 2014-10-22 스타십벤딩머신 주식회사 사용자의 시점을 고려하여 동작인식하는 인터페이스 제공방법 및 제공장치
CN105915972A (zh) * 2015-11-16 2016-08-31 乐视致新电子科技（天津）有限公司 一种虚拟现实中4k视频优化方法和装置
CN105916022A (zh) * 2015-12-28 2016-08-31 乐视致新电子科技（天津）有限公司 一种基于虚拟现实技术的视频图像处理方法及装置
CN106096555A (zh) * 2016-06-15 2016-11-09 湖南拓视觉信息技术有限公司 三维面部检测的方法和装置
CN106530404A (zh) * 2016-11-09 2017-03-22 大连文森特软件科技有限公司 基于ar虚拟现实技术和云存储的待售房屋考察系统
CN106683177B (zh) * 2016-12-30 2019-03-05 四川讯视科技有限公司 基于互动漫游式房屋装修数据交互方法及装置
US11250947B2 (en) * 2017-02-24 2022-02-15 General Electric Company Providing auxiliary information regarding healthcare procedure and system performance using augmented reality
CA3057109A1 (en) * 2017-03-22 2018-09-27 Magic Leap, Inc. Depth based foveated rendering for display systems
CN107463260A (zh) * 2017-08-09 2017-12-12 康佳集团股份有限公司 Vr设备及其卖场购物数据处理方法、及存储介质
CN107578477B (zh) * 2017-09-11 2019-09-06 南京大学 一种三维模型部件的自动检测方法
CN109840947B (zh) * 2017-11-28 2023-05-09 广州腾讯科技有限公司 增强现实场景的实现方法、装置、设备及存储介质
CN108470377A (zh) * 2018-03-12 2018-08-31 万维云视（上海）数码科技有限公司 Ar看房装置
CN112136094A (zh) * 2018-03-16 2020-12-25 奇跃公司 用于显示系统的基于深度的凹式渲染
US10838574B2 (en) * 2018-04-09 2020-11-17 Spatial Systems Inc. Augmented reality computing environments—workspace save and load
CN108961387A (zh) * 2018-05-30 2018-12-07 链家网（北京）科技有限公司 一种房屋虚拟三维模型的显示方法及终端设备
CN108985872A (zh) * 2018-05-30 2018-12-11 链家网（北京）科技有限公司 确定用户在房源虚拟三维空间图中的朝向的方法及系统
KR102258446B1 (ko) * 2018-07-11 2021-05-31 엘지전자 주식회사 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
CN109144176A (zh) * 2018-07-20 2019-01-04 努比亚技术有限公司 虚拟现实中的显示屏交互显示方法、终端及存储介质
CN109147448A (zh) * 2018-08-09 2019-01-04 国网浙江省电力有限公司 一种输电线路高空行走培训系统及其方法
CN109582134B (zh) * 2018-11-09 2021-07-23 北京小米移动软件有限公司 信息显示的方法、装置及显示设备
CN109920065B (zh) * 2019-03-18 2023-05-30 腾讯科技（深圳）有限公司 资讯的展示方法、装置、设备及存储介质
CN110096143B (zh) * 2019-04-04 2022-04-29 贝壳技术有限公司 一种三维模型的关注区确定方法及装置
WO2021007581A1 (en) * 2019-07-11 2021-01-14 Elo Labs, Inc. Interactive personal training system
CN111178191B (zh) * 2019-11-11 2022-01-11 贝壳找房(北京)科技有限公司 信息播放方法、装置、计算机可读存储介质及电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107430790A (zh) * 2015-04-09 2017-12-01 奇内莫伊北美有限责任公司 用于提供交互式虚拟环境的系统和方法
CN110111385A (zh) * 2019-04-18 2019-08-09 贝壳技术有限公司 一种在三维空间实现目标定位的方法、终端和服务器

Also Published As

Publication number Publication date
KR20220093216A (ko) 2022-07-05
US20220415063A1 (en) 2022-12-29
CN111178191A (zh) 2020-05-19
JP2023501553A (ja) 2023-01-18
CA3162120A1 (en) 2021-05-20
JP7407929B2 (ja) 2024-01-04
WO2021093416A1 (zh) 2021-05-20

Similar Documents

Publication Publication Date Title
CN111178191B (zh) 信息播放方法、装置、计算机可读存储介质及电子设备
US11032536B2 (en) Generating a three-dimensional preview from a two-dimensional selectable icon of a three-dimensional reality video
US10609332B1 (en) Video conferencing supporting a composite video stream
US8644467B2 (en) Video conferencing system, method, and computer program storage device
EP2410401B1 (en) Method for selection of an object in a virtual environment
KR101857946B1 (ko) 스크린샷의 생성
US20180160194A1 (en) Methods, systems, and media for enhancing two-dimensional video content items with spherical video content
US11032535B2 (en) Generating a three-dimensional preview of a three-dimensional video
CN115002359B (zh) 视频处理方法、装置、电子设备及存储介质
CN113518264A (zh) 互动方法、装置、终端及存储介质
KR20210028198A (ko) 아바타 애니메이션
CN115134649A (zh) 用于在视频内容内呈现交互式元素的方法和系统
WO2021228200A1 (zh) 用于实现三维空间场景互动的方法、装置和设备
US20200226833A1 (en) A method and system for providing a user interface for a 3d environment
CN109636917B (zh) 三维模型的生成方法、装置、硬件装置
US11107129B1 (en) Dynamic media content for in-store screen experiences
CN112929685B (zh) Vr直播间的互动方法、装置、电子设备和存储介质
Jin et al. Volumivive: An authoring system for adding interactivity to volumetric video
CN115454255B (zh) 物品展示的切换方法和装置、电子设备、存储介质
TWM563614U (zh) 混合實境社區生活圈找房裝置
US20240323497A1 (en) Systems and methods for enabling an enhanced extended reality experience
US20180365268A1 (en) Data structure, system and method for interactive media
WO2024039887A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2023215637A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2024039885A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200702

Address after: 100085 Floor 102-1, Building No. 35, West Second Banner Road, Haidian District, Beijing

Applicant after: Seashell Housing (Beijing) Technology Co.,Ltd.

Address before: 300 457 days Unit 5, Room 1, 112, Room 1, Office Building C, Nangang Industrial Zone, Binhai New Area Economic and Technological Development Zone, Tianjin

Applicant before: BEIKE TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220322

Address after: 100085 8th floor, building 1, Hongyuan Shouzhu building, Shangdi 6th Street, Haidian District, Beijing

Patentee after: As you can see (Beijing) Technology Co.,Ltd.

Address before: 100085 Floor 101 102-1, No. 35 Building, No. 2 Hospital, Xierqi West Road, Haidian District, Beijing

Patentee before: Seashell Housing (Beijing) Technology Co.,Ltd.

TR01 Transfer of patent right