CN113297984B - 虚拟现实展馆内展品的展示方法及计算设备 - Google Patents

虚拟现实展馆内展品的展示方法及计算设备 Download PDF

Info

Publication number
CN113297984B
CN113297984B CN202110587468.5A CN202110587468A CN113297984B CN 113297984 B CN113297984 B CN 113297984B CN 202110587468 A CN202110587468 A CN 202110587468A CN 113297984 B CN113297984 B CN 113297984B
Authority
CN
China
Prior art keywords
image
scanning
scanned image
exhibition hall
scanned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110587468.5A
Other languages
English (en)
Other versions
CN113297984A (zh
Inventor
苏军辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Pierbulaini Software Co ltd
Original Assignee
Beijing Pierbulaini Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Pierbulaini Software Co ltd filed Critical Beijing Pierbulaini Software Co ltd
Priority to CN202110587468.5A priority Critical patent/CN113297984B/zh
Publication of CN113297984A publication Critical patent/CN113297984A/zh
Application granted granted Critical
Publication of CN113297984B publication Critical patent/CN113297984B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种虚拟现实展馆内展品的展示方法,在计算设备中执行,该方法包括:利用设定好的扫描框,按照预设的扫描方式和扫描步长逐步对展馆全景图进行扫描,获得若干个扫描图像;利用训练好的分类模型对扫描图像进行识别,获取扫描图像所对应的展品的标签;根据扫描图像的平面坐标、扫描框的尺寸以及全景图的尺寸,获取扫描图像所对应的展品在虚拟现实展馆内的球面坐标;将扫描图片所对应的展品的标签标注在球面坐标处。本发明一并公开了相应的计算设备及可读存储介质。本发明的虚拟现实展馆内展品的展示方法既能对展品进行展示,还能对展品的相关信息进行展示。并且,基于训练好的分类模型可以自动地识别出展品、生成标签并进行标注。

Description

虚拟现实展馆内展品的展示方法及计算设备
技术领域
本发明涉及计算机领域,尤其涉及一种虚拟现实展馆内展品的展示方法、计算设备及可读存储介质。
背景技术
目前,虚拟现实(Virtual Reality,VR)全景技术深受人们的喜爱。VR全景技术是一种新型的视觉展示技术,是一种基于全景图像的真实场景虚拟现实技术。具体地,基于相机环360°拍摄的一组或多组照片拼接成的一个全景图像,来构建一个三维的模拟环境,让浏览者通过网络便可获得三维立体的空间感觉,犹如身在其中。
然而,关于VR全景展厅的设计,现有技术大多关注的都是如何利用VR全景技术来实现实物产品和环境的逼真化再现,却往往忽略了展品信息的展示。这样,当浏览者对某一展品感兴趣时,其无法在VR展馆内获知到该展品的更多产品信息,影响用户体验。
发明内容
为此,本发明提供了一种虚拟现实展馆内展品的展示方法、计算设备及可读存储介质,以力图解决或者至少缓解上面存在的问题。
根据本发明的一个方面,提供一种虚拟现实展馆内展品的展示方法,适于在计算设备中执行,该方法包括:利用设定好的扫描框,按照预设的扫描方式和扫描步长逐步对展馆全景图进行扫描,获得若干个扫描图像;利用训练好的分类模型对扫描图像进行识别,获取扫描图像所对应的展品的标签;根据扫描图像的平面坐标、扫描框的尺寸以及全景图的尺寸,获取扫描图像所对应的展品在虚拟现实展馆内的球面坐标;将扫描图片所对应的展品的标签标注在球面坐标处。
可选地,在根据本发明的虚拟现实展馆内展品的展示方法中,在对展馆全景图进行扫描的步骤之前,还包括:将展馆全景图绘制在创建好的第一图像处理空间中。
可选地,在根据本发明的虚拟现实展馆内展品的展示方法中,利用训练好的分类模型对扫描图像进行识别,获取扫描图像所对应的展品的标签的步骤,包括:每获得一个扫描图像,将扫描图像的格式转换为预定格式;利用训练好的分类模型,对转换为预定格式后的扫描图像进行识别,获取扫描图像所对应的展品的标签。
可选地,在根据本发明的虚拟现实展馆内展品的展示方法中,每获得一个扫描图像,将扫描图像的格式转换为预定格式的步骤,包括:每获得一个扫描图像,将扫描图像绘制在创建好的第二图像处理空间中,并将扫描图像的格式转换为预定格式。
可选地,在根据本发明的虚拟现实展馆内展品的展示方法中,第一图像处理空间为第一canvas画布,第二图像处理空间为第二canvas画布。
可选地,在根据本发明的虚拟现实展馆内展品的展示方法中,根据扫描图像的平面坐标、扫描框的尺寸以及全景图的尺寸,获取扫描图像所对应的展品在虚拟现实展馆内的球面坐标的步骤,包括:根据扫描图像的平面坐标和扫描框的尺寸,获取扫描图像中心点的平面坐标,扫描框的尺寸包括扫描框的宽度和高度;根据扫描图像中心点的平面坐标和全景图的尺寸,获取扫描图像所对应的展品在虚拟现实展馆内的球面坐标,全景图的尺寸包括全景图的宽度和高度。
可选地,在根据本发明的虚拟现实展馆内展品的展示方法中,根据扫描图像中心点的平面坐标和全景图的尺寸,获取扫描图像所对应的展品在虚拟现实展馆内的球面坐标的步骤,包括:根据全景图的高度,获取全景图的球面半径;根据扫描图像中心点的平面坐标和全景图的高度和宽度,获取扫描图像中心点所对应的展品的水平转向角和垂直转向角;根据全景图的球面半径、扫描图像中心点所对应的展品的水平转向角和垂直转向角,获取扫描图像所对应的展品在虚拟现实展馆内的球面坐标。
可选地,在根据本发明的虚拟现实展馆内展品的展示方法中,在根据扫描图像的平面坐标和扫描框的尺寸,获取扫描图像中心点的平面坐标的步骤中,通过下式来获取扫描图像中心点的平面坐标:
Px=x+(scanwidth/2)
Py=y+(scanheight/2)
其中,Px、Py分别为扫描图像中心点在全景图中的横坐标和纵坐标,x、y分别为扫描图像在全景图中的横坐标和纵坐标,scanwidth、scanheight分别为扫描框的宽度和高度。
可选地,在根据本发明的虚拟现实展馆内展品的展示方法中,在根据全景图的高度,获取全景图的球面半径的步骤中,通过下式来获取全景图的球面半径:
R=imageheight/π
其中,R为全景图的球面半径,imageheight为全景图的高度。
可选地,在根据本发明的虚拟现实展馆内展品的展示方法中,在根据扫描图像中心点的平面坐标和全景图的高度和宽度,获取扫描图像中心点所对应的展品的水平转向角和垂直转向角的步骤中,通过下式来获取扫描图像中心点所对应的展品的水平转向角和垂直转向角:
θ=(180/imageheight)*Py-90
其中,θ分别为扫描图像中心点所对应的展品的水平转向角和垂直转向角,imagewidth为全景图的宽度。
可选地,在根据本发明的虚拟现实展馆内展品的展示方法中,在根据全景图的球面半径、扫描图像中心点所对应的展品的水平转向角和垂直转向角,获取扫描图像所对应的展品在虚拟现实展馆内的球面坐标的步骤中,通过下式来获取扫描图像所对应的展品在虚拟现实展馆内的球面坐标:
其中,Spherex、Spherey分别为扫描图像所对应的展品在虚拟现实展馆内的横向坐标和纵向坐标。
可选地,在根据本发明的虚拟现实展馆内展品的展示方法中,对展馆全景图进行扫描的扫描起始点为全景图待扫描区域的左上顶点,扫描结束点为全景图待扫描区域的右下顶点,全景图待扫描区域为全景图纵向上的四分之一至四分之三区域。
可选地,在根据本发明的虚拟现实展馆内展品的展示方法中,扫描方式为自上而下,从左到右。
可选地,在根据本发明的虚拟现实展馆内展品的展示方法中,扫描步长包括横向扫描步长和纵向扫描步长,横向扫描步长和纵向扫描步长都为一个像素点。
可选地,在根据本发明的虚拟现实展馆内展品的展示方法中,还包括:每当获取到一个扫描图像所对应的展品的标签,将下次的横向扫描步长增大至预设值。
可选地,在根据本发明的虚拟现实展馆内展品的展示方法中,还包括:比较相邻的两个扫描图像所对应的展品的标签是否相同;若相邻的两个扫描图像所对应的展品的标签相同,则保留二者中置信度高的一个。
可选地,在根据本发明的虚拟现实展馆内展品的展示方法中,展品为展台车,标签包括展台车的车系和车型。
可选地,在根据本发明的虚拟现实展馆内展品的展示方法中,预定格式为base64格式。
根据本发明的又一个方面,提供一种计算设备,包括:至少一个处理器;以及存储器,存储有程序指令,其中,程序指令被配置为适于由至少一个处理器执行,程序指令包括用于执行根据本发明的虚拟现实展馆内展品的展示方法的指令。
根据本发明的又一个方面,提供一种存储有程序指令的可读存储介质,当程序指令被计算设备读取并执行时,使得计算设备执行根据本发明的虚拟现实展馆内展品的展示方法。
根据本发明的虚拟现实展馆内展品的展示方法,首先,利用设定好的扫描框,按照预设的扫描方式和扫描步长逐步对展馆全景图进行扫描。接着,对于获取到的扫描图像,利用训练好的分类模型对其进行识别,获取扫描图像所对应的展品的标签。然后,根据扫描图像的平面坐标、扫描框的尺寸以及展馆全景图的尺寸,获取扫描图像所对应的展品在虚拟现实展馆内的球面坐标。最后,将扫描图片所对应的展品的标签标注在球面坐标处。可见,本发明的虚拟现实展馆内展品的展示方法既能对展品进行展示,还能对展品的相关信息进行展示,这样用户在虚拟现实展馆内不仅能够观看到每个展品的外形,还可以清楚地了解到每个展品的基本信息以及特点,从而可以提升用户的体验。并且,本发明基于训练好的分类模型可以自动地识别出展品、生成标签并进行标注,相比于人工在可视化窗口识别、编辑更准确、更高效。
附图说明
为了实现上述以及相关目的,本文结合下面的描述和附图来描述某些说明性方面,这些方面指示了可以实践本文所公开的原理的各种方式,并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述,本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开,相同的附图标记通常指代相同的部件或元素。
图1示出了根据本发明一个实施例的计算设备100的结构框图;
图2示出了根据本发明一个实施例的虚拟现实展馆内展品的展示方法200的流程图;
图3示出了根据本发明一个实施例的展馆全景图的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
为了提升用户体验,需在VR全景展厅中增加产品信息的展示,这就需要设计人员在VR全景展厅的设计过程中增加展品标签的标注。以汽车为例,设计人员可以在VR全景展厅中的每一辆展台车的车顶上,标注一个包含有车系名称、车型名称和价格等信息的标签。关于展台车车顶上标签的编辑,如果由人工在可视化窗口来完成(即,人工识别车系车型,人工拖动车型展示牌位置锁定坐标),其效率和精度都会很低。
为此,本发明提出了一种虚拟现实展馆内展品的展示方法。首先,利用设定好的扫描框,按照预设的扫描方式和扫描步长逐步对展馆全景图进行扫描。接着,对于获取到的扫描图像,利用训练好的分类模型对其进行识别,获取扫描图像所对应的展品的标签。然后,根据扫描图像的平面坐标、扫描框的尺寸以及展馆全景图的尺寸,获取扫描图像所对应的展品在虚拟现实展馆内的球面坐标。最后,将扫描图片所对应的展品的标签标注在球面坐标处。可见,本发明的虚拟现实展馆内展品的展示方法在对展品进行展示的同时,还展示出了该产品的相关信息,这样用户不仅能够观看到每个展品的外形,还可以清楚地了解到每个展品的基本信息以及特点,从而可以提升用户的体验。并且,本发明是自动识别展品、生成标签、标注标签,相比于人工识别、创建、拖动更高效、更准确。
图1示出了根据本发明一个实施例的计算设备100的结构框图。需要说明的是,图1所示的计算设备100仅为一个示例,在实践中,用于实施本发明的虚拟现实展馆内展品的展示方法的计算设备可以是任意型号的设备,其硬件配置情况可以与图1所示的计算设备100相同,也可以与图1所示的计算设备100不同。实践中用于实施本发明的虚拟现实展馆内展品的展示方法的计算设备可以对图1所示的计算设备100的硬件组件进行增加或删减,本发明对计算设备的具体硬件配置情况不做限制。
如图1所示,在基本的配置102中,计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。
取决于期望的配置,处理器104可以是任何类型的处理,包括但不限于:微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用,或者在一些实现中,存储器控制器118可以是处理器104的一个内部部分。
取决于期望的配置,系统存储器106可以是任意类型的存储器,包括但不限于:易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。计算设备中的物理内存通常指的是易失性存储器RAM,磁盘中的数据需要加载至物理内存中才能够被处理器104读取。系统存储器106可以包括操作系统120、一个或者多个应用122以及程序数据124。在一些实施方式中,应用122可以布置为在操作系统上由一个或多个处理器104利用程序数据124执行指令。操作系统120例如可以是Linux、Windows等,其包括用于处理基本系统服务以及执行依赖于硬件的任务的程序指令。应用122包括用于实现各种用户期望的功能的程序指令,应用122例如可以是浏览器、即时通讯软件、软件开发工具(例如集成开发环境IDE、编译器等)等,但不限于此。当应用122被安装到计算设备100中时,可以向操作系统120添加驱动模块。
在计算设备100启动运行时,处理器104会从存储器106中读取操作系统120的程序指令并执行。应用122运行在操作系统120之上,利用操作系统120以及底层硬件提供的接口来实现各种用户期望的功能。当用户启动应用122时,应用122会加载至存储器106中,处理器104从存储器106中读取并执行应用122的程序指令。
计算设备100还包括储存设备132,储存设备132包括可移除储存器136和不可移除储存器138,可移除储存器136和不可移除储存器138均与储存接口总线134连接。
计算设备100还可以包括有助于从各种接口设备(例如,输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156,它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备(例如,键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160,其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算设备162通过网络通信链路的通信。
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块,并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号,它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例,通信介质可以包括诸如有线网络或者专线网络之类的有线介质,以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。
在根据本发明的计算设备100中,应用122包括用于执行本发明的虚拟现实展馆内展品的展示方法200的指令,该指令可以指示处理器104执行本发明的虚拟现实展馆内展品的展示方法。本领域技术人员可以理解,除了用于执行虚拟现实展馆内展品的展示方法200的指令之外,应用122还可以包括用于实现其他功能的其他应用126。
图2示出了根据本发明一个实施例的虚拟现实展馆内展品的展示方法200的流程图,方法200适于在计算设备(例如图1所示的计算设备100)中执行。如图2所示,该方法200始于步骤S210。
根据本发明的一个实施例,在步骤S210之前还包括将展馆全景图绘制在创建好的第一图像处理空间中。其中,利用canvas进行图像处理时,可以对图像中的每一个像素点进行操作,因此可以将展馆全景图绘制在canvas画布中。即,第一图像处理空间可以为第一canvas画布。具体地,可以通过如下命令来将展馆全景图绘制在第一画布panocanvas中:
CanvasRenderingContext2D.drawimage(image,0,0,imagewidth,imageheight)
其中,image为展馆全景图像的名称,imagewidth和imageheight分别为展馆全景图像的宽度和高度。
随后进入步骤S210,利用设定好的扫描框,按照预设的扫描方式和扫描步长逐步对展馆全景图进行扫描,获得若干个扫描图像。其中,展馆全景图一般其最上面的四分之一区域为天空,最下面的四分之一区域为地面,只有中间的四分之一至四分之三区域为展品展示区域。因此,在对展馆全景图进行扫描时,仅需扫描展馆全景图中间的四分之一至四分之三区域即可。也就是说,展馆全景图纵向上的四分之一至四分之三区域为待扫描区域(可参见图3)。
具体地,在对展馆全景图的待扫描区域进行扫描时,可以将待扫描区域的左上顶点作为扫描起始点,右下顶点作为扫描结束点,按照自上而下、从左至右的扫描方式逐步进行扫描。其中,横向扫描步长和纵向扫描步长都可以设定为一个像素点,当然也可以设定为其他的数值。关于如何对待扫描区域、扫描起始点、扫描结束点、横向扫描步长、纵向扫描步长以及扫描方式进行设定,本发明不做限制。在具体的实施例中,本领域的技术人员可以根据实际需要进行设定。
另外,关于扫描框的大小,其需要根据具体展品的类型以及大小进行设定,因此本发明对此也不做具体限制。在此仅作一个示例,当展品为汽车时,可以将扫描框的大小设定为展台车平面面积的80%。
随后进入步骤S220,利用训练好的分类模型对扫描图像进行识别,获取扫描图像所对应的展品的标签。其中,可以通过如下方法来对分类模型进行训练。首先,将用于训练的展品图像输入到分类模型中,得到展品图像所对应的展品的预测标签。然后,计算展品图像所对应的展品的真实标签与预测标签之间的损失值,并根据这一损失值对分类模型的参数进行调整。重复上述步骤,直至计算得到的损失值满足预定条件,得到训练好的分类模型。
具体地,当步骤S210以预设的扫描步长,按照自上而下、从左到右的方式逐步地对展馆全景图纵向上的四分之一至四分之三区域进行扫描时,根据本发明的一个实施例,可以每获得一个扫描图像,便利用训练好的的分类模型对其进行扫描,并且每当获取到一个扫描图像所对应的展品的标签,将下一次的横向扫描步长增大至预设值(这里强调的是只调整下一次的横向扫描步长,后续仍以预设的横向扫描步长为准),这样可以减少对同一展品重复识别的次数,从而能够提高展品识别效率。其中,关于预设值的取值在此不做具体限定。在具体的实施例中,本领域的技术人员可以根据实际需要进行设定。
进一步地,每当获取到一个扫描图像所对应的展品的标签,还将其与前面一个扫描图像所对应的展品的标签进行比较,即比较相邻的两个扫描图像所对应的展品的标签是否相同。若相同,则保留二者中置信度高的一个。这里的置信度是指这两个相邻的扫描图像所对应的展品的标签的置信度。需要说明的是,在将扫描图像输入到训练好的分类模型中后,训练好的分类模型不仅会输出该扫描图像所对应的展品的预测标签,还会输出一个置信度。
另外,分类模型对输入图像的格式一般都有所限定。因此,在利用训练好的分类模型对获得的扫描图像进行识别时,需先将扫描图像转换为分类模型所限定的格式。作一示例,假设某一分类模型限定输入图像的格式必须为base64格式。则每获得一个扫描图像,需先将扫描图像的格式转换为base64格式,然后再利用训练好的分类模型对转换为base64格式的扫描图像进行识别。根据一种实施例,可以通过如下步骤来将扫描图像的格式转换为base64格式。
首先,获取扫描图像中的像素。其中,可以通过如下命令来获取扫描图像中的像素:
Imagedata=CanvasRenderingContext2D.getImageData(x,y,scanwidth,scanheight)
其中,x和y分别为扫描图像的平面坐标,实质是指扫描图像的左上顶点在展馆全景图中的坐标(以展馆全景图的左上顶点为原点),scanwidth和scanheight分别为扫描图像(即扫描框)的宽度和高度。
然后,将获取到像素写入第二图像处理空间。其中,第二图像处理空间可以为第二canvas画布。具体地,可以通过如下命令来将获取到的像素写入第二画布scancanvas中:
CanvasRenderingContext2D.putImageData(Imagedata,0,0)
最后,将第二画布scancanvas的格式转换为base64格式。其中,可以通过如下命令来将scancanvas转换为base64图片:
Imagebase64=scancanvas.toDataURL('image/jpg')
在获取到扫描图像所对应的展品的标签之后进入步骤S230,根据扫描图像的平面坐标、扫描框的尺寸以及展馆全景图的尺寸,获取扫描图像所对应的展品在虚拟现实展馆内的球面坐标。具体地:
根据扫描图像的平面坐标和扫描框的尺寸,获取扫描图像中心点的平面坐标。其中,扫描图像的平面坐标是指以展馆全景图的左上顶点为原点,扫描图像的左上顶点在展馆全景图中的坐标(可参见图3)。扫描框的尺寸包括扫描框的宽度和高度。根据本发明的一个实施例,可以通过下式来获取扫描图像中心点的平面坐标:
Px=x+(scanwidth/2) (1)
Py=y+(scanheight/2) (2)
其中,Px、Py分别为扫描图像中心点在全景图中的横坐标和纵坐标,x、y分别为扫描图像的左上顶点在全景图中的横坐标和纵坐标,scanwidth、scanheight分别为扫描框的宽度和高度。
在获取到扫描图像中心点的平面坐标之后,根据扫描图像中心点的平面坐标和全景图的尺寸,获取扫描图像所对应的展品在虚拟现实展馆内的球面坐标。其中,扫描图像所对应的展品在虚拟现实展馆内的球面坐标是指扫描图像所对应的展品在VR展馆相应面中的坐标。全景图的尺寸包括全景图的宽度和高度。根据本发明的一个实施例,可以通过如下步骤来获取扫描图像所对应的展品在虚拟现实展馆内的球面坐标。
首先,根据全景图的高度,获取全景图的球面半径。根据一种实施例,可以通过下式来获取全景图的球面半径:
R=imageheight/π (3)
其中,R为全景图的球面半径,imageheight为全景图的高度。
然后,根据扫描图像中心点的平面坐标和全景图的高度和宽度,获取扫描图像中心点所对应的展品的水平转向角和垂直转向角。据一种实施例,可以通过下式来获取扫描图像中心点所对应的展品的水平转向角和垂直转向角:
θ=(180/imageheight)*Py-90 (5)
其中,θ分别为扫描图像中心点所对应的展品的水平转向角和垂直转向角,imagewidth为全景图的宽度。
最后,根据全景图的球面半径、扫描图像中心点所对应的展品的水平转向角和垂直转向角,获取扫描图像所对应的展品在虚拟现实展馆内的球面坐标。根据一种实施例,可以通过下式来获取扫描图像所对应的展品在虚拟现实展馆内的球面坐标:
其中,Spherex、Spherey分别为扫描图像所对应的展品在虚拟现实展馆内的横向坐标和纵向坐标。
在此说明一点,由于VR展馆的六个面到VR展馆中心点的距离相等,因此在这里只需获取扫描图像所对应的展品在虚拟现实展馆内相应面中的横向坐标和纵向坐标即可。
随后,进入步骤S240,将扫描图片所对应的展品的标签标注在球面坐标处。具体地,可以将扫描图片所对应的展品的标签和扫描图片所对应的展品在虚拟现实展馆内的球面坐标相应存入数据库。这样,当可视化后台加载时,根据数据库中存储的展品标签信息和展品坐标信息,便可以自动地将展品的标签标注在相应的球面坐标处。
根据本发明的一个实施例,展品可以为展台车。展品的标签可以包括展台车的车系和车型。当然,还可以包括展台车的价格,只要是与展品相关的信息都可以作为展品的标签。
根据本发明的虚拟现实展馆内展品的展示方法,首先,利用设定好的扫描框,按照预设的扫描方式和扫描步长逐步对展馆全景图进行扫描。接着,对于获取到的扫描图像,利用训练好的分类模型对其进行识别,获取扫描图像所对应的展品的标签。然后,根据扫描图像的平面坐标、扫描框的尺寸以及展馆全景图的尺寸,获取扫描图像所对应的展品在虚拟现实展馆内的球面坐标。最后,将扫描图片所对应的展品的标签标注在球面坐标处。可见,本发明的虚拟现实展馆内展品的展示方法不仅能够对展品进行展示,还可以对产品的相关信息进行展示,这样用户在虚拟现实展馆内不仅能够观看到每个展品的外形,还可以清楚地了解到每个展品的基本信息以及特点,从而可以提升用户的体验。并且,本发明基于训练好的分类模型可以自动地识别出展品、生成标签并进行标注,相比于由人工识别展品并进行标签标注更准确、更高效。
A5、如A4所述的方法,其中,所述第一图像处理空间为第一canvas画布,所述第二图像处理空间为第二canvas画布。
A8、如A6或A7所述的方法,其中,在所述根据所述扫描图像的平面坐标和所述扫描框的尺寸,获取所述扫描图像中心点的平面坐标的步骤中,通过下式来获取所述扫描图像中心点的平面坐标:
Px=x+(scanwidth/2)
Py=y+(scanheight/2)
其中,Px、Py分别为扫描图像中心点在全景图中的横坐标和纵坐标,x、y分别为扫描图像在全景图中的横坐标和纵坐标,scanwidth、scanheight分别为扫描框的宽度和高度。
A9、如A7或A8所述的方法,其中,在所述根据所述全景图的高度,获取所述全景图的球面半径的步骤中,通过下式来获取所述全景图的球面半径:
R=imageheight/π
其中,R为全景图的球面半径,imageheight为全景图的高度。
A10、如A8或A9所述的方法,其中,在所述根据所述扫描图像中心点的平面坐标和所述全景图的高度和宽度,获取所述扫描图像中心点所对应的展品的水平转向角和垂直转向角的步骤中,通过下式来获取所述扫描图像中心点所对应的展品的水平转向角和垂直转向角:
θ=(180/imageheight)*Py-90
其中,θ分别为扫描图像中心点所对应的展品的水平转向角和垂直转向角,imagewidth为全景图的宽度。
A11、如A10所述的方法,其中,在所述根据所述全景图的球面半径、所述扫描图像中心点所对应的展品的水平转向角和垂直转向角,获取所述扫描图像所对应的展品在所述虚拟现实展馆内的球面坐标的步骤中,通过下式来获取所述扫描图像所对应的展品在所述虚拟现实展馆内的球面坐标:
其中,Spherex、Spherey分别为扫描图像所对应的展品在虚拟现实展馆内的横向坐标和纵向坐标。
A14、如A1-A13中任意一项所述的方法,其中,所述扫描步长包括横向扫描步长和纵向扫描步长,所述横向扫描步长和纵向扫描步长都为一个像素点。
A15、如A14所述的方法,还包括:
每当获取到一个扫描图像所对应的展品的标签,将下次的横向扫描步长增大至预设值。
A16、如A1-A15中任意一项所述的方法,还包括:
比较相邻的两个扫描图像所对应的展品的标签是否相同;
若相邻的两个扫描图像所对应的展品的标签相同,则保留二者中置信度高的一个。
A17、如A1-A16中任意一项所述的方法,其中,所述展品为展台车,所述标签包括展台车的车系和车型。
A18、如A3-A17中任意一项所述的方法,其中,所述预定格式为base64格式。
这里描述的各种技术可结合硬件或软件,或者它们的组合一起实现。从而,本发明的方法和设备,或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介,例如可移动硬盘、U盘、软盘、CD-ROM或者其它任意机器可读的存储介质中的程序代码(即指令)的形式,其中当程序被载入诸如计算机之类的机器,并被所述机器执行时,所述机器变成实践本发明的设备。
在程序代码在可编程计算机上执行的情况下,计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件),至少一个输入装置,和至少一个输出装置。其中,存储器被配置用于存储程序代码;处理器被配置用于根据该存储器中存储的所述程序代码中的指令,执行本发明的文档加载方法。
以示例而非限制的方式,可读介质包括可读存储介质和通信介质。可读存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据,并且包括任何信息传递介质。以上的任一种的组合也包括在可读介质的范围之内。
在此处所提供的说明书中,算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本发明的示例一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中,或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
此外,所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此,具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外,装置实施例的在此所述的元素是如下装置的例子:该装置用于实施由为了实施该发明的目的的元素所执行的功能。
如在此所使用的那样,除非另行规定,使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例,并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明,但是受益于上面的描述,本技术领域内的技术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。此外,应当注意,本说明书中使用的语言主要是为了可读性和教导的目的而选择的,而不是为了解释或者限定本发明的主题而选择的。因此,在不偏离所附权利要求书的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围,对本发明所做的公开是说明性的,而非限制性的,本发明的范围由所附权利要求书限定。

Claims (19)

1.一种虚拟现实展馆内展品的展示方法,适于在计算设备中执行,所述方法包括:
利用设定好的扫描框,按照预设的扫描方式和扫描步长逐步对展馆全景图进行扫描,获得若干个扫描图像;
利用训练好的分类模型对所述扫描图像进行识别,获取所述扫描图像所对应的展品的标签;
根据所述扫描图像的平面坐标、所述扫描框的尺寸以及所述全景图的尺寸,获取所述扫描图像所对应的展品在所述虚拟现实展馆内的球面坐标,包括:根据所述扫描图像的平面坐标和所述扫描框的尺寸,获取所述扫描图像中心点的平面坐标,所述扫描框的尺寸包括所述扫描框的宽度和高度,根据所述扫描图像中心点的平面坐标和所述全景图的尺寸,获取所述扫描图像所对应的展品在所述虚拟现实展馆内的球面坐标,所述全景图的尺寸包括所述全景图的宽度和高度;
将所述扫描图像所对应的展品的标签标注在所述球面坐标处。
2.如权利要求1所述的方法,其中,在对展馆全景图进行扫描的步骤之前,还包括:
将展馆全景图绘制在创建好的第一图像处理空间中。
3.如权利要求2所述的方法,其中,所述利用训练好的分类模型对所述扫描图像进行识别,获取所述扫描图像所对应的展品的标签的步骤,包括:
每获得一个扫描图像,将所述扫描图像的格式转换为预定格式;
利用训练好的分类模型,对转换为预定格式后的扫描图像进行识别,获取所述扫描图像所对应的展品的标签。
4.如权利要求3所述的方法,其中,所述每获得一个扫描图像,将所述扫描图像的格式转换为预定格式的步骤,包括:
每获得一个扫描图像,将所述扫描图像绘制在创建好的第二图像处理空间中,并将所述扫描图像的格式转换为预定格式。
5.如权利要求4所述的方法,其中,所述第一图像处理空间为第一canvas画布,所述第二图像处理空间为第二canvas画布。
6.如权利要求1-4中任一项所述的方法,其中,所述根据所述扫描图像中心点的平面坐标和所述全景图的尺寸,获取所述扫描图像所对应的展品在所述虚拟现实展馆内的球面坐标的步骤,包括:
根据所述全景图的高度,获取所述全景图的球面半径;
根据所述扫描图像中心点的平面坐标和所述全景图的高度和宽度,获取所述扫描图像中心点所对应的展品的水平转向角和垂直转向角;
根据所述全景图的球面半径、所述扫描图像中心点所对应的展品的水平转向角和垂直转向角,获取所述扫描图像所对应的展品在所述虚拟现实展馆内的球面坐标。
7.如权利要求6所述的方法,其中,在所述根据所述扫描图像的平面坐标和所述扫描框的尺寸,获取所述扫描图像中心点的平面坐标的步骤中,通过下式来获取所述扫描图像中心点的平面坐标:
Px=x+(scanwidth/2)
Py=y+(scanheight/2)
其中,Px、Py分别为扫描图像中心点在全景图中的横坐标和纵坐标,x、y分别为扫描图像在全景图中的横坐标和纵坐标,scanwidth、scanheight分别为扫描框的宽度和高度。
8.如权利要求7所述的方法,其中,在所述根据所述全景图的高度,获取所述全景图的球面半径的步骤中,通过下式来获取所述全景图的球面半径:
R=imageheight/π
其中,R为全景图的球面半径,imageheight为全景图的高度。
9.如权利要求8所述的方法,其中,在所述根据所述扫描图像中心点的平面坐标和所述全景图的高度和宽度,获取所述扫描图像中心点所对应的展品的水平转向角和垂直转向角的步骤中,通过下式来获取所述扫描图像中心点所对应的展品的水平转向角和垂直转向角:
θ=(180/imageheight)*Py-90
其中,θ分别为扫描图像中心点所对应的展品的水平转向角和垂直转向角,imagewidth为全景图的宽度。
10.如权利要求9所述的方法,其中,在所述根据所述全景图的球面半径、所述扫描图像中心点所对应的展品的水平转向角和垂直转向角,获取所述扫描图像所对应的展品在所述虚拟现实展馆内的球面坐标的步骤中,通过下式来获取所述扫描图像所对应的展品在所述虚拟现实展馆内的球面坐标:
其中,Spherex、Spherey分别为扫描图像所对应的展品在虚拟现实展馆内的横向坐标和纵向坐标。
11.如权利要求1-4中任意一项所述的方法,其中,对所述展馆全景图进行扫描的扫描起始点为所述全景图待扫描区域的左上顶点,扫描结束点为所述全景图待扫描区域的右下顶点,所述全景图待扫描区域为所述全景图纵向上的四分之一至四分之三区域。
12.如权利要求11所述的方法,其中,所述扫描方式为自上而下,从左到右。
13.如权利要求1-5中任意一项所述的方法,其中,所述扫描步长包括横向扫描步长和纵向扫描步长,所述横向扫描步长和纵向扫描步长都为一个像素点。
14.如权利要求13所述的方法,还包括:
每当获取到一个扫描图像所对应的展品的标签,将下次的横向扫描步长增大至预设值。
15.如权利要求1-5中任意一项所述的方法,还包括:
比较相邻的两个扫描图像所对应的展品的标签是否相同;
若相邻的两个扫描图像所对应的展品的标签相同,则保留二者中置信度高的一个。
16.如权利要求1-5中任意一项所述的方法,其中,所述展品为展台车,所述标签包括展台车的车系和车型。
17.如权利要求3-5中任意一项所述的方法,其中,所述预定格式为base64格式。
18.一种计算设备,包括:
至少一个处理器;以及
存储器,存储有程序指令,其中,所述程序指令被配置为适于由所述至少一个处理器执行,所述程序指令包括用于执行如权利要求1-17中任一项所述方法的指令。
19.一种存储有程序指令的可读存储介质,当所述程序指令被计算设备读取并执行时,使得所述计算设备执行如权利要求1-17中任一项所述方法。
CN202110587468.5A 2021-05-27 2021-05-27 虚拟现实展馆内展品的展示方法及计算设备 Active CN113297984B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110587468.5A CN113297984B (zh) 2021-05-27 2021-05-27 虚拟现实展馆内展品的展示方法及计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110587468.5A CN113297984B (zh) 2021-05-27 2021-05-27 虚拟现实展馆内展品的展示方法及计算设备

Publications (2)

Publication Number Publication Date
CN113297984A CN113297984A (zh) 2021-08-24
CN113297984B true CN113297984B (zh) 2024-02-27

Family

ID=77325667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110587468.5A Active CN113297984B (zh) 2021-05-27 2021-05-27 虚拟现实展馆内展品的展示方法及计算设备

Country Status (1)

Country Link
CN (1) CN113297984B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102679959A (zh) * 2012-05-03 2012-09-19 浙江工业大学 基于主动全景视觉传感器的全方位三维建模系统
CN103971399A (zh) * 2013-01-30 2014-08-06 深圳市腾讯计算机系统有限公司 街景图像过渡方法和装置
CN106331689A (zh) * 2016-08-26 2017-01-11 杭州智屏软件有限公司 Vr视频播放时定位对象方法及vr视频播放时定位对象装置
CN106780421A (zh) * 2016-12-15 2017-05-31 苏州酷外文化传媒有限公司 基于全景平台的装修效果展示方法
CN107564040A (zh) * 2017-08-31 2018-01-09 成都观界创宇科技有限公司 目标跟踪方法及全景相机
WO2018177314A1 (zh) * 2017-03-28 2018-10-04 腾讯科技(深圳)有限公司 全景图像的展示控制方法、装置及存储介质
CN108804534A (zh) * 2018-05-04 2018-11-13 珠海格力电器股份有限公司 一种信息推荐的方法及系统
CN109003334A (zh) * 2017-06-07 2018-12-14 上海福沁高科技企业发展有限公司 一种基于WebGL的双目三维虚拟现实场景构建系统
CN109360275A (zh) * 2018-09-30 2019-02-19 北京观动科技有限公司 一种物品的展示方法、移动终端及存储介质
CN110096155A (zh) * 2019-05-10 2019-08-06 方芳 一种基于虚拟现实的业务实现方法和装置
CA3043686A1 (en) * 2018-07-31 2020-01-31 Middle Chart, LLC Method and apparatus for augmented virtual models and orienteering
CN111325604A (zh) * 2020-04-11 2020-06-23 山东劳动职业技术学院(山东劳动技师学院) 一种在线展示多种类型商务信息的装置
CN112132644A (zh) * 2020-08-21 2020-12-25 苏州合浩网络科技有限公司 一种vr商城的商品智能陈列方法及更新系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11348315B2 (en) * 2019-03-19 2022-05-31 Obsess, Inc. Generating and presenting a 3D virtual shopping environment

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102679959A (zh) * 2012-05-03 2012-09-19 浙江工业大学 基于主动全景视觉传感器的全方位三维建模系统
CN103971399A (zh) * 2013-01-30 2014-08-06 深圳市腾讯计算机系统有限公司 街景图像过渡方法和装置
CN106331689A (zh) * 2016-08-26 2017-01-11 杭州智屏软件有限公司 Vr视频播放时定位对象方法及vr视频播放时定位对象装置
CN106780421A (zh) * 2016-12-15 2017-05-31 苏州酷外文化传媒有限公司 基于全景平台的装修效果展示方法
WO2018177314A1 (zh) * 2017-03-28 2018-10-04 腾讯科技(深圳)有限公司 全景图像的展示控制方法、装置及存储介质
CN109003334A (zh) * 2017-06-07 2018-12-14 上海福沁高科技企业发展有限公司 一种基于WebGL的双目三维虚拟现实场景构建系统
CN107564040A (zh) * 2017-08-31 2018-01-09 成都观界创宇科技有限公司 目标跟踪方法及全景相机
CN108804534A (zh) * 2018-05-04 2018-11-13 珠海格力电器股份有限公司 一种信息推荐的方法及系统
CA3043686A1 (en) * 2018-07-31 2020-01-31 Middle Chart, LLC Method and apparatus for augmented virtual models and orienteering
CN109360275A (zh) * 2018-09-30 2019-02-19 北京观动科技有限公司 一种物品的展示方法、移动终端及存储介质
CN110096155A (zh) * 2019-05-10 2019-08-06 方芳 一种基于虚拟现实的业务实现方法和装置
CN111325604A (zh) * 2020-04-11 2020-06-23 山东劳动职业技术学院(山东劳动技师学院) 一种在线展示多种类型商务信息的装置
CN112132644A (zh) * 2020-08-21 2020-12-25 苏州合浩网络科技有限公司 一种vr商城的商品智能陈列方法及更新系统

Also Published As

Publication number Publication date
CN113297984A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
US11100366B2 (en) Methods and systems for semi-automated image segmentation and annotation
US9349076B1 (en) Template-based target object detection in an image
CN108304814B (zh) 一种文字类型检测模型的构建方法和计算设备
CN101601287B (zh) 产生照片级真实感图像缩略图的设备和方法
EP2494525B1 (en) A method for automatic material classification and texture simulation for 3d models
CN110377285B (zh) 一种生成页面骨架屏的方法、装置及计算机设备
JP5299173B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
CN110751620B (zh) 估算体积和重量的方法、电子设备及计算机可读存储介质
US10726599B2 (en) Realistic augmentation of images and videos with graphics
US8494254B2 (en) Methods and apparatus for image rectification for stereo display
Ishii et al. Color-histogram-based tracking at 2000 fps
US9715638B1 (en) Method and apparatus for identifying salient subimages within a panoramic image
US20170109900A1 (en) Example-based Edge-aware Directional Texture Painting
CN110781823B (zh) 录屏检测方法、装置、可读介质及电子设备
US20110097011A1 (en) Multi-resolution image editing
CN111401234B (zh) 三维人物模型构建方法、装置及存储介质
CN110532497B (zh) 生成全景图的方法、生成三维页面的方法以及计算设备
CN105719248A (zh) 一种实时的人脸变形方法及其系统
Prochazka et al. Augmented reality implementation methods in mainstream applications
CN111951333A (zh) 六维姿态数据集自动生成方法、系统、终端以及存储介质
JPH1173521A (ja) テクスチャ記録方法
CN113297984B (zh) 虚拟现实展馆内展品的展示方法及计算设备
JP2005352777A5 (zh)
CN110622172A (zh) 图像处理方法和系统
US20140267698A1 (en) Method and system for interactive mobile room design

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant