CN115423948A - Vr图像的处理方法、系统及可读存储介质 - Google Patents
Vr图像的处理方法、系统及可读存储介质 Download PDFInfo
- Publication number
- CN115423948A CN115423948A CN202211374984.0A CN202211374984A CN115423948A CN 115423948 A CN115423948 A CN 115423948A CN 202211374984 A CN202211374984 A CN 202211374984A CN 115423948 A CN115423948 A CN 115423948A
- Authority
- CN
- China
- Prior art keywords
- information
- user
- image
- determining
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/247—Thesauruses; Synonyms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Graphics (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Geometry (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及虚拟现实应用技术领域,具体公开了一种VR图像的处理方法、系统及可读存储介质,所述方法包括建立与服务器的连接通道,基于所述连接通道实时接收含有时间信息的VR图像,并将所述含有时间信息的VR图像输入预设的缓存库中;实时获取缓存库中的数据量,根据所述数据量确定VR图像的处理速度;基于所述处理速度对所述VR图像进行内容识别,确定物体信息表;实时获取用户的偏好信息,根据所述偏好信息更新所述物体信息表;根据所述物体信息表确定最终图像并显示。本发明通过对VR图像进行内容识别,确定VR图像的内容,通过获取用户的偏好信息,对VR图像中的内容进行更新,使得VR图像能够适应性显示,提高用户的体验感。
Description
技术领域
本发明涉及虚拟现实应用技术领域,特别涉及一种VR图像的处理方法、系统及可读存储介质。
背景技术
虚拟现实(Virtual Reality,简称VR)是当下科技领域非常流行的关键词,它逐渐进入了我们的生活,尤其是在视觉和听觉方面,它能够给用户带来沉浸式的体验。
对于听觉方面,现有技术已经较为完善,但是对于视觉方面,还有存在许多小的问题;其中,比较小但也比较重要的一个问题是,现有的虚拟现实技术中,数据的隐藏环节大都是缺失的,有些内容用户很难接受,而虚拟现实技术的视觉冲击力又比较强,因此,过高的真实感(部分不合适的内容)可能会引起用户的不适。如何对VR图像进行适应性替换是本发明技术方案想要解决的技术问题。
发明内容
本发明的目的在于提供一种VR图像的处理方法、系统及可读存储介质,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种VR图像的处理方法,其中,所述方法包括:
建立与服务器的连接通道,基于所述连接通道实时接收含有时间信息的VR图像,并将所述含有时间信息的VR图像输入预设的缓存库中;
实时获取缓存库中的数据量,根据所述数据量确定VR图像的处理速度;
基于所述处理速度对所述VR图像进行内容识别,确定物体信息表;其中,所述物体信息表包括名称项和位置项;
实时获取用户的偏好信息,根据所述偏好信息更新所述物体信息表;
根据所述物体信息表确定最终图像并显示。
作为本发明进一步的方案:所述基于所述处理速度对所述VR图像进行内容识别,确定物体信息表的步骤包括:
基于所述处理速度确定运算参数,根据所述运算参数实时获取用户的体态信息,根据所述体态信息确定用户的朝向信息;
读取所述VR图像,根据所述朝向信息确定VR图像中的前景区域和背景区域;
对所述VR图像进行轮廓识别,根据轮廓识别结果和区域分类情况确定前景轮廓和背景轮廓;其中,所述前景轮廓和背景轮廓均含有特征点及特征点的位置信息;
对所述背景轮廓进行内容识别,确定背景物体表,根据所述背景物体表确定环境信息;
根据所述环境信息对所述前景轮廓进行识别,确定前景物体表;连接所述背景物体表和前景物体表,得到物体信息表。
作为本发明进一步的方案:所述对所述VR图像进行轮廓识别的步骤包括:
遍历所述图像中的像素点,获取所述像素点的色值;
确定容差,依次读取相邻像素点的色值,判断相邻像素点的色值差与所述容差之间的大小,若相邻像素点的色值差大于所述容差,则标记所述像素点,若相邻像素点的色值差小于所述容差,则继续读取下一相邻像素点;
统计标记的像素点,得到轮廓并计算各轮廓的像素点总数及各轮廓在预设方向上的最大像素长度;
根据所述像素点总数和所述最大像素长度确定特征点,获取所述特征点的位置信息。
作为本发明进一步的方案:所述对所述背景轮廓进行内容识别,确定背景物体表,根据所述背景物体表确定环境信息的步骤包括:
建立与服务器的连接通道,获取与所述VR图像对应的三维模型,读取所述三维模型中的零件库;其中,所述零件库含有参考轮廓项;
依次所述背景轮廓与所述零件库中的参考轮廓项进行匹配,实时生成匹配度,根据所述匹配度确定背景轮廓对应的名称,确定背景物体表;
确定所述背景物体表中各名称的标识词,将各标识词输入训练好的环境分析模型,得到环境信息。
作为本发明进一步的方案:所述确定所述背景物体表中各名称的标识词的步骤包括:
建立与近义词数据库的连接通道;
依次读取所述背景物体表中的名称,基于所述名称在预设的近义词数据库中进行遍历定位,确定近义词组;
对所述近义词组进行排序,读取所述近义词组的首项,得到标识词。
作为本发明进一步的方案:所述实时获取用户的偏好信息,根据所述偏好信息更新所述物体信息表的方法包括如下步骤:
实时获取用户的偏好信息,并从用户的偏好信息中获取用户的可接受等级;
从所述物体信息表中获取每个物体对应的属性信息,所述属性信息至少包括物体不友好等级,物体不友好等级与用户的可接受等级的等级数设置为相同;
根据用户的可接受等级,从所述物体信息表中查找所有大于所述用户的可接受等级的物体不友好等级所对应的物体进行删除,以得到缺失的物体信息表;
从预设物体信息库中,选取与被删除的物体的物体类型相同,且物体不友好等级小于所述用户的可接受等级的替换物体,将替换物体的信息在所述缺失的物体信息表中进行填充更新。
作为本发明进一步的方案:对所述用户的可接受等级进行选择设置的方法包括如下步骤:
获取用户信息,根据所述用户信息确定偏好问答表;所述用户信息至少包括年龄;
向所述用户发送偏好问答表,基于所述偏好问答表获取用户的偏好信息,并实时获取用户的反馈信息,所述反馈信息包括反馈时间;
将所述反馈时间以及用户年龄进行计算以得到对应的选择修正系数;
根据用户选择的可接受等级以及计算得到的选择修正系数,确认得到最终的用户可接受等级。
本发明技术方案还提供了一种VR图像的处理系统,所述系统包括:
图像接收模块,用于建立与服务器的连接通道,基于所述连接通道实时接收含有时间信息的VR图像,并将所述含有时间信息的VR图像输入预设的缓存库中;
速度确定模块,用于实时获取缓存库中的数据量,根据所述数据量确定VR图像的处理速度;
内容识别模块,用于基于所述处理速度对所述VR图像进行内容识别,确定物体信息表;其中,所述物体信息表包括名称项和位置项;
信息表更新模块,用于实时获取用户的偏好信息,根据所述偏好信息更新所述物体信息表;
显示模块,用于根据所述物体信息表确定最终图像并显示。
作为本发明进一步的方案:所述内容识别模块包括:
信息获取单元,用于基于所述处理速度确定运算参数,根据所述运算参数实时获取用户的体态信息,根据所述体态信息确定用户的朝向信息;
区域分类单元,用于读取所述VR图像,根据所述朝向信息确定VR图像中的前景区域和背景区域;
轮廓分类单元,用于对所述VR图像进行轮廓识别,根据轮廓识别结果和区域分类情况确定前景轮廓和背景轮廓;其中,所述前景轮廓和背景轮廓均含有特征点及特征点的位置信息;
背景轮廓识别单元,用于对所述背景轮廓进行内容识别,确定背景物体表,根据所述背景物体表确定环境信息;
前景轮廓识别单元,用于根据所述环境信息对所述前景轮廓进行识别,确定前景物体表;连接所述背景物体表和前景物体表,得到物体信息表。
作为本发明进一步的方案:所述信息表更新模块包括:
问答表确定单元,用于获取用户信息,根据所述用户信息确定偏好问答表;所述用户信息至少包括年龄;
反馈接收单元,用于向所述用户发送偏好问答表,基于所述偏好问答表获取用户的偏好信息,并实时获取用户的反馈信息;所述反馈信息至少包括反馈速度;
系数生成单元,用于将所述反馈速度输入训练好的真实性分析模型,得到修正系数;
处理执行单元,用于根据所述修正系数修正所述用户的偏好信息,根据修正后的偏好信息更新所述物体信息表。
本发明技术方案还提供了一种可读存储介质,所述存储介质中存储有至少一条程序代码,所述程序代码由处理器加载并执行时,实现所述VR图像的处理方法。
与现有技术相比,本发明的有益效果是:本发明通过对VR图像进行内容识别,确定VR图像的内容,通过获取用户的偏好信息,对VR图像中的内容进行更新,使得VR图像能够适应性显示,提高用户的体验感。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例。
图1为本发明提出的VR图像的处理方法的流程框图。
图2为本发明提出的VR图像的处理方法的第一子流程框图。
图3为本发明提出的VR图像的处理方法的第二子流程框图。
图4为本发明提出的VR图像的处理系统的组成结构框图。
图5为本发明提出的VR图像的处理系统中内容识别模块的组成结构框图。
图6为本发明提出的VR图像的处理系统中信息表更新模块的组成结构框图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例1
图1为VR图像的处理方法的流程框图,本发明实施例中,一种VR图像的处理方法、系统及可读存储介质,所述方法包括步骤S100至步骤S500:
步骤S100:建立与服务器的连接通道,基于所述连接通道实时接收含有时间信息的VR图像,并将所述含有时间信息的VR图像输入预设的缓存库中。
步骤S200:实时获取缓存库中的数据量,根据所述数据量确定VR图像的处理速度。
步骤S100和步骤S200是数据传输过程,在数据传输的过程中,设置一个缓存库,所述缓存库可以尽量保证VR图像的处理流畅性,这一流畅性体现在:当网络传输速度突然变慢时,缓存库中的数据依然可以保证传输过程延续一段时间,而不是出现卡顿。在此需要说明的是,本步骤中所指的处理速度,指的是在缓存库中对VR图像的内容进行识别处理的速度。可以理解的,该设置可最大程度上保证VR图像展示的流畅性,保证了用户体验。
步骤S300:基于所述处理速度对所述VR图像进行内容识别,确定物体信息表;其中,所述物体信息表包括名称项和位置项。
步骤S300是内容识别过程,内容识别过程的目的是确定VR图像中的各物体信息,所述物体信息包括名称项和位置项,所述名称项代表该物体是何种物体,所述位置项代表该物体在所述VR图像中的位置信息。例如在VR图像中存在一个物体“花瓶”,物体“花瓶”在VR图像中对应有一个坐标位置。
步骤S400:实时获取用户的偏好信息,根据所述偏好信息更新所述物体信息表。
所述偏好信息的概念需要具体的说明,偏好信息顾名思义,就是用户喜欢的内容,也可以理解为适合用户观看的内容。在VR图像中,可能有很多种物体,这些物体有的是用户不喜欢看的,有的是用户不能观看的,这两种内容都需要进行剔除。
步骤S400具体包括:
步骤S4001:实时获取用户的偏好信息,并从用户的偏好信息中获取用户的可接受等级。
步骤S4002:从所述物体信息表中获取每个物体对应的属性信息,所述属性信息至少包括物体不友好等级,物体不友好等级与用户的可接受等级的等级数设置为相同。
在本步骤中,按照上述步骤S300中的方法,对VR图像中所存在的多个物体进行识别。对于每个识别到的物体,对应的属性信息可表示为:“物体名称”&“物体坐标位置”&“物体类型”&“物体不友好等级”。
例如,VR图像中的一个物体为蟒蛇,则对应的属性信息可表示为:“蟒蛇”&“(x1,y1)”&“动物”&“不友好等级5级”。再例如,VR图像中的一个物体为花朵,则对应的属性信息表示为:“花朵”&“(x2,y2)”&“植物”&“不友好等级0级”。在此还需要补充说明的是,在本发明中,物体不友好等级一共设置为6个等级,即包括:“0级、1级、2级、3级、4级以及5级”,且级别越高表示越不友好,人们越难接受。此外,用户的可接受等级一共也设置为6个等级,同样包括“0级、1级、2级、3级、4级以及5级”,只是每个用户对应的可接受等级不同,因人而异。
步骤S4003:根据用户的可接受等级,从所述物体信息表中查找所有大于所述用户的可接受等级的物体不友好等级所对应的物体进行删除,以得到缺失的物体信息表。
例如,在本步骤中,设置的用户的可接受等级为3级。如上所述,上述VR图像中出现的蟒蛇,对应的物体不友好等级为5级。则物体蟒蛇超出了用户的可接受等级3级,因此需要将物体信息表中的物体蟒蛇的信息进行删除替换。
步骤S4004:从预设物体信息库中,选取与被删除的物体的物体类型相同,且物体不友好等级小于所述用户的可接受等级的替换物体,将替换物体的信息在所述缺失的物体信息表中进行填充更新。
进一步的,在本步骤中,在上述的物体蟒蛇的信息从物体信息表中删除之后,需要从预设物体信息库中,选取与被删除的物体的物体类型相同,且物体不友好等级小于用户的可接受等级的替换物体。具体的,例如可从预设物体信息库中,选取同样为动物的小猫对蟒蛇进行替换,且由于小猫的物体不友好等级为1级,小于本实施例中设置的用户的可接受等级3级,因此符合替换要求。步骤S500:根据所述物体信息表确定最终图像并显示。
可以理解的,对于物体信息表中所有不符合用户的可接受等级的物体,均进行了替换更新以得到新的物体信息表。按照更新后的物体信息表,对原始VR图像中的对应空白预留位进行替换填充,即可得到最终的VR图像并显示。按照上述的举例,将小猫的预设图块,填充到VR图像中的空白预留位中,以最终得到符合用户的可接受等级的VR图像。也即,当物体信息表更新过后,根据所述物体信息表可以对VR图像进行调整,进而确定最终图像,确定了最终图像后,显示即可。
图2为VR图像的处理方法的第一子流程框图,所述基于所述处理速度对所述VR图像进行内容识别,确定物体信息表的步骤包括步骤S301至步骤S305:
步骤S301:基于所述处理速度确定运算参数,根据所述运算参数实时获取用户的体态信息,根据所述体态信息确定用户的朝向信息。
步骤S302:读取所述VR图像,根据所述朝向信息确定VR图像中的前景区域和背景区域。
可以理解的,本步骤中指出的前景区域以及背景区域,是根据用户的朝向信息,对VR图像进行图像识别所确定的。在对VR图像进行识别得到多个物体之后,将多个物体作为前景区域,并对应生成前景物体区域框,也即将作为前景区域的物体进行框选。进一步的,经前景物体区域框框选之后的剩余部分,即为背景区域框。作为补充的,前景物体区域框可以为多个。
步骤S303:对所述VR图像进行轮廓识别,根据轮廓识别结果和区域分类情况确定前景轮廓和背景轮廓;其中,所述前景轮廓和背景轮廓均含有特征点及特征点的位置信息。
在此需要说明的是,本步骤中指出的区域分类情况,指的是上述的前景区域和背景区域。也即,对VR图像中的前景区域和背景区域分别进行轮廓识别,以对应得到前景轮廓与背景轮廓。
步骤S304:对所述背景轮廓进行内容识别,确定背景物体表,根据所述背景物体表确定环境信息。
步骤S305:根据所述环境信息对所述前景轮廓进行识别,确定前景物体表;连接所述背景物体表和前景物体表,得到物体信息表。
步骤S301至步骤S305对VR图像的内容识别过程进行了具体的描述,首先,确定运算参数,所述运算参数就是采用的线程数等一些影响运算速度的参数;然后,对所述VR图像进行前景和背景的区分;最后,先对背景进行识别,再根据背景识别结果对前景进行识别。识别的结果就是得到物体信息表。
作为本发明技术方案的一个优选实施例,所述对所述VR图像进行轮廓识别的步骤包括:
步骤S3031:遍历所述图像中的像素点,获取所述像素点的色值。
步骤S3032:确定容差,依次读取相邻像素点的色值,判断相邻像素点的色值差与所述容差之间的大小,若相邻像素点的色值差大于所述容差,则标记所述像素点,若相邻像素点的色值差小于所述容差,则继续读取下一相邻像素点。
步骤S3033:统计标记的像素点,得到轮廓并计算各轮廓的像素点总数及各轮廓在预设方向上的最大像素长度。
步骤S3034:根据所述像素点总数和所述最大像素长度确定特征点,获取所述特征点的位置信息。
可以理解的,图像在计算机语言中实际上是数据,每个点的位置以及相应的色值,这些都是数据,存储方式可以是基于位置的数组,数组元素为色值。此外,相邻两个物体的颜色一般是不同的,这在计算机程序中,便是相邻像素点的色值是有差值的,但是由于光照的原因,同一物体也会出现一些色值差。但是不可否认的是,通过色值差来确认不同物体是可行的,重点在于色值差阈值的确认,即为上述容差。在相邻像素点的色值差过大时,则获取相应像素点,具体是获取两个点,还是任意获取一个点,这在宏观的观测上,差距不大,因此也不做限定。当轮廓识别完成后,任取一个方向,获取该方向上像素点最多的一条“线段”,以该“线段”为底,再通过“总面积”除以“底”,即可确定一个特征点。
作为本发明技术方案的一个优选实施例,所述对所述背景轮廓进行内容识别,确定背景物体表,根据所述背景物体表确定环境信息的步骤包括:
步骤S3041:建立与服务器的连接通道,获取与所述VR图像对应的三维模型,读取所述三维模型中的零件库;其中,所述零件库含有参考轮廓项。
步骤S3042:依次根据所述背景轮廓与所述零件库中的参考轮廓项进行匹配,实时生成匹配度,根据所述匹配度确定背景轮廓对应的名称,确定背景物体表。
步骤S3043:确定所述背景物体表中各名称的标识词,将各标识词输入训练好的环境分析模型,得到环境信息。
上述内容对环境信息的确定过程进行了具体的描述,VR图像的生成过程是基于三维模型生成的,三维模型在建立时会生成一个子模型库(零件库),VR图像中的物体都在这一子模型库中,基于所述子模型库对背景轮廓进行比对识别,根据比对识别结果确定背景物体的名称及位置,根据背景物体的名称及位置可以确定环境信息,当然,所述环境信息也是在三维模型生成时确定的,它的种类数是有限的。
进一步的,所述确定所述背景物体表中各名称的标识词的步骤包括:
步骤S3043a:建立与近义词数据库的连接通道。
步骤S3043b:依次读取所述背景物体表中的名称,基于所述名称在预设的近义词数据库中进行遍历定位,确定近义词组。
步骤S3043c:对所述近义词组进行排序,读取所述近义词组的首项,得到标识词。
在本发明技术方案的一个实例中,对于标识词进行了进一步的说明,对于很多同类的词,它们表达的是同一个意思,对于这类词,要对它进行简单替换,比如马铃薯和土豆,这两者是同样的东西,那就自然需要对这两者进行归类,用马铃薯或是土豆统一代替。
作为一优选实施例,由于用户在确认可接受等级时,由于不同用户(由于年龄等因素)的主观判断的不同,可能会选择不太适合的可接受等级,因此需要进行有效修正。请参阅图3,对于对用户的可接受等级进行选择设置的方法具体包括:
步骤S401:获取用户信息,根据所述用户信息确定偏好问答表;所述用户信息至少包括年龄。
用户的偏好信息首先需要确定用户的年龄,根据不同用户的年龄,对偏好信息进行限制。比如,年龄较小的用户,对应的可接受等级的选取范围会偏小,这一过程由偏好问答表实现。
步骤S402:向所述用户发送偏好问答表,基于所述偏好问答表获取用户的偏好信息,并实时获取用户的反馈信息。
其中,所述反馈信息包括反馈时间。在接收用户发送的反馈信息的同时,获取用户的反馈时间,如果反馈时间过快,则偏好信息的真实性就有待商榷。
步骤S403:将所述反馈时间以及用户年龄进行计算以得到对应的选择修正系数。
在本步骤中,选择修正系数的计算公式表示为:
步骤S404:根据用户选择的可接受等级以及计算得到的选择修正系数,确认得到最终的用户可接受等级。
在本步骤中,最终的用户可接受等级的计算公式表示为:
可以理解的,通过该操作设置,可使得用户所选择的可接受等级更为合理。实施例2
图4为VR图像的处理系统的组成结构框图,本发明实施例中,一种VR图像的处理系统,所述VR图像的处理系统10包括:
图像接收模块11,用于建立与服务器的连接通道,基于所述连接通道实时接收含有时间信息的VR图像,并将所述含有时间信息的VR图像输入预设的缓存库中;
速度确定模块12,用于实时获取缓存库中的数据量,根据所述数据量确定VR图像的处理速度;
内容识别模块13,用于基于所述处理速度对所述VR图像进行内容识别,确定物体信息表;其中,所述物体信息表包括名称项和位置项;
信息表更新模块14,用于实时获取用户的偏好信息,根据所述偏好信息更新所述物体信息表;
显示模块15,用于根据所述物体信息表确定最终图像并显示。
图5为VR图像的处理系统中内容识别模块的组成结构框图,所述内容识别模块13包括:
信息获取单元131,用于基于所述处理速度确定运算参数,根据所述运算参数实时获取用户的体态信息,根据所述体态信息确定用户的朝向信息;
区域分类单元132,用于读取所述VR图像,根据所述朝向信息确定VR图像中的前景区域和背景区域;
轮廓分类单元133,用于对所述VR图像进行轮廓识别,根据轮廓识别结果和区域分类情况确定前景轮廓和背景轮廓;其中,所述前景轮廓和背景轮廓均含有特征点及特征点的位置信息;
背景轮廓识别单元134,用于对所述背景轮廓进行内容识别,确定背景物体表,根据所述背景物体表确定环境信息;
前景轮廓识别单元135,用于根据所述环境信息对所述前景轮廓进行识别,确定前景物体表;连接所述背景物体表和前景物体表,得到物体信息表。
图6为VR图像的处理系统中信息表更新模块的组成结构框图,所述信息表更新模块14包括:
问答表确定单元141,用于获取用户信息,根据所述用户信息确定偏好问答表;所述用户信息至少包括年龄;
反馈接收单元142,用于向所述用户发送偏好问答表,基于所述偏好问答表获取用户的偏好信息,并实时获取用户的反馈信息;所述反馈信息至少包括反馈速度;
系数生成单元143,用于将所述反馈速度输入训练好的真实性分析模型,得到修正系数;
处理执行单元144,用于根据所述修正系数修正所述用户的偏好信息,根据修正后的偏好信息更新所述物体信息表。
所述VR图像的处理法所能实现的功能均由计算机设备完成,所述计算机设备包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条程序代码,所述程序代码由所述一个或多个处理器加载并执行以实现所述VR图像的处理法。
处理器从存储器中逐条取出指令、分析指令,然后根据指令要求完成相应操作,产生一系列控制命令,使计算机各部分自动、连续并协调动作,成为一个有机的整体,实现程序的输入、数据的输入以及运算并输出结果,这一过程中产生的算术运算或逻辑运算均由运算器完成;所述存储器包括只读存储器(Read-Only Memory,ROM),所述只读存储器用于存储计算机程序,所述存储器外部设有保护装置。
示例性的,计算机程序可以被分割成一个或多个模块,一个或者多个模块被存储在存储器中,并由处理器执行,以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序在终端设备中的执行过程。
本领域技术人员可以理解,上述服务设备的描述仅仅是示例,并不构成对终端设备的限定,可以包括比上述描述更多或更少的部件,或者组合某些部件,或者不同的部件,例如可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列 (Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,上述处理器是上述终端设备的控制中心,利用各种接口和线路连接整个用户终端的各个部分。
上述存储器可用于存储计算机程序和/或模块,上述处理器通过运行或执行存储在存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现上述终端设备的各种功能。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如信息采集模板展示功能、产品信息发布功能等)等;存储数据区可存储根据泊位状态显示系统的使用所创建的数据(比如不同产品种类对应的产品信息采集模板、不同产品提供方需要发布的产品信息等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card, SMC),安全数字(Secure Digital, SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取介质中。基于这样的理解,本发明实现上述实施例系统中的全部或部分模块/单元,也可以通过计算机程序来指令相关的硬件来完成,上述的计算机程序可存储于计算机可读介质中,该计算机程序在被处理器执行时,可实现上述各个系统实施例的功能。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种VR图像的处理方法,其特征在于,所述方法包括:
建立与服务器的连接通道,基于所述连接通道实时接收含有时间信息的VR图像,并将所述含有时间信息的VR图像输入预设的缓存库中;
实时获取缓存库中的数据量,根据所述数据量确定VR图像的处理速度;
基于所述处理速度对所述VR图像进行内容识别,确定物体信息表;其中,所述物体信息表包括名称项和位置项;
实时获取用户的偏好信息,根据所述偏好信息更新所述物体信息表;
根据所述物体信息表确定最终图像并显示。
2.根据权利要求1所述的VR图像的处理方法,其特征在于,所述基于所述处理速度对所述VR图像进行内容识别,确定物体信息表的步骤包括:
基于所述处理速度确定运算参数,根据所述运算参数实时获取用户的体态信息,根据所述体态信息确定用户的朝向信息;
读取所述VR图像,根据所述朝向信息确定VR图像中的前景区域和背景区域;
对所述VR图像进行轮廓识别,根据轮廓识别结果和区域分类情况确定前景轮廓和背景轮廓;其中,所述前景轮廓和背景轮廓均含有特征点及特征点的位置信息;
对所述背景轮廓进行内容识别,确定背景物体表,根据所述背景物体表确定环境信息;
根据所述环境信息对所述前景轮廓进行识别,确定前景物体表;
连接所述背景物体表和前景物体表,得到物体信息表。
3.根据权利要求2所述的VR图像的处理方法,其特征在于,所述对所述VR图像进行轮廓识别的步骤包括:
遍历所述图像中的像素点,获取所述像素点的色值;
确定容差,依次读取相邻像素点的色值,判断相邻像素点的色值差与所述容差之间的大小,若相邻像素点的色值差大于所述容差,则标记所述像素点,若相邻像素点的色值差小于所述容差,则继续读取下一相邻像素点;
统计标记的像素点,得到轮廓并计算各轮廓的像素点总数及各轮廓在预设方向上的最大像素长度;
根据所述像素点总数和所述最大像素长度确定特征点,获取所述特征点的位置信息。
4.根据权利要求3所述的VR图像的处理方法,其特征在于,所述对所述背景轮廓进行内容识别,确定背景物体表,根据所述背景物体表确定环境信息的步骤包括:
建立与服务器的连接通道,获取与所述VR图像对应的三维模型,读取所述三维模型中的零件库;其中,所述零件库含有参考轮廓项;
依次所述背景轮廓与所述零件库中的参考轮廓项进行匹配,实时生成匹配度,根据所述匹配度确定背景轮廓对应的名称,确定背景物体表;
确定所述背景物体表中各名称的标识词,将各标识词输入训练好的环境分析模型,得到环境信息。
5.根据权利要求4所述的VR图像的处理方法,其特征在于,所述确定所述背景物体表中各名称的标识词的步骤包括:
建立与近义词数据库的连接通道;
依次读取所述背景物体表中的名称,基于所述名称在预设的近义词数据库中进行遍历定位,确定近义词组;
对所述近义词组进行排序,读取所述近义词组的首项,得到标识词。
6.根据权利要求5所述的VR图像的处理方法,其特征在于,所述实时获取用户的偏好信息,根据所述偏好信息更新所述物体信息表的方法包括如下步骤:
实时获取用户的偏好信息,并从用户的偏好信息中获取用户的可接受等级;
从所述物体信息表中获取每个物体对应的属性信息,所述属性信息至少包括物体不友好等级,物体不友好等级与用户的可接受等级的等级数设置为相同;
根据用户的可接受等级,从所述物体信息表中查找所有大于所述用户的可接受等级的物体不友好等级所对应的物体进行删除,以得到缺失的物体信息表;
从预设物体信息库中,选取与被删除的物体的物体类型相同,且物体不友好等级小于所述用户的可接受等级的替换物体,将替换物体的信息在所述缺失的物体信息表中进行填充更新。
7.根据权利要求6所述的VR图像的处理方法,其特征在于,对所述用户的可接受等级进行选择设置的方法包括如下步骤:
获取用户信息,根据所述用户信息确定偏好问答表;所述用户信息至少包括年龄;
向所述用户发送偏好问答表,基于所述偏好问答表获取用户的偏好信息,并实时获取用户的反馈信息,所述反馈信息包括反馈时间;
将所述反馈时间以及用户年龄进行计算以得到对应的选择修正系数;
根据用户选择的可接受等级以及计算得到的选择修正系数,确认得到最终的用户可接受等级。
9.一种VR图像的处理系统,其特征在于,所述系统包括:
图像接收模块,用于建立与服务器的连接通道,基于所述连接通道实时接收含有时间信息的VR图像,并将所述含有时间信息的VR图像输入预设的缓存库中;
速度确定模块,用于实时获取缓存库中的数据量,根据所述数据量确定VR图像的处理速度;
内容识别模块,用于基于所述处理速度对所述VR图像进行内容识别,确定物体信息表;其中,所述物体信息表包括名称项和位置项;
信息表更新模块,用于实时获取用户的偏好信息,根据所述偏好信息更新所述物体信息表;
显示模块,用于根据所述物体信息表确定最终图像并显示;
所述内容识别模块包括:
信息获取单元,用于基于所述处理速度确定运算参数,根据所述运算参数实时获取用户的体态信息,根据所述体态信息确定用户的朝向信息;
区域分类单元,用于读取所述VR图像,根据所述朝向信息确定VR图像中的前景区域和背景区域;
轮廓分类单元,用于对所述VR图像进行轮廓识别,根据轮廓识别结果和区域分类情况确定前景轮廓和背景轮廓;其中,所述前景轮廓和背景轮廓均含有特征点及特征点的位置信息;
背景轮廓识别单元,用于对所述背景轮廓进行内容识别,确定背景物体表,根据所述背景物体表确定环境信息;
前景轮廓识别单元,用于根据所述环境信息对所述前景轮廓进行识别,确定前景物体表;连接所述背景物体表和前景物体表,得到物体信息表;
所述信息表更新模块包括:
问答表确定单元,用于获取用户信息,根据所述用户信息确定偏好问答表;所述用户信息至少包括年龄;
反馈接收单元,用于向所述用户发送偏好问答表,基于所述偏好问答表获取用户的偏好信息,并实时获取用户的反馈信息;所述反馈信息至少包括反馈速度;
系数生成单元,用于将所述反馈速度输入训练好的真实性分析模型,得到修正系数;
处理执行单元,用于根据所述修正系数修正所述用户的偏好信息,根据修正后的偏好信息更新所述物体信息表。
10.一种可读存储介质,其特征在于,所述存储介质中存储有至少一条程序代码,所述程序代码由处理器加载并执行时,实现如权利要求1-8任一项所述的VR图像的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211374984.0A CN115423948B (zh) | 2022-11-04 | 2022-11-04 | Vr图像的处理方法、系统及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211374984.0A CN115423948B (zh) | 2022-11-04 | 2022-11-04 | Vr图像的处理方法、系统及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115423948A true CN115423948A (zh) | 2022-12-02 |
CN115423948B CN115423948B (zh) | 2023-02-21 |
Family
ID=84207153
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211374984.0A Active CN115423948B (zh) | 2022-11-04 | 2022-11-04 | Vr图像的处理方法、系统及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115423948B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103155572A (zh) * | 2010-10-04 | 2013-06-12 | 高通股份有限公司 | 用于基于用户偏好调节3d视频渲染的3d视频控制系统 |
US20140236956A1 (en) * | 2013-02-15 | 2014-08-21 | papelook Inc. | Digital content system, digital content display method, and recording medium having recorded thereon digital content display program |
CN105814626A (zh) * | 2013-09-30 | 2016-07-27 | Pcms控股公司 | 用于提供增强现实显示和/或用户界面的方法、装置、系统、设备和计算机程序产品 |
CN106056405A (zh) * | 2016-05-27 | 2016-10-26 | 上海青研科技有限公司 | 基于虚拟现实视觉兴趣区域的广告定向推送技术 |
CN107004004A (zh) * | 2014-09-22 | 2017-08-01 | 汤姆逊许可公司 | 使用深度知觉作为搜索、用户兴趣或偏好的指示符 |
CN108984657A (zh) * | 2018-06-28 | 2018-12-11 | Oppo广东移动通信有限公司 | 图像推荐方法和装置、终端、可读存储介质 |
CN109213324A (zh) * | 2018-09-06 | 2019-01-15 | 京东方科技集团股份有限公司 | 显示参数调节方法及装置、显示装置 |
CN111295872A (zh) * | 2017-11-10 | 2020-06-16 | 皇家Kpn公司 | 获得场景中的对象的图像数据 |
CN111316333A (zh) * | 2018-09-30 | 2020-06-19 | 华为技术有限公司 | 一种信息提示方法及电子设备 |
US20220014729A1 (en) * | 2020-07-09 | 2022-01-13 | Sony Interactive Entertainment Inc. | Information processing apparatus and image display method |
CN114708412A (zh) * | 2022-06-06 | 2022-07-05 | 江西省映尚科技有限公司 | 基于vr的室内布景设置方法、装置及系统 |
-
2022
- 2022-11-04 CN CN202211374984.0A patent/CN115423948B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103155572A (zh) * | 2010-10-04 | 2013-06-12 | 高通股份有限公司 | 用于基于用户偏好调节3d视频渲染的3d视频控制系统 |
US20140236956A1 (en) * | 2013-02-15 | 2014-08-21 | papelook Inc. | Digital content system, digital content display method, and recording medium having recorded thereon digital content display program |
CN105814626A (zh) * | 2013-09-30 | 2016-07-27 | Pcms控股公司 | 用于提供增强现实显示和/或用户界面的方法、装置、系统、设备和计算机程序产品 |
CN107004004A (zh) * | 2014-09-22 | 2017-08-01 | 汤姆逊许可公司 | 使用深度知觉作为搜索、用户兴趣或偏好的指示符 |
CN106056405A (zh) * | 2016-05-27 | 2016-10-26 | 上海青研科技有限公司 | 基于虚拟现实视觉兴趣区域的广告定向推送技术 |
CN111295872A (zh) * | 2017-11-10 | 2020-06-16 | 皇家Kpn公司 | 获得场景中的对象的图像数据 |
CN108984657A (zh) * | 2018-06-28 | 2018-12-11 | Oppo广东移动通信有限公司 | 图像推荐方法和装置、终端、可读存储介质 |
CN109213324A (zh) * | 2018-09-06 | 2019-01-15 | 京东方科技集团股份有限公司 | 显示参数调节方法及装置、显示装置 |
CN111316333A (zh) * | 2018-09-30 | 2020-06-19 | 华为技术有限公司 | 一种信息提示方法及电子设备 |
US20220014729A1 (en) * | 2020-07-09 | 2022-01-13 | Sony Interactive Entertainment Inc. | Information processing apparatus and image display method |
CN114708412A (zh) * | 2022-06-06 | 2022-07-05 | 江西省映尚科技有限公司 | 基于vr的室内布景设置方法、装置及系统 |
Non-Patent Citations (3)
Title |
---|
RAINE KAUPPINEN ET AL: "Implementing Virtual Reality Based Competence Recognition", 《2021 9TH INTERNATIONAL CONFERENCE ON INFORMATION AND EDUCATION TECHNOLOGY (ICIET)》 * |
秦建军: "面向用户协同的工程设计理论及方法研究", 《中国博士学位论文全文数据库电子期刊 工程科技II辑》 * |
陈小微 等: "基于混合现实的数字交互全景虚拟展示系统设计", 《现代电子技术》 * |
Also Published As
Publication number | Publication date |
---|---|
CN115423948B (zh) | 2023-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110163640B (zh) | 一种在视频中植入广告的方法及计算机设备 | |
CN105144239B (zh) | 图像处理装置、图像处理方法 | |
CN109255356B (zh) | 一种文字识别方法、装置及计算机可读存储介质 | |
CN109583483B (zh) | 一种基于卷积神经网络的目标检测方法和系统 | |
CN110503100B (zh) | 一种医疗单据识别方法、装置、计算机装置及计算机可读存储介质 | |
CN111680678B (zh) | 目标区域识别方法、装置、设备及可读存储介质 | |
CN112215171B (zh) | 目标检测方法、装置、设备及计算机可读存储介质 | |
CN113762309B (zh) | 对象匹配方法、装置及设备 | |
CN111639527A (zh) | 英文手写文本识别方法、装置、电子设备及存储介质 | |
CN111292334B (zh) | 一种全景图像分割方法、装置及电子设备 | |
CN113689436A (zh) | 图像语义分割方法、装置、设备及存储介质 | |
CN108573192B (zh) | 匹配人脸的眼镜试戴方法和装置 | |
CN113688273B (zh) | 面向图形类题目的作答及判定方法和装置 | |
CN113780365A (zh) | 样本生成方法和装置 | |
CN115423948B (zh) | Vr图像的处理方法、系统及可读存储介质 | |
CN110288608A (zh) | 作物行中心线提取方法和装置 | |
CN110019901A (zh) | 三维模型检索装置、检索系统、检索方法及计算机可读存储介质 | |
CN111598000A (zh) | 基于多任务的人脸识别方法、装置、服务器和可读存储介质 | |
CN117333892A (zh) | 题干和答案的识别方法、装置、可读存储介质及终端设备 | |
CN113536111A (zh) | 保险知识内容的推荐方法、装置和终端设备 | |
CN112613415A (zh) | 脸部鼻型识别方法、装置、电子设备和介质 | |
CN113223103A (zh) | 素描画生成的方法、装置、电子设备及介质 | |
CN117830731B (zh) | 多维并行调度方法 | |
US20220172457A1 (en) | Teaching data correction method for training image, teaching data correction device and program | |
CN113297645B (zh) | 一种首饰形态生成方法、系统、终端设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |