CN110036356B - Vr系统中的图像处理 - Google Patents

Vr系统中的图像处理 Download PDF

Info

Publication number
CN110036356B
CN110036356B CN201780058691.2A CN201780058691A CN110036356B CN 110036356 B CN110036356 B CN 110036356B CN 201780058691 A CN201780058691 A CN 201780058691A CN 110036356 B CN110036356 B CN 110036356B
Authority
CN
China
Prior art keywords
image
user
identifier
photographic image
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780058691.2A
Other languages
English (en)
Other versions
CN110036356A (zh
Inventor
达瓦·詹米·乔什
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of CN110036356A publication Critical patent/CN110036356A/zh
Application granted granted Critical
Publication of CN110036356B publication Critical patent/CN110036356B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Abstract

本申请公开了VR系统中的图像处理方法，所述方法包括：获得摄影图像；通过图像辨识算法分析所述摄影图像以识别所述摄影图像中的至少一个对象，并为所述至少一个对象分别生成至少一个标记；通过VR用户界面UI在所述摄影图像上呈现所述至少一个标记；响应于从所述VR用户界面UI接收到用户指令，确认所述至少一个标记中的一个或多个标记；以及使所确认的一个或多个标记与所述摄影图像相关联。

Description

VR系统中的图像处理
技术领域
本申请涉及互联网技术领域，特别涉及一种实现信息互动的方法和装置。
背景技术
虚拟现实(virtual reality；VR)通常是指计算机技术，其使用软件来生成复制真实环境(或创建假想设置)的逼真图像、声音和其它感觉，并通过使用户能够使用专用显示屏或投影仪和其它装置而与此空间和其中所描绘的任何对象交互来模拟用户在此环境中的物理存在。VR已被定义为“…使用交互式软件和硬件创建的并通过身体的移动体验或控制的三维环境的逼真和沉浸式模拟”，或被定义为“由计算机生成的沉浸式、交互式体验”。使用虚拟现实设备的人员通常能够“环顾”人工世界，在其中到处移动，并与屏幕上或护目镜中所描绘的特征或物品交互。虚拟现实人工地创建感觉体验，其可包含视觉、触觉、听觉，以及不太普遍的嗅觉。大多数2016年代虚拟现实是在计算机监视器、投影仪屏幕上显示的，或是使用虚拟现实体验机(也被称为头戴式显示器或HMD)显示的。HMD通常呈头戴式护目镜的形式，其中屏幕处于眼睛前方。虚拟现实实际上通过切断外部刺激而将用户带入数字世界。以此方式，用户仅仅专注于数字内容。
光球(photosphere)是在VR系统中提供的具有3维视图的360度或720度照片，其可由专业或业余VR相机创建。
发明内容
本申请提供一种VR系统中的图像处理方法，所述方法包含：获得摄影图像；通过图像辨识算法分析所述摄影图像以识别所述摄影图像中的至少一个对象，并为所述至少一个对象分别生成至少一个标记；通过VR用户界面UI在所述摄影图像上呈现所述至少一个标记；响应于从所述VR用户界面UI接收到的用户指令，确认所述至少一个标记中的一个或多个标记；以及使所确认的一个或多个标记与所述摄影图像相关联。
在一些实施例中，在分析所述摄影图像之前，所述方法进一步包括：使用UI控件呈现所述摄影图像，其中所述UI控件用于通过所述VR用户界面UI激活标记服务；以及响应于在所述UI控件上接收到的用户指令，激活所述标记服务；其中，在激活所述标记服务后，执行分析所述摄影图像的步骤。
在一些实施例中，确认所述一个或多个标记，包括：响应于所接收到的对所述至少一个标记中的任一个标记的第一用户指令，确认所述标记。
在一些实施例中，向服务器发送当前用户的用户标识符、图像标识符和所述一个或多个标记；向所述服务器发送包括所述用户标识符和所述图像标识符的打开请求；接收由所述服务器根据所述图像标识符确定的所述摄影图像以及由所述服务器根据所述用户标识符和所述图像标识符确定的每个标记；以及呈现所接收的摄影图像；以及响应于用于呈现标记的用户指令，在所述摄影图像上呈现每个所接收的标记。
在一些实施例中，所述方法进一步包括：向所述服务器发送包括所述用户标识符的浏览请求；从所述服务器接收与所述用户标识符相关联的一组标记，及从所述服务器接收与所述用户标识符相关联的摄影图像的一组缩略图图像；呈现所述一组标记和所述一组缩略图图像；响应于选择所述一组标记中的任一个标记的用户指令，呈现与所选择的标记相关联的一个或多个摄影图像的一个或多个缩略图图像；响应于用户指令，向所述服务器发送打开请求，该打开请求用于打开所选择的缩略图图像的图像标识符，所述用户指令为选择所呈现的一个或多个缩略图图像中的任一个缩略图图像的指令；接收由所述服务器根据所述图像标识符确定的所述摄影图像；以及呈现所接收的摄影图像。
本申请进一步提供一种在VR系统中的图像处理的方法，所述方法包含：从客户端接收用户标识符、摄影图像的图像标识符和一个或多个标记；其中所述客户端通过图像辨识算法分析所述摄影图像以识别所述摄影图像中的至少一个对象，并为所述至少一个对象分别生成至少一个标记，并从所述至少一个标记确认所述一个或多个标记；以及使所述图像标识符与所述用户标识符相关联以使所述摄影图像与所述用户标识符相关联；使所述一个或多个标记与所述图像标识符和所述用户标识符相关联；响应于从所述客户端接收到包含所述用户标识符和所述图像标识符的打开请求，根据所述图像标识符确定所述摄影图像，并将所确定的摄影图像发送到所述客户端。
在一些实施例中，所述方法进一步包括：响应于从所述客户端接收到的所述打开请求，确定与所述用户标识符和所述图像标识符相关联的所述一个或多个标记，并将所述一个或多个标记发送到所述客户端。
在一些实施例中，所述方法进一步包括：从所述客户端接收包括所述用户标识符的浏览请求；向所述客户端发送与所述用户标识符相关联的一组标记，并向所述客户端发送与所述用户标识符相关联的摄影图像的一组缩略图图像；从所述客户端接收包括由用户选择的缩略图图像的图像标识符和所述用户标识符的打开请求；根据所述缩略图图像的所述图像标识符确定所述摄影图像；以及向所述客户端发送所确定的摄影图像。
本申请进一步提供一种在VR系统中的终端装置，所述终端装置包含：处理器；存储器；以及指令，所述指令存储在所述存储器中且能由所述处理器执行；其中所述指令包含：获得摄影图像；通过图像辨识算法分析所述摄影图像以识别所述摄影图像中的至少一个对象，并为所述至少一个对象分别生成至少一个标记；通过VR用户界面UI在所述摄影图像上呈现所述至少一个标记；响应于从所述VR用户界面UI接收到的用户指令，确认所述至少一个标记中的一个或多个标记；以及使所确认的一个或多个标记与所述摄影图像相关联。
在一些实施例中，在分析所述摄影图像之前，所述指令进一步包括：使用UI控件呈现所述摄影图像，其中所述UI控件用于通过所述VR用户界面UI激活标记服务；以及响应于在所述UI控件上接收到的用户指令，激活所述标记服务；其中，在激活所述标记服务后，执行分析所述摄影图像的步骤。在一些实施例中，所述指令进一步包括：响应于所接收到的对所述至少一个对象中的任一个对象的用户指令，根据由用户输入的信息为所述对象添加标记。
在一些实施例中，所述指令进一步包括：向服务器发送当前用户的用户标识符、图像标识符和所述一个或多个标记；向所述服务器发送包括所述用户标识符和所述图像标识符的打开请求；接收由所述服务器根据所述图像标识符确定的所述摄影图像以及由所述服务器根据所述用户标识符和所述图像标识符确定的每个标记；以及呈现所接收的摄影图像；以及响应于用于呈现标记的用户指令，在所述摄影图像上呈现每个所接收的标记。
在一些实施例中，所述指令进一步包括：向所述服务器发送包括所述用户标识符的浏览请求；从所述服务器接收与所述用户标识符相关联的一组标记，及从所述服务器接收与所述用户标识符相关联的摄影图像的一组缩略图图像；呈现所述一组标记和所述一组缩略图图像；响应于选择所述一组标记中的任一个标记的用户指令，呈现与所选择的标记相关联的一个或多个摄影图像的一个或多个缩略图图像；响应于选择所呈现的一个或多个缩略图图像中的任一个缩略图图像的用户指令，向所述服务器发送打开请求，该打开请求用于打开所选择的缩略图图像的图像标识符；接收由所述服务器根据所述图像标识符确定的所述摄影图像；以及呈现所接收的摄影图像。
本申请进一步提供一种在虚拟现实(VR)系统中的服务器装置，所述服务器装置包含：处理器；存储器；以及指令，所述指令存储在所述存储器中且能由所述处理器执行；其中所述指令包含：从客户端接收用户标识符、摄影图像的图像标识符和一个或多个标记；其中所述客户端通过图像辨识算法分析所述摄影图像以识别所述摄影图像中的至少一个对象，并为所述至少一个对象分别生成至少一个标记，并从所述至少一个标记确认所述一个或多个标记；以及使所述图像标识符与所述用户标识符相关联以使所述摄影图像与所述用户标识符相关联；使所述一个或多个标记与所述图像标识符和所述用户标识符相关联；响应于从所述客户端接收到包含所述用户标识符和所述图像标识符的打开请求，根据所述图像标识符确定所述摄影图像，并将所确定的摄影图像发送到所述客户端。
在一些实施例中，所述指令进一步包括：响应于从所述客户端接收到的所述打开请求，确定与所述用户标识符和所述图像标识符相关联的所述一个或多个标记，并将所述一个或多个标记发送到所述客户端。
在一些实施例中，所述指令进一步包括：从所述客户端接收包括所述用户标识符的浏览请求；向所述客户端发送与所述用户标识符相关联的一组标记，并向所述客户端发送与所述用户标识符相关联的摄影图像的一组缩略图图像；从所述客户端接收包括由用户选择的缩略图图像的图像标识符和所述用户标识符的打开请求；根据所述缩略图图像的所述图像标识符确定所述摄影图像；以及向所述客户端发送所确定的摄影图像。
本申请还提供一种非易失性机器可读存储介质，其存储指令以使机器执行上文所提及的方法中的任一种方法。
附图说明
为了更好地理解本申请，应结合以下附图参考下文的具体实施方式，附图中，贯穿各图的类似附图标号是指对应部件。
图1是根据本申请的实例的绘示VR系统的示意图；
图2是根据本申请的实例的绘示图像处理的流程图的示意图；
图3A到3G是根据本申请的实例的展示用户界面的绘示图；
图4是根据本申请的实例的绘示图像处理的流程图的过程的示意图；
图5是绘示本申请的实例中所提供的VR客户端与VR服务器之间的交互的流程图；
图6是展示本申请的实例中所提供的终端装置的绘示图；且
图7是展示本申请的实例中所提供的服务器装置的绘示图。
具体实施方式
以下描述在本质上仅仅是说明性的且决不意图限制本申请、其应用或用途。可以各种形式实施本申请的广泛教示。因此，虽然本申请包含特定实例，但本申请的真正范围不应受到如此限制，这是因为在研究附图、本说明书和所附权利要求书后，其它修改就将变得显而易见。出于清楚起见，将在附图中使用相同附图标号以识别相似元件。
在本申请的上下文内和在使用每个术语的特定上下文中，本说明书中所使用的术语通常具有其在所属领域中的普通含义。下文或在本说明书中的别处论述了用于描述本申请的某些术语，以就本申请的描述为从业者提供额外引导。在本说明书中任何地方使用实例，包含本文中所论述的任何术语的实例，仅是说明性的，且决不限制本申请或任何所示范术语的范围和含义。同样地，本申请不限于本说明书中所给出的各种实例。
贯穿本说明书以单数或复数形式引用“一个实例”、“实例”、“具体实例”等等意味着结合实例所描述的一个或多个特定特征、结构或特性包含在本申请的至少一个实例中。因此，贯穿本说明书在各个位置以单数或复数形式出现短语“在一个实例中”或“在实例中”、“在具体实例中”等等未必都是指同一实例。此外，可在一个或多个实例中以任何合适方式组合所述特定特征、结构或特性。
除非上下文另有明确规定，否则如本文中的具体实施方式中和贯穿所附权利要求书所使用，“一(a/an)”和“所述”的含义包含复数参考。此外，除非上下文另有明确规定，否则如本文中的具体实施方式中和贯穿所附权利要求书所使用，“在……中(in)”的含义包含“在……中(in)”和“在……上(on)”。
如本文中所使用，术语“包括”、“包含”、“具有”、“含有”、“涉及”等等应被理解为开放式的，即，意指包含但不限于。
如本文中所使用，短语“A、B和C中的至少一个”应被认作意指使用非排它性逻辑OR的逻辑(A或B或C)。应理解，可在不改变本申请的原理的情况下以不同顺序(或同时)执行方法内的一个或多个步骤。
如本文中所使用，术语“模块”可以是指以下各项、是以下各项的部分或包含以下各项：专用集成电路(ASIC)；电子电路；组合逻辑电路；现场可编程门阵列(FPGA)；执行代码的处理器(共享、专用或群组)；提供所描述的功能性的其它合适硬件组件；或以上各项中的一些或全部的组合，例如在系统单芯片中。术语模块可包含存储由处理器执行的代码的存储器(共享、专用或群组)。
如本文中所使用，术语“代码”可包含软件、固件和/或微码，且可以是指程序、例程、函数、类和/或对象。如本文中所使用，术语“共享”意味着可使用单个(共享)处理器执行来自多个模块的一些或所有代码。此外，可由单个(共享)存储器存储来自多个模块的一些或所有代码。如本文中所使用，术语“群组”意味着可使用处理器群组执行来自单个模块的一些或所有代码。此外，可使用存储器群组存储来自单个模块的一些或所有代码。
本文中所描述的系统和方法可由一个或多个处理器所执行的一个或多个计算机程序实施。计算机程序包含存储在非暂时性有形计算机可读媒体上的处理器可执行指令。计算机程序还可包含所存储的数据。非暂时性有形计算机可读媒体的非限制性实例是非易失性存储器、磁性存储装置和光学存储装置。
将结合图1到7中的附图对各种实例进行描述。应理解，本文中所描述的具体实例仅仅意图阐释本申请，而不意图限制本申请。根据本申请的目的，如本文中所体现和大致上所描述，在一个方面中，本申请涉及可应用于用户终端和/或服务器的在VR系统中的图像处理的方法、设备和系统。
本申请提供用于处理VR系统中的图像的一些实例。图1展示能够向用户呈现摄影图像的VR系统100。在实例中，VR系统100可包含运行VR客户端的置101以及由用户操作和穿戴和/或握持的VR装置102。终端装置101将摄影图像存储在本地，并通过VR用户界面(UI)经由VR客户端呈现(例如，显示)摄影图像，使得用户能够经由VR装置102通过VR用户界面UI浏览摄影图像。在另一实例中，VR系统100可进一步包含运行VR服务器的服务器装置103。服务器装置103存储摄影图像。终端装置101从服务器装置103获得摄影图像并通过VR用户界面UI经由VR客户端呈现摄影图像。
在实例中，VR装置102可包含一对VR眼镜或VR体验机(也被称为头戴式显示器或HMD)，且用户可通过VR眼镜或头戴式显示器出现在虚拟现实环境中。VR装置102还可与可由用户操作的VR兼容控制器或指针一起工作，且用户能够通过操作控制器或指针将用户指令发送到终端装置101处的VR客户端，例如握持控制器或指针并指向由VR客户端呈现的图像中的对象，或按压控制器或指针上的按钮来激活VR客户端的功能等等。此外，用户能够通过使用例如与终端装置101连接的键盘和鼠标的标准输入装置，将用户指令发送到VR客户端。在实例中，VR系统中呈现的摄影图像可以是各种类型的数字照片，包含2维照片、全景照片和/或3维照片，所述3维照片也被称为光球、360度或720度照片等等。
可根据各种实例使用的终端装置101的实例包含但不限于平板PC(包含但不限于Apple iPad和运行Apple iOS的其它触摸屏装置、Microsoft Surface和运行Windows操作系统的其它触摸屏装置，以及运行Android操作系统的平板装置)、移动电话、智能手机(包含但不限于Apple iPhone、Windows Phone和运行Windows Mobile或Pocket PC操作系统的其它智能手机，以及运行Android操作系统、Blackberry操作系统或Symbian操作系统的智能手机)、电子读取器(包含但不限于Amazon Kindle和Barnes&Noble Nook)、PC或笔记本电脑(包含但不限于运行Apple Mac操作系统、Windows操作系统、Android操作系统和/或Google Chrome操作系统的计算机)，或运行上文所提及的操作系统中的任一个操作系统或任何其它操作系统的车载装置，所有这些均为所属领域的技术人员所熟知。
用户生成的内容，例如360度照片，将是用于提高VR系统的认可度的关键内容。所述照片的一个基本问题是，它们难以组织。由于交互模型的限制，VR系统将以大得多的规模面临此问题。在大多数状况下，用户需要使用控制器和指针来浏览和体验照片，然而，他们无法仅仅使用鼠标或触摸屏来处理它们。在相册中找到照片的唯一方式是依序浏览多张照片。此外，VR系统中的交互目前是相当线性的(在VR系统中不存在多点触控的等效物)。这意味着用户必须查看多个缩略图以识别这是否是他感兴趣的照片，使得组织照片成为巨大的挑战。随着相册的大小增长，此类问题将会加剧。
本申请提供一种VR系统中的图像处理方法来解决上述问题。所述方法可应用于在终端装置101上运行的VR客户端。如图2中所展示，所述方法包含以下过程200：
在框201处，终端装置101上的VR客户端获得摄影图像。
在实例中，VR客户端获取存储在终端装置101本地的摄影图像，或从服务器装置103上的VR服务器获得存储在服务器装置103中的摄影图像。如上文所提及，摄影图像可以是各种类型的数字照片，例如2维照片、全景照片和/或3维照片，所述3维照片也被称为光球、360度或720度照片等等。如图3A中所展示，在VR IU上由VR客户端获得和显示360度照片。
在框202处，VR客户端通过图像辨识算法分析摄影图像以识别摄影图像中的至少一个对象并生成分别对应于至少一个对象的至少一个标记。
在实例中，可将加载一个或多个图像辨识算法的图像辨识模块添加到VR客户端，VR客户端可调用图像辨识模块来实施框202处的过程。
在框203处，VR客户端通过VR用户界面(UI)在摄影图像上呈现至少一个标记。
在本实例中，如图3C中所展示，针对由矩形标示且在光球上显示的多个对象生成多个标记“滑翔机(Glider)”、“我(Me)”、“滑雪橇(Ski)”、“蓝天(Blue Sky)”和“雪峰(SnowPeak)”。
在框204处，VR客户端响应于从VR用户界面UI接收到用户指令而确认至少一个标记中的一个或多个标记。
在实例中，当VR客户端显示摄影图像时，将至少一个标记附接在摄影图像上，使得VR客户端可建议框203处的至少一个标记。接着，在框204处，在接收到用户指令后，VR客户端就可确定由用户根据用户指令确认的所建议的标记中的一个或多个标记。在实例中，当用户使用控制器或指针来指向摄影图像上显示的标记时，VR客户端将接收指示用户选择(或激活)控制器或指针所指向的标记的用户指令，且接着VR客户端确认由用户选择的此标记。如图3D中所展示，用户使用指针330来指向标记“我”，且VR客户端将确定此标记“我”是正确的并确认此标记“我”。在另一实例中，当用户使用控制器或指针来指向摄影图像上显示的标记时，VR客户端将接收指示用户想要操作控制器或指针所指向的标记的用户指令，接着VR客户端为摄影图像上的标记呈现一个或多个选项，且当用户使用控制器指针来指向确认选项时，VR客户端将接收指示用户选择(或激活)此标记的用户指令，且接着VR客户端确认由用户选择的此标记。
在框205处，VR客户端使所确认的一个或多个标记与摄影图像相关联。
在实例中，VR客户端使一个或多个标记与存储在本地的摄影图像相关联。在另一实例中，摄影图像存储在服务器装置103中，VR客户端将摄影图像的一个或多个标记和摄影图像的相关信息发送到服务器装置103上的VR服务器，使得VR服务器可使一个或多个标记与摄影图像相关联。
在上述实例中所提供的上述解决方案中，可针对摄影图像创建一个或多个标记，使得可容易基于(多个)标记组织VR系统中的摄影图像。由于摄影图像可与一个或多个标记相关联，故有可能基于一个或多个标记搜索和分选摄影图像。将容易得多地使用户在VR系统中找到所期望的摄影图像，且因此将提高处理效率，将节省处理资源，且将改进VR系统的性能。并且，标记可用作筛选、搜索和发现机构以在VR环境中找到相关摄影图像。
在实例中，在框202处，在分析摄影图像之前，所述方法进一步包含VR客户端使用UI控件呈现摄影图像以用于通过VR用户界面UI激活标记服务并响应于在UI控件上接收到用户指令而激活标记服务的过程。在激活标记服务后，VR客户端就执行分析执行摄影图像的过程。在实例中，如图3B中所展示，UI控件320呈现在光球上，用户使用控制器或指针330来指向UI控件320并按压(例如，长按)UI控件320，接着VR客户端在UI控件320上接收指示用户将激活标记服务的用户指令，且VR客户端响应于此用户指令而激活标记服务。本文中，标记服务可以是VR客户端中的能够实施用于标记摄影图像的功能的模块，所述功能可包含框202到框205的任何过程或所述过程的任何组合。VR客户端可调用标记服务的模块以实施用于标记摄影图像的功能。
在实例中，于框203处，在摄影图像上呈现至少一个标记之前，VR客户端可进一步确定在何处将存在至少一个标记。VR客户端可进一步执行确定至少一个标记中的每个标记在摄影图像中的像素位置的过程，且接着在所确定的像素位置处呈现至少一个标记。
在实例中，根据至少一个对象的像素位置确定标记的像素位置，且标记的像素位置环绕至少一个对象中的任一个对象的像素位置。本文中，标记的像素位置可以是环绕至少一个对象的像素位置的随机像素位置。在另一实例中，根据对应对象的像素位置确定标记的像素位置，且标记的像素位置在对应对象的像素位置附近。本文中，每个标记的像素位置在其对应对象附近或邻近于其对应对象，使得用户可容易识别各个对象的相应标记。如图3C中所展示，在光球中每个标记存在于其对应对象附近。
在实例中，在框203处，VR客户端可进一步通过VR用户界面UI呈现至少一个标记中的任一个标记与摄影图像上的对应对象之间的链接。因此，用户可容易识别标记对应于哪个对象。此外，在摄影图像中，VR客户端在至少一个对象中的任一个对象上呈现符号、线或任何形状的多边形(例如，圆形或矩形)等等，以便标示对象，例如，如图3C到3E中所展示，每个对象是由矩形标示。
在实例中，在框204处，VR客户端响应于在至少一个标记中的任一个标记上接收到第一用户指令而确认所述标记。举例来说，当用户使用控制器或指针来指向光球上的像素位置时，在摄影图像上显示标记，VR客户端将接收指示用户选择(或激活)控制器或指针所指向的标记的用户指令，且接着VR客户端确认由用户选择的此标记。并且，对于另一实例，当用户使用控制器或指针来指向摄影图像上显示的标记时，VR客户端将接收指示用户想要操作标记的用户指令，且接着VR客户端为摄影图像上的标记呈现一个或多个选项。此处，VR客户端可为标记呈现各种选项，包含用于编辑、删除和/或确认标记的选项等等。当用户使用控制器或指针来指向一个或多个选项当中的确认选项(即，用于确认的UI控件)时，VR客户端将接收指示用户确认选择(即，激活)此标记的用户指令，且接着VR客户端确认此标记。
在实例中，在框204处，VR客户端响应于在UI控件上的用户指令，确认当前在摄影图像上呈现的一个或多个标记，该用于确认的UI控件呈现在摄影图像上。举例来说，当用户使用控制器或指针来指向UI控件时，VR客户端在摄影图像上呈现UI控件(例如，按钮)，VR客户端将确认当前在摄影图像上呈现的所有标记。
在实例中，在框204处，在确认标记之前，VR客户端可响应于在标记上接收到第二用户指令而进一步根据由用户输入的信息编辑标记。
在实例中，在框204处，在确认标记之前，VR客户端可响应于在标记上接收到第三用户指令而进一步删除标记。
在实例中，在框204处，VR客户端可响应于在对象上接收到第四用户指令而进一步根据用户输入的信息为对象添加标记。举例来说，当用户使用控制器或指针来指向摄影图像中的对象时，，VR客户端将接收指示用户想要为对象添加标记的用户指令，所述对象可以是通过图像辨识自动地识别的对象或由用户指定的任何其它对象。接着VR客户端在摄影图像上呈现不具有对象的内容的标记图标，且VR客户端根据用户输入到标记图标的信息而为对象添加新标记。此处，所输入的信息可呈文本、图片或语音的格式。如图3E中所展示，用户使用控制器或指针330来指向对象310且为对象310添加新语音标记。对于另一实例，当用户使用控制器或指针来指向摄影图像中的对象的标记时，VR客户端将接收指示用户想要操作对象的标记的用户指令，接着VR客户端为标记呈现各种选项，包含用于编辑、删除和/或确认标记以及为对象添加新标记的选项。当用户使用控制器或指针来指向一个或多个选项的一个选项时，该选项用于为对象添加新标记，VR客户端将接收指示用户将为对象添加新标记的用户指令，接着VR客户端在摄影图像上呈现不具有对象的内容的标记图标，且VR客户端根据用户输入到标记图标的信息而为对象添加新标记。
在实例中，VR客户端根据用户通过以下过程输入的信息而为对象添加新标记：记录由用户输入的语音数据，针对对象生成包含所记录的语音数据的标记，以及在摄影图像上呈现所生成的标记。在包含语音数据的标记上接收到用户指令(例如，用户使用指针来指向此类标记，或指向和按压此标记)后，VR客户端就将通过扬声器输出包含在标记中的语音数据。在实例中，当用户使用控制器或指针来指向新标记的标记图标并按压标记图标时，VR客户端将接收指示用户想要将语音数据输入到标记图标的用户指令，接着VR客户端开始记录由用户输入的语音数据，并生成包含语音数据的新标记。在此实例中，非常便于使用户在VR环境中添加新标记。通过使用控制器或指针容易指向对象和标记图标且接着说出，可针对对象创建包含语音数据的新标记(也被称为语音标记)。本文中所涉及的用户操作并不复杂且操作效率非常高。
在实例中，在框205处，VR客户端通过以下过程使摄影图像的所确认的一个或多个标记相关联：确定一个或多个标记中的每个标记在摄影图像中的像素位置，使所确定的每个标记的像素位置分别与摄影图像的图像标识符和当前用户的用户标识符相关联，以及使上述一个或多个标记中的每个标记分别与摄影图像的图像标识符和当前用户的用户标识符相关联。此处，当用户使用VR客户端时，用户已通过用户标识符登录VR客户端。在此实例中，VR客户端可使当前用户标识符与图像标识符相关联，并使一个或多个标记中的每个标记分别与具有关联关系的图像标识符和用户标识符相关联，以及使每个标记相应的像素位置分别与图像标识符和用户标识符相关联。因此，当用户下一次打开摄影图像时，一个或多个标记可呈现在摄影图像中的相同位置处，且这还将节省时间和处理资源以用于下一次呈现一个或多个标记。此处，摄影图像中的像素位置将在VR环境中定位摄影图像的像素点。
在实例中，VR客户端通过以下过程确定标记的像素位置：响应于接收到用于确认标记的指向标记的用户指令，确定用户指令所指向的像素位置，并将所确定的像素位置作为标记的像素位置。此处，当用户使用控制器或指针来指向标记以进行确认时，VR客户端将记录用户所指向的像素位置，并将此像素位置作为标记的像素位置。
在实例中，VR客户端进一步向服务器装置103处的VR服务器上传用户标识符、图像标识符和相关联的标记。在实例中，VR客户端进一步执行以下过程：向VR服务器发送包含用户标识符和图像标识符的打开请求，从VR服务器接收由VR服务器根据图像标识符确定的摄影图像以及由VR服务器根据用户标识符和图像标识符确定的每个标记，呈现所接收的摄影图像，以及响应于用于呈现标记的用户指令，在摄影图像上呈现每个所接收的标记。
在实例中，VR客户端进一步向VR服务器上传与图像标识符和用户标识符相关联的每个标记的像素位置。且接着，当VR客户端将打开请求发送到VR服务器时，VR客户端可进一步从VR服务器接收每个标记的像素位置，且当在摄影图像上呈现每个标记时，标记可存在于其对应像素位置处。
在一些状况下，摄影图像存储在服务器装置103中，使得当用户使用不同终端装置来访问摄影图像时，可从服务器装置103下载摄影图像，且还可从服务器装置103获得标记。因此，用户可在各处访问具有标记的摄影图像。VR客户端可进一步向VR服务器上传每个标记的像素位置，上述上传的像素位置对应的每个标记分别与用户标识符和图像标识符相关联，因此，当VR客户端下载具有标记的摄影图像时，可从VR服务器获得标记的像素位置，且可在摄影图像中的像素位置处呈现标记。因此，可提高呈现标记的处理效率，且还可改进用户的体验。
在实例中，VR客户端进一步执行以下过程：
向服务器发送包含用户标识符的浏览请求；
从VR服务器接收与用户标识符相关联的一组标记和与用户标识符相关联的摄影图像的一组缩略图图像，并呈现一组标记和一组缩略图图像(如图3F中所展示，在VR用户界面UI中列出多个标记“我”、“雪”、“滑翔机”、“水”和“参与人”以及多个缩略图图像361到367)；
响应于选择一组标记中的任一个标记的用户指令(如图3G中所展示，用户使用控制器或指针330来选择标记“雪”)，呈现与所选择的标记相关联的一个或多个摄影图像的一个或多个缩略图图像(如图3G中所展示，在VR用户界面UI中列出与标记“雪”相关联的多个缩略图图像361到364)；
响应于选择所呈现的一个或多个缩略图图像中的任一个缩略图图像的用户指令，向VR服务器发送包含所选择的缩略图图像的图像标识符的打开请求；
从VR服务器接收由VR服务器根据图像标识符确定的摄影图像；以及
呈现所接收的摄影图像。
在实例中，用户使用控制器或指针来指向VR用户界面UI中呈现的标记，使得选择标记，且在VR用户界面UI中列出与所选择的标记相关联的一个或多个摄影图像的缩略图图像。在另一实例中，用户通过麦克风输入语音数据，接着VR客户端通过语音辨识获得对应文本，并将与对应文本匹配的标记确定为由用户选择的标记。可看出，选择标记的操作非常简单，且因此可改进用户的体验。
在以上实例中，可基于标记搜索和分选多个摄影图像。当在VR环境中搜索摄影图像时，这些标记将充当筛选器。因此，摄影图像组织将变得更加容易和可缩放，且将提高处理效率，将节省处理资源，且将改进VR系统的性能。
根据以上实例，本申请进一步提供一种在VR系统中的图像处理的方法，所述方法可应用于服务器装置103处的VR服务器。如图4中所展示，所述方法包含以下过程400：
在框401处，VR服务器从终端装置101处的VR客户端接收用户标识符、摄影图像的图像标识符和一个或多个标记。此处，VR客户端通过图像辨识算法分析摄影图像以识别摄影图像中的至少一个对象并生成分别对应于至少一个对象的至少一个标记，并从至少一个标记确认一个或多个标记。
在框402处，VR服务器使图像标识符与用户标识符相关联以使摄影图像与用户标识符相关联，并使一个或多个标记与图像标识符和用户标识符相关联。
在框403处，响应于从VR客户端接收到包含用户标识符和图像标识符的打开请求，VR服务器根据图像标识符确定摄影图像，并发送所确定的摄影图像。
在此实例中，VR服务器获得由VR客户端生成的摄影图像的(多个)标记，并使(多个)标记与摄影图像和当前用户相关联，使得VR服务器能够基于标记组织摄影图像并为用户提供具有(多个)标记的摄影图像，而不管用户正在使用哪个终端装置。因此，非常便于使用户浏览或搜索摄影图像，且变得容易得多地使VR服务器管理摄影图像。
在实例中，在框403处，VR服务器进一步确定与用户标识符和图像标识符相关联的一个或多个标记，并将所述一个或多个标记发送到VR客户端。因此，无论VR客户端的用户在哪里且不管他正在使用哪个终端装置，他都能够打开具有(多个)标记的摄影图像。在实例中，在框401处，VR服务器进一步从VR客户端接收来自客户端的一个或多个标记中每个标记的像素位置，在框402处，进一步使一个或多个标记中的每个标记的像素位置与用户标识符和图像标识符相关联，且在框403处，响应于接收到打开请求，进一步确定一个或多个标记中的每个标记的像素位置，并将一个或多个标记中的每个标记所确定的像素位置发送到VR客户端。因此，基于每个标记的像素位置，可在摄影图像中的像素位置处呈现标记。
在实例中，VR服务器进一步执行以下过程：
在框404处，从VR客户端接收包含用户标识符的浏览请求；
在框405处，向VR客户端发送与用户标识符相关联的一组标记，以及向VR客户端发送与用户标识符相关联的摄影图像的一组缩略图图像；
在框406处，从VR客户端接收打开请求，该打开请求包含用户选择的缩略图图像的图像标识符和用户的用户标识符；
在框407处，根据缩略图图像的图像标识符确定摄影图像；以及
在框407处，向VR客户端发送所确定的摄影图像。
可看出，可基于标记搜索和分选多个摄影图像。当在VR环境中搜索摄影图像时，这些标记将充当筛选器。因此，摄影图像组织将变得更加容易和可缩放，且将提高处理效率，将节省处理资源，且将改进VR系统的性能。
在实例中，在框407处，VR服务器进一步确定与用户标识符和图像标识符相关联的一个或多个标记并将一个或多个标记发送到VR客户端。在实例中，在框407处，响应于接收到打开请求，VR服务器进一步确定一个或多个标记中的每个标记的像素位置，并将一个或多个标记中的每个标记的所确定的像素位置发送到VR客户端。
图5展示VR客户端与VR服务器之间的交互的实例。如图5中所展示，交互包含以下过程500：
在过程501处，VR客户端显示照片的信息，例如显示照片的标识符或缩略图图像。根据照片的信息，用户使用与控制器或指针耦合的VR装置来选择照片。响应于用户的选择，VR客户端打开照片并显示照片。
在过程502处，用户使用控制器或指针来激活由VR客户端和VR服务器提供的标记服务。此处，用户可握持控制器或指针并指向UI控件以用于激活照片上显示的标记服务，并按压UI控件以触发标记服务的激活。
在过程503处，在激活标记服务后，VR客户端就分析照片以识别照片中的对象，并通过图像辨识针对对象生成标记。VR客户端在照片上显示所生成的标记，并可在照片中进一步标示对象。
在过程504处，用户使用控制器或指针以向VR客户端在照片上显示的一个或多个标记发布一个或多个指令以操作(多个)标记，包含删除、更正和/或确认标记，和/或为对象添加新标记(例如，添加新语音标记)。
在过程505处，在确认标记后，VR客户端就使标记和其像素位置分别与照片标识符和用户标识符相关联。
在过程506处，VR客户端向VR服务器上传照片、用户标识符、照片标识符、照片类型、标记和其像素位置。此处，照片类型表示照片的格式，例如2维照片、3维照片、360度照片、720度照片或全景照片。
在过程507处，VR服务器使标记和其像素位置分别与照片标识符和用户标识符相关联，并保存照片。
在过程508处，用户使用控制器或指针以发布打开用户的相册的请求，其将用户标识符运送到VR客户端。VR客户端接着将包含用户标识符的浏览请求发送到VR服务器。
在过程509处，响应于浏览请求，VR服务器确定与用户标识符相关联的标记(中的全部或部分)和与用户标识符相关联的照片(中的全部或部分)的缩略图图像，并将所确定的标记和其具有照片标识符的缩略图图像返回到VR客户端。
在过程510处，VR客户端显示所接收的标记和缩略图图像。
在过程511处，用户使用控制器或指针以在所显示的标记当中选择标记。在选择标记后，VR客户端就显示与所选择的标记相关联的照片的缩略图图像。
在过程512处，用户使用控制器或指针以在所显示的缩略图图像当中选择缩略图图像。且接着，VR客户端发送将所选择的缩略图图像的照片标识符和用户标识符运送到VR服务器的打开请求。
在过程513处，响应于打开请求，VR服务器根据所选择的缩略图图像的照片标识符确定照片，并根据用户标识符和所选择的缩略图图像的照片标识符确定照片的标记和其像素位置。接着，VR服务器将所确定的照片、标记和其像素位置返回到VR客户端，且VR客户端显示此照片并可进一步在标记的像素位置处显示标记。此处，可根据照片的缩略图图像的标识符确定照片的标识符，使得可根据所选择的缩略图图像的照片标识符确定照片的标记。
从以上实例可看出，用户可方便地使用与控制器或指针耦合的VR装置以在VR环境中针对照片创建标记，并可容易基于标记搜索和分选照片。照片的组织变得简单得多。因此，操作效率非常高，改进了VR系统的性能，且用户在VR环境中浏览照片时可获得很好的体验。
基于以上实例，本申请进一步提供一种在VR系统中的终端装置。如图6中所展示，终端装置600包含VR客户端，VR客户端包含以下模块：
获得模块601能够获得摄影图像。
分析模块602能够通过图像辨识算法分析所述摄影图像以识别所述摄影图像中的至少一个对象，并为所述至少一个对象分别生成至少一个标记。
呈现模块603能够通过VR用户界面UI在摄影图像上呈现至少一个标记。
确认模块604能够响应于从VR用户界面UI接收到的用户指令，确认至少一个标记中的一个或多个标记。
关联模块605能够使所确认的一个或多个标记与摄影图像相关联。
在实例中，在分析摄影图像之前，分析模块602进一步使用UI控件呈现摄影图像以用于通过VR用户界面UI激活标记服务。终端装置600进一步包含激活模块606，激活模块606能够响应于在UI控件上接收到的用户指令而激活标记服务。分析模块602在标记服务被激活后，分析摄影图像。
在实例中，终端装置600进一步包含确定模块607，确定模块607能够确定至少一个标记中的每个标记在摄影图像中的像素位置。呈现模块603在摄影图像上的所确定的像素位置处呈现至少一个标记。
在实例中，终端装置600进一步包含添加模块608，添加模块608能够响应于接收到的对至少一个对象中的任一个对象的用户指令，根据由用户输入的信息为对象添加标记。
在实例中，关联模块605进一步能够确定一个或多个标记中的每个标记在摄影图像中的像素位置，并使所确定的每个标记的像素位置分别与摄影图像的图像标识符和当前用户的用户标识符相关联，以及使上述一个或多个标记中的每个标记分别与摄影图像的图像标识符和当前用户的用户标识符相关联。
在实例中，终端装置600进一步包含上传模块609，上传模块609能够向服务器发送当前用户的用户标识符、图像标识符和一个或多个标记，且终端装置600进一步包含请求模块610，请求模块610能够向服务器发送包含用户标识符和图像标识符的打开请求；由服务器根据图像标识符确定的摄影图像以及由服务器根据用户标识符和图像标识符确定的每个标记。呈现模块603能够呈现所接收的摄影图像，并响应于用于呈现标记的用户指令而在摄影图像上呈现每个所接收的标记。
在实例中，请求模块610进一步能够向服务器发送包含用户标识符的浏览请求，并从服务器接收与用户标识符相关联的一组标记，及从所述服务器接收与用户标识符相关联的摄影图像的一组缩略图图像。呈现模块603能够呈现一组标记和一组缩略图图像，并响应于选择一组标记中的任一个标记的用户指令，呈现与所选择的标记相关联的一个或多个摄影图像的一个或多个缩略图图像。请求模块610进一步能够响应于选择所呈现的一个或多个缩略图图像中的任一个缩略图图像的用户指令，向服务器发送打开请求，该打开请求用于打开所选择的缩略图图像的图像标识符，并由服务器根据图像标识符确定的摄影图像。呈现模块603能够呈现所接收的摄影图像。
在实例中，图6中所展示的终端装置600可包含存储器61和处理器62，存储器61存储可为处理器62执行的指令。模块601到610中的任一个模块或其任何组合可以是一(多)组指令。存储器61可包含模块601到610的任何组合中的任一个模块，且通过执行从模块601到610的任何组合中的任一个模块读取的指令，处理器62可实现如上文所提及的模块601到610的任何组合中的任一个模块的功能。因此，本申请提供一种在VR系统中的终端装置，所述终端装置包含处理器62、存储器61和指令，所述指令存储在所述存储器中且能由所述处理器执行，其中所述指令包含模块601到610的任何组合中的任一个模块。
基于以上实例，本申请进一步提供一种在VR系统中的服务器装置。如图7中所展示，服务器装置700包含VR服务器，VR服务器包含以下模块：
接收模块701，接收模块701能够从客户端接收用户标识符、摄影图像的图像标识符和一个或多个标记；其中客户端通过图像辨识算法分析所述摄影图像以识别所述摄影图像中的至少一个对象，并为所述至少一个对象分别生成至少一个标记，并从至少一个标记确认一个或多个标记；
关联模块702，关联模块702能够使图像标识符与用户标识符相关联，以使摄影图像与用户标识符相关联；并使一个或多个标记中的每个标记分别与图像标识符和用户标识符相关联。
响应模块703，响应模块703能够响应于从客户端接收到包含用户标识符和图像标识符的打开请求，根据图像标识符确定摄影图像，并将所确定的摄影图像发送到客户端。
在实例中，响应模块703进一步能够响应于从客户端接收到打开请求，确定与用户标识符和图像标识符相关联的一个或多个标记，并将一个或多个标记发送到客户端。
在实例中，接收模块701进一步能够从客户端接收一个或多个标记中的每个标记的像素位置。关联模块702进一步能够使一个或多个标记中的每个标记的像素位置分别与用户标识符和图像标识符相关联。响应模块703进一步能够响应于接收到打开请求，确定一个或多个标记中的每个标记的像素位置，并将一个或多个标记中的每个标记的所确定的像素位置发送到客户端。
在实例中，响应模块703进一步能够：
从客户端接收包含用户标识符的浏览请求；
向客户端发送与用户标识符相关联的一组标记，并向所述客户端发送与用户标识符相关联的摄影图像的一组缩略图图像；
从客户端接收包含由用户选择的缩略图图像的图像标识符和用户标识符的打开请求，根据缩略图图像的图像标识符确定摄影图像；以及
向客户端发送所确定的摄影图像。
在实例中，图7中所展示的服务器装置700可包含存储器71和处理器72，存储器71存储可为处理器72执行的指令。模块701到703中的任一个模块或其任何组合可以是一(多)组指令。存储器71可包含模块701到703的任何组合中的任一个模块，且通过执行从模块701到703的任何组合中的任一个模块读取的指令，处理器72可实现如上文所提及的模块701到703的任何组合中的任一个模块的功能。因此，本申请提供一种在VR系统中的服务器装置，所述服务器装置包含处理器72、存储器71和指令，所述指令存储在所述存储器中且能由所述处理器执行，其中所述指令包含模块701到703的任何组合中的任一个模块。
以上模块可基于相同/相似原理实施以前所提及的各种实例，且本论文中将不论述所述实例的具体描述。
此外，本申请的实例可应用于各种终端/服务器装置并可跨平台和跨装置而使用，其具有广泛的应用范围。
本文中所描述的系统、装置、客户端、服务器和方法可由一个或多个处理器所执行的一个或多个计算机程序实施。计算机程序包含存储在非暂时性有形计算机可读媒体上的处理器可执行指令。计算机程序还可包含所存储的数据。非暂时性有形计算机可读媒体的非限制性实例是非易失性存储器、磁性存储装置和光学存储装置。
还提供了一种机器可读存储介质，其用于存储指令以使例如计算装置的机器执行如本文中所描述的一种或多种方法。具体来说，一种具有存储介质的系统或设备，所述存储介质存储用于实施以上实例中的任一个实例的功能的机器可读程序代码且可使所述系统或所述设备(或CPU或MPU)读取和执行存储在所述存储介质中的程序代码。
本申请还提供一种非易失性机器可读存储介质，其存储指令以使机器执行以上实例中的任一个实例的方法。
在此情形中，从存储介质读取的程序代码可实施以上实例中的任一个实例，因此程序代码和存储程序代码的存储介质是技术方案的部分。
用于提供程序代码的存储介质可包含软盘、硬盘驱动器、磁光盘、光盘(例如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带驱动器、闪存卡、ROM等等。任选地，可经由通信网络从服务器计算机下载程序代码。
应注意，替代由计算机(即，计算装置)执行程序代码，可由在计算机中运行后继指令的操作系统基于程序代码实施由程序代码执行的操作的至少部分以实现以上实例中的任一个实例的技术方案。
此外，从存储介质实施的程序代码写入在插入在计算机中的扩展板中的存储装置中，或写入在连接到计算机的扩展单元中的存储装置中。在此实例中，扩展板或扩展单元中的CPU基于程序代码根据指令执行操作的至少部分以实现以上实例中的任一个实例的技术方案。
出于阐释的目的，已参考具体实例描述了前述描述。然而，上文的说明性论述并不意图是穷举的或将本申请限于所公开的精确形式。鉴于以上教示，许多修改和变化是可能的。挑选和描述了实例以便最佳地阐释本申请的原理和其实际应用，由此使所属领域的技术人员能够最佳地利用本申请和具有适合于所预期的特定用途的各种修改的各种实例。

Claims (24)

1.一种虚拟现实VR系统中的图像处理方法，其特征在于，所述方法包括：
获得摄影图像；
通过图像辨识算法分析所述摄影图像以识别所述摄影图像中的至少一个对象，并为所述至少一个对象分别生成至少一个标记；
确定所述至少一个标记中的每个标记在所述摄影图像中的像素位置；
通过VR用户界面UI在所述摄影图像中所确定的像素位置上呈现所述至少一个标记；
响应于从所述VR用户界面UI接收到的用户指令，确认所述至少一个标记中的一个或多个标记；以及
使所确认的一个或多个标记与所述摄影图像相关联。
2.根据权利要求1所述的方法，在分析所述摄影图像之前，所述方法进一步包括：
使用UI控件呈现所述摄影图像，其中所述UI控件用于通过所述VR用户界面UI激活标记服务；以及
响应于在所述UI控件上接收到的用户指令，激活所述标记服务；
其中，在激活所述标记服务后，执行分析所述摄影图像的步骤。
3.根据权利要求1所述的方法，其中，所述标记的所述像素位置是根据与该标记所对应的对象的像素位置确定的，且，所述标记的所述像素位置在所述对应的对象的像素位置附近。
4.根据权利要求1所述的方法，其中，所述确认所述至少一个标记中的一个或多个标记，包括：
响应于所接收到的对所述至少一个标记中的任一个标记的第一用户指令，确认所述标记。
5.根据权利要求1所述的方法，其中，所述方法进一步包括：
响应于接收到的对所述至少一个对象中的任一个对象的用户指令，根据用户输入的信息为所述对象添加标记。
6.根据权利要求5所述的方法，其中，所述根据用户输入的信息为所述对象添加标记包括：
记录由所述用户输入的语音数据；
针对所述对象生成包括所记录的语音数据的标记；以及
在所述摄影图像上呈现所生成的标记。
7.根据权利要求1所述的方法，其中，所述使所确认的一个或多个标记与所述摄影图像相关联，包括：
使所确认的一个或多个标记与所述摄影图像的图像标识符和当前用户的用户标识符相关联。
8.根据权利要求7所述的方法，其中，所述方法进一步包括：
确定所述一个或多个标记中的每个标记在所述摄影图像中的像素位置；以及
使所述一个或多个标记中的每个标记所确定的像素位置与所述图像标识符和所述用户标识符相关联。
9.根据权利要求8所述的方法，其中，所述确定所述一个或多个标记中的每个标记在所述摄影图像中的像素位置包括：
响应于接收到的用于确认所述标记的用户指令，确定所述用户指令所指向的像素位置，并将该用户指令所指向的像素位置作为所述标记的所述像素位置，所述用户指令指向所述标记或所述标记对应的对象。
10.根据权利要求1所述的方法，其中，所述方法进一步包括：
向服务器发送当前用户的用户标识符、图像标识符和所述一个或多个标记；
向所述服务器发送包括所述用户标识符和所述图像标识符的打开请求；
接收由所述服务器根据所述图像标识符确定的所述摄影图像以及由所述服务器根据所述用户标识符和所述图像标识符确定的每个标记；以及
呈现所接收的摄影图像；以及
响应于用于呈现标记的用户指令，在所述摄影图像上呈现每个所接收的标记。
11.根据权利要求10所述的方法，其中，所述方法进一步包括：
向所述服务器发送包括所述用户标识符的浏览请求；
从所述服务器接收与所述用户标识符相关联的一组标记，及从所述服务器接收与所述用户标识符相关联的摄影图像的一组缩略图图像；
呈现所述一组标记和所述一组缩略图图像；
响应于选择所述一组标记中的任一个标记的用户指令，呈现与所选择的标记相关联的一个或多个摄影图像的一个或多个缩略图图像；
响应于用户指令，向所述服务器发送打开请求，该打开请求用于打开所选择的缩略图图像的图像标识符，所述用户指令为选择所呈现的一个或多个缩略图图像中的任一个缩略图图像的指令；
接收由所述服务器根据所述图像标识符确定的所述摄影图像；以及
呈现所接收的摄影图像。
12.一种虚拟现实VR系统中的图像处理方法，其特征在于，所述方法包括：
从客户端接收用户标识符、摄影图像的图像标识符和一个或多个标记；其中所述客户端通过图像辨识算法分析所述摄影图像以识别所述摄影图像中的至少一个对象，并为所述至少一个对象分别生成至少一个标记，并从所述至少一个标记确认所述一个或多个标记；以及
使所述图像标识符与所述用户标识符相关联，以使所述摄影图像与所述用户标识符相关联；
使所述一个或多个标记与所述图像标识符和所述用户标识符相关联；
响应于从所述客户端接收到的包括所述用户标识符和所述图像标识符的打开请求，根据所述图像标识符确定所述摄影图像，并将所确定的摄影图像发送到所述客户端。
13.根据权利要求12所述的方法，其中，所述方法进一步包括：
响应于从所述客户端接收到的所述打开请求，确定与所述用户标识符和所述图像标识符相关联的所述一个或多个标记，并将所述一个或多个标记发送到所述客户端。
14.根据权利要求13所述的方法，其中，所述方法进一步包括：
从所述客户端接收所述一个或多个标记中每个标记的像素位置；
使所述一个或多个标记中的每个标记的所述像素位置，与所述用户标识符和所述图像标识符相关联；
响应于接收到的所述打开请求，确定所述一个或多个标记中的每个标记的所述像素位置，并将所述一个或多个标记中每个标记所确定的像素位置发送到所述客户端。
15.根据权利要求12所述的方法，其中，所述方法进一步包括：
从所述客户端接收包括所述用户标识符的浏览请求；
向所述客户端发送与所述用户标识符相关联的一组标记，并向所述客户端发送与所述用户标识符相关联的摄影图像的一组缩略图图像；
从所述客户端接收包括由用户选择的缩略图图像的图像标识符和所述用户标识符的打开请求；
根据所述缩略图图像的所述图像标识符确定所述摄影图像；以及
向所述客户端发送所确定的摄影图像。
16.一种在虚拟现实VR系统中的终端装置，其特征在于，所述终端装置包括：
处理器；存储器；以及
指令，所述指令存储在所述存储器中且能由所述处理器执行；
其中，所述指令包括：
获得摄影图像；
通过图像辨识算法分析所述摄影图像以识别所述摄影图像中的至少一个对象，并为所述至少一个对象分别生成至少一个标记；
确定所述至少一个标记中的每个标记在所述摄影图像中的像素位置；
通过VR用户界面UI在所述摄影图像中所确定的像素位置上呈现所述至少一个标记；
响应于从所述VR用户界面UI接收到的用户指令，确认所述至少一个标记中的一个或多个标记；以及
使所确认的一个或多个标记与所述摄影图像相关联。
17.根据权利要求16所述的终端装置，在分析所述摄影图像之前，所述指令进一步包括：
使用UI控件呈现所述摄影图像，其中所述UI控件用于通过所述VR用户界面UI激活标记服务；以及
响应于在所述UI控件上接收到的用户指令，激活所述标记服务；
其中，在激活所述标记服务后，执行分析所述摄影图像的步骤。
18.根据权利要求16所述的终端装置，其中，所述指令进一步包括：
响应于所接收到的对所述至少一个对象中的任一个对象的用户指令，根据由用户输入的信息为所述对象添加标记。
19.根据权利要求16所述的终端装置，其中，所述指令进一步包括：
向服务器发送当前用户的用户标识符、图像标识符和所述一个或多个标记；
向所述服务器发送包括所述用户标识符和所述图像标识符的打开请求；
接收由所述服务器根据所述图像标识符确定的所述摄影图像以及由所述服务器根据所述用户标识符和所述图像标识符确定的每个标记；以及
呈现所接收的摄影图像；以及
响应于用于呈现标记的用户指令，在所述摄影图像上呈现每个所接收的标记。
20.根据权利要求19所述的终端装置，其中，所述指令进一步包括：
向所述服务器发送包括所述用户标识符的浏览请求；
从所述服务器接收与所述用户标识符相关联的一组标记，及从所述服务器接收与所述用户标识符相关联的摄影图像的一组缩略图图像；
呈现所述一组标记和所述一组缩略图图像；
响应于选择所述一组标记中的任一个标记的用户指令，呈现与所选择的标记相关联的一个或多个摄影图像的一个或多个缩略图图像；
响应于选择所呈现的一个或多个缩略图图像中的任一个缩略图图像的用户指令，向所述服务器发送打开请求，该打开请求用于打开所选择的缩略图图像的图像标识符；
接收由所述服务器根据所述图像标识符确定的所述摄影图像；以及
呈现所接收的摄影图像。
21.一种在虚拟现实VR系统中的服务器装置，其特征在于，所述服务器装置包括：
处理器；
存储器；以及
指令，所述指令存储在所述存储器中且能由所述处理器执行；
其中所述指令包括：
从客户端接收用户标识符、摄影图像的图像标识符和一个或多个标记；其中所述客户端通过图像辨识算法分析所述摄影图像以识别所述摄影图像中的至少一个对象，并为所述至少一个对象分别生成至少一个标记，并从所述至少一个标记确认所述一个或多个标记；以及
使所述图像标识符与所述用户标识符相关联，以使所述摄影图像与所述用户标识符相关联；
使所述一个或多个标记与所述图像标识符和所述用户标识符相关联；
响应于从所述客户端接收到包括所述用户标识符和所述图像标识符的打开请求，根据所述图像标识符确定所述摄影图像，并将所确定的摄影图像发送到所述客户端。
22.根据权利要求21所述的服务器装置，其中，所述指令进一步包括：
响应于从所述客户端接收到的所述打开请求，确定与所述用户标识符和所述图像标识符相关联的所述一个或多个标记，并将所述一个或多个标记发送到所述客户端。
23.根据权利要求21所述的服务器装置，其中，所述指令进一步包括：
从所述客户端接收包括所述用户标识符的浏览请求；
向所述客户端发送与所述用户标识符相关联的一组标记，并向所述客户端发送与所述用户标识符相关联的摄影图像的一组缩略图图像；
从所述客户端接收包括由用户选择的缩略图图像的图像标识符和所述用户标识符的打开请求；
根据所述缩略图图像的所述图像标识符确定所述摄影图像；以及
向所述客户端发送所确定的摄影图像。
24.一种非易失性机器可读存储介质，其特征在于，其存储指令以使机器执行根据权利要求1到15中任一项所述的方法。
CN201780058691.2A 2017-02-22 2017-02-22 Vr系统中的图像处理 Active CN110036356B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/074358 WO2018152685A1 (en) 2017-02-22 2017-02-22 Image processing in a vr system

Publications (2)

Publication Number Publication Date
CN110036356A CN110036356A (zh) 2019-07-19
CN110036356B true CN110036356B (zh) 2020-06-26

Family

ID=63253441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780058691.2A Active CN110036356B (zh) 2017-02-22 2017-02-22 Vr系统中的图像处理

Country Status (3)

Country Link
US (1) US11003707B2 (zh)
CN (1) CN110036356B (zh)
WO (1) WO2018152685A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018152685A1 (en) * 2017-02-22 2018-08-30 Tencent Technology (Shenzhen) Company Limited Image processing in a vr system
KR102595790B1 (ko) * 2018-01-26 2023-10-30 삼성전자주식회사 전자 장치 및 그의 제어방법
EP3850538A4 (en) * 2018-09-10 2022-06-08 Rewyndr, LLC IMAGE MANAGEMENT WITH REGION-BASED METADATA INDEXING

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101843086A (zh) * 2007-06-29 2010-09-22 诺基亚公司 在维持于电子设备中的联系人列表中使用图像的装置、方法和计算机程序产品
CN106200973A (zh) * 2016-07-14 2016-12-07 乐视控股（北京）有限公司 一种基于外部图像播放虚拟现实文件的方法及装置
CN106339094A (zh) * 2016-09-05 2017-01-18 山东万腾电子科技有限公司 基于增强现实技术的交互式远程专家协作检修系统及方法

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2788604B2 (ja) * 1994-06-20 1998-08-20 インターナショナル・ビジネス・マシーンズ・コーポレイション ２次元情報パターンを有する情報表示タグ、それを用いた画像処理方法及び画像処理装置
US20080266101A1 (en) * 2007-04-27 2008-10-30 Sensormatic Electronics Corporation Security tag sensor and seccurity meethod for capital assets
US8667384B2 (en) * 2007-05-09 2014-03-04 Blackberry Limited User interface for editing photo tags
US8031170B2 (en) * 2007-05-09 2011-10-04 Research In Motion Limited User interface for selecting a photo tag
US9143573B2 (en) * 2008-03-20 2015-09-22 Facebook, Inc. Tag suggestions for images on online social networks
US20090316961A1 (en) * 2008-06-21 2009-12-24 Microsoft Corporation Method for tagging image content
US8788493B2 (en) * 2008-06-30 2014-07-22 Verizon Patent And Licensing Inc. Digital image tagging apparatuses, systems, and methods
US8867779B2 (en) * 2008-08-28 2014-10-21 Microsoft Corporation Image tagging user interface
US20110307491A1 (en) * 2009-02-04 2011-12-15 Fisk Charles M Digital photo organizing and tagging method
US9171451B2 (en) * 2009-09-02 2015-10-27 Nokia Corporation Method and apparatus for tracking and disseminating health information via mobile channels
WO2011100480A1 (en) * 2010-02-10 2011-08-18 Brian Lamb Automatic motion tracking, event detection and video image capture and tagging
US8810684B2 (en) * 2010-04-09 2014-08-19 Apple Inc. Tagging images in a mobile communications device using a contacts list
US9405126B1 (en) * 2010-06-11 2016-08-02 George Margolin Eye level viewfinder and three dimensional virtual reality viewing device and method
US8447752B2 (en) * 2010-09-16 2013-05-21 Microsoft Corporation Image search by interactive sketching and tagging
US20120114199A1 (en) * 2010-11-05 2012-05-10 Myspace, Inc. Image auto tagging method and application
US9269219B2 (en) * 2010-11-15 2016-02-23 Bally Gaming, Inc. System and method for augmented reality with complex augmented reality video image tags
US20120151398A1 (en) * 2010-12-09 2012-06-14 Motorola Mobility, Inc. Image Tagging
US20120158686A1 (en) * 2010-12-17 2012-06-21 Microsoft Corporation Image Tag Refinement
US20120203651A1 (en) * 2011-02-04 2012-08-09 Nathan Leggatt Method and system for collaborative or crowdsourced tagging of images
US9176990B2 (en) * 2011-03-04 2015-11-03 Fluke Corporation Visual image annotation, tagging of infrared images, and infrared image linking
CN103635909B (zh) * 2011-06-27 2017-10-27 皇家飞利浦有限公司 一种临床发现管理系统
US20130129142A1 (en) * 2011-11-17 2013-05-23 Microsoft Corporation Automatic tag generation based on image content
WO2013093186A2 (en) * 2011-12-22 2013-06-27 Nokia Corporation Method and apparatus for sharing media upon request via social networks
US9008433B2 (en) * 2012-02-08 2015-04-14 International Business Machines Corporation Object tag metadata and image search
WO2013163720A1 (en) * 2012-05-02 2013-11-07 University Of Manitoba User identity detection on interactive surfaces
US20130297535A1 (en) * 2012-05-04 2013-11-07 Nokia Corporation Method and apparatus for presenting cloud-based repositories based on location information
CN104303201A (zh) * 2012-05-15 2015-01-21 诺基亚公司 用于基于连接和空间配置的优惠券兑换的方法和装置
US20150120575A1 (en) * 2012-05-15 2015-04-30 Nokia Corporation Method and apparatus for coupon negotiation and authentication
WO2014053949A2 (en) * 2012-10-01 2014-04-10 Nokia Corporation Method and apparatus for associating hotkeys with point of interest information
US20150223201A1 (en) * 2012-10-05 2015-08-06 Nokia Corporation Method and apparatus for providing point of interest information associated with broadcast content
US20140108963A1 (en) * 2012-10-17 2014-04-17 Ponga Tools, Inc. System and method for managing tagged images
US20150213088A1 (en) * 2012-11-30 2015-07-30 Nokia Corporation Method and apparatus for providing applications associated with location-based user-interfaces
JP6192306B2 (ja) * 2013-02-14 2017-09-06 オリンパス株式会社 撮像装置、管理サーバ、画像送信方法およびプログラム
US20160342624A1 (en) * 2013-05-01 2016-11-24 Image Searcher, Inc. Image Tagging System
US20140358679A1 (en) * 2013-05-29 2014-12-04 Ron LEVINSON Method of matching between image tags and advertisements
US10430018B2 (en) * 2013-06-07 2019-10-01 Sony Interactive Entertainment Inc. Systems and methods for providing user tagging of content within a virtual scene
US20150066657A1 (en) * 2013-08-29 2015-03-05 HomeAdvisor, Inc. Method for tagging and displaying image data
WO2016065569A1 (en) * 2014-10-30 2016-05-06 Microsoft Technology Licensing, Llc. Foldable Input Device
JP6582403B2 (ja) * 2014-12-10 2019-10-02 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
US10162865B2 (en) * 2015-10-08 2018-12-25 Microsoft Technology Licensing, Llc Generating image tags
US20180040212A1 (en) * 2016-05-18 2018-02-08 Arima Communications Corp. Threat warning system adapted to a virtual reality display system and method thereof
TWI614729B (zh) * 2016-05-18 2018-02-11 華冠通訊股份有限公司 虛擬實境顯示裝置的威脅警示系統及其威脅警示方法
CN106155311A (zh) * 2016-06-28 2016-11-23 努比亚技术有限公司 Ar头戴设备、ar交互系统及ar场景的交互方法
CN106251405A (zh) * 2016-07-26 2016-12-21 北京奇虎科技有限公司 增强现实的方法和终端
CN106293876A (zh) * 2016-08-04 2017-01-04 腾讯科技（深圳）有限公司 基于虚拟现实场景的信息认证方法和装置
WO2018032970A1 (zh) * 2016-08-19 2018-02-22 腾讯科技（深圳）有限公司 基于虚拟现实场景的认证方法、虚拟现实设备及存储介质
KR101912237B1 (ko) * 2016-11-25 2018-10-26 주식회사 인디씨에프 영상 인식에 의한 해시태그 삽입방법 및 그 방법을 수행하는 소프트웨어가 저장된 소프트웨어 분배 서버
WO2018152685A1 (en) * 2017-02-22 2018-08-30 Tencent Technology (Shenzhen) Company Limited Image processing in a vr system
CN109844694B (zh) * 2017-06-15 2020-08-25 腾讯科技（深圳）有限公司 使用集线器连接两个不同环境的系统和方法
WO2018227504A1 (en) * 2017-06-15 2018-12-20 Tencent Technology (Shenzhen) Company Limited System and method of customizing a user interface panel based on user's physical sizes
EP3639114B1 (en) * 2017-06-15 2024-03-06 Tencent Technology (Shenzhen) Company Limited System and method of instantly previewing immersive content
WO2018232742A1 (en) * 2017-06-23 2018-12-27 Tencent Technology (Shenzhen) Company Limited METHOD AND DEVICE FOR POINTING AN OBJECT IN A VIRTUAL REALITY (VR) SCENE, AND VR APPARATUS
US11250050B2 (en) * 2018-03-01 2022-02-15 The Software Mackiev Company System for multi-tagging images
US20190272094A1 (en) * 2018-03-01 2019-09-05 Jack M. MINSKY System for multi-tagging images
US20200201434A1 (en) * 2018-12-20 2020-06-25 Samsung Electronics Co., Ltd. Bioresponsive virtual reality system and method of operating the same
US10884490B2 (en) * 2019-02-27 2021-01-05 Siemens Healthcare Gmbh Transfer function adaptation in virtual reality environments

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101843086A (zh) * 2007-06-29 2010-09-22 诺基亚公司 在维持于电子设备中的联系人列表中使用图像的装置、方法和计算机程序产品
CN106200973A (zh) * 2016-07-14 2016-12-07 乐视控股（北京）有限公司 一种基于外部图像播放虚拟现实文件的方法及装置
CN106339094A (zh) * 2016-09-05 2017-01-18 山东万腾电子科技有限公司 基于增强现实技术的交互式远程专家协作检修系统及方法

Also Published As

Publication number Publication date
US11003707B2 (en) 2021-05-11
CN110036356A (zh) 2019-07-19
WO2018152685A1 (en) 2018-08-30
US20190278797A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
US11824673B2 (en) Content sharing by pointing to content
CN114026831B (zh) 3d对象摄像头定制系统、方法和机器可读介质
KR102606601B1 (ko) 표면 인식 렌즈
US11575639B2 (en) UI and devices for incenting user contribution to social network content
CN114787813A (zh) 上下文敏感化身字幕
US11217020B2 (en) 3D cutout image modification
CN110300951B (zh) 媒体项附接系统
CN112639892A (zh) 增强现实拟人化系统
CN115735229A (zh) 在消息收发系统中更新化身服装
US11003707B2 (en) Image processing in a virtual reality (VR) system
CN115606190A (zh) 显示增强现实内容与教程内容
CN115867905A (zh) 旅行情况下基于增强现实的语音翻译
US20230091214A1 (en) Augmented reality items based on scan
CN114365198A (zh) 遮挡检测系统
CN115812217A (zh) 用于评论的基于出行的增强现实内容
CN116685995A (zh) 向捕获的视频添加基于时间的字幕
US11563709B2 (en) Messaging system of partial and out-of-order events
CN116349220A (zh) 实时视频编辑

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant