CN111373350A - 用于对虚拟现实视频内容进行颜色分级的方法和系统 - Google Patents

用于对虚拟现实视频内容进行颜色分级的方法和系统 Download PDF

Info

Publication number
CN111373350A
CN111373350A CN201880075774.7A CN201880075774A CN111373350A CN 111373350 A CN111373350 A CN 111373350A CN 201880075774 A CN201880075774 A CN 201880075774A CN 111373350 A CN111373350 A CN 111373350A
Authority
CN
China
Prior art keywords
content
colorist
color grading
grading
station
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880075774.7A
Other languages
English (en)
Other versions
CN111373350B (zh
Inventor
西尔万·蒂埃博
塔尼亚·波利
Original Assignee
汤姆逊许可公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 汤姆逊许可公司 filed Critical 汤姆逊许可公司
Publication of CN111373350A publication Critical patent/CN111373350A/zh
Application granted granted Critical
Publication of CN111373350B publication Critical patent/CN111373350B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开涉及用于在虚拟现实视频内容的色彩分级中向色彩师提供辅助(或协助或帮助)的方法，该虚拟现实视频内容被称为VR内容，该方法包括以下步骤：‑接收(100)正在被颜色分级站分级的VR内容；‑接收(110)表示色彩师的至少一只手相对于所述颜色分级站的位置的位置信息；‑基于所述位置信息生成(120)视觉控制信息，该视觉控制信息示出色彩师的所述至少一只手相对于颜色分级站的至少一个分级控制元件的位置；‑将所述视觉控制信息与分级的VR内容一起显示(130)在由所述色彩师携带的头戴式显示器上，以便帮助色彩师操纵所述至少一个分级控制元件。

Description

用于对虚拟现实视频内容进行颜色分级的方法和系统
技术领域
本公开总体上涉及产生虚拟现实(VR)内容的领域，更具体地，涉及VR内容的颜色分级。
背景技术
本章节旨在向读者介绍可能与下面描述和/或要求保护的本公开的各个方面相关的技术的各个方面。相信该讨论有助于向读者提供背景信息，以促进更好地理解本公开的各个方面。因此，应当理解，这些陈述应从这个角度来阅读，而非作为对现有技术的承认。
在产生虚拟现实内容领域中，色彩师(colorist)可能必须对360°VR内容进行分级。从事为胶片进行颜色分级的色彩师通常使用专用的颜色分级站，例如“DaVinciResolve”颜色分级站。这样的站为色彩师提供对颜色分级软件的参数和控制的快速访问，使得他们可以修改内容而不必操纵不同的按钮、滑块或菜单或屏幕。对于典型的颜色分级区段，色彩师需要能够访问在站上可用的多个控件以执行颜色编辑，同时将对内容的修改的效果可视化在专用显示屏上或他们前方的投影仪上。
当对VR内容进行分级时，可以主要使用相同的设置来执行分级，对例如从360°VR内容发出的关键帧进行操作。然而，在这种情况下，在颜色分级时的可视化状况将与通过VR头戴式显示器(HMD)观看内容的最终状况完全不同。
色彩师应当能够在可视化的实际状况下利用HMD验证最终的渲染并且调整VR内容的分级。不幸的是，利用HMD，色彩师不再能看到颜色分级站，并且因此将不能够容易地访问用于修改图像的控件。因此，当前需要他们在传统设置上进行颜色分级，在HMD上进行验证，并且进行反复直到获得期望的结果，这是一个冗长的过程。
这是特别成问题的，因为每次他们需要戴上或摘下VR HMD时，需要短期的适应来确保他们很好地适应不同的观看环境(正常屏幕或HMD)。
发明内容
本公开的目的是提出使色彩师的工作更容易的方法和系统。
更具体地，提出了这样的方法和系统，其帮助色彩师在将他的调整可视化在HMD中的同时使用当前分级站和控制站，而不必通过重复地戴上和摘下HMD进行反复。色彩师可以在360°VR内容中导航以在尽可能接近最终可视化状况的视觉状况下对内容进行分级。
该系统可以是添加到用于常规胶片分级的当前分级设置的附加特征。这样，色彩师将不必使用用于VR分级的专用站，而是可以使用与用于传统胶片的工具相同的工具。
本公开涉及用于在被称为VR内容的虚拟现实视频内容的色彩分级中向色彩师提供辅助(或协助或帮助)的方法，该方法包括以下步骤：
-接收正在被颜色分级站分级的VR内容，
-接收表示色彩师的至少一只手相对于所述颜色分级站的位置的位置信息，
-基于所述位置信息生成视觉控制信息，该视觉控制信息示出色彩师的所述至少一只手相对于颜色分级站的至少一个分级控制元件的位置，
-将所述视觉控制信息与分级的VR内容显示在由所述色彩师携带的头戴式显示器上，以便帮助色彩师操纵所述至少一个分级控制元件。
因此，关于色彩师的手和颜色分级站的视觉信息被集成到VR视图中，从而为色彩师提供了在HMD中可视化内容的同时与其颜色分级站进行交互的可能性。因此，本公开解决了在VR内容中导航的同时能够访问颜色分级站的问题。
根据特定实施例，视觉控制信息被显示在正在被分级的VR内容旁边。VR内容被显示在HMD的第一区域中，而视觉控制信息被显示在HMD的第二区域中，第二区域不同于第一区域。在这种情况下，HMD中专用于VR内容的视场被减小以显示视觉控制信息。
在一变体中，VR内容和视觉控制信息被显示在头戴式显示器的同一区域中，视觉控制信息叠加在VR内容上。
在特定实施例中，VR内容被全屏显示，并且视觉控制信息以覆盖在VR内容上的半透明模式显示。
在特定实施例中，位置信息基于由置于颜色分级站上方的相机捕获的视频图像。
在特定实施例中，视觉控制信息是色彩师的手和颜色分级站的分级控制元件的虚拟图像。
在特定实施例中，色彩师的手相对于颜色分级站的位置是通过检测由置于颜色分级站上方的相机捕获的视频图像中的肤色来估计的。
在特定实施例中，色彩师的手相对于颜色分级站的位置是通过置于色彩师的手上的专用标记来估计的。对于该实施例，色彩师戴着例如具有所述专用标记的手套。
在一变体中，该方法还包括例如通过使用置于颜色分级站的分级控制元件上的专用标记来估计颜色分级站的分级控制元件的位置的步骤。
在特定实施例中，头戴式显示器被布置为估计佩戴所述头戴式显示器的色彩师的物理旋转，该方法还包括用于将虚拟现实视频内容中的旋转(称为内容旋转)映射到所述物理旋转的步骤，所述内容旋转大于所述物理旋转，虚拟现实视频内容与所述内容旋转一起被显示在所述头戴式显示器上。
该特征允许提高色彩师在360°VR内容中导航的能力。在真实观看状况下，通常可以通过移动用户的头部或用户整体移动来旋转HMD以探索360°内容。为了例如在游戏应用中操纵内容的各个方面，用户通常将在他们的手中持有诸如游戏控制器之类的控制器，该控制器可以随他们一起移动。然而，在颜色分级的当前用例中，色彩师所使用的颜色分级站被固定在适当的位置，并且移动颜色分级站可能是不切实际的或甚至是不可能的。这样，色彩师必须能够访问其前方的他的物理分级控制元件，同时能够探索全部360°的VR内容。
为了解决这一点，上述映射操作将物理旋转压缩为较小旋转，使得HMD的较小旋转角度对应于VR内容本身的较大旋转角度。利用该映射，HMD不需要旋转完整的180°来访问用户的视点后面的内容。这样，色彩师可以例如将他的头部从左60°旋转到右60°以访问整个360°内容。
在特定实施例中，内容旋转与物理旋转之间的比率是大于1的恒定值。该比率例如大体上等于3，使得色彩师可将他的头部从左60°旋转到右60°以访问从-180°到+180°的VR内容。
本公开还涉及用于在被称为VR内容的虚拟现实视频内容的颜色分级中向色彩师提供辅助的处理设备，所述处理设备被配置为
·接收正在被颜色分级站分级的VR内容，
·接收表示色彩师的至少一只手相对于所述颜色分级站的位置的位置信息，
·基于所述位置信息生成视觉控制信息，该视觉控制信息示出色彩师的所述至少一只手相对于颜色分级站的至少一个分级控制元件的位置，以及
·生成包括所述视觉控制信息和所述分级的VR内容的视频流，所述视频流被布置为由所述色彩师携带的头戴式显示器显示，使得所述视觉控制信息与所述分级的VR内容一起被显示，以便帮助色彩师操纵所述至少一个分级控制元件。
处理设备的全部或部分可以被并入到颜色分级站和/或头戴式显示器中，或者该处理设备可以是外部设备。
本公开还涉及用于对虚拟现实视频内容进行颜色分级的系统，该系统包括：
-颜色分级站，用于对所述虚拟现实视频内容进行分级，所述颜色分级站包括用于控制虚拟现实视频内容的分级的控制元件，
-相机，用于捕获使用所述颜色分级站的色彩师的至少一只手的视频图像，以及生成表示色彩师的至少一只手相对于颜色分级站的位置的位置信息，以及
-处理设备，其被配置为：
·接收正在被所述颜色分级站分级的虚拟现实视频内容和所述位置信息，
·基于所述位置信息，生成视觉控制信息，该视觉控制信息示出色彩师的所述至少一只手相对于颜色分级站的至少一个分级控制元件的位置，以及
·生成包括所述视觉控制信息和所述分级的VR内容的视频流，
-头戴式显示器，被配置为将所述分级的VR内容与所述视觉控制信息一起显示，以便帮助色彩师操纵所述至少一个分级控制元件。
在特定实施例中，所述相机被置于颜色分级站的控制元件上方。
根据特定实施例，头戴式显示器将VR内容和视觉控制信息显示在相同的区域中，视觉控制信息被叠加在虚拟现实视频内容上。
在一变体中，视觉控制信息被显示在要分级的VR内容旁边。VR内容被显示在HMD的第一区域中，而视觉控制信息被显示在显示器的第二区域中，所述第二区域不同于第一区域。在这种情况下，HMD中的VR内容专用的视场被减小以显示手位置信息和控制元件信息。
附图说明
参考以下描述和附图，可以更好地理解本公开，以下描述和附图以示例的方式给出并且不限制保护范围，在附图中：
图1是根据本公开的一个实施例的在执行用于在虚拟现实视频内容的颜色分级中向色彩师提供辅助的方法时实现的连续步骤的流程图；
图2是要由头戴式显示器显示的360°VR内容；
图3是根据本公开的一个实施例所提出的头戴式显示器所显示的图2的360°VR内容的一部分；
图4示出根据本公开的一个实施例的映射操作；
图5是根据本公开的一个实施例的处理设备的示意图；以及
图6是根据本公开的一个实施例的全球系统的示意图。
附图中的组件不一定按比例绘制，而是将重点放在说明本公开的原理上。
具体实施方式
尽管示例性实施例能够具有各种修改和替代形式，但是其实施例在附图中以示例的方式示出并且将在本文中详细描述。然而，应当理解，不旨在将示例实施例限制为所公开的特定形式，而是相反地，示例实施例旨在覆盖落入权利要求的范围内的所有修改、等同物和替代物。在附图的整个描述中，相同的标号表示相同的元件。
在更详细地讨论示例实施例之前，注意，一些示例实施例被描述为如流程图所描绘的过程或方法。尽管流程图将操作描述为顺序的过程，但是许多操作可以并行、并发或同时执行。此外，操作的顺序可以重新排列。当完成其操作时，可以终止这些过程，但是这些过程还可以具有未包括在附图中的附加步骤。这些过程可以对应于方法、函数、程序、子例程、子程序等。
下面讨论的方法(其中一些由流程图示出)可以由硬件、软件、固件、中间件、微代码、硬件描述语言或其任意组合来实现。当以软件、固件、中间件或微码实现时，执行必要任务的程序代码或代码段可存储在机器或计算机可读介质(例如存储介质)中。(一个或多个)处理器可以执行必要的任务。本文公开的具体结构和功能细节仅是代表性的，用于描述本公开的示例实施例的目的。然而，本公开可以以许多替代形式来实施，并且不应被解释为仅限于本文阐述的实施例。
图1示出了根据本公开的实施例的方法的步骤的流程图。该方法被定义为帮助色彩师通过使用颜色分级站和用于显示分级的VR内容的HMD来对VR内容进行分级。颜色分级站可以是具有其相关联的工具的经典颜色分级站。颜色分级站包括至少一个分级控制元件，例如，按钮、滑块、旋钮或操纵杆。色彩师通过用他的两只手中的至少一只手操纵分级控制元件来操纵颜色分级。
在HMD中对要分级的VR内容进行可视化时，色彩师丢失他前方的分级控制元件的位置。色彩师需要知道他的手相对于颜色分级站的分级控制元件的位置，以便执行VR内容的颜色分级操作。为此，视觉信息表示与VR内容一起被显示在HMD上，以帮助色彩师操纵颜色分级站的控制元件。
在第一步骤100中，由处理设备接收正在被颜色分级站分级的VR内容。
在第二步骤110中，接收表示在颜色分级站上方的色彩师的至少一只手的位置的位置信息。该位置信息可以基于由置于颜色分级站上方的相机捕获的视频图像。
位置信息由生成视频图像的相机或由从相机接收视频图像的任何其他外部设备生成。
可以通过已知的姿势估计算法来评估色彩师的手在他前方的3D空间中的位置。在光环境中，可以通过基于肤色和形状识别的图像处理来执行该姿势估计。
为了更鲁棒的姿势估计，色彩师可以例如佩戴配备有专用标记的手套。然后，专用标记的位置被专用传感器感测并且被传输到HMD。
还可以根据来自颜色分级站上方的相机的视频图像来估计颜色分级站的控制元件的位置。在一种变体中，与色彩师的手一样，颜色分级站的控制元件的位置可以通过置于色彩师所佩戴的手套上的专用标记来估计。
在另一变体中，颜色分级站的位置是固定的，其位置和其控制元件的位置可以在设置阶段中预确定。
在另一变体中，基于在颜色分级操作开始时手的位置来估计控制元件的位置。例如，在过程开始时，色彩师将他的手相继地置于颜色分级站的不同控制元件上，使得在过程的该阶段所感测的手的位置给出颜色分级站的控制元件的位置。
在知晓手的位置和分级控制元件的位置的情况下，就可以生成手和靠近手的分级控制元件的表示。该表示例如可以是手(从由置于颜色分级站上方的相机捕获的视频中分割出)以及颜色分级站的已知表示的合成。手也可以是虚拟的、像化身手(avatar hand)一样动画化的，并且由色彩师的手姿势估计来驱动。因此，在步骤120中，基于位置信息生成视觉控制信息，该视觉控制信息示出色彩师的手相对于颜色分级站的分级控制元件的位置。
在步骤130中，将视觉控制信息和分级的VR内被一起显示在色彩师携带的HMD上，以便帮助他操纵颜色分级站的分级控制元件。
在特定实施例中，视觉控制信息被显示在正在被分级的VR内容旁边。VR内容显示在HMD的第一区域中，而视觉控制信息显示在HMD的第二区域中，第二区域不同于第一区域。在这种情况下，HMD中专用于VR内容的视场被减小以显示视觉控制信息。
在一变体中，VR内容和视觉控制信息被显示在头戴式显示器的同一区域中，视觉控制信息叠加在VR内容上。VR内容全屏显示，并且视觉控制信息以覆盖到VR内容上的半透明模式显示。图2表示要由HMD显示的360°场景22。图3示出了由HMD针对色彩师的头部的给定位置显示的图2的场景的一部分。虚拟手20和虚拟分级控制元件21覆盖在场景的这一部分上，以便帮助色彩师操纵颜色分级站的控制元件。在图3中，示出了四个控制按钮A、B、C和D。
透明度的水平可以例如通过脚踏板来调节。当该脚踏板被释放时，仅VR内容被显示在HMD中，而视觉控制信息被隐藏。越按压脚踏板，在VR内容前方视觉控制信息就越可见。在该实施例中，色彩师可以在需要时仅通过按压脚踏板来访问分级控制元素，而无需移除他的HMD。
注意，在特定实施例中，为了减小HMD显示器中的虚拟控制位置的大小，仅显示靠近每只手的分级控制元件。
因此，关于色彩师的手和颜色分级站的视觉信息被集成到VR视图中，因此为色彩师提供了与其颜色分级站进行交互的可能性，同时在HMD中对内容进行可视化。
本公开还解决了在VR内容内导航同时能够访问颜色分级站的问题。色彩师应当能够通过在360°VR内容中导航或旋转来验证他的分级。然而，为了正常地观看他后面的内容，他将需要物理地旋转180°，这意味着他将不再能够在颜色分级站上使用命令，因为它们将不再在他前方。
为了解决这个问题，HMD的物理旋转角度θp通过将其映射到VR内容中的较大旋转角度θc的系数来校正，并且因此加速VR内容中的导航。例如，HMD相对于初始位置物理移动60°通过映射系数或映射比率被映射到VR内容中的180°的旋转。该比率可以是常数，其值通过在可视化360°所需的物理运动的幅度和VR内容中的旋转速度之间进行折衷来获得。形式上，映射可以被表达为θc＝κ*θp，其中θc是VR内容中的旋转，θp是色彩师或他的头部的物理旋转，κ是例如被设置为3的比率(或系数)。在图4中示出了该映射操作。
该特征允许提高色彩师在360°VR内容中导航的能力。在真实观看状况下，通常可以通过移动用户头部或用户整体移动来旋转HMD以探索360°内容。为了例如在游戏应用中操纵内容的各个方面，用户通常将在他们的手中持有诸如游戏控制器之类的控制器，该控制器可以随他们一起移动。然而，在颜色分级的当前用例中，色彩师所使用的颜色分级站被固定在适当的位置，并且移动颜色分级站可能是不切实际的或甚至是不可能的。这样，色彩师必须能够访问其前方的他的物理分级控制元件，同时能够探索全部360°的VR内容。
在替代的实现方式中，物理旋转角度θp和VR内容旋转角度θc之间的映射被定义为非线性函数，使得色彩师更接近其初始位置的移动将导致较小内容旋转，而较大移动将导致逐渐变大的内容旋转。该实现方式将确保色彩师可以使用较小的移动来探索当前在他们前方的视点，而他们将使用较大的移动来旋转到VR场景的另一部分。
本公开还涉及用于在被称为VR内容的虚拟现实视频内容的颜色分级中向色彩师提供辅助的处理设备，所述处理设备被配置为
·接收正在被颜色分级站分级的VR内容，
·接收表示色彩师的至少一只手相对于所述颜色分级站的位置的位置信息，
·基于所述位置信息，生成示出色彩师的手相对于颜色分级站的至少一个分级控制元件的位置的视觉控制信息，以及
·生成包括视觉控制信息和分级的VR内容的视频流，该视频流被布置为由所述色彩师携带的头戴式显示器显示，使得所述视觉控制信息与所述分级的VR内容被一起显示，以便帮助色彩师操纵所述至少一个分级控制元件。
位置信息可以是由置于颜色分级站上方的相机捕获的视频图像。
该处理设备被布置为从颜色分级站接收分级的VR内容，从颜色分级站上方的相机接收位置信息，并且将视频流传输到头戴式显示器。
图5是根据本公开的一个实施例的与处理设备510协作的头戴式显示器500的示意图。头戴式显示器500包括：
-位置传感器501，用于检测所述HMD的位置，以及
-显示器502，用于显示由处理设备510合成的VR内容。
处理设备510包括：
-帧选择模块511，接收由所述颜色分级站分级的或要由其分级的VR内容、用于校正HMD的旋转相对于VR内容中的旋转的映射比率、以及HMD位置，
-处理模块512，用于基于来自帧选择模块的分级的帧、关于色彩师的手的位置和颜色分级站的控制元件的位置的控制信息以及可能的透明度系数来合成如上所定义的分级的VR内容。
处理设备510的全部或部分可以被并入到颜色分级站和/或头戴式显示器中。它也可以是外部设备。
图6示出了根据本公开的一个实施例的用于对VR内容进行颜色分级的系统。该系统包括：
-存储模块610，用于存储要分级的VR内容，
-颜色分级站620，用于对VR内容进行颜色分级，该颜色分级站包括用于控制VR内容的分级的分级控制元件，
-相机630，位于所述颜色分级站上方，其用于捕获色彩师的至少一只手的视频图像，并且生成表示色彩师的手相对于颜色分级站的位置的位置信息，
-处理设备640，用于基于来自相机630的位置信息来生成视觉控制信息，以及生成包括视觉控制信息和分级的VR内容的视频流，所述视觉控制信息示出色彩师的手相对于颜色分级站的至少一个分级控制元件的位置，以及
-HMD 650，用于接收由处理设备640生成的视频流，以及将由颜色分级站分级的VR内容与视觉控制信息一起显示，从而帮助色彩师在可视化分级的VR内容的同时操纵颜色分级站的控制元件。
处理设备640的全部或部分可以并入到颜色分级站620和/或头戴式显示器650中。
得益于本公开的实施例，色彩师可容易地与颜色分级站进行交互，同时在HMD中可视化VR内容。
尽管本公开的一些实施例已经在附图中示出并且在以上具体实施方式中描述，但是应当理解，本公开不限于所公开的实施例，而是能够在不脱离由所附权利要求书阐述和限定的公开的情况下进行许多重新布置、修改和替换。

Claims (14)

1.一种用于对虚拟现实视频内容进行颜色分级的方法，所述虚拟现实内容被称为VR内容，所述方法由头戴式显示器执行，所述头戴式显示器由对所述VR内容进行颜色分级的色彩师佩戴，并且所述方法包括：
接收(100)正在被外部颜色分级站分级的所述VR内容，所述外部颜色分级站被所述色彩师用于对所述VR内容进行颜色分级，所述外部颜色分级站包括用于控制所述VR内容的分级的分级控制元件，
接收(110)表示所述色彩师的至少一只手相对于所述颜色分级站的位置信息，所述位置信息包括所述色彩师的所述手在所述颜色分级站上方的位置和所述颜色分级站的所述分级控制元件的位置，
基于所接收的位置信息，生成(120)视觉控制信息，所述视觉控制信息示出所述色彩师的所述至少一只手的位置和靠近所述手的所述颜色分级站的至少一个分级控制元件的位置，
将所述视觉控制信息与所分级的VR内容一起显示(130)，以便帮助所述色彩师操纵所述至少一个分级控制元件。
2.根据权利要求1所述的方法，其中，所述视觉控制信息被显示在正在被分级的所述VR内容旁边。
3.根据权利要求1所述的方法，所述VR内容和所述视觉控制信息被显示在所述头戴式显示器的相同区域中，所述视觉控制信息叠加在所述VR内容上。
4.根据权利要求3所述的方法，其中，所述VR内容是全屏显示的，并且所述视觉控制信息以覆盖在所述VR内容上的半透明模式显示。
5.根据前述权利要求中任一项所述的方法，其中，所述位置信息是基于由置于所述颜色分级站上方的相机捕获的视频图像的。
6.根据前述权利要求中任一项所述的方法，其中，所述视觉控制信息是所述色彩师的所述手和所述颜色分级站的所述分级控制元件的虚拟图像。
7.根据前述权利要求中任一项所述的方法，其中，所述色彩师的所述手相对于所述颜色分级站的位置是通过检测由置于所述颜色分级站上方的相机捕获的视频图像中的肤色来估计的。
8.根据权利要求1至6中任一项所述的方法，其中，所述色彩师的所述手相对于颜色分级站的位置是通过置于所述色彩师的所述手上的专用标记来估计的。
9.根据前述权利要求中任一项所述的方法，其中，所述头戴式显示器被布置为估计所述色彩师的物理旋转，所述方法还包括用于使所述VR内容中的旋转映射到所述物理旋转的步骤，所述VR内容中的旋转被称为内容旋转，所述VR内容的旋转大于所述物理旋转，利用所述内容旋转将所述VR内容显示在所述头戴式显示器上。
10.根据权利要求9所述的方法，其中，所述VR内容旋转和所述物理旋转之间的比率是大于1的恒定值。
11.一种头戴式设备，被配置为辅助色彩师对虚拟现实内容进行颜色分级，所述虚拟现实内容被称为VR内容，其特征在于，所述头戴式设备被配置为：
接收正在被外部颜色分级站分级的VR内容，所述颜色分级站被所述色彩师用于对所述VR内容进行颜色分级，所述颜色分级站包括用于控制所述VR内容的分级的分级控制元件，
接收表示所述色彩师的至少一只手相对于所述颜色分级站的位置信息，所述位置信息包括所述色彩师的所述手在所述颜色分级站上方的位置和所述颜色分级站的所述分级控制元件的位置，
基于所接收的位置信息，生成视觉控制信息，所述视觉控制信息示出所述色彩师的所述至少一只手的位置和靠近所述手的所述颜色分级站的至少一个分级控制元件的位置，以及
生成包括所述视觉控制信息和所述分级的VR内容的视频流，所述视频流被布置为由所述头戴式显示器显示，使得所述视觉控制信息被与所述分级的VR内容一起显示，以便帮助所述色彩师操纵所述至少一个分级控制元件。
12.一种用于对虚拟现实视频内容进行颜色分级的系统(600)，包括：
颜色分级站(620)，用于对所述虚拟现实视频内容进行分级，所述颜色分级站包括用于控制所述虚拟现实视频内容的分级的控制元件，
相机(630)，用于使用所述颜色分级站来捕获色彩师的至少一只手的视频图像，并且生成表示所述色彩师的至少一只手的位置和所述颜色分级站的位置的位置信息，以及
处理设备(640)，被配置为
接收正在被所述颜色分级站分级的所述虚拟现实视频内容和所述位置信息，
基于所述位置信息，生成视觉控制信息，所述视觉控制信息示出所述色彩师的所述至少一只手的位置和靠近所述手的所述颜色分级站的至少一个分级控制元件的位置，以及
生成包括所述视觉控制信息和所述分级的VR内容的视频流，
头戴式显示器(650)，被配置为将所述视觉控制信息和所述分级的VR内容一起显示，以便帮助所述色彩师操纵所述至少一个分级控制元件。
13.根据权利要求12所述的系统，其中，所述相机被置于所述颜色分级站上方。
14.根据权利要求12或13所述的系统，其中，所述头戴式显示器被布置为在所述显示器的相同区域中显示所述VR内容和所述视觉控制信息，所述视觉控制信息被叠加在所述VR内容上。
CN201880075774.7A 2017-11-24 2018-11-22 用于对虚拟现实视频内容进行颜色分级的方法和系统 Active CN111373350B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17306636.6 2017-11-24
EP17306636.6A EP3489801A1 (en) 2017-11-24 2017-11-24 Method and system for color grading a virtual reality video content
PCT/EP2018/082225 WO2019101857A1 (en) 2017-11-24 2018-11-22 Method and system for color grading a virtual reality video content

Publications (2)

Publication Number Publication Date
CN111373350A true CN111373350A (zh) 2020-07-03
CN111373350B CN111373350B (zh) 2023-07-04

Family

ID=60673421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880075774.7A Active CN111373350B (zh) 2017-11-24 2018-11-22 用于对虚拟现实视频内容进行颜色分级的方法和系统

Country Status (4)

Country Link
US (1) US11288881B2 (zh)
EP (2) EP3489801A1 (zh)
CN (1) CN111373350B (zh)
WO (1) WO2019101857A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2600929A (en) * 2020-11-10 2022-05-18 Sony Interactive Entertainment Inc Data processing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080030429A1 (en) * 2006-08-07 2008-02-07 International Business Machines Corporation System and method of enhanced virtual reality
US20120280910A1 (en) * 2009-11-18 2012-11-08 Elmiro Business Development B.V. Control system and method for controlling a plurality of computer devices
US20170243406A1 (en) * 2014-10-15 2017-08-24 Seiko Epson Corporation Head-mounted display device, method of controlling head-mounted display device, and computer program
CN107224261A (zh) * 2016-03-23 2017-10-03 香港中文大学 利用虚拟现实的视觉障碍检测系统
EP3236306A1 (en) * 2016-04-20 2017-10-25 Hexkraft GmbH A method for rendering a 3d virtual reality and a virtual reality equipment for implementing the method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012014910A1 (de) * 2012-07-27 2014-01-30 Volkswagen Aktiengesellschaft Bedienschnittstelle, Verfahren zum Anzeigen einer eine Bedienung einer Bedienschnittstelle erleichternden Information und Programm

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080030429A1 (en) * 2006-08-07 2008-02-07 International Business Machines Corporation System and method of enhanced virtual reality
US20120280910A1 (en) * 2009-11-18 2012-11-08 Elmiro Business Development B.V. Control system and method for controlling a plurality of computer devices
US20170243406A1 (en) * 2014-10-15 2017-08-24 Seiko Epson Corporation Head-mounted display device, method of controlling head-mounted display device, and computer program
CN107224261A (zh) * 2016-03-23 2017-10-03 香港中文大学 利用虚拟现实的视觉障碍检测系统
EP3236306A1 (en) * 2016-04-20 2017-10-25 Hexkraft GmbH A method for rendering a 3d virtual reality and a virtual reality equipment for implementing the method

Also Published As

Publication number Publication date
EP3714351A1 (en) 2020-09-30
US20210366204A1 (en) 2021-11-25
WO2019101857A1 (en) 2019-05-31
EP3714351B1 (en) 2022-04-06
CN111373350B (zh) 2023-07-04
EP3489801A1 (en) 2019-05-29
US11288881B2 (en) 2022-03-29

Similar Documents

Publication Publication Date Title
JP4533087B2 (ja) 画像処理方法、画像処理装置
CN104205175B (zh) 信息处理装置，信息处理系统及信息处理方法
JP4933164B2 (ja) 情報処理装置、情報処理方法、プログラムおよび記憶媒体
US11380021B2 (en) Image processing apparatus, content processing system, and image processing method
JP6491574B2 (ja) Ａｒ情報表示装置
EP2394710B1 (en) Image generation system, image generation method, and information storage medium
WO2014016987A1 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
US7782320B2 (en) Information processing method and information processing apparatus
EP3262505B1 (en) Interactive system control apparatus and method
JP4288753B2 (ja) ３次元データ入力装置
US20200077021A1 (en) Image processing apparatus and method, and program
CN117008731A (zh) 用于导航用户界面的方法
CN110717993B (zh) 一种分体式ar眼镜系统的交互方法、系统及介质
CN111373350B (zh) 用于对虚拟现实视频内容进行颜色分级的方法和系统
CN117043722A (zh) 用于地图的设备、方法和图形用户界面
JP2005339377A (ja) 画像処理方法、画像処理装置
US20200133388A1 (en) Information processing apparatus, information processing method, and storage medium
US20170031583A1 (en) Adaptive user interface
JP6836060B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
US9959637B2 (en) Method and apparatus for processing border of computer figure to be merged into background image
JP2006343954A (ja) 画像処理方法、画像処理装置
JP6621165B2 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
US11308670B2 (en) Image processing apparatus and method
JP2001209826A (ja) 仮想空間の編集方法、仮想空間の編集装置、コンピュータプログラム記憶媒体および仮想現実感提示装置
Kim et al. A tangible user interface system for CAVE applicat

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant