CN114556914A - 图像处理设备、图像处理方法和图像显示系统 - Google Patents

图像处理设备、图像处理方法和图像显示系统 Download PDF

Info

Publication number
CN114556914A
CN114556914A CN202080071761.XA CN202080071761A CN114556914A CN 114556914 A CN114556914 A CN 114556914A CN 202080071761 A CN202080071761 A CN 202080071761A CN 114556914 A CN114556914 A CN 114556914A
Authority
CN
China
Prior art keywords
user
image
object group
users
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080071761.XA
Other languages
English (en)
Inventor
阿克失·卡达姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114556914A publication Critical patent/CN114556914A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/368—Image reproducers using viewer tracking for two or more viewers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/008—Aspects relating to glasses for viewing stereoscopic images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)

Abstract

提供一种处理同时向多个人呈现的投影图像的图像处理设备。图像处理设备：获取关于每个用户的信息；基于关于每个用户的信息来指定两个或更多个用户的视野交叠的交叠区域；将包括在交叠区域中的对象分类成第一对象组或第二对象组；生成所有用户共用的由第一对象组构成的共用图像；生成对于每个用户不同的由第二对象组构成的单独图像；以及进一步确定用于显示每个单独图像的输出协议。

Description

图像处理设备、图像处理方法和图像显示系统
技术领域
本说明书(下文中称为“本公开内容”)中公开的技术涉及用于处理投影图像的图像处理设备和图像处理方法以及图像显示系统。
背景技术
用于在屏幕上投影图像的投影技术早已为人所知，并且广泛用于教育领域、会议和演示。由于可以在相对大的屏幕上放大并显示图像，因此存在可以同时向多个人呈现相同图像的优点。近来，用于在诸如建筑物的具有任意形状的屏幕的表面上投影和显示图像的投影映射技术已被频繁使用。例如通过测量投影表面的三维形状并根据测量结果校正投影图像而投影无失真图像来实现投影映射技术(例如，参见专利文献1)。
引文列表
专利文献
专利文献1：JP 2001-320652 A
专利文献2：JP 2019-184734 A
专利文献3：JP 2011-71757A
发明内容
技术问题
根据本公开内容的技术的目的是提供用于处理在具有任意形状的屏幕上投影的图像的图像处理设备和图像处理方法，以及图像显示系统。
问题的解决方案
根据本公开内容的技术的第一方面提供了一种对要向多个用户显示的内容执行处理的图像处理设备，该设备包括：用户信息获取单元，其获取关于每个用户的信息；分类单元，其基于关于每个用户的信息来指定两个或更多个用户的视野交叠的交叠区域，并且将包括在交叠区域中的对象分类成第一对象组和第二对象组；生成单元，其生成所有用户共用的由第一对象组构成的共用图像，并且生成对于每个用户不同的由第二对象组构成的单独图像；以及确定单元，其确定用于显示单独图像的输出协议。
分类单元将包括在交叠区域中的对象分类成存在于背景中的第一对象组和作为针对至少一些用户的前景的第二对象组，并且生成单元生成包括第一对象组的背景图像作为共用图像，并且生成包括第二对象组的针对每个用户的前景图像作为单独图像。例如，生成单元生成单独前景图像，在该单独前景图像中，包括在第二对象组中的每个对象具有针对每个用户的运动视差的效果。替选地，生成单元生成包括第二对象组中的分配给每个用户的对象的单独图像。
确定单元确定与用于以时分方式输出单独图像的定时有关的输出协议。根据第一方面的图像处理设备还包括：通信单元，用于将输出协议通知给由每个用户使用的诸如快门眼镜的设备。
根据本公开内容的技术的第二方面提供了一种对要向多个用户显示的内容执行处理的图像处理方法，该方法包括：用户信息获取步骤，其获取关于每个用户的信息；分类步骤，其基于关于每个用户的信息来指定两个或更多个用户的视野交叠的交叠区域并将包括在交叠区域中的对象分类成第一对象组和第二对象组；生成步骤，其生成所有用户共用的由第一对象组构成的共用图像并生成对于每个用户不同的由第二对象组构成的单独图像；以及确定步骤，其确定用于显示单独图像的输出协议。
根据本公开内容的技术的第三方面提供了一种图像显示系统，该图像显示系统包括：图像处理设备，其基于关于每个用户的信息来指定两个或更多个用户的视野交叠的交叠区域，将在交叠区域中包括的对象分类成第一对象组和第二对象组，生成所有用户共用的由第一对象组构成的共用图像，生成对于每个用户不同的由第二对象组构成的单独图像，并且将用于显示单独图像的输出协议通知给由每个用户使用的快门眼镜；输出共用图像的第一显示设备；输出每个用户的单独图像的第二显示设备；以及由每个用户使用的快门眼镜。
本发明的有益效果
基于根据本公开内容的技术，可以提供用于处理同时呈现给多个人的投影图像的图像处理设备和图像处理方法，以及图像显示系统。
注意，本说明书中描述的效果仅仅是示例，并且由根据本公开内容的技术提供的效果不限于此。此外，根据本公开内容的技术还可以提供除了上述效果之外的附加效果。
根据基于稍后将描述的实施方式和附图的详细描述，本公开内容的技术的其他目的、特征和优点将变得清楚。
附图说明
[图1]图1是示出投影映射的操作示例的图(从上方斜视的透视图)。
[图2]图2是示出投影映射的操作示例的图(从上方观察的俯视图)。
[图3]图3是示出多个用户同时体验投影映射的操作示例的图。
[图4]图4是示出用于将针对用户A和用户B的VR图像映射到房间301的墙表面上的机制的图。
[图5]图5是示出在共享真实环境的用户A和用户B的视野范围501与502之间存在交叠区域503的状态的图。
[图6]图6是示出用于检测共享真实环境的用户的视野之间的交叠区域的机制的图。
[图7]图7是示出三个用户共享同一真实环境的状态的图。
[图8]图8是示出当三个用户共享同一真实环境时的投影映射的操作示例的图。
[图9]图9是示出当三个用户共享同一真实环境时的投影映射的操作示例的图。
[图10]图10是示出三个用户共享同一真实环境的状态的图。
[图11]图11是示出当三个用户共享同一真实环境时的投影映射的操作示例的图。
[图12]图12是示出当三个用户共享同一真实环境时的投影映射的操作示例的图。
[图13]图13是示出当三个用户共享同一真实环境时的投影映射的操作示例的图。
[图14]图14是示出假设的虚拟环境的图。
[图15]图15是示出从用户A的视点位置观察到的图14所示的虚拟环境的图像的图。
[图16]图16是示出从用户B的视点位置观察到的图14所示的虚拟环境的图像的图。
[图17]图17是示出在由用户A和用户B共享的真实环境中执行投影仪堆叠的示例的图。
[图18]图18是示出从图14所示的虚拟环境中分离的背景图像的图。
[图19]图19是示出其中向从图14所示的虚拟环境中分离的前景中的对象赋予针对用户A的运动视差的效果的前景图像的图。
[图20]图20是示出其中向从图14所示的虚拟环境中分离的前景中的对象赋予针对用户B的运动视差的效果的前景图像的图。
[图21]图21是示出将背景图像投影的状态的图。
[图22]图22是示出将针对用户A的前景图像叠加并投影在背景图像上的状态的图。
[图23]图23是示出将针对用户B的前景图像投影在背景图像上的状态的图。
[图24]图24是示出第一投影仪2100的操作示例的图。
[图25]图25是示出第二投影仪2200的操作示例的图。
[图26]图26是示出从远方朝向前方行驶的汽车的图像的图。
[图27]图27是示出从远方朝向前方行驶的汽车的图像的图。
[图28]图28是示出汽车到达前景区域时针对用户A的图像的图。
[图29]图29是示出汽车到达前景区域时针对用户A的图像的图。
[图30]图30是示出投影前景图像的第二投影仪2802的操作示例的图。
[图31]图31是示出将针对每个用户的单独前景图像以时分方式叠加在共用背景图像上的投影仪堆叠的显示示例的图。
[图32]图32是示出将针对用户A的前景图像叠加在共用背景图像上的投影仪堆叠的显示例示例的图。
[图33]图33是示出将针对用户B的前景图像叠加在共用背景图像上的投影仪堆叠的显示示例的图。
[图34]图34是示出将针对用户C的前景图像叠加在共用背景图像上的投影仪堆叠的显示示例的图。
[图35]图35是示出投影前景图像的第二投影仪3112的操作示例的图。
[图36]图36是示出图像处理设备3600的功能配置示例的图。
[图37]图37是示出由图像处理设备3600执行的处理过程的流程图。
具体实施方式
在下文中，将参照附图详细描述根据本公开内容的技术的实施方式。
第一实施方式
图1和图2示意性地示出了投影映射的操作示例。在所示的示例中，体验由投影映射技术提供的虚拟现实(VR)空间的用户100站在矩形房间101中。房间101的四周的墙表面是真实环境。此外，在房间101的外侧布置有矩形虚拟屏幕102，在矩形虚拟屏幕102上描绘要向用户100呈现的VR图像。然而，图1示出了示出从上方斜视的真实环境和虚拟环境的透视图，并且图2示出了示出从上方观看的真实环境和虚拟环境的俯视图。
当通过使用房间101的墙表面的投影映射将虚拟屏幕102上的VR图像呈现给用户时，房间101的墙表面的三维形状由摄像装置或距离传感器(未示出)测量，并且通过根据测量结果对投影图像进行校正，在房间101的墙表面上投影无失真的VR图像。常规地，通过投影映射技术投影的图像基本上是仅从特定视点(例如，创建时的视点)显示的图像。因此，即使用户100在如图1和图2所示的操作环境下在房间101中移动，投影在墙表面上的图像也不移动，使得用户100不能完全沉浸在虚拟世界中。因此，需要一种机制来跟踪用户100的位置、姿势和视线，并且反馈跟踪信息，使得VR图像跟随用户100。
图3示意性地示出了多个用户同时体验投影映射的操作示例。然而，该图示出了从上方观看的真实环境和虚拟环境。为简化起见，在图3中，存在两个用户，即用户A和用户B。
此处，假设呈现跟随每个用户的移动的VR图像。因此，跟踪用户A和用户B的位置、姿势和视线。然后，作为虚拟屏幕302上的VR图像，生成两种类型的图像，包括从用户A的位置、姿势和视线观看的VR图像(针对用户A的视野)以及从用户B的位置、姿势和视线观看的VR图像(针对用户B的视野)。通过投影映射将虚拟屏幕302上的针对用户A的VR图像投影在房间301的墙表面的用户A的视野(FoV界限)的区域上。通过投影映射将虚拟屏幕302上的针对用户B的VR图像投影在房间301的墙表面的用户B的视野(FoV界限)的区域上。
图4示出了用于将针对用户A和用户B的VR图像映射到房间301的墙表面上的机制。基于来自摄像装置、距离传感器或其他传感器(未示出)的传感器信息跟踪用户A和用户B在房间301中的位置、姿势和视线。
然后，作为虚拟屏幕302上的VR图像，生成两种类型的图像，包括从用户A的位置、姿势和视线观看的VR图像(针对用户A的视野)401以及从用户B的位置、姿势和视线观看的VR图像(针对用户B的视野)402。VR图像401和VR图像402两者是映射到相同虚拟世界坐标系的图像，但实际上它们被写入例如针对每个用户的单独平面存储器。
接下来，从一个VR图像401中切出用户A的视野区域的图像411，测量房间301的墙表面的用户A的视野区域311的三维形状，并且根据测量结果来校正原始VR图像411，从而将无失真的VR图像投影在房间301的墙表面上的用户A的视野区域311上。类似地，从另一个VR图像402中切出用户B的视野区域的图像412，测量房间301的墙表面的用户B的视野区域312的三维形状，并且根据测量结果来校正原始VR图像412，由此将无失真的VR图像投影在房间301的墙表面上的用户B的视野区域312上。
在房间301的墙表面上，使用投影映射技术生成并投影一个图像，该一个图像包括映射到用户A的视野区域311的针对用户A的VR图像401和映射到用户B的视野区域312的针对用户B的VR图像402。使用两个或更多个投影仪在房间301的大范围的墙表面上投影图像。针对用户A的VR图像401和针对用户B的VR图像402两者可以根据相同的内容来生成，或者可以根据不同的内容来生成。
图3和图4示出了当由两个用户共享一个真实环境时的VR图像的显示示例，但是当由三个或更多个用户共享一个真实环境时执行相同的处理。
在图3和图4中，为了简化起见，已经描述了在共享一个真实环境的多个用户之间视野不交叠的示例。然而，还假设在共享一个真实环境的多个用户之间视野交叠。当针对另一用户的VR图像反映在一个用户的视野中时，存在用户的VR体验被干扰的问题。
图5示出了在共享由房间的墙表面500构成的真实环境的用户A和用户B的视野范围501与502之间存在交叠区域503的状态。根据用户A相对于房间的墙表面500的位置、姿势和视线生成针对用户A的VR图像，并使用投影映射技术将其投影在墙表面500的视野范围501上。此外，根据用户B相对于房间的墙表面500的位置、姿势和视线生成针对用户B的VR图像，并使用投影映射技术将其投影在墙表面500的视野范围502上。然后，由于针对用户B的VR图像反映在用户A的视野范围501的交叠区域503中，因此干扰了用户A的VR体验。类似地，由于针对用户A的VR图像反映在用户B的视野范围502的交叠区域503中，因此也干扰了用户B的VR体验。
因此，在根据本公开内容的技术中，精确地检测到在多个用户的视野之间是否存在交叠区域，并且如果检测到交叠区域，则以时分方式将针对各个用户的单独VR图像分配给交叠区域，以创建适合每个用户的图像。每个用户通过佩戴快门眼镜(例如参见专利文献3)来观察真实环境，该快门眼镜与在交叠区域中切换到针对他自己/她自己的VR图像同步地打开和关闭。因此，每个用户可以仅观看针对他自己/她自己的VR图像，并且VR体验不会被针对其他用户的VR图像干扰。另一方面，当在用户的视野之间未检测到交叠区域时，生成包括针对各个用户的所有VR图像的一个图像并使用投影映射技术将其投影在真实环境上。
在由多个用户共享的真实环境中，为了让每个用户都拥有完美的VR体验，需要精确地检测用户的视野之间的交叠区域。将参照图6描述检测用户的视野之间的交叠区域的方法。然而，在图6中，为了简化说明起见，真实环境是平坦的墙表面600，其由用户A和用户B共享。
首先，针对每一帧获取关于用户A和用户B的位置、姿势和视线的信息，以估计各个用户的视野范围(动态视野)。
接下来，根据人类视野极限和从用户A到作为投影表面的墙表面600的距离，来设置针对用户A的VR图像的投影范围601。类似地，根据人类视野极限和从用户B到作为投影表面的墙表面600的距离，来设置针对用户B的VR图像的投影范围602。
以这种方式，当获得相对于用户A和用户B的动态视野的墙表面600上的投影范围601和602时，可以精确地检测出用户A和用户B的视野是否交叠。在图6所示的示例中，假设用户A的投影范围601和用户B的投影范围602不交叠。
图7示出了三个用户A、B和C共享同一真实环境的状态。在该图中，真实环境由投影有VR图像的房间的墙表面700构成。然后，通过投影映射技术将针对用户A、B和C的VR图像投影在为用户单独设置的投影范围701、702和703上。此处，假设在针对用户A的VR图像的投影范围701与针对相邻用户B的VR图像的投影范围702之间检测到交叠区域711，并且在针对用户B的VR图像的投影范围702与针对相邻用户C的VR图像的投影范围703之间检测到交叠区域712。
如上所述，在根据本公开内容的技术中，当在多个用户的视野之间检测到交叠区域时，将针对各个用户的单独VR图像以时分方式分配给交叠区域，以创建适合每个用户的图像。
图8和图9示出了在图7所示的真实环境下以时分方式投影针对用户A、B和C的单独VR图像的操作示例。此处，帧周期是T[毫秒]。帧周期T是帧速率的倒数。帧期间T被划分成2个区间，并且在每个帧周期内，在0至T/2的区间与T/2至T的区间之间依次切换要投影在墙表面700上的图像。
首先，在帧周期T的前半部分的0至T/2的区间中，如图8所示，将针对用户B的VR图像802投影在基于用户B的位置、姿势和视线设置的用户B的投影范围702上。用户B通过佩戴与0至T/2的区间同步地打开的快门眼镜，在视线方向上观察墙表面700，从而用户B可以仅观看针对用户B的VR图像并且VR体验不会受为其他用户显示的VR图像干扰。
随后，在帧周期T的后半部分的T/2至T的区间中，如图9所示，将针对用户A的VR图像901投影在为用户A设置的投影范围701上，并且将针对用户C的VR图像903投影在为用户C设置的投影范围703上。用户A和用户C通过佩戴与T/2至T的区间同步地打开的快门眼镜，在视线方向上观察墙表面700，由此用户A和用户C可以分别仅观看针对用户A和用户C的VR图像，并且VR体验不会受针对其他用户的VR图像干扰。
图10示出了三个用户A、B和C共享同一真实环境的另一示例。在图7至图9所示的示例中，在针对用户A的VR图像的投影范围701与针对用户C的VR图像的投影范围703之间没有交叠区域。另一方面，在图10所示的示例中，在用户A的投影范围1001与用户B的投影范围1002之间以及用户B的投影范围1002与用户C的投影范围1003之间检测到交叠区域1011和1012，并且也在用户A的投影范围1001与用户C的投影范围1003之间检测到交叠区域1013。
图11至图13示出了在图10所示的真实环境下以时分方式投影针对用户A、B和C的单独VR图像的操作示例。在这种情况下，帧周期T被划分成三个区间，并且在每个帧周期内，在0至T/3的区间、T/3至2T/3的区间和2T/3至T的区间之间依次切换要在墙表面1000上投影的图像。
首先，在帧周期T的0至T/3的第一区间中，如图11所示，将针对用户B的VR图像1102投影在基于用户B的位置、姿势和视线设置的用户B的投影范围1002上。用户B通过佩戴与0至T/3的区间同步地打开的快门眼镜在视线方向上观察墙表面1000，由此用户B可以仅观看针对用户B的VR图像，并且用户B的VR体验不会受针对用户A和用户C的VR图像干扰。
在T/3至2T/3的后续区间中，如图12所示，将针对用户A的VR图像1201投影在基于用户A的位置、姿势和视线设置的用户A的投影范围1001上。用户A通过佩戴与T/3至2T/3的区间同步地打开的快门眼镜在视线方向上观察墙表面1000，由此用户A可以仅观看针对用户A的VR图像，并且用户A的VR体验不会受针对用户B和用户C的VR图像干扰。
在2T/3至T的后续区间中，如图13所示，将针对用户C的VR图像1303投影在基于用户C的位置、姿势和视线设置的用户C的投影范围1003上。用户C通过佩戴与2T/3至T的区间同步地打开的快门眼镜在视线方向上观察墙表面1000，由此用户C可以仅观看针对用户C的VR图像，并且用户C的VR体验不会受针对用户A和用户B的VR图像干扰。
注意，如果在共享同一真实环境的用户中视野交叠的用户数量增加，则划分的帧区间的数量增加，每个用户可以在该帧区间中观察VR图像的时间变短，并且亮度增加。
第二实施方式
已知使用多个投影仪将图像叠加并投影在同一投影表面上的投影仪堆叠(参见例如专利文献2)。例如，可以通过以叠加的方式投影同一图像来提高投影图像的亮度。
在根据本公开内容的技术中，将投影图像的原始内容分离成前景和背景，并且使用单独的投影仪来投影前景和背景，从而保持了运动视差的效果，并且使用户能够拥有更完美的VR体验。
运动视差是由观察者与被观察对象之间的相对移动引起的视差，并且被观察对象越近，被观察对象移动得越快，并且被观察对象越远，被观察对象移动得越慢。因此，将虚拟环境分离成背景和前景，针对每一帧获取关于用户的位置、姿势和视线的信息，以生成最佳的前景图像和背景图像，并且使用两个投影仪在真实环境中执行投影仪堆叠。以这种方式，可以保持运动视差的效果，并且使用户能够拥有更完美的VR体验。
假设在由多个用户共享的真实环境中执行投影仪堆叠。由于每个用户相对于投影表面的位置、姿势和视线不同，因此运动视差对于每个用户是不同的。当执行投影仪堆叠时，如果将具有运动视差的效果的图像投影成适合于某个用户，则存在运动视差对于其他用户变得不自然并且干扰VR体验的问题。
远离视点的对象由于运动视差而具有小的变化，但靠近视点的对象由于运动视差而具有大的变化。例如，如图14所示，假设在用户A和用户B的视野范围交叠的区域中虚拟环境1400在远方具有树1401并且在前方具有邮筒1402。在这种情况下，远方的树1401的运动视差小，而前方的邮筒1402的运动视差在用户A与用户B之间大。因此，认为适当的是，用户A观察到其中在前方的邮筒1402的左侧的后方看到树1401的VR图像(如图15所示)，而用户B观察到其中在前方的邮筒1402的右侧的后方看到树1401的VR图像(如图16所示)。然而，如果通过投影映射不断地将图15所示的图像(其中仅保持了关于用户A的运动视差的效果)投影在真实环境上，则对于观察图像的用户B，运动视差变得不自然，并且VR体验受到干扰。
因此，在根据本公开内容的技术中，包括在多个用户的视野交叠的交叠区域中的被摄体(对象)被分离成前景和背景，背景图像被视为共用图像(因为在用户之间背景图像具有小的运动视差差异)，并且针对各个用户生成根据每个用户的位置、姿势和视线再现运动视差的最佳的单独前景图像。然后，使用用于背景图像投影的第一投影仪不断地投影和显示用户共用的背景图像，并且使用用于前景图像投影的第二投影仪以时分方式投影和显示对于每个用户不同的前景图像。每个用户通过佩戴与切换到针对他自己/她自己的前景图像同步地打开和关闭的快门眼镜来观察真实环境。因此，每个用户都可以观看在用户共用的背景图像上叠加最佳前景图像的VR图像。最佳前景图像是保持针对每个用户的运动视差的效果的前景图像，并且用户可以拥有更完美的VR体验。
第一投影仪和第二投影仪两者使用投影映射技术在真实环境中投影图像。第一投影仪和第二投影仪各自均可以由多个投影仪设备组成。
图17示出了在由用户A和用户B共享的真实环境中执行投影仪堆叠的示例。在该图中，假设真实环境由在其上投影VR图像的房间的墙表面1700构成，并且通过投影仪堆叠来投影图14所示的虚拟环境。
首先，当获取关于用户A和用户B的位置、姿势和视线的信息并且指定用户A的视野范围1701和用户B的视野范围1702交叠的交叠区域1703时，包括在交叠区域中的对象被分类成前景和背景。例如，可以针对每一帧基于用户A和用户B的位置、姿势和视线来计算交叠区域1703中的每个对象的运动视差，具有小的由于运动视差的变化的对象可以被分类为背景，并且由于运动视差的变化超过预定值的对象可以被分类为前景。此处，可以将其中由于运动视差的变化对于一个用户小但由于运动视差的变化对于另一用户大的对象分类为前景。在图17所示的示例中，假设在远方的树1711被分类为背景，并且在前方的邮筒1712被分类为前景。
接下来，如图18所示，生成由分类为背景的对象1711组成的背景图像1800。背景图像1800是用户A和用户B共用的图像，因为由于运动视差的变化小。分别生成针对用户A的前景图像1702和针对用户B的前景图像1703。具体地，如图19所示，针对每一帧获取关于用户A的位置、姿势和视线的信息以生成针对用户A的前景图像1900，使得被分类为前景的对象1712保持适于用户A的运动视差的效果。类似地，如图20所示，针对每一帧获取关于用户B的位置、姿势和视线的信息以生成针对用户B的前景图像2000，使得被分类为前景的对象1712保持适于用户B的运动视差的效果。
然后，如图21所示，使用用于背景图像投影的第一投影仪2100，将用户A和用户B共用的背景对象1800不断地投影并显示在房间的墙表面1700上。此外，当使用用于前景图像投影的第二投影仪2200将针对用户A的前景图像1900叠加在背景图像1800上时，实现了如图22所示的投影仪堆叠的投影图像2201。投影图像2201是保持适于用户A的运动视差的效果的图像。
此外，当使用用于前景图像投影的第二投影仪2200将针对用户B的前景图像2000叠加在背景图像1800上时，实现了如图23所示的投影仪堆叠的投影图像2300。投影图像2301是保持适于用户B的运动视差的效果的图像。
因此，使用用于背景图像投影的第一投影仪2100将用户A和用户B共用的背景图像1800不断地投影并显示在房间的墙表面1700上。使用用于前景图像投影的第二投影仪2200以时分方式将对于用户A和用户B不同的前景图像1900或2000投影在房间的墙表面1700上，并且交替叠加并显示在背景图像1800上。
在图21至图23中，为了简化起见，仅描绘了一个第一投影仪2100和一个第二投影仪2200，但是在以广角显示图像的情况下，第一投影仪2100和第二投影仪2200可以各自由多个投影仪组成。
图24示出了第一投影仪2100的操作示例。图25示出了第二投影仪2200的操作示例。如图24所示，第一投影仪2100将针对每一帧生成的背景图像1800不断地投影并显示在房间的墙表面1700上。另一方面，如图25所示，第二投影仪1712将帧周期T划分成两个区间，并且在每个帧周期内，在0至T/2的区间与T/2至T的区间之间依次切换要投影在墙表面1700上的图像。在帧周期T的前半部分的0至T/2的区间中，将保持与用户A的位置、姿势和视线对应的运动视差的效果的前景图像1900投影。在帧周期T的后半部分的T/2至T的区间中，将保持与用户B的位置、姿势和视线对应的运动视差的效果的前景图像2000投影。
用户A和用户B通过佩戴与切换到针对他自己/她自己的前景图像1900或2000同步地打开和关闭的快门眼镜来观察真实环境。因此，用户A和用户B可以观看在用户共用的背景图像上叠加有最佳前景图像的VR图像。最佳前景图像是保持针对每个用户的运动视差的效果的前景图像，并且用户A和用户B可以拥有更完美的VR体验。
在图17至图25中，示出了以下示例，在该示例中将原始内容分成两种类型，即用户共用的背景和针对每个用户的前景，并且使用两个投影仪叠加并显示背景图像和前景图像。作为修改例，可以考虑将原始内容分成背景、中景和前景这三种类型的方法。在这种情况下，不仅前景而且中景也具有由于针对每个用户的运动视差而产生的不同效果，并且由于运动视差而产生的效果对于前景和中景是不同的。因此，与前景图像类似地生成针对每个用户的中景图像。在真实环境中，除了用于背景投影图像的第一投影仪和用于前景图像投影的第二投影仪之外，还安装了用于中景图像投影的第三投影仪。然后，第三投影仪与前景图像的切换同步地以时分方式投影并显示保持针对每个用户的运动视差的效果的中景图像。因此，每个用户通过佩戴与针对他自己/她自己的前景图像和中景图像的切换同步地打开和关闭的快门眼镜来观察真实环境。以这种方式，每个用户可以观察保持与用户的当前位置、姿势和视线对应的运动视差的效果的VR图像，并且拥有更完美的VR体验。
也可以设想投影图像是运动图像并且图像中的对象移动。例如，当被摄体是诸如汽车的移动对象时，相对于观察的用户的相对位置随时间变化。因此，可以设想随着时间的推移，背景切换到前景或者前景切换到背景。由于在背景中行驶的汽车的运动视差而引起的变化小，但由于在前景中行驶的汽车的运动视差引起的变化大。
图26示出了在用户A和用户B的视野交叠的区域中从远方朝向前方行驶的汽车2601的图像。在该时间点，汽车2601属于背景，并且汽车2601的运动视差对于用户A和用户B是小的。因此，可以使用用于背景图像投影的第一投影仪不断地投影并显示图26所示的图像。
图27示出了汽车2601继续朝向前方行驶并到达前景区域的图像。在该时间点，汽车2601的运动视差对于用户A和用户B是大的。因此，针对每一帧基于用户A的位置、姿势和视线来计算汽车2601的运动视差，并且生成包括汽车2601的针对用户A的前景图像。然后，使用用于前景图像投影的第二投影仪2802，将包括汽车2601的前景图像叠加并投影在由用于背景图像投影的第一投影仪2801投影的背景图像上。以这种方式，如图28所示，可以显示保持适于用户A的运动视差的效果的投影图像。
类似地，针对每一帧基于用户B的位置、姿势和视线来计算汽车2601的运动视差，并且生成包括汽车2601的针对用户B的前景图像。然后，使用用于前景图像投影的第二投影仪2802，将包括汽车2601的前景图像叠加并投影在由用于背景图像投影的第一投影仪2801投影的背景图像上。以这种方式，如图29所示，可以显示保持适于用户B的运动视差的效果的投影图像。
因此，使用第一投影仪2801不断地投影并显示用户A和用户B共用的背景图像。使用第二投影仪2802，以时分方式投影对于用户A和用户B不同的前景图像并将其交替叠加并显示在背景图像上。图30示出了投影前景图像的第二投影仪2802的操作示例。未示出第一投影仪2801的操作，但是第一投影仪2801不断地投影并显示背景图像。在图30中，为了方便起见，将汽车2601到达前景的定时设置为时刻0。然后，第二投影仪2802在每个帧周期内在0至T/2的区间与T/2至T的区间之间依次切换要被叠加并投影在真实环境中的背景图像上的图像。在帧周期T的前半部分的0至T/2的区间中，将保持与用户A的位置、姿势和视线对应的运动视差的效果的汽车2601的图像(参见图28)投影。在帧周期T的后半部分的T/2至T的区间中，将保持与用户B的位置、姿势和视线对应的运动视差的效果的汽车2601的图像(参见图29)投影。
用户A和用户B通过佩戴与切换到针对他自己/她自己的前景图像同步地打开和关闭的快门眼镜，来观察真实环境。因此，用户A和用户B可以观看在用户共用的背景图像上叠加对于每个用户最佳的汽车2601的前景图像的VR图像。最佳前景图像是保持针对每个用户的运动视差的效果的前景图像，并且用户A和用户B可以拥有更完美的VR体验。
在图28和图29中，为了简化起见，仅描绘了一个第一投影仪2801和一个第二投影仪2802，但是在以广角显示图像的情况下，第一投影仪2801和第二投影仪2802可以各自由多个投影仪组成。
在上文中，已经描述了执行投影仪堆叠以显示前景图像的示例，在该前景图像中，针对每个用户给出了运动视差的效果。作为修改例，即使不存在运动视差的效果，也可以使用投影仪堆叠将为每个用户准备的单独前景图像叠加在用户共用的背景图像上。
图31示出了投影仪堆叠的显示示例，其中以时分方式将为每个用户准备的单独前景图像3101、3102和3103叠加在用户A、B和C共用的背景图像3100上。在所示的示例中，背景图像3100是在舞台上的发言者进行演讲的图像，并且前景图像3101、3102和3103是为每个用户准备的发言者的面部图像。图32示出了在背景图像3100中的发言者的面部上叠加针对用户A的面部图像3101的状态。图33示出了在背景图像3100中的发言者的面部上叠加针对用户B的面部图像3102的状态，并且图34示出了在背景图像3100中的发言者的面部上叠加针对用户C的面部图像3103的状态。基于诸如每个用户的偏好和兼容性的预定逻辑来确定要为用户A、B和C中的每个用户准备的面部图像，但将省略其细节。
使用第一投影仪3111不断地投影并显示背景图像3100。此外，使用第二投影仪3112，以时分方式将为每个用户准备的单独前景图像3101、3102和3103叠加并投影在背景图像3100上。图35示出了第二投影仪3112的操作示例。第二投影仪3112将帧周期T划分成三个区间，并且在每个帧周期内在0至T/3的区间、T/3至2T/3的区间和2T/3至T的区间之间依次切换要投影的图像。在帧周期T的0至T/3的第一区间中，第二投影仪3112将针对用户A的前景图像3101叠加并投影在背景图像3100上。在T/3至2T/3的后续区间中，第二投影仪3112将针对用户B的前景图像3102叠加并投影在背景图像3100上。在2T/3至T的后续区间中，第二投影仪3112将针对用户C的前景图像3103叠加并投影在背景图像3100上。
用户A至C通过佩戴与切换到针对他自己/她自己的前景图像3101至3103同步地打开和关闭的快门眼镜来观察真实环境。因此，用户A至C可以观看在用户共用的背景图像上叠加最佳前景图像的VR图像。
在图31至图34中，为了简化起见，仅描绘了一个第一投影仪3111和一个第二投影仪3112，但是在以广角显示图像的情况下，第一投影仪3111和第二投影仪3112可以各自由多个投影仪组成。
图36示出了执行用于实现投影仪堆叠的处理的图像处理设备3600的功能配置示例。所示的图像处理设备3600包括内容接收单元3601、用户信息获取单元3602、视野估计单元3603、交叠区域确定单元3604、发送单元3605和内容处理单元3610。内容处理单元3610包括对象分类单元3611、共用图像生成单元3612、单独图像生成单元3613和输出协议确定单元3614。图像处理设备3600可以使用诸如个人计算机(PC)的信息处理设备来配置。
内容接收单元3601从诸如云上的流分发服务器或记录介质的内容源接收内容的流数据。内容接收单元3601例如包括诸如Wi-Fi(注册商标)、以太网(注册商标)、HDMI(注册商标)(高清晰度多媒体接口)的通信接口。
用户信息获取单元3602执行获取每个用户的信息的处理，每个用户观察要经受通过图像处理设备3600进行的投影映射或投影仪堆叠的投影图像。用户信息获取单元3602获取例如用于指定每个用户的视野的诸如位置、姿势和视野的信息。用户信息获取单元3602可以获取每个用户的简档信息和敏感信息，以将单独前景图像分配给每个用户。用户信息获取单元3602可以配备有一个或更多个传感器设备，以获取上述用户信息。
视野估计单元3603基于由用户信息获取单元3602获取的用户信息(例如，诸如每个用户的位置、姿势和视野的信息)，来估计每个用户的视野区域。
交叠区域确定单元3604基于由视野估计单元3603估计的每个用户的视野区域，来确定是否存在用户的视野交叠的交叠区域，并且进一步识别交叠区域的范围。
当交叠区域确定单元3604确定用户的视野交叠时，对象分类单元3611将由内容接收单元3601接收的原始内容中包括的对象(被摄体)中的包括在交叠区域中的对象分类成第一对象组和第二对象组。第一对象组是存在于远离用户的位置的背景中并且在用户之间具有小的运动视差的对象组。另一方面，第二对象组是存在于靠近用户的位置的前景中并且在用户之间具有大的运动视差的对象组。针对每一帧执行对象属于背景还是属于前景的确定。
共用图像生成单元3612根据用户的视野交叠的交叠区域中的原始内容，生成用户共用的并且由存在于背景中的第一对象组的对象组成的背景图像。由共用图像生成单元3612生成的背景图像经由发送单元3605输出至第一投影仪3620。
单独图像生成单元3613根据用户的视野交叠的交叠区域中的原始内容，生成对于每个用户不同的并且由存在于前景中的第二对象组的对象组成的前景图像。当用户的视野不交叠时，单独图像生成单元3613根据原始内容来生成与每个用户的视野对应的单独图像。由单独图像生成单元3613生成的针对每个用户的单独图像经由发送单元3605输出至第二投影仪3630。
第一投影仪3620将由共用图像生成单元3612生成的用户共用的背景图像投影在诸如房间的墙表面的真实环境上。第二投影仪3630将由单独图像生成单元3613生成的针对每个用户的单独图像投影在诸如房间的墙表面的真实环境上。当每个用户的单独图像交叠时，第二投影仪3630根据由输出协议确定单元3614确定的输出协议以时分方式切换并输出单独图像。
第一投影仪3620和第二投影仪3630两者测量诸如房间的墙表面的真实环境中的投影表面的三维形状，并通过根据测量结果校正投影图像来执行投影无失真图像的投影映射。
输出协议确定单元3614确定用于将由单独图像生成单元3613生成的针对每个用户的单独图像输出至第二投影仪3630的协议。输出协议确定单元3614确定用于将由单独图像生成单元3613生成的针对每个用户的单独图像投影仪堆叠在由共用图像生成单元3612生成的用户共用的共用图像上的输出协议。当从第二投影仪3630投影多个交叠的单独图像时，输出协议确定单元3614确定用于以时分方式切换并输出单独图像的协议。输出协议确定单元3614将确定的输出协议经由发送单元3605输出至第二投影仪3630和每个用户的快门眼镜(未示出)。
发送单元3605设置有诸如Wi-Fi(注册商标)、以太网(注册商标)和HDMI(注册商标)的通信接口。
图37以流程图的形式示出了图36所示的图像处理设备3600执行投影映射或投影仪堆叠的处理过程。例如，当图像处理设备3600经由内容接收单元3601接收到要经受投影映射或投影仪堆叠的内容时，激活该处理过程。
用户信息获取单元3602执行获取每个用户的信息的处理，每个用户观察要经受通过图像处理设备3600进行的投影映射或投影仪堆叠的投影图像(步骤S3701)。在该示例中，假设用户信息获取单元3602获取诸如用于指定每个用户的视野的位置、姿势和视野的信息。
接下来，视野估计单元3603基于由用户信息获取单元3602获取的诸如每个用户的位置、姿势和视野的信息，来估计每个用户的视野区域(步骤S3702)。
交叠区域确定单元3604基于由视野估计单元3603估计的每个用户的视野区域，来确定是否存在用户的视野交叠的交叠区域(步骤S3703)。然后，当交叠区域确定单元3604确定存在交叠区域时，交叠区域确定单元3604进一步指定交叠区域的范围。
当交叠区域确定单元3604确定用户的视野交叠(在步骤S3703中为“是”)时，对象分类单元3611将由内容接收单元3601接收的原始内容中包括的对象(被摄体)之中的在交叠区域中包括的对象分类成第一对象组和第二对象组(步骤S3705)。针对每一帧执行对象属于背景还是属于前景的确定。
然后，共用图像生成单元3612根据用户的视野交叠的交叠区域中的原始内容，来生成用户共用的、由存在于背景中的第一对象组的对象组成的背景图像。单独图像生成单元3613根据用户的视野交叠的交叠区域中的原始内容，来生成对于每个用户不同的、由存在于前景中的第二对象组的对象组成的前景图像(步骤S3705)。
另一方面，当交叠区域确定单元3604确定用户的视野不交叠(在步骤S3703中为“否”)时，单独图像生成单元3613根据原始内容来生成与每个用户的视野对应的单独图像(步骤S3708)。此时，不执行由对象分类单元3611进行的对象分类处理。此外，由于不存在交叠区域，因此共用图像生成单元3612不执行生成交叠区域中的共用图像的处理。
接下来，输出协议确定单元3614确定用于将由单独图像生成单元3613针对每个用户生成的单独图像输出至第二投影仪3630的协议(步骤S3706)。
然后，将由共用图像生成单元3612生成的背景图像经由发送单元3605输出至第一投影仪3620。由单独图像生成单元3613生成的针对每个用户的单独图像经由发送单元3605输出至第二投影仪3630。输出协议确定单元3614将确定的输出协议经由发送单元3605输出至第二投影仪3630和每个用户的快门眼镜(未示出)(步骤S3707)。
第一投影仪3620将由共用图像生成单元3612生成的用户共用的背景图像投影在诸如房间的墙表面的真实环境上。第二投影仪3630将由单独图像生成单元3613生成的针对每个用户的单独图像投影在诸如房间的墙表面的真实环境上。当每个用户的单独图像交叠时，第二投影仪3630根据由输出协议确定单元3614确定的输出协议以时分方式切换并输出单独图像。
通过以这种方式使用第一投影仪3620和第二投影仪3630对由图像处理设备3600处理的图像执行投影映射和投影仪堆叠，即使在用户的视野交叠时，每个用户也可以在不受其他用户的VR图像干扰的情况下拥有完美的VR体验。此时，用户无需佩戴诸如头戴式显示器的重的对象，并且仅需要佩戴重量轻的快门眼镜即可。
工业适用性
以上已经参考具体实施方式详细描述了根据本公开内容的技术。然而，对于本领域技术人员明显的是，可以在不脱离根据本公开内容的技术的主旨的情况下在实施方式中进行修改、替换等。
当在各种真实环境中向多个用户呈现VR内容时，可以应用根据本公开内容的技术。
简言之，已经以示例的形式描述了根据本公开内容的技术，并且不应以限制的方式解释本说明书的内容。应当考虑权利要求来确定根据本公开内容的技术的主旨。
本公开内容中公开的技术也可以按如下配置。
(1)一种对要向多个用户显示的内容执行处理的图像处理设备，所述图像处理设备包括：
用户信息获取单元，其获取关于每个用户的信息；
分类单元，其基于所述关于每个用户的信息来指定两个或更多个用户的视野交叠的交叠区域，并且将包括在所述交叠区域中的对象分类成第一对象组和第二对象组；
生成单元，其生成所有用户共用的由所述第一对象组构成的共用图像，以及生成对于每个用户不同的由所述第二对象组构成的单独图像；以及
确定单元，其确定用于显示所述单独图像的输出协议。
(2)根据(1)所述的图像处理设备，其中，
所述分类单元将包括在所述交叠区域中的对象分类成存在于背景中的所述第一对象组和作为针对至少一些用户的前景的所述第二对象组，并且
所述生成单元生成包括所述第一对象组的背景图像作为共用图像，并且生成包括所述第二对象组的针对每个用户的前景图像作为单独图像。
(3)根据(2)所述的图像处理设备，其中，
所述生成单元生成单独前景图像，在所述单独前景图像中，包括在所述第二对象组中的每个对象具有针对每个用户的运动视差的效果。
(4)根据(2)所述的图像处理设备，其中，
所述生成单元生成包括所述第二对象组中的分配给每个用户的对象的单独图像。
(5)根据(1)至(4)中任一项所述的图像处理设备，其中，
所述用户信息获取单元获取用于指定每个用户的视野的信息。
(6)根据(1)至(5)中任一项所述的图像处理设备，其中，
所述用户信息获取单元获取关于每个用户的位置和视线的信息，并且
所述分类单元基于每个用户与每个对象之间的距离来执行所述分类。
(7)根据(1)至(6)中任一项所述的图像处理设备，其中，
将所述共用图像输出至第一显示设备，并且将针对每个用户的单独图像输出至第二显示设备。
(8)根据(1)至(7)中任一项所述的图像处理设备，还包括输出所述共用图像的第一显示设备和输出针对每个用户的单独图像的第二显示设备中的至少一个。
(9)根据(7)或(8)所述的图像处理设备，其中，
所述第一显示设备和所述第二显示设备中的至少一个是投影仪。
(10)根据(1)至(9)中任一项所述的图像处理设备，其中，
所述确定单元确定与用于以时分方式输出所述单独图像的定时有关的输出协议。
(11)根据根据(1)至(10)中任一项所述的图像处理设备，还包括用于将所述输出协议通知给由每个用户使用的设备的通信单元。
(12)一种对要向多个用户显示的内容执行处理的图像处理方法，所述图像处理方法包括：
用户信息获取步骤，其获取关于每个用户的信息；
分类步骤，其基于所述关于每个用户的信息来指定两个或更多个用户的视野交叠的交叠区域，并且将包括在所述交叠区域中的对象分类成第一对象组和第二对象组；
生成步骤，其生成所有用户共用的由所述第一对象组构成的共用图像，以及生成对于每个用户不同的由所述第二对象组构成的单独图像；以及
确定步骤，其确定用于显示所述单独图像的输出协议。
(13)一种图像显示系统，包括：
图像处理设备，其基于关于每个用户的信息来指定两个或更多个用户的视野交叠的交叠区域，将包括在所述交叠区域中的对象分类成第一对象组和第二对象组，生成所有用户共用的由所述第一对象组构成的共用图像，生成对于每个用户不同的由所述第二对象组构成的单独图像，并且将用于显示所述单独图像的输出协议通知给由每个用户使用的快门眼镜；
输出所述共用图像的第一显示设备；
输出每个用户的单独图像的第二显示设备；以及
由每个用户使用的快门眼镜。
附图标记列表
3600 图像处理设备
3601 内容接收单元
3602 用户信息获取单元
3603 视野估计单元
3604 交叠区域确定单元
3605 发送单元
3610 内容处理单元
3611 对象分类单元
3612 共用图像生成单元
3613 单独图像生成单元
3614 输出协议确定单元
3620 第一投影仪
3630 第二投影仪。

Claims (13)

1.一种对要向多个用户显示的内容执行处理的图像处理设备，所述图像处理设备包括：
用户信息获取单元，其获取关于每个用户的信息；
分类单元，其基于所述关于每个用户的信息来指定两个或更多个用户的视野交叠的交叠区域，并且将包括在所述交叠区域中的对象分类成第一对象组和第二对象组；
生成单元，其生成所有用户共用的由所述第一对象组构成的共用图像，以及生成对于每个用户不同的由所述第二对象组构成的单独图像；以及
确定单元，其确定用于显示所述单独图像的输出协议。
2.根据权利要求1所述的图像处理设备，其中，
所述分类单元将包括在所述交叠区域中的对象分类成存在于背景中的所述第一对象组和作为针对至少一些用户的前景的所述第二对象组，并且
所述生成单元生成包括所述第一对象组的背景图像作为共用图像，并且生成包括所述第二对象组的针对每个用户的前景图像作为单独图像。
3.根据权利要求2所述的图像处理设备，其中，
所述生成单元生成单独前景图像，在所述单独前景图像中，包括在所述第二对象组中的每个对象具有针对每个用户的运动视差的效果。
4.根据权利要求2所述的图像处理设备，其中，
所述生成单元生成包括所述第二对象组中的分配给每个用户的对象的单独图像。
5.根据权利要求1所述的图像处理设备，其中，
所述用户信息获取单元获取用于指定每个用户的视野的信息。
6.根据权利要求1所述的图像处理设备，其中，
所述用户信息获取单元获取关于每个用户的位置和视线的信息，并且
所述分类单元基于每个用户与每个对象之间的距离来执行所述分类。
7.根据权利要求1所述的图像处理设备，其中，
将所述共用图像输出至第一显示设备，并且将针对每个用户的单独图像输出至第二显示设备。
8.根据权利要求1所述的图像处理设备，还包括输出所述共用图像的第一显示设备和输出针对每个用户的单独图像的第二显示设备中的至少一个。
9.根据权利要求7所述的图像处理设备，其中，
所述第一显示设备和所述第二显示设备中的至少一个是投影仪。
10.根据权利要求1所述的图像处理设备，其中，
所述确定单元确定与用于以时分方式输出所述单独图像的定时有关的输出协议。
11.根据权利要求1所述的图像处理设备，还包括用于将所述输出协议通知给由每个用户使用的设备的通信单元。
12.一种对要向多个用户显示的内容执行处理的图像处理方法，所述图像处理方法包括：
用户信息获取步骤，其获取关于每个用户的信息；
分类步骤，其基于所述关于每个用户的信息来指定两个或更多个用户的视野交叠的交叠区域，并且将包括在所述交叠区域中的对象分类成第一对象组和第二对象组；
生成步骤，其生成所有用户共用的由所述第一对象组构成的共用图像，以及生成对于每个用户不同的由所述第二对象组构成的单独图像；以及
确定步骤，其确定用于显示所述单独图像的输出协议。
13.一种图像显示系统，包括：
图像处理设备，其基于关于每个用户的信息来指定两个或更多个用户的视野交叠的交叠区域，将包括在所述交叠区域中的对象分类成第一对象组和第二对象组，生成所有用户共用的由所述第一对象组构成的共用图像，生成对于每个用户不同的由所述第二对象组构成的单独图像，并且将用于显示所述单独图像的输出协议通知给由每个用户使用的快门眼镜；
输出所述共用图像的第一显示设备；
输出每个用户的单独图像的第二显示设备；以及
由每个用户使用的快门眼镜。
CN202080071761.XA 2019-11-29 2020-10-06 图像处理设备、图像处理方法和图像显示系统 Pending CN114556914A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019216706 2019-11-29
JP2019-216706 2019-11-29
PCT/JP2020/037926 WO2021106379A1 (ja) 2019-11-29 2020-10-06 画像処理装置及び画像処理方法、並びに画像表示システム

Publications (1)

Publication Number Publication Date
CN114556914A true CN114556914A (zh) 2022-05-27

Family

ID=76129507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080071761.XA Pending CN114556914A (zh) 2019-11-29 2020-10-06 图像处理设备、图像处理方法和图像显示系统

Country Status (4)

Country Link
US (1) US20230007231A1 (zh)
JP (1) JPWO2021106379A1 (zh)
CN (1) CN114556914A (zh)
WO (1) WO2021106379A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201710646A (zh) * 2015-09-02 2017-03-16 湯姆生特許公司 描繪大視場內容一部份時，決定導航資訊之方法和裝置，以及大視場內容描繪器
JP2023011262A (ja) * 2021-07-12 2023-01-24 トヨタ自動車株式会社 仮想現実シミュレータ及び仮想現実シミュレーションプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3988601B2 (ja) * 2002-09-27 2007-10-10 株式会社セガ 視野角に対応した表示を行う画像表示装置を用いるゲーム画像の生成方法、ゲームの実行を制御するゲームプログラム及びこれを実行するゲーム装置
US8305488B2 (en) * 2006-05-10 2012-11-06 Universal City Studios Llc Time-sliced multiplexed image display
US11343487B2 (en) * 2013-10-31 2022-05-24 David Woods Trackable glasses system for perspective views of a display
US10338392B2 (en) * 2016-06-13 2019-07-02 Microsoft Technology Licensing, Llc Identification of augmented reality image display position
US10573056B2 (en) * 2017-03-06 2020-02-25 3D Patents, Llc Multi-view processing unit systems and methods
US10430147B2 (en) * 2017-04-17 2019-10-01 Intel Corporation Collaborative multi-user virtual reality
EP4030753A1 (en) * 2017-08-23 2022-07-20 InterDigital Madison Patent Holdings, SAS Light field image engine method and apparatus for generating projected 3d light fields
JP2021121878A (ja) * 2018-05-16 2021-08-26 ソニーグループ株式会社 情報処理装置、情報処理方法、および記録媒体
US10764564B2 (en) * 2018-12-18 2020-09-01 Disney Enterprises Inc. User tracking stereoscopic image display system
US10789912B2 (en) * 2018-12-20 2020-09-29 Intel Corporation Methods and apparatus to control rendering of different content for different view angles of a display
US10855965B1 (en) * 2019-06-28 2020-12-01 Hong Kong Applied Science and Technology Research Institute Company, Limited Dynamic multi-view rendering for autostereoscopic displays by generating reduced number of views for less-critical segments based on saliency/depth/eye gaze map

Also Published As

Publication number Publication date
JPWO2021106379A1 (zh) 2021-06-03
WO2021106379A1 (ja) 2021-06-03
US20230007231A1 (en) 2023-01-05

Similar Documents

Publication Publication Date Title
JP7170736B2 (ja) 双方向性拡張または仮想現実装置
US11010958B2 (en) Method and system for generating an image of a subject in a scene
US9928655B1 (en) Predictive rendering of augmented reality content to overlay physical structures
US10365711B2 (en) Methods, systems, and computer readable media for unified scene acquisition and pose tracking in a wearable display
JP5237066B2 (ja) 複合現実感提示システムおよび複合現実感提示方法、プログラム
EP1296173B1 (en) Multiple sharing type display device
JPWO2017183346A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2017141511A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
CN114556914A (zh) 图像处理设备、图像处理方法和图像显示系统
KR20160094190A (ko) 시선 추적 장치 및 방법
CN111226187A (zh) 通过镜子与用户交互的系统和方法
JP2011077710A (ja) 映像コミュニケーションシステム、及び映像コミュニケーション方法
US11995776B2 (en) Extended reality interaction in synchronous virtual spaces using heterogeneous devices
CN114830182A (zh) 视觉惯性里程计的重力估计和光束法平差
WO2019142560A1 (ja) 視線を誘導する情報処理装置
US8730320B2 (en) Lighting apparatus
CN110969706B (zh) 增强现实设备及其图像处理方法、系统以及存储介质
EP3465631B1 (en) Capturing and rendering information involving a virtual environment
EP4207067A1 (en) Apparatus and method for virtual reality
EP4113982A1 (en) Method for sensing and communicating visual focus of attention in a video conference
JP2014086773A (ja) 映像コミュニケーションシステム及び映像コミュニケーション方法
JP3088326B2 (ja) 立体映像表示装置
JP6562371B1 (ja) 表示装置、表示処理装置、および表示処理プログラム
JP5520774B2 (ja) コミュニケーション装置、コミュニケーション方法、及びプログラム
WO2023040551A1 (zh) 一种在显示屏上显示图像的方法、电子设备与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination