CN108141565A - 信息处理设备及信息处理方法 - Google Patents

信息处理设备及信息处理方法 Download PDF

Info

Publication number
CN108141565A
CN108141565A CN201680055341.6A CN201680055341A CN108141565A CN 108141565 A CN108141565 A CN 108141565A CN 201680055341 A CN201680055341 A CN 201680055341A CN 108141565 A CN108141565 A CN 108141565A
Authority
CN
China
Prior art keywords
equipment
entity
image
dummy
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680055341.6A
Other languages
English (en)
Inventor
笠原俊
笠原俊一
历本纯
历本纯一
木村淳
白井太三
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108141565A publication Critical patent/CN108141565A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H04L65/1089—In-session procedures by adding media; by removing media
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明使得可以在提供第一人称图像的用户和观看第一人称图像的用户之间进行匹配。表明每个实体的当前位置的图标显示在当前指定的范围的地图上。虚拟体可以通过借助于如触摸或点击的UI操作指定期望的位置处的图标来选择要接入的实体。此外，如果将限定行为的关键词等输入到搜索栏中，则仅显示根据行为提取的实体。当选择被确认时，将接入请求从虚拟体传送到选择的实体。

Description

信息处理设备及信息处理方法
技术领域
本说明书中公开的技术涉及用于进行用户之间的匹配的信息处理设备和信息处理方法，并涉及例如用于在提供第一人称视角的用户和观看第一人称视角的用户之间进行匹配的信息处理设备和信息处理方法。
背景技术
已知允许用户访问由用户以外的人/物体看到的景象(由用户以外的移动体看到的景象)的技术。
例如，已经提出了移动照相机系统，其远程获得由安装在如车辆的移动体上的移动照相机捕获的照片(例如，见专利文献1)。此外，已经提出了图像处理系统，其向佩戴头戴式显示器的人提供与由佩戴包括成像感测无线设备的眼镜的人获得的视觉信息相似的信息(例如，见专利文献2)。此外，已经提出了图像显示系统，其中，用于显示移动体的捕获图像的显示设备指定，相对于移动体的成像设备，捕获图像的视点位置和视线方向以及捕获图像时的速度(例如，见专利文献3)。
此外，还提出了远程呈现技术，用于通过如远程位置的机器人的视觉感应的间隔来发送人感到的感觉，如同该人在现场一样，并且提供用于操作远程位置的对象的界面(例如，见专利文献4)。
现有技术文献
专利文献
专利文献1：JP 2006-186645A
专利文献2：JP 2004-222254A
专利文献3：JP2008-154192A
专利文献4：JP 2014-522053T
专利文献5：JP2014-104185A
发明内容
技术问题
本说明书中公开的技术的目的是提供能够进行用户之间的匹配的优异的信息处理设备和信息处理方法。
问题解决方案
鉴于上述问题设计了本说明书中公开的技术，其第一方面是信息处理设备，包括：控制单元，配置为根据第一设备和第二设备中的哪个采取主动，来控制发送图像的第一设备和接收图像的第二设备之间的连接。
根据本说明书中公开的技术的第二方面，在其中第一设备采取主动与第二设备建立连接的情况下，根据第一方面的信息处理设备的控制单元配置为接收来自第二设备的连接请求，通知处于待机状态的第一设备，并且使得从第一设备到第二设备的图像传输开始。
根据本说明书中公开的技术的第三方面，在其中第二设备采取主动与第一设备建立连接的情况下，根据第一方面的信息处理设备的控制单元配置为通知第一设备来自第二设备的连接请求，并且使得从第一设备到第二设备的图像传输开始。
根据本说明书中公开的技术的第四方面，在其中多个第二设备采取主动与第一设备建立连接的情况下，仅在其中连接请求满足预定的开始条件的情况下，根据第一方面的信息处理设备的控制单元配置为通知第一设备来自多个第二设备的连接请求，并且使得从第一设备到多个第二设备的图像传输开始。
根据本说明书中公开的技术的第五方面，根据第一方面的信息处理设备的控制单元配置为控制从第一设备到第二设备的图像传输的开始以及第二设备对第一设备的干预。
本说明书中公开的技术的第六方面是信息处理方法，包括：控制步骤，其根据第一设备和第二设备中的哪个采取主动，来控制发送图像的第一设备和接收图像的第二设备之间的连接。
另外，本说明书中公开的技术的第七方面是信息处理设备，包括：选择单元，其配置为基于第一设备的位置信息来选择第一设备，第一设备将图像发送到第二设备。
根据本说明书中公开的技术的第八方面，根据第七方面的信息处理设备的选择单元配置为呈现出显示第一设备在地图上的位置的UI。
根据本说明书中公开的技术的第九方面，根据第七方面的信息处理设备的选择单元配置为进一步考虑用户的行为来选择第一设备。
根据本说明书中公开的技术的第十方面，根据第八方面的信息处理设备的选择单元配置为在UI上仅呈现第一设备，第一设备是基于用户的行为来提取的。
根据本说明书中公开的技术的第十一方面，根据第八方面的信息处理设备的选择单元配置为在UI上仅呈现第一设备，第一设备是基于用户的行为来提取的。
根据本说明书中公开的技术的第十二方面，根据第八方面的信息处理设备的选择单元配置为在UI上呈现关于第一设备中的干预的信息。
另外，本说明书中公开的技术的第十三方面是信息处理方法，包括：选择步骤，其基于第一设备的位置信息来选择第一设备，第一设备将图像发送到第二设备。
另外，本说明书中公开的技术的第十四方面是信息处理设备，包括：选择单元，其配置为基于第一设备的用户的行为选择第一设备，第一设备将图像发送到第二设备。
根据本说明书中公开的技术的第十五方面，根据第十四方面的信息处理设备的选择单元配置为呈现示出关于由第一设备发送的图像的信息的UI。
根据本说明书中公开的技术的第十六方面，根据第十五方面的信息处理设备的选择单元配置为在UI上呈现关于第一设备或第一设备的用户的信息。
根据本说明书中公开的技术的第十七方面，根据第十五方面的信息处理设备的选择单元配置为在UI上仅呈现图像，图像发送自基于用户的行为提取的第一设备。
另外，本说明书中公开的技术的第18方面是信息处理方法，包括：选择步骤，其基于第一设备的用户行为来选择第一设备，第一设备将图像发送到第二设备。
另外，本说明书中公开的技术的第十九方面是信息处理设备，包括：选择单元，其配置为基于关于第二设备或第二设备的用户的信息来选择第一设备向其发送图像的第二设备。
根据本说明书中公开的技术的第二十方面，根据第十九方面的信息处理设备的选择单元配置为呈现示出关于第二设备或第二设备的用户的信息的UI。
发明效果
根据本说明书中公开的技术，可以提供能够进行用户之间的匹配的优异的信息处理设备和信息处理方法。
应注意，在本说明书中描述的有利效果仅仅是为了示例的目的，并且本发明的有利效果不限于此。此外，在一些情况下，除了上面给出的有利效果之外，本发明还可以表现出另外的有利效果。
本说明书中公开的技术的其他目的、特征和优点将通过基于下文讨论的示例性实施例和附图的更详细的描述来阐明。
附图说明
[图1]图1示出应用本说明书中公开的技术所应用的视觉信息共享系统100的概览。
[图2]图2示意性地示出1到N的网络拓扑。
[图3]图3示意性地示出N到1的网络拓扑。
[图4]图4示意性地示出了N到N的网络拓扑。
[图5]图5示出图像提供设备101和图像显示设备102的功能配置实例。
[图6]图6示意性地示出实体(Body)主动开始的开始流程。
[图7]图7示意性地示出虚拟体(Ghost)主动开始的开始流程。
[图8]图8示出用于选择实体的UI显示实例。
[图9]图9示出用于选择实体的UI显示实例。
[图10]图10示出用于选择实体的UI显示实例。
[图11]图11示出用于选择实体的UI显示实例。
[图12]图12示出用于选择实体的UI显示实例。
[图13]图13例示在实体选择UI上显示的标签。
[图14A]图14A示出用于选择实体的UI显示实例。
[图14B]图14B示出用于选择实体的UI显示实例。
[图15]图15示出允许实体选择虚拟体的UI实例。
具体实施方式
在下文中，将参照附图详细描述本说明书中公开的技术的实施方式。
A.系统配置
图1示出应用本说明书中公开的技术的视觉信息共享系统100的概况。图1所示的视觉信息共享系统100通过组合图像提供设备101和图像显示设备102来配置，图像提供设备101用于提供通过捕获现场的图像而获得的图像，图像显示设备102用于显示由图像提供设备101提供的图像。
图像提供设备101具体地包括安装在实际在现场行动的观察者111头部上的装备有照相机的透视头戴式显示器。此处的“透视”头戴式显示器基本上是透光的，但也可以是视频透视的头戴式显示器。头戴式显示器提供的相机捕获观看者111的大致视线方向的图像并且提供其第一人称视角(FPV)。
同时，设想图像显示设备102与现场，即与图像提供设备101分开布置，并且设想图像提供设备101和图像显示设备102通过网络彼此通信。这里的术语“分开”不仅包括远程位置，而且还包括其中图像提供设备101和图像显示设备102在同一房间中稍微(例如，大约几米)分离的情况。此外，设想图像提供设备101和图像显示设备102也通过服务器(未示出)交换数据。
例如，图像显示设备102是由不在现场(捕获图像的观看者)的人112佩戴的头戴式显示器。通过使用沉浸式头戴式显示器作为图像显示设备102，观看者112可以更加真实地体验与观看者111相同的景象。然而，透视头戴式显示器可以用作图像显示设备102。
此外，图像显示设备102不限于头戴式显示器，并且也可以是例如腕表式显示器。可替换地，图像显示设备102不需要是可穿戴终端，并且可以是如智能电话或平板电脑的多功能信息终端、如计算机屏幕或电视接收机的通用监视器显示器、游戏主机、用于在屏幕上投影图像的投影仪等。
因为观察者111实际上在现场并且与他/她的身体一起行动，所以作为图像提供设备101的用户(或图像提供设备101)的观察者111在下文中也称为“实体(Body)”。同时，观看者112不会随着他/她的身体在现场行动，而是通过观看观察者111的第一人称视角察觉到在现场，因此，作为图像显示设备102的用户(或图像显示设备102)的观看者112在下文中也称为“虚拟体(Ghost)”。
实体将自己的周边情况传输给虚拟体，并进一步与虚拟体共享该情况。虚拟体中的一个与实体通信，并且因此可以由分开的位置实现交互如操作支持。将虚拟体沉浸到实体的第一人称体验中以允许虚拟体在视觉信息共享系统100中进行交互在下文中也称为“接入(JackIn)”。接入的开始流程大致分为其中实体主动进行接入(实体主动开始)的情况和虚拟体主动进行接入的情况(虚拟体主动开始)。接入开始流程的细节将在下面描述。
视觉信息共享系统100基本上具有将第一人称视角从实体传送到虚拟体以允许虚拟体观看及体验第一人称视角的功能，以及允许实体和虚拟体彼此通信的功能。通过使用后一种通信功能，虚拟体可以在远方位置通过干预与实体互动，如允许虚拟体干预实体的视觉的“视觉干预”；允许虚拟体干预实体的听觉的“听觉干预”；允许虚拟体移动或刺激实体的身体或身体的一部分的“身体干预”；以及允许虚拟体代替实体在现场发言的“替代对话”。也可以说接入具有多种通信渠道，如“视觉干预”、“听觉干预”、“身体干预”、以及“替代对话”。以下将描述“视觉干预”、“听觉干预”、“身体干预”和“替代对话”的细节。
虚拟体可以通过“视觉干预”、“听觉干预”、“身体干预”或“替代对话”来指导实体在现场的行为。例如，视觉信息共享系统100可以用于各种工业领域的操作支持，如外科手术等的医疗现场以及施工作业等的施工现场、控制飞机和直升机的指导及它们的引导、机动车司机的导航、体育中的教导或指导、以及其他用途。
例如，不仅在其中实体期望与他人分享自己的视觉的情况下，而且在实体期望(或需要)关于实体当前通过视觉干预等执行的操作被他人协助、指导、引导和导航的情况下，实体采取主动与适当的虚拟体实施接入(实体主动开始)。
此外，不仅在其中虚拟体期望在不访问现场的情况下观看现场的视频(另一个人的第一人称视角)的情况下，而且在其中虚拟体期望(或需要)关于另一人当前正在执行的操作协助、指导、引导和导航该人的情况下，虚拟体采取主动与相应的实体实施接入(虚拟体主动开始)。
应注意，当实体无限制地经受视觉干预、听觉干预、身体干预或对话干预时，自己的行为可能被虚拟体打断，或者自己的行为可能受到阻碍并因此是危险的，并且在某些情况下，实体的隐私被侵害。同时，虚拟体也可能具有一些虚拟体不期望看到的视频，或者在某些情况下，即使在要求虚拟体的情况下，也不能向实体提供如适当的辅助、指导、引导和导航等的服务。因此，通过虚拟体接入到实体以及通过处于接入状态的虚拟体干预实体可能被限定在特定的水平。
应注意，为了简化，图1示出单个实体到单个虚拟体的网络拓扑，即其中仅存在单个图像提供设备101和单个图像显示设备102。还设想了以下：如图2所示的1到N的网络拓扑，其中单个实体和多个(N)虚拟体同时进行接入；如图3所示的N到1的网络拓扑，其中多个(N)实体和单个虚拟体同时进行接入；以及如图4所示的N到N的网络拓扑，其中多个(N)实体和多个(N)虚拟体同时进行接入。
此外，还设想将单个设备从实体切换到虚拟体、将单个设备从虚拟体切换到实体、以及同时具有实体角色和虚拟体角色。还设想了其中单个设备作为虚拟体进行到实体的接入，并且同时作用为另一个虚拟体的实体，即三个或更多个设备菊花链连接的网络拓扑结构(未示出)。在任何网络拓扑中，服务器(未示出)可以插入在实体和虚拟体之间。
B.功能配置
图5示出图像提供设备101和图像显示设备102的功能配置实例。
图像提供设备101是作为实体角色的用户(观察者112)使用的设备。在图5所示的实例中，图像提供设备101包括成像单元501、图像处理单元502、显示单元503、第一音频输出单元504、驱动单元505、以及用作输出单元的第二音频输出单元506、位置检测单元507、通信单元508、控制单元509、和认证单元510。
成像单元501包括用于捕获实体的第一人称视角的图像的照相机。成像单元501附接在观察者111的头部，以便捕获例例如实体即观察者111的视线方向的图像。可替换地，可以使用全景相机作为成像单元501以提供实体周围环境的360度全景图像。然而，全景图像不一定需要是360度的图像，并且视野可能更窄。此外，全景图像可以是半天球图像，其不包括包含很少信息的地面(以下同样适用)。
图像处理单元502处理由成像单元501输出的图像信号。在其中由成像单元501捕获的实体的第一人称视角的图像按照原样播放的情况下，虚拟体看到强烈摇晃的视频，因为实体由他她自己关注周围的环境，并改变视线方向。因此，健康危害如虚拟现实(VR)眩晕和晕动症的是关注的问题。此外，虚拟体可能期望观看实体未注意的部分。鉴于此，图像处理单元502基于由成像单元501捕获的实体的第一人称视角的连续图像来模拟地形成周围空间。具体地，图像处理单元502关于由成像单元501捕获的视频(全景图像)基于即时定位与地图构建(SLAM)识别技术等实时进行空间识别，并将当前视频帧和过去的视频帧在空间上连接在一起，由此渲染从由虚拟体控制的虚拟相机的视点看到的视频。在虚拟照相机的视点呈现的视频是从实体的身体模拟出的视点看到的视频而不是实体的第一人称视角看到的视频。因此，虚拟体可以独立于实体的运动观察实体周围的环境。这使得可以稳定视频的晃动，以防止VR眩晕，并观看实体未关注的部分。
显示单元503显示并输出从图像显示设备102发送的信息，由此允许虚拟体干预实体的视野。在其中图像提供设备101是如上描述的透视头戴式显示器的情况下，显示单元503在观看者111的视觉(即，现实世界的场景)上叠加并显示表示与实体共享第一人称体验的虚拟体的意识的增强现实(AR)图像。AR图像包括示出由虚拟体指示的位置的图像如指针、注释等。因此，虚拟体可以与实体通信以干预其视野，从而与在现场的实体互动。
第一音频输出单元504包括例如耳塞式耳机、头戴式耳机等，并使实体收听从图像显示设备102发送的信息，从而允许虚拟体干预实体的听觉。图像显示设备102发送关于与实体分享第一人称经验的虚拟体的意识。图像提供设备101将接收到的信息转换成音频信号，并且从第一音频输出单元504输出音频，由此使得实体即观察者111收听音频。可替换地，由当前具有第一人称体验的虚拟体发出的音频信号原样从图像显示设备102发送。图像提供设备101按照原样从第一音频输出单元504以音频的形式输出接收到的音频信号，从而使得实体即观察者111收听音频。此外，可以适当地调整从第一音频输出单元504输出的音频的音量、质量、输出时序等。可替换地，从图像显示设备102发送的图像信息或字符信息可以被转换为音频信号，并且以来自第一音频输出单元504的音频的形式输出。因此，虚拟体可以与实体通信以干预其听觉，从而与在现场的实体交互。
驱动单元505移动或刺激实体的身体或身体的一部分，从而允许虚拟体干预实体的身体。驱动单元505包括，例如，用于向观察者111的身体施加触觉感受或电刺激(其是轻微的并因此不会损害健康)的促动器。可替换地，驱动单元505包括用于通过驱动佩戴在观察者111的手臂、手、腿等上的动力服或外骨骼来支撑或限制身体的运动的设备(例如参见专利文献5)。因此，虚拟体可以与实体通信以干预其身体，从而与在现场的实体交互。
第二音频输出单元506包括，例如，由实体佩戴的可穿戴扬声器等，并且以音频的形式将从图像显示设备102发送的信息或音频信号输出到外部。从第二音频输出单元506输出的音频在现场被听到，就好像实体他/她自己说话一样。因此，虚拟体可以代替实体与实体所在的现场的人进行对话，或者可以用音频给出指示(替代对话)。
位置检测单元507通过使用例如全球定位系统(GPS)信号来检测图像提供设备101(即，实体)的当前位置信息。检测到的位置信息用于例如虚拟体搜索存在于虚拟体所期望的位置的实体的情况(稍后描述)。
通过网络与图像显示设备102相互连接的通信单元508发送由成像单元501捕获的第一人称视角的图像和空间信息，并且与图像显示设备102通信。通信单元508的通信方式可以是无线或有线通信方式，并且不限于特定的通信标准。
认证单元510进行经由网络相互连接的图像显示设备102(或其用户的虚拟体)的认证处理，并确定用于输出从图像显示设备102发送的信息的输出单元。然后，控制单元509基于认证单元510的认证结果来控制来自输出单元的输出操作。控制单元509具有，例如，与中央处理单元(CPU)和图形处理单元(GPU)相对应的功能。
例如，在其中作为认证处理的结果而允许图像显示设备102仅进行视觉干预的情况下，控制单元509仅执行来自显示单元503的显示输出。此外，在其中允许图像显示设备102不仅进行视觉干预而且进行听觉干预的情况下，控制单元509执行来自显示单元503的显示输出和来自第一音频输出单元504的音频输出。实体允许虚拟体干预的范围定义为权限级别。同时，虚拟体干预实体的范围定义为任务级别(下文描述)。应注意，代替图像提供设备101，也可以形成视觉信息共享系统100，使得由认证单元510和控制单元509进行的上述处理由插入在图像提供设备101和图像显示设备102之间的服务器(未示出)执行。
同时，图像显示设备102是由作为虚拟体的角色的用户(观看者112)使用的设备。在图5所示的实例中，图像显示设备102包括通信单元511、图像解码单元512、显示单元513、用户输入单元514和位置姿势检测单元515。
通过网络相互连接到图像提供设备101的通信单元511从图像提供设备101接收第一人称视角并且与图像提供设备101通信。通信单元511的通信方式可以是无线或有线通信方式，并不限于特定的通信标准。然而，通信方式与图像提供设备101的通信单元508兼容。
图像解码单元512进行通信单元511从图像提供设备101接收的图像信号的解码处理。显示单元513显示并输出在图像解码单元512中解码的全景图像(实体的第一人称视角)。应注意，代替图像提供设备101的图像处理单元502，图像解码单元512可以进行用于从实体的第一人称视角呈现从实体的身体外部的视点看到的视频的处理。
位置姿势检测单元515检测观看者112的头部的位置和姿势。检测的位置和姿势对应于虚拟体的当前视点位置和视线方向。基于由位置姿势检测单元515检测到的观察者112的头部的位置和姿势，可以控制基于实体的第一人称视角的虚拟照相机(上文描述)的视点位置和视线方向以产生从实体的身体外的模拟的视点看到的视频。
显示单元513包括例如由作为虚拟体的观看者112佩戴的头戴式显示器。通过使用沉浸式头戴式显示器作为显示单元513，观看者112可以更加真实地体验与观看者111相同的视野。由观看者112，即虚拟体观看的视频不是实体本身的第一人称视角，而是基于第一人称视角的连续图像模拟地形成的周围空间(从实体的身体外模拟的视点看到的视频)(如上所述)。此外，可以进行控制，使得虚拟相机进行虚拟体的头部跟踪，即跟随由位置姿势检测单元515检测到的观看者112的视点位置和视线方向，从而移动显示单元513上的显示视角。
代替沉浸式头戴式显示器，显示单元513可以是如透视头戴式显示器或腕表显示器的可穿戴终端。可替换地，显示单元513不必是可穿戴终端，而是如智能手机或平板电脑的多功能信息终端、如计算机屏幕或电视接收机的通用监视器显示器、游戏主机、用于在屏幕上投影图像的投影仪等。
用户输入单元514是用于允许作为虚拟体的观看者112响应于显示单元513上显示的实体的第一人称视角的观察而输入虚拟体的自身意图或意识的设备。
用户输入单元514例如包括，例如，坐标输入设备如触摸屏、鼠标、或操纵杆。通过触摸、点击鼠标操作等，虚拟体可以在显示实体的第一人称视角的屏幕上直接指示虚拟体特别感兴趣的位置。虚拟体给出虚拟体当前观看的视频的像素坐标的指示。但是，实体的捕获的视频总是在变化，并且因此在像素坐标上的指示是没有意义的。鉴于此，用户输入单元514通过图像分析等指定与像素位置对应的三维空间上的位置信息，该像素位置由虚拟体通过在屏幕上触摸、点击操作等来指示，并将三维空间中的位置信息发送到图像提供设备101。因此，虚拟体可以进行在空间中而不是像素点上实现定位的指示。
此外，用户输入单元514可以通过使用由相机捕获的虚拟体的脸部的图像或眼睛电势来捕捉眼睛运动，计算虚拟体所注视的位置，并将指定该位置的信息发送给图像提供设备101。同样在该时间，用户输入单元514通过图像分析等指定与虚拟体注视的像素位置对应的三维空间中的位置信息，并将三维空间中的位置信息发送到图像提供设备101。因此，虚拟体可以进行在空间中而不是像素点上实现定位的指向。
此外，用户输入单元514包括如键盘的字符输入设备。当虚拟体具有与实体相同的第一人称体验时，虚拟体可以作为字符信息输入虚拟体期望通知实体的意图、虚拟体所具有的意识等。用户输入单元514可以将由虚拟体输入的字符信息按原样发送到图像提供设备101，或者可以将字符信息转换成如音频信号的其他形式信号，并且然后将信号发送到图像提供设备101。
此外，用户输入单元514包括如麦克风的音频输入设备，并输入由虚拟体发出的音频。用户输入单元514可以以音频信号的形式将输入音频原样从通信单元511发送到图像提供设备101。可替换地，用户输入单元514可以进行输入音频的音频识别，将输入音频转换成字符信息，并将字符信息发送到图像提供设备101。
设想虚拟体在观看实体的第一人称视角时，通过使用诸如“那个”或“这个”的指示代词来指示对象。在这种情况下，用户输入单元514通过语言分析、图像分析等指定由指示代词在三维空间中指示的对象的位置信息，并且将三维空间中的位置信息发送到图像提供设备101。因此，虚拟体可以进行在空间中而不是像素点上实现定位的指示。
此外，用户输入单元514可以是用于输入虚拟体的身体姿势和手势的姿势输入设备。捕捉手势的方法没有具体限制。例如，用户输入单元514可以包括用于捕捉虚拟体的手臂和腿部的移动的图像的照相机以及用于处理捕获的图像的图像识别设备。此外，为了容易地进行图像识别，可以将标记附着到虚拟体的实体上。用户输入单元514可以将来自通信单元411的输入手势作为例如控制信号发送到图像提供设备101，以干预实体的身体。此外，用户输入单元514可以将输入手势转换为图像信息以干预实体的视觉(坐标信息、待叠加和显示的AR图像、字符信息等)，或转换为音频信号以干预实体的听觉，并将来自通信单元511的图像信息或音频信号发送到图像提供设备101。此外，用户输入单元514通过图像分析等指定与由虚拟体的手势指示的像素位置对应的三维空间中的位置信息，并将三维空间中的位置信息发送到图像提供设备101。因此，虚拟体可以进行在空间中而不是像素点上实现定位的指示。
考虑到叠加并显示AR图像，在视觉信息共享系统100中开发的称为接入的服务类似于通用AR技术。然而，认为接入不同于由计算机进行的普通的AR技术，因为是由人类(虚拟体)增强另一个人类(实体)。
此外，接入也类似于远程呈现(如上所述)。然而，普通的远程呈现和接入的不同之处在于，普通的远程呈现是用于由如机器人的机器的视点来看世界的界面，而在接入中人类(虚拟体)由另一个人类(实体)的视点观看世界。此外，远程呈现的前提是人是控制者而机器是受控者，并且作为受控者的机器真实地复制人的动作。而在人类(虚拟体)对另一个人类(实体)进行接入的情况下，实体不一定依照虚拟体而移动，即其是独立的界面。
在上述视觉信息共享系统100中，从图像提供设备101提供至图像显示设备102的视频不限于由在现场的实体观看的实时视频(即，由成像单元501捕获的实况视频)，并且可以是过去记录的视频。例如，图像提供设备101包括用于记录过去的视频的大容量存储设备(未示出)，并且过去的视频可以由图像提供设备101分配。可替换地，由图像提供设备101记录的过去的视频可以累积在接入服务器(临时名称)中，用于控制实体与虚拟体或其他记录服务器之间的接入，并且过去的视频可以由服务器放送至虚拟体(图像显示设备102)。应注意，在虚拟体观看过去的视频的情况下，不允许包括视觉干预和听觉干预的对实体的干预。这是因为由虚拟体观看的视频不是实体当前操作的现场的视频，并且基于过去的视频的干预会阻碍实体当前的操作。
应注意，关于两个设备之间共享视觉的细节，还可以参见例如已经转让给本申请人的专利申请第2013-78893号的说明书。此外，关于同一系统100中的视觉干预(AR图像的显示)的细节，也参见例如已经转让给本申请人的专利申请第2013-78892号的说明书、专利申请第2013-78894号的说明书、以及专利申请第2013-191464号的说明书。
C.任务-权限(实体与虚拟体的匹配)
如上所述，接入具有如“视觉干预”、“听觉干预”、“身体干预”以及“替代对话”的多种通信渠道。因此，通过用虚拟体开始接入，实体可以与虚拟体分享自己的视觉，并且可以通过视觉干预等关于实体当前进行的操作由虚拟体辅助、指导、引导和导航。此外，通过用实体开始接入，虚拟体可以在不访问现场的情况下具有实体的第一人称体验，并且可以通过视觉干预等关于其操作来辅助、指导、引导和导航实体。
然而，当虚拟体无限地干预实体自身的视觉、听觉、或身体或进行替代对话时，实体的行为可能被虚拟体打断，或者实体的行为可能受到阻碍并因此是危险的，并且在某些情况下，实体的隐私被侵害。同时，虚拟体也可能具有一些虚拟体不期望看到的视频，或者在某些情况下，即使在实体要求虚拟体的情况下也不能提供适当的服务如辅助、指导、引导和导航。也就是说，实体和虚拟体之间的不匹配是有问题的。
鉴于此，在本实施方式中，为了实现实体与虚拟体之间的适当匹配，定义了“权限”和“任务”。实体允许虚拟体干预的范围被定义为“权限”，并且虚拟体的干预被限制在权限规定的范围内。同时，将虚拟体干预实体的操作范围定义为“任务”，并将虚拟体干预实体的范围限定在任务规定的范围内。
C-1.权限
首先，将描述权限。如下举例的，实体可以适当地设置允许干预的各个不同等级的权限。
(1级)只允许视野交换(第一人称视角的发送)。在这种情况下，图像提供设备101仅发送由成像单元501捕获的图像并且不操作输出单元。
(2级)只允许视野交换以及视觉干预。在这种情况下，图像提供设备101仅发送由成像单元501捕获的图像并且在显示单元503上进行显示输出。
(3级)进一步允许听觉干预。在这种情况下，图像提供设备101发送由成像单元501捕获的图像，在显示单元503上进行显示输出，并且进行来自第一音频输出单元504的音频输出。
(4级)允许包括身体干预和替代对话的各种干预。在这种情况下，图像提供设备101还可以驱动驱动单元505并且从第二音频输出单元506向外输出音频。
此外，每个实体可以给予每个虚拟体各自的权限，而不是给予所有虚拟体统一的权限。
例如，实体可以基于虚拟体的用户属性设置权限。此处的用户属性不仅包括如年龄、性别、与实体的人际关系(家庭或亲属关系、朋友、上司和下属等)、出生地、职业和资格的个人信息，还包括辅助对象操作的技能的评分信息、以及信息如虚拟体过去的表现(作为助理、指导者等)(到目前为止，虚拟体已经体验了多少小时操作)和评论、以及其他实体的评语(发布、投票结果等)。
此外，实体可以个人设置权限(先生/女士A的权限，先生/女士B的权限，...，等)，而不是基于属性来设置权限。换句话说，可以对实体和虚拟体的每个组合设置权限。实体可以基于与实体的人际关系设定权限，也可以基于实体个人掌握的虚拟体的能力设置权限。此外，还有一种方法是通过实体与虚拟体之间的一对一协商、调解等给予虚拟体临时权限(仅在预定的时间段内对某个虚拟体给予高等级权限，并且，当该时间段过去时，该权限被恢复到原始等级权限)。此外，实体可以将被禁止进行接入的用户设置到实体本身。
下面将引用基于人际关系的权限设置的简单实例。
(实例1)只允许陌生人分享视野(1级权限)。
(实例2)允许朋友视觉干预和听觉干预(2级或3级权限)。
(实例3)特别允许亲密的朋友或者认证的或有资格的人进行身体干预(4级权限)。可替换地，临时允许替代会话。
权限设置的其他实例是实体将接入作为服务收费(即，货币化)的情况。上述的1级权限到4级权限中的任一种都是根据虚拟体所支付的使用费来为虚拟体设置的，并且因此虚拟体可以进行与实体的接入。
(实例4)支付5美元的虚拟体只允许共享视觉(1级权限)。
(实例5)支付10美元的虚拟体允许视觉干预和听觉干预(2级或3级权限)。
(实例6)支付100美元的虚拟体允许身体干预(4级权限)。或者临时允许替代会话。
C-2.任务
接下来将描述任务。在本实施方式中，虚拟体介入实体的操作的范围被定义为“任务”，并且虚拟体可以介入实体的范围被限制在任务规定的范围内。虚拟体的任务是基于，例如，由虚拟体或其能力进行的任务的范围设定的。任务不是由每个虚拟体任意确定的，而是优选地由，例如，权威机构等允许或认证的。下面举例的具有不同等级的任务可以根据虚拟体要进行的任务、职责、职业、资格、干预技能的评级、虚拟体过去的表现(作为虚拟体等的体验时间)(作为助理、指导者等)和评论、实体的评语(发布、投票结果等)等来定义。
(1级)只进行视觉交换(第一人称视角的传输)。在这种情况下，图像显示设备102仅显示从图像提供设备101接收的图像。
(2级)进行视觉交换以及视觉干预。在这种情况下，图像显示设备102显示从图像提供设备101接收的图像，并且发送关于要在图像提供设备101中显示的图像的信息(待叠加和显示以及待用于视觉干预的图像)。
(3级)还进行听觉干预。在这种情况下，图像显示设备102还发送关于要由图像提供设备101输出的音频(实体要收听的音频)的信息。
(4级)进行包括身体干预和替代对话的各种干预。在这种情况下，图像显示设备102还传输用于操作驱动单元505的信息以及关于从第二音频输出单元506输出到外部的音频的信息。
在实体由虚拟体开始接入的情况下，只需要进行基于虚拟体的个人信息和属性信息的过滤，并进一步比较实体指定的权限与虚拟体具有的任务，从而确定是否可以进行接入以及可以在接入状态下进行干预的范围。例如，当实体主动开始接入时(实体主动开始)，通过将未指定的大量虚拟体(大数目虚拟体)设置为目标，过滤处理是有效的。
这样的过滤处理可以在实体侧(即，在图像提供设备101中)进行，或者可以在用于控制大量实体与大量虚拟体之间的接入的接入服务器(临时名称)中进行。
通过对实体设定权限并对虚拟体设定任务，容易自动化在开始接入时用于选择虚拟体的处理以及用于确定虚拟体进行干预的范围的处理。例如，在未指定的大量虚拟体对实体进行接入的情况下，实体可以自动地确定每个虚拟体允许干预的等级，这是方便的。当然，不论可以进行接入，可以根据实体与虚拟体之间的谈判、调解等在现场确定权限等级，而不是基于如预先设置的权限和任务的信息自动确定。
D.接入开始流程
接入是其中虚拟体沉浸在视觉信息共享系统100中的实体的第一人称体验中，并且虚拟体与实体互动的情形。
如上所述，接入大致分为实体采取主动开始接入的情况(实体主动开始)以及虚拟体采取主动开始接入的情况(虚拟体主动开始)。
此外，在实体主动开始和虚拟体主动开始两者中，可以将接入分为单个或(指定的)少量虚拟体进行接入(单个(或少量)虚拟体)的情况以及(未指定的)大量虚拟体进行接入(大量虚拟体)的情况。
实体采取主动开始接入的情况设想为其中实体请求关于正在进行的操作的帮助、指导、引导或导航的情况。例如，存在其中实体要求人教导汽车维修工作的常见情况，以及其中实体要求关于在外科手术等的医疗现场、施工作业等的施工现场、以及其他现场中需要相对较高水平的技术或技能的操作的辅助、指导、引导或导航的情况。
接入基本上是在虚拟体进入(进行接入)实体时启动的。因此，在实体期望采取主动开始接入的情况下，实体要求期望的虚拟体(或预定数量的虚拟体)由他自己/她自己进入实体，并且然后在待机状态下开始操作。
图6示意性地示出了实体主动开始的开始流程。为了简化，图6仅示出单个虚拟体。但是，设想存在多个虚拟体。
实体在上述待机状态下开始操作，同时开放对于接受的虚拟体的“接受”。
应注意，实体要求虚拟体进行到实体的接入的形式是任意的。例如，实体可以通过使用社交网络服务(SNS)发布如“需要帮助！”、“请教我如何驾驶车辆。”以及“请告诉我去○○的路。”的评论来邀请虚拟体。此外，虚拟体可以对服务收费(货币化)以进行接入以关于其操作来协助、指导、引导或导航实体。实体也可以在SNS等上邀请虚拟体时呈现可支付的价格。应答邀请的虚拟体发送接入请求。
当外部设备(如图像提供设备101的用户佩戴的可穿戴终端)接收到来自虚拟体(图像显示设备102)而不是实体(图像提供设备101)的接入请求时，外部设备通知实体。
当实体在开放接受的同时收到来自可穿戴终端的通知时，实体与虚拟体建立连接。
当实体与期望的虚拟体实现接入或者连接的虚拟体的数量达到预定数量时，实体关闭接受，并因此不再接受来自可穿戴终端的通知。此后，实体与进行到实体的接入的虚拟体分享视觉，并在受到虚拟体的视觉干预或另一种干预的同时进行操作。
应注意，在实体连接到虚拟体的情况下，是否可以建立连接是基于选择标准如虚拟体过去的表现和评论而自动确定的，或者是由用户直接确定的。此外，在多个虚拟体对实体他自己/她自己进行接入的情况下，还设想为每个虚拟体设置的权限或任务是不同的。
此外，也在实体主动地与(未指定的)大量虚拟体进行接入的情况下，接入基本上按照与图6中的顺序类似的顺序来启动。设想实体主动地与(未指定的)大量虚拟体进行接入的情况是其中实体请求未指定的人给出建议或进行轻微操作，如助理可以做的操作的情况。
实体在SNS等上邀请对实体他自己/她自己进行接入的虚拟体并在待机状态开始操作。每当可穿戴终端从虚拟体接收到接入请求时，可穿戴终端通知实体。在其中实体连接到虚拟体的情况下，是否可以建立连接是基于选择标准如虚拟体过去的表现和评论自动确定的，或者是由用户直接确定的。此外，在多个虚拟体进行对实体他自己/她自己接入的情况下，还设想为每个虚拟体设置的权限或任务是不同的。
同时，其中单个虚拟体(或指定的少数虚拟体)主动开始接入的过程基本上是通过虚拟体进入(进行接入)实体来实现的。这个动作类似于虚拟体给实体打电话的操作。
图7示意性地示出了虚拟体主动开始的开始流程。接入请求由虚拟体传输到实体，并且因此实现接入状态。第一人称视角由实体传递到虚拟体，并且虚拟体干预实体。
应注意，在实体连接到虚拟体的情况下，是否可以建立连接是根据选择标准如虚拟体过去的表现和评论自动确定的，或者是由用户直接确定的。此外，在那时，实体可以对已经进行对实体他自己/她自己的接入的虚拟体设置权限，并且虚拟体可以设置自己的任务。图像提供设备101和图像显示设备102可以分别呈现用于设置权限的用户界面(UI)和用于对用户设置任务的UI。
此外，在(未指定的)大量虚拟体主动与实体进行接入的情况下，实体可以提前设定接入的开始状态。在这种情况下，只有当满足开始条件时，才设置可穿戴终端以通知实体，而不是每当从虚拟体接收到接入请求时通知实体。
例如，可以将回复邀请的虚拟体数量设置为开始条件。在这种情况下，当已经接收到接入请求的虚拟体的数量是预定数量或更多时，可穿戴终端通知实体。只有当虚拟体数量为100及更大时，第一人称视角才会由存在在现场的实体发布。具体的实例是当参与祭典的实体写下“现在，我正在参加祭典”这样的消息，并且期望观看祭典的虚拟体的数量大于100时视频发布开始的用例。
下表1总结了每种情况下接入的开始流程的概述。
[表1]
E.虚拟体选择实体
虚拟体可以基于实体的当前位置或实体当前进行的行为(操作)选择或过滤虚拟体期望进行接入的实体。用于选择实体的处理可以由每个虚拟体来实施，或可以插入用于控制实体和虚拟体之间的接入的接入服务器(临时名称)用于选择处理。
作为基于位置或行为的选择处理的前提，有必要提供用于通知虚拟体或接入服务器每个实体的位置和行为的机制。例如，实体侧，即图像提供设备101基于GPS等测量当前位置或者基于行为(动作)识别而识别用户当前进行的行为(动作)，由此将位置和行为通知给虚拟体或接入服务器。然而，实体的行为识别可能不是自动化的，并且可能是基于实体他自己/她自己的字符输入(写入)或音频输入的方法。在下文中，将提供描述而不限制用于指定每个实体的位置和行为的机制。
图8示出允许虚拟体基于实体的位置信息选择实体的UI实例。在图8中，指示每个实体的当前位置的图标(或字符)显示在当前指定的范围的地图上。例如，这样的UI显示在图像显示设备102的显示单元514上，并且用户，即虚拟体，可以通过如触摸或点击的UI操作在期望的位置指定图标来选择虚拟体期望进行接入的实体。通过如拖动或移动光标的操作，可以使显示为地图的区域转变。此外，代替图像显示设备102的主体的显示单元514，图8所示的UI屏幕可以显示在虚拟体所拥有的另一个终端的屏幕上。然后，当选择确定时，接入请求从虚拟体被传送到选择的实体。
图9示出允许虚拟体不仅基于实体的位置信息而且还基于其行为来选择实体的UI的实例。图9是“正在观看烟花的人”被输入到搜索栏并且将接受接入的对象限定为“正在观看烟花的人”的显示实例。例如，用于控制实体与虚拟体之间的接入的接入服务器(临时名称)由地图上显示的实体组中搜索与输入到搜索栏的关键字匹配的实体。然后，在图9所示的UI屏幕上仅显示基于“观看烟花”的行为提取的实体。对搜索栏的输入可以通过字符输入或音频输入来进行。在图8中显示的图标中，不正在看烟花的实体消失，并且因此虚拟体可以减少要选择的实体。
图10示出允许虚拟体基于实体的位置信息选择实体的UI的另一个实例。图10是图8所示的UI的修改实例，并且将表示每个实体的行为等的标签添加到实体的图标。虚拟体可以基于标签的显示内容来识别每个实体当前进行的行为等，并且可以选择虚拟体期望进行接入的实体而不进行如在图9中所示的情况那样通过搜索词进行搜索的操作。
应注意，当在图10所示的UI显示实例中的标签一直显示在所有图标上时，显示变得复杂，并因此不易阅览地图。因此，例如，通过仅显示通过触摸、点击、悬停等暂时选择的图标的标签，可以限制同时显示的标签的数量。此外，标签不仅可以指示关于实体的行为的信息，还可以指示关于是否开放接受(上述)以及权限(允许干预的范围)信息、收费信息(共享视野免费或收费；共享视野收费的情况下的收费信息)等。
图13示出添加到实体的图标上的标签的显示实例。图13所示的实例示出了实体是否允许每种干预操作如视觉干预、听觉干预、身体干预和替代对话。通过参考这样的标签，虚拟体可以容易地确定当虚拟体对实体进行接入时虚拟体可以在该位置做什么。
通过使用图8至图10所示的实体选择UI，虚拟体可以在地图显示中找到实体的位置并进行对其的接入(即，进行至与该位置相关的实体的接入)，即可以实现虚拟体容易在视觉上理解的操作。此外，通过使用图9所示的UI，虚拟体可以平稳地对进行特定行为的实体进行接入。
图11还示出允许虚拟体选择实体的UI的另一个实例。图11以列表形式详细显示了各个实体的第一人称视角的缩略图，而不是在地图上显示指示每个实体的当前位置的图标。每个第一人称视角的缩略图可以是实时视频或代表性图像(静止图像)。此外，每个第一人称视角的缩略图可以与标签信息如实体的行为、实体的当前位置、接受状态、权限设置以及收费信息一起显示。
图12更进一步示出允许虚拟体选择实体的UI的另一个实例。图12是图11所示的UI的修改实例，并以目录的形式而非列表的形式显示相应实体的第一人称视角的缩略图。在图12中以及图11所示的实例中，每个第一人称视角的缩略图可以与标签信息如实体的行为、实体的当前位置、接受状态、权限设置和收费信息一起显示。
这里，图12以及图9是其中作为目标经受接入的实体被限定为“正看观看烟花的人”的显示实例。例如，用于控制实体与虚拟体之间接入的接入服务器(临时名称)搜索与输入到搜索栏的关键字(在此为实体的行为)匹配的实体。然而，不同于图9所示的实例，接入服务器搜索与位置无关的实体。因此，在一些情况下，只要实体在“看烟花”，存在于分开的位置如北海道和冲绳的实体会同时作为搜索结果显示。
应注意，如上所述，从实体提供的视频不限于由实体在现场观看的实时视频，并且在某些情况下是过去视频的记录。在虚拟体观看过去的视频的情况下，虚拟体不允许对实体进行包括视觉干预和听觉干预的任何干预。因此，在图11或图12所示的UI实例等中，为了防止由于虚拟体的误解造成的干预，优选地显示实时和记录的过去视频中的哪一种与第一人称视角的缩略图同时显示。
通过使用图11和图12所示的实体选择UI，在基于显示的第一人称视角的缩略图来视觉识别由每个实体进行的行为同时，虚拟体可以进行接入。此外，通过使用图12所示的UI，虚拟体可以平稳地对进行特定行为的实体的接入。
总之，通过使用图8至10所示的基于地图的实体选择UI，虚拟体可以有效地选择与位置相关的实体。同时，通过使用以图11和12中所示的列表或目录的形式显示第一人称视角的缩略图的实体选择UI，虚拟体可以在视觉识别行为(活动)的同时有效地选择实体。
例如，如图14所示，那两种类型的实体选择UI可以叠加，并且UI可以通过使用标签来切换。如图14A所示，当选择“地图”标签时，基于地图的实体选择UI显示在前面。因此，虚拟体可以选择虚拟体期望进行与位置关联的接入的实体。此外，如图14B所示，当选择“活动”标签时，显示目录的形式的对应实体的第一人称视角的缩略图的实体选择UI在前面显示。因此，虚拟体可以在视觉识别每个实体的行为的同时选择实体选择UI。
E.实体选择虚拟体
在实体期望(需要)关于正在进行的操作被另一人辅助、指导、引导或导航的情况下，实体邀请虚拟体对实体他自己/她自己进行接入来帮助实体。例如，实体可以通过使用社交网络服务(SNS)发布如“需要帮助！”、“请教我如何驾驶车辆。”以及“请告诉我去○○的路。”的评论来邀请虚拟体。
此外，虚拟体可以对服务进行收费(货币化)以进行接入以关于其操作对实体进行协助、指导、引导或导航。在这种情况下，实体也可以在邀请虚拟体时提供应支付的价格。
试图回应邀请的虚拟体可以通过例如图8至图12所示的UI屏幕来查阅发出邀请的实体。这里，虚拟体侧的UI的描述被省略。
图15示出了允许实体选择虚拟体的UI的实例。图15所示的UI包括待选择的虚拟体列表并显示每个虚拟体的信息。列出的虚拟体是回应实体邀请的用户。可替换地，列出的虚拟体可以是由控制实体与虚拟体之间接入的接入服务器(临时名称)根据实体的邀请内容选择的人。图15中所示的UI上列出的每个虚拟体是，例如，具有如“正在观看烟花的人”的特定行为，并且应用对实体的接入的用户。
显示在图15所示的虚拟体选择UI上的虚拟体的信息不仅包括个人信息如年龄、性别、与实体的人际关系(家庭或亲属关系、朋友、上司和下属等)、出生地、职业和资格，还包括辅助对象操作导热技能的评分信息、以及信息如虚拟体过去的表现(作为助理、指导者等)(到目前为止，虚拟体已经经历了多少小时的操作)和评论、以及其他实体的评语(发布、投票结果等)。此外，在其中虚拟体选择UI上显示虚拟体列表的情况下，虚拟体的显示顺序可以基于权限与任务之间的对应关系、过去的表现、评论、评语等来分类。实体可以通过图15所示的虚拟体选择UI来选择实体期望被例如辅助、指导(体育竞赛中的辅导等)、引导或导航的虚拟体。
工业适用性
由此以上详细地并参考具体实施方式描述了本说明书中公开的技术。然而，在不脱离本说明书中公开的技术的精神的情况下，显然本领域的技术人员可以对这些实施方式进行修改和替换。
本说明书中公开的技术可以用于，例如，各种工业领域如外科手术等的医疗现场、施工作业等的施工现场、控制飞机和直升机、汽车司机导航、体育指导、以及其他用途中的操作支持等。
此外，在本说明书中，已经主要描述了其中共享以他的/她的身体在现场行动的实体的第一人称视角的虚拟体干预实体的视觉、听觉、身体等的系统的实施方式。然而，本说明书中公开的技术的范围不限于此。还可以将本说明书中公开的技术应用于各种信息处理设备，用于在某人的视觉上显示关于来自另一个人的辅助、指导、引导和导航的信息。
基本上，本说明书中公开的技术已经通过举例的方式描述，并且本说明书的陈述内容不应该被解释为是限制性的。本说明书中公开的技术的精神应该考虑权利要求而确定。
另外，本说明书中公开的技术也可以如下配置。
(1)信息处理设备，包括：
控制单元，配置为根据第一设备和第二设备中的哪一个采取主动，来控制发送图像的第一设备和接收图像的第二设备之间的连接。
(2)根据(1)的信息处理设备，其中，
在其中第一设备采取主动与第二设备建立连接的情况下，控制单元接收来自第二设备的连接请求，通知处于待机状态的第一设备，并且使得从第一设备到第二设备的图像传送开始。
(3)根据(1)的信息处理设备，其中，
在其中第二设备采取主动与第一设备建立连接的情况下，控制单元通知第一设备来自第二设备的连接请求，并且使得从第一设备到第二设备的图像传送开始。
(4)根据(1)的信息处理设备，其中，
在其中多个第二设备采取主动与第一设备建立连接的情况下，仅在其中连接请求满足预定的开始条件的情况下，控制单元通知第一设备来自多个第二设备的连接请求，并且使得从第一设备到多个第二设备的图像传送开始。
(5)根据(1)至(4)中任一项的信息处理设备，其中，
控制单元控制从第一设备到第二设备的图像传送的开始以及第二设备对第一设备的干预。
(6)信息处理方法，包括：
控制步骤，其根据第一设备和第二设备中的哪一个采取主动来控制传送图像的第一设备和接收图像的第二设备之间的连接。
(7)信息处理设备，包括：
选择单元，其配置为基于第一设备的位置信息来选择第一设备，第一设备将图像传送到第二设备。
(8)根据(7)的信息处理设备，其中，
选择单元呈现示出第一设备在地图上的位置的UI。
(9)根据(7)或(8)的信息处理设备，其中，
选择单元进一步考虑用户的行为来选择第一设备。
(10)根据(8)的信息处理设备，其中，
选择单元在UI上仅呈现第一设备，第一设备是基于用户的行为来提取的。
(11)根据(8)的信息处理设备，其中，
选择单元在UI上呈现第一设备的用户的行为。
(12)根据(8)的信息处理设备，其中，
选择单元在UI上呈现关于第一设备中的干预的信息。
(13)信息处理方法，包括：
选择步骤，其基于第一设备的位置信息来选择第一设备，第一设备将图像传送到第二设备。
(14)信息处理设备，包括：
选择单元，其配置为基于第一设备的用户的行为选择第一设备，第一设备将图像传送到第二设备。
(15)根据(14)的信息处理设备，其中，
选择单元呈现显示关于由第一设备传送的图像的信息的UI。
(16)根据(15)的信息处理设备，其中，
选择单元在UI上呈现关于第一设备或第一设备的用户的信息。
(17)根据(15)的信息处理设备，其中，
选择单元在UI上仅呈现图像，由第一设备传送的图像基于用户的行为提取。
(18)信息处理方法，包括：
选择步骤，其基于第一设备的用户行为来选择第一设备，第一设备将图像传送到第二设备。
(19)信息处理设备，包括：
选择单元，其配置为基于关于第二设备或第二设备的用户的信息来选择第一设备向其发送图像的第二设备。
(20)根据(19)的信息处理设备，其中，
选择单元呈现显示关于第二设备或第二设备的用户的信息的UI。
(21)信息处理方法，包括：
选择步骤，其基于第一设备的用户的行为来选择第一设备向其发送图像的第二设备。
标号说明
100···视觉信息共享系统
101···图像提供设备、102···图像显示设备
501···成像单元、502···图像处理单元、503···显示单元
504···第一音频输出单元、505···驱动单元
506···第二音频输出单元、507···位置检测单元、508···通信单元
509···控制单元、510···认证单元
511···通讯单元、512···图像解码单元、513···显示单元
514···用户输入单元、515···位置姿势检测单元。

Claims (20)

1.一种信息处理设备，包括：
控制单元，配置为根据第一设备和第二设备中的哪一个采取主动，来控制所述第一设备和所述第二设备之间的连接，所述第一设备传送图像，所述第二设备接收所述图像。
2.根据权利要求1所述的信息处理设备，其中，
在所述第一设备采取主动与所述第二设备建立连接的情况下，如果所述控制单元接收来自所述第二设备的连接请求，通知处于待机状态的所述第一设备，并且使得从所述第一设备到所述第二设备的图像传送开始。
3.根据权利要求1所述的信息处理设备，其中，
在所述第二设备采取主动与所述第一设备建立连接的情况下，所述控制单元通知所述第一设备来自所述第二设备的连接请求，并且使得从所述第一设备到所述第二设备的图像传送开始。
4.根据权利要求1所述的信息处理设备，其中，
在多个所述第二设备采取主动与所述第一设备建立连接的情况下，仅在来自多个所述第二设备的连接请求满足预定的开始条件的情况下，所述控制单元通知所述第一设备所述连接请求，并且使得从所述第一设备到多个所述第二设备的图像传送开始。
5.根据权利要求1所述的信息处理设备，其中，
所述控制单元控制从所述第一设备到所述第二设备的图像传送的开始以及所述第二设备对所述第一设备的干预。
6.一种信息处理方法，包括：
控制步骤，根据第一设备和第二设备中的哪一个采取主动，来控制所述第一设备和所述第二设备之间的连接，所述第一设备传送图像，所述第二设备接收所述图像。
7.一种信息处理设备，包括：
选择单元，配置为基于第一设备的位置信息来选择第一设备，所述第一设备将图像传送到第二设备。
8.根据权利要求7所述的信息处理设备，其中，
所述选择单元呈现出显示所述第一设备在地图上的位置的UI。
9.根据权利要求7所述的信息处理设备，其中，
所述选择单元进一步考虑用户的行为来选择所述第一设备。
10.根据权利要求8所述的信息处理设备，其中，
所述选择单元在所述UI上仅呈现所述第一设备，所述第一设备是基于用户的行为提取的。
11.根据权利要求8所述的信息处理设备，其中，
所述选择单元在所述UI上呈现所述第一设备的用户的行为。
12.根据权利要求8所述的信息处理设备，其中，
所述选择单元在所述UI上呈现关于所述第一设备中的干预的信息。
13.一种信息处理方法，包括：
选择步骤，基于第一设备的位置信息来选择第一设备，所述第一设备将图像传送到第二设备。
14.一种信息处理设备，包括：
选择单元，配置为基于第一设备的用户的行为选择第一设备，所述第一设备将图像传送到第二设备。
15.根据权利要求14所述的信息处理设备，其中，
所述选择单元呈现出显示关于由所述第一设备传送的图像的信息的UI。
16.根据权利要求15所述的信息处理设备，其中，
所述选择单元在所述UI上呈现关于所述第一设备或所述第一设备的用户的信息。
17.根据权利要求15所述的信息处理设备，其中，
所述选择单元在所述UI上仅呈现图像，所述图像由基于所述用户的行为提取的所述第一设备传送。
18.一种信息处理方法，包括：
选择步骤，基于第一设备的用户的行为来选择所述第一设备，所述第一设备将图像传送到第二设备。
19.一种信息处理设备，包括
选择单元，配置为基于关于第二设备或第二设备的用户的信息来选择第二设备，第一设备向所述第二设备传送图像。
20.根据权利要求19所述的信息处理设备，其中，
所述选择单元呈现出显示关于所述第二设备或所述第二设备的用户的信息的UI。
CN201680055341.6A 2015-09-30 2016-07-11 信息处理设备及信息处理方法 Pending CN108141565A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-195193 2015-09-30
JP2015195193 2015-09-30
PCT/JP2016/070483 WO2017056632A1 (ja) 2015-09-30 2016-07-11 情報処理装置及び情報処理方法

Publications (1)

Publication Number Publication Date
CN108141565A true CN108141565A (zh) 2018-06-08

Family

ID=58427403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680055341.6A Pending CN108141565A (zh) 2015-09-30 2016-07-11 信息处理设备及信息处理方法

Country Status (6)

Country Link
US (2) US20180278888A1 (zh)
EP (1) EP3358837A4 (zh)
JP (1) JPWO2017056632A1 (zh)
KR (1) KR102512855B1 (zh)
CN (1) CN108141565A (zh)
WO (1) WO2017056632A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110455304A (zh) * 2019-08-05 2019-11-15 深圳市大拿科技有限公司 车辆导航方法、装置及系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020214864A1 (en) 2019-04-17 2020-10-22 Prestacom Services Llc User interfaces for tracking and finding items
EP3963433A4 (en) 2019-04-28 2023-01-25 Apple Inc. PRODUCTION OF TOUCH OUTPUT SEQUENCES ASSOCIATED WITH AN OBJECT
WO2022067316A1 (en) 2020-09-25 2022-03-31 Apple Inc. User interfaces for tracking and finding items
CN112423084B (zh) * 2020-11-11 2022-11-01 北京字跳网络技术有限公司 热点榜单的显示方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998038798A1 (en) * 1997-02-26 1998-09-03 Mitsubishi Denki Kabushiki Kaisha Device, system, and method for distributing video data
CN101163160A (zh) * 2007-11-05 2008-04-16 中兴通讯股份有限公司 网络电视系统中融合多方网络游戏业务的方法及系统
CN102651772A (zh) * 2011-02-24 2012-08-29 富士施乐株式会社 信息处理系统、信息处理装置和方法以及服务器装置
CN103430569A (zh) * 2011-03-23 2013-12-04 松下电器产业株式会社 通信服务器、通信方法、记录介质及集成电路
CN104657099A (zh) * 2015-01-15 2015-05-27 小米科技有限责任公司 屏幕投射方法、装置及系统
US20150172757A1 (en) * 2013-12-13 2015-06-18 Qualcomm, Incorporated Session management and control procedures for supporting multiple groups of sink devices in a peer-to-peer wireless display system

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003345909A (ja) * 2002-05-28 2003-12-05 Tokio Deguchi 学業指導方法および学業指導システム
JP2004222254A (ja) 2002-12-27 2004-08-05 Canon Inc 画像処理システム、方法及びプログラム
US20040254982A1 (en) * 2003-06-12 2004-12-16 Hoffman Robert G. Receiving system for video conferencing system
JP2005222254A (ja) 2004-02-04 2005-08-18 Haisaabu Ueno:Kk キャッシュレジスタ装置
JP4926400B2 (ja) 2004-12-27 2012-05-09 京セラ株式会社 移動カメラシステム
JP5245257B2 (ja) 2006-11-22 2013-07-24 ソニー株式会社 画像表示システム、表示装置、表示方法
WO2008129765A1 (ja) * 2007-04-17 2008-10-30 Panasonic Corporation 監視機器制御システム
US10875182B2 (en) * 2008-03-20 2020-12-29 Teladoc Health, Inc. Remote presence system mounted to operating room hardware
US10808882B2 (en) * 2010-05-26 2020-10-20 Intouch Technologies, Inc. Tele-robotic system with a robot face placed on a chair
JP2012133534A (ja) * 2010-12-21 2012-07-12 Mitsubishi Electric Corp 遠隔作業支援システム、遠隔作業支援端末及び遠隔作業支援方法
US20130027561A1 (en) * 2011-07-29 2013-01-31 Panasonic Corporation System and method for improving site operations by detecting abnormalities
US8761933B2 (en) * 2011-08-02 2014-06-24 Microsoft Corporation Finding a called party
US20130249947A1 (en) * 2011-08-26 2013-09-26 Reincloud Corporation Communication using augmented reality
JP5741358B2 (ja) 2011-10-04 2015-07-01 トヨタ自動車株式会社 樹脂成形部品及び製造方法
JP5114807B1 (ja) 2011-10-04 2013-01-09 株式会社新盛インダストリーズ プリンター
JP2013078893A (ja) 2011-10-04 2013-05-02 Canon Inc 記録装置および記録方法
JP2013191464A (ja) 2012-03-14 2013-09-26 Sharp Corp 有機エレクトロルミネッセンス素子及びその製造方法、液晶表示装置。
JP5334145B1 (ja) * 2012-06-29 2013-11-06 トーヨーカネツソリューションズ株式会社 物品のピッキング作業の支援システム
JP2014104185A (ja) 2012-11-28 2014-06-09 Sony Corp 運動補助装置及び運動補助方法
US20160132046A1 (en) * 2013-03-15 2016-05-12 Fisher-Rosemount Systems, Inc. Method and apparatus for controlling a process plant with wearable mobile control devices
KR102159353B1 (ko) * 2014-04-24 2020-09-23 현대모비스 주식회사 어라운드 뷰 시스템의 동작방법
US9818225B2 (en) * 2014-09-30 2017-11-14 Sony Interactive Entertainment Inc. Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
US10187692B2 (en) * 2014-12-15 2019-01-22 Rovi Guides, Inc. Methods and systems for distributing media guidance among multiple devices
US9690103B2 (en) * 2015-02-16 2017-06-27 Philip Lyren Display an image during a communication
US9298283B1 (en) * 2015-09-10 2016-03-29 Connectivity Labs Inc. Sedentary virtual reality method and systems
KR101844885B1 (ko) * 2016-07-11 2018-05-18 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
US11062243B2 (en) * 2017-07-25 2021-07-13 Bank Of America Corporation Activity integration associated with resource sharing management application
KR102188721B1 (ko) * 2020-04-27 2020-12-08 현대모비스 주식회사 탑-뷰 영상 생성 장치 및 그 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998038798A1 (en) * 1997-02-26 1998-09-03 Mitsubishi Denki Kabushiki Kaisha Device, system, and method for distributing video data
CN101163160A (zh) * 2007-11-05 2008-04-16 中兴通讯股份有限公司 网络电视系统中融合多方网络游戏业务的方法及系统
CN102651772A (zh) * 2011-02-24 2012-08-29 富士施乐株式会社 信息处理系统、信息处理装置和方法以及服务器装置
CN103430569A (zh) * 2011-03-23 2013-12-04 松下电器产业株式会社 通信服务器、通信方法、记录介质及集成电路
US20150172757A1 (en) * 2013-12-13 2015-06-18 Qualcomm, Incorporated Session management and control procedures for supporting multiple groups of sink devices in a peer-to-peer wireless display system
CN104657099A (zh) * 2015-01-15 2015-05-27 小米科技有限责任公司 屏幕投射方法、装置及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110455304A (zh) * 2019-08-05 2019-11-15 深圳市大拿科技有限公司 车辆导航方法、装置及系统

Also Published As

Publication number Publication date
US10771739B2 (en) 2020-09-08
JPWO2017056632A1 (ja) 2018-07-19
WO2017056632A1 (ja) 2017-04-06
EP3358837A1 (en) 2018-08-08
EP3358837A4 (en) 2019-07-31
US20180278888A1 (en) 2018-09-27
KR20180063040A (ko) 2018-06-11
KR102512855B1 (ko) 2023-03-23
US20190238793A1 (en) 2019-08-01

Similar Documents

Publication Publication Date Title
Piumsomboon et al. On the shoulder of the giant: A multi-scale mixed reality collaboration with 360 video sharing and tangible interaction
US20180324229A1 (en) Systems and methods for providing expert assistance from a remote expert to a user operating an augmented reality device
Kurata et al. Remote collaboration using a shoulder-worn active camera/laser
CN108141565A (zh) 信息处理设备及信息处理方法
JP6822410B2 (ja) 情報処理システム及び情報処理方法
JP6822413B2 (ja) サーバ装置及び情報処理方法、並びにコンピュータ・プログラム
US12112439B2 (en) Systems and methods for immersive and collaborative video surveillance
CN111242704B (zh) 用于在现实场景中叠加直播人物影像的方法和电子设备
WO2015095507A1 (en) Location-based system for sharing augmented reality content
KR20170143264A (ko) 가상현실 다중접속 모니터링 시스템 및 방법
US20230260235A1 (en) Information processing apparatus, information processing method, and information processing system
JP6919568B2 (ja) 情報端末装置及びその制御方法、情報処理装置及びその制御方法、並びにコンピュータ・プログラム
KR102200115B1 (ko) 다시점 360도 vr 컨텐츠 제공 시스템
CN114979568A (zh) 一种基于增强现实技术的远程作业指导方法
JP2003168021A (ja) 画像伝送システム、通信制御装置及び通信制御方法
WO2017068928A1 (ja) 情報処理装置及びその制御方法、並びにコンピュータ・プログラム
Chang et al. A remote communication system to provide “out together feeling”
CN209991990U (zh) 地图互动系统
JP2024140478A (ja) プログラム、情報処理装置、及び、情報処理システム
JP2024134762A (ja) 通信システム、撮像装置、通信端末、中継サーバ、プログラム、表示方法
Chang et al. Analyzing interactions between a pair out together real and virtual

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180608

WD01 Invention patent application deemed withdrawn after publication