CN117223050A - 影像显示系统、信息处理方法及程序 - Google Patents

影像显示系统、信息处理方法及程序 Download PDF

Info

Publication number
CN117223050A
CN117223050A CN202280028041.4A CN202280028041A CN117223050A CN 117223050 A CN117223050 A CN 117223050A CN 202280028041 A CN202280028041 A CN 202280028041A CN 117223050 A CN117223050 A CN 117223050A
Authority
CN
China
Prior art keywords
image
unit
metadata
display
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280028041.4A
Other languages
English (en)
Inventor
小塚雅之
森美裕
铃木淳也
柏木吉一郎
山本靖利
西尾岁朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN117223050A publication Critical patent/CN117223050A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q90/00—Systems or methods specially adapted for administrative, commercial, financial, managerial or supervisory purposes, not involving significant data processing
    • G06Q90/20—Destination assistance within a business structure or complex
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Computer Graphics (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Studio Devices (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

影像显示系统具备：观测装置，具有拍摄部、数据取得部、元数据构成部以及发送部，拍摄部拍摄作为广视角影像的影像，数据取得部取得与拍摄部的移动方向有关的数据，元数据构成部取得基于所取得的数据的元数据，发送部将所拍摄的广视角影像与元数据一起发送；以及VR装置，VR装置具备：接收部，接收广视角影像及元数据；朝向推测部，推测显示装置的朝向；差分计算部，基于显示装置的朝向与元数据上的拍摄部的移动方向的差分，计算相对的拍摄部的移动方向即相对移动方向；提示部，将计算出的相对移动方向提示给显示装置的用户；影像生成部，生成包括接收到的广视角影像的一部分的显示影像；以及显示装置，显示显示影像。

Description

影像显示系统、信息处理方法及程序
技术领域
本公开涉及影像显示系统、信息处理方法及程序。
背景技术
近年来，作为头部佩戴型的显示装置的所谓头戴式显示器的开发正在盛行。例如，在专利文献1中，公开了能够提示(即显示)内容的影像和外界的影像的头戴式显示器。在专利文献1所公开的头戴式显示器中，通过调整内容的影像和外界的影像中的至少一方的影像的亮度，减轻在切换内容的影像和外界的影像时对用户带来的别扭感。
现有技术文献
专利文献
专利文献1：日本特开2016－090773号公报
发明内容
发明要解决的课题
此外，在头戴式显示器那样的显示装置中，作为利用其高沉浸感的用途，有从远程通过影像视听对某地点处的体验进行模拟体验之类的用途。此时，要求对显示装置提供适当的影像。
本公开是鉴于上述情况而做出的，目的是提供能够显示适当的影像的影像显示系统等。
用于解决课题的手段
为了达成上述目的，有关本公开的影像显示系统的一技术方案是用于通过显示装置对显示影像进行显示的影像显示系统，具备：观测装置，具有拍摄部、数据取得部、元数据构成部以及发送部，上述拍摄部拍摄作为广视角影像的影像，上述数据取得部取得与上述拍摄部的移动方向有关的数据，上述元数据构成部取得基于所取得的上述数据的元数据，上述发送部将所拍摄的上述广视角影像与上述元数据一起发送；以及VR装置，上述VR装置具备：接收部，接收上述广视角影像及上述元数据；朝向推测部，推测上述显示装置的朝向；差分计算部，基于推测出的上述显示装置的朝向与上述元数据上的上述拍摄部的移动方向的差分，计算相对于上述显示装置的朝向的相对的上述拍摄部的移动方向即相对移动方向；提示部，将计算出的上述相对移动方向提示给上述显示装置的用户；影像生成部，从接收到的上述广视角影像生成包含如下一部分影像的上述显示影像，上述一部分影像是对应于与上述朝向推测部推测出的上述显示装置的朝向相应的视野部分的影像；以及上述显示装置，显示上述显示影像。
此外，有关本公开的信息处理方法的一技术方案是使显示装置对显示影像进行显示的信息处理方法，接收基于与拍摄部的移动方向有关的数据的元数据，上述拍摄部拍摄作为广视角影像的影像；基于上述显示装置的推测出的朝向与上述元数据上的上述拍摄部的移动方向的差分，计算相对于上述显示装置的朝向的相对的上述拍摄部的移动方向即相对移动方向并输出。
另外，这些包含性或具体的技术方案也可以由系统、装置、集成电路、计算机程序或计算机可读取的CD－ROM等的记录介质实现，也可以由系统、装置、集成电路、计算机程序及记录介质的任意的组合来实现。
发明效果
根据本公开，提供能够显示适当的影像的影像显示系统等。
附图说明
图1是用于说明以往例的图。
图2是用于说明以往例的图。
图3是用于说明以往例的图。
图4是用于说明以往例的图。
图5是用于说明以往例的图。
图6是用于说明以往例的图。
图7是用于说明以往例的图。
图8是用于说明以往例的图。
图9是用于说明以往例的图。
图10是用于说明以往例的图。
图11是用于说明以往例的图。
图12是用于说明以往例的图。
图13是用于说明以往例的图。
图14是表示有关实施方式的影像显示系统的概略构成的图。
图15是表示在有关实施方式的影像显示系统中显示的影像的一例的图。
图16是表示有关实施方式的影像显示系统的功能构成的框图。
图17是表示有关实施方式的影像显示系统的动作的流程图。
图18是说明有关实施方式的相对移动方向的计算的第1曲线图。
图19是说明有关实施方式的躯体移动方向的计算的第2曲线图。
图20是说明有关实施方式的显示影像的生成的概念图。
图21是说明有关实施方式的显示影像的生成的另一的概念图。
图22是有关实施例的影像显示系统的构成例的概略图。
图23是有关实施例的影像显示系统的另一构成例的概略图。
图24是表示有关实施例的影像显示系统的整体系统构成的一例的图。
图25是表示有关实施例的影像显示系统的整体系统构成的另一例的图。
图26是表示有关实施例的影像显示系统的功能构成的一例的图。
图27是表示有关实施例的观测系统的功能构成的一例的图。
图28是表示有关实施例的VR系统的功能构成的一例的图。
图29是表示有关实施例的影像显示系统的动作流程的一例的图。
图30是说明实施例的影像显示系统的动作的结果的图。
图31是说明实施例的影像显示系统的动作的结果的图。
图32是说明实施例的影像显示系统的动作的结果的图。
图33是说明实施例的影像显示系统的动作的结果的图。
图34是表示有关实施例的位置/方位信息的检测方法的动作流程例的图。
图35是表示有关实施例的位置/方位信息的检测方法的动作流程例的图。
图36是表示有关实施例的元数据的构成例的图。
图37是表示有关实施例的与元数据有关的动作流程的图。
图38是表示有关实施例的与元数据有关的动作流程的图。
图39是表示有关实施例的与元数据有关的动作流程的图。
图40是表示有关实施例的与元数据有关的动作流程的图。
图41是表示有关实施例的与元数据有关的动作流程的图。
图42是表示有关实施例的与元数据有关的动作流程的图。
图43是表示有关实施例的与元数据有关的动作流程的图。
图44是表示有关实施例的元数据的另一构成例的图。
图45是表示有关实施例的元数据的再另一构成例的图。
图46是用于说明利用云实现有关实施例的影像显示系统的构成例的图。
图47是用于说明利用云实现有关实施例的影像显示系统的构成例的图。
图48是用于说明利用云实现有关实施例的影像显示系统的构成例的图。
具体实施方式
(作为公开的基础的认识)
近年来，开发了通过用户佩戴在头部而将显示部配置在眼前，看上去能够以大画面辨识所显示的图像的显示装置。这样的显示装置被称作头戴式显示器(HMD)，有光学上能够将图像作为大画面来辨识的特性。此外，HMD中，也有通过显示产生了相应于与用户的右眼及左眼分别对应的视差的偏差的影像，用户能够立体地感受所视听的影像的HMD。并且，通过近年来的通信品质的提高，能够以几毫秒～几十毫秒程度的延迟大致实时地视听由配置在远程的观测装置拍摄的影像，即使不到现场也能够体验身临其境的感觉。利用该技术，还实现观光旅行、展示会参观、视察、工厂参观、美术馆/博物馆/动物园/水族馆参观等虚拟的观光体验(以下也称作模拟观光或VR(Virtual reality：虚拟现实)观光)。
在这样的VR观光中，使用能够拍摄360度(全经度)的影像的摄像机(所谓的全景摄像机)等作为观测装置。由观测装置拍摄的影像为广视角影像，显示装置的用户侧能够切取该影像中的任意的方向而显示。例如，如果搭载如能够检测显示装置的用户所朝向的方向的功能，则能够将3D影像空间中的与用户的朝向相应的一部分影像切取而显示，所以能够从1个摄像机影像提供匹配于许多用户的需求的视听体验。
这里，在用户观看任意的方向的一部分影像时，当发生了观测装置侧的移动时，有时会发生用户侧不想要的影像的运动。例如，当发生了如3D影像空间向12时方向运动那样的观测装置的移动时，如果用户正朝向该3D影像空间内的2时方向，则从用户看来影像突然向10时方向移动。这样的移动使得产生虚拟空间内与现实空间内之间的感觉的偏差，成为用户感到别扭感的原因。该现象也被称作所谓的VR眩晕，使得难以长时间视听影像。
所以，在本公开中，为了抑制这样的VR眩晕的发生，目的是提供在发生影像的移动时能够对用户提示该影像移动的方向的影像显示系统。另外，在本公开中，假设由观测装置拍摄360度的广视角影像而进行说明，广视角影像只要是拍摄了例如270度以上、180度以上或150度以上等的任意的角度范围的影像即可。这样的广视角影像只要是至少比用户在显示装置侧显示的影像的视角广的视角即可。此外，在本公开中，对设想发生水平面内的影像的移动的影像显示系统进行说明，但也能够应用于包含铅直成分的在与水平面交叉的交叉面中发生的影像的移动。
以下，使用附图对以往的影像显示系统等进行更详细的说明。图1是用于说明以往例的图。如图1所示，以往提供被称作VR观光(第一人称体验)的服务。在VR观光中，在现场的VR空间被适当地再现的情况下，能够体验身临其境的感觉。作为360°摄像机拍摄下的服务的例子，可以列举FirstAirlines(https://firstairlines.jp/index.html)或旅助(https://www.tokyotravelpartners.jp/kaigotabisuke－2/)等。此外，作为3D CG(计算机图形)下的服务的例子，可以列举Google Earth VR、Boulevard(https://www.blvrd.com/)等。
图2是用于说明以往例的图。如图2所示，除了VR观光以外，还提供使在现场拍摄的影像显示在电视机等的显示装置上并以第三人称视点视听这样的影像的服务(也称作第三人称体验)。在第三人称体验中，有专家进行向导的为用户特制的服务的提供，有如果符合个人的兴趣则能够实现收益等的特征。
图3是用于说明以往例的图。如图3所示，在开展VR观光的情况下，作为基本的构成而需要VR系统的主体、控制器、计算机或智能电话、网络、云、观测系统等。VR系统的主体以往只是有重量且相当程度地将脸覆盖的HMD型，但通过小型的眼镜型的VR眼镜型，长时间的使用变得容易，正逐渐被更广泛地使用。在VR系统的主体中，有在VR系统主体中包含需要的功能的All in One型和将一部分功能委任给计算机或智能电话等的外接型。控制器用于选择菜单或将VR空间移动等。计算机或智能电话有仅发挥通信功能的情况和构成VR系统的一部分的情况。
网络、云将观测系统315与VR系统311连接，有时由云上的计算机系统314实施观测系统或VR系统的一部分功能。观测系统中，使用带有无线功能的360°摄像机或者以无线或有线与智能电话或计算机连接的360°摄像机、180°摄像机或广角摄像机。经由这些装置等，用户312能够在VR空间内辨识向导和作为观光对象的建筑物、景色。
另外，在说明中，以使用360°摄像机的VR观光为例，但只要是使用180°摄像机等使用VR眼镜的参加者能改变视点的场景即可。此外，有说明拍摄实际的景色并进行向导的例子的情况，但也可以代替实际的景色而在由计算机图形构成的虚拟空间中使用虚拟的摄像机，向导也利用VR眼镜等进入虚拟空间，通过在虚拟空间内再现影像等来实现观光。因而，本发明对于这样的用途也能够应用。作为上述的典型的例子，以如月球旅行等那样向一般的旅行者不能容易地前往的地域、空间的VR旅行等为代表。
图4是用于说明以往例的图。在图4中，表示了360°摄像机拍摄的情况下的VR观光服务(无向导：上段(以下称作以往例1)；带向导：中段(以下称作以往例2))和作为第三人称体验的一例的Zoom(注册商标)观光服务的以往例(下段(以下称作以往例3))的概略构成。以下，在本发明中，假设声音或声音数据、声音信息不仅包含会话，还包含音乐，根据情况还包含包括可听频带外的超声波的音频信号。在VR观光服务中，观测系统(观光目的地)侧送出事前记录的影像，或VR系统侧操作360°摄像机、机器人或无人机而在VR系统侧能够观看VR影像。如中段所示，在观测系统侧存在向导、摄像机操作者，能够在VR系统中将360°摄像机等的VR影像作为VR欣赏。此外，如下段所示，在第三人称体验中，从观测系统侧将2D影像通过Zoom那样的基于声音/影像的多人的远程会话服务以2D传送，在远程能够观看并欣赏观光地的影像。
图5是用于说明以往例的图。关于以往例2，说明整体系统构成。以往例1与以往例2不同，是使用预先记录的VR影像或从VR系统侧进行操作的情况，对其差别也进行说明。以往例2的观测系统由VR拍摄用的摄像机、例如360°摄像机、以及用于将所拍摄的信息向远程送出的通信装置构成。
VR拍摄用的360°摄像机对拍摄不同的方向的多个摄像机的影像进行合成(拼接)作为一个运动图像，将其例如通过等距柱状投影(ERP)映射到平面，适当地压缩为ERP图像，与由麦克风捕捉到的音频数据等一起从通信装置向远程的VR系统送出。360°摄像机也有被搭载于机器人或无人机等的情况。360°摄像机以及搭载它的机器人、无人机等由拍摄者、向导进行操作，但在以往例1中，也有在VR系统侧进行操作的情况，或者在VR系统侧接受预先记录的影像等的情况。
在VR系统侧，与观测系统相反，将接收到的平面影像(ERP图像)变换为球体影像，按照观测者的方位、位置等，将一部分切取并用VR显示装置显示。在以往例3中，接收到的影像是2D，所以被显示为2D，几乎使用2D显示装置、例如平板电脑、智能电话或TV。上述内容在以往例1的接收预先记录的影像的情况下也同样。
在VR系统侧进行操作的情况下，有观测系统侧与VR系统侧的方位、位置连动地动作的情况、通过鼠标、平板电脑、摇杆、键盘等的键操作或选择画面上的菜单、图标而观测系统动作的情况等，需要从VR系统侧向观测系统送出适当的控制数据，并且从观测系统侧将其状态即方位、位置等发送给VR系统。
图6是用于说明以往例的图。利用图6所示的360°影像和通常的影像的对比，对用VR系统观看360°影像的情况下的分辨率进行说明。在用视角(FOV)100度的VR设备观看360°的4K影像的情况下，为了VR显示而切取的影像的分辨率仅为1067×600(SD影像的2倍左右)。使用单眼的分辨率2K×2K的面板的VR系统由于显示在正方形面板上，所以纵向进一步被拉伸为2倍，所以成为分辨率非常低的影像。
8K影像的情况下的VR显示的分辨率为2133×1200，在数据量上为Full HD(1920×1080)的面积的1.23倍，但由于纵向被拉伸为2倍，所以成为Full HD程度的影像。在11K拍摄(10560×5940)下，VR分辨率为2933×1650，相当于VR系统。
为了以高分辨率提供临场感高的VR观光体验，需要进行最低限度8K、如果可能则11K下的拍摄。对8K、11K的拍摄而言，机材也大，影像的传送率也高，容量也大。因此，拍摄及分发都会昂贵。
因此，通过避免VR眩晕、并使得容易理解、容易使用，必须让更多的用户使用而降低每个用户的使用单价。此外，VR录像内容的有效利用对于商业的达成也是重要的。
图7是用于说明以往例的图。按功能说明以往例1及2的主要功能的构成例。以往例1及2的观测系统751由以下单元构成：用于进行VR拍摄的VR拍摄单元762(VR拍摄摄像机)、对由VR拍摄单元762拍摄的影像进行处理而使其成为适合于传送的图像的VR影像处理单元758、将由VR影像处理单元758处理后的VR影像压缩而使其成为适合于传送的数据率及影像信号形式的VR影像压缩单元756、用于输入向导或周边的声音的由麦克风构成的声音输入单元763、使由声音输入单元763输入的声音信号成为适合于传送的数据率及声音信号形式的声音压缩单元760、将辅助信息生成为图形的图形生成单元759、使由VR影像压缩单元756、图形生成单元759及声音压缩单元760压缩后的影像信号及声音信号及图形信息成为适合于传送的信号的复用单元757、用于将由复用单元757复用的通信用观测信号发送给多个VR系统701并接收来自多个VR系统701的通信用声音信号的通信单元754、从通信单元754接收到的通信用声音信号取出压缩声音信号的分离单元755、从来自分离单元755的压缩声音信号取出声音信号的声音解码单元761、用于将由声音解码单元761解码后的声音信号作为声音输出的声音输出单元764。
在本例中，VR影像处理单元758、VR影像压缩单元756及图形生成单元759是在GPU内实现，声音压缩单元760、复用单元757、分离单元755、声音解码单元761是在CPU内实现，但并不一定不限于此，在更简单的构成中，也有将CPU和GPU作为一个处理器实现的情况，但其功能构成及动作相同。
VR拍摄单元762例如是360°摄像机，由拍摄不同方向的多个摄像机构成，在VR影像处理单元中将多个摄像机的输出进行合成(拼接)作为一个运动图像，将其例如通过等距柱状投影(ERP)映射到平面而作为ERP图像输出。
以往例1及2的VR系统701与观测系统751相反，具备：通信单元716，接收从观测系统751发送来的通信用观测信号或将由VR系统701输入的声音作为通信用声音信息向观测系统751送出；分离单元715，从来自通信单元716的通信用观测信号将压缩VR影像(ERP图像)、图形信息及压缩声音信息分离输出；VR影像解码单元710，将来自分离单元715的压缩VR影像(ERP图像)解码；VR显示控制单元708，将来自VR影像解码单元710的ERP图像变换为球体影像，根据来自VR控制单元707的控制信息，将一部分切取作为能够由VR显示单元704显示的影像，并且将由VR显示单元704显示的VR影像与从由分离单元715输出的图形信息向应显示的图形变换的图形生成单元712的图形信息一起输出；以及VR显示单元704，输出来自VR显示控制单元708的VR影像，以便用两眼观看；来自对VR显示单元704的前后左右的倾斜或白眼珠的朝向进行检测的旋转检测单元703和对VR显示单元704的左右前后及高度方向的位置进行检测的位置检测单元702各自的输出被发送至VR控制单元707，通过VR控制单元707的输出，适当地控制由VR显示单元704显示的影像，通过声音再现控制单元适当地控制由声音再现单元709输出的声音。由分离单元715分离的压缩声音信息被声音解码单元713解码，作为声音信息被发送至声音再现控制单元709，在声音再现控制单元709中，根据来自VR控制单元707的控制信息进行左右前后高度方向的平衡，根据情况进行频率特性及延迟处理、或作为VR系统701的警报等的合成等。在图形生成单元712中也进行VR系统701的系统菜单或警告等的显示用的图形的生成，重叠于VR图像而由VR显示单元704显示。VR系统701中具备用于输入VR系统701的使用者的声音的声音输入单元706，来自声音输入单元706的声音信息被声音压缩单元714压缩而作为压缩声音信息被发送至复用单元717，在此作为通信用声音信息从通信单元716送出到观测系统751。
图8是用于说明以往例的图。作为以往例2的观测系统的典型的实现例而说明360°摄像机801的实现例。
360°摄像机801的典型的例子是将两个摄像系统即超广角的透镜854、快门853、摄像元件852组合而拍摄前后上下360°的影像。为了拍摄更高品质的影像，也有将两个以上的拍摄系统组合的情况，所以在本例中，假设在VR拍摄摄像机804中有两个以上的拍摄系统而进行图示。拍摄系统也有将独立的摄像机组合而构成的情况，在此情况下，一般在影像的ADC851之后有高速的数字影像I/F，由此连接于高速的数字影像输入，该高速的数字影像输入连接于与GPU(Graphics Processing Unit：图形处理单元)803或CPU(CentralProcessing Unit：中央处理单元)802连接的影像系统总线，但这里设为一体化的构成而进行说明。
360°摄像机801的主要结构由以下的部分构成：VR拍摄摄像机804，由上述的多个摄像系统构成；GPU803，主要进行影像数据、图形的处理；CPU802，进行一般的数据处理、与输入输出有关的处理及360°摄像机801整体的控制；EEPROM(Electrical ErasableProgrammable ROM：电可擦除可编程只读存储器)813，用于存储用于使CPU802、GPU803动作的程序；RAM814，在用于CPU802、GPU803进行动作的数据的保存中使用；作为能够拆卸的存储器的SD卡(注册商标)821，进行影像、声音以及程序的保存；无线通信元件820，进行用于与外部进行数据的交换或接受来自外部的操作的WiFi(注册商标)或Bluetooth(注册商标)下的无线通信；按钮及显示元件808，用于操作及显示；电池807和电源控制元件812；声音输入部，用于输入声音，由多个麦克风(麦克风群819)或麦克风端子825、麦克风放大器818、ADC817构成；声音输出部，由扬声器826或耳机端子824、放大器823、DAC822构成；影像系统总线，主要将VR拍摄摄像机804与CPU802连接，用于数字影像数据的读取；存储器总线，将上述的EEPROM813、RAM814、SD卡821与GPU803、CPU802连接，进行与存储器的数据的交换；系统总线，连接上述的CPU802、GPU803、无线通信元件820、声音输入部及声音输出部，进行控制及数据的交换；I/O总线，对上述的按钮及显示元件808、电源控制元件812、此外将未图示的声音输入部、声音输出部及VR拍摄摄像机804等包括在内进行控制及低速的数据的交换；以及若干个总线变换部815及816，将各个总线连接。在I/O总线上还连接运动/位置检测部860。关于某些处理，由GPU803进行还是由CPU802进行有与本例不同的情况，总线构成也有与本例不同的情况，但后述的功能构成、动作没有差异。
VR拍摄摄像机804分别由用于拍摄广角的影像的透镜854、将由透镜854会聚的光变换为电信号的摄像元件852、处于透镜854与摄像元件852之间并将光阻断的快门853、这里虽然没有图示但处于与快门853同样的位置并对来自透镜854的光的强度进行控制的光圈、将来自摄像元件852的模拟电信号变换为数字影像信号的ADC851构成，虽然没有图示，但分别经由I/O总线被CPU802控制，状态被通知给CPU802。
作为按钮，有进行电源的接通/断开的电源开关806、用于拍摄的开始/结束的操作的拍摄开始/结束按钮811、存在不具备的情况的用于改变拍摄模式的拍摄模式选择按钮809和进行将透镜854移动或数字性地控制像角而进行放大缩小的缩放按钮810。
电源控制元件812也有与电池807一体的情况，进行电压的稳定化、电池容量的管理等，虽然没有图示但向全部的构成要素供给电源。进而，经由USB或AV输出向HMD/VR眼镜供给电源。
由GPU803实现的各个功能由图像处理等的专用的硬件及程序实现，一般由CPU802实现的功能通过通用的硬件和程序实现。作为一例，GPU803用于实现VR影像处理部842、VR影像压缩部841及图形生成部843等。此外，作为一例，CPU802用于实现存储器控制部835、复用部832、声音压缩部833、声音解码部834及分离部831。
图9是用于说明以往例的图。基于图9，作为以往例2的观测系统的典型的实现例而说明VR系统901的实现例。在本实现例中，假设VR系统901由计算机或智能电话951及与其连接的HMD或VR眼镜902构成。也有由HMD或VR眼镜902单体实现的例子，但在此情况下，可以考虑将两者的CPU和GPU的功能合一，将周边的功能也集中在一起。
在VR系统901中，计算机/智能电话951的主要结构由以下部分构成：用于与观测系统连接的WiFi或以太网(注册商标)等的高速的通信元件970、主要进行影像数据及图形的处理的GPU954、进行一般的数据处理及计算机/智能电话951整体的控制的CPU965、用于存储用于使CPU965或GPU954动作的程序的硬盘或闪存存储器等的非易失性存储器962、在用于CPU965或GPU954动作的数据的保存中使用的RAM961、电源开关963及用于向各部供给电源的电源控制元件964、用于向HMD/VR眼镜902输出影像和声音信号的AV输出952、用于控制HMD/VR眼镜902或取得来自它们的数据的USB953等的I/F、连接RAM961及非易失性存储器962并用于CPU965及GPU954访问的存储器总线、用于CPU965及GPU954对AV输出952、USB953、通信元件970进行访问的系统总线、将系统总线与存储器总线连接的总线连接(总线变换部960)、这里没有图示的显示装置、用于操作的输入装置、其他的通用的I/F等。
关于某些处理，是由GPU954进行还是由CPU965进行有与本例不同的情况，总线构成也有与本例不同的情况，但后述的功能构成、动作没有差异。作为一例，GPU954用于实现运动/位置检测处理部955、VR控制部956、VR显示控制部957、VR影像解码部958及图形生成部959等。此外，作为一例，CPU965用于实现声音解码部966、声音再现控制部967、复用部968及分离部969。
此外，关于AV输出952和USB953，作为高速的双向I/F，例如也可以用USB Type－C(注册商标)等I/F代替。在此情况下，HMD/VR眼镜902侧也用相同的I/F连接，或用对I/F进行变换的变换器连接。一般在用USB953传送影像的情况下，由于进行适当的压缩而将数据量压缩，所以由CPU965或GPU954进行适当的影像压缩，经由USB953向HMD/VR眼镜902送出影像。
在VR系统901中，HMD/VR眼镜902的主要结构由以下部分构成：声音输入部，用于输入声音，由麦克风906、麦克风放大器917、ADC918构成；声音输出部，由扬声器907或耳机端子908、放大器919、DAC920构成；VR显示部，用于使用者观看VR影像，由两组透镜904和显示元件905构成；运动/位置传感器903，通过由陀螺仪传感器、摄像机或超声波麦克风等构成的运动/位置检测部及方位检测部构成；Bluetooth等的无线通信元件927，用于与未图示的控制器进行通信；音量按钮909，用于控制从声音输出部的输出音量；电源开关921，用于将HMD/VR眼镜的电源接通/断开；用于电源控制的电源控制元件924；存储器总线，将上述的EEPROM913、RAM914、SD卡与GPU910、CPU915连接，进行与存储器的数据的交换；AV输入925，用于接受来自上述的CPU915、GPU910、无线通信元件927、计算机/智能电话951的影像信号和声音信号；USB926等的I/F，用于接受来自计算机/智能电话951的控制信号，或发送影像、声音信号、运动/位置的数据；CPU915，主要进行声音压缩(由声音压缩部916实现)、开关、电源等的控制、HMD/VR眼镜902整体的控制；GPU910，主要进行向VR显示部的影像的调整的影像显示处理(由影像显示处理部912实现)、以及根据来自运动/位置传感器903的信息将向计算机/智能电话951发送的运动/位置信息修正/成形的运动/位置检测(由运动/位置检测部911实现)；EEPROM913，用于存储用于使CPU915和GPU910动作的程序、数据；RAM914，用于存储CPU915和GPU910的动作时的数据；存储器总线，用于将CPU915、GPU910、RAM914与EEPROM913连接；系统总线，连接CPU915、GPU910、USB926、声音输入部、声音输出部及无线通信元件927，进行控制及数据的交换；I/O总线，对上述的按钮、电源控制元件924、运动/位置传感器903、此外将未图示的声音输入部、声音输出部及VR拍摄摄像机等包括在内进行控制及低速的数据的交换；以及若干个总线变换部922，将各个总线连接。关于某些处理，是由GPU910进行还是由CPU910进行有与本例不同的情况，总线构成也有与本例不同的情况，但后述的功能构成、动作没有差异。
来自AV输入925的影像数据为数据量多且高速，所以在系统总线不具有足够的速度的情况下，设为直接被GPU910取入而进行图示。
另外，由运动/位置传感器903的摄像机拍摄的影像信息会作为使用者确认HMD/VR眼镜902的周边的信息被发送至显示元件，或经由USB926被发送至计算机/智能电话951，供使用者进行是否处于危险的状况的监视。
电源控制元件924接受来自USB926或AV输入925的电源供给，进行电压的稳定化、电池容量的管理等，未图示但向全部的构成要素供给电源。根据情况，有时将电池923设置在内部或外部，与电源控制元件924连接。
未图示的控制器的按钮或光标的状态由CPU915经由无线通信元件927取得，用于VR空间中的按钮操作、移动或应用的操作。控制器的位置及朝向由处于运动/位置检测部中的摄像机或超声波传感器等检测，由运动/位置传感器进行适当的处理后用于CPU915中的控制，并且经由USB926被发送至计算机/智能电话951，用于由CPU915执行的程序或由GPU910执行的图形的描绘或图像处理。基本的动作由于与本发明不直接关联，所以省略。
图10是用于说明以往例的图。对在HMD/VR眼镜中具备计算机/智能电话之中用于VR的功能的一体型VR系统1001的实现例进行说明。
由图10可知，计算机/智能电话及HMD/VR眼镜的功能被一体化，CPU、GPU各自的功能由一个CPU、GPU实现。
通信元件1033典型的是进行无线通信的WiFi，由于不具有电源线缆，所以具有电池1026。为了电池1026的充电及初始设定而具有USB1034等的与通用的计算机的I/F。
一体型VR系统1001不需要具有连接计算机/智能电话及HMD/VR眼镜的AV输出、AV输入、USB，所以能够实现高品质且无延迟的AV信息的传送及有效的控制，但因为做成一体，大小上有限制，所以在电力、热、空间的限制下有时不能使用高性能的CPU1027或GPU1006，作为VR功能有可能受到限制。
但是，不用线缆连接使自由度增加，能够扩大应用的范围。
此外，通过将功能的一部分用云上的计算机实现等，能够弥补性能的不足而实现高性能的应用。
一体型VR系统1001与在图8及图9中说明的构成同样，除此之外还具备透镜1002、显示元件1011、麦克风1003、麦克风放大器1007、ADC1009、扬声器1004、耳机端子1005、放大器1008、DAC1010、RAM1019、EEPROM1020、总线变换1021、运动位置传感器1022、电源开关1023、音量按钮1024、电源控制元件1025。此外，影像显示处理1012、运动/位置检测处理1013、VR控制1014、VR显示控制1015、运动/位置检测1016、VR影像解码1017及图形生成1018使用GPU1006实现。此外，声音压缩1028、声音解码1029、声音再现控制1030、复用1031及分离1032使用CPU1027实现。
图11是用于说明以往例的图。基于图11，说明对由以往例1及2的观测系统的VR拍摄摄像机1151拍摄的影像进行处理的VR影像处理部1103的更详细的构成。
如上述那样，VR拍摄摄像机拥有用于拍摄360°上下四方的影像的多个摄像机cm，典型的是超广角透镜的摄像机cm，将由各个摄像机cm拍摄的拥有相同像素的矩形的独立影像输入到GPU1101内的由程序或专用电路实现的VR影像处理部1103。
在VR影像处理部1103中，首先对于被输入的多个影像，将各个摄像机cm的拍摄方向及拍摄得到的影像进行评价，将由各个摄像机cm拍摄的影像输入到拼接处理部1105，该拼接处理部1105进行合成及接合以使得成为连续的球形的影像的处理。对于从拼接处理部1105输出的球形的影像数据，由VR影像映射部1104例如通过等距柱状投影(ERP)而映射到平面，作为ERP图像从VR影像处理部1103输出，被移交给接下来的VR影像压缩部1102。
另外，关于影像系统总线与摄像机的连接，以各个摄像机连接在总线上的方式进行了图示，但也可以在VR拍摄摄像机1151内集中为一个信号，分时地将由各个摄像机拍摄的影像传送给影像系统总线，向VR影像处理部1103输入。在简单的构成中，由于摄像机cm是两个，所以可以不是总线，而是设为GPU1101分别接受两个摄像机的输出的构成，VR影像处理部1103接受并行地拍摄的影像并进行处理。
图12是用于说明以往例的图。基于图12，说明以往例1及2的VR系统的VR显示控制部1204的更详细的构成。
如上述那样，VR显示控制部1204在计算机/智能电话的GPU1201中用程序或专用电路实现，由映射部1206和显示VR影像变换部1205构成。
其动作如下。通信元件1261接受从观测系统发送来的通信数据，由CPU1231的分离部1232将压缩影像分离，GPU1201经由存储器总线接受影像，由VR影像解码部1207进行解码，成为平面影像(ERP图像)。平面影像由VR显示控制部1204的映射部1206变换为360°球体影像，由接下来的显示VR影像变换1205基于VR控制部1203所输出的控制信息切取要由VR显示单元1202显示的部分。
具体而言，将ERP图像的中心设为整面，作为360°球体影像的原点。关于由VR显示单元1202显示的VR影像的初始影像，以原点为中心，根据VR显示单元1202的能力，将右眼用影像设为稍靠右的影像，将左眼用影像设为稍靠左的影像，高度方向使用初始设定的值而分别切取影像，用右眼用、左眼用的显示元件显示。然后，对应于VR系统左右旋转、观看上下等，切取的位置发生变化。
一般来自360°摄像机的影像在VR系统移动时不发生变化，但当为由CG生成的影像的情况下，根据VR系统的移动或控制器中的操作而位置变化。
从360°球体影像的切取的初始值有时是从上次的切取位置开始的，但一般具备回到初始位置的功能。
图13是用于说明以往例的图。基于图13说明以往例2的动作例。
在观测系统中，由声音输入部(麦克风群、麦克风端子、麦克风放大器、ADC)输入声音(S1325)，由声音压缩部进行声音压缩(S1326)。
同时，在VR拍摄摄像机的多个摄像机(透镜、快门、摄像元件、ADC)中拍摄运动图像(S1321)，由VR影像处理部的拼接处理部以作为中央的摄像机1为中央拼接为球体影像(S1322)，对其由VR影像映射部通过等距柱状投影等生成ERP图像(S1323)，由VR影像压缩部适当地进行压缩(S1324)。
压缩后的ERP图像和声音信息被复用部复用(S1327)，成为可传送的形式，由无线通信元件向VR系统送出(发送)(S1328)。
随着时间经过，并且根据情况向新的方向、位置移动(S1329)，反复进行从声音输入和利用多个VR拍摄摄像机的拍摄到送出。
这里，关于图形信息，有在影像压缩前重叠于影像的情况、作为图形信息与影像/声音一起被复用的情况，这里省略。
在VR系统中，在计算机/智能电话中，由通信元件接收从观测系统发送来的信息(S1301)，发送给分离部。由分离部分离发送来的压缩影像信息和压缩声音信息(S1302)。由分离部分离的压缩声音信息被发送至声音解码部而被解码(S1303)，成为非压缩的声音信息。声音信息从声音解码部被发送至声音再现控制部，由声音再现控制部基于从GPU的VR控制部经由系统总线发送来的VR观测系统的位置/方位信息进行声音处理(S1304)。进行声音处理后的声音信息经由系统总线、经由AV输出或USB被传送到HMD/VR眼镜的声音输出部(DAC、放大器、扬声器及耳机端子)，作为声音输出(S1305)。作为声音处理，进行左右或空间内的音量的平衡控制、频率特性的变更、延迟、空间内的移动、仅对特定的音源的同样的处理、效果音的追加等。
关于压缩影像信号，来自计算机/智能电话的CPU的分离部的影像数据经由存储器总线被发送至GPU的VR影像解码部，在VR影像解码部中被解码(S1307)，作为ERP图像输入到VR显示控制部。在VR显示控制部中，由映射部将ERP影像映射为360°球体影像(S1308)，在显示VR影像变换部中基于来自VR控制部的VR系统的位置/方位信息从360°球体影像切取适当的部分的影像(S1309)，由VR显示部(显示元件、透镜)显示为VR影像(S1310)。
从来自观测系统的接收起，反复进行影像显示、声音输出。
另外，这里关于图形，有与影像/声音分离同时将图形分离并由VR显示控制部重叠于VR影像的情况、在VR系统内生成并重叠于VR影像的情况等，这里省略说明。
(公开的概要)
本公开的概要如下。
有关本公开的影像显示系统的一技术方案，是用于由显示装置对显示影像进行显示的影像显示系统，具备：观测装置，具有拍摄部、数据取得部、元数据构成部以及发送部，拍摄部拍摄作为广视角影像的影像，数据取得部取得与拍摄部的移动方向有关的数据，元数据构成部取得基于所取得的数据的元数据，发送部将所拍摄的广视角影像与元数据一起发送；以及VR装置，该VR装置具备：接收部，接收广视角影像及元数据；朝向推测部，推测显示装置的朝向；差分计算部，基于推测出的显示装置的朝向与元数据上的拍摄部的移动方向的差分，计算相对于显示装置的朝向的相对的拍摄部的移动方向即相对移动方向；提示部，将计算出的相对移动方向提示给显示装置的用户；影像生成部，从接收到的广视角影像生成包含如下一部分影像的显示影像，一部分影像是对应于与朝向推测部推测出的显示装置的朝向相应的视野部分的影像；以及显示装置，显示显示影像。
这样的影像显示系统通过使用元数据，计算表示拍摄部的移动方向的相对移动方向。并且，由于将相对移动方向提示给用户，所以能够抑制拍摄部突然移动等拍摄部进行用户的设想外的移动所带来的不良状况。因而，根据影像显示系统，从抑制拍摄部进行用户的设想外的移动所带来的不良状况的观点来看，能够显示适当的影像。
此外，例如也可以是，提示部生成表示计算出的相对移动方向的图形并输出，通过使所输出的图形重叠在一部分影像中，使影像生成部提示相对移动方向。
由此，能够通过图形将相对移动方向提示给用户。
此外，例如也可以是，图形在显示影像上显示指示相对移动方向的箭头。
由此，通过在显示影像上显示指示相对移动方向的箭头的图形，能够将相对移动方向提示给用户。
此外，例如也可以是，图形显示掩膜，该掩膜是用于将显示影像上的相对移动方向侧以外的至少一部分遮盖的图像。
由此，通过显示用于将显示影像上的相对移动方向侧以外的至少一部分遮盖的图像即掩膜的图形，能够将相对移动方向提示给用户。
此外，例如也可以是，推测出的显示装置的朝向是基于显示装置的实际的朝向每次以第1离散值变化的离散显示方向，差分计算部计算离散显示方向与元数据上的拍摄部的移动方向的差分。
由此，能够将离散地变化的相对移动方向提示给用户。
此外，例如也可以是，第1离散值以如下方式变化：在显示装置的实际的朝向与元数据上的拍摄部的移动方向在水平面内的倾斜一致时成为最小，在显示装置的实际的朝向与元数据上的拍摄部的移动方向在水平面内的倾斜之差最大时成为最大。
由此，能够将以如下方式离散地变化的相对移动方向提示给用户：在显示装置的实际的朝向与元数据上的拍摄部的移动方向在水平面内的倾斜一致时成为最小，在显示装置的实际的朝向与元数据上的拍摄部的移动方向在水平面内的倾斜之差最大时成为最大。
此外，例如也可以是，元数据上的拍摄部的移动方向是基于显示装置的实际的朝向每次以第2离散值变化的离散移动方向，差分计算部计算推测出的显示装置的朝向与离散移动方向的差分。
由此，能够将离散地变化的相对移动方向提示给用户。
此外，例如也可以是，观测装置具有用于使影像部移动的操作者进行输入的输入接口，数据取得部经由输入接口取得由操作者输入的数据。
由此，能够经由输入接口取得由操作者输入的数据而构成元数据。
此外，例如也可以是，观测装置具有检测拍摄部的位置的位置检测部，数据取得部基于由位置检测部随着时间经过检测到的拍摄部的位置取得数据。
由此，能够基于由位置检测部随着时间经过而检测到的拍摄部的位置取得数据而构成元数据。
此外，例如也可以是，拍摄部通过在由计算机图形构成的虚拟的图像空间内进行拍摄，来拍摄虚拟的广视角影像。
由此，在虚拟的广视角影像中，从抑制拍摄部进行用户的设想外的移动所带来的不良状况的观点来看能够显示适当的影像。
此外，例如也可以是，具备信息处理装置，该信息处理装置具备观测装置和VR装置所具备的功能的至少一部分，通过网络与观测装置及VR装置连接，承担观测装置及VR装置的处理的一部分。
由此，能够由观测装置、VR装置和信息处理装置实现影像显示系统。
此外，例如也可以是，信息处理装置具有：接收部，从观测装置接收广视角影像及数据；元数据构成部，生成基于广视角影像及数据的元数据；移动信息计算部，计算与元数据上的拍摄部的移动有关的移动信息；提示部，生成图形并输出，图形是表示计算出的移动信息的图形，通过重叠于广视角影像中的对应于与显示装置的推测出的朝向相应的视野部分的一部分影像，将拍摄部的移动方向提示给显示装置的用户；以及发送部，发送广视角影像、图形及元数据。
由此，能够由上述构成的观测装置、VR装置和信息处理装置实现影像显示系统。
此外，例如也可以是，信息处理装置具有：接收部，从观测装置接收广视角影像及数据；元数据构成部，生成基于广视角影像及数据的元数据；移动信息计算部，计算与元数据上的拍摄部的移动有关的移动信息；以及发送部，发送广视角影像、移动信息及元数据。
由此，能够由上述构成的观测装置、VR装置和信息处理装置实现影像显示系统。
此外，例如也可以是，信息处理装置具有：接收部，接收广视角影像、数据及与显示装置的朝向有关的数据；元数据构成部，生成基于广视角影像、数据及与显示装置的朝向有关的数据的元数据；差分计算部，基于显示装置的朝向和与拍摄部的移动有关的移动信息的差分，计算相对于显示装置的朝向的相对的拍摄部的移动方向即相对移动方向；提示部，生成图形并输出，图形是表示计算出的相对移动方向的图形，通过重叠于广视角影像中的对应于与显示装置的推测出的朝向相应的视野部分的一部分影像，将相对移动方向提示给显示装置的用户；以及发送部，发送广视角影像、图形及元数据。
由此，能够由上述构成的观测装置、VR装置和信息处理装置实现影像显示系统。
此外，例如也可以是，信息处理装置设置在与广域网连接的云上，经由广域网与观测装置及VR装置连接。
由此，能够由观测装置、VR装置和经由广域网与观测装置及VR装置连接并设置在云上的信息处理装置实现影像显示系统。
此外，有关本公开的一技术方案的信息处理方法，是使显示装置对显示影像进行显示的信息处理方法，接收基于与拍摄部的移动方向有关的数据的元数据，拍摄部拍摄作为广视角影像的影像；基于显示装置的推测出的朝向与元数据上的拍摄部的移动方向的差分，计算相对于显示装置的朝向的相对的拍摄部的移动方向即相对移动方向并输出。
这样的信息处理方法能够起到与上述中记载的影像显示系统同样的效果。
此外，有关本公开的一技术方案的程序是用于使计算机执行上述中记载的信息处理方法的程序。
这样的程序能够使用计算机起到与上述中记载的影像显示系统同样的效果。
以下，结合附图对本公开的实施方式进行说明。
另外，以下说明的实施方式都表示包含性或具体的例子。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置及连接形态、步骤、步骤的顺序等是一例，不是限定权利要求的意思。此外，关于以下的实施方式的构成要素中的、在独立权利要求中没有记载的构成要素，设为任意的构成要素而进行说明。
另外，各图并不一定是严密地图示的。在各图中，对于实质上相同的构成赋予相同的标号，将重复的说明省略或简略化。
此外，在本说明书中，平行等的表示要素间的关系性的用语、矩形等的表示要素的形状的用语、以及数值及数值范围不是仅表示严格的意义的表现，而是意味着实质上等同的范围、例如也包含几个百分点左右的误差等的差异的表现。
(实施方式)
[构成]
首先，使用图14及图15对实施方式的影像显示系统的概要进行说明。图14是表示有关实施方式的影像显示系统的概略构成的图。此外，图15是表示在有关实施方式的影像显示系统中显示的影像的一例的图。
如图14所示，本实施方式的影像显示系统500由观测装置300、经由网络150连接的服务器装置200和经由网络150连接的显示装置100实现。
观测装置300是能够拍摄周围360度的影像的所谓的全景摄像机。观测装置300例如也可以是拿在手中进行拍摄的拍摄装置300a，也可以是用三脚架等固定的观测装置300b。在拿在手中进行拍摄的拍摄装置300a的情况下，容易一边转动一边拍摄。以下，将这些种类不特别区别而称作观测装置300。观测装置300具有鱼眼透镜等光学元件，能够用1个传感器阵列来拍摄广视角区域，例如180度等。并且，能够使用以将不同的广视角区域相互补全的方式配置的多个组合的光学元件及传感器阵列来拍摄360度的广视角影像。另外，对于在多个传感器阵列各自中拍摄的图像彼此，进行确定相互对应的元件彼此并使其重叠的处理(拼接)。结果，例如生成等距离柱状图等的能够将平面和球面相互变换的1个图像。通过在时域中连续地生成这样的图像，生成在时域中变化的影像(运动图像)。另外，将球面的影像的内部也称作3D影像空间。
此外，在本实施方式中，生成产生与人的视差对应的偏差的两个3D影像空间。这样的两个3D影像空间既可以从1个3D影像空间通过模拟等生成，也可以由产生了相应于视差的偏差的两个摄像机生成。在本实施方式中，能够显示用户能够从该3D影像空间的内部视听3D影像空间的任意的方向的VR影像。
网络150是用于将观测装置300、服务器装置200和显示装置100之间可相互通信地连接的通信网。这里，作为网络150，并不限于使用因特网等的通信网。此外，观测装置300与网络150的连接、服务器装置200与网络150的连接以及显示装置100与网络150的连接既可以分别通过无线通信进行，也可以通过有线通信进行。
服务器装置200是用于进行信息处理等的装置，例如使用处理器和存储器实现。服务器装置200既可以由边缘计算机实现，也可以由云计算机实现。此外，服务器装置200既可以针对1个影像显示系统500设置1个，也可以针对多个影像显示系统500设置1个。即，服务器装置200也可以将多个影像显示系统500中的各种处理并行地进行。另外，服务器装置200在影像显示系统500中不是必须的构成。
例如，也可以通过将后述的服务器装置200的各功能部分别分配给观测装置300及显示装置100而配置，来实现仅具备观测装置300及显示装置100的影像显示系统。特别是，如果将显示装置100用兼具备显示面板的智能电话等的信息处理终端实现，则能够使用信息处理终端的处理器等容易地实现服务器装置200的功能部。或者，通过使服务器装置200拥有观测装置300及显示装置100的功能，能够削减观测装置300或显示装置100的功能的一部分，挪用现有的观测装置或显示装置。即，通过在服务器装置200中集成各种功能，能够容易地实现影像显示系统。关于服务器装置200的各功能部，使用图16等在后面叙述。
显示装置100是如下的眼镜型的HMD：通过设为将从左右分别延伸的镜腿部卡止到耳廓上的状态而支承相互分离的两个镜筒，从而将两个镜筒保持在与用户的右眼及左眼分别对应的位置上。在显示装置100的各个镜筒内置有显示面板，例如如图15所示，将产生了相应于视差的偏差的影像朝向用户的左右眼分别投影。在图15中，(L)中表示左眼用影像的1帧的图像，(R)中表示右眼用影像的相同的1帧的图像。另外，显示装置100也可以不是这样的影像显示专用的终端。也可以通过智能电话、平板电脑终端或PC等所具备的显示面板实现本公开的显示装置。
以下，参照图16对本实施方式的影像显示系统500的更详细的构成进行说明。图16是表示有关实施方式的影像显示系统的功能构成的框图。如图16所示，并且如在图14中说明那样，影像显示系统500具备显示装置100、服务器装置200和观测装置300。
显示装置100具有显示部101和朝向推测部102。显示部101是使用背灯及液晶面板、有机EL及微型LED等来输出与图像信息相应的光信号的功能部。显示部101控制输出的光信号，以使得经由透镜及光学面板等光学元件在用户的眼睛的视网膜上使图像成像。结果，用户通过成像在视网膜上的图像，能够辨识该图像。显示部101通过在时域中连续地输出上述那样的图像，能够辨识连续的图像即影像。这样，显示部101对显示装置100的用户显示影像。
朝向推测部102是用于推测显示装置100的朝向的功能部。朝向推测部102由内置在显示装置100的适当的位置处的加速度传感器、陀螺仪传感器等的各种传感器实现。朝向推测部102通过推测姿势相对于对显示装置100预先设定的基准方向向哪个方向变更了何种程度的角度，来推测显示装置100的朝向。如前面说明那样，显示装置100支承于用户的头部(耳廓及鼻根部)，所以与用户的头部一起移动。
并且，通过推测显示装置100的朝向，能够从广视角影像切取并显示与该朝向相应的视野部分。即，根据由朝向推测部102推测的显示装置100的朝向，能够将用户的头部所朝向的方向看作是在3D影像空间内想观看的视野区域而显示该视野区域。另外，这里推测的显示装置100的朝向是沿着显示装置100的显示面板的法线方向的方向。显示面板由于以对置于用户的眼睛的方式配置，所以通常用户的眼睛位于显示面板的法线方向。因此，显示装置100的方向和将用户的眼睛与显示面板连结的方向一致。
但是，有时由于用户的眼球运动，显示装置100的方向和用户的视线方向偏离。在此情况下，如果在显示装置100上搭载有检测用户的视线的传感器(眼球跟踪器)等，则也可以将检测到的用户的视线设为显示装置100的方向。即，眼球跟踪器是朝向推测部的另一例。
在显示装置100上，除了上述构件以外，还搭载有电源、各种输入用开关、显示面板的驱动用电路、输入输出用的有线及无线通信模块、信号变换器及放大器等的声音信号处理电路、以及声音输入输出用的麦克风及扬声器等。
服务器装置200具有接收部201、差分计算部202、提示部203和影像生成部204。接收部201是从后述的观测装置300接收(取得)各种信号的处理部。接收部201接收在观测装置300中拍摄的广视角影像。此外，接收部201接收在观测装置300中取得的元数据。进而，接收部201接收与在显示装置100中推测出的显示装置100的朝向有关的信息。
差分计算部202是基于显示装置100的朝向与元数据中包含的拍摄部301的移动方向的差分来计算相对于显示装置100的朝向的相对的拍摄部301的移动方向即相对移动方向的处理部。关于差分计算部202的详细的动作在后面叙述。
提示部203是将在差分计算部202中计算出的相对移动方向提示给显示装置100的用户的处理部。这里，说明提示部203通过将表示相对移动方向的内容包含到在影像生成部204中生成的显示影像中而使影像生成部204进行上述的提示的例子，但相对移动方向的提示并不限于包含到上述显示影像中的例子。例如，也可以在3D声场内作为与相对移动方向对应的来自规定的到来方向的声音进行提示，也可以通过使用户拿在两手中的振动设备等的装置中与相对移动方向对应一侧的设备振动来提示。关于提示部203的详细的动作，与差分计算部202的详细的动作一起在后面叙述。
影像生成部204从接收到的广视角影像中切取对应于与朝向推测部102推测出的显示装置100的朝向相应的视野部分的一部分影像，进而在需要的情况下，生成包含表示计算出的相对移动方向的内容的显示影像。关于影像生成部204的详细的动作，与差分计算部202及提示部203的详细的动作一起在后面叙述。服务器装置200除此以外还具有用于将所生成的显示影像发送给显示装置100的通信模块。
观测装置300具有拍摄部301、输入接口302、位置检测部303、数据取得部304、元数据取得部305和发送部306。拍摄部301是与图像的拍摄有关的功能部分，与观测装置300的其他功能构成一体地构成。因此，使拍摄部301移动意味着使拍摄部301与观测装置300一起移动。另外，拍摄部301也可以通过有线或无线通信与拍摄装置300的其他的功能构成分离。在此情况下，也可以使拍摄部301单独地移动。拍摄部301包括光学元件、传感器阵列和图像处理电路等。拍摄部301例如将经由光学元件在传感器阵列上接受的各像素的光的亮度值作为2D状的亮度值数据输出。图像处理电路除了进行亮度值数据的噪声除去等的后处理以外，还进行拼接等的用于从2D图像数据生成3D图像空间的处理等。
输入接口302是在由操作观测装置300的操作者进行输入时使用的功能部。例如，输入接口302包括能够进行与拍摄部301的移动方向对应的360度的各方向的倾倒的棒、以及检测其倾倒方向的物理性的传感器。操作者通过使拍摄部301移动并使棒朝向该移动方向倾倒，能够将拍摄部301的移动方向输入到系统中。此外，也可以采用使拍摄部301为自行式设备，按照向输入接口302的输入而自行式拍摄部301向该方向移动的构成。另外，输入接口302不是必须的构成。只要提供其和后述的位置检测部303的任意一方，就能够实现本实施方式。
位置检测部303是检测拍摄部301即观测装置300的移动方向的传感器。位置检测部303由LiDAR等的测距传感器及里程表等实现，能够检测观测装置300的当前位置。位置检测部303通过随着时间经过检测该当前位置，能够检测观测装置300的移动方向。
数据取得部304是从输入接口302及位置检测部303等取得与拍摄部301的移动方向即观测装置300的移动方向有关的数据的功能部。数据取得部304与输入接口302及位置检测部303的至少一方连接，从这些功能部，作为物理量而取得观测装置300的移动方向。
元数据取得部305是通过将在数据取得部304中取得的与观测装置300的移动方向有关的数据变换为用于附加到所拍摄的影像数据中的元数据来取得该元数据的功能部。在所取得的元数据中，除了与观测装置300的移动方向有关的数据以外，也可以还包含在影像显示系统500内使用的各种数据。即，元数据取得部305是通过将多个数据集中为1个而构成能够从1个信息读出多个数据的元数据的元数据构成部的一例。
发送部306是发送所拍摄的影像(广视角影像)和所取得的元数据的通信模块。发送部306通过与服务器装置200的接收部201通信，发送所拍摄的影像及所取得的元数据，供接收部接收。
[动作]
接着，使用图17～图21对如上述那样构成的影像显示系统500的动作进行说明。图17是表示有关实施方式的影像显示系统的动作的流程图。
如果开始影像显示系统500的动作，则进行由拍摄部301进行的影像的拍摄，并且通过输入接口302、位置检测部303、数据取得部304及元数据取得部305动作，来取得包含与拍摄部301的移动方向有关的数据的元数据。元数据经由发送部306及接收部201与所拍摄的影像一起被服务器装置200接收(S101)。
此外，显示装置100的朝向推测部102连续地推测显示装置100的朝向。显示装置100将由朝向推测部推测出的显示装置100的朝向发送给服务器装置200。结果，服务器装置200接收显示装置100的推测出的朝向(S102)。另外，步骤S101及步骤S102的顺序也可以替换。服务器装置200根据与拍摄部301的移动方向有关的数据，判定是否有拍摄部301的移动(S103)。在判定为有拍摄部的移动的情况下(S103中为“是”)，服务器装置200进入用于将相对移动方向提示给显示装置100的用户的动作。具体而言，差分计算部202基于显示装置100的朝向和与元数据上的拍摄部301的移动方向有关的数据，计算相对于用户观看的方向(即相当于显示装置100的朝向)的相对的影像的移动方向，作为相对移动方向(S104)。
这里，使用图18及图19对相对移动方向的计算进行说明。图18是对有关实施方式的相对移动方向的计算进行说明的第1曲线图。此外，图19是对有关实施方式的躯体移动方向的计算进行说明的第2曲线图。
相对移动方向的计算例如使用以下的式(1)进行。
[数式1]
Da＝Do-Dv......(1)
其中，在上述的式(1)中，Do表示拍摄部301的实际的移动方向，Dv表示显示装置100的实际的朝向，Da表示它们的角度差。
通常，人在图像上识别角度时，存在看作相同的角度的范围。进而，在将影像的相对移动方向表示在图像上的情况下，有时不需要考虑微妙的角度的差。在本实施方式中，通过将这样的不需要连续的角度区域当作是离散性的，能够清晰地表达影像大致向哪个方向移动。具体而言，在本实施方式中，作为显示装置100的朝向而使用基于实际的朝向每次以第1离散值变化的离散显示方向，作为拍摄部301的移动方向而使用基于实际的朝向每次以第2离散值变化的离散移动方向。因而，这里如以下的式(2)。
[数式2]
其中，在上述的式(2)中，int(x)表示将x的小数点以下舍去的函数，DD表示第1离散值及第2离散值(相同值)。另外，第1离散值和第2离散值也可以不是相同值。此外，在上述的式(2)中，以拍摄部301向基准方向移动(Do＝0)时的显示装置100的朝向与基准方向一致的方向(Dv＝0)的点为对象，应用曲线图的平行移动，以成为点对称的曲线图。
根据上述的式(2)，例如当DD＝90度并且Do＝0时，如图18所示，能得到相对于Dv每次以90度离散地增减的Da。在图18中，当设基准方向为0度时，在用户的朝向为－180度以上且小于－135度的范围(－180≤Dv＜－135)中相对移动方向为180度，表示影像移动到了用户的后方侧。此外，当设基准方向为0度时，在用户的朝向为－135度以上且小于－45度的范围(－135≤Dv＜－45)中相对移动方向为90度，表示影像移动到了用户的侧方侧。
此外，当设基准方向为0度时，在用户的朝向为－45度以上且45度以下的范围(－45≤Dv≤45)中相对移动方向为0度，表示影像移动到了用户的前方侧。此外，当设基准方向为0度时，在用户的朝向为比45度大且135度以下的范围(45＜Dv≤135)中相对移动方向为－90度，表示影像移动到了用户的侧方侧。此外，基当设基准方向为0度时，在用户的朝向为比135度大且180度以下的范围(135＜Dv≤180)中相对移动方向为－180度，表示影像移动到了用户的后方侧。
此外，如果这样将离散值设为一定的值，则有时有不良状况。例如，相对于用户的后方侧的移动方向的变化，关于用户的前方侧的相对移动方向的变化，用户的识别性更高。在此情况下，也可以使第1离散值对应于用户的朝向(显示装置100的朝向)而变化。具体而言，也可以是，在用户的朝向为－45度以上且45度以下的范围(－45≤Dv≤45)中，设DD＝5度，在用户的朝向为－135度以上且小于－45度的范围、以及比45度大且135度以下的范围(－135≤Dv＜－45、45＜Dv≤135)中，设DD＝20度，在用户的朝向为－180度以上且小于－135度的范围、以及比135度大且180度以下的范围(－180≤Dv＜－135、135＜Dv≤180)中，设DD＝45度。通过这样，如图19所示，还能够在用户的朝向接近于拍摄部301的移动的基准方向的情况下使相对移动方向灵敏地变化，并且随着用户的朝向从拍摄部301的移动的基准方向离开而使相对移动方向的变化迟缓。
这样，使第1离散值以与显示装置100的实际的朝向为0度时的值相比，显示装置100的实际的朝向为180度或－180度时的值更大的方式变化也是有效的。
回到图17的流程图，在计算相对移动方向之后，提示部203生成与该相对移动方向对应的图形(S105)。接着，影像生成部204从广视角影像中切取与显示装置100的朝向相应的视野部分(S106)，通过将提示部203所生成的图形重叠到切取出的一部分影像来生成显示影像(S107)。图20是对有关实施方式的显示影像的生成进行说明的概念图。在图20中，(a)中表示从广视角影像切取的一部分影像，(b)中表示由提示部203生成的图形99，(c)中表示通过重叠生成的显示影像。通过将图形99重叠到一部分影像，在显示影像中显示有指示相对移动方向的箭头99a。
此外，图21是用于对有关实施方式的显示影像的生成进行说明的另一概念图。如图20所示的箭头99a在视觉上容易知道其方向，但另一方面有难以知道影像上的变化的情况。所以，也可以如图21所示采用如下结构：将掩膜99b作为图形99来生成并重叠，从而在显示影像上赋予较大的变化，上述掩膜99b是用于将与相对移动方向侧相反一侧的一部分遮盖的图像。在该例中，用户从被掩膜遮盖的区域进行视线移动以辨识剩余的影像，其视线移动的方向相当于相对移动方向，所以有容易知道影像上的变化、并且容易自然地识别相对移动方向的优点。另外，这里的“遮盖”，也包括被半透射状态的图像覆盖的情况，上述半透射状态是如被遮盖的对象的区域一部分透射而能看到的状态。
再次回到图17的流程图，在判定为没有拍摄部的移动的情况下(S103中为“否”)，服务器装置200不进行用于将相对移动方向提示给显示装置100的用户的动作，而前进到步骤S108。接着，影像生成部204从广视角影像中切取与显示装置100的朝向相应的视野部分(S108)，将切取的一部分影像原样生成为显示影像。
这样，能够使用户掌握相对移动方向，所以即使其后影像移动，也不易发生用户对移动的识别的差错。这样，在影像显示系统500中，从抑制VR眩晕等的观点来看，能够使显示装置100显示适当的影像。
[实施例]
以下，基于实施方式的实施例更详细地进行说明。在该实施例中，以容易发生VR眩晕为课题，说明用于解决该课题的更具体的例子。VR眩晕在从视觉或听觉得到的信息与通过前庭感觉得到的加速度(在等速运动的情况下不能感知刺激)信息间发生差错的情况下容易发生。在通常VR装置(HMD等)中，对于视觉/听觉的信息是能够再现的，能够对视觉/听觉带来刺激，但如果不设置大规模的运动平台等，就难以对前庭器官赋予感到加速度的刺激，仅限于主题乐园或VR游戏中心那样的设施型VR设备。
在以VR观光等体验VR空间内的情况下，如果发生“VR眩晕”，则VR观光自身成为痛苦的体验，用户不会再使用。因此，避免VR眩就晕变得重要。
在对VR游戏或大型设备/建筑物等进行VR确认的情况下，能够按照自己的意愿移动。在此情况下，一般通过进行跳跃移动、“扭曲移动”来避免“VR眩晕”。
在360°摄像机影像构成VR空间的VR观光的情况下，不能进行自己的意愿下的摄像机移动。现场的拍摄者使摄像机移动。在该摄像机移动与自己的意愿无关地进行的情况下，如坐在车的副驾驶席而晕车那样，容易成为VR眩晕。
在如过山车的VR体验的情况下，虽然自己不能决定运动的方向，但能够设想乘坐物的移动方向，所以如自己驾驶汽车时那样不易晕车。
在VR视听者无意(不可预料)时，如果将360°摄像机移动或发生横摇(改变默认的行进方向)，则有导致VR眩晕的风险。
图22是有关实施例的影像显示系统的构成例的概略图。此外，图23是有关实施例的影像显示系统的另一构成例的概略图。
在本发明中，为了避免在VR观光等中拍摄的360°摄像机的移动中伴随的VR眩晕，从观测系统除了360°影像以外还将元数据(拍摄360°影像的摄像机移动、横摇(pan)的开始时刻、移动方向等)发送给VR系统，在VR系统侧通过产生在摄像机即将移动之前或移动期间中适当地向视听者通知移动的视觉效果(画面上的显示等)或非视觉效果(声音、控制器的振动等)，促使视听者做好准备，或者通过显示与通常不同的视觉效果影像以免眩晕，来避免(减轻)VR眩晕。
为此，持有360°摄像机的拍摄者处于远程，发送360°影像+元数据，由VR设备基于α的信息等生成对移动方向进行向导的CG，并与发送来的360°影像合成，从而视听者能够为移动做好准备，所以能够在减轻VR眩晕的基础上进行视听。因此，根据本发明，在提供VR观光服务时能够减轻VR眩晕，能够提供更舒适的VR观光体验。
图24是表示有关实施例的影像显示系统的整体系统构成的一例的图。说明本发明的实施例的详细的构成。本发明相对于以往例1、2，还由观测系统生成表示观测系统的方位、位置等的元数据，将其发送给VR系统侧，在VR系统侧进行适当的处理，由此实现VR眩晕的减轻，并且通过取得VR空间中的方位、位置而在VR空间中接受适当的向导，实现不“迷路”，将以往例2作为对比，在这里以其差异为中心进行说明。
关于多个VR系统间的封闭的通信手段，可以在这里所述的构成上进一步追加。此外，在从VR系统侧进行操作的情况下，关于预先记录有来自观测系统的信息的情况，也以这里所述的构成为基础，因此另行说明差异。
在本发明的构成中，关于观测系统中的拍摄、拼接、ERP图像变换、送出、VR系统中的接收、从ERP图像向球体影像的的变换、根据VR系统的方位、位置等进行的向VR系统的显示图像的切取，与以往例2是同样的。
在本发明中，在观测系统中，VR系统侧具有用于生成元数据的元数据生成部，上述元数据用于通知方位、位置或移动方向等。通过观测系统侧的向导或拍摄者从数据输入装置输入数据，或者通过数据取得部取得与观测系统的拍摄位置及移动方向有关的数据，元数据生成部将VR拍摄装置的运动、方位、位置包括在内生成元数据。所生成的元数据与影像(广视角影像)、声音等一起从通信装置被送出到VR系统。
VR系统从通信装置提取元数据，将元数据发送给元数据解析部。这里，作为一例，根据元数据的内容和VR系统的方位、位置(由后述的旋转检测单元或使用运动/位置传感器的头部跟踪器进行的用户的脸(头)的朝向的推测，检测VR系统的位置、移动)，作为对VR系统的使用者的适当的消息、例如动作的指示而从GFX生成部将箭头作为图形来生成，并重叠到VR影像(视野影像)，显示在VR显示装置上。
不仅是图形的显示，也有进行通过声音的指示、VR影像的适当的处理等的情况。
此外，虽然没有图示，但也可以根据元数据及VR系统的方位/位置，对VR系统的操作输入单元(控制器)适当地施加振动等。
图25是表示有关实施例的影像显示系统的整体系统构成的另一例的图。在本发明的实施例的另一例是如下情况：观测系统侧的向导或拍摄者不是从数据输入装置输入数据而是根据观测系统的方位、位置、移动或所拍摄的影像，检测适当的标记等，从而生成元数据。
元数据生成部基于所拍摄的影像或观测系统的方位、位置、运动的信息，生成元数据，从通信装置向VR系统发送。VR系统侧的构成与上述的实施例相同。即，数据输入装置在本发明中不是必须的构成，也可以不具备数据输入装置而实施发明。
作为本发明的重要的要素，可以列举(i)避免VR眩晕的影像切换的方法及(ii)对方向、方位进行检测、记录、送出的方法这两个。(i)中还有改变方向的情况下的影像切换方法、改变场所的情况下的影像切换方法、徒步移动的情况下的影像送出方法、以乘坐物移动的情况下的影像送出方法这4个副要素。此外，(ii)中还有方向、方位的检测以及方向、方位的送出这两个副要素。
图26是表示有关实施例的影像显示系统的功能构成的一例的图。图27是表示有关实施例的观测系统的功能构成的一例的图。图28是表示有关实施例的VR系统的功能构成的一例的图。
参照图26及图27说明本发明的实施例的观测系统(观测装置)2651的实现例中的360°摄像机的实现例。
本发明的实施例的360°摄像机2701与以往例2的360°摄像机的实现例大致是同样的，对差异进行说明。在本发明的实施例的360°摄像机2701中，将位置/方位检测部2702作为CPU802的程序追加，将基于由位置/方位检测部2702检测到的位置/方位的元数据进行复用，经由无线通信元件(发送部)820向VR系统(显示装置)2601送出。
位置/方位的检测用来检测运动的方向及位置、开始运动的定时，通过由摄像机的操作者用移动输入按钮(数据输入单元(输入接口))输入运动目的地的位置及方向以及运动的定时，由位置/方位检测部2702(数据取得部、元数据变换部)进行处理，作为元数据发送给VR系统2601。
根据情况，由用虚线表示的位置/方位分析部2703及2704进行如下处理：通过对所拍摄的影像进行分析，检测开始运动的定时；通过与预先指定的图像比较，检测目的地，检测运动目的地的位置/方位；对向导的手摆动/身体晃动进行分析，检测运动目的地的方向；在向导持有的指示棒那样的物体上设置按钮和LED等的发光元件，通过向导的操作而发光元件脉冲性地发光，通过检测其发光样式来检测运动目的地的方向、位置；或者从预先设定的多个目的地中选择一个等。或者，对来自麦克风的声音进行分析，根据向导发出的话语确定目的地，检测运动的方向，通过由CPU802执行的位置/方位检测部2702变换为适当的元数据，发送给VR系统2601。
参照图26及图28说明本发明的实施例的VR系统(显示装置)2601的实现例。
以本发明的实施例的VR系统2601与以往例2的VR系统的差异为中心进行说明。
在实施例中，对于以往例2的VR系统的计算机/智能电话2801的CPU965及GPU954，作为程序而追加了位置/方位判断部2802及2803。
在CPU965的位置/方位判断部2803中，经由通信元件(接收部)970从观测系统2651接受观测系统2651或向导、目标物的位置/方位作为元数据，在将声音变更的情况下，通过由CPU965的程序实现的声音再现控制部967生成向导声音或将再现声音适当地加工等。CPU965的位置/方位判断部2803在将VR影像或图形变更的情况下，将元数据经由系统总线发送给GPU954。
在GPU954中，对由位置/方位判断部2802接受到的元数据进行处理，为了将该信息作为图形显示而用图形生成部959进行处理，由VR显示控制部957重叠于VR影像而显示，或者向VR控制部956发送，将来自运动/位置传感器903的信息与由运动/位置检测处理部(检测部)955检测到的VR系统2801的位置/方位的状态一起，由VR显示控制部(显示控制部)957对VR影像适当地进行加工，从AV输出952向AV输入925发送影像数据，由影像显示处理部912在显示元件(显示部)上作为VR影像(视野影像)来显示。
上述的声音、图形、VR影像的处理分别被单独实现，在没有进行其他处理的情况下，也实现多个处理，在VR系统或观测系统动作时会选择处理。
此外，观测系统2651的位置/方位检测处理也有由云等处于观测系统2651与VR系统2801之间的计算机系统实现的情况。在此情况下，从观测系统2651不送出元数据，或将操作者输入的数据作为元数据送出，例如由处于云中的位置/方位检测单元根据从观测系统送出的影像、声音或元数据检测观测系统、向导或目标物的位置/方位或运动，作为元数据发送给VR系统。由此，即使是现有的360°摄像机也能够发挥本实施例的效果。
关于某些处理，由GPU954进行还是由CPU965进行有与本例不同的情况，总线构成也有与本例不同的情况，但后述的功能构成、动作没有差异。
关于一体型的VR系统，本实施例也与以往例几乎没有变化，通过将CPU965及GPU954分别作为一个而实现功能，能够实现小型的一体型的VR系统。
图29是表示有关实施例的影像显示系统的动作流程的一例的图。说明本发明的实施例的动作。
关于观测系统中的声音输入及来自VR拍摄摄像机的VR影像的输入、图形的基本的动作、关于VR系统中的声音信息、影像信息以及图形的基本的动作，与以往例2是同样的，所以省略。
在本发明的实施例的观测系统的位置/方位信息检测步骤中，根据来自运动/位置检测部的信号，由在CPU中由程序实现的位置/方位信息检测部(数据取得部)检测观测系统的位置、方位(S2930)。在接着的元数据检测步骤中，将检测到的位置、方位变换为元数据(S2931)，在接着的影像/声音/元数据复用步骤中，由复用部将元数据与影像、声音及图形一起复用(S2927)。在接着的发送步骤中，将复用后的信息通过无线通信元件向VR系统送出(S2928)。
这里，关于位置/方位的检测，有通过对由VR拍摄摄像机拍摄的影像或由声音输入部输入的声音进行解析来进行的情况、由观测系统的操作者或向导通过移动输入按钮输入的情况。在根据声音进行检测的情况下，由通过CPU的程序实现的位置/方位分析部对声音进行分析，将分析结果发送给位置/方位检测部。在对影像进行解析的情况下，由通过GPU的程序或专用电路实现的位置/方位分析部对影像进行分析，将分析结果经由系统总线发送给CPU的位置/方位检测部。
此外，移动输入按钮也可以是由遥控器那样的开关、智能电话那样的GUI实现的。位置/方位分析有：基于声音识别的方法，具体而言，进行右侧、左侧等的话语的识别，对从向导持有的工具发出的声音附加可听频带外的声音或在可听频带内进行调制，根据所输入的声音进行与位置/方位有关的指示分析；根据所拍摄的图像识别向导、特定的建筑物、景色，与观测系统的位置、方位进行比较，将向导持有的用于指示的工具、例如小型的旗子等的运动拍摄并识别；使向导持有的工具使用可视光或红外线那样的非可视光以适当的脉冲发光，对将其拍摄而得到的影像进行分析等。
位置/方位的信息除了作为元数据发送到VR系统以外，还能够由GPU的图形生成部根据位置/方位检测部的信息生成图形数据、例如表示移动方向的箭头的图形数据，作为图形数据向VR系统送出。
在VR系统中，在接收步骤中，由计算机/智能电话经由通信元件接受从观测系统发送来的元数据(S2901)，在影像/声音/元数据分离步骤中，在CPU的分离部中将元数据分离(S2902)，经由CPU的位置/方位判断部及存储器总线发送给GPU的位置/方位判断部。在元数据解析步骤中，CPU的位置/方位判断部对元数据进行解析(S2906)，将得到的位置/方位信息发送给CPU的声音再现控制部，并且经由存储器总线发送给GPU的VR控制部或图形生成部。或者，由GPU的位置/方位判断部对元数据进行解析，发送给GPU的VR控制部或图形生成部。
在基于VR系统的位置/方位及元数据的影像切取步骤中，基于从观测系统发送来的位置/方位信息，分别由声音再现控制部、VR控制部、图形生成部进行声音、影像及图形的处理(例如，步骤S2304及步骤S2309)。
具体而言，在声音处理部中，进行如下处理：播放表示移动方向的向导声音；在移动开始前播放噪声、例如乘坐物的移动开始时的咔哒音；在移动中改变来自观测系统的声音等级或播放适当的效果音；使空间上的延展变化而仅使移动方向清晰等。
在VR控制部中，进行如下处理：降低帧速率而进行增加时间的逐帧播放；在移动中设为静止图像并在移动完成时恢复为运动图像；降低移动方向的显示以外的分辨率；将VR影像根据移动方向及速度而倾斜；在移动方向的显示以外施加掩膜而使得不易看到等。
在图形生成部中，在位置/方位信息作为图形信息发送来的情况下，由图形生成部生成图形，由VR显示控制部使方向适当地变化并重叠到VR影像。在VR系统侧生成图形的情况下，将移动方向正面以外的影像用半透明的图形遮蔽，或显示表示移动方向的箭头等，显示表示移动的地图。
上述的处理也可以由观测系统或处于观测系统与VR系统之间的云上等的计算机系统处理。
此外，关于在上述中没有说明的步骤，参照图13的同样的步骤中的说明，这里说明省略。具体而言，步骤S2303对应于步骤S1303，步骤S2305对应于步骤S1305，步骤S2307对应于步骤S1307，步骤S2308对应于步骤S1308，步骤S2310对应于步骤S1310，步骤S2321对应于步骤S1321，步骤S2322对应于步骤S1322，步骤S2323对应于步骤S1323，步骤S2324对应于步骤S1324，步骤S2325对应于步骤S1325，步骤S2326对应于步骤S1326。
图30是说明实施例的影像显示系统的动作的结果的图。在图30的例子中，表示了重叠箭头显示图形的情况。具体而言，在位置/方位判断单元中，接受观测系统或向导、目标物的位置/方位作为元数据，将该信息为了作为图形显示而向图形生成单元发送，由VR显示单元重叠于VR影像来显示。
例如，在图中的左端的例子中，表示了当停住时正面的图像停止的状况。接着，在中央左侧的例子中，表示了在即将开始运动前显示其应开始运动的方向的箭头的状况。接着，在中央右侧的例子中，表示了当VR系统的使用者朝右的情况下为指向左方的箭头，在朝左的情况下为指向右方的箭头，在朝后的情况下为后退的朝向的箭头(在图中，作为一例，表示了朝右的情况下的指向左方的箭头)。如果使用者改变朝向，则如中央左侧的例子那样为直线前进显示。由于基本上是使用者将朝向改变为行进方向，所以为右或左箭头(不为直线前进显示)，直到行进方向与使用者的朝向大致一致。这在将方向向左右改变的情况下也是同样的。接着，在右端的例子中表示了MAP显示的情况。在MAP显示的情况下，也表示了根据朝向将箭头和MAP适当地旋转而显示的状况。
图31是说明实施例的影像显示系统的动作的结果的图。在图31的例子中，表示了将声音向导再现的情况。具体而言，由位置/方位判断单元接受观测系统或向导、目标物的位置/方位作为元数据，由声音再现控制单元根据该信息生成向导声音或对再现声音进行适当的加工等。
例如，在图中的左端的例子中，表示了当停住时再现声音以使得能从向导站立的一侧即左侧听到向导的声音。接着，在中央左侧的例子中，表示了如果笔直地开始行走则能从正面听到向导的声音的状况。在车等的移动体的情况下，在开始运动前能听到振动音。接着，在中央右侧的例子中表示了如果要向右拐弯则能从右侧听到“向右拐弯”的向导的声音的状况。接着，在右端的例子中，表示了在VR系统的使用者朝向右方或后方、变化为原来的右手侧对应于左手侧的状态的情况下能从左手侧或正面听到向导的声音的状况。在混乱的情况下，将声音中的“右”替换为“左”，与图形组合而用箭头等表示朝向等。
图32是说明实施例的影像显示系统的动作的结果的图。在图32的例子中，表示了控制器振动的情况。具体而言，可以通过使VR系统的操作者持有的控制单元(控制器)等振动来传达进行移动；此外，在控制器有多个的情况下，通过选择一个使其振动，对振动赋予移动方向的意义；以振动的强度赋予移动速度的意义等。关于移动速度，也可以将用箭头的颜色、大小提示等的用图形传达的方法和用声音的大小传达的方法组合。
例如，在图中的左端的例子中，表示了当停住时正面的图像停止，控制器不振动的状况。接着，在中央左侧的例子中，表示了在即将开始运动前、在直线前进的情况下左右的控制器振动的状况。此外，也可以采用在运动的期间中也较轻地振动、在即将停住前较强地振动等的样式。振动的样式并不限于该例。接着，在中央右侧的例子中，表示了在向右拐弯的情况下仅右方的控制器振动的状况。接着，在右端的例子中，表示了在VR系统的使用者朝向右侧的情况下、左方的控制器振动，并且持续振动直到朝向正面为止的状况。
图33是说明实施例的影像显示系统的动作的结果的图。在图33的例子中表示了对VR图像进行变换的情况。具体而言，由位置/方位判断单元接受观测系统或向导、目标物的位置/方位作为元数据，将该信息向VR控制单元发送，由VR显示控制单元将VR影像与VR系统的位置/方位的状态一起适当地加工，用VR显示单元显示。
例如，在图中的左端的例子中，表示了当停住时正面的图像停止的状况。接着，在中央左侧的例子中，表示了在即将开始运动前对开始运动的方向以外进行遮蔽，缩窄视野并使移动方向变得明确的状况。接着，在中央右侧的例子中，表示了在开始运动前给出箭头，在直到运动停止之前降低影像的分辨率，或者在运动的期间中为静止图像的状况。接着，在右端的例子中，表示了根据VR系统的使用者的朝向而掩膜的状况变化的状况。
接着，对检测方向、方位的方法的实施例进行说明。作为绝对的(静态的)方位的检测、记录、送出的方法，可以通过罗盘功能或GPS检测方位，在拍摄中的影像中埋入表示方位的标记。有表示360°摄像机的正面的位置的标记的埋入，或者与既定的位置(例如，以送出的ERP影像的中央为正面)一起，(a)在影像本身中埋入表示方位的标记，(b)在影像的头中埋入表示方位的标记，(c)在将影像送出之前将方位送出，(d)在运动图像的情况下，将表示方位的标记作为元数据定期地送出等。此外，也可以将拍摄者开始拍摄的方位作为主方位存储，然后以相对于该方位的角度记录或送出方位。此外，也可以利用建筑物、景色等作为标记。
另一方面，作为相对的方位的检测、记录、送出的方法，可以设定主要的向导或会议主持人，总是根据相对于该人物的相对的方位进行控制。在此情况下，有(a)基于声音的检测、(b)基于标记的形状的检测(例如，旅行的指引旗那样的标记)、(c)基于光的检测等。在此情况下，也可以利用相对于建筑物或景色等的标记的相对的方向、位置。
也可以构成为，通过根据移动目的地的距离、速度，改变图形的大小、箭头的长度、颜色使用、颜色的浓度、声音的大小、声音的频率、控制器的振动长度、振动的样式、振动的强度，将更详细的信息传达给VR系统的使用者。例如，也可以在距离近的情况下使箭头短、在远的情况下使箭头长，也可以在距离近的情况下使箭头淡、在远的情况下使箭头深，也可以在距离近的情况下使声音小、在距离远的情况下使声音大，也可以在距离近的情况下使控制器的振动弱、在距离远的情况下使控制器的振动强。
图34及图35是表示有关实施例的位置/方位信息的检测方法的动作流程例的图。作为检测方位、位置的具体例，例如有根据观测系统所具备的GPS装置检测方位、位置的例子。根据相对于开始移动的地点的坐标时时刻刻变化的坐标，检测移动速度、方向(方位)，并作为元数据来记录、送出。另外，有在云侧进行处理的情况、将GPS的数据原样发送的情况、或者适当地间隔剔除而发送的情况。对于移动方向(方位)，通过适当地进行采样并取规定时间的平均等，进行使其平滑地变化的处理。
此外，例如有根据由观测系统拍摄的景色的运动来检测移动速度、方向并作为元数据记录、送出的例子。作为一例，根据拍摄数据运算变化的方向，检测移动速度、方向。此外，作为另一例，根据作为预先设定的目标的建筑物或景色，检测移动速度、方向(方位)。
此外，例如有拍摄者对观测系统设置移动的朝向的例子。作为一例，向导或拍摄者用观测系统具备的开关或遥控器进行移动，或者对观测系统设置其方向并将其作为元数据送出。为此，有开关处于向导的手边，通过将电波、声音或光适当地调制并向观测系统发送信息的情况，在光或声音的情况下，也可以在观测系统中不特别进行处理而原样记录为向VR系统送出的影像或声音，通过向VR系统送出而在VR系统侧进行移动的开始、方向的判断。此外，同样也有由处于观测系统与VR系统之间的云的计算机系统检测移动的开始和方向，并作为元数据发送给VR系统的情况。
作为另一例，判断向导的手摆动、声音、旗子的朝向等，在观测系统中在成为预先设定的条件时设为移动的开始，将其方向作为元数据送出。为此，与上述同样，也有由云上的计算机系统或VR系统检测移动的开始、方向的情况。此外，可以在发生变化的相当长时间之前向导或拍摄者能够进行设置或手摆动等的行动，能够事前向VR系统的使用者通知。
作为方向、方位、移动速度的记录、送出的具体例，例如可以列举与向VR系统送出的影像、声音分开地作为元数据记录、送出；作为箭头等的标记合成到向VR系统送出的影像中并记录、送出。但是，以VR系统的全部的使用者是大致相同的状态为前提，不仅发送标记，还发送座舱、窗户的图形等的情况下，由于不取决于VR系统侧的使用者的状态，所以在该情况下等是有效的。
此外，例如可以列举对向VR系统送出的声音追加关于方向、方位、位置、速度等的说明并送出。在此情况下，也以VR系统的全部使用者是大致相同的状态为前提。
此外，例如可以列举对向VR系统送出的影像、声音进行降低帧速率或降低分辨率、将一部分遮挡等的处理、表示方向或方位。这些处理也有由处于观测系统与VR系统之间的云上的计算机系统进行处理并向VR系统送出、或者在VR系统侧处理的情况。
图36是表示有关实施例的元数据的构成例的图。说明本实施例的元数据的构成例。
元数据的种类包含表示是本发明的元数据的既定的代码或字符串。版本号是用于变更了元数据的结构时的编号，例如，如在评价阶段为0.81(0081)、在测试实验中为0.92(0092)、在发布时为1.0(0100)等那样，如主版本、副版本那样使用，以在相同的主版本之间保证互换性的考虑方式使用。
在功能代码为0的情况下，表示元数据的信息无效，在其他情况下表示元数据内的信息的种类。例如，0001表示是记载有基准位置、摄像机、向导和目标的位置、移动方向和速度的格式。0002表示图形数据，0003表示VR系统的信息，0011是对0001附加从观测系统发送来的队列数据而得到的，0021带有队列数据且设定了移动的目标。
基准位置是作为位置数据的基准的位置的数据，作为整体系统例如以X(东西距离)、Y(南北距离)、Z(高度方向的距离)或经纬度和高度表示等，包括单位在内预先设定。在基准位置为0的情况下，表示以系统整体的复位时的位置为基准。关于摄像机的位置、向导的位置，也预先设定是绝对坐标还是相对于基准位置的相对坐标。
关于移动方向、速度，表示作为观测系统或向导的移动状况，但在有队列数据的情况下表示将来怎样移动。
在VR观光的情况下，目标的数量表示作为观光的到访地。目标的数量为0的情况下表示没有目标。
校验码是用于验证元数据的数据在送出中是否错误的代码，例如使用CRC等。
关于元数据的各个项目的顺序、项目的内容、值，既可以与本构成例不同，也可以具有同样的功能。
图37是表示有关实施例的与元数据有关的动作流程的图。图38是表示有关实施例的与元数据有关的动作流程的图。图39是表示有关实施例的与元数据有关的动作流程的图。图40是表示有关实施例的与元数据有关的动作流程的图。图41是表示有关实施例的与元数据有关的动作流程的图。图42是表示有关实施例的与元数据有关的动作流程的图。图43是表示有关实施例的与元数据有关的动作流程的图。
图38～图43分别表示图37所示的动作流程中的子流程。如图37所示，首先，进行整体系统的复位(S3701)。接着，在观测系统中设置初始值(S3702)。接着，开始VR观光(S3703)。接着，进行观光地的说明(S3704)。接着，判定是否有移动(S3705)，在没有移动的情况下(S3705中为“否”)，再判定VR观光是否已结束(S3706)。如果VR观光没有结束(S3706中为“否”)，则回到观光地的说明(S3704)。在VR观光结束了的情况下(S3706中为“是”)，进行整体系统的结束处理，流程结束。
另一方面，在有移动的情况下，由观测系统进行移动方向的输入(S3708)。接着，进行元数据向VR系统的送出(S3709)，在VR系统中生成按照元数据的箭头(S3710)。接着，进行与VR系统的位置/方位相应的箭头的修正(S3711)。将修正后的箭头合成到VR系统的VR影像中(S3712)，判定移动是否已结束(S3713)。如果移动没有结束(S3713中为“否”)，则回到与VR系统的位置/方位相应的箭头的修正(S3711)。
如果移动已结束(S3713中为“是”)，则进一步判定观测系统的移动是否已结束(S3714)。在观测系统的移动已结束的情况下(S3714中为“是”)，回到VR观光是否已结束的判定(S3706)。此外，在观测系统的移动没有结束的情况下(S3714中为“否”)，回到观测系统中的移动方向的输入(S3708)。
如图38所示，在整体系统的复位(S3701)中，由观测系统的位置/方位检测部将元数据初始化(S3801)，此时，对元数据的种类和版本号设置规定的值，将功能代码、基准位置、摄像机的位置、向导的位置、移动方向、速度、目标的数量设为0，计算并设置校验码，对基准位置设置观测系统的当前的位置。接着，从观测系统经由无线通信元件向VR系统送出由复用部复用后的元数据(S3802)。然后，由VR系统经由通信元件接收元数据，由位置/方位判断部确认校验码，确认是正规的元数据(如果不是精密机械则向观测系统请求重新发送元数据)(S3803)。由于元数据的功能代码是0，所以将VR系统的位置/方位判断部等的与位置/方位关联的内部数据复位(S3804)，结束处理。
如图39所示，在观测系统中的初始值的设置(S3702)中，由观测系统的位置/方位检测部对元数据的功能代码设置规定的代码(这里设为0001而进行说明)(S3901)。然后，根据系统整体的设定，由观测系统的位置/方位检测部将基准位置、摄像机的位置、向导的位置、目标的位置设置到元数据中(这里，作为相对于基准位置的相对位置，设为东西距离(以东为正)、南北距离(以北为正)、高度(以空中为正)而用米单位表示)，结束处理(S3902)。
如图40所示，在观测系统中的移动方向的输入(S3708)中，由位置/方位检测部用下述的预先选择的某一个方法根据移动方向、速度将移动目的地的数据设置到元数据中，结束处理(S4001)。预先选择的方法为，(a)用移动输入按钮选择预先指定的目标(移动目的地)，向位置/方位检测部发送；(b)从移动输入按钮输入开始运动的定时和运动的方向，向位置/方位检测部发送(被输入的移动方向、速度使用预先设定的值，定期地用移动的朝向、速度更新)；(c)由GPU的位置/方位分析部根据由VR拍摄摄像机拍摄的影像识别向导的运动、旗子等的运动，向CPU的位置/方位检测部发送(移动方向、速度同上)；(d)操作向导持有的发光设备或声音输出设备，选择预先设定的目标，将与其相应的代码用光或声音输出。其被观测系统的摄像机或麦克风捕捉，由位置/方位分析部识别代码，向CPU位置/方位检测部发送。
如图41所示，在VR系统中的按照元数据的箭头的生成(S3710)中，进行图形的准备(S4101)，此时，在系统启动时或VR观光开始时预先从观测系统以用于传送图形数据的元数据进行发送，或在安装VR观光用应用时准备，保存到RAM或非易失性存储器中。接着，由图形生成部从RAM或非易失性存储器读取上述的图形数据生成箭头，结束处理(S4102)。此时，观测系统的正面采取设为ERP图像的中心或者用其他方法对ERP图像进行标记等的方法，由VR显示控制部识别，但在图形生成部中总是将图像的中心设为正面。关于箭头的朝向，VR系统设为与观测系统的正面相同，从此位置根据从位置/方位判断部发送来的元数据中的移动方向或目标的朝向对箭头的朝向进行修正，将箭头的显示位置按照元数据中的图形的显示位置的模式和图形数据的显示位置而运算为显示位置。
如图42所示，在与VR系统的位置/方位相应的箭头的修正(S3711)中，由VR控制部从位置检测部及方位检测部取得VR系统的朝向(S4201)。接着，由VR显示控制部将VR系统的朝向与观测系统的移动方向进行比较，生成箭头的朝向的修正信息并进行修正，结束处理(S4202)。结果，在VR系统的朝向在规定的范围中与移动朝向相同的情况下，维持前级步骤的朝向，在VR系统的朝向在规定的范围中相对于移动朝向朝右的情况下，进行将箭头朝向左侧的修正，在VR系统的朝向在规定的范围中相对于移动朝向朝左的情况下，进行将箭头朝向右侧的修正，在VR系统的朝向在规定的范围中相对于移动朝向为相反朝向的情况下，进行将箭头朝向相反侧的修正。
如图43所示，在VR系统的修正后的箭头向VR影像的合成(S3712)中，由VR显示控制部从VR控制部取得箭头的朝向的修正信息(S4301)。然后，由VR显示控制部从图形生成部取得箭头的图形数据(S4302)。接着，由VR显示控制部利用箭头的朝向的修正信息使箭头的图形旋转，按照从图形生成单元取得的显示位置合成到VR影像中，结束处理(S4303)。
图44是表示有关实施例的元数据的另一构成例的图。例如，在发送图形数据、静止图像的情况下，构成如图中的元数据。图45是表示有关实施例的元数据的再另一构成例的图。例如，在一部分功能由云实现的情况下，在从VR系统向云的计算机发送的情况下构成如图中的元数据。
这里，回到图26，对本发明的实施例的其他构成进行说明。在图26中，实施例将图27的观测系统、图28的VR系统分别作为功能块，不是用实际的连接而是作为数据及控制流将两个系统一体化而记载。
在观测系统中，图27中的VR拍摄摄像机在图26中相当于VR拍摄单元。同样，VR影像处理部相当于VR影像处理单元，VR影像压缩部相当于VR压缩单元，麦克风群、麦克风端子、麦克风放大器及ADC相当于声音输入单元，声音压缩部相当于声音压缩单元，移动输入按钮相当于数据输入单元，运动/位置检测部、位置/方位检测部和GPU、CPU的两个位置/方位分析部相当于位置/方位检测单元，复用部相当于复用单元，无线通信元件相当于通信单元，分离部相当于分离单元，声音解码部相当于声音解码单元，DAC、放大器、耳机元件、扬声器相当于声音输出单元。影像系统总线、存储器总线、系统总线、I/O总线、总线变换、RAM、EEPROM、SD卡、电源开关、电源控制元件、电池、显示元件、拍摄模式选择按钮、缩放按钮、拍摄开始/结束按钮由于与本发明的动作没有直接关联，所以省略图示。
在VR系统中，图28的通信元件在图26中相当于通信单元。同样，分离部相当于分离单元，声音解码部相当于声音解码单元，声音再现控制部相当于声音再现控制单元，DAC、放大器、扬声器、耳机端子相当于声音输出单元，VR影像解码部相当于VR影像解码单元，图形生成部相当于图形生成单元，CPU和GPU各自中的位置/方位判断部相当于位置方位判断单元，运动/位置传感器和运动/位置检测部相当于位置检测单元和旋转检测单元，运动/位置检测处理部和VR控制部相当于VR控制单元，VR显示控制部相当于VR显示控制单元，影像显示处理部、显示元件、透镜相当于VR影像显示单元，麦克风、麦克风放大器、ADC相当于声音输入单元，声音压缩部相当于声音压缩单元，复用部相当于复用单元。影像系统总线、存储器总线、系统总线、I/O总线、总线变换、RAM、EEPROM、非易失性存储器、电源开关、电源控制元件、电池、音量按钮、AV输出、AV输入、USB由于与本发明的动作没有直接关联或作为一个系统记载，所以省略图示。无线通信元件为了与控制器的通信而需要，但由于在图26中省去了控制器，所以省略图示。
与以往例2相比，追加了观测系统的数据输入单元、位置/方位检测单元，由复用单元将基于由位置/方位检测单元检测出的位置/方位的元数据复用，经由通信单元向VR系统送出。
在位置/方位检测单元中，也有根据位置/方位的时间的变化而进行观测系统本身或者向导、目标物的运动的检测的情况。或者，也有观测系统的操作者通过数据输入单元输入运动的方向及定时的情况。或者，也有根据来自VR影像处理单元或声音输入单元的影像信息或声音信息，进行运动的检测、或检测向导或操作者对运动的方向或定时的输入的情况(虚线)。
在VR系统中，追加了位置/方位判断单元，对VR控制单元、VR显示控制单元及图形生成单元追加了功能。通信单元接受来自观测系统的通信信息，由分离单元将元数据分离，传送给位置/方位判断单元。
由位置/方位判断单元将观测系统或向导、目标物的位置/方位作为元数据接受，进行如下处理：将其信息为了作为图形显示而发送给图形生成单元，由VR显示单元重叠在VR影像上而显示；或者，发送给VR控制单元，由VR显示控制单元将VR影像与VR系统的位置/方位的状态一起适当地加工，由VR显示单元显示；或者，由声音再现控制单元生成向导声音或将再现声音适当地加工等。
观测系统及VR系统各自的单元也可以由硬件实现，但也可以由软件实现，通过作为应用追加安装到现有的观测系统及VR系统中来实现。
进而，关于VR系统侧的位置/方位判断单元和由其进行的VR影像、声音的控制，也有将一部分或全部用云等的处于VR系统与观测系统之间的计算机系统实现的情况。在此情况下，能够期待将相同的处理在一处进行、容易对多个VR系统同时带来相同的效果、以及对现有系统带来本发明效果等的效果。
此外，虽然这里没有图示，但可以通过使VR系统的操作者持有的控制单元(控制器)等振动来传达移动；此外，在有多个控制器的情况下，通过选择一个并使其振动，给出移动的方向；以振动的强度给出移动的速度等。进而，如果将控制器拿在手中并使其绕身体的周围旋转，则通过在与移动方向大致一致处使振动变强，能够向VR系统的使用者通知更细微的方向。
更具体地讲，通过两个控制器同时振动一次，来表示指示方向，接着根据方向，左右的控制器的一方振动而能够传达是右或左，通过两个同时较强地振动而能够传达是前，通过两个同时较弱地振动而能够传达是后，振动的样式只要拥有同样的效果即可，并不限于此。
关于移动速度，能够以箭头的颜色、大小提示等用图形传达，或用声音的大小传达等。
图46是用于说明利用云实现有关实施例的影像显示系统的构成例的图。如图46所示，观测系统的位置/方位检测单元4640也有由云等处于观测系统4661与VR系统4601之间的计算机系统4631实现的情况。在此情况下，从观测系统4661不送出表示方向的元数据，或将操作者输入的数据作为元数据送出，例如由处于云中的位置/方位检测单元4640根据从观测系统4661送出的影像、声音或者元数据，检测观测系统4661、向导或者目标物的位置/方位或运动，作为元数据发送给VR系统4601。由此，即使是现有的360°摄像机也能够发挥本实施例的效果。
进而，关于VR系统侧的位置/方位判断单元和由其进行的VR影像、声音的控制，也有由云等的处于VR系统4601与观测系统4661之间的计算机系统4631实现的情况。在此情况下，能够期待将相同的处理在一处进行、容易对多个VR系统4601同时带来相同的效果、以及容易对现有系统带来本发明效果等的效果。但是，为了反映VR系统4601的方向、位置，需要从VR系统4601将VR系统4601的位置、方向发送给云侧，需要在云侧设置与VR系统4601分别对应的处理部。
图46的构成是不将VR系统4601的位置、方位发送给云侧的情况的例子，在此情况下，虽然难以根据VR系统4601的位置、方位而显示箭头、改变声音等，但能够在VR显示控制单元4608中进行根据位置/方位检测单元4640的输出改变VR影像的分辨率、进行遮蔽、改变声音的定位等的处理。
另外，关于在上述中没有说明的构成，通过参照图26的同样的名称的构成的说明，省略这里的说明。VR系统4601具备的位置检测单元4602、旋转检测单元4603、VR显示单元4604、声音再现单元4605、声音输入单元4606、VR控制单元4607、VR显示控制单元4608、声音解码单元4609、声音压缩单元4610、VR影像解码单元4611、分离单元4612、复用单元4613及通信单元4614，计算机系统4631具备的VR影像压缩单元4633、复用单元4634、通信单元4635、图形生成单元4636、VR显示控制单元4637、VR影像拉伸单元4638、位置/方位检测单元4640、通信单元4641，以分离单元4642及观测系统4661具备的数据输入单元4662、复用单元4663、通信单元4664、分离单元4665、VR影像压缩单元4666、声音压缩单元4667、声音解码单元4668、VR影像处理单元4669、VR拍摄单元4670、声音输入单元4671、声音输出单元4672分别与位置检测单元702、旋转检测单元703、VR显示单元704、声音再现单元705、声音输入单元706、VR控制单元707、VR显示控制单元708、声音再现控制单元709、VR影像解码单元710、位置/方位判断单元2602、图形生成单元712、声音解码单元713、声音压缩单元714、分离单元715、通信单元716、复用单元717、通信单元754、分离单元755、VR影像压缩单元756、复用单元757、VR影像处理单元758、图形生成单元759、声音压缩单元760、声音解码单元761、VR拍摄单元762、声音输入单元763、声音输出单元764、数据输入单元2652、位置/方位判断单元2653的各自1对1、多对1、1对多或多对多地对应。
图47是用于说明利用云实现有关实施例的影像显示系统的构成例的图。在图46的构成中，难以根据VR系统的位置、方位而显示箭头、改变声音等，但在图47所示的构成中，通过在VR系统中具有位置/方位判断单元，在云上从由分离单元从自观测系统发送来的数据分离出的元数据，读取观测系统的位置/方位，据此由图形生成单元生成直升机等的影像、箭头，由元数据变换单元将其与从观测系统发送来的位置/方位信息等一起变换为元数据，用复用单元复用，发送给VR系统。
在VR系统中，根据由分离单元分离出的元数据生成图形，并且由VR控制单元判断观测系统的位置/方位及从位置检测单元和旋转检测单元得到的VR系统的位置和方向，通过由VR显示控制单元适当地将VR影像与图形合成，或者将VR影像加工，并且由声音再现控制单元改变声音的定位、变更声音的内容等，能够进行适合于VR系统的位置、方位的显示、声音的输出。此外，这里虽然没有图示，但可以对VR系统的控制器适当地进行控制，通过振动等向VR系统的使用者通知方向、位置。
另外，关于在上述中没有说明的构成，通过参照图26的同样的名称的构成的说明，省略这里的说明。VR系统4701具备的位置检测单元4702、旋转检测单元4703、VR显示单元4704、声音再现单元4705、声音输入单元4706、VR控制单元4707、VR显示控制单元4708、声音解码单元4709、声音压缩单元4710、VR影像解码单元4711、分离单元4712、复用单元4713及通信单元4714、位置/方位判断单元4715、图形生成单元4716、声音再现控制单元4717，计算机系统4731具备的复用单元4734、通信单元4735、图形生成单元4736、VR显示控制单元4737、位置/方位检测单元4740、通信单元4741，以及分离单元4742及观测系统4761具备的数据输入单元4762、复用单元4763、通信单元4764、分离单元4765、VR影像压缩单元4766、声音压缩单元4767、声音解码单元4768、VR影像处理单元4769、VR拍摄单元4770、声音输入单元4771、声音输出单元4772分别与位置检测单元702、旋转检测单元703、VR显示单元704、声音再现单元705、声音输入单元706、VR控制单元707、VR显示控制单元708、声音再现控制单元709、VR影像解码单元710、位置/方位判断单元2602图形生成单元712、声音解码单元713、声音压缩单元714、分离单元715、通信单元716、复用单元717、通信单元754、分离单元755、VR影像压缩单元756、复用单元757、VR影像处理单元758、图形生成单元759、声音压缩单元760、声音解码单元761、VR拍摄单元762、声音输入单元763、声音输出单元764、数据输入单元2652、位置/方位判断单元2653的各自1对1、多对1、1对多或多对多地对应。
图48是用于说明利用云实现有关实施例的影像显示系统的构成例的图。在图47的构成中，设为VR系统根据观测系统的位置/方位和VR系统的位置/方位对图形、VR运动图像、声音及控制器的振动进行控制，向VR系统的使用者提供适当的信息，但在VR系统中需要追加功能。在图48所示的构成中，通过在云上拥有这些功能，在简单的VR系统中也能够发挥同样的效果。
将由VR系统的位置检测单元及旋转检测单元检测到的VR系统的位置/方位信息作为元数据，在复用单元中与其他信息复用，由通信单元向云上的计算机系统送出。该功能在一般的VR系统中几乎都具备。
在云中，进行与图47中的构成大致同样的处理，将变更后的VR影像、声音向VR系统送出。相对于图47中的构成的追加单元需要由连接的VR系统分别拥有，但由于在云上它们由软件实现，所以实现较容易。使VR系统的控制器振动也是较普遍的，难度较小。
另外，关于在上述中没有说明的构成，通过参照图26的同样的名称的构成的说明，省略这里的说明。VR系统4801具备的位置检测单元4802、旋转检测单元4803、VR显示单元4804、声音再现单元4805、声音输入单元4806、VR控制单元4807、VR显示控制单元4808、声音解码单元4809、声音压缩单元4810、VR影像解码单元4811、分离单元4812、复用单元4813及通信单元4814，计算机系统4831具备的分离单元4832、VR影像压缩单元4833、复用单元4834、通信单元4835、图形生成单元4836、VR显示控制单元4837、VR影像拉伸单元4838、声音再现控制单元4839、位置/方位检测单元4840、通信单元4841及分离单元4842，以及观测系统4861具备的数据输入单元4862、复用单元4863、通信单元4864、分离单元4865、VR影像压缩单元4866、声音压缩单元4867、声音解码单元4868、VR影像处理单元4869、VR拍摄单元4870、声音输入单元4871、声音输出单元4872分别与位置检测单元702、旋转检测单元703、VR显示单元704、声音再现单元705、声音输入单元706、VR控制单元707、VR显示控制单元708、声音再现控制单元709、VR影像解码单元710、位置/方位判断单元2602图形生成单元712、声音解码单元713、声音压缩单元714、分离单元715、通信单元716、复用单元717、通信单元754、分离单元755、VR影像压缩单元756、复用单元757、VR影像处理单元758、图形生成单元759、声音压缩单元760、声音解码单元761、VR拍摄单元762、声音输入单元763、声音输出单元764、数据输入单元2652、位置/方位判断单元2653的各自1对1、多对1、1对多或多对多地对应。
(其他实施方式)
以上，对实施方式等进行了说明，但本公开并不限定于上述实施方式等。
此外，在上述实施方式等中例示了构成影像显示系统的构成要素，但影像显示系统具备的构成要素的各功能怎样分配给构成影像显示系统的多个部分都可以。
此外，在上述实施方式中，各构成要素也可以通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过由CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录介质中的软件程序读出并执行来实现。
此外，各构成要素也可以由硬件实现。例如，各构成要素也可以是电路(或集成电路)。这些电路既可以作为整体构成1个电路，也可以分别是各自的电路。此外，这些电路分别既可以是通用性的电路，也可以是专用的电路。
此外，本公开的全局性或具体的技术方案也可以由系统、装置、方法、集成电路、计算机程序或计算机可读取的CD－ROM等的记录介质实现，此外，也可以由系统、装置、方法、集成电路、计算机程序及记录介质的任意的组合来实现。
除此以外，对实施方式等施以本领域技术人员想到的各种变形而得到的形态、或在不脱离本公开的主旨的范围内通过将实施方式等中的构成要素及功能任意地组合而实现的形态也包含在本公开中。
工业实用性
本公开对于使显示装置显示适当的影像的用途具有实用性。
标号说明
99 图形
99a 箭头
99b 掩膜
100 显示装置
101 显示部
102 朝向检测部
150 网络
200 服务器装置
201 接收部
202 差分计算部
203 提示部
204 影像生成部
300 观测装置
300a、300b 拍摄装置
301 拍摄部
302 输入接口
303 位置检测部
304 数据取得部
305 元数据取得部
306 发送部
500 影像显示系统

Claims (17)

1.一种影像显示系统，用于通过显示装置对显示影像进行显示，其中，具备：
观测装置，具有拍摄部、数据取得部、元数据构成部以及发送部，上述拍摄部拍摄作为广视角影像的影像，上述数据取得部取得与上述拍摄部的移动方向有关的数据，上述元数据构成部取得基于所取得的上述数据的元数据，上述发送部将所拍摄的上述广视角影像与上述元数据一起发送；以及
VR装置，
上述VR装置具备：
接收部，接收上述广视角影像及上述元数据；
朝向推测部，推测上述显示装置的朝向；
差分计算部，基于推测出的上述显示装置的朝向与上述元数据上的上述拍摄部的移动方向的差分，计算相对于上述显示装置的朝向的相对的上述拍摄部的移动方向即相对移动方向；
提示部，将计算出的上述相对移动方向提示给上述显示装置的用户；
影像生成部，从接收到的上述广视角影像生成包含如下一部分影像的上述显示影像，上述一部分影像是对应于与上述朝向推测部推测出的上述显示装置的朝向相应的视野部分的影像；以及
上述显示装置，显示上述显示影像。
2.如权利要求1所述的影像显示系统，其中，
上述提示部，
生成表示计算出的上述相对移动方向的图形并输出，
通过使所输出的上述图形重叠在上述一部分影像上，使上述影像生成部提示上述相对移动方向。
3.如权利要求2所述的影像显示系统，其中，
上述图形在上述显示影像上显示指示上述相对移动方向的箭头。
4.如权利要求2所述的影像显示系统，其中，
上述图形显示掩膜，该掩膜是用于将上述显示影像上的上述相对移动方向侧以外的至少一部分遮盖的图像。
5.如权利要求1～4中任一项所述的影像显示系统，其中，
推测出的上述显示装置的朝向是基于上述显示装置的实际的朝向每次以第1离散值变化的离散显示方向，
上述差分计算部计算上述离散显示方向与上述元数据上的上述拍摄部的移动方向的差分。
6.如权利要求5所述的影像显示系统，其中，
上述第1离散值以如下方式变化：在上述显示装置的实际的朝向与上述元数据上的上述拍摄部的移动方向在水平面内的倾斜一致时成为最小，在上述显示装置的实际的朝向与上述元数据上的上述拍摄部的移动方向在水平面内的倾斜的差最大时成为最大。
7.如权利要求1～4中任一项所述的影像显示系统，其中，
上述元数据上的上述拍摄部的移动方向是基于上述显示装置的实际的朝向每次以第2离散值变化的离散移动方向，
上述差分计算部计算推测出的上述显示装置的朝向与上述离散移动方向的差分。
8.如权利要求1～7中任一项所述的影像显示系统，其中，
上述观测装置具有用于使上述影像部移动的操作者进行输入的输入接口，
上述数据取得部经由上述输入接口取得由上述操作者输入的上述数据。
9.如权利要求1～7中任一项所述的影像显示系统，其中，
上述观测装置具有检测上述拍摄部的位置的位置检测部，
上述数据取得部基于由上述位置检测部随着时间的经过检测到的上述拍摄部的位置，取得上述数据。
10.如权利要求1～9中任一项所述的影像显示系统，其中，
上述拍摄部通过在由计算机图形构成的虚拟的图像空间内进行拍摄，来拍摄虚拟的上述广视角影像。
11.如权利要求1～10中任一项所述的影像显示系统，其中，
具备信息处理装置，该信息处理装置具备上述观测装置和上述VR装置所具备的功能的至少一部分，通过网络与上述观测装置及上述VR装置连接，承担上述观测装置及上述VR装置的处理的一部分。
12.如权利要求11所述的影像显示系统，其中，
上述信息处理装置具有：
接收部，从上述观测装置接收上述广视角影像及上述数据；
元数据构成部，生成基于上述广视角影像及上述数据的元数据；
移动信息计算部，计算与上述元数据上的上述拍摄部的移动有关的移动信息；
提示部，生成图形并输出，上述图形是表示计算出的上述移动信息的图形，通过重叠于上述广视角影像中的对应于与上述显示装置的推测出的朝向相应的视野部分的一部分影像，将上述拍摄部的移动方向提示给上述显示装置的用户；以及
发送部，发送上述广视角影像、上述图形及上述元数据。
13.如权利要求11所述的影像显示系统，其中，
上述信息处理装置具有：
接收部，从上述观测装置接收上述广视角影像及上述数据；
元数据构成部，生成基于上述广视角影像及上述数据的元数据；
移动信息计算部，计算与上述元数据上的上述拍摄部的移动有关的移动信息；以及
发送部，发送上述广视角影像、上述移动信息及上述元数据。
14.如权利要求11所述的影像显示系统，其中，
上述信息处理装置具有：
接收部，接收上述广视角影像、上述数据及与上述显示装置的朝向有关的数据；
元数据构成部，生成基于上述广视角影像、上述数据及与上述显示装置的朝向有关的数据的元数据；
差分计算部，基于上述显示装置的朝向和与上述拍摄部的移动有关的移动信息的差分，计算相对于上述显示装置的朝向的相对的上述拍摄部的移动方向即相对移动方向；
提示部，生成图形并输出，上述图形是表示计算出的上述相对移动方向的图形，通过重叠于上述广视角影像中的对应于与上述显示装置的推测出的朝向相应的视野部分的一部分影像，将上述相对移动方向提示给上述显示装置的用户；以及
发送部，发送上述广视角影像、上述图形及上述元数据。
15.如权利要求11～14中任一项所述的影像显示系统，其中，
上述信息处理装置设置在与广域网连接的云上，
上述信息处理装置经由上述广域网与上述观测装置及上述VR装置连接。
16.一种信息处理方法，使显示装置对显示影像进行显示，其中，
接收基于与拍摄部的移动方向有关的数据的元数据，上述拍摄部拍摄作为广视角影像的影像，
基于上述显示装置的推测出的朝向与上述元数据上的上述拍摄部的移动方向的差分，计算相对于上述显示装置的朝向的相对的上述拍摄部的移动方向即相对移动方向并输出。
17.一种程序，用于使计算机执行权利要求16所述的信息处理方法。
CN202280028041.4A 2021-04-16 2022-04-18 影像显示系统、信息处理方法及程序 Pending CN117223050A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163176004P 2021-04-16 2021-04-16
US63/176,004 2021-04-16
PCT/JP2022/018086 WO2022220305A1 (ja) 2021-04-16 2022-04-18 映像表示システム、情報処理方法、及び、プログラム

Publications (1)

Publication Number Publication Date
CN117223050A true CN117223050A (zh) 2023-12-12

Family

ID=83640677

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202280028039.7A Pending CN117121473A (zh) 2021-04-16 2022-04-18 影像显示系统、信息处理装置、信息处理方法及程序
CN202280028058.XA Pending CN117280696A (zh) 2021-04-16 2022-04-18 影像显示系统及影像显示方法
CN202280028041.4A Pending CN117223050A (zh) 2021-04-16 2022-04-18 影像显示系统、信息处理方法及程序
CN202280028040.XA Pending CN117121474A (zh) 2021-04-16 2022-04-18 影像显示系统、观测装置、信息处理方法及程序

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202280028039.7A Pending CN117121473A (zh) 2021-04-16 2022-04-18 影像显示系统、信息处理装置、信息处理方法及程序
CN202280028058.XA Pending CN117280696A (zh) 2021-04-16 2022-04-18 影像显示系统及影像显示方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202280028040.XA Pending CN117121474A (zh) 2021-04-16 2022-04-18 影像显示系统、观测装置、信息处理方法及程序

Country Status (5)

Country Link
US (3) US20240196045A1 (zh)
EP (4) EP4325867A1 (zh)
JP (3) JP7486110B2 (zh)
CN (4) CN117121473A (zh)
WO (4) WO2022220306A1 (zh)

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012010418A (ja) 1996-10-03 2012-01-12 Masanobu Kujirada 実況映像提供システム
JP2001352534A (ja) 2000-06-08 2001-12-21 Casio Comput Co Ltd 放映配信システムおよびそのプログラム記録媒体
JP2002169901A (ja) 2000-12-01 2002-06-14 I Academy:Kk インターネットを利用した集合参加型教育システム
JP2004007561A (ja) 2002-04-15 2004-01-08 Sumitomo Electric Ind Ltd テレビ会議システム、それに含まれる端末装置、及びデータ配信方法
JP4434219B2 (ja) * 2007-02-26 2010-03-17 株式会社デンソー 画像サーバ
US20100283829A1 (en) 2009-05-11 2010-11-11 Cisco Technology, Inc. System and method for translating communications between participants in a conferencing environment
CA2720886A1 (en) * 2010-11-12 2012-05-12 Crosswing Inc. Customizable virtual presence system
JP6026088B2 (ja) * 2011-08-09 2016-11-16 株式会社トプコン 遠隔操作システム
JP2015005967A (ja) * 2013-05-20 2015-01-08 株式会社ニコン 電子機器及びプログラム
JP6593327B2 (ja) * 2014-05-07 2019-10-23 日本電気株式会社 画像処理装置、画像処理方法およびコンピュータ可読記録媒体
JP6558587B2 (ja) * 2014-07-18 2019-08-14 ソニー株式会社 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム
JP2016090773A (ja) 2014-11-04 2016-05-23 株式会社ソニー・コンピュータエンタテインメント ヘッドマウントディスプレイおよび輝度調整方法
KR102144515B1 (ko) 2015-01-07 2020-08-14 삼성전자주식회사 마스터 기기, 슬레이브 기기 및 그 제어 방법
JP6392150B2 (ja) * 2015-03-18 2018-09-19 株式会社東芝 講演支援装置、方法およびプログラム
EP3185535A1 (en) * 2015-12-22 2017-06-28 Thomson Licensing Method and apparatus for controlling a discrepant aiming direction of a camera
US20170316806A1 (en) * 2016-05-02 2017-11-02 Facebook, Inc. Systems and methods for presenting content
JP2018112809A (ja) * 2017-01-10 2018-07-19 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP6929674B2 (ja) * 2017-03-22 2021-09-01 株式会社東京エネシス 環境画像表示システム及び環境画像表示方法
JP6915442B2 (ja) * 2017-08-10 2021-08-04 株式会社Ihi 移動体の運動情報表示システム
JP6801106B2 (ja) * 2018-02-02 2020-12-16 株式会社Ｎｔｔドコモ 情報処理装置
JP6981305B2 (ja) * 2018-02-27 2021-12-15 トヨタ自動車株式会社 情報処理装置、画像配信システム、情報処理方法、及びプログラム
JP2019075075A (ja) * 2018-03-28 2019-05-16 株式会社自律制御システム研究所 無人航空機の飛行計画経路を設定するためのシステム及びプログラム
JP6974247B2 (ja) * 2018-04-27 2021-12-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co., Ltd 情報処理装置、情報提示指示方法、プログラム、及び記録媒体
JP7009302B2 (ja) * 2018-05-07 2022-01-25 株式会社Ｎｔｔドコモ 情報処理装置及び情報処理システム
JP7353821B2 (ja) * 2019-06-24 2023-10-02 キヤノン株式会社 画像処理装置、その制御方法、プログラム
CN110673734B (zh) * 2019-09-30 2023-12-01 京东方科技集团股份有限公司 虚拟旅游方法、客户端、服务器端、系统及图像采集设备
JP6727388B1 (ja) 2019-11-28 2020-07-22 株式会社ドワンゴ 授業システム、視聴端末、情報処理方法およびプログラム
JP6855616B2 (ja) * 2020-04-01 2021-04-07 キヤノン株式会社 操作装置、移動装置、およびその制御システム

Also Published As

Publication number Publication date
JPWO2022220308A1 (zh) 2022-10-20
EP4325476A1 (en) 2024-02-21
CN117121473A (zh) 2023-11-24
US20240196062A1 (en) 2024-06-13
CN117280696A (zh) 2023-12-22
JP7486110B2 (ja) 2024-05-17
US20240205513A1 (en) 2024-06-20
WO2022220307A1 (ja) 2022-10-20
JPWO2022220305A1 (zh) 2022-10-20
WO2022220306A1 (ja) 2022-10-20
US20240196045A1 (en) 2024-06-13
EP4325843A1 (en) 2024-02-21
CN117121474A (zh) 2023-11-24
JPWO2022220307A1 (zh) 2022-10-20
EP4325842A1 (en) 2024-02-21
WO2022220308A1 (ja) 2022-10-20
JPWO2022220306A1 (zh) 2022-10-20
EP4325867A1 (en) 2024-02-21
WO2022220305A1 (ja) 2022-10-20

Similar Documents

Publication Publication Date Title
US10009542B2 (en) Systems and methods for environment content sharing
US9858643B2 (en) Image generating device, image generating method, and program
US10816807B2 (en) Interactive augmented or virtual reality devices
US10410562B2 (en) Image generating device and image generating method
JP7408678B2 (ja) 画像処理方法およびヘッドマウントディスプレイデバイス
KR101309176B1 (ko) 증강 현실 장치 및 방법
CN110060614B (zh) 头部佩戴型显示装置及其控制方法、显示系统
US10681276B2 (en) Virtual reality video processing to compensate for movement of a camera during capture
JP2015149634A (ja) 画像表示装置および方法
JP2017097122A (ja) 情報処理装置および画像生成方法
JP2017204674A (ja) 撮像装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
CN112272817B (zh) 用于在沉浸式现实中提供音频内容的方法和装置
WO2019142432A1 (ja) 情報処理装置、情報処理方法及び記録媒体
CN111630852A (zh) 信息处理设备、信息处理方法和程序
JP2018163461A (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP6518645B2 (ja) 情報処理装置および画像生成方法
KR101378407B1 (ko) 광시야각이 가능한 입체 영상 디스플레이 장치 및 그 입체영상 디스플레이 장치에서의 표시부 위치 조절 방법
EP4325476A1 (en) Video display system, information processing method, and program
JP6921204B2 (ja) 情報処理装置および画像出力方法
JP2022022871A (ja) 処理装置および没入度導出方法
WO2024057783A1 (ja) ３６０度画像視点位置同定部を備える情報処理装置
WO2023248832A1 (ja) 遠隔視認システム、現地撮像システム
WO2022149497A1 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
WO2020054585A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2013078039A (ja) 三次元画像を取得可能な電子機器、当該電子機器を制御するための方法、および、当該電子機器を制御するためのプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination