CN113412510A - 图像调整系统、图像调整装置以及图像调整方法 - Google Patents

图像调整系统、图像调整装置以及图像调整方法 Download PDF

Info

Publication number
CN113412510A
CN113412510A CN202080012842.2A CN202080012842A CN113412510A CN 113412510 A CN113412510 A CN 113412510A CN 202080012842 A CN202080012842 A CN 202080012842A CN 113412510 A CN113412510 A CN 113412510A
Authority
CN
China
Prior art keywords
image
spherical
captured
display device
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080012842.2A
Other languages
English (en)
Inventor
日昔崇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019025346A external-priority patent/JP2020136799A/ja
Priority claimed from JP2019025335A external-priority patent/JP7088064B2/ja
Priority claimed from JP2019025342A external-priority patent/JP2020136798A/ja
Priority claimed from JP2019025340A external-priority patent/JP2020134616A/ja
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of CN113412510A publication Critical patent/CN113412510A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1415—Digital output to display device ; Cooperation and interconnection of the display device with other functional units with means for detecting differences between the image stored in the host and the images displayed on the displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/34—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators for rolling or scrolling
    • G09G5/346—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators for rolling or scrolling for systems having a bit-mapped display memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2228—Video assist systems used in motion picture production, e.g. video cameras connected to viewfinders of motion picture cameras or related video signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0285—Improving the quality of display appearance using tables for spatial correction of display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/042—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller for monitor identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

图像调整系统(101、201、301、401)和图像调整方法包含相机(102、202、302、402)、图像调整装置(110、210、310、410)、图像显示装置(104、204、304、404)以及控制器(105、205、305、405)。图像调整装置具有图像生成部(112、212、312、412)以及图像处理部(111、211、311、411)。图像生成部生成球面状图像(VSS1、VSS2、VSS3、VSS4)。图像处理部基于从控制器(105、205、305、405)输出的指示信息(NN1、NN2、NN3、NN4)从图像生成部获取球面状图像并显示在图像显示装置上。图像处理部基于指示信息使球面状图像旋转，并与球面状图像的旋转对应地调整显示在图像显示装置上的拍摄图像(IM1、IM2、IM3、IM4)。

Description

图像调整系统、图像调整装置以及图像调整方法
技术领域
本发明涉及图像调整系统、图像调整装置以及图像调整方法。
背景技术
近年来，头戴显示装置作为图像显示装置而受到关注。头戴显示装置通过在佩戴于使用者的头部的状态下显示图像，从而使用者能够得到进入到虚拟空间这样的感觉(身临其境的感觉)。如专利文献1所记载的那样，头戴显示装置能够经由网络显示由外部的相机拍摄的图像。
现有技术文献
专利文献
专利文献1：日本特开2005-56295号公报。
发明内容
但是，在以往的头戴显示装置中，根据所显示的图像难以检测图像的水平方向，存在弄错水平方向而进行检测的情况。另外，由于系统的同步等问题，存在水平或顶部的指定发生偏差的情况。当弄错图像的水平方向而进行了检测、或者水平或顶部的指定发生偏差时，由于显示的图像与使用者的重力感觉不一致，因此使用者感到不协调。
本发明的目的在于提供一种图像调整系统、图像调整装置以及图像调整方法，能够在弄错图像的水平方向而进行了检测、或者水平或顶部的指定发生偏差的情况下，简单地对图像的水平或顶部进行校正。
本实施方式涉及的图像调整系统包括：相机；图像调整装置，调整所述相机拍摄的拍摄图像；图像显示装置，显示由所述图像调整装置调整后的所述拍摄图像；以及控制器，向所述图像调整装置输出指示信息。所述图像调整装置具有：图像生成部，生成球面状图像；以及图像处理部，基于所述指示信息从所述图像生成部获取所述球面状图像并显示在所述图像显示装置上，基于所述指示信息使所述球面状图像旋转，并与所述球面状图像的旋转对应地调整显示在所述图像显示装置上的所述拍摄图像。
本实施方式涉及的图像调整装置包括：图像生成部，生成球面状图像；以及图像处理部，基于从控制器获取的指示信息从所述图像生成部获取所述球面状图像并显示在图像显示装置上，基于所述指示信息使所述球面状图像旋转，并与所述球面状图像的旋转对应地调整拍摄图像，所述拍摄图像是由相机拍摄并显示在所述图像显示装置上的图像。
在本实施方式涉及的图像调整方法中，图像处理部从控制器获取指示信息。所述图像处理部基于所述指示信息从图像生成部获取球面状图像。图像显示装置显示所述球面状图像。所述图像处理部基于所述指示信息使所述球面状图像旋转。所述图像处理部与所述球面状图像的旋转对应地调整拍摄图像，所述拍摄图像是由相机拍摄并显示在所述图像显示装置上的图像。
根据本实施方式的图像调整系统、图像调整装置以及图像调整方法，在弄错图像的水平方向而进行了检测、或者水平或顶部的指定发生偏差的情况下，能够简单地校正图像的水平或顶部。
附图说明
图1是示出第一实施方式的图像调整系统的结构图；
图2是示出球面状图像与使用者之间的关系的图；
图3是示出第一实施方式的图像调整方法的一例的流程图；
图4是是示出第二实施方式的图像调整系统的结构图；
图5是示出针对每个使用者的校正值的分布的一例的图；
图6是示出第二实施方式的图像调整方法的一例的流程图；
图7是示出第二实施方式的图像调整方法的一例的流程图；
图8是示意性地示出相机处于移动的状态下的使用者与水平面之间的关系的图；
图9是示出壁面的一例的图；
图10A是示出第三实施方式的图像调整方法的一例的流程图；
图10B是示出第三实施方式的图像调整方法的一例的流程图；
图11是示出第四实施方式的图像调整方法的一例的流程图；
图12A是在图像显示装置中显示的图像的一例的图；
图12B是图12A所示的图像被进行了水平调整的状态的图。
具体实施方式
下面，参照附图对本发明的实施方式进行说明。此外，在以下的附图描述中，对于相同或者相似的部分标注相同或者相似的符号。当在各实施方式中仅说明构成的一部分的情况下，对于该构成的其他部分，能够应用前面说明的其他的实施方式的构成。
[第一实施方式]
使用图1对第一实施方式的图像调整系统的构成例进行说明。图像调整系统101包括相机102、通信部103、图像显示装置104、控制器105以及图像调整装置110。图像调整装置110具有图像处理部111、图像生成部112以及通信部113。
相机102是能够拍摄360度范围的全方位相机(360度相机)。通信部103与通信部113经由网络连接。图像调整装置110能够经由通信部103和113以及网络获取相机102拍摄的拍摄图像IM1。
作为图像调整装置110可以使用计算机设备。作为图像处理部111以及图像生成部112可以使用CPU。图像生成部112以及通信部113可以设置在图像调整装置110的外部。
图像调整装置110获取的拍摄图像IM1被输入到图像处理部111。图像处理部111通过解析拍摄图像IM1识别拍摄图像IM1中的水平方向。图像处理部111通过解析拍摄图像IM1，可以识别拍摄图像IM1中的垂直方向，也可以识别水平方向以及垂直方向。图像调整装置110执行校正拍摄图像IM1的失真、调整拍摄图像IM1的例如水平方向等的图像处理，并将图像处理后的拍摄图像IM1输出到图像显示装置104。
图像显示装置104显示由图像调整装置110进行了图像处理的拍摄图像IM1。图像显示装置104例如是头戴显示装置。控制器105例如是用于VR(Virtual Reality，虚拟现实)等的球形控制器。
图2示意性地示出图像显示装置104佩戴于使用者US的头部、控制器105佩戴在使用者US的手上的状态。图2所示的符号ZE示出顶部。优选相机102的顶部与使用者US的顶部一致。使用者US通过在其头部佩戴图像显示装置104，能够看到由图像调整装置110进行了图像处理后的拍摄图像IM1。
图像显示装置104在被佩戴于使用者US的头部的状态下，基于使用者US朝向的方向以及使用者US的姿势等状态生成姿势信息PN1。图像处理部111从图像显示装置104获取姿势信息PN1。即，图像处理部111基于图像显示装置104的姿势获取姿势信息PN1。图像处理部111基于姿势信息PN1并根据相机102所拍摄的拍摄图像IM1，在图像显示装置104中显示与使用者US朝向的方向以及使用者US的姿势等状态对应的区域的图像。
控制器105在佩戴于使用者US的手上的状态下，基于使用者US的手的动作或姿势、或者使用者US的手指的动作或姿势等状态生成指示信息NN1。以下，将手或手指简记为手。图像处理部111从控制器105获取指示信息NN1。图像处理部111能够基于指示信息NN1改变或调整显示在图像显示装置104上的拍摄图像IM1。
图像生成部112生成球面状图像VSS1，所述球面状图像VSS1是由作为CG(ComputerGraphics，计算机图形)的球面构成的虚拟图像。图像生成部112将球面状图像VSS1保存在内置存储器或者外部存储器中。
图像处理部111基于指示信息NN1从图像生成部112获取球面状图像VSS1，并显示在图像显示装置104中。图2示意性地示出在图像显示装置104佩戴于使用者US的头部的状态下使用者US观看图像显示装置104中显示的球面状图像VSS1时的使用者US的影像。
当在图像显示装置104佩戴于使用者US的头部的状态下，使用者US观看在图像显示装置104中显示的球面状图像VSS1时，球面状图像VSS1被设定为配置在使用者US以及图像显示装置104的周围、且显示在使用者US的手能触到球面状图像VSS1的范围。使用者US使佩戴有控制器105的手移动到与被图像显示装置104显示的球面状图像VSS1对应的位置，由此使用者US的手感觉到与球面状图像VSS1接触。
控制器105可以在与使用者US的手接触的部分配置致动器。图像处理部111在基于指示信息NN1判断为使用者US的手移动到与球面状图像VSS1对应的位置时使致动器工作。通过致动器对使用者US的手施加压力，使用者US能够得到其手与球面状图像VSS1接触的感觉作为真实感觉。
在球面状图像VSS1被图像显示装置104显示的状态下，在使用者US使佩戴有控制器105的手向任意的方向移动的情况下，图像处理部111基于指示信息NN1执行图像处理，使得被图像显示装置104显示的球面状图像VSS1和拍摄图像IM1与使用者US的手的移动方向、移动速度以及移动目的地的位置对应地移动。
使用者US通过使其手在任意的方向以任意的速度向任意的位置移动，能够使球面状图像VSS1在任意的方向以任意的速度向任意的位置旋转。即，使用者US能够通过其手的动作使球面状图像VSS1旋转。图像处理部111与球面状图像VSS1的旋转对应地使拍摄图像IM1移动。
图像处理部111能够判定使用者US使球面状图像VSS1旋转前的顶部ZE由于使用者US使球面状图像VSS1旋转而向球面状图像VSS1的坐标上的哪个位置进行了移动。图像处理部111基于球面状图像VSS1的坐标上的顶部ZE的移动方向以及移动目的地的位置，计算使用者US使球面状图像VSS1旋转前与旋转后的球面状图像VSS1的变化量。
所谓球面状图像VSS1的变化量相当于在球面状图像VSS1中合成将X轴设为旋转轴的旋转量(旋转角度)、将Y轴设为旋转轴的旋转量(旋转角度)、将Z轴设为旋转轴的旋转量(旋转角度)而得的球面状图像VSS1的旋转量(旋转角度)。图像处理部111将球面状图像VSS1的变化量保存为校正值CV1。即，校正值CV1基于球面状图像VSS1的旋转方向、以及顶部ZE的移动量或者移动角度、即球面状图像VSS1的旋转角度而计算出。
图像处理部111可以将使用者US使球面状图像VSS1旋转后的顶部ZE的球面状图像VSS1上的坐标保存为校正值CV1。图像处理部111将校正值CV1保存在内置存储器或者外部存储器。
图像处理部111检测拍摄图像IM1的水平方向。但是，图像处理部111有时难以由拍摄图像IM1检测出其水平方向，会弄错水平方向而进行检测。另外，由于系统的同步等问题，存在水平或顶部的指定发生偏差的情况。当弄错拍摄图像IM1的水平方向而进行检测、或者水平或顶部的指定发生偏差时，由于被图像显示装置104显示的拍摄图像IM1与使用者US的重力感觉不一致，因此使用者US感觉不协调。
使用图3所示的流程图，对第一实施方式的图像调整方法的一例进行说明。具体地，对调整拍摄图像IM1的水平的方法的一例进行说明。图像显示装置104佩戴于使用者US的头部，控制器105佩戴于使用者US的手上。在图像显示装置104上显示有拍摄图像IM1。
在使用者US判断为被图像显示装置104显示的拍摄图像IM1不是水平的情况下，在图3中，通过使用者US操作控制器105，在步骤S101中，图像处理部111使图像显示装置104显示设定画面。使用者US操作控制器105，并选择显示在设定画面上的预定项目(例如水平调整的项目)，由此在步骤S102中，图像处理部111向与所选择的项目对应的预定的处理模式转移处理。在选择了水平调整的项目的情况下，图像处理部111向用于调整拍摄图像IM1的水平的处理模式、即水平调整模式转移处理。
在步骤S103中，图像处理部111从图像生成部112获取球面状图像VSS1，并显示在图像显示装置104上。图像显示装置104混合拍摄图像IM1与球面状图像VSS1进行显示。使用者US使球面状图像VSS1旋转使得拍摄图像IM1为水平，由此在步骤S104中图像处理部111使被图像显示装置104显示的拍摄图像IM1与球面状图像VSS1的旋转对应地移动。使用者US可以多次进行使球面状图像VSS1旋转的动作，直到拍摄图像IM1为水平。
使用者US在判断为拍摄图像IM1成为水平的情况下操作控制器105，由此在步骤S105中图像处理部111使图像显示装置104显示设定画面。将被图像显示装置104显示的拍摄图像IM1设为水平，由此能够使相机102的顶部与使用者US的顶部一致。
使用者US操作控制器105，并选择显示在设定画面上的预定项目、例如结束项目，由此在步骤S106中图像处理部111向与选择出的项目对应的预定的处理模式转移处理。在选择了结束项目的情况下，图像处理部111向用于结束水平调整的处理模式、即结束模式转移处理。
在步骤S107中，图像处理部111获取球面状图像VSS1旋转前与旋转后的旋转量(旋转角度)作为球面状图像VSS1的变化量。在步骤S108中，图像处理部111保存球面状图像VSS1的变化量作为校正值CV1，并结束处理。
在第一实施方式的图像调整系统101、图像调整装置110以及图像调整方法中，使图像显示装置104显示球面状图像VSS1。根据第一实施方式的图像调整系统101、图像调整装置110以及图像调整方法，在弄错拍摄图像IM1的水平方向而进行检测、或者水平或顶部ZE的指定发生偏差的情况下，使用者US通过操作控制器105而使球面状图像VSS1旋转，能够进行调整，使得被图像显示装置104显示的拍摄图像IM1变为水平。
因此，根据第一实施方式的图像调整系统101、图像调整装置110以及图像调整方法，在弄错拍摄图像IM1的水平方向而进行检测、或者水平或顶部的指定发生偏差的情况下，使用者US能够简单地校正拍摄图像IM1的水平或顶部。
根据第一实施方式的图像调整系统101、图像调整装置110以及图像调整方法，在保存有校正值CV1的情况下，图像处理部111能够读出校正值CV1，并基于校正值CV1对相机102所拍摄的拍摄图像IM1进行图像调整，并在图像显示装置104中进行显示。
[第二实施方式]
使用图4对第二实施方式的图像调整系统的构成例进行说明。图像调整系统201包括相机202、通信部203、图像显示装置204、控制器205、图像调整装置210以及服务器206。图像调整装置210具有图像处理部211、图像生成部212以及通信部213。
相机202、通信部203、图像显示装置204、控制器205以及图像调整装置210分别相当于第一实施方式的相机102、通信部103、图像显示装置104、控制器105以及图像调整装置110。图像处理部211、图像生成部212以及通信部213分别相当于第一实施方式的图像处理部111、图像生成部112以及通信部113。
图像调整装置210能够经由通信部203、213以及网络获取相机202所拍摄的拍摄图像IM2。服务器206经由网络和通信部203与相机202连接，并经由网络和通信部213与图像调整装置210连接。
服务器206经由通信部203和网络获取相机202所拍摄的拍摄图像IM2，图像调整装置210可以从服务器206经由网络和通信部213获取拍摄图像IM2。
图像调整装置210获取的拍摄图像IM2被输入到图像处理部211。图像处理部211通过解析拍摄图像IM2来识别拍摄图像IM2中的水平方向。图像处理部211通过解析拍摄图像IM2，可以识别拍摄图像IM2中的垂直方向，也可以识别水平方向以及垂直方向。图像调整装置210执行校正拍摄图像IM2的失真、调整拍摄图像IM2的例如水平等的图像处理，将图像处理后的拍摄图像IM2输出到图像显示装置204。图像显示装置204显示由图像调整装置210进行了图像处理的拍摄图像IM2。
服务器206可以执行校正相机202所拍摄的拍摄图像IM2的失真、调整拍摄图像IM2的例如水平等的图像处理，并将进行图像处理后的拍摄图像IM2输出到图像调整装置210。使用者US通过在其头部佩戴图像显示装置204，能够观看由图像调整装置210或者服务器206进行了图像处理后的拍摄图像IM2。
图像显示装置204在佩戴于使用者US的头部的状态下，基于使用者US朝向的方向以及使用者US的姿势等状态生成姿势信息PN2。图像处理部211从图像显示装置204获取姿势信息PN2。即，图像处理部211基于图像显示装置204的姿势获取姿势信息PN2。图像处理部211基于姿势信息PN2并根据相机202所拍摄的拍摄图像IM2，将与使用者US朝向的方向以及使用者US的姿势等状态对应的区域的图像显示在图像显示装置204上。
控制器205在佩戴在使用者US的手上的状态下基于使用者US的手的动作或姿势等状态生成指示信息NN2。图像处理部211从控制器205获取指示信息NN2。图像处理部211能够基于指示信息NN2改变或调整显示在图像显示装置204上的图像。
图像生成部212生成球面状图像VSS2，所述球面状图像VSS2是由作为CG的球面构成的虚拟图像。图像生成部212将球面状图像VSS2保存在内置存储器或外部存储器中。
图像处理部211基于指示信息NN2从图像生成部212获取球面状图像VSS2，并在图像显示装置204中进行显示。球面状图像VSS2相当于第一实施方式的球面状图像VSS1。使用者US使佩戴有控制器205的手移动到与图像显示装置204中显示的球面状图像VSS2对应的位置，由此使用者US的手感觉到正与球面状图像VSS2接触。
控制器205可以在与使用者US的手接触的部分配置致动器。图像处理部211在基于指示信息NN2判断为使用者US的手移动到与球面状图像VSS2对应的位置的情况下使致动器工作。通过致动器对使用者US的手施加压力，使用者US能够得到其手与球面状图像VSS2接触的感觉而作为实际感觉。
当在球面状图像VSS2显示在图像显示装置204的状态下，使用者US使佩戴有控制器205的手向任意的方向移动的情况下，图像处理部211基于指示信息NN2执行图像处理，使得显示在图像显示装置204的球面状图像VSS2和拍摄图像IM2与使用者US的手的移动方向、移动速度以及移动目的地的位置对应地移动。
使用者US通过使其手在任意的方向以任意的速度向任意的位置移动，能够使球面状图像VSS2在任意的方向在任意的速度向任意的位置旋转。即，使用者US能够通过其手的动作使球面状图像VSS2旋转。图像处理部211使拍摄图像IM2与球面状图像VSS2的旋转对应地移动。
图像处理部211能够判定使用者US使球面状图像VSS2旋转前的顶部ZE由于使用者US使球面状图像VSS2旋转而向球面状图像VSS2的坐标上的哪个位置进行了移动。图像处理部211基于球面状图像VSS2的坐标上的顶部ZE的移动方向以及移动目的地的位置，计算使用者US使球面状图像VSS2旋转前与旋转后的球面状图像VSS2的变化量。球面状图像VSS2的变化量相当于第一实施方式的球面状图像VSS1的变化量。
图像处理部211将球面状图像VSS2的变化量作为校正值CV2，经由通信部213以及网络输出到服务器206。即，校正值CV2基于球面状图像VSS2的旋转方向和顶部ZE的移动量或移动角度(球面状图像VSS2的旋转角度)而计算出。图像处理部211可以将使用者US使球面状图像VSS2旋转后的顶部ZE的球面状图像VSS2上的坐标作为校正值CV2向服务器206输出。
服务器206可以经由网络以及通信部213从图像调整装置210获取校正值CV2。服务器206将校正值CV2与使用者US或者图像显示装置204建立关联而保存在内置存储器或者外部存储器。
图像处理部211检测拍摄图像IM2的水平方向。但是，图像处理部211根据拍摄图像IM2难以检测其水平方向，存在会弄错水平方向而进行检测的情况。另外，由于系统的同步等问题，有时水平或顶部的指定会发生偏差。当拍摄图像IM2的水平方向弄错而进行检测、或者水平或顶部的指定发生偏差时，由于显示在图像显示装置204上的拍摄图像IM2与使用者US的重力感觉不一致，因此使用者US感觉不协调。
在使用者US将图像显示装置204佩戴于头部的情况下，头部的形状以及图像显示装置204的佩戴状态根据使用者US而不同。因此，在图像显示装置204上显示的拍摄图像IM2的水平方向有时根据使用者US而不同。在图像显示装置204上显示的拍摄图像IM2的水平方向有时根据使用者US的主视眼而不同。因此，校正值CV2有时根据使用者US而不同。
图5示意性地示出按照每个使用者US的校正值CV2的分布。图5示意性地示出从使用者US的上方观看球面状图像VSS2的状态。图5所示的前表示使用者US的前方，后表示使用者US的后方。图5所示的右表示使用者US的右侧，左表示使用者US的左侧。
图5所示的圆形状的符号表示第一使用者US或者第一图像显示装置204中的校正值CV2，四边形状的符号表示第二使用者US或者第二图像显示装置204中的校正值CV2，三角形状的符号表示第三使用者US或者第三图像显示装置204中的校正值CV2。在图5中，校正值CV2表示以下状态：针对第一使用者US分布在前方的右侧，针对第二使用者US分布在前方的左侧，针对第三使用者US分布在后方。
通过使用者US执行注册操作、或者图像显示装置204经由通信部213与网络连接，服务器206能够确定使用者US或图像显示装置204。服务器206与所确定的使用者US或图像显示装置204对应来保存校正值CV2。
使用图6以及图7所示的流程图对第二实施方式的图像调整方法的一例进行说明。具体地，对按照每个使用者US或图像显示装置204调整拍摄图像IM2的水平的方法的一例进行说明。图像显示装置204被佩戴于使用者US的头部，控制器205被佩戴于使用者US的手上。在图像显示装置204中显示有拍摄图像IM2。
在图6中，在步骤S201中，服务器206通过使用者US执行注册操作、或者图像显示装置204经由通信部213与网络连接，确定使用者US或图像显示装置204。
在使用者US判断为在图像显示装置204中显示的拍摄图像IM2不是水平的情况下，通过使用者US操作控制器205，在步骤S202中，图像处理部211使图像显示装置204显示设定画面。使用者US操作控制器205，选择显示在设定画面上预定项目、例如水平调整的项目，由此在步骤S203中，图像处理部211向与所选择的项目对应的预定的处理模式转移处理。在选择了水平调整的项目的情况下，图像处理部211向用于调整拍摄图像IM2的水平的处理模式、即水平调整模式转移处理。
在步骤S204中，图像处理部211从图像生成部212获取球面状图像VSS2，并在图像显示装置204中显示。在图像显示装置204中，拍摄图像IM2与球面状图像VSS2混合显示。通过使用者US使球面状图像VSS2旋转使得拍摄图像IM2为水平，由此在步骤S205中，图像处理部211使在图像显示装置204中显示的拍摄图像IM2与球面状图像VSS2的旋转对应地移动。使用者US可以多次进行使球面状图像VSS2旋转的动作，直到拍摄图像IM2变为水平。
在使用者US判断为拍摄图像IM2变为水平的情况下，通过操作控制器205，在步骤S206中，图像处理部211使图像显示装置204显示设定画面。通过将在图像显示装置204中显示的拍摄图像IM2设为水平，能够使相机202的顶部与使用者US的顶部一致。
使用者US操作控制器205，选择显示在设定画面中的预定项目、例如结束项目，由此在步骤S207中，图像处理部211向与所选择的项目对应的预定的处理模式转移处理。在选择了结束项目的情况下，图像处理部211向用于结束水平调整的处理模式、即结束模式转移处理。
在步骤S208中，图像处理部211获取球面状图像VSS2旋转前与旋转后的旋转量(旋转角度)作为球面状图像VSS2的变化量。并且，图像处理部211将球面状图像VSS2的变化量作为校正值CV2，经由通信部213以及网络向服务器206输出。在步骤S209中，服务器206将校正值CV2与使用者US或图像显示装置204建立关联而进行保存。此外，服务器206可以经由网络以及通信部213从图像调整装置210获取校正值CV2。
使用图7所示的流程图，对调整校正值CV2与使用者US或图像显示装置204关联地保存在服务器206中的情况下的拍摄图像IM2的水平的方法的一例进行说明。图像显示装置204佩戴在使用者US的头部，控制器205佩戴在使用者US的手上。在图像显示装置204中显示有拍摄图像IM2。
在图7中，在步骤S211中，通过使用者US执行注册操作、或者图像显示装置204经由通信部213与网络连接，服务器206确定使用者US或图像显示装置204。
在步骤S212中，服务器206读出与在步骤S211中确定的使用者US或者图像显示装置204对应的校正值CV2，并经由网络以及通信部213输出到图像调整装置210。
当在服务器206中保存有与使用者US或图像显示装置204对应的多个校正值CV2的情况下，服务器206可以根据多个校正值CV2计算平均值，并将该平均值设为校正值CV2并输出到图像调整装置210，也可以将多个校正值CV2中的最接近的校正值CV2输出到图像调整装置210。图像调整装置210可以经由通信部213以及网络从服务器206读出与使用者US或图像显示装置204对应的校正值CV2。
从服务器206输出到图像调整装置210的校正值CV2被输入到图像处理部211。在步骤S213中，图像处理部211将相机202所拍摄的拍摄图像IM2基于校正值CV2进行水平调整，并输出到图像显示装置204。在步骤S214中，图像显示装置204显示基于校正值CV2而进行了水平调整后的拍摄图像IM2。因此，图像显示装置204能够显示与使用者US对应而进行了水平调整的拍摄图像IM2。
使用者US在判断为在图像显示装置204中显示的拍摄图像IM2不是水平的情况下，通过操作控制器205，可以使图像调整系统201执行步骤S202～S209、以及S211～S214的处理。
在第二实施方式的图像调整系统201、图像调整装置210以及图像调整方法中，使图像显示装置204显示球面状图像VSS2。根据第二实施方式的图像调整系统201、图像调整装置210以及图像调整方法，当弄错拍摄图像IM2的水平方向而进行检测、或者水平或顶部ZE的指定发生偏差时，使用者US能够通过操作控制器205使球面状图像VSS2旋转，进行调整，使得在图像显示装置204中显示的拍摄图像IM2为水平。
因此，根据第二实施方式的图像调整系统201、图像调整装置210以及图像调整方法，当弄错拍摄图像IM2的水平方向而进行了检测、或者水平或顶部的指定发生偏差时，使用者US能够简单地校正拍摄图像IM2的水平或顶部。
在第二实施方式的图像调整系统201、图像调整装置210以及图像调整方法中，校正值CV2与使用者US或图像显示装置204对应起来被保存在服务器206中。图像调整装置210能够基于校正值CV2对相机202所拍摄的拍摄图像IM2按照每个使用者US或者图像显示装置204进行水平调整，并显示在图像显示装置204中。根据第二实施方式的图像调整系统201、图像调整装置210以及图像调整方法，由于校正值CV2与使用者US或图像显示装置204对应，因此能够按照多个使用者US的每个调整拍摄图像IM2的水平。
[第三实施方式]
使用图4对第三实施方式的图像调整系统的构成例进行说明。图像调整系统301包括相机302、通信部303、图像显示装置304、控制器305、图像调整装置310以及服务器306。图像调整装置310具有图像处理部311、图像生成部312以及通信部313。
相机302、通信部303、图像显示装置304、控制器305、图像调整装置310以及服务器306分别相当于第二实施方式的相机202、通信部203、图像显示装置204、控制器205、图像调整装置210以及服务器206。图像处理部311、图像生成部312以及通信部313分别相当于第二实施方式的图像处理部211、图像生成部212以及通信部213。
图像调整装置310能够经由通信部303和313以及网络获取相机302所拍摄的拍摄图像IM3。服务器306经由网络和通信部303与相机302连接，并经由网络与通信部313与图像调整装置310连接。
服务器306可以经由通信部303以及网络获取相机302所拍摄的拍摄图像IM3，图像调整装置310经由网络以及通信部313从服务器306获取拍摄图像IM3。
图像调整装置310所获取的拍摄图像IM3被输入到图像处理部311。图像处理部311通过解析拍摄图像IM3来识别拍摄图像IM3中的水平方向。图像处理部311通过解析拍摄图像IM3，可以识别拍摄图像IM3中的垂直方向，也可以识别水平方向以及垂直方向。图像调整装置310执行校正拍摄图像IM3的失真、调整拍摄图像IM3的例如水平等的图像处理，并将进行了图像处理的拍摄图像IM3输出到图像显示装置304。图像显示装置304显示由图像调整装置310进行了图像处理后的拍摄图像IM3。
服务器306可以执行校正相机302所拍摄的拍摄图像IM3的失真、调整拍摄图像IM3的例如水平等的图像处理，并将进行了图像处理后的拍摄图像IM3输出到图像调整装置310。使用者US通过在其头部佩戴图像显示装置304，能够观看由图像调整装置310或者服务器306进行了图像处理后的拍摄图像IM3。
图像显示装置304在佩戴于使用者US的头部的状态下，基于使用者US朝向的方向以及使用者US的姿势等状态生成姿势信息PN3。图像处理部311从图像显示装置304获取姿势信息PN3。即，图像处理部311基于图像显示装置304的姿势获取姿势信息PN3。图像处理部311基于姿势信息PN3并根据相机302所拍摄的拍摄图像IM3，将与使用者US朝向的方向、以及使用者US的姿势等状态对应的区域的图像显示在图像显示装置304上。
控制器305在佩戴于使用者US的手上的状态下基于使用者US的手的动作或者姿势等的状态生成指示信息NN3。图像处理部311从控制器305获取指示信息NN3。图像处理部311能够基于指示信息NN3改变或调整图像显示装置304中显示的图像。
图像生成部312生成球面状图像VSS3，所述球面状图像VSS3是由作为CG的球面构成的虚拟图像。图像生成部312将球面状图像VSS3保存在内置存储器或者外部存储器中。
图像处理部311基于指示信息NN3从图像生成部312获取球面状图像VSS3，并在图像显示装置304中显示。球面状图像VSS3相当于第一以及第二实施方式的球面状图像VSS1以及VSS2。使用者US通过使佩戴有控制器305的手移动到与图像显示装置304中显示的球面状图像VSS3对应的位置，使用者US的手感觉与球面状图像VSS3接触。
控制器305可以在与使用者US的手接触的部分配置致动器。图像处理部311在基于指示信息NN3判断为使用者US的手移动到与球面状图像VSS3对应的位置的情况下使致动器工作。通过致动器对使用者US的手施加压力，使用者US能够得到其手与球面状图像VSS3接触的感觉作为实际感觉。
在球面状图像VSS3显示在图像显示装置304中的状态下，使用者US使佩戴有控制器305的手向任意的方向移动的情况下，图像处理部311基于指示信息NN3执行图像处理，使得在图像显示装置304中显示的球面状图像VSS3和拍摄图像IM3与使用者US的手的移动方向、移动速度以及移动目的地的位置对应地移动。
使用者US通过使其手在任意的方向以任意的速度向任意的位置移动，能够使球面状图像VSS3在任意的方向以任意的速度向任意的位置旋转。即，使用者US能够通过其手的动作使球面状图像VSS3旋转。图像处理部311使拍摄图像IM3与球面状图像VSS3的旋转对应地移动。
图像处理部311能够判定使用者US使球面状图像VSS3旋转前的顶部ZE由于使用者US使球面状图像VSS3旋转而向球面状图像VSS3的坐标上的哪个位置进行了移动。图像处理部311基于球面状图像VSS3的坐标上的顶部ZE的移动方向以及移动目的地的位置计算使用者US使球面状图像VSS3旋转前与旋转后的球面状图像VSS3的变化量。球面状图像VSS3的变化量相当于第一以及第二实施方式的球面状图像VSS1以及VSS2的变化量。
图像处理部311将球面状图像VSS3的变化量设为校正值CV3，并经由通信部313以及网络输出到服务器306。即，校正值CV3基于球面状图像VSS3的旋转方向和顶部ZE的移动量或移动角度(球面状图像VSS3的旋转角度)而计算出。图像处理部311可以将使用者US使球面状图像VSS3旋转后的顶部ZE的球面状图像VSS3上的坐标设为校正值CV3并向服务器306输出。
服务器306可以经由网络以及通信部313从图像调整装置310获取校正值CV3。服务器306将校正值CV3与使用者US或图像显示装置304关联起来保存在内置存储器或者外部存储器中。
图像处理部311检测拍摄图像IM3的水平方向。但是，图像处理部311难以通过拍摄图像IM3检测其水平方向，存在弄错水平方向而进行检测的情况。另外，由于系统的同步等问题，存在水平或顶部的指定会发生偏差的情况。当弄错拍摄图像IM3的水平方向而进行检测、或者水平或顶部的指定发生偏差时，由于显示在图像显示装置304上的拍摄图像IM3与使用者US的重力感觉不一致，因此使用者US感觉不协调。
通过使用者US操作控制器305，图像调整系统301执行与图3所示的流程图的步骤S101～S108同样的处理、或者与图6所示的流程图的步骤S201～S209同样的处理。因此，使用者US能够通过操作控制器305而使球面状图像VSS3旋转，进行调整，使得显示在图像显示装置304中的拍摄图像IM3变为水平。
图8示出相机302按地点A、地点B以及地点C的顺序移动、且在相机302的左侧配置有与地面正交的壁的状态。将地面设为第一面PL1，将壁面设为第二面PL2。在初始状态下，第一面PL1为水平面，第二面PL2是垂直面。相机302按照地点A、地点B以及地点C的顺序移动，由此使用者US能够获得按照地点A、地点B以及地点C的顺序移动的感觉。
在地点A中，拍摄图像IM3被调整为水平。在拍摄图像IM3未被调整为水平的情况下，通过使用者US操作控制器305来使球面状图像VSS3旋转，来进行调整，使得在图像显示装置304中显示的拍摄图像IM3为水平。图像处理部311获取第一面PL1中的法线向量NV1。图像处理部311在地点B或者C也获取法线向量NV1。
图像处理部311从拍摄图像IM3检测第一面PL1以外的面。图像处理部311例如检测出第二面PL2。图像处理部311判定检测出的面是否位于预定范围内。图像处理部311判定例如第二面PL2是否位于预定范围内。关于预定范围在后面叙述。
当判定为第二面PL2位于预定范围内的情况下，图像处理部311估计第二面PL2中的法线向量NV2。如图9所示，在第二面PL2具有在水平方向以及垂直方向延伸的多个线状的图案的情况下，图像处理部311基于四边形的失真可以估计法线向量NV2，所述四边形由在水平方向延伸的多个线状的图案和在垂直方向延伸的多个线状的图案形成。
在第二面PL2具有凹凸形状、并与凹凸对应而形成有影的情况下，图像处理部311可以基于影的形状估计法线向量NV2。当在第二面PL2没有特征、难以估计法线向量NV2的情况下，可以将与第一面PL1平行、且从第二面PL2向相机302的方向的向量设定为法线向量NV2。图像处理部311在地点A要获取或者获取了第二面PL2中的法线向量NV2。图像处理部311在地点B或C也可以获取法线向量NV2。
图像处理部311在从拍摄图像IM3在第一面PL1以外检测出多个面的情况下，按照每个面标注用于确定各面的编号。图像处理部311能够在图像显示装置304中显示的拍摄图像IM3中在与各面对应的位置重叠与各面对应的CG以及编号中的至少任一个并进行显示。
使用图10A以及图10B所示的流程图对第三实施方式的图像调整方法的一例进行说明。具体地，对改变在图像显示装置304中显示的拍摄图像IM3的水平面的方法的一例进行说明。对在地点A中第一面PL1是水平面、在地点B中第二面PL2被改变为水平面、在地点C中第一面PL1恢复为水平面的情况进行说明。
图像显示装置304被佩戴在使用者US的头部，控制器305佩戴在使用者US的手上。在图像显示装置304中显示有拍摄图像IM3。相机302按照地点A、地点B以及地点C的顺序移动。在地点A中，拍摄图像IM3设为被调整为水平。
在图10A中，当相机302从地点A移动到了地点B时或向地点B移动时，通过使用者US操作控制器305，在步骤S301中，图像处理部311使图像显示装置304显示设定画面。使用者US操作控制器305，并选择在设定画面中显示的预定项目、例如水平面变更的项目，由此在步骤S302中，图像处理部311向与所选择的项目对应的预定的处理模式转移处理。在选择了水平面变更的项目的情况下，图像处理部311向用于改变水平面的处理模式、即水平面变更模式转移处理。
在步骤S303中，图像处理部311从地点B中的拍摄图像IM3检测第一面PL1以外的面。图像处理部311例如检测出第二面PL2。在步骤S304中，图像处理部311判定检测出的面是否位于预定范围内。图像处理部311判定例如第二面PL2是否位于预定范围内。
当判定为所检测出的面位于预定范围内(YES，是)的情况下，在步骤S305中，图像处理部311将与检测出的面对应的CG合成到与在拍摄图像IM3中检测出的面对应的位置，并显示在图像显示装置304中。当判定为多个面位于预定范围内的情况下，将与多个面对应的多个CG合成到拍摄图像IM3中与多个面对应的位置，还按照每个面赋予用于确定各面的编号，并显示在图像显示装置304中。当判定为被检测出的面不位于预定范围内(NO，否)的情况下，在步骤S306中，图像处理部311不在拍摄图像IM3中合成CG以及编号，即将CG以及编号设为不显示，并将处理返回到步骤S303。
当使用者US操作控制器305、选择例如与第二面PL2对应的CG图像或者编号的情况下，在步骤S307中，图像处理部311估计第二面PL2中的法线向量NV2。在步骤S308中，图像处理部311基于法线向量NV2对拍摄图像IM3进行处理，使得第二面PL2为水平面。在图8所示的状态下，图像处理部311使拍摄图像IM3绕逆时针旋转90度。通过该图像处理，使用者US能够得到站立在作为第二面PL2的壁面而正在进行移动的感觉。
如图8所示，为了得到使用者US站立在壁面(第二面PL2)而正在移动的感觉，相机302与壁面之间的距离L2是重要的。当距离L2过于长时使用者US感觉从壁面浮起，当距离L2过短时使用者US感觉到埋入壁面。距离L2相对于从地面(第一面PL1)到相机302的距离L1优选处于0.7×L1<L2<1.5×L1的范围内。因此，所谓步骤S304中的预定范围内例如是0.7×L1<L2<1.5×L1的范围内。由此，使用者US能够得到站在壁面而正在移动的感觉。
在图10B中，当相机302从地点B移动到了地点C或者向地点C移动时，使用者US操作控制器305，由此在步骤S309中，图像处理部311使图像显示装置304显示设定画面。使用者US操作控制器305，并选择在设定画面中显示的预定项目、例如水平面变更的项目，由此在步骤S310中，图像处理部311向与所选择的项目对应的预定的处理模式转移处理。在选择了水平面变更的项目的情况下，图像处理部311向用于改变水平面的处理模式、即水平面变更模式转移处理。
在步骤S311中，图像处理部311从地点C中的拍摄图像IM3中检测例如第一面PL1以及第二面PL2。在使用者US操作控制器305、选择例如与第一面PL1对应的CG或编号的情况下，在步骤S312中，图像处理部311基于法线向量NV1对拍摄图像IM3进行处理，使得第一面PL1为水平面。在图8所示的状态下，图像处理部311使拍摄图像IM3绕顺时针方向旋转90度。通过该图像处理，使用者US能够得到站立在作为第一面PL1的地面而正在移动的感觉。
在步骤S301和S302、以及步骤S309和S310中，使用者US操作控制器305，由此选择了预定的面PL，但服务器306或者图像调整装置310可以在任意的时间点选择任意的面PL，与所选择的面PL对应来对拍摄图像IM3进行处理。在多个使用者US经由网络观看拍摄图像IM3的情况下，任一个使用者US可以相对于其他使用者US在任意的时间点选择任意的面PL。当使用者US在景点等使用图像显示装置304时，景点的操作员可以在任意的时间点选择任意的面PL。
在第三实施方式的图像调整系统301、图像调整装置310以及图像调整方法中，使图像显示装置304显示球面状图像VSS3。根据第三实施方式的图像调整系统301、图像调整装置310以及图像调整方法，在弄错拍摄图像IM3的水平方向而进行检测、或者水平或顶部ZE的指定发生偏差的情况下，使用者US通过操作控制器305而使球面状图像VSS3旋转，由此能够进行调整，使得显示在图像显示装置304中的拍摄图像IM3为水平。
在第三实施方式的图像调整系统301、图像调整装置310以及图像调整方法中，校正值CV3与使用者US或图像显示装置304对应地保存在服务器306中。图像调整装置310能够基于校正值CV3对相机302所拍摄的拍摄图像IM3进行水平调整，并在图像显示装置304中进行显示。
因此，根据第三实施方式的图像调整系统301、图像调整装置310以及图像调整方法，当弄错拍摄图像IM3的水平方向而进行检测、或者水平或顶部的指定发生偏差的情况下，使用者US能够简单地校正拍摄图像IM3的水平或顶部。
在第三实施方式的图像调整系统301、图像调整装置310以及图像调整方法中，检测地面以外的面，判定检测出的面是否位于预定范围内，估计位于预定范围内的面中的法线向量NV2。根据第三实施方式的图像调整系统301、图像调整装置310以及图像调整方法，能够基于法线向量NV2使拍摄图像IM3旋转，使得指定的面PL2为水平面。在被指定的面PL2是壁面的情况下，使用者US能够得到站立在壁面上而正在移动的感觉。
[第四实施方式]
使用图4对第四实施方式的图像调整系统的构成例进行说明。图像调整系统401包括相机402、通信部403、图像显示装置404、控制器405、图像调整装置410以及服务器406。图像调整装置410具有图像处理部411、图像生成部412以及通信部413。
相机402、通信部403、图像显示装置404、控制器405、图像调整装置410以及服务器406分别相当于第二实施方式的相机202、通信部203、图像显示装置204、控制器205、图像调整装置210以及服务器206。图像处理部411、图像生成部412以及通信部413分别相当于第二实施方式的图像处理部211、图像生成部212以及通信部213。
图像调整装置410能够经由通信部403和413以及网络获取相机402拍摄的拍摄图像IM4。服务器406经由网络和通信部403与相机402连接，并经由网络和通信部413与图像调整装置410连接。
服务器406可以经由通信部403以及网络获取拍摄图像IM4，图像调整装置410可以从服务器406经由网络以及通信部413获取拍摄图像IM4。
图像调整装置410获取的拍摄图像IM4被输入到图像处理部411。图像处理部411通过解析拍摄图像IM4识别拍摄图像IM4中的水平方向。图像调整装置410通过解析拍摄图像IM4，可以识别拍摄图像IM4中的垂直方向，也可以识别水平方向以及垂直方向。图像调整装置410执行校正拍摄图像IM4的失真、调整拍摄图像IM4的例如水平等的图像处理，并将进行图像处理后的拍摄图像IM4输出到图像显示装置404。图像显示装置404显示拍摄图像IM4。
服务器406可以经由网络以及通信部403从相机402获取拍摄图像IM4，并执行校正拍摄图像IM4的失真、调整拍摄图像IM4的例如水平等的图像处理，将进行图像处理后的拍摄图像IM4输出到图像调整装置410。使用者US通过在其头部佩戴图像显示装置404，能够观看通过图像调整装置410或者服务器406进行图像处理后的拍摄图像IM4。
图像显示装置404在被佩戴于使用者US的头部的状态下，基于使用者US朝向的方向以及使用者US的姿势等状态生成姿势信息PN4。图像处理部411从图像显示装置404获取姿势信息PN4。即，图像处理部411基于图像显示装置404的姿势获取姿势信息PN4。图像处理部411基于姿势信息PN4并根据相机402拍摄的拍摄图像IM4，将与使用者US朝向的方向以及使用者US的姿势等状态对应的区域的图像显示在图像显示装置404。
控制器405在被佩戴于使用者US的手上的状态下，基于使用者US的手的动作或者姿势等状态生成指示信息NN4。图像处理部411从控制器405获取指示信息NN4。图像处理部411能够基于指示信息NN4改变或调整显示在图像显示装置404上的图像。
图像生成部412生成球面状图像VSS4，所述球面状图像VSS4是由作为CG的球面构成的虚拟图像。图像生成部412将球面状图像VSS4保存在内置存储器或者外部存储器。
图像处理部411基于指示信息NN4从图像生成部412获取球面状图像VSS4，并显示在图像显示装置404。球面状图像VSS4相当于第二实施方式的球面状图像VSS2。使用者US使佩戴有控制器405的手移动到与图像显示装置404中显示的球面状图像VSS4对应的位置，由此使用者US的手感觉到与球面状图像VSS4接触。
控制器405可以在与使用者US的手接触的部分配置致动器。图像处理部411在基于指示信息NN4判断为使用者US的手移动到与球面状图像VSS4对应的位置的情况下，使致动器工作。通过致动器对使用者US的手施加压力，使用者US能够得到其手与球面状图像VSS4接触的感觉作为实际感觉。
在球面状图像VSS4显示在图像显示装置404的状态下，使用者US使佩戴有控制器405的手向任意的方向移动了的情况下，图像处理部411基于指示信息NN4执行图像处理，使得图像显示装置404中显示的球面状图像VSS4和拍摄图像IM4与使用者US的手的移动方向、移动速度以及移动目的地的位置对应地移动。
使用者US通过使其手在任意的方向以任意的速度向任意的位置移动，能够使球面状图像VSS4在任意的方向以任意的速度向任意的位置旋转。即，使用者US能够通过其手的动作使球面状图像VSS4旋转。图像处理部411使拍摄图像IM4与球面状图像VSS4的旋转对应地移动。
当在相机402所拍摄的拍摄图像IM4中出现有地平线或建筑物的情况下，图像调整装置410和服务器406能够精度好地识别拍摄图像IM4的水平方向。但是，在相机402拍摄的拍摄图像IM4是例如自然风景等仅由曲线构成的图像的情况下，图像调整装置410和服务器406有时无法精度好地识别拍摄图像IM4的水平方向。
在无法精度好地识别拍摄图像IM4的水平方向的情况下，拍摄图像IM4以倾斜的状态被显示在图像显示装置404中。使用者US能够通过使球面状图像VSS4旋转进行调整，使拍摄图像IM4变为水平。
使用图11所示的流程图对第四实施方式的图像调整方法的一例进行说明。具体地，对调整相机402拍摄的拍摄图像IM4的水平的方法的一例进行说明。
服务器406执行与图6所示的步骤S201同样的处理。如图12A所示，使用者US判断为显示在图像显示装置404中的拍摄图像IM4不是水平，通过使用者US操作控制器405，图像调整系统401执行与图6所示的步骤S202～S207同样的处理。由此，如图12B所示，能够将图像显示装置404中显示的拍摄图像IM4调整为水平。
图像处理部411能够判定使用者US使球面状图像VSS4旋转前的顶部ZE由于使用者US使球面状图像VSS4旋转而向球面状图像VSS4的坐标上的哪个位置进行了移动。图像处理部411基于球面状图像VSS4的坐标上的顶部ZE的移动方向以及移动目的地的位置，计算使用者US使球面状图像VSS4旋转前和旋转后的球面状图像VSS4的变化量。球面状图像VSS4的变化量相当于第二实施方式的球面状图像VSS2的变化量。
图像处理部411计算旋转角度RA作为球面状图像VSS4的变化量。旋转角度RA是使用者US使球面状图像VSS4旋转后的状态相对于使球面状图像VSS4旋转前的状态下的球面状图像VSS4的旋转角度。旋转角度RA可以是将X轴、Y轴或Z轴设为旋转轴的旋转角度，也可以是将X轴、Y轴以及Z轴作为旋转轴而合成的旋转角度。
图像调整系统401执行与图6所示的步骤S208以及S209同样的处理。图像处理部411将球面状图像VSS4的变化量设为校正值CV4而经由通信部413以及网络输出到服务器406。校正值CV4包含旋转角度RA的信息。服务器406可以经由网络以及通信部413从图像调整装置410获取校正值CV4。
在图11中，在步骤S401中，服务器406获取旋转角度RA。在步骤S402中，服务器406判定旋转角度RA是否是预定角度以上。即，服务器406通过使用者US使球面状图像VSS4旋转，判定是否将在图像显示装置404中显示的拍摄图像IM4水平调整到预定角度以上(例如10度以上)。
在判定为旋转角度RA是预定角度以上(是)的情况下，在步骤S403中，服务器406判断为图像调整装置410或服务器406对于相机402拍摄的拍摄图像IM4的水平调整失败，将使用者US水平调整前的拍摄图像IM4b与水平调整后的拍摄图像IM4a建立关联保存。在判定为旋转角度RA不是预定角度以上(否)的情况下，图像调整系统401将处理返回到步骤S401。
在步骤S404中，服务器406判定所保存的拍摄图像IM4b以及IM4a的数量是否是预定值以上。在判定为所保存的拍摄图像IM4b以及IM4a的数量是预定值以上(是)的情况下，在步骤S405中，服务器406对所保存的多个拍摄图像IM4b以及IM4a执行深度学习等学习处理。服务器406例如将拍摄图像IM4b作为输入数据、将拍摄图像IM4a作为正解数据来执行学习处理。在判定为所保存的拍摄图像IM4b以及IM4a的数量不是预定值以上(否)的情况下，图像调整系统401将处理返回到步骤S401。
在步骤S406中，服务器406基于步骤S405中的学习结果对相机402所拍摄的拍摄图像IM4进行水平调整。此外，在步骤S406中，服务器406将学习结果输出到图像调整装置410，图像处理部411可以基于学习结果对相机402所拍摄的拍摄图像IM4进行水平调整。图像处理部411可以执行步骤S401～S406的处理。
通过服务器406或图像处理部411重复执行步骤S401～S406的处理，能够提高在图像显示装置404中显示的拍摄图像IM4的水平的调整精度。
在第四实施方式的图像调整系统401、图像调整装置410以及图像调整方法中，使图像显示装置404显示球面状图像VSS4。根据第四实施方式的图像调整系统401、图像调整装置410以及图像调整方法，在弄错拍摄图像IM4的水平方向而进行检测、或者水平或顶部ZE的指定发生偏差的情况下，使用者US通过操作控制器405而使球面状图像VSS4旋转，从而能够进行调整，使得在图像显示装置404中显示的拍摄图像IM4变为水平。
在第四实施方式的图像调整系统401、图像调整装置410以及图像调整方法中，校正值CV4与使用者US或图像显示装置404对应地被保存在服务器406或者其外部存储器。图像调整装置410能够基于校正值CV4对相机402拍摄的拍摄图像IM4进行图像调整，并在图像显示装置404中进行显示。
因此，根据第四实施方式的图像调整系统401、图像调整装置410以及图像调整方法，在弄错拍摄图像IM4的水平方向而进行了检测、或者水平或顶部的指定发生偏差的情况下，使用者US能够简单地校正拍摄图像IM4的水平或顶部。
在第四实施方式的图像调整系统401、图像调整装置410以及图像调整方法中，在球面状图像VSS4的旋转角度RA是预定角度以上的情况下，判断为水平调整失败，基于判断结果对在水平调整上失败了的拍摄图像IM4b以及IM4a执行学习处理。根据第四实施方式的图像调整系统401、图像调整装置410以及图像调整方法，通过执行学习处理，能够提高在图像显示装置404中显示的拍摄图像IM4的水平的调整精度。
本发明并不限定于上述的实施方式，在不脱离本发明的主旨的范围内能够进行各种改变。
例如，由CG生成的虚拟图像VSS可以是椭圆体的表面(椭圆面)，并且只要是使用者US的手触到的范围，则可以是任意的封闭的面(封闭面)。即，使用者US只要获得从内侧与该封闭面接触的感觉、能够进行拍摄图像IM的水平调整即可。由于使用者US使虚拟图像VSS旋转动作，因此优选虚拟图像VSS是接近球面或者椭圆面等球面的球面状的形状。
本申请将在2019年2月15日申请的日本特愿2019-025335号、特愿2019-025340号、特愿2019-025342号以及特愿2019-025346号的全部内容引用到这里。
产业上的可用性
根据本实施方式的图像调整系统、图像调整装置以及图像调整方法，在弄错图像的水平方向而进行检测、或者水平或顶部的指定发生偏差的情况下，能够简便地校正图像的水平或顶部。
符号说明
101、201、301、401图像调整系统
102、202、302、402相机
104、204、304、404图像显示装置
105、205、305、405控制器
110、210、310、410图像调整装置
111、211、311、411图像处理部
112、212、312、412图像生成部
206、306、406服务器
IM1、IM2、IM3、IM4拍摄图像
NN1、NN2、NN3、NN4指示信息
PL1地面(第一面)
PL2壁面(第二面)
RA旋转角度
US使用者
VSS1、VSS2、VSS3、VSS4球面状图像(虚拟图像)

Claims (19)

1.一种图像调整系统，包括：
相机；
图像调整装置，调整所述相机拍摄的拍摄图像；
图像显示装置，显示由所述图像调整装置调整后的所述拍摄图像；以及
控制器，向所述图像调整装置输出指示信息，
所述图像调整装置具有：
图像生成部，生成球面状图像；以及
图像处理部，基于所述指示信息从所述图像生成部获取所述球面状图像并显示在所述图像显示装置上，基于所述指示信息使所述球面状图像旋转，并与所述球面状图像的旋转对应地调整显示在所述图像显示装置上的所述拍摄图像。
2.如权利要求1所述的图像调整系统，其中，
所述相机是拍摄360度的范围的全方位相机，
所述图像显示装置是佩戴于使用者的头部的头戴显示装置，
所述控制器是佩戴于所述使用者的手上的球形控制器，
当在所述图像显示装置被佩戴于所述使用者的头部的状态下，所述使用者观看显示在所述图像显示装置上的所述球面状图像时，所述球面状图像是被设定为配置在所述使用者和所述图像显示装置的周围，并且显示在所述使用者的手或手指能到达至所述球面状图像的范围内的虚拟图像。
3.如权利要求2所述的图像调整系统，其中，
在所述控制器被佩戴于所述使用者的手上的状态下，所述使用者向任意的方向移动了手或手指的情况下，所述图像处理部基于所述指示信息使所述球面状图像与所述使用者的手或手指的移动对应地旋转，并与所述球面状图像的旋转对应地调整显示在所述图像显示装置上的所述拍摄图像。
4.如权利要求3所述的图像调整系统，其中，
所述图像处理部获取所述球面状图像旋转前和旋转后的变化量，并基于所述变化量调整所述拍摄图像。
5.如权利要求1至4中任一项所述的图像调整系统，还包括：
服务器，确定所述图像显示装置或所述图像显示装置的使用者。
6.如权利要求4所述的图像调整系统，还包括：
服务器，确定所述图像显示装置或所述图像显示装置的使用者，
所述服务器将所述变化量与由所述服务器确定的所述图像显示装置或所述使用者关联保存。
7.如权利要求5或6所述的图像调整系统，其中，
所述服务器判定所述球面状图像旋转前和旋转后的所述球面状图像的旋转角度是否是预定角度以上，在判定为所述旋转角度是预定角度以上的情况下，将由所述图像处理部调整前的拍摄图像与调整后的拍摄图像关联保存。
8.如权利要求7所述的图像调整系统，其中，
所述服务器判定所保存的调整前后的拍摄图像的数量是否是预定值以上，在判定为所述调整前后的拍摄图像的数量是预定值以上的情况下，对所述调整前后的拍摄图像执行学习处理，并将学习结果输出至所述图像调整装置，
所述图像处理部基于所述学习结果调整显示在所述图像显示装置上的所述拍摄图像。
9.如权利要求1至8中任一项所述的图像调整系统，其中，
所述图像处理部与所述球面状图像的旋转对应地调整显示在所述图像显示装置上的所述拍摄图像的水平。
10.如权利要求1至4中任一项所述的图像调整系统，其中，
所述图像处理部调整所述拍摄图像的水平，检测所述拍摄图像中的作为水平面的第一面以外的第二面，并在根据所述指示信息选择了所述第二面的情况下，调整所述拍摄图像，以使所述第二面成为水平面。
11.如权利要求6所述的图像调整系统，其中，
所述图像处理部调整所述拍摄图像的水平，检测所述拍摄图像中的作为水平面的第一面以外的第二面，并在根据所述指示信息选择了所述第二面的情况下，调整所述拍摄图像，以使所述第二面成为水平面。
12.一种图像调整装置，包括：
图像生成部，生成球面状图像；以及
图像处理部，基于从控制器获取的指示信息从所述图像生成部获取所述球面状图像并显示在图像显示装置上，基于所述指示信息使所述球面状图像旋转，并与所述球面状图像的旋转对应地调整拍摄图像，所述拍摄图像是由相机拍摄并显示在所述图像显示装置上的图像。
13.如权利要求12所述的图像调整装置，其中，
所述图像显示装置由服务器确定。
14.如权利要求12或13所述的图像调整装置，其中，
在所述球面状图像旋转前和旋转后的所述球面状图像的旋转角度是预定角度以上的情况下，由所述图像处理部调整前的拍摄图像与调整后的拍摄图像关联保存在服务器中。
15.如权利要求12所述的图像调整装置，其中，
所述图像处理部与球面状图像的旋转对应地调整所述拍摄图像的水平，检测所述拍摄图像中的作为水平面的第一面以外的第二面，并在根据所述指示信息选择了所述第二面的情况下，调整所述拍摄图像，以使所述第二面成为水平面。
16.一种图像调整方法，包括：
图像处理部从控制器获取指示信息，
所述图像处理部基于所述指示信息从图像生成部获取球面状图像，
图像显示装置显示所述球面状图像，
所述图像处理部基于所述指示信息使所述球面状图像旋转，
所述图像处理部与所述球面状图像的旋转对应地调整拍摄图像，所述拍摄图像是由相机拍摄并显示在所述图像显示装置上的图像。
17.如权利要求16所述的图像调整方法，其中，
服务器确定所述图像显示装置，
由所述服务器确定的所述图像显示装置显示从所述图像生成部获取的所述球面状图像。
18.如权利要求16所述的图像调整方法，其中，
服务器判定所述球面状图像旋转前和旋转后的所述球面状图像的旋转角度是否是预定角度以上，
在判定为所述旋转角度是预定角度以上的情况下，所述服务器将由所述图像处理部调整前的拍摄图像与调整后的拍摄图像关联保存。
19.如权利要求16所述的图像调整方法，其中，
与图像处理部对球面图像的旋转对应地调整拍摄图像的水平，所述拍摄图像是由相机拍摄并显示在所述图像显示装置上的图像，
所述图像处理部检测所述拍摄图像中的作为水平面的第一面以外的第二面，
在根据所述指示信息选择了所述第二面的情况下，所述图像处理部调整所述拍摄图像，以使所述第二面成为水平面。
CN202080012842.2A 2019-02-15 2020-02-07 图像调整系统、图像调整装置以及图像调整方法 Pending CN113412510A (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP2019-025346 2019-02-15
JP2019025346A JP2020136799A (ja) 2019-02-15 2019-02-15 画像調整システム、画像調整装置、及び画像調整方法
JP2019025335A JP7088064B2 (ja) 2019-02-15 2019-02-15 画像調整システム、画像調整装置、及び画像調整方法
JP2019025342A JP2020136798A (ja) 2019-02-15 2019-02-15 画像調整システム、画像調整装置、及び画像調整方法
JP2019-025342 2019-02-15
JP2019-025335 2019-02-15
JP2019025340A JP2020134616A (ja) 2019-02-15 2019-02-15 画像調整システム、画像調整装置、及び画像調整方法
JP2019-025340 2019-02-15
PCT/JP2020/004699 WO2020166491A1 (ja) 2019-02-15 2020-02-07 画像調整システム、画像調整装置、及び画像調整方法

Publications (1)

Publication Number Publication Date
CN113412510A true CN113412510A (zh) 2021-09-17

Family

ID=72045430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080012842.2A Pending CN113412510A (zh) 2019-02-15 2020-02-07 图像调整系统、图像调整装置以及图像调整方法

Country Status (4)

Country Link
US (1) US11936986B2 (zh)
EP (1) EP3926618A4 (zh)
CN (1) CN113412510A (zh)
WO (1) WO2020166491A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11622100B2 (en) * 2021-02-17 2023-04-04 flexxCOACH VR 360-degree virtual-reality system for dynamic events

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092117A (ja) * 2000-09-13 2002-03-29 Matsushita Electric Ind Co Ltd リユースシステム、媒体及び情報集合体
JP2007116538A (ja) * 2005-10-21 2007-05-10 Canon Inc 画像表示プログラム、画像表示装置および画像表示方法
US20100295754A1 (en) * 2009-05-19 2010-11-25 Honeywell International Inc. Systems, apparatus and fast methods for aligning images to external markers in near-to-eye display systems
JP2012203128A (ja) * 2011-03-24 2012-10-22 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2014116818A (ja) * 2012-12-11 2014-06-26 Jvc Kenwood Corp 全天周立体映像表示装置、全天周立体映像表示方法、映像データ補正プログラム
CN103984097A (zh) * 2013-02-12 2014-08-13 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法以及图像显示系统
JP2015087523A (ja) * 2013-10-30 2015-05-07 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
US20160035140A1 (en) * 2014-07-29 2016-02-04 Sony Computer Entertainment Europe Limited Image processing
CN106249412A (zh) * 2015-06-15 2016-12-21 三星电子株式会社 头戴式显示器装置
CN106484356A (zh) * 2016-11-01 2017-03-08 北京小米移动软件有限公司 调节图像亮度的方法及装置
WO2017208494A1 (ja) * 2016-05-31 2017-12-07 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両表示制御方法及びプログラム
CN107507602A (zh) * 2017-09-22 2017-12-22 深圳天珑无线科技有限公司 屏幕亮度自动调节方法、终端及存储介质
CN107578753A (zh) * 2017-09-22 2018-01-12 惠州Tcl移动通信有限公司 移动终端及显示屏亮度调节处理方法、及存储介质
US20180122042A1 (en) * 2016-10-31 2018-05-03 Adobe Systems Incorporated Utilizing an inertial measurement device to adjust orientation of panorama digital images
US20180184077A1 (en) * 2016-12-28 2018-06-28 Canon Kabushiki Kaisha Image processing apparatus, method, and storage medium
WO2018225804A1 (ja) * 2017-06-08 2018-12-13 ナーブ株式会社 画像表示装置、画像表示方法、及び画像表示プログラム
US20190295285A1 (en) * 2015-09-07 2019-09-26 Sony Interactive Entertainment Inc. Information processing apparatus and image generating method

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09114543A (ja) * 1995-10-02 1997-05-02 Xybernaut Corp ハンドフリーコンピュータ装置
JP4355535B2 (ja) 2003-08-07 2009-11-04 株式会社岩根研究所 ３６０度画像変換処理装置
JP4420730B2 (ja) * 2004-05-10 2010-02-24 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及び電子機器
US20070206030A1 (en) * 2006-03-06 2007-09-06 The Protomold Company, Inc. Graphical user interface for three-dimensional manipulation of a part
US20090153477A1 (en) * 2007-12-12 2009-06-18 Saenz Valentin L Computer mouse glove
JP2012048597A (ja) 2010-08-30 2012-03-08 Univ Of Tokyo 複合現実感表示システム、画像提供画像提供サーバ、表示装置及び表示プログラム
JP2013016020A (ja) * 2011-07-04 2013-01-24 Nec Corp 作業支援システム、装置、方法及びプログラム
JP6182263B2 (ja) * 2013-06-18 2017-08-16 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． デバイスリーダ及びデバイスリーダのための画像を生成する手段
WO2015192117A1 (en) 2014-06-14 2015-12-17 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CA2963998C (en) 2014-09-30 2018-01-16 Interscope, Inc. Endoscope including a torque generation component or torque delivery component disposed within an insertable portion of the endoscope and a surgical cutting assembly insertable within the endoscope
CN107307942B (zh) 2017-07-28 2020-12-18 陈建辉 吸水芯体的制备系统
JP6647601B2 (ja) 2018-09-05 2020-02-14 サミー株式会社 遊技機

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092117A (ja) * 2000-09-13 2002-03-29 Matsushita Electric Ind Co Ltd リユースシステム、媒体及び情報集合体
JP2007116538A (ja) * 2005-10-21 2007-05-10 Canon Inc 画像表示プログラム、画像表示装置および画像表示方法
US20100295754A1 (en) * 2009-05-19 2010-11-25 Honeywell International Inc. Systems, apparatus and fast methods for aligning images to external markers in near-to-eye display systems
JP2012203128A (ja) * 2011-03-24 2012-10-22 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2014116818A (ja) * 2012-12-11 2014-06-26 Jvc Kenwood Corp 全天周立体映像表示装置、全天周立体映像表示方法、映像データ補正プログラム
CN103984097A (zh) * 2013-02-12 2014-08-13 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法以及图像显示系统
JP2015087523A (ja) * 2013-10-30 2015-05-07 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
US20160035140A1 (en) * 2014-07-29 2016-02-04 Sony Computer Entertainment Europe Limited Image processing
CN106249412A (zh) * 2015-06-15 2016-12-21 三星电子株式会社 头戴式显示器装置
US20190295285A1 (en) * 2015-09-07 2019-09-26 Sony Interactive Entertainment Inc. Information processing apparatus and image generating method
WO2017208494A1 (ja) * 2016-05-31 2017-12-07 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両表示制御方法及びプログラム
US20180122042A1 (en) * 2016-10-31 2018-05-03 Adobe Systems Incorporated Utilizing an inertial measurement device to adjust orientation of panorama digital images
CN106484356A (zh) * 2016-11-01 2017-03-08 北京小米移动软件有限公司 调节图像亮度的方法及装置
US20180184077A1 (en) * 2016-12-28 2018-06-28 Canon Kabushiki Kaisha Image processing apparatus, method, and storage medium
WO2018225804A1 (ja) * 2017-06-08 2018-12-13 ナーブ株式会社 画像表示装置、画像表示方法、及び画像表示プログラム
CN107507602A (zh) * 2017-09-22 2017-12-22 深圳天珑无线科技有限公司 屏幕亮度自动调节方法、终端及存储介质
CN107578753A (zh) * 2017-09-22 2018-01-12 惠州Tcl移动通信有限公司 移动终端及显示屏亮度调节处理方法、及存储介质

Also Published As

Publication number Publication date
EP3926618A1 (en) 2021-12-22
US11936986B2 (en) 2024-03-19
WO2020166491A1 (ja) 2020-08-20
EP3926618A4 (en) 2022-04-13
US20210329168A1 (en) 2021-10-21

Similar Documents

Publication Publication Date Title
JP7090410B2 (ja) 拡張現実のシーンを再生する際の自動ズームのための方法、装置及びシステム
CN116777994A (zh) 估计3d空间中的姿态
JP2008210276A (ja) 三次元モデル情報の生成方法及び装置
JP6609640B2 (ja) 電子デバイス上における環境マッピング用のフィーチャ・データの管理
JP2006072903A (ja) 画像合成方法及び装置
JP2003281504A (ja) 撮像部位置姿勢推定装置及びその制御方法並びに複合現実感提示システム
US20210329171A1 (en) Image adjustment system, image adjustment device, and image adjustment
JP2013050883A (ja) 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
JP5565331B2 (ja) 表示システム、表示処理装置、表示方法、および表示プログラム
JP7273325B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN113412510A (zh) 图像调整系统、图像调整装置以及图像调整方法
CN114868102A (zh) 信息处理装置、信息处理方法和计算机可读记录介质
JP7088064B2 (ja) 画像調整システム、画像調整装置、及び画像調整方法
US11985298B2 (en) Image adjustment system, image adjustor, and image adjustment method
JP7088068B2 (ja) 画像調整システム、画像調整装置、及び画像調整方法
US11703948B2 (en) Image adjustment system, image adjustment device, and image adjustment method
CN114201028B (zh) 扩增实境系统与其锚定显示虚拟对象的方法
JP2020136798A (ja) 画像調整システム、画像調整装置、及び画像調整方法
JP2020136799A (ja) 画像調整システム、画像調整装置、及び画像調整方法
JP2020134632A (ja) 画像調整システム、画像調整装置、及び画像調整方法
JP2020134616A (ja) 画像調整システム、画像調整装置、及び画像調整方法
KR101473234B1 (ko) 신체 트래킹에 기반한 영상 디스플레이 방법 및 시스템
JP7167760B2 (ja) 画像調整システム
JP7247636B2 (ja) 画像調整システム、画像調整装置、及び画像調整方法
JP7029087B2 (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination