CN109155080A - 用于处理图像的方法、装置和记录介质 - Google Patents

用于处理图像的方法、装置和记录介质 Download PDF

Info

Publication number
CN109155080A
CN109155080A CN201780026356.4A CN201780026356A CN109155080A CN 109155080 A CN109155080 A CN 109155080A CN 201780026356 A CN201780026356 A CN 201780026356A CN 109155080 A CN109155080 A CN 109155080A
Authority
CN
China
Prior art keywords
image
images
information
terminal
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780026356.4A
Other languages
English (en)
Inventor
郑载润
金度完
金容圭
李建熙
李在庆
李振凤
崔大雄
崔贤秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2017/004650 external-priority patent/WO2017191978A1/en
Publication of CN109155080A publication Critical patent/CN109155080A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种由设备处理图像的方法获取包括目标空间中的对象的捕获图像的一个或更多个图像，生成包括关于所述一个或更多个图像与用于生成所述目标空间的虚拟现实(VR)图像的三维(3D)网格模型之间的映射的信息的元数据，以及将所述一个或更多个图像和所述元数据发送到终端。

Description

用于处理图像的方法、装置和记录介质
技术领域
与示例性实施例一致的方法和装置涉及用于处理图像的方法和装置，以及其上记录有用于执行处理图像的方法的程序的记录介质。
背景技术
虚拟现实(VR)可以指示用户与装置之间的界面，这涉及由计算机渲染(render)特定环境或情境并且使得用户能够好像在真实环境或情境中进行交互。能够向用户提供虚拟现实的设备提供用户界面，该用户界面向用户展示用户未直接体验的情境或环境，并且允许用户操纵该情境或环境。
随着近来对虚拟现实的关注的增加，已经积极地开发了用于实现VR的技术。特别地，已经积极地进行了对用于处理包括实现VR所需的虚拟空间的图像的技术的研究。
发明内容
技术问题
本公开提供了一种用于处理图像的方法、装置和记录介质，以防止虚拟现实(VR)图像的质量由于在渲染特定空间的VR图像时可能发生的诸如变形的失真而劣化。
问题的解决方案
一种由设备处理图像的方法获取包括目标空间中的对象的捕获图像的一个或更多个图像，生成包括关于所述一个或更多个图像与用于生成所述目标空间的虚拟现实(VR)图像的三维(3D)网格模型之间的映射的信息的元数据，以及将所述一个或更多个图像和所述元数据发送到终端。
附图说明
根据以下结合附图对示例性实施例的描述，上述和/或其他方面将变得显而易见并且更容易理解，在附图中：
图1是用于描述根据示例性实施例的由设备和终端处理图像的方法的概念图；
图2是根据示例性实施例的由设备执行的处理图像的方法的流程图；
图3A、图3B、图3C和图3D是用于描述根据示例性实施例的用于获取目标空间的一个或更多个图像的拍摄设备的布置和形式的视图；
图4是用于描述根据示例性实施例的从设备发送到终端的一个或更多个图像和元数据的视图；
图5是用于描述从设备发送到终端的一个或更多个图像和元数据的视图；
图6A、图6B和图6C是用于描述根据另一示例性实施例的从设备发送到终端的一个或更多个图像和元数据的视图；
图7A、图7B和图7C是根据示例性实施例的由设备执行的将一个或更多个图像发送到终端的方法的流程图；
图8是例示了根据另一示例性实施例的由设备执行的将一个或更多个图像发送到终端的方法的流程图；
图9是例示了根据另一示例性实施例的由设备执行的将一个或更多个图像发送到终端的方法的流程图；
图10A、图10B和图10C是用于描述根据另一示例性实施例的由设备执行的将一个或更多个图像发送到终端的方法的视图；
图11是例示了根据示例性实施例的由设备执行的将一个或更多个图像的一部分发送到终端的方法的流程图；
图12是根据第一示例性实施例的由终端执行的处理图像的方法的流程图；
图13是根据第二示例性实施例的由终端执行的处理图像的方法的流程图；
图14是根据第三示例性实施例的由终端执行的处理图像的方法的流程图；
图15是根据第四示例性实施例的由终端执行的处理图像的方法的流程图；
图16是根据第五示例性实施例的由终端执行的处理图像的方法的流程图；
图17是根据示例性实施例的设备的框图；以及
图18和图19是根据示例性实施例的终端的框图。
用于实施本发明的最佳模式
本公开提供了一种用于处理图像的方法、装置和记录介质，以防止虚拟现实(VR)图像的质量由于在渲染特定空间的VR图像时可能发生的诸如变形的失真而劣化。
附加方面将在下面的描述中部分地阐述，并且从描述中部分地显得显而易见，或者可以通过实施本发明的示例性实施例来学习。
根据示例性实施例的一方面，由设备执行的处理图像的方法包括：获取包括目标空间中的对象的捕获图像的一个或更多个图像、生成包括关于一个或更多个图像与用于生成目标空间的虚拟现实(VR)图像的三维(3D)网格模型之间的映射的信息的元数据以及将一个或更多个图像和元数据发送到终端。
关于映射的信息可以包括捕获一个或更多个图像的角度、捕获一个或更多个图像中的至少一个的捕获设备的位置、3D网格模型的类型和3D网格模型的分辨率中的至少一个。
一个或更多个图像可以是多个图像，并且元数据可以包括用于多个图像的质量校正信息和用于包括在多个图像中的两个图像之间重叠的对象的区域的权重信息中的至少一个。
该方法还可以包括：获取关于一个或更多个图像的噪声的信息；以及基于获取的关于噪声的信息，通过校正包括在一个或更多个图像中的多个像素的像素值来校正一个或更多个图像，其中，一个或更多个图像的发送可以包括将经校正的一个或更多个图像与元数据一起发送到终端。
一个或更多个图像可以是多个图像，并且该方法还可以包括：从包括在多个图像中的对象中，确定在多个图像中的两个图像之间重叠的重叠对象；通过根据预设值将与包括两个图像中的重叠对象的区域相对应的像素值混合，转换包括重叠对象的图像；以及使用归一化的相机姿势对经转换的图像进行投影，其中，一个或更多个图像的发送可以包括将投影的经转换的图像与元数据一起发送到终端。
根据示例性实施例的另一方面，由终端执行的处理图像的方法包括：从设备获取包括目标空间中的对象的捕获图像的一个或更多个图像以及关于一个或更多个图像的元数据；从元数据中获取关于一个或更多个图像与用于生成目标空间的VR图像的3D网格模型之间的映射的信息；通过基于关于该映射的信息渲染一个或更多个图像来生成目标空间的VR图像；以及输出生成的VR图像。
关于映射的信息可以包括捕获一个或更多个图像的角度、捕获一个或更多个图像中的至少一个的捕获设备的位置、3D网格模型的类型和3D网格模型的分辨率中的至少一个。
一个或更多个图像可以是多个图像，并且元数据可以包括用于多个图像的质量校正信息和用于包括重叠对象的区域的权重信息中的至少一个，该重叠对象在多个图像中的两个图像之间重叠。
该方法还可以包括：基于质量校正信息，通过校正包括在多个图像中的多个像素的像素值来校正多个图像，其中，VR图像的生成可以包括通过基于关于映射的信息渲染经校正的多个图像来生成目标空间的VR图像。
该方法还可以包括：基于元数据中包括的权重信息，通过根据预设权重值将与包括多个图像中的重叠对象的区域相对应的像素值混合来转换包括重叠对象的图像；以及使用归一化的相机姿势对经转换的图像进行投影，其中，VR图像的生成可以包括通过基于关于映射的信息渲染投影的经转换的图像来生成目标空间的VR图像。
根据示例性实施例的又一方面，一种用于处理图像的设备包括：图像获取器，其被配置为获取包括目标空间中的对象的捕获图像的一个或更多个图像；控制器，其被配置为生成包括关于一个或更多个图像与用于生成目标空间的VR图像的3D网格模型之间的映射的信息的元数据；以及通信接口，其被配置为将一个或更多个图像和元数据发送到终端。
关于映射的信息可以包括捕获一个或更多个图像的角度、捕获一个或更多个图像的捕获设备的位置、3D网格模型的类型和3D网格模型的分辨率中的至少一个。
一个或更多个图像可以是多个图像，并且元数据可以包括用于一个或更多个图像的质量校正信息和用于包括在多个图像中的两个图像之间重叠的对象的区域的权重信息中的至少一个。
控制器还可以被配置为获取关于一个或更多个图像的噪声的信息，以及基于所获取的关于噪声的信息，通过校正包括在一个或更多个图像中的多个像素的像素值来校正一个或更多个图像，并且通信接口还可以被配置为将经校正的一个或更多个图像与元数据一起发送到终端。
一个或更多个图像可以是多个图像，并且控制器还可以被配置为从包括在多个图像中的对象中，确定在多个图像中的两个图像之间重叠的重叠对象，以通过根据预设值将与包括两个图像中的重叠对象的区域相对应的像素值混合来转换包括重叠对象的图像，以及使用归一化的相机姿势对经转换的图像进行投影，并且通信接口还可以被配置为将投影的经转换的图像与元数据一起发送到终端。
根据示例性实施例的另一方面，一种用于处理图像的终端包括：通信接口，其被配置为从设备获取包括目标空间中包括的对象的捕获图像的一个或更多个图像和关于一个或更多个图像的元数据；控制器，其被配置为从元数据中获取关于一个或更多个图像与用于生成目标空间的虚拟现实(VR)图像的3D网格模型之间的映射的信息，并且通过基于关于映射的信息渲染一个或更多个图像来生成目标空间的VR图像；以及输出接口，其被配置为输出生成的VR图像。
关于映射的信息可以包括捕获一个或更多个图像的角度、捕获一个或更多个图像中的至少一个的捕获设备的位置、3D网格模型的类型和3D网格模型的分辨率中的至少一个。
一个或更多个图像可以是多个图像，并且元数据可以包括用于多个图像的质量校正信息和用于包括在多个图像中的两个图像之间重叠的重叠对象的区域的权重信息中的至少一个。
控制器还可以被配置为通过基于元数据中包括的质量校正信息校正包括在一个或更多个图像中的多个像素的像素值来校正多个图像，并且通过基于关于映射的信息渲染经校正的多个图像来生成目标空间的VR图像。
控制器还可以被配置为基于包括在元数据中的权重信息，通过根据预设权重值将与包括两个图像中的重叠对象的区域相对应的像素值混合来转换包括重叠对象的图像，以使用归一化的相机姿势对经转换的图像进行投影，并且通过基于关于映射的信息渲染投影的经转换的图像来生成目标空间的VR图像。
根据示例性实施例的又一方面，非暂时性计算机可读记录介质可以在其上记录有用于执行本文所述的方法的程序。
根据示例性实施例的另一方面，一种处理图像的方法包括：获取目标空间的一个或更多个捕获的图像；由设备生成与一个或更多个捕获图像和3D网格之间的映射相对应的映射信息；生成包括映射信息的元数据；将一个或更多个捕获的图像和元数据发送到终端；以及基于映射信息，通过终端渲染一个或更多个捕获的图像来生成目标空间的虚拟现实图像。
该方法还可以包括：由设备生成包括质量校正信息和权重值信息中的至少一个的图像校正信息；以及基于图像校正信息处理一个或更多个捕获的图像，其中，发送还包括发送经处理的一个或更多个捕获的图像，并且其中，虚拟现实图像的生成还包括：基于映射信息，通过终端渲染经处理的一个或更多个捕获的图像。
该方法还可以包括通过设备生成包括质量校正信息和权重值信息中的至少一个的图像校正信息，其中，元数据还包括图像校正信息，并且其中，虚拟现实图像的生成还包括：基于映射信息和图像校正信息，通过终端渲染一个或更多个捕获的图像。
本发明的模式
现在将详细参考示例性实施例，其示例在附图中示出，其中，相同的附图标记始终表示相同的元件。在这方面，本示例性实施例可以具有不同的形式，并且不应当被解释为限于这里阐述的描述。因此，下面仅通过参考附图来描述示例性实施例以解释各方面。如本文所使用的，术语“和/或”包括至少一个相关所列项目中的任一个和所有组合。当诸如“至少一个”的表达在元素列表之前时，其修饰整个元素列表而不修饰列表的各个元素。
将简要描述本文使用的术语，并且将详细描述本公开。
尽管在考虑本公开中的功能的情况下根据目前普遍使用的一般术语来选择本公开中使用的术语，但是这些术语可以根据本领域普通技术人员的意图、司法先例或新技术的引入而变化。另外，在具体情况下，申请人可以自愿地选择术语，并且在这种情况下，在本公开的相应描述部分中公开术语的含义。因此，本公开中使用的术语不应当通过术语的简单名称来定义，而是通过本公开中的术语的含义和内容来定义。
贯穿本公开的整个说明书，如果假设某个部分包括某个组件，则术语“包括”意味着相应的组件还可以包括其他组件，除非写出与相应组件相对的具体含义。在示例性实施例中使用的术语-诸如“单元”或“模块”表示用于处理至少一种功能或操作的单元，并且可以用硬件、软件或硬件和软件的组合来实现。
在下文中，将参考附图详细描述本公开的示例性实施例，以允许本领域普通技术人员容易地实现示例性实施例。然而，本公开可以以各种形式实现，并且不限于本文描述的示例性实施例。为了清楚地描述本公开，从附图中省略了与描述无关的部分，并且在整个说明书中，相同的附图标记表示相同的部分。
图1是用于描述根据示例性实施例的由设备100和终端200处理一个或更多个图像10的方法的概念图。
根据示例性实施例的设备100获取目标空间中包括的对象的一个或更多个图像10。在本文中，目标空间是特定环境的地方或特定情境发生的地方，并且可以是利用虚拟现实(VR)图像实现的空间。一个或更多个图像可以是真实图像或图形图像。然而，这仅是示例，并且一个或更多个图像可以是真实图像和图形图像的组合。
包括在目标空间中的对象可以包括目标空间中包括的区域以及位于目标空间中的对象和人中的至少一个。例如，如果目标空间是展览馆，则展览馆的墙壁和至少一个展览品可以包括在展览馆中包括的对象中。作为另一示例，如果目标空间是体育场，则位于体育场内的设施和人的图像可以包括在体育场中包括的对象中。
根据示例性实施例的设备100基于所获取的一个或更多个图像10生成用于生成目标空间的VR图像的元数据20。
例如，元数据20可以包括关于用于生成目标空间的VR图像的三维(3D)网格模型与一个或更多个图像10之间的映射的信息。关于映射的信息可以包括但不限于关于捕获一个或更多个图像10的角度、捕获一个或更多个图像10的捕获设备的位置以及3D网格模型的类型和分辨率中的至少一个的信息。
在另一示例中，元数据20还可以包括用于一个或更多个图像10的质量校正信息和用于表示在该一个或更多个图像之间重叠的对象的区域的权重信息中的至少一个。在本文中，质量校正信息可以包括镜头阴影校正参数、白平衡参数等。权重信息可以指示用于混合一个或更多个图像之间的重叠对象中包括的多个像素的像素值的权重值。例如，当在两个图像中的每一个中捕获到对象的至少一部分时，可以将对象描述为两个图像之间的重叠。
根据示例性实施例的设备100将一个或更多个图像10和元数据20发送到终端200。例如，当设备100从终端200接收请求目标空间的VR图像的用户输入时，设备100可以将一个或更多个图像10和元数据20发送到终端200。
根据示例性实施例的设备100将元数据(其是执行渲染所需的信息)与至少一个图像10一起发送到终端200，而不基于一个或更多个图像10直接生成VR图像，从而防止由于变形等而发生的质量劣化。
根据示例性实施例的终端200接收一个或更多个图像10和来自设备100的元数据20，一个或更多个图像10是或可以包括目标空间中包括的对象的捕获图像。
根据示例性实施例的设备200基于所接收到的一个或更多个图像10和所接收到的元数据20来生成目标空间的VR图像30。例如，终端200可以获取关于用于生成目标空间的VR图像30的3D网格模型和来自元数据20的一个或更多个图像10之间的映射的映射信息。终端200通过基于所获取的映射信息渲染一个或更多个图像10来生成VR图像30。
根据示例性实施例的终端200输出所生成的VR图像30。根据另一示例性实施例，终端200将所生成的VR图像30发送到另一外部终端。
根据示例性实施例的终端200可以以各种形式实现。例如，本文描述的终端200可以是但不限于蜂窝电话机、智能手机、膝上型计算机、平板个人计算机(PC)、电子书(e-book)终端、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航系统、智能电视机(TV)、消费电子(CE)设备(例如，具有显示面板的冰箱或空调器等)、头戴式显示器(HMD)等。
图2是根据示例性实施例的由设备100执行的处理图像的方法的流程图。
在操作S210中，设备100获取一个或更多个图像，其是或可以包括目标空间中包括的对象的捕获图像。
例如，设备100可以从外部捕获设备获取一个或更多个图像10。在另一示例中，设备100通过使用包括在设备100中的相机捕获包括在目标空间中的对象来获取一个或更多个图像10。
在操作S220中，设备100生成元数据，该元数据包括关于用于生成目标空间的VR图像的3D网格模型与一个或更多个图像10之间的映射的信息。
根据示例性实施例的设备100确定用于生成目标空间的VR图像的3D网格模型的类型或分辨率。设备100基于所确定的类型或分辨率的3D网格模型确定映射到3D网格模型上的一个或更多个图像的位置。例如，设备100基于关于捕获一个或更多个图像的角度的信息、捕获一个或更多个图像的捕获设备的位置等确定映射到3D网格模型上的一个或更多个图像的位置。
在另一示例中，由设备100生成的元数据还可以包括一个或更多个图像的质量校正信息。例如，质量校正信息可以包括镜头阴影校正参数、白平衡参数等。
在另一示例中，由设备100生成的元数据还可以包括一个或更多个图像的权重信息。权重信息可以指示用于将区域中像素的像素值进行混合的权重值，该区域包括在一个或更多个图像之间重叠的对象。
在操作S230中，设备100将一个或更多个图像和元数据发送到终端200。
根据示例性实施例的设备100对一个或更多个图像和元数据进行编码并将其发送到终端200。
根据另一示例性实施例，设备100执行校正一个或更多个图像的质量的处理、对经质量校正的一个或更多个图像和元数据进行编码并且将经编码的一个或更多个图像和元数据发送到终端200。
根据另一示例性实施例，设备100根据用于转换的预设权重值组合包括重叠对象的一个或更多个图像的区域的像素值。根据示例性实施例的设备100对经转换的一个或更多个图像和元数据进行编码并将其发送到终端200。
根据另一示例性实施例，设备100对图像和元数据进行编码，并将经编码的图像和元数据发送到终端200，该图像作为执行校正一个或更多个图像的质量的处理以及根据预设权重值转换包括重叠对象的一个或更多个图像的区域的像素值的处理的结果而生成。
根据另一示例性实施例，在执行校正一个或更多个图像的质量的处理之后，设备100可以对新图像和元数据进行编码，并将经编码的图像和元数据发送到终端200，该新图像通过使用归一化的相机姿势对经质量校正的一个或更多个图像进行新投影而获取，该元数据由现有元数据指示基于相机姿势而更新或该元数中映射的数据项基于归一化的相机姿势而更新。归一化的相机姿势可以是例如每个相机的位置与之前相同，并且对于空间的相等划分，仅角度信息是360度。
根据另一示例性实施例，在根据用于转换的预设权重值执行组合包括重叠对象的一个或更多个图像的区域的像素值的处理之后，设备100可以对新图像和元数据进行编码，并将经编码的图像和元数据发送到终端200，该新图像通过使用归一化的相机姿势对经转换的一个或更多个图像进行新投影而获取，该元数据基于现有元数据的相机姿势而更新或该元数中映射的数据项基于标准化相机姿势归一化的相机姿势而更新。归一化的相机姿势可以是例如每个相机的位置与之前相同，并且对于空间的相等分配，仅角度信息是360度。
根据另一示例性实施例，在执行校正一个或更多个图像的质量的处理和根据用于转换的预设权重值执行组合包括重叠对象的一个或更多个图像的区域的像素值的处理之后，设备100可以对新图像和元数据进行编码，并将经编码的图像和元数据发送到终端200，该新图像通过使用归一化的相机姿势对经转换的一个或更多个图像进行新投影而获取，该元数据基于现有元数据的相机姿势而更新或该元数中映射的数据项基于标准化相机姿势归一化的相机姿势而更新。归一化的相机姿势可以是例如每个相机的位置与之前相同，并且对于空间的相等分配，仅角度信息是360度。
图3A至图3D是用于描述根据示例性实施例的用于获取目标空间的一个或更多个图像的拍摄设备的示例布置和形式的视图。
根据示例性实施例的捕获设备可以独立地存在于参考图1描述的设备100的外部，或者可以作为设备100的硬件单元的一部分存在。在本文中，捕获设备可以是例如相机。根据示例性实施例，设备100可以获取关于捕获设备的布置和捕获角度的捕获参数以及一个或更多个图像。设备100基于所获取的捕获参数确定将一个或更多个图像的像素值映射到3D网格模型上的位置。因此，设备100生成用于生成VR图像所需的映射信息，而不限于捕获设备的布置和捕获角度。
参考图3A，示出了示例性实施例，其中，两个捕获设备分别捕获包括在目标空间中的对象的图像。例如，第一捕获设备311可以从相对于预设参考点的从0度跨越到200度的视角捕获目标空间中包括的对象，并且第二捕获设备313可以从相对于预设参考点的从180度跨越到380度(相当于20度)的视角捕获目标空间中包括的对象。
参考图3B，示出了示例性实施例，其中，N个捕获设备321、323、325和327分别捕获包括在目标空间中的对象的图像。例如，N个捕获设备321、323、325和327分别捕获包括在目标空间的N个区域中的对象的图像。在本文中，N个捕获设备321、323、325和327分别捕获图像，使得一些对象彼此重叠。分别由N个捕获设备321、323、325和327捕获的图像可以生成为能够通过拼接来表达目标空间的360度区域的VR图像。
参考图3C，示出了示例性实施例，其中，多个第一捕获设备331、第二捕获设备333、第三捕获设备335、第四捕获设备337和第五捕获设备339的布置可以在能够获取存在于目标空间中的所有对象的图像的范围内改变。例如，通过分别组合由第一捕获设备331、第二捕获设备333、第三捕获设备335、第四捕获设备337和第五捕获设备339捕获的图像，可以获取目标空间的360度区域中存在的所有对象的图像。
参考图3D，示出了示例性实施例，其中，捕获设备341、343、345和347可以是矩形相机或能够捕获直线图像的相机。根据示例性实施例的捕获设备可以在不使获取的图像的结构失真的范围内具有各种形式，并且所获取的图像可以具有各种角度，诸如广角、窄角等。
根据示例性实施例的设备100基于关于通过捕获目标空间的对象获取的图像的捕获角度、捕获设备的位置等信息来确定用于生成VR图像的3D网格模型与一个或更多个图像之间的映射。
图4是用于描述根据示例性实施例的从设备100发送到终端200的一个或更多个图像和元数据的视图。
根据示例性实施例的设备100获取一个或更多个图像410，其是或可以包括目标空间中包括的对象的捕获图像。根据示例性实施例的设备100基于所获取的一个或更多个图像410生成可以用于生成目标空间的VR图像的元数据。
根据示例性实施例，由设备100生成的元数据可以包括质量校正信息420、权重信息430、3D网格模型信息440和映射信息450。
例如，设备100可以确定包括镜头阴影校正参数、白平衡参数等的质量校正信息420，用于一个或更多个图像410的噪声消除和质量改进。
根据示例性实施例，在拼接一个或更多个图像410的情况下，设备100识别重叠对象。例如，设备100可以识别在第一图像和第二图像之间重叠的对象，第一图像是目标空间的第一区域的捕获图像，第二图像是目标空间的第二区域的捕获图像。设备100基于第一图像的像素值的权重值w1和第二图像的像素值的权重值w2来确定第一图像和第二图像之间的重叠对象的像素值。权重信息可以以混合掩码的形式存在。
根据示例性实施例，设备100确定3D网格模型信息440，其是将一个或更多个图像410渲染成目标空间的360度VR图像的基础。例如，3D网格模型信息440可以包括关于3D网格模型的形式和分辨率等的信息。
根据示例性实施例，设备100确定指示一个或更多个图像410与3D网格模型之间的映射的映射信息450。映射信息450可以包括关于包括在一个或更多个图像410中的像素被映射到3D网格模型上的位置的信息。
根据示例性实施例，设备100将包括质量校正信息420、权重信息430、3D网格模型信息440和映射信息450的元数据发送到终端200。终端200基于从设备100接收到的元数据从一个或更多个图像410渲染目标空间的VR图像。
图5是用于描述根据另一示例性实施例的从设备100发送到终端200的一个或更多个图像和元数据的视图。
根据示例性实施例的设备100获取一个或更多个图像510，其是或可以包括目标空间中包括的对象的捕获图像。根据示例性实施例的设备100基于所获取的一个或更多个图像510生成可以用于生成目标空间的VR图像的元数据。例如，元数据可以包括质量校正信息520、权重信息530、3D网格模型信息550和映射信息560。
根据示例性实施例的设备100执行多个处理中的一些处理，其可以被执行以根据一个或更多个图像510生成目标空间的VR图像。设备100将可以用于执行其他处理的信息与已经历一些处理的一个或更多个图像一起作为元数据发送到终端200。
参考图5，设备100基于质量校正信息520执行校正一个或更多个图像510的质量的处理。例如，设备100可以校正由镜头阴影引起的一个或更多个图像510的像素值的噪声或调整像素值的白平衡。
设备100可以通过将权重信息530应用于经质量校正的一个或更多个图像来转换在一个或更多个图像之间重叠的重叠对象的像素值。
根据示例性实施例的设备100将已经历质量校正处理和权重信息应用处理的一个或更多个图像540与包括3D网格模型信息550和映射信息560的元数据一起发送到终端200。
根据示例性实施例的设备100执行一些处理，然后将结果发送到终端200，从而减少终端200的计算量并减少当设备100执行所有处理时发生的失真。
图6A是用于描述根据另一示例性实施例的从设备100发送到终端200的一个或更多个图像和元数据的视图。
根据示例性实施例的设备100获取一个或更多个图像610，该一个或更多个图像610是或可以包括目标空间中包括的对象的捕获图像。根据示例性实施例的设备100基于所获取的一个或更多个图像610生成可以用于生成目标空间的VR图像的元数据。例如，元数据可以包括质量校正信息620、权重信息630和3D网格模型和映射信息650。然而，这仅是示例，并且当在设备100和终端200之间预先设置3D网格模型信息时，3D网格模型信息可以不包括在元数据中。
根据示例性实施例的设备100执行多个处理中的一些处理，这些处理可以被执行以从一个或更多个图像610生成目标空间的VR图像。设备100将可以用于执行其他处理的信息与已经历一些处理的一个或更多个图像一起作为元数据发送到终端200。
参考图6A，设备100基于质量校正信息620执行校正一个或更多个图像610的质量的处理。例如，设备100可以校正由镜头阴影引起的一个或更多个图像610的像素值的噪声或调整像素值的白平衡。
设备100可以通过将权重信息630应用于经质量校正的一个或更多个图像来转换在一个或更多个图像之间重叠的重叠对象的像素值。
根据示例性实施例的设备100将已经历质量校正处理和权重信息应用处理的一个或更多个图像640与包括映射信息650的元数据一起发送到终端200。在本文中，映射信息650可以包括关于包括在一个或更多个图像640中的像素被映射到3D网格模型上的位置的信息。在图6A中，假设3D网格模型信息被预先存储或作为参数，以便由没有详细信息的任何终端生成。
根据示例性实施例的设备100执行一些处理，然后将结果发送到终端200，从而减少终端200的计算量并减少当设备100执行所有处理时发生的失真。
图6B是用于描述根据另一示例性实施例的从设备100发送到终端200的一个或更多个图像和元数据的视图。除了用可用于计算元数据而不直接存储在元数据中的信息660替换映射信息，图6B中所示的示例性实施例与图6A中所示的示例性实施例类似。例如，如图6B所示，相机的位置信息662和角度信息664可以包括在可用于计算元数据的信息660中。然而，这仅是示例，并且可用于计算元数据的信息660不限于该示例。
图6C是用于描述根据另一示例性实施例的从设备100发送到终端200的一个或更多个图像和元数据的视图。图6C中所示的示例性实施例与图6C中所示的示例性实施例类似，除了在校正由镜头阴影引起的像素值的噪声、调整白平衡或者使用权重信息调整重叠对象的像素值之后，设备100通过使用归一化的相机姿势对图像进行新投影来将结果图像转换为新图像。可以基于归一化的相机姿势信息670来转换包括在发送到终端200的元数据中的相机姿势或映射数据信息。在本文中，归一化的相机姿势信息670指示相机的姿势，该相机被布置成使得在相同位置处的捕获角度672与通过均等地划分360度空间而获取的角度674相对应。
同时，由设备100执行的一些处理和发送到终端200的元数据中包括的信息不限于上面参考图4到图6C描述的示例。
图7A至图7C是例示了根据示例性实施例的由设备100执行的将一个或更多个图像发送到终端的方法的流程图。
根据示例性实施例的设备100可以编辑发送到终端200的一个或更多个图像。例如，设备100可以在保持一个或更多个图像的形式的同时改变一个或更多个图像的尺寸和布置。
参考图7A中示出的示例性实施例，设备100可以减小包括第一图像712和第二图像714的一个或更多个图像710的尺寸。设备100将包括尺寸减小的第一图像722和尺寸减小的第二图像724的一个或更多个图像720与元数据一起发送到终端200。
参考图7B中示出的示例性实施例，设备100裁剪包括第一图像732和第二图像734的一个或更多个图像730的区域。如果第一图像732和第二图像734中包括的一些对象重叠，则根据示例性实施例的设备100裁剪表示重叠对象的第一图像732的区域和第二图像732的区域。例如，如果第一图像732是目标空间从0度跨越到230度的区域中存在的对象的捕获图像，并且第二图像734是目标空间从180度跨越到410度的区域中存在的对象的捕获图像，则设备100可以裁剪图像的区域，该区域包括在第一图像732中从180度跨越到230度的区域中存在的对象和在第二图像734中从360度跨越到410度的区域中存在的对象。
参考图7C，设备100可以改变包括第一图像752和第二图像754的一个或更多个图像750的布置。例如，设备100可以改变第一图像752和第二图像754在向上、向下、向左或向右方向中的至少一个上的布置。根据示例性实施例的设备100将经布置改变的一个或更多个图像760与元数据一起发送到终端200。
根据示例性实施例的设备100可以通过编辑一个或更多个图像并将其发送到终端200来减少待从设备100发送到终端200的数据量。
图8是例示了根据另一示例性实施例的由设备100执行的将一个或更多个图像810和820发送到终端200的方法的流程图。
根据示例性实施例的设备100可以编辑待发送到终端200的一个或更多个图像。在本文中，设备100编辑从相机获取的一个或更多个图像或者已经历质量校正处理或混合处理的一个或更多个图像。
参考图8，设备100将第一图像810和第二图像820发送到终端200以在终端200中渲染目标空间的VR图像。根据示例性实施例的设备100编辑第一图像810和第二图像820以减少发送到终端200的数据量。
例如，设备100可以裁剪第一图像810的一部分和第二图像820的一部分，并将裁剪区域布置在另一位置以最小化由于第一图像810和第二图像820的圆形形状而产生的边缘区域。设备100裁剪第一图像810的第一上部区域812、第一右侧区域814、第一下部区域816和第一左侧区域818，并将裁剪区域布置在其他位置。设备100裁剪第二图像820的第二上部区域822、第二右侧区域824、第二下部区域826和第二左侧区域828，并将裁剪区域布置在其他位置。
在图8中，裁剪区域812、814、816、818、822、824、826和828的位置仅是示例，并且设备100可以将裁剪区域812、814、816、818、822、824、826和828布置在不同的位置。
根据示例性实施例的设备100重新布置第一图像810和第二图像820中的每一个的部分区域，以提高发送到终端200的一个或更多个图像810和820的编码效率。
图9是例示了根据另一示例性实施例的由设备100执行的将一个或更多个图像910和920发送到终端200的方法的流程图。
根据示例性实施例的设备100可以编辑发送到终端200的一个或更多个图像。在本文中，设备100编辑从相机获取的一个或更多个图像或者已经历质量校正处理或混合处理的一个或更多个图像。
参考图9，例如，为了最小化由于第一图像910和第二图像920的圆形形状而产生的边缘区域，设备100可以以带的形式裁剪第一图像910与第二图像920的不包括边缘区域的图像区域912和914。设备100布置以带形式编辑的第一图像区域912和以带形式编辑的第二图像区域914以对应于矩形图像的结构。
根据示例性实施例的设备100将被布置为与矩形图像的结构相对应的图像发送到终端200。根据示例性实施例的设备100以带形式重新布置第一图像910和第二图像920中的每一个的图像区域912和914，以提高发送到终端200的一个或更多个图像的编码效率。
图10A至图10C是用于描述根据另一示例性实施例的由设备100执行的将一个或更多个图像1010和1020发送到终端200的方法的视图。
根据示例性实施例的设备100可以编辑发送到终端200的一个或更多个图像。在本文中，设备100编辑从相机获取的一个或更多个图像或者已经历质量校正处理或混合处理的一个或更多个图像。
参考图10A，没有数据的边缘区域可以存在于从设备100发送到终端200的第一图像1010和第二图像1020中。包括拍摄的重叠对象的第一重叠区域1012和第二重叠区域1022可以包括在第一图像1010和第二图像1020中。包括第一图像1010和第二图像1020中的非重叠对象的图像的区域将被称为唯一的第一图像区域1014和第二图像区域1024。
根据示例性实施例的设备100有效地布置第一图像1010和第二图像1020的重叠区域1012和1022，以最小化从设备100发送到终端200的图像中包括的边缘区域。因此，设备100可以提高传输图像的编码效率。
例如，设备100可以分别在第一图像1010和第二图像1020中确定包括捕获的重叠对象的第一重叠区域1012和第二重叠区域1022。设备100以带形式分离第一重叠区域1012和第二重叠区域1022，使得待发送到终端200的图像具有矩形结构。因此，减少了从设备100待发送到终端200的图像的边缘区域，从而增加了编码效率。
参考图10B，设备100根据预设权重值混合包括在第一图像1010和第二图像1020中的第一区域1012和第二区域1022。例如，设备100可以根据预设的权重值对包括在第一重叠区域1012中的多个像素的像素值和包括在第二重叠区域1022中的多个像素的像素值求和。
根据示例性实施例的设备100以矩形结构布置混合重叠区域1032、第一独特图像区域1014和第二独特图像区域1024，并将矩形结构图像发送到终端200。
参考图10C，设备100编辑通过根据预设权重值混合包括在第一图像1010和第二图像1020中的第一区域1012和第二区域1022而生成的混合重叠区域1032。
根据示例性实施例的设备100改变混合的重叠区域1032的尺寸或布置。例如，设备100可以通过减小混合的重叠区域1032的尺寸来生成缩小的重叠区域1034。根据另一示例，设备100可以通过重新布置混合的重叠区域1032的一部分来生成重新布置的重叠区域1036。
根据示例性实施例的设备100将包括缩小的重叠区域1034或重新布置的重叠区域1036、第一独特图像区域1014和第二独特图像区域1024的矩形结构图像发送到终端200。
图11是根据另一示例性实施例的由设备100执行的将一个或更多个图像1110发送到终端200的方法的流程图。
根据示例性实施例的设备100选择所获取的一个或更多个图像1110的一部分。例如，设备100可以获取所关注对象信息，其关于用户所关注的目标空间的对象。可以通过感测用户通过终端200的注视或操作的改变来自动生成所关注对象信息，或者可以基于用户输入生成所关注对象信息。终端200可以将所生成的所关注对象信息发送到设备100。然而，这仅是示例，并且由设备100选择所获取的一个或更多个图像1110的一部分的方法不限于此。
参考图11，根据示例性实施例的设备100从一个或更多个图像1110中选择由在第一方向上的捕获设备捕获的第一图像1112。例如，如果设备100从终端200接收到指示用户的注视指向第一方向的信息，则设备100可以从一个或更多个图像1110中选择与第一方向相对应的第一图像1112。
在另一示例中，设备100从一个或更多个图像1110中选择由位于第二方向上的捕获设备捕获的第二图像1114。例如，如果设备100从终端200接收到指示用户的注视指向第二方向的信息，则设备100可以从一个或更多个图像1110中选择与第二方向相对应的第二图像1114。
然而，这仅是示例，并且设备100可以基于从终端200获取的所关注对象信息从一个或更多个图像1110中选择一部分。例如，设备100可以选择包括一个或更多个图像1110中的第一图像1112和第二图像1114之间的边界区域的部分1116。在另一示例中，设备100可以选择包括第一图像1112和第二图像1114的上部区域的部分1118。
根据示例性实施例的设备100将所选对象图像和关于所选对象图像的元数据发送到终端200。根据另一示例性实施例，设备100将上述质量校正处理或混合处理应用于所选对象图像，以转换所选对象图像。根据示例性实施例的设备100将经转换的图像和关于所选对象图像的元数据发送到终端200。
根据示例性实施例的设备100基于从终端200获取的所关注对象信息而不同地确定与所关注对象相对应的区域和除了与一个或更多个图像110中的所关注对象相对应的区域之外的区域的编码质量，从而提高编码效率。
图12是根据第一示例性实施例的由终端200执行的处理图像的方法的流程图。
在操作S1210中，终端200从设备100获取一个或更多个图像和关于一个或更多个图像的元数据，该一个或更多个图像是或可以包括目标空间中包括的对象的捕获图像。
根据示例性实施例的终端200将对一个或更多个图像和关于一个或更多个图像的元数据的请求发送到设备100，以渲染目标空间的VR图像。例如，如果终端200从用户接收用于选择目标空间的用户输入，则终端200可以将对一个或更多个图像和关于一个或更多个图像的元数据的请求发送到设备100。
根据示例性实施例的终端200通过预设通信会话从设备100接收一个或更多个图像和关于一个或更多个图像的元数据，该一个或更多个图像是或可以包括目标空间中包括的对象的捕获图像。终端200实时地接收一个或更多个图像和关于一个或更多个图像的元数据。
获取的一个或更多个图像可以是作为对目标空间中包括的对象的捕获图像应用后处理(诸如质量校正处理和混合处理)的结果而生成的图像。
在操作S1220中，终端200从元数据中获取一个或更多个图像与用于生成目标空间的VR图像的3D网格模型之间的映射的信息。
根据示例性实施例的终端200解析元数据以获取关于映射的信息。关于映射的信息可以包括关于将一个或更多个图像中包括的像素映射到3D网格模型上的位置的信息。
在操作S1230中，终端200基于关于映射的信息渲染一个或更多个图像以生成目标空间的VR图像。
根据示例性实施例的终端200基于关于映射的信息根据3D网格模型的类型来渲染一个或更多个图像。例如，终端200可以基于关于映射的信息、通过将包括在一个或更多个图像中的像素映射到3D网格模型上来生成目标空间的VR图像。
VR图像可以包括静止图像和运动图像中的至少一个。
在操作S1240中，终端200输出所生成的VR图像。
根据示例性实施例的终端200显示所生成的VR图像。根据另一示例性实施例，终端200感测用户的注视并输出VR图像的与感测到的用户的注视相对应的至少一个区域。终端200耦合到HMD设备等，以通过HMD设备输出所生成的VR图像。
图13是根据第二示例性实施例的由终端200执行的处理图像的方法的流程图。
在操作S1310中，终端200从设备100获取一个或更多个图像和关于一个或更多个图像的元数据，该一个或更多个图像是或可以包括目标空间中包括的对象的捕获图像。
所获取的一个或更多个图像可以是作为将诸如混合处理的后处理应用于目标空间中包括的对象的捕获图像的结果而生成的图像。
在操作S1320中，终端200基于元数据中包括的质量校正信息来校正一个或更多个图像的质量。
根据示例性实施例的终端200解析元数据以获取质量校正信息。质量校正信息可以包括镜头阴影校正参数、白平衡参数等。终端200通过使用获取的质量校正信息校正包括在一个或更多个图像中的每个图像中的多个像素的像素值。
在操作S1330中，终端200从元数据中获取一个或更多个图像与用于生成目标空间的VR图像的3D网格模型之间的映射的信息。
操作S1330可以与参考图12描述的操作S1220相对应。
在操作S1340中，终端200基于关于映射的信息渲染经质量校正的一个或更多个图像，以生成目标空间的VR图像。
根据示例性实施例的终端200可以基于关于映射的信息通过将包括在经质量校正的一个或更多个图像中的像素映射到3D网格模型上来生成目标空间的VR图像。
在操作S1350中，终端200输出所生成的VR图像。
操作S1350可以与参考图12描述的操作S1240相对应。
图14是根据第三示例性实施例的由终端200执行的处理图像的方法的流程图。
在操作S1410处，终端200从设备100获取一个或更多个图像和关于一个或更多个图像的元数据，该一个或更多个图像是或可以包括目标空间中包括的对象的捕获图像。
所获取的一个或更多个图像可以是作为将诸如质量校正处理的后处理应用于目标空间中包括的对象的捕获图像的结果而生成的图像。
在操作S1420中，终端200通过基于包括在元数据中的权重信息根据预设权重值来混合包括在包括重叠对象的图像中的多个像素的像素值，转换一个或更多个图像。权重信息可以指示用于混合一个或更多个图像之间的重叠对象中包括的多个像素的像素值的权重值。
根据示例性实施例的终端200解析元数据以获取权重信息。终端200可以通过分别使用权重值w1作为包括在第一图像中表示重叠对象的区域中的像素a的权重值并且使用权重值w2作为包括在第二图像中表示重叠对象的区域中的像素b的权重值来执行混合。
在操作S1430中，终端200从元数据中获取一个或更多个图像与用于生成目标空间的VR图像的3D网格模型之间的映射的信息。
操作S1430可以与参考图12描述的操作S1220相对应。
在操作S1440中，终端200基于关于映射的信息渲染经转换的一个或更多个图像，以生成目标空间的VR图像。
根据示例性实施例的终端200可以基于关于映射的信息通过将包括在经混合的一个或更多个图像中的像素映射到3D网格模型上来生成目标空间的VR图像。
在操作S1450中，终端200输出所生成的VR图像。
操作S1450可以与参考图12描述的操作S1240相对应。
图15是根据第四示例性实施例的由终端200执行的处理图像的方法的流程图。
在操作S1510处，终端200从设备100获取一个或更多个图像和关于一个或更多个图像的元数据，该一个或更多个图像是或可以包括目标空间中包括的对象的捕获图像。
在操作S1520中，终端200基于元数据中包括的质量校正信息和权重信息中的至少一个来转换一个或更多个图像。
例如，终端200可以通过基于如参考图13所述的质量校正信息校正一个或更多个图像的质量，或者基于如参考图14所述的权重信息通过根据预设权重值混合表示重叠对象的图像中的多个像素的像素值来转换一个或更多个图像。在另一示例中，终端200可以通过将基于质量校正信息的质量校正处理和基于权重信息的混合处理应用于一个或更多个图像来转换至少一个图像。
在操作S1530中，终端200从元数据中获取一个或更多个图像与用于生成目标空间的VR图像的3D网格模型之间的映射的信息。
操作S1530可以与参考图12描述的操作S1220相对应。
在操作S1540中，终端200基于关于映射的信息渲染经转换的一个或更多个图像，以生成目标空间的VR图像。
在操作S1550中，终端200输出所生成的VR图像。
操作S1550可以与参考图12描述的操作S1240相对应。
图16是根据第五示例性实施例的由终端200执行的处理图像的方法的流程图。
在操作S1610处，终端200从设备100获取一个或更多个图像和关于一个或更多个图像的元数据，该一个或更多个图像是或可以包括目标空间中包括的对象的捕获图像。
在操作S1620中，终端200基于元数据中包括的质量校正信息和权重信息中的至少一个来转换一个或更多个图像。
例如，终端200可以通过基于如参考图13所述的质量校正信息校正一个或更多个图像的质量，或者基于如参考图14所述的权重信息通过根据预设权重值混合表示重叠对象的图像中的多个像素的像素值来转换一个或更多个图像。在另一示例中，终端200可以通过将基于质量校正信息的质量校正处理和基于权重信息的混合处理应用于一个或更多个图像来转换至少一个图像。
在操作S1630中，终端200获取包括在元数据中的归一化的相机姿势信息。
在操作S1640中，终端200基于归一化的相机姿势信息来转换经转换的图像。例如，终端200可以对经转换的图像进行投影以适配归一化的相机姿势信息中包括的捕获角度。
在操作S1650中，终端200通过将归一化的相机姿势信息反映到关于用于生成目标空间的VR图像的3D网格模型与一个或更多个图像之间的映射的第一映射信息中，获取第二映射信息。例如，可以转换网格模型与一个或更多个图像之间的映射以适配归一化的相机姿势信息中包括的捕获角度，以获取第二映射信息。
在操作S1660中，终端200根据第二映射信息渲染基于归一化的相机姿势信息转换的一个或更多个图像，以生成目标空间的VR图像。
在操作S1670中，终端200输出所生成的VR图像。
操作S1670可以与参考图12描述的操作S1240相对应。
图17是根据本公开的示例性实施例的电子设备100的框图。
如图17所示，根据示例性实施例的电子设备100可以包括图像获取器110、控制器120和通信接口130。然而，并非所有示出的元件都是必要元件。电子设备100可以包括比所示元件更多或更少数量的元件。
图像获取器110获取一个或更多个图像，其是或可以包括目标空间中包括的对象的捕获图像。
根据示例性实施例的图像获取器110从外部捕获设备获取一个或更多个图像。根据另一示例性实施例，设备100通过使用包括在设备100中的相机捕获包括在目标空间中的对象来获取一个或更多个图像。
控制器120生成包括关于用于生成目标空间的VR图像的3D网格模型与一个或更多个图像之间的映射的信息的元数据。
根据示例性实施例的控制器120确定用于生成目标空间的VR图像的3D网格模型的类型或分辨率。控制器120基于所确定的类型或分辨率的3D网格模型确定映射到3D网格模型上的一个或更多个图像的位置。例如，控制器120基于关于捕获一个或更多个图像的角度的信息、捕获一个或更多个图像的捕获设备的位置等确定映射到3D网格模型上的一个或更多个图像中包括的像素的位置。
根据示例性实施例的控制器120可以获取关于捕获设备的布置和捕获角度的捕获参数以及一个或更多个图像。控制器120基于所获取的捕获参数确定将一个或更多个图像的像素值映射到3D网格模型上的位置。
由根据示例性实施例的控制器120生成的元数据还可以包括一个或更多个图像的质量校正信息。在另一示例中，由控制器120生成的元数据还可以包括一个或更多个图像的权重信息。
根据示例性实施例的控制器120可以针对一个或更多个图像执行质量校正信息。例如，控制器120可以根据一个或更多个图像的镜头阴影参数、白平衡参数等来校正一个或更多个图像的像素值。
根据另一示例性实施例的控制器120基于包括在元数据中的权重信息通过根据预设权重值混合包括在一个或更多个图像中的多个像素的像素值来转换一个或更多个图像，其中一个或更多个图像包括重叠对象。
在将一个或更多个图像与元数据一起发送到终端200之前，根据示例性实施例的控制器120编辑一个或更多个图像。例如，控制器120可以在保持一个或更多个图像的形式的同时改变一个或更多个图像的尺寸和布置。在另一示例中，为了最小化由于图像的圆形形状而产生的边缘区域，控制器120可以编辑一个或更多个图像中不包括边缘区域的图像区域。在另一示例中，控制器120可以通过有效地设置在一个或更多个图像中表达重叠对象的区域来最小化从设备100待发送到终端200的图像中包括的边缘区域。在另一示例中，控制器120可以根据预设权重值来混合包括在一个或更多个图像中的重叠区域，以通过通信接口130将经编辑的一个或更多个图像发送到终端200。
根据示例性实施例的控制器120选择一个或更多个图像的一部分。例如，控制器120可以基于指示用户所关注的对象的所关注对象信息来选择一个或更多个图像的一部分。可以通过通信接口130将一个或更多个图像的所选部分和与一个或更多个图像的一部分相对应的元数据一起发送到终端200。
通信接口130将一个或更多个图像和元数据发送到终端200。
根据示例性实施例的通信接口130对一个或更多个图像和元数据进行编码并将其发送到终端200。根据另一示例性实施例，通信接口130执行校正一个或更多个图像的质量的处理并将经经质量校正的一个或更多个图像和元数据发送到终端200。
根据另一示例性实施例，如果控制器120通过根据预设权重值混合包括在包括重叠对象的一个或更多个图像中的多个像素的像素值来转换一个或更多个图像，则通信接口130将经转换的一个或更多个图像和元数据发送到终端200。
图18和图19是根据示例性实施例的终端200的框图。
如图18所示，根据示例性实施例的终端200可以包括通信接口210、控制器220和输出接口230。然而，并非所有示出的元件都是必要元件。终端200可以包括比所示元件更多或更少数量的元件。
例如，如图19所示，根据示例性实施例的终端200可以包括传感器240、用户输入接口250、音频/视频(A/V)输入接口260、存储器270以及通信接口210、控制器220和输出器230。
在下文中，将详细描述前述元件。
通信接口210从设备100获取一个或更多个图像和关于一个或更多个图像的元数据，该一个或更多个图像是或可以包括目标空间中包括的对象的捕获图像。
根据示例性实施例的通信接口210将对一个或更多个图像和关于一个或更多个图像的元数据的请求发送到设备100，以渲染目标空间的VR图像。例如，如果通过用户输入接口250接收用于选择目标空间的用户输入，则通信接口210可以将对一个或更多个图像和关于一个或更多个图像的元数据的请求发送到设备100。
根据示例性实施例的通信接口210通过预设通信会话从设备100接收一个或更多个图像和关于一个或更多个图像的元数据，该一个或更多个图像是或可以包括目标空间中包括的对象的捕获图像。获取的一个或更多个图像可以是作为对目标空间中包括的对象的捕获图像应用后处理(诸如质量校正处理和混合处理)的结果而生成的图像。
如果终端200与诸如HMD设备的外部设备耦合，则根据示例性实施例的通信接口210将由控制器220生成的VR图像发送到外部设备，以通过外部设备输出VR图像。
通信接口210可以包括一个或更多个元件，其能够在终端200和外部设备(例如，图1的设备100)之间进行通信。例如，通信接口210可以包括短距离无线通信接口211、移动通信接口212和广播接收器213。
短距离无线通信接口211可以包括但不限于低功耗蓝牙(BLE)通信接口、近场通信(NFC)单元、无线局域网(WLAN)(WiFi)通信接口、ZigBee通信接口、红外数据协会(IrDA)通信接口、WiFi直接(WFD)通信接口、超宽带(UWB)通信接口和Ant+通信接口。
移动通信接口212通过移动通信网络向基站、外部终端和服务器中的至少一个发送无线电信号和从基站、外部终端和服务器中的至少一个接收无线电信号。在本文中，无线电信号可以包括与语音呼叫信号、视频通信呼叫信号或文本/多媒体消息的发送/接收相对应的各种形式的数据。
广播接收器213通过广播信道从外部源接收广播信号和/或广播相关信息。广播信道可以包括卫星信道和地面信道。根据实现示例，终端200可以不包括广播接收器213。
控制器220控制终端200的整体操作。例如，控制器220可以通过执行存储在存储器270中的程序整体控制通信接口210、输出器230、传感器240、用户输入接口250、A/V输入接口260和存储器270。
控制器220获取关于用于生成目标空间的VR图像的3D网格模型与一个或更多个图像之间的映射的信息。例如，根据示例性实施例的控制器220可以解析元数据以获取关于映射的信息。
控制器220基于关于映射的信息渲染一个或更多个图像以生成目标空间的VR图像。例如，控制器220可以基于关于映射的信息通过将包括在一个或更多个图像中的像素映射到3D网格模型上来生成目标空间的VR图像。
根据示例性实施例的控制器220基于元数据中包括的质量校正信息来校正一个或更多个图像的质量。根据示例性实施例的控制器220解析元数据以获取质量校正信息。控制器220通过使用获取的质量校正信息校正包括在一个或更多个图像中的每个图像中的多个像素的像素值。控制器220基于关于映射的信息渲染经质量校正的一个或更多个图像，以生成目标空间的VR图像。
根据另一示例性实施例的控制器200基于包括在元数据中的权重信息通过根据预设权重值混合包括在包括重叠对象的一个或更多个图像中的多个像素的像素值来转换一个或更多个图像。控制器220基于关于映射的信息渲染经转换的一个或更多个图像，以生成目标空间的VR图像。
输出接口230输出音频信号、视频信号或振动信号，并且可以包括显示器231、音频输出接口232、振动电机233等。
显示器231显示由终端200处理的信息。例如，显示器231可以输出作为在控制器220中渲染的结果而生成的VR图像。显示器231至少输出VR图像与传感器240感测到用户的注视相对应的区域。
在另一示例中，显示器231显示用于选择多个目标空间中的一个的菜单。
当显示器231和触摸板被构造为层结构的触摸屏时，显示器231可以用作输入设备以及输出设备。显示器231可以包括液晶显示器(LCD)、薄膜晶体管(TFT)LCD、有机发光二极管(OLED)、柔性显示器、3D显示器和电泳显示器中的至少一个。根据终端200的实现类型，终端200可以包括两个或更多个显示器231。在这种情况下，两个或更多个显示器231可以通过使用铰链设置为彼此面对。
音频输出接口232输出从通信接口210接收到或存储在存储器270中的音频数据。音频输出接口232输出与在终端200中执行的功能相关的音频信号(例如，呼叫信号接收声音、消息接收声音、警报声音等)。音频输出接口232可以包括扬声器、蜂鸣器等。
振动电机233输出振动信号。例如，振动电机233可以输出与音频数据或视频数据的输出相对应的振动信号。如果触摸被输入到触摸屏，则振动电机233输出振动信号。
传感器240感测终端200的状态、终端200的周围状态和佩戴终端200的用户的状态中的至少一个，并且将感测到的信息传递到控制器220。例如，传感器240可以感测佩戴终端200的用户的注视或用户头部的动作。
传感器240可以包括但不限于地磁传感器241、加速度传感器242、温度/湿度传感器243、红外传感器244、陀螺仪传感器245、定位传感器(例如，全球定位系统(GPS))246、压力传感器247、接近传感器248和红/绿/蓝(RGB)传感器(或照度传感器)249中的至少一个。本领域普通技术人员可以根据每个传感器的名称直观地解释每个传感器的功能，因此不再详细描述。
用户输入接口250是用于输入控制终端200的数据的设备。例如，用户输入接口250可以包括但不限于键盘、圆顶开关、触摸板(电容覆盖型、电阻覆盖型、红外光束型、表面声波型、积分应变计型、压电效应型等)、微动轮、微动开关等。
用户输入接口250接收请求目标空间的VR图像的用户输入。用户输入界面250接收用于选择目标空间的对象中的至少一个的用户输入。然而，这仅是示例，并且由用户输入接口250接收到的用户输入的类型不限于上述示例。
A/V输入接口260输入音频信号或视频信号，并且可以包括相机261、麦克风262等。相机261通过图像传感器以视频通信模式或拍摄模式获取诸如静止图像或运动图像的图像帧。由图像传感器捕获的图像由控制器220或单独的图像处理器处理。
由相机261处理的图像帧存储在存储器270中或通过通信接口210发送到外部源。根据终端200的结构方面，可以提供两个或更多个相机261。
麦克风262接收外部音频信号并将接收到的信号处理成电子语音数据。例如，麦克风262可以从外部设备或扬声器接收音频信号。麦克风262使用各种噪声消除算法来消除在接收外部音频信号期间产生的噪声。
存储器270存储用于处理和由控制器220控制的程序，并存储输入/输出数据(一个或更多个图像、关于一个或更多个图像的元数据以及从设备100接收到的作为渲染的结果而生成的VR图像)。
存储器270可以包括至少一种类型的闪存类型、硬盘类型、多媒体卡微型、卡型存储器(例如，安全数字(SD)或极限数字(XD)存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘、光盘等。设备100操作网络存储器或云服务器，其在因特网上执行存储器270的存储功能。
存储在存储器270中的程序可以根据其功能被分类为多个模块，例如，用户界面(UI)模块271、触摸屏模块272、通知模块273等。
UI模块271为每个应用提供与终端200交互的专用UI或图形UI(GUI)。触摸屏模块272感测用户在触摸屏上的触摸手势并且将关于触摸手势的信息传递到控制器220。根据本公开的示例性实施例的触摸屏模块272识别并分析触摸代码。触摸屏模块272配置有包括控制器的单独硬件。
为了感测触摸屏上的触摸或接近触摸，可以在触摸屏内部或附近提供各种传感器。用于感测触摸屏上的触摸的传感器的示例可以是触觉传感器。触觉传感器指的是由特定对象在人感觉触摸的程度上或更大程度上感测触摸的传感器。触觉传感器感测许多信息，诸如接触表面的粗糙度、接触对象的硬度、接触点的温度等。
用于感测触摸屏上的触摸的传感器的示例可以是接近传感器。
接近传感器指的是在没有机械接触的情况下通过使用电磁场或红外线的力检测靠近或接近检测表面的对象的存在或不存在的传感器。接近传感器的示例可包括传输光电传感器、直接反射光电传感器、镜面反射光电传感器、射频振荡接近传感器、静电电容接近传感器、磁接近传感器、红外接近传感器等。用户的触摸手势可以包括轻击、长按、双击、拖动、平移、轻弹、拖拉、滑动等。
通知模块273生成用于通知终端200的事件发生的信号。终端200中发生的事件的示例可以包括关键信号输入等。通知模块273通过显示器231以视频信号的形式、通过音频输出接口232以音频信号的形式和/或通过振动电机233以振动信号的形式输出通知信号。
根据示例性实施例的方法可以以程序命令的形式实现，该程序命令可以通过各种计算机组件执行并记录在计算机可读记录介质中。计算机可读记录介质可以单独地或以组合的方式包括程序命令、数据文件、数据结构等。计算机可读记录介质中记录的程序命令可以是为本示例性实施例专门设计和配置的程序命令，或者是计算机软件领域的技术人员使用的已知程序命令。计算机可读记录介质的示例可以包括磁介质(诸如硬盘、软盘和磁带)、光学介质(诸如光盘只读存储器(CD-ROM)和数字通用光盘(DVD))、磁光介质(诸如光磁软盘)和被专门配置为存储和执行程序命令的硬件设备(诸如只读存储器(ROM)、随机存取存储器(RAM)和闪存等)。此外，程序指令的示例包括由编译器创建的机器语言代码和由计算机使用解释器可执行的高级语言代码。
虽然已经参考本公开的某些示例实施例示出并描述了本公开，但是本公开的范围不限于该描述，还包括本领域普通技术人员使用所附权利要求中限定的本公开的构思进行的各种修改和改进。

Claims (15)

1.一种由终端执行的处理图像的方法，所述方法包括：
从设备获取包括目标空间中的对象的一个或更多个捕获图像的一个或更多个图像以及关于所述一个或更多个图像的元数据；
从所述元数据中获取关于所述一个或更多个图像与用于生成所述目标空间的虚拟现实(VR)图像的三维(3D)网格模型之间的映射的信息；
通过基于关于所述映射的所述信息渲染所述一个或更多个图像，生成所述目标空间的VR图像；以及
输出所生成的VR图像。
2.根据权利要求1所述的方法，其中，所述一个或更多个图像是多个图像，并且
所述元数据包括用于所述多个图像的质量校正信息和用于包括重叠对象的区域的权重信息中的至少一个，所述重叠对象在所述多个图像中的两个图像之间重叠。
3.根据权利要求2所述的方法，所述方法还包括：
通过基于所述质量校正信息校正所述多个图像中包括的像素的像素值，校正所述多个图像，
其中，所述VR图像的生成包括通过基于关于所述映射的所述信息渲染经校正的所述多个图像来生成所述目标空间的VR图像。
4.根据权利要求2所述的方法，所述方法还包括：
通过基于所述元数据中包括的权重信息根据预设权重值来混合所述多个图像中与包括所述重叠对象的所述区域相对应的像素值，转换包括所述重叠对象的图像；以及使用归一化的相机姿势对经转换的所述图像进行投影，
其中，所述VR图像的生成包括通过基于关于所述映射的所述信息渲染所投影的经转换的所述图像来生成所述目标空间的VR图像。
5.一种用于处理图像的设备，所述设备包括：
图像获取器，所述图像获取器被配置为获取包括目标空间中的对象的一个或更多个捕获图像的一个或更多个图像；
控制器，所述控制器被配置为生成包括关于所述一个或更多个图像与用于生成所述目标空间的虚拟现实(VR)图像的三维(3D)网格模型之间的映射的信息的元数据；以及
通信接口，所述通信接口被配置为将所述一个或更多个图像和所述元数据发送到终端。
6.根据权利要求5所述的设备，其中，关于所述映射的所述信息包括下列中至少一个：捕获所述一个或更多个图像的角度、捕获所述一个或更多个图像的捕获设备的位置、所述3D网格模型的类型和所述3D网格模型的分辨率。
7.根据权利要求5所述的设备，其中，所述一个或更多个图像是多个图像，并且
所述元数据包括下列中至少一个：用于所述一个或更多个图像的质量校正信息；和用于包括在所述多个图像中的两个图像之间重叠的对象的区域的权重信息。
8.根据权利要求5所述的设备，其中，所述控制器还被配置为获取关于所述一个或更多个图像的噪声的信息，以及通过基于所获取的关于所述噪声的信息校正所述一个或更多个图像中包括的像素的像素值，校正所述一个或更多个图像，并且所述通信接口还被配置为将经校正的所述一个或更多个图像与所述元数据一起发送到所述终端。
9.根据权利要求5所述的设备，其中，所述一个或更多个图像是多个图像，并且
从所述多个图像中包括的对象中，确定在所述多个图像中的两个图像之间重叠的重叠对象，通过根据预设值混合所述两个图像中与包括所述重叠对象的区域相对应的像素值来转换包括所述重叠对象的图像，以及使用归一化的相机姿势对经转换的所述图像进行投影，并且所述通信接口还被配置为将所投影的经转换的所述图像与所述元数据一起发送到所述终端。
10.一种用于处理图像的终端，所述终端包括：
通信接口，所述通信接口被配置为从设备获取包括目标空间中包括的对象的捕获图像的一个或更多个图像和关于所述一个或更多个图像的元数据；
控制器，所述控制器被配置为从所述元数据中获取关于所述一个或更多个图像与用于生成所述目标空间的虚拟现实(VR)图像的三维(3D)网格模型之间的映射的信息，并且通过基于关于所述映射的所述信息渲染所述一个或更多个图像来生成所述目标空间的VR图像；以及
输出接口，所述输出接口被配置为输出所生成的VR图像。
11.根据权利要求10所述的终端，其中，关于所述映射的所述信息包括下列中至少一个：捕获所述一个或更多个图像的角度、捕获所述一个或更多个图像中的至少一个的捕获设备的位置、所述3D网格模型的类型和所述3D网格模型的分辨率。
12.根据权利要求10所述的终端，其中，所述一个或更多个图像是多个图像，并且
所述元数据包括下列中至少一个：用于所述多个图像的质量校正信息；和用于包括在所述多个图像中的两个图像之间重叠的重叠对象的区域的权重信息。
13.根据权利要求12所述的终端，其中，所述控制器还被配置为通过基于所述质量校正信息校正所述一个或更多个图像中包括的像素的像素值来校正所述多个图像，并且通过基于关于所述映射的所述信息渲染经校正的所述多个图像来生成所述目标空间的VR图像。
14.根据权利要求12所述的终端，其中，所述控制器还被配置为：通过基于所述元数据中包括的权重信息根据预设权重值来混合所述两个图像中与包括所述重叠对象的所述区域相对应的像素值，转换包括所述重叠对象的图像；使用归一化的相机姿势对经转换的所述图像进行投影；并且通过基于关于所述映射的所述信息渲染所投影的经转换的所述图像，生成所述目标空间的VR图像。
15.一种非暂时性的计算机可读记录介质，其上记录有用于在计算机上执行根据权利要求1所述的方法的程序。
CN201780026356.4A 2016-05-02 2017-05-02 用于处理图像的方法、装置和记录介质 Pending CN109155080A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662330351P 2016-05-02 2016-05-02
US62/330,351 2016-05-02
KR20160080239 2016-06-27
KR10-2016-0080239 2016-06-27
KR10-2016-0090270 2016-07-15
KR1020160090270A KR20170124424A (ko) 2016-05-02 2016-07-15 영상을 처리하는 방법, 장치 및 기록매체
PCT/KR2017/004650 WO2017191978A1 (en) 2016-05-02 2017-05-02 Method, apparatus, and recording medium for processing image

Publications (1)

Publication Number Publication Date
CN109155080A true CN109155080A (zh) 2019-01-04

Family

ID=60386603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780026356.4A Pending CN109155080A (zh) 2016-05-02 2017-05-02 用于处理图像的方法、装置和记录介质

Country Status (3)

Country Link
EP (1) EP3417427A4 (zh)
KR (1) KR20170124424A (zh)
CN (1) CN109155080A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102282117B1 (ko) * 2020-01-31 2021-07-27 엘지전자 주식회사 인공지능 디스플레이 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750724A (zh) * 2012-04-13 2012-10-24 广州市赛百威电脑有限公司 一种基于图像的三维和全景系统自动生成方法
US20140139552A1 (en) * 2011-07-14 2014-05-22 Ntt Docomo, Inc. Object display device, object display method, and object display program
US20140285486A1 (en) * 2013-03-20 2014-09-25 Siemens Product Lifecycle Management Software Inc. Image-based 3d panorama
US20160065947A1 (en) * 2014-09-03 2016-03-03 Nextvr Inc. Methods and apparatus for receiving and/or playing back content

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101042638B1 (ko) * 2004-07-27 2011-06-20 삼성전자주식회사 파노라마 영상 생성을 위한 디지털 촬상장치 및 그 생성방법
US8724007B2 (en) * 2008-08-29 2014-05-13 Adobe Systems Incorporated Metadata-driven method and apparatus for multi-image processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140139552A1 (en) * 2011-07-14 2014-05-22 Ntt Docomo, Inc. Object display device, object display method, and object display program
CN102750724A (zh) * 2012-04-13 2012-10-24 广州市赛百威电脑有限公司 一种基于图像的三维和全景系统自动生成方法
US20140285486A1 (en) * 2013-03-20 2014-09-25 Siemens Product Lifecycle Management Software Inc. Image-based 3d panorama
US20160065947A1 (en) * 2014-09-03 2016-03-03 Nextvr Inc. Methods and apparatus for receiving and/or playing back content

Also Published As

Publication number Publication date
KR20170124424A (ko) 2017-11-10
EP3417427A4 (en) 2019-03-27
EP3417427A1 (en) 2018-12-26

Similar Documents

Publication Publication Date Title
AU2014358019B2 (en) Method of displaying pointing information and device for performing the method
US11762529B2 (en) Method for displaying application icon and electronic device
US11348306B2 (en) Method, apparatus, and recording medium for processing image
US10536742B2 (en) Display apparatus and display method
US20110246877A1 (en) Mobile terminal and image display controlling method thereof
US9236003B2 (en) Display apparatus, user terminal apparatus, external apparatus, display method, data receiving method and data transmitting method
US11032532B2 (en) Electronic device and method for providing virtual device via at least portion of content
KR20160018001A (ko) 이동단말기 및 그 제어방법
KR20110122979A (ko) 이동 단말기 및 그 제어 방법
KR20150083636A (ko) 전자 장치에서 이미지 운영 방법 및 장치
CN110795007A (zh) 一种获取截图信息的方法及装置
KR102242324B1 (ko) 카메라 광 데이터로 가상 환경을 조명하는 방법
CN111031377B (zh) 移动终端及视频制作方法
CN109155080A (zh) 用于处理图像的方法、装置和记录介质
KR20180052501A (ko) 디스플레이 장치 및 그 동작 방법
WO2022179471A1 (zh) 卡证文本识别方法、装置和存储介质
JP2019075126A (ja) 情報処理装置及びプログラム
CN114449171A (zh) 控制摄像头的方法、终端设备、存储介质及程序产品
CN115113832A (zh) 一种跨设备同步显示的控制方法及系统
KR101883356B1 (ko) 메시지의 알림에 대한 차단을 제공하는 방법 및 장치
EP3813026A1 (en) Method and electronic device for displaying content
US20240056673A1 (en) Camera Control Method and Apparatus, and Storage Medium
KR20150014266A (ko) 디스플레이 디바이스 및 그 제어 방법
CN117395496A (zh) 一种拍摄方法及相关设备
CN116126176A (zh) 一种交互方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190104