CN109478318A - 三百六十度视频拼接 - Google Patents

三百六十度视频拼接 Download PDF

Info

Publication number
CN109478318A
CN109478318A CN201780046606.0A CN201780046606A CN109478318A CN 109478318 A CN109478318 A CN 109478318A CN 201780046606 A CN201780046606 A CN 201780046606A CN 109478318 A CN109478318 A CN 109478318A
Authority
CN
China
Prior art keywords
image
reversible deformation
template
electronic equipment
converted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780046606.0A
Other languages
English (en)
Other versions
CN109478318B (zh
Inventor
胡俊
马杜卡·布达加维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109478318A publication Critical patent/CN109478318A/zh
Application granted granted Critical
Publication of CN109478318B publication Critical patent/CN109478318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G06T5/94—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Abstract

提供了一种用于呈现三百六十(360)度图像的电子设备。所述电子设备包括通信单元和处理器。所述通信单元被配置为从相机接收第一图像、第二图像和元数据。所述处理器被配置为通过以下方式来呈现360度图像：对所述第一图像和所述第二图像进行变换以补偿光衰减、对变换后的所述第一图像和所述第二图像进行反变形、使反变形后的所述第一图像和所述第二图像对准以及混合已对准的反变形后的所述第一图像和所述第二图像。

Description

三百六十度视频拼接
技术领域
本公开总体涉及图像处理。更具体地，本公开涉及用于将多个图像组合成三百六十度图像的装置和方法。
背景技术
三百六十(360)度成像是一种同时捕获环境中所有观察方向并为用户提供沉浸感的技术。可以使用反射折射光学系统来获得360度图像，该反射折射光学系统结合镜头(折射)和镜子(反射)来记录360度图像或视频。反射折射光学系统可以实时记录360度视频，但所捕获的视野通常小于360×180度。
为了高分辨率360×180度沉浸式成像，广泛采用了另一种光学系统(例如，多向散射)。通过在一个系统中堆叠具有交叠视野的多个折射透镜，多向散射相机实现了高分辨率全景艺术。这些镜头所拍摄的照片经过将一张图片记录到另一张图片、消除可见的接缝并混合变形的图像的拼接处理，从而产生最终的全景图。不利的是，即使图像传感器的成本降低，这种相机也非常昂贵，并且对于大多数普通用户来说是遥不可及的。也可以使用低成本的多向散射相机。然而，这种相机的交叠较窄，从而阻止拼接过程形成正确的变换(单应性)矩阵来对准图像。
发明内容
技术问题
本公开提供了用于将多个图像组合成三百六十度图像的方法和装置。
问题的解决方案
在一个实施例中，呈现三百六十(360)度图像的电子设备包括通信单元和处理器。所述通信单元被配置为从相机接收第一图像、第二图像和元数据。所述处理器被配置为通过以下方式呈现360度图像：对所述第一图像和所述第二图像进行变换以补偿光衰减；对变换后的所述第一图像和所述第二图像进行反变形；使反变形后的所述第一图像与所述第二图像对准；以及混合已对准的反变形后的所述第一图像和所述第二图像。
在另一实施例中，一种用于在具有处理器的电子设备中呈现三百六十(360)度图像的方法包括：从相机接收第一图像、第二图像和元数据。所述方法还包括对所述第一图像和所述第二图像进行变换以补偿光衰减并对变换后的所述第一图像和所述第二图像进行反变形。对变形后的所述第一图像和所述第二图像进行对准和混合。
在又一实施例中，提供了一种体现计算机程序的非暂时性计算机可读介质，该计算机程序包括计算机可读程序代码，该计算机可读程序代码在被执行时使至少一个处理设备从相机接收第一图像、第二图像和元数据。所述至少一个处理设备也对所述第一图像和所述第二图像进行变换以补偿光衰减，并且对变换后的所述第一图像和所述第二图像进行反变形。由至少一个处理设备对变形后的所述第一图像和所述第二图像进行对准和混合。
根据以下附图、描述和权利要求，本领域技术人员可以容易地明白其他技术特征。
附图说明
为了更完整地理解本公开，现在参考以下结合附图的描述，其中：
图1示出了根据本公开的示例计算系统；
图2和图3示出了根据本公开的计算系统中的示例设备；
图4示出了根据本公开的用于拼接图像的示例方法；
图5A示出了根据本公开的光衰减曲线；
图5B示出了根据本公开的用于对图像进行反变形的过程；
图5C示出了根据本公开的两个图像之间的交叠区域；
图6A和图6B示出了根据本公开的用于拼接图像的示例系统；以及
图7示出了根据本公开的用于拼接图像的方法的流程图。
具体实施方式
在进行下面的详细描述之前，阐述本专利文件中使用的某些单词和短语的定义可能是有利的。术语“耦接”及其衍生词是指两个或更多个元素之间的任何直接或间接通信，无论这些元素是否彼此物理接触。术语“发送”、“接收”和“通信”及其衍生词包括直接和间接通信。术语“包括”和“包含”及其衍生词意指包含但不限于此。术语“或”是包含性的，意思是和/或。短语“与......相关联”及其衍生词意味着包括、包括在内、与……互连、包含、包含在……内、连接到或与……连接、耦接到或与……耦接、与……可通信、与……协作、交错、并置、接近、与之相关、具有、拥有……的性质、与……有关系等。术语“控制器”表示控制至少一个操作的任何设备、系统或其部分。这种控制器可以用硬件或硬件和软件的组合和/或固件来实现。与任何特定控制器相关联的功能可以是集中的或分布式的，无论是本地还是远程。当与项目列表一起使用时，短语“至少一个”意味着可以使用所列项目中的一个或更多个的不同组合，并且可能仅需要列表中的一个项目。例如，“A、B和C中的至少一个”包括以下组合中的任一个：A、B、C、A和B、A和C、B和C以及A和B和C。
此外，下面描述的各种功能可以由一个或更多个计算机程序实现或支持，每个计算机程序由计算机可读程序代码形成并且实现在计算机可读介质中。术语“应用”和“程序”指的是适于在合适的计算机可读程序代码中实现的一个或更多个计算机程序、软件组件、指令集、进程、功能、对象、类、实例、相关数据或其一部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够被计算机访问的任何类型的介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字视频光盘(DVD)或任何其他类型的存储器。“非暂时性”计算机可读介质排除了传输暂时的电信号或其他信号的有线、无线、光学或其他通信链路。非暂时性计算机可读介质包括能够永久存储数据的介质和能够存储和稍后重写数据的介质，诸如可重写光盘或可擦除存储设备。
在本专利文件中提供了对其他某些单词和短语的定义。本领域普通技术人员应当理解，在许多情况下(如果不是大多数情况)，这样的定义适用于如此定义的单词和短语的先前以及将来的使用。
以下讨论的图1至图7以及用于描述本专利文件中的本公开的原理的各种实施例仅是示例性的，不应以任何方式解释为限制本公开的范围。本领域技术人员将理解，本公开的原理可以在任何适当布置的设备或系统中实现。
图1示出了根据本公开的示例计算系统100。图1中所示的计算系统100的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用计算系统100的其他实施例。
如图1所示，系统100包括网络102，该网络102促进了系统100中的各种组件之间的通信。例如，网络102可以在网络地址之间进行因特网协议(IP)分组、帧中继帧、异步传输模式(ATM)单元或其他信息的通信。网络102可以包括一个或更多个局域网(LAN)、城域网(MAN)、广域网(WAN)、全球网的全部或一部分(诸如因特网)或者一个或更多个地点处的任何其他一个或更多个通信系统。
网络102促进至少一个服务器104与各种客户端设备106-114之间的通信。服务器104包括可以为一个或更多个客户端设备提供计算服务的任何合适的计算或处理设备。服务器104例如可以包括一个或更多个处理设备、存储指令和数据的一个或更多个存储器以及促进通过网络102进行通信的一个或更多个网络接口。
相机105表示能够捕获周围环境的三百六十(360)度图像的任何合适的图像捕获设备。相机105可以具有一对镜头：前置镜头或后置镜头。在一些实施例中，可以使用任何数量的镜头，只要镜头能够捕获360度图像即可。
每个客户端设备106-114表示通过网络102与至少一个服务器或其他计算设备交互的任何合适的计算或处理设备。在本示例中，客户端设备106-114包括台式计算机106、移动电话或智能电话108、个人数字助理(PDA)110、膝上型计算机112和平板电脑114。然而，可以在计算系统100中使用任何其他或附加的客户端设备。
在本示例中，一些客户端设备108-114与网络102间接通信。例如，客户端设备108-110经由一个或更多个基站116(诸如蜂窝基站或eNodeB)进行通信。而且，客户端设备112-114经由一个或更多个无线接入点118(诸如IEEE 802.11无线接入点)进行通信。注意，这些仅用于说明，并且每个客户端设备可以与网络102直接通信，或者经由任何合适的中间设备或网络与网络102间接通信。
如下面更详细描述的，客户端设备106-114用于呈现和/或显示360度图像和/或视频。
尽管图1示出了计算系统100的一个示例，但是可以对图1进行各种改变。例如，系统100可以包括以任何合适布置的任何数量的每个组件。通常，计算和通信系统具有各种各样的配置，并且图1不将本公开的范围限制于任何特定配置。虽然图1示出了可以使用本专利文件中公开的各种特征的一个操作环境，但是这些特征可以被用在任何其他合适的系统中。
图2和图3示出了根据本公开的计算系统中的示例设备。特别地，图2示出了示例服务器200，图3示出了示例客户端设备300。服务器200可以表示图1中的服务器104，客户端设备300可以表示图1中的客户端设备106-114中的一个或更多个。
如图2所示，服务器200包括总线系统205，总线系统205支持至少一个处理设备210、至少一个存储设备215、至少一个通信单元220和至少一个输入/输出(I/O)单元225之间的通信。
处理设备210执行可以被加载到存储器230中的指令。处理设备210可以包括任何合适数量和类型的处理器或以任何合适布置的其他设备。处理设备210的示例类型包括微处理器、微控制器、数字信号处理器、现场可编程门阵列、专用集成电路和分立电路。
存储器230和永久存储器235是存储设备215的示例，其表示能够存储和促进信息(诸如临时或永久性的数据、程序代码和/或其他合适的信息)的检索的任何结构。存储器230可以表示随机存取存储器或任何其他合适的易失性或非易失性存储设备。永久存储器235可以包含支持数据的长期存储的一个或更多个组件或设备，诸如只读存储器、硬盘驱动器、闪存或光盘。
通信单元220支持与其他系统或设备的通信。例如，通信单元220可以包括网络接口卡或便于通过网络102进行通信的无线收发器。通信单元220可以支持通过任何合适的物理或无线通信链路的通信。
I/O单元225允许输入和输出数据。例如，I/O单元225可以通过键盘、鼠标、小键盘、触摸屏或其他合适的输入设备提供用于用户输入的连接。I/O单元225也可以将输出发送到显示器、打印机或其他合适的输出设备。
注意，虽然图2被描述为表示图1的服务器104，但是可以在一个或更多个客户端设备106-114中使用相同或相似的结构。例如，膝上型或台式计算机可以具有与图2中所示的结构相同或相似的结构。
在本文描述的实施例中，服务器104可以基于从相机105接收到的多个图像来呈现360度图像和/或视频。在一些实施例中，服务器可以从相机105接收图像以及元数据并且将图像和元数据提供给客户端设备106-114中的一个。
如图3所示，客户端设备300包括天线305、通信单元310、发送(TX)处理电路315、麦克风320和接收(RX)处理电路325。客户端设备300也包括扬声器330、处理器340、输入/输出(I/O)接口(IF)345、输入端350、显示器355和存储器360。存储器360包括操作系统(OS)程序361和一个或更多个应用362。
通信单元310从天线305接收由系统中的另一组件发送的输入RF信号。通信单元310对输入RF信号进行下变频以产生中频(IF)或基带信号。IF或基带信号被发送到RX处理电路325，该RX处理电路325通过对基带或IF信号进行滤波、解码和/或数字化来生成处理后的基带信号。RX处理电路325将处理后的基带信号发送到扬声器330(诸如用于语音数据)或发送到处理器340以进行进一步处理(诸如用于网络浏览数据)。
TX处理电路315从麦克风320接收模拟或数字语音数据或从处理器340接收其他输出的基带数据(诸如网络数据、电子邮件或交互式视频游戏数据)。TX处理电路315对输出的基带数据进行编码、多路复用和/或数字化，以生成处理后的基带或IF信号。通信单元310从TX处理电路315接收输出的处理后的基带或IF信号，并将基带或IF信号上变频为经由天线305发送的RF信号。
处理器340可以包括一个或更多个处理器或其他处理设备，并执行存储在存储器360中的OS程序361，以便控制客户端设备300的整体操作。例如，处理器340可以根据公知的原理通过通信单元310、RX处理电路325和TX处理电路315控制前向信道信号的接收和反向信道信号的发送。在一些实施例中，处理器340包括至少一个微处理器或微控制器。
处理器340也能够执行驻留在存储器360中的其他进程和程序。处理器340可以根据执行进程的需要将数据移入或移出存储器360。在一些实施例中，处理器340被配置为基于OS程序361或响应于从外部设备或操作者接收到的信号来执行应用362。处理器340也耦接到I/O接口345，该I/O接口345为客户端设备300提供连接到诸如膝上型计算机和手持计算机的其他设备的能力。I/O接口345是这些附件与处理器340之间的通信路径。
处理器340也耦接到输入端350和显示单元355。客户端设备300的操作者可以使用输入端350将数据输入到客户端设备300中。例如，输入端350可以是触摸屏、按钮和/或小键盘。显示器355可以是能够呈现(诸如来自网站的)文本和/或至少有限的图形的液晶显示器或其他显示器。
存储器360耦接到处理器340。存储器360的一部分可以包括随机存取存储器(RAM)、存储器360的另一部分可以包括闪存或其他只读存储器(ROM)。
如下面更详细描述的，客户端设备300可以接收多个图像以便呈现360度图像。
尽管图2和图3示出了计算系统中的设备的示例，但是可以对图2和图3进行各种改变。例如，可以对图2和图3中的各种组件进行组合、进一步细分或省略，并且可以根据特定需要添加附加组件。作为特定示例，处理器340可以被划分为多个处理器，诸如一个或更多个中央处理单元(CPU)和一个或更多个图形处理单元(GPU)。另外，尽管图3示出了配置为移动电话或智能电话的客户端设备300，但是客户端设备可以被配置为作为其他类型的移动或固定设备来操作。另外，与计算和通信网络一样，客户端设备和服务器可以具有各种各样的配置，并且图2和图3不将本公开限制于任何特定的客户端设备或服务器。
图4示出了用于拼接从诸如相机105的图像捕获设备接收到的图像402的方法400。方法400可以在服务器104中或在客户端设备106-114中的任何一个中执行。图像402可以包括两个图像：左图像402a和右图像402b。
如图4所示，光衰减补偿404被应用于图像402。进入相机105上的镜头的光在远离中心移动时产生强度损失。为了正确地呈现图像，应当补偿光衰减。然而，在校准相机镜头时，需要记录数千个样本以补偿光衰减。在本公开的实施例中，多项式方程(由线502表示)针对如图5A所示的数千个光样本504进行估计。将多项式方程作为元数据从相机105发送到呈现设备(即，服务器104或客户端设备106-114)。呈现设备使用多项式方程的逆来补偿光衰减。通过使用多项式方程，发送到呈现设备的数据量大大减少，从而减少了呈现图像所需的时间和处理能力。在一个实施例中，光衰减曲线的多项式近似可以表示为p(x)＝p1xn+p2xn-1+…+pnx+pn+1，其中x是距图像中心的半径。
在一个实施例中，与光衰减曲线(也称为镜头阴影曲线)对应的元数据可以包括例如表1中所示的语法和语义，其允许为不同的颜色分量传输不同的光衰减曲线：
【表1】
在补偿光衰减之后，在操作406中执行用于对图像402进行反变形的操作。反变形是几何失真的图像被转换成另一几何排列下的图像的过程。该变换包括三个主要步骤，如图5B所示。首先，左图像402a和右图像402b的坐标从2-D极坐标系转换为3-D球面域。例如，2-D图像中的点P的坐标通过其俯仰和滚动(在极坐标系中的zp和xp)转换为3-D点。其次，在3-D球面域中，针对点P导出等距离的ρ和θ。最后，使用等式1和等式2将3-D球面域中的点P的坐标转换为投影的2-D球面：
xprj＝ρ*cos(θ) 等式1
yprj＝ρ*sin(θ) 等式2
在对左图像402a和右图像402b进行反变形之后，执行自适应对准操作408。自适应对准操作涉及两步对准方法来对准反变形的图像。第一步涉及通过使用细标度结构(例如，棋盘)导出仿射矩阵来补偿机械未对准。反变形的图像中的一个使用导出的仿射矩阵变形为另一个反变形的图像。在第二步中，在第一对准的顶部执行更精细的对准。在第二步中执行的对准基于图像中的对象和/或场景。
为了执行第一步，呈现设备从包括仿射矩阵的相机105接收元数据。仿射矩阵将点A(x2，y2)变换为B(x1，y1)，如等式3所定义：
在第二步中，不是使交叠区域中的不连续性最小化，而是使交叠区域中的相似性最大化。第二步涉及对交叠区域中的对象进行快速模板匹配，这是归一化互相关的操作。因为在交叠区域中存在一定程度的曝光差异，所以要匹配的模板和基准图像应该被归一化。快速归一化互相关算法的定义如等式4所示：
等式4
其中，γ是归一化互相关，f是基准图像，是模板图像的平均值，是模板下的区域中的f(x，y)的平均值。
在第二步中，在反变形的左图像402a和右图像402b中指定要匹配的模板窗口和基准520，如图5C所示。在指定模板窗口和基准之后，使用等式4的归一化互相关来执行模板匹配。模板匹配返回相关矩阵，该相关矩阵的最大值指示最佳匹配发生的位移。该匹配位移表示模板(即，矩形窗口)必须移动多少来匹配基准。位移用于计算模板的新位置。基于原始模板位置和新模板位置，从原始模板和新模板的顶点形成四个匹配对。从八个匹配对(每个交叠区域中四个)估计仿射矩阵。因为只有八对，所以仿射估计是实时完成的，因此适应于场景。然后使用新的仿射矩阵来对图像中的一个进行变形。
在操作410中，将左图像402a和右图像402b混合在一起。位于大小为r×n的交叠区域中的r行和c列处的混合像素b(r,c)使用如下等式5进行计算：
b(r,c)＝alpha1*leftImage(r,c)+alpha2*rightImage(r,c) 等式5
其中，leftImage(r,c)和rightImage(r,c)是分别从左图像402a和右图像402b取得的位置(r,c)处的像素。在一个实施例中，在混合右交叠区域的情况下，alpha1＝c/n，其中n是混合区域的宽度。在混合左交叠区域的情况下，alpha1＝(n-c+1)/n。在另一实施例中，在混合右重叠区域的情况下，alpha2＝(n-c+1)/n。在混合左交叠区域的情况下，alpha2＝c/n。
在混合左图像402a和右图像402b之后，呈现360度图像412。
图6A和图6B示出了根据本公开的示例系统600和620。如图6A所示，系统600包括将图像608发送到服务器604的相机602(其可以表示图1的相机105)。服务器604可以表示图1中的服务器104。服务器604基于从相机602接收到的元数据来处理图像608以呈现360度图像610。元数据可以包括表示光衰减的多项式方程和表示相机602的镜头中的未对准的仿射矩阵。在呈现360度图像610之后，服务器604将360度图像610发送到客户端设备606。
在另一实施例中，如图6B所示，系统620包括将图像628和对应的元数据发送到服务器624的相机622。然后，服务器624将图像628和元数据发送到客户端设备626。然后，客户端设备626呈现图像以生成360度图像630。通过将图像628和元数据发送到客户端设备626，减少了端到端延迟，并且通过减少重采样的次数来提高视频质量。
图7示出了根据本公开的实施例的用于拼接图像的方法700。方法700可以在服务器200或客户端设备300中执行。为了便于解释，将参考客户端设备300来描述方法700。
在方法700中，在操作702中，通信单元310从相机接收至少两个图像(左图像和右图像)以及元数据。在操作704中，处理器340基于元数据来变换图像以补偿光衰减。在一些实施例中，元数据可以包括表示光衰减的多项式方程。在其他实施例中，元数据可以发送表示存储在客户端设备300的存储器360中的多项式方程的唯一标识符。该唯一标识符将用于通过处理器340从存储器360获得多项式方程。
在操作706中，变换后的图像由处理器340进行反变形。如上所述，对图像进行反变形涉及将左图像和右图像的坐标从2-D极坐标系转换为3-D球面域。在3-D球面域中，导出等距的ρ和θ。最后，将3-D球面域中的点P的坐标转换为所投影的2-D球面。
在操作708中，对反变形的左图像和右图像进行转换来校正相机镜头中的任何机械未对准。为了变换图像，处理器340将仿射矩阵应用于左图像和右图像。在一些实施例中，仿射矩阵被包括在来自相机的元数据中。在其他实施例中，元数据可以包括用于相机的唯一标识符，该唯一标识符对应于存储在客户端设备300的存储器360中的仿射矩阵。
在对图像进行转换以校正机械未对准之后，在操作710中基于图像中的对象或场景来对反变形的图像进行变换。在操作710中，处理器340在反变形的左图像和右图像的左边界和右边界处找到最佳匹配。然后，处理器340创建八(8)对对应的匹配点并对仿射变换矩阵求解。然后，使用仿射变换矩阵对左图像和右图像进行相应地变形。
在操作712中，将左图像和右图像混合在一起以创建360度图像。具体地，处理器340将左图像中的交叠区域中的像素与右图像中的交叠区域中的对应像素进行混合。对交叠区域中的每个像素重复该过程。
在上述实施例中，基于图像中的对象或场景来执行拼接。在其他实施例中，当人处于拼接边界时，拼接伪影可能是最明显的。当人处于边界时，可以使用肤色检测来自适应地改变拼接边界。在其他实施例中，光衰减补偿可能导致颜色伪影。为了避免颜色伪影，处理器340可以执行基于区域的局部光衰减补偿，例如，通过修正连续区域(诸如天空)边界处的光线衰减补偿曲线，使得颜色在边界周围连续。在其他实施例中，可以通过使用来自交叠区域的立体照片来提高几何对准。处理器340根据两个镜头之间交叠的图像来计算视差并计算深度信息。深度参数被用于确定用于几何对准的参数。
本申请中的描述都不应理解为暗示任何特定元素、步骤或函数是必须包括在权利要求范围内的必要元素。专利主题的范围仅由权利要求限定。此外，除非确切的词语“用于……的装置”后面跟着分词，否则没有一项权利要求旨在援引35U.S.C.§112(f)。申请人理解在权利要求中使用的任何其他术语，包括但不限于“机制”、“模块”、“设备”、“单元”、“组件”、“元素”、“构件”、“装置”、“机器”、“系统”、“处理器”或“控制器”，是指相关领域的技术人员已知的结构，并非旨在援引35U.S.C.§112(f)。
尽管已经利用示例性实施例描述了本公开，但是可以向本领域技术人员建议各种改变和修改。本公开旨在包含落入所附权利要求范围内的这些改变和修改。

Claims (15)

1.一种用于呈现三百六十(360)度图像的电子设备，所述电子设备包括：
通信单元，所述通信单元被配置为从相机接收第一图像、第二图像和元数据；以及
处理器，所述处理器被配置为通过以下方式呈现所述360度图像：
对所述第一图像和所述第二图像进行变换以补偿光衰减；
对变换后的所述第一图像和所述第二图像进行反变形；
使反变形后的所述第一图像和所述第二图像对准；以及
混合已对准的反变形后的所述第一图像和所述第二图像。
2.根据权利要求1所述的电子设备，其中，所述通信单元还被配置为将所呈现的360度图像发送到用户设备(UE)。
3.根据权利要求1所述的电子设备，其中，对所述第一图像和所述第二图像进行变换以补偿光衰减是基于所述元数据中包括的多项式方程进行的。
4.根据权利要求1所述的电子设备，其中，使反变形后的所述第一图像和所述第二图像对准包括：
对反变形后的所述第一图像和所述第二图像进行变换以补偿所述相机的机械未对准；以及
基于反变形后的所述第一图像和所述第二图像中的对象或场景中的至少一个，对反变形后的所述第一图像和所述第二图像进行变换。
5.根据权利要求4所述的电子设备，其中，对反变形后的所述第一图像和所述第二图像进行变换以补偿机械未对准是基于所述元数据中包括的仿射矩阵进行的。
6.根据权利要求4所述的电子设备，其中，基于反变形后的所述第一图像和所述第二图像中的对象或场景中的至少一个，对反变形后的所述第一图像和所述第二图像进行变换包括：
确定模板和基准以匹配在反变形后的所述第一图像与所述第二图像之间共享的至少一个边界；
匹配第一模板以返回相关矩阵；
确定所述第一模板与所述基准之间的位移；
基于所述位移来确定第二模板；
基于所述第一模板和所述第二模板来确定仿射矩阵；以及
基于所述仿射矩阵来对所述第一图像或所述第二图像中的至少一个进行变形。
7.根据权利要求6所述的电子设备，其中，匹配所述模板是基于归一化互相关进行的。
8.根据权利要求6所述的电子设备，其中，所述仿射矩阵是基于所述第一模板和所述第二模板中的多个顶点确定的。
9.一种通过电子设备来呈现三百六十(360)度图像的方法，所述方法包括：
从相机接收第一图像、第二图像和元数据；
对所述第一图像和所述第二图像进行变换以补偿光衰减；
对反变形后的所述第一图像和所述第二图像进行变换；
使反变形后的所述第一图像和所述第二图像对准；以及
混合已对准的反变形后的所述第一图像和所述第二图像。
10.根据权利要求9所述的方法，所述方法还包括将所呈现的360度图像发送到用户设备(UE)。
11.根据权利要求9所述的方法，其中，对所述第一图像和所述第二图像进行变换以补偿光衰减是基于所述元数据中包括的多项式方程进行的。
12.根据权利要求9所述的方法，其中，使反变形后的所述第一图像和所述第二图像对准包括：
对反变形后的所述第一图像和所述第二图像进行变换以补偿所述相机的机械未对准；以及
基于反变形后的所述第一图像和所述第二图像中的对象或场景中的至少一个，对反变形后的所述第一图像和所述第二图像进行变换。
13.根据权利要求12所述的方法，其中，对反变形后的所述第一图像和所述第二图像进行变换以补偿机械未对准是基于所述元数据中包括的仿射矩阵进行的。
14.根据权利要求12所述的方法，其中，基于反变形后的所述第一图像和所述第二图像中的对象或场景中的至少一个，对反变形后的所述第一图像和所述第二图像进行变换包括：
确定第一模板和基准以匹配在反变形后的所述第一图像和所述第二图像之间共享的至少一个边界；
匹配所述第一模板以返回相关矩阵；
确定所述第一模板与所述基准之间的位移；
基于所述位移来确定第二模板；
基于所述第一模板和所述第二模板来确定仿射矩阵；以及
基于所述仿射矩阵，对所述第一图像或所述第二图像中的至少一个进行变形。
15.根据权利要求14所述的方法，其中，匹配所述模板是基于归一化互相关进行的，并且
其中，所述仿射矩阵是基于所述第一模板和所述第二模板中的多个顶点确定的。
CN201780046606.0A 2016-09-08 2017-09-07 三百六十度视频拼接 Active CN109478318B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662384981P 2016-09-08 2016-09-08
US62/384,981 2016-09-08
US201662411806P 2016-10-24 2016-10-24
US62/411,806 2016-10-24
US15/585,042 2017-05-02
US15/585,042 US10085006B2 (en) 2016-09-08 2017-05-02 Three hundred sixty degree video stitching
PCT/KR2017/009826 WO2018048221A1 (en) 2016-09-08 2017-09-07 Three hundred sixty degree video stitching

Publications (2)

Publication Number Publication Date
CN109478318A true CN109478318A (zh) 2019-03-15
CN109478318B CN109478318B (zh) 2022-05-24

Family

ID=61281523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780046606.0A Active CN109478318B (zh) 2016-09-08 2017-09-07 三百六十度视频拼接

Country Status (5)

Country Link
US (1) US10085006B2 (zh)
EP (1) EP3497668B1 (zh)
KR (1) KR102351019B1 (zh)
CN (1) CN109478318B (zh)
WO (1) WO2018048221A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112825546A (zh) * 2019-11-21 2021-05-21 通用汽车环球科技运作有限责任公司 使用中间图像表面生成合成图像

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4254035A3 (en) * 2016-10-12 2023-12-06 Samsung Electronics Co., Ltd. Method, apparatus, and recording medium for processing image
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN112369017A (zh) * 2018-07-11 2021-02-12 诺基亚技术有限公司 用于利用基于网络的媒体处理的虚拟现实内容拼接控制的方法和装置
US11798126B2 (en) 2018-07-30 2023-10-24 Hewlett-Packard Development Company, L.P. Neural network identification of objects in 360-degree images
US20210378520A1 (en) * 2020-05-29 2021-12-09 Nec Laboratories America, Inc. Free flow fever screening
US11849100B2 (en) * 2021-05-31 2023-12-19 Canon Kabushiki Kaisha Information processing apparatus, control method, and non-transitory computer readable medium

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101984463A (zh) * 2010-11-02 2011-03-09 中兴通讯股份有限公司 全景图合成方法及装置
US20130077890A1 (en) * 2008-08-29 2013-03-28 Adobe Systems Incorporated Metadata-Driven Method and Apparatus for Constraining Solution Space in Image Processing Techniques
CN104025151A (zh) * 2012-01-31 2014-09-03 索尼爱立信移动通讯有限公司 用于创建组合图像的方法和电子装置
US20150138311A1 (en) * 2013-11-21 2015-05-21 Panavision International, L.P. 360-degree panoramic camera systems
CN105100600A (zh) * 2014-05-21 2015-11-25 通用汽车环球科技运作有限责任公司 用于全景可视系统中的自动校准的方法和装置
US9204041B1 (en) * 2012-07-03 2015-12-01 Gopro, Inc. Rolling shutter synchronization
US20160028950A1 (en) * 2014-07-23 2016-01-28 Disney Enterprises, Inc. Panoramic Video from Unstructured Camera Arrays with Globally Consistent Parallax Removal
CN105550995A (zh) * 2016-01-27 2016-05-04 武汉武大卓越科技有限责任公司 隧道影像拼接方法及系统
CN105608667A (zh) * 2014-11-20 2016-05-25 深圳英飞拓科技股份有限公司 一种全景拼接的方法及装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3974964B2 (ja) * 1996-11-08 2007-09-12 オリンパス株式会社 画像処理装置
US7298392B2 (en) 2003-06-26 2007-11-20 Microsoft Corp. Omni-directional camera design for video conferencing
US7400782B2 (en) * 2002-08-28 2008-07-15 Arcsoft, Inc. Image warping correction in forming 360 degree panoramic images
US8251512B2 (en) * 2004-07-08 2012-08-28 Imax Corporation Equipment and methods for the display of high resolution images using multiple projection displays
US20100045773A1 (en) 2007-11-06 2010-02-25 Ritchey Kurtis J Panoramic adapter system and method with spherical field-of-view coverage
US8842190B2 (en) * 2008-08-29 2014-09-23 Adobe Systems Incorporated Method and apparatus for determining sensor format factors from image metadata
US8368773B1 (en) * 2008-08-29 2013-02-05 Adobe Systems Incorporated Metadata-driven method and apparatus for automatically aligning distorted images
US20100073499A1 (en) * 2008-09-25 2010-03-25 Apple Inc. Image capture using separate luminance and chrominance sensors
US8400468B2 (en) * 2009-08-27 2013-03-19 Seiko Epson Corporation Projector masks for calibrating projector-based display systems
US9470392B2 (en) * 2010-10-01 2016-10-18 Robert L. Santiago Ornament with backlit film image
US9036001B2 (en) 2010-12-16 2015-05-19 Massachusetts Institute Of Technology Imaging system for immersive surveillance
EP2757527B1 (en) * 2013-01-16 2018-12-12 Honda Research Institute Europe GmbH System and method for distorted camera image correction
US20140347709A1 (en) * 2013-05-21 2014-11-27 Stmicroelectronics, Inc. Method and apparatus for forming digital images
US10547825B2 (en) 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
AU2015200908B2 (en) * 2014-11-05 2020-09-17 National Taiwan University Three-dimensional optical coherence tomography apparatus and its application

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130077890A1 (en) * 2008-08-29 2013-03-28 Adobe Systems Incorporated Metadata-Driven Method and Apparatus for Constraining Solution Space in Image Processing Techniques
CN101984463A (zh) * 2010-11-02 2011-03-09 中兴通讯股份有限公司 全景图合成方法及装置
CN104025151A (zh) * 2012-01-31 2014-09-03 索尼爱立信移动通讯有限公司 用于创建组合图像的方法和电子装置
US9204041B1 (en) * 2012-07-03 2015-12-01 Gopro, Inc. Rolling shutter synchronization
US20150138311A1 (en) * 2013-11-21 2015-05-21 Panavision International, L.P. 360-degree panoramic camera systems
CN105100600A (zh) * 2014-05-21 2015-11-25 通用汽车环球科技运作有限责任公司 用于全景可视系统中的自动校准的方法和装置
US20160028950A1 (en) * 2014-07-23 2016-01-28 Disney Enterprises, Inc. Panoramic Video from Unstructured Camera Arrays with Globally Consistent Parallax Removal
CN105608667A (zh) * 2014-11-20 2016-05-25 深圳英飞拓科技股份有限公司 一种全景拼接的方法及装置
CN105550995A (zh) * 2016-01-27 2016-05-04 武汉武大卓越科技有限责任公司 隧道影像拼接方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHICHENG WANG等: "An automatic panoramic image mosaic method based on graph model", 《MULTIMEDIA TOOLS AND APPLICATIONS》 *
黄立勤等: "全景图拼接中图像融合算法的研究", 《电子与信息学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112825546A (zh) * 2019-11-21 2021-05-21 通用汽车环球科技运作有限责任公司 使用中间图像表面生成合成图像

Also Published As

Publication number Publication date
EP3497668A4 (en) 2019-06-19
EP3497668A1 (en) 2019-06-19
US20180070070A1 (en) 2018-03-08
EP3497668B1 (en) 2021-10-27
KR102351019B1 (ko) 2022-01-14
US10085006B2 (en) 2018-09-25
KR20190040970A (ko) 2019-04-19
WO2018048221A1 (en) 2018-03-15
CN109478318B (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
CN109478318A (zh) 三百六十度视频拼接
US10740431B2 (en) Apparatus and method of five dimensional (5D) video stabilization with camera and gyroscope fusion
KR102375307B1 (ko) 가상 현실 뷰포트를 공유하기 위한 방법, 장치, 및 시스템
US9870602B2 (en) Method and apparatus for fusing a first image and a second image
US10593028B2 (en) Method and apparatus for view-dependent tone mapping of virtual reality images
US20160301840A1 (en) Photographing Method for Dual-Lens Device and Dual-Lens Device
US10827165B2 (en) Enhanced imaging for thin form factor head mounted displays and near light field displays
US10147224B2 (en) Method and apparatus for generating omni media texture mapping metadata
US9727137B2 (en) User view point related image processing apparatus and method thereof
US20190238853A1 (en) Method and apparatus for encoding and decoding an omnidirectional video
CN110119260B (zh) 一种屏幕显示方法及终端
US20150124052A1 (en) Image processing apparatus, information processing apparatus, and image processing method
CN111145192A (zh) 图像处理方法及电子设备
US20200007794A1 (en) Image transmission method, apparatus, and device
CN114008675A (zh) 灭点立体图像校正
US20120127280A1 (en) Apparatus and method for generating three dimensional image in portable terminal
CN104077768A (zh) 一种鱼眼镜头径向畸变的标定方法及标定装置
CN107592520B (zh) Ar设备的成像装置及成像方法
US9536133B2 (en) Display apparatus and control method for adjusting the eyes of a photographed user
US20130147980A1 (en) Apparatus and associated method for face tracking in video conference and video chat communications
US20220070426A1 (en) Restoration of the fov of images for stereoscopic rendering
KR20140054797A (ko) 단말 및 이를 이용한 스테레오 카메라 촬영 영상의 보정 방법
CN112738399B (zh) 图像处理方法、装置和电子设备
CA2793631C (en) Apparatus and associated method for face tracking in video conference and video chat communications
US20180167599A1 (en) Apparatus and method for generating image of arbitrary viewpoint using camera array and multi-focus image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant