CN105376500B - 用于产生全景视频的视频处理设备及其方法 - Google Patents

用于产生全景视频的视频处理设备及其方法 Download PDF

Info

Publication number
CN105376500B
CN105376500B CN201510508376.8A CN201510508376A CN105376500B CN 105376500 B CN105376500 B CN 105376500B CN 201510508376 A CN201510508376 A CN 201510508376A CN 105376500 B CN105376500 B CN 105376500B
Authority
CN
China
Prior art keywords
video
panoramic
camera
controller
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510508376.8A
Other languages
English (en)
Other versions
CN105376500A (zh
Inventor
徐周希
金昌容
白承秦
许容硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR10-2014-0106795 priority Critical
Priority to KR1020140106795A priority patent/KR101946019B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105376500A publication Critical patent/CN105376500A/zh
Application granted granted Critical
Publication of CN105376500B publication Critical patent/CN105376500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23238Control of image capture or reproduction to achieve a very large field of view, e.g. panorama
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23248Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor for stable pick-up of the scene in spite of camera body vibration
    • H04N5/23251Motion detection
    • H04N5/23261Motion detection by distinguishing pan/tilt from motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23293Electronic viewfinders
    • H04N5/232939Electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Abstract

提供一种用于产生全景视频的视频处理设备及其方法。所述视频处理设备包括:存储器,被配置为存储由相机捕捉的视频;控制器,被配置为在包含在视频中的多个关键帧中的每个关键帧中将目标对象与背景图像分离,拼接分离的背景图像以产生全景背景图像,将目标对象与全景背景图像进行合成以获取与所述多个关键帧对应的多个全景图像,并沿时间轴组合全景图像以产生全景视频。

Description

用于产生全景视频的视频处理设备及其方法
本申请要求于2014年8月18日提交到韩国知识产权局的第10-2014-0106795号韩国专利申请的优先权,所述韩国专利申请的全部公开通过引用包含于此。
技术领域
与示例性实施例一致的设备和方法涉及视频处理,更具体地讲,涉及一种用于产生全景视频的视频处理。
背景技术
近来,随着由数字图像设备显示的图像的清晰度和分辨率提高,全景视频作为在一个图像中向观看者提供更多的图像信息的尝试已得到关注。这样的关注与从传统的4:3屏幕转换为16:9屏幕以进行图像显示相关,此外,这样的关注与通过全景视频获取真实图像的视觉需要相关。
例如,全景视频适合于表示体育场中的足球运动员的形象。关于传统的体育广播,当整个体育场被显示为一个图像时,足球运动员的形象被显示得相对小,并且因体育场在水平方向上较长的形状,图像也不可避免地包含体育场之外的形象,因此,体育场的仅仅一部分而不是整个体育场被显示给观看者。然而,当全景视频用于体育广播中时,整个体育场可被同时显示给观看者。
全景视频包括多个连续全景图像。在现有技术中,为了获取全景视频,通过连接由多个相机拍摄的体育场的部分图像来产生全景视频。因此,如果没有在要求的条件(例如,要求的方向、曝光等)下执行由多个相机进行的拍摄,则难以在拍摄之后产生全景视频。
因此,需要用于更方便有效地产生全景视频的方法。
发明内容
示例性实施例可克服以上缺点和以上没有描述的其它缺点。此外,示例性实施例无需克服上述缺点,并且可不克服上述任何问题。
示例性实施例提供一种用于使用包含在视频中的多个关键帧来产生全景视频的视频处理设备及其方法。
根据示例性实施例的一方面,提供一种视频处理设备,所述视频处理设备可包括:存储器,被配置为存储由相机捕捉的视频;控制器,被配置为在包含在视频中的多个关键帧中的每个关键帧中将目标对象与背景图像分离,拼接分离的背景图像以产生全景背景图像,将目标对象与全景背景图像进行合成以获取与所述多个关键帧对应的多个全景图像,并沿时间轴组合全景图像以产生全景视频。
控制器可从在平移相机时捕捉的视频的平移区间的帧选择关键帧。
所述视频处理设备还可包括:相机,被配置为捕捉视频;运动检测传感器,被配置为检测相机的运动,其中,控制器将与由运动检测传感器检测的相机的平移运动对应的视频区间确定为平移区间。
控制器可分析包含在视频所包括的每个帧中的对象的属性,并将具有重叠背景图像的多个帧选择为关键帧。
所述视频处理设备还可包括:显示器,被配置为显示视频,其中,控制器可在再现视频时控制显示器以显示视频中的所述多个关键帧的时序显示全景图像。
控制器可产生所述多个全景图像,用全景图像来替换关键帧,并将全景图像存储在存储器中,其中,在所述多个全景图像中,目标对象的位置和形状中的至少一个被改变与关键帧的数量一样多的次数以表现目标对象的运动。
控制器可基于关于用于再现视频的显示器的扩展显示识别数据(EDID)信息来确定全景视频的最大宽高比,并产生具有确定的最大宽高比的全景视频。
控制器可调整关键帧以使关键帧的背景图像对齐,并使用每个调整的关键帧来产生全景视频。
控制器可在视频被再现时在显示器上显示指示产生全景图像的指示符。
当在显示器上再现视频时,控制器可将指示符显示为与视频重叠,并根据全景视频的属性改变指示符的大小、形状、位置和颜色中的至少一个。
根据另一示例性实施例的一方面,提供一种用于产生全景视频的方法,所述方法可包括:存储由相机捕捉的视频;在包含在视频中的多个关键帧中的每个关键帧中将目标对象与背景图像分离;拼接分离的背景图像以产生全景背景图像;将目标对象与全景背景图像进行合成以获取与所述多个关键帧对应的多个全景图像;沿时间轴组合全景图像以产生全景视频。
可从在平移相机时捕捉的视频的平移区间的帧选择关键帧。
所述方法还可包括:检测相机的运动,其中,平移区间为与在相机的运动中检测到的相机的平移运动对应的视频区间。
所述方法还可包括:分析包含在视频所包括的每个帧中的对象的属性,并将具有重叠背景图像的多个帧选择为关键帧。
所述方法还可包括:当再现视频时,以显示视频中的关键帧的时序显示包括全景图像的全景视频。
所述方法还可包括:产生全景图像,用全景图像来替换关键帧,并存储全景图像,其中,在全景图像中,目标对象的位置和形状中的至少一个被改变与关键帧的数量一样多的次数以表现目标对象的运动。
所述方法还可包括:基于关于用于再现视频的显示器的扩展显示识别数据(EDID)信息来确定全景视频的最大宽高比。
产生全景视频的步骤可包括:调整关键帧以使关键帧的背景图像对齐,并使用每个调整的关键帧来产生全景视频。
显示全景视频的步骤可包括:显示指示产生全景视频的指示符。
显示全景视频的步骤可包括:当再现视频时,将指示符显示为与视频重叠,并根据全景视频的属性改变指示符的大小、形状、位置和颜色中的至少一个。
根据各种示例性实施例,即使用户在视频捕捉时间不执行捕捉用于获取全景视频的视频,也可在将来使用视频数据获取全景视频,从而提高用户便利。
本发明构思的另外和/或其它方面和优点将在下面的描述中部分地阐明,并且从描述中部分将是显然的,或者可通过示例性实施例的实施而得知。
附图说明
通过参照附图描述特定示例性实施例,以上和/或其它方面将更加清楚,在附图中:
图1是示出根据示例性实施例的视频处理设备的配置的示意性框图;
图2至图4是解释根据示例性实施例的用于处理视频以产生全景视频的处理的示图;
图5是示出根据另一示例性实施例的视频处理设备的配置的示意性框图;
图6是解释根据示例性实施例的用于使用平移区间产生全景视频的方法的示图;
图7是示出根据另一示例性实施例的视频处理设备的配置的示意性框图;
图8是示出根据另一示例性实施例的视频处理设备的配置的详细框图;
图9是根据示例性实施例的存储器的详细框图;
图10和图11是解释根据示例性实施例的用于使用平移区间产生全景图像的方法的示图;
图12是解释根据示例性实施例的用于显示全景视频的方法的示图;
图13是解释根据示例性实施例的用于产生全景视频的方法的流程图;
图14是解释根据另一示例性实施例的用于产生全景视频的方法的流程图。
具体实施方式
现在将参照附图更详细地描述示例性实施例。
图1是示出根据示例性实施例的视频处理设备100的配置的示意性框图。
参照图1,根据示例性实施例的视频处理设备100包括存储器110和控制器120。
存储器110存储由相机捕捉的视频。视频可以是由一个相机捕捉的视频或者由多个相机以不同角度捕捉的多个视频。此外,存储器110可用作用于临时存储包括在视频中的图像帧(在下文中,被称为“帧”)的缓冲器。详细地,存储器110可包括用于临时存储在产生全景视频之前的图像帧的缓冲器。此外,存储器110可存储用于处理视频以产生全景视频的各种软件模块和相关信息,并且必要时,将关于各种软件模块和相关信息的信息输出到控制器120。
捕捉的视频可被存储在联网的系统中以及存储器110中。在这种情况下,可使用通信单元(未示出)远程发送和复制视频。
控制器120控制视频处理设备100的总体操作。
具体地,控制器120可在包括在视频中的多个关键图像帧(在下文中,被称为“关键帧”)中将目标对象与背景图像分离。可从视频中的连续帧检测关键帧。可通过分析每一帧来检测关键帧。根据分析操作,视频中的具有大的变化的帧被检测为关键帧。例如,可通过分析相机运动、对象运动、背景运动等从视频检测关键帧。详细地,控制器120可分析相机运动的方向、运动向量的变化的方向和大小、对象跟踪的方向等以检测关键帧。
此外,控制器120可使用关于视频的每秒帧数(FPS)信息和关于相机的详细信息来检测关键帧。关于相机的详细信息是指关于拍摄视频的相机的位置、方向、角度等的信息。关于相机的详细信息可以是包括在视频中的信息。
目标对象是指关键帧中的与背景图像分离的运动对象。即,观看者感兴趣观看的运动对象可以是目标对象。例如,当观看者观看车辆通过安静的乡间小道的视频时,车辆是目标对象。多个目标对象可存在于视频中。例如,关于体育广播,目标对象可以是足球运动员和球。如上所述,关键帧可被提取以在减少用于处理所有帧的负担的同时充分表现目标对象的运动。
在下文中,图2至图4是解释根据示例性实施例的用于处理视频以产生全景视频的处理的示图。
图2和图3是解释用于拼接从帧分离的背景图像以产生全景图像的处理的示图。
如图2中所示,输入视频的(与全景视频产生时间段相应的)部分可包括n帧。为了便于描述,图2仅示出从全景视频产生时间段的n帧提取的多个关键帧之中的第一帧11、中间帧12和最终帧13。输入视频是通过捕捉人14和小狗15通过公路的图像所产生的视频。在这种情况下,人14和小狗15对应于目标对象。从捕捉视频的相机的视点,目标对象的方向为从左至右的方向,在目标对象运动时背景图像沿从右至左的方向移动。
控制器120可从输入视频检测运动对象以将人14和小狗15确定为目标对象。这里,控制器120可将具有预设变化或更多变化的对象确定为运动对象。随后,控制器120在每个关键帧或每个选择的关键帧中将目标对象14和15与背景图像分离。可使用颜色和运动信息将目标对象14和15与背景图像分离。因此,可产生与目标对象14和15分离的背景图像21、22和23,控制器120可连接背景图像以产生一个全景背景图像20。在这种情况下,为了平滑地连接背景图像,可应用图像处理方法(诸如,总体匹配、图像对齐、拼接和混合)。具体地,可使用孔填充图像处理方案来填充在与目标对象14和15分离的背景图像21、22和23中产生的空区域24和25。因此,可产生在水平方向上较长的全景背景图像。
如图3中所示,从每个关键帧提取的目标对象可与背景图像分离以产生新的帧31、32和33。在这种情况下,产生的每个新的帧31、32和33是没有背景图像的提取的目标对象的图像。
图4是解释用于合成提取的目标对象和产生的全景背景图像以产生用于构成全景视频的全景图像的方法的示图。
如图4中所示,可通过将目标对象叠加在全景背景图像上来产生全景图像。在这种情况下,可应用用于平滑合成的抠图技术。因此,可产生分别与t=1和t=n相应的全景图像41和42,其中,目标对象14和15从左至右运动而不改变背景图像。
控制器120可检测平移区间,并从包括在平移区间中的帧选择多个关键帧,其中,平移区间包括在相机被平移以产生视频时捕捉的帧。平移是指在通过使持有拍摄装置的拍摄者、拍摄者的身体部位(例如,用于持有拍摄装置的手臂)或拍摄装置绕固定位置旋转而沿直线轨迹改变拍摄方向的同时执行的拍摄。例如,可通过沿向右或向左的方向移动相机安装头或相机来执行用于显示相对侧的情况或全景场景的相机操作。可使用相机安装头水平地或竖直地移动相机头,在这点上,在该说明书中,平移包括水平移动和竖直移动中的任一个。例如,在足球广播的情况下,由相机捕捉的场景可通过缓慢地将相机的方向从体育场的中线朝向球门柱移动而改变。在这种情况下,包括在移动相机的同时捕捉的帧的帧区间为平移区间。
可使用视频的运动向量信息提取平移区间。控制器120使用运动向量信息分析视频中的运动。作为通过使用运动向量信息分析视频运动所获得的结果,当视频在视频的预定区间中示出至预定方向的运动时,控制器120可将示出运动的区间提取为平移区间。
此外,控制器120可分析一个或更多个特征点的运动以提取平移区间。例如,控制器120可提取帧的特征点并分析特征点的运动方向以提取平移区间。在这种情况下,控制器120可将图像划分为多个块,提取包含在每个划分的块中的特征点,并还从整个图像提取特征点。此外,控制器120可使用提取的特征点与一个或更多个周围像素之间的差值来分析帧的运动。
当使用以上平移区间提取方法时,可从不是由相机捕捉的视频(例如,动画、计算机图形等)提取平移区间。例如,在包括背景和对象的动画的情况下,可使用关于动画的运动向量信息来分析动画的背景的运动,或者可提取动画帧的特征点以提取与在相机平移期间进行的拍摄相同的平移区间。平移区间是指通过分析运动向量信息或背景运动的构成全景视频的视频区间以及在平移相机的同时拍摄的区间。
响应于平移区间被提取,控制器120可从包括在提取的平移区间中的帧选择多个关键帧。在这种情况下,控制器120可分析包含在构成视频的每个帧中的对象的属性,并将具有共同目标对象或共同背景图像的多个帧选择为关键帧。也就是说,为了拼接关键帧,需要帧之间的连续性,共同目标对象或共同背景图像可以是拼接标准。
此外,控制器120可产生多个全景图像,并用多个全景图像来替换关键帧,其中,在多个全景图像中,目标对象的位置和形状中的至少一个被改变与关键帧的数量一样多的次数。可选择地,控制器120可针对包含多个关键帧的所有帧中的每一帧产生全景图像,并使用所有帧来产生多个全景图像。例如,从平移区间获得的额外区域可与右区域和左区域或者上区域和下区域拼接,随后,视频的所有帧可被全景图像替换。在这种情况下,全景视频产生区间可以是视频的整个区间。通过用全景图像替换多个关键帧所获得的全景视频可被存储在存储器中。
控制器120可基于扩展显示识别数据(EDID)信息来确定全景视频的最大宽高比,并产生具有确定的最大宽高比的全景视频。EDID信息可以是用于根据适合于显示设备的条件确定输出信号的信息,并且可被存储在显示设备中的非易失存储器中。当视频处理设备100包括显示器时,EDID信息可被存储在视频处理设备100的内部存储器中。EDID信息定义诸如基本显示参数和属性的数据。例如,当视频处理设备100被实施为个人计算机(PC)时,如果PC与电视(TV)连接,则PC可检测关于TV的EDID信息以根据即插即用功能的定义输出适合于TV的图像信号。控制器120可基于存储在显示设备的存储器中的EDID信息获取关于显示设备的宽高比的信息,并根据该信息确定全景视频的最大宽高比。例如,当显示设备的宽高比为16:9时,全景视频的竖直宽度减小,另一方面,水平宽度可相对进一步增加以显示添加到全景视频的区域。竖直宽度可减小,从而可在全景视频的上部和下部产生空框(letterbox)。也就是说,通过提取平移区间获得的额外区域的更多部分可被显示。全景视频的宽高比可根据平移区间的范围和关键帧的选择范围的设置而改变。例如,可针对在沿向右或向左的方向平移相机的同时拍摄的帧区间的两端之间的距离来设置平移区间的范围。在这种情况下,当平移区间的范围被设置得宽时,全景视频的宽高比也可增加。此外,全景视频的宽高比可根据选择的关键帧的数量或其背景图像而改变。
多个显示设备可彼此直接同步或可通过机顶盒彼此同步,并可显示由一个显示设备显示的一个图像。当视频处理设备100连接到多个显示设备时,控制器120还可通过EDID信息识别显示设备的数量和分辨率,以确定全景图像的最大宽高比。
此外,控制器120可调整多个关键帧以使多个关键帧的背景图像对齐。例如,由于用于视频捕捉的相机不总是以统一的方式向右和向左移动或者向上和向下移动,因此,相邻帧的重叠部分可因相机的抖动和旋转而不能准确地彼此匹配。因此,控制器120可适当地移动或旋转关键帧以进行匹配来产生全景图像。例如,当将进行匹配的帧被移动或旋转时,帧可被连接以使重叠的多条颜色信息之间的相似度最大化来产生全景图像。
图5是示出根据另一示例性实施例的视频处理设备100’的配置的示意性框图。如图5所示,根据本示例性实施例,视频处理设备100’包括存储器110、控制器120、显示器130、接口140。在下文中,这里将省略与图1相关的重复描述。
显示器130显示全景视频。具体地,当视频被再现时,显示器130可以以显示视频中的多个关键帧的时序显示全景视频。在这种情况下,用于指示产生全景视频的指示符可被显示在显示器上。例如,当视频被再现时,在视频的再现期间的全景视频产生区间可被不同地指示,并且指示符可被显示为与全景图像的一部分重叠。在这种情况下,指示符的大小、形状、位置和颜色可根据全景视频的属性而改变。例如,当全景视频的宽高比为10:3时,可以产生10:3的矩形形式的指示符,并且指示符可被显示为与视频的一部分重叠。相似地,当全景视频的宽高比为21:9时,指示符还可具有21:9的比率的矩形形状。
显示器130可被实施为液晶显示器(LCD)、有机发光二极管(OLED)等,但不限于此。此外,必要时,显示器130可被实施为柔性显示器、透明显示器等。
因此,视频处理设备100’可被实施为具有显示功能的各种类型的设备,诸如数字TV、PC、导航装置、信息亭、数字信息显示器(DID)等。当视频处理设备100’被实施为数字TV时,视频处理设备100’可被遥控器控制。
在下文中,为了方便,图5和图6示出视频处理设备100’被实施为数字TV的情况。然而,本发明构思不限于此,除了作为固定设备的数字TV之外,视频处理设备100’可被实施为能够处理图像的各种便携式显示设备,诸如各种类型的便携式媒体播放器、平板PC和电子词典。
接口140是用于接收视频的组件。输入图像或视频可通过外部相机200被捕捉,视频处理设备100’可接收拍摄信息(诸如,外部相机200的相机姿态信息)。外部相机200可以是诸如具有拍摄功能的数字相机和蜂窝电话的成像设备。根据示例性实施例,由外部相机200捕捉的视频可通过接口140被接收以产生全景视频。这里,捕捉视频的相机200可以是多个相机,由多个相机捕捉的视频可以是多视点图像。在这种情况下,控制器120还可根据用于产生全景视频的一般方法连接多视点图像。这样,视频处理设备100’可处理通过接口140接收的视频以产生全景视频。
图6是解释根据示例性实施例的用于使用平移区间产生全景视频的方法的示图。如图6中所示,TV 100’可通过调谐器从广播设备接收由相机捕捉的图像。在这种情况下,TV可同时接收相机姿态信息等。包括在TV中的存储器可存储接收的图像以产生全景视频。当从广播设备接收的图像是由相机200(图5)捕捉的图像时,由于这些图像是通过平移相机200获得的,因此图像中示出的区域可改变。例如,当接收的图像是关于体育事件(诸如足球比赛)时,假设相机200沿方向610拍摄体育场,随后通过沿方向620平移相机200来拍摄左球门柱以显示左球门柱,或者通过沿方向630平移相机200来拍摄右球门柱以显示右球门柱。在这种情况下,当从平移区间中的帧选择多个关键帧611、621和631时,在关键帧中可存在重叠区域。因此,可考虑重叠区域将通过从关键帧分离作为一个目标对象的一个运动员的图像或作为多个目标对象的多个运动员的图像所获得的帧彼此拼接以产生全景背景图像。在这种情况下,全景背景图像可以是包含右球门柱和左球门柱的背景图像。之后,目标对象的图像被合成以获取构成全景视频的全景图像。获取的全景图像沿时间轴被组合以产生全景视频,并且通过压缩全景视频所准备的全景视频文件可被存储在包括在TV中的存储器中。
图7是示出根据另一示例性实施例的视频处理设备100”的配置的示意性框图。如图7中所示,根据本示例性实施例的视频处理设备100”包括存储器110、控制器120、显示器130、相机190和运动检测传感器160。在下文中,这里将省略与图1和图5相关的重复描述。
相机190在控制器120的控制下执行一般的数字相机功能以拍摄从外部拍摄目标输入的可见光。相机190可包括包含电荷耦合器件(CCD)等的成像单元,并包括用于照度测量的照度传感器、用于测量距对象的距离的距离传感器等。控制器120可处理从相机190输出的图像数据以将所述数据转换为适当格式的数字图像数据。因此,视频处理设备100”可从由包括在视频处理设备100”中的相机190捕捉的视频产生全景视频。
运动检测传感器160可以是用于检测视频处理设备100”的运动的组件。当运动检测传感器160检测到视频处理设备100”的运动时,控制器120可将由包括在视频处理设备100”中的相机190捕捉的视频区间确定为平移区间。也就是说,视频处理设备100”可在不使用用于提取运动向量或特征点的方法的情况下,从包括在视频处理设备100”中的运动检测传感器160确定视频处理设备100”的相机190是否被平移,并提取捕捉的视频中的平移区间。运动检测传感器160可包括用于测量视频处理设备100”的相机190的运动或旋转角度的各种传感器,诸如加速度传感器、地磁传感器等。
图8是示出根据另一示例性实施例的视频处理设备的配置的详细框图。如图9所示,根据本示例性实施例的语音识别设备100”包括存储器110、控制器120、显示器130、接口140、通信单元150、运动检测传感器160、音频输出单元170、音频处理器180和相机190。在下文中,这里将省略与图7相关的重复描述。
存储器110存储用于驱动视频处理设备100”的各种模块以及捕捉的视频和通过处理视频产生的全景视频。具体地,以下将参照图9描述存储器110的配置。
图9是根据示例性实施例的存储器110的详细框图。
参照图9,存储器110可存储包括以下模块的软件:基本模块111、感测模块112、通信模块113、呈现模块114、网页浏览器模块115、服务模块116和全景产生模块117。
基本模块111是指处理从包括在视频处理设备100”中的硬件发送的信号并将所述信号发送到更高层模块的基本模块。存储模块111-1是用于管理数据库(DB)或注册表的程序模块。安全模块111-2是用于支持对硬件、请求许可、安全存储等的认证的程序模块,网络模块111-3是用于支持网络访问的模块。
感测模块112是从各种传感器收集信息,并分析和管理收集的信息的模块。
通信模块113是用于与外部装置通信的模块。通信模块113可包括消息传送模块和电话模块。
呈现模块114是用于配置显示图像的模块。呈现模块114包括用于再现和输出多媒体内容的多媒体模块以及用于执行用户界面(UI)和图形处理的UI渲染模块。
网页浏览器模块115是执行网页浏览以访问网络服务器的模块。
服务模块116是包括用于提供各种服务的各种应用的模块。详细地,服务模块116可包括各种程序模块,诸如社交网络服务(SNS)程序、内容再现程序等。
全景产生模块117可包括用于产生全景视频的各种模块,并可包括显示设备检测模块117-1、全景产生区间检测模块117-2、关键帧选择模块117-3全景背景产生模块117-4和合成模块117-5。
显示设备检测模块117-1可检测关于显示设备的EDID信息以识别连接的显示设备的数量和分辨率,并确定全景视频的最大宽高比。
全景产生区间检测模块117-2可分析相机运动的方向、运动向量的变化的方向和大小、对象跟踪的方向等,以产生能够产生全景视频的帧区间(诸如平移区间)。
关键帧选择模块117-3可考虑装置的数量和最大分辨率来确定需要的关键帧的最小数量,并使用相机运动的方向、运动向量的变化的方向和大小、对象跟踪的方向、关于视频的FPS信息、相机姿态信息等来选择关键帧。
全景背景产生模块117-4可将选择的关键帧的背景图像与一个或更多个目标对象分离,并拼接背景图像来产生全景背景图像。
合成模块117-5可将产生的全景背景图像与目标对象的图像合成以产生构成全景视频的全景图像。
参照回图8,控制器120使用存储在存储器110中的各种模块控制视频处理设备100”的总体操作。
如图8中所示,控制器120包括随机存储存储器(RAM)121、只读存储器(ROM)122、图像处理器123、主中央处理器(CPU)124、第一接口125-1至第n接口125-n和总线126。在这种情况下,RAM 121、ROM 122、图像处理器123、主CPU 124、第一接口125-1至第n接口125-n等可通过总线126彼此连接。
ROM 122存储用于系统启动的命令集等。主CPU 124将存储在存储器110中的各种应用程序复制到RAM 121,并运行复制到RAM 121中的应用程序以执行各种操作。
图像处理器123是用于对捕捉的视频执行图像处理的组件。图像处理器123可对捕捉的视频执行各种图像处理操作,诸如解码、缩放、噪声滤除、帧速率转换、分辨率转换等。具体地,图像处理器123可合成捕捉的视频的帧以获取全景图像,沿时间轴组合获取的全景图像以构成全景视频,并随后压缩视频以产生全景图像文件。
主CPU 124访问存储器110并使用存储在存储器110中的操作系统(O/S)执行启动。此外,主CPU 124使用存储在存储器110中的各种程序、内容、数据等执行各种操作。
第一接口125-1至第n接口125-n连接到前述组件。接口中的一个接口可以是通过网络连接到外部装置的网络接口。
用户接口140是用于检测用于控制视频处理设备100”的总体操作的用户交互的组件。具体地,如图8所示,用户接口140可包括各种交互检测装置,诸如麦克风141、遥控器信号接收器142等。
通信单元150是用于根据各种类型的通信方法与各种类型的外部装置或外部服务进行通信的组件。通信单元150可包括各种通信芯片(诸如,WiFi芯片、蓝牙芯片、近场通信(NFC)芯片、无线通信芯片等)。在这种情况下,WiFi芯片、蓝牙芯片和NFC芯片分别使用WiFi方法、蓝牙方法和NFC方法执行通信。在这些芯片中,NFC芯片是使用利用各种RF-ID频率(诸如135kHz、13.56MHz、433MHz、860MHz至960MHz和2.45GHz)中的13.56MHZ的频带的NFC方法进行操作的芯片。当使用WiFi芯片或蓝牙芯片时,各种连接信息(诸如服务集标识符(SSID)和会话密钥)可被首先发送和接收以使用连接信息连接通信,随后各种信息可被发送和接收。无线通信芯片是指根据各种通信标准(诸如IEEE、ZigBee、第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)等)执行通信的芯片。通信单元150可与外部服务器通信以接收由外部相机捕捉的视频的拍摄信息(相机姿态信息等),并根据接收的信息产生全景视频。
音频输出单元170是用于输出各种警报声音或语音消息以及由音频处理器180处理的各种音频数据的组件。具体地,音频输出单元170可被实施为(仅为示例性的)扬声器,并可被实施为不同的音频输出单元(诸如音频输出端子)。
音频处理器180是用于处理音频数据的组件。音频处理器180可对音频数据执行各种处理操作,诸如解码、放大、噪声滤除等。
也就是说,如上所述,视频处理设备100”可被实施为包括所有以下项的一个用户终端设备:存储器110、控制器120、显示器130、用户接口140、通信单元150、运动检测传感器160、音频输出单元170、音频处理器180和相机190。
图10和图11是解释根据示例性实施例的用于使用平移区间产生全景图像的方法的示图。
在下文中,图10和图11示出视频处理设备100”被实施为便携式终端设备的示例。
图10示出使用包括在视频处理设备100”中的相机190拍摄从左向右飞行的飞机1010。如图10所示,在这种情况下,因便携式终端设备的属性,可仅拍摄水平方向上窄的范围中的背景图像。用户可从左向右平移相机以捕捉飞机1010的图像,以便防止飞机1010离开屏幕。在这种情况下,运动检测传感器160可感测视频处理设备100”的运动以检测平移区间。
图11示出在检测到的平移区间中选择的多个关键帧1110、1120、1130和1140。多个关键帧1110、1120、1130和1140可被选择为具有在平移区间中彼此重叠的背景图像的帧,并且可通过对关键帧1110、1120、1130和1140执行图像处理过程来产生全景视频。
详细地,控制器120可将选择的多个关键帧1110、1120、1130和1140的目标对象与背景图像分离。这里,目标对象可以是具有预设变化或更多变化的运动对象(飞机1010)。控制器120可提取与目标对象分离的背景图像的特征点并将提取的特征点进行匹配。随后,控制器120可使用匹配的特征点数据拼接和混合多个背景图像,并使用孔填充方案处理移除了目标对象的空区域以产生全景背景图像1150。因此,当视频处理设备100”被旋转至水平屏幕时,通过减小捕捉的视频的大小所产生的屏幕中的浪费空间可被通过平移视频处理设备100”所获取的额外区域填充。
图12是解释根据示例性实施例的用于显示全景视频的方法的示图。
如图12所示,当对捕捉的视频执行前述处理以产生全景视频区间时,用于显示全景视频的指示符1210可在再现视频期间被显示。在这种情况下,用户可触摸显示的指示符或经由操纵遥控器来选择指示符以命令对全景视频进行再现。响应于命令被输入,当在整个再现区间的一部分期间全景视频被再现或被产生时,控制器120可在屏幕下端的控制栏等上显示全景视频被产生的区间(全景视频区间)。因此,当再现帧到达全景视频区间或用户通过接口(诸如触摸板、遥控器等)选择相应区间时,全景视频1250被显示。
指示符可被显示为与视频重叠并可根据正被显示的全景视频的属性在大小、形状、位置、颜色等方面变化。例如,指示符的形状可以以与全景视频的宽高比相同的比率被显示。
指示符的形状可不限于前述实施例,并可以以各种方法被显示。例如,指示符可以以文本或图标的形式被显示在再现列表的图像列表上。
关于全景视频是否已被产生以及全景视频区间的信息可被存储为视频文件中的元数据信息。
图13是解释根据示例性实施例的用于产生全景视频的方法的流程图。
首先,存储由相机捕捉的视频(S1310)。在这种情况下,视频可与由一个相机捕捉的视频或由多个相机以不同角度捕捉的多个视频对应。随后,在包含在视频中的多个关键帧中将目标对象与背景图像彼此分离(S1320)。这里,视频中的一系列帧中具有大的变化的帧可被检测为关键帧。还可使用关于视频的FPS信息、相机姿态信息等来检测关键帧。随后,拼接分离的背景图像,然后,将目标对象与拼接的背景图像进行组合以获取全景图像,沿时间轴组合获取的全景图像以产生全景视频(S1330)。详细地,可通过以下步骤来产生全景视频:提取与目标对象分离的背景图像的特征点并将提取的特征点进行匹配,使用匹配的特征点数据拼接多个背景图像,混合拼接的背景图像,并对混合的背景图像执行孔填充处理。
图14是解释根据另一示例性实施例的用于产生全景视频的方法的流程图。
首先,由包括在视频处理设备中的相机捕捉视频(S1410),并检测正在捕捉图像的视频处理设备的运动(S1420)。在这种情况下,在检测到运动时由包括在视频处理设备中的相机拍摄的视频区间可被确定为平移区间。接下来,存储由相机捕捉的视频(S1430),并从当在包括在视频中的所有帧中检测到视频处理设备的运动时捕捉的视频的区间中的帧选择多个关键帧(S1440)。在包括在视频中的多个关键帧中将目标对象与背景图像彼此分离(S1450)。拼接分离的背景图像,并随后将目标对象与拼接的背景图像进行组合以获取全景图像。沿时间轴组合获取的全景图像以产生全景视频(S1460)。
根据前述各种实施例的用于控制视频处理设备的方法可被实施为程序,并可被提供至视频处理设备。
根据示例性实施例,使用术语“视频处理设备”,所述设备处理视频以产生全景视频,但是术语“视频处理设备”还可被称为全景视频产生设备、全景图像产生设备、全景图像处理设备等。
根据示例性实施例,提供一种用于暂时存储用于执行上述处理或方法的程序的非暂时性计算机可读介质。
非暂时性计算机可读介质是指半永久地存储数据并可由装置读取的介质,而非短时间存储数据的介质(诸如寄存器、高速缓冲存储器、内存等)。详细地,前述程序可被存储和提供在非暂时性计算机可读介质(诸如致密盘(CD)、数字多功能盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡、ROM等)中。
前述示例性实施例和优点仅为示例性的,而不应被解释为限制本发明构思。此外,对示例性实施例的描述意图进行说明,而不意图限制本发明构思的范围,并且许多替换、修改和变化对于本领域技术人员来说将是清楚的。

Claims (15)

1.一种视频处理设备,包括:
存储器,被配置为存储由正被平移的相机捕捉的视频;
控制器,被配置为:
从视频的平移区间选择由相机在不同的时间点获得的多个关键帧,
在所述多个关键帧中将目标对象与背景图像分离,
拼接分离的背景图像以产生全景背景图像,
将目标对象与全景背景图像进行合成以获取与所述多个关键帧对应的多个全景图像,并且
沿时间轴组合全景图像以产生全景视频,
其中,在全景视频中,全景背景图像不随时间而改变,
其中,控制器被配置为使用关于视频的每秒帧数信息和关于相机的详细信息来选择所述多个关键帧。
2.如权利要求1所述的视频处理设备,其中,控制器被配置为从在平移相机时捕捉的视频的平移区间的帧选择关键帧。
3.如权利要求2所述的视频处理设备,还包括:
相机,被配置为捕捉视频;
运动检测传感器,被配置为检测相机的运动,
其中,控制器还被配置为将与由运动检测传感器检测的相机的平移运动对应的视频区间确定为平移区间。
4.如权利要求2所述的视频处理设备,其中,控制器被配置为分析包含在视频所包括的每个帧中的对象的属性,并将具有重叠背景图像的多个帧选择为关键帧。
5.如权利要求1所述的视频处理设备,还包括:显示器,被配置为显示视频,
其中,控制器还被配置为当再现视频时控制显示器以显示视频中的所述多个关键帧的时序显示全景图像。
6.如权利要求1所述的视频处理设备,其中,控制器还被配置为:产生所述多个全景图像,用全景图像来替换关键帧,并将全景图像存储在存储器中,其中,在所述多个全景图像中,目标对象的位置和形状中的至少一个被改变与关键帧的数量一样多的次数以表现目标对象的运动。
7.如权利要求1所述的视频处理设备,其中,控制器还被配置为:基于关于用于再现视频的显示器的扩展显示识别数据EDID信息来确定全景视频的最大宽高比,并产生具有确定的最大宽高比的全景视频。
8.如权利要求1所述的视频处理设备,其中,控制器还被配置为:调整关键帧以使关键帧的背景图像对齐,并使用每个调整的关键帧来产生全景视频。
9.如权利要求5所述的视频处理设备,其中,控制器还被配置为:当再现视频时,在显示器上显示指示产生全景图像的指示符。
10.如权利要求9所述的视频处理设备,其中,控制器还被配置为:当在显示器上再现视频时,将指示符显示为与视频重叠,并根据全景视频的属性改变指示符的大小、形状、位置和颜色中的至少一个。
11.一种用于产生全景视频的方法,所述方法包括:
存储由正被平移的相机捕捉的视频;
使用关于视频的每秒帧数信息和关于相机的详细信息从视频的平移区间选择由相机在不同的时间点获得的多个关键帧;
在所述多个关键帧中将目标对象与背景图像分离;
拼接分离的背景图像以产生全景背景图像;
将目标对象与全景背景图像进行合成以获取与所述多个关键帧对应的多个全景图像;
沿时间轴组合全景图像以产生全景视频,
其中,在全景视频中,全景背景图像不随时间而改变。
12.如权利要求11所述的方法,还包括:从在平移相机时捕捉的视频的平移区间的帧选择关键帧。
13.如权利要求12所述的方法,还包括:检测相机的运动,
其中,平移区间为与在相机的运动中检测到的相机的平移运动对应的视频区间。
14.如权利要求12所述的方法,还包括:分析包含在视频所包括的每个帧中的对象的属性,并将具有重叠背景图像的多个帧选择为关键帧。
15.如权利要求11所述的方法,还包括:当再现视频时,以显示视频中的关键帧的时序显示包括全景图像的全景视频。
CN201510508376.8A 2014-08-18 2015-08-18 用于产生全景视频的视频处理设备及其方法 Active CN105376500B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR10-2014-0106795 2014-08-18
KR1020140106795A KR101946019B1 (ko) 2014-08-18 2014-08-18 파노라믹 동영상을 생성하는 동영상 처리 장치 및 그 방법

Publications (2)

Publication Number Publication Date
CN105376500A CN105376500A (zh) 2016-03-02
CN105376500B true CN105376500B (zh) 2021-04-06

Family

ID=55303092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510508376.8A Active CN105376500B (zh) 2014-08-18 2015-08-18 用于产生全景视频的视频处理设备及其方法

Country Status (3)

Country Link
US (1) US10334162B2 (zh)
KR (1) KR101946019B1 (zh)
CN (1) CN105376500B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10176592B2 (en) 2014-10-31 2019-01-08 Fyusion, Inc. Multi-directional structured image array capture on a 2D graph
US10726560B2 (en) * 2014-10-31 2020-07-28 Fyusion, Inc. Real-time mobile device capture and generation of art-styled AR/VR content
US10262426B2 (en) 2014-10-31 2019-04-16 Fyusion, Inc. System and method for infinite smoothing of image sequences
US10275935B2 (en) 2014-10-31 2019-04-30 Fyusion, Inc. System and method for infinite synthetic image generation from multi-directional structured image array
CN106157235A (zh) * 2015-04-03 2016-11-23 阿里巴巴集团控股有限公司 图片合成方法、装置及即时通信方法、图片合成服务器
JP2016208234A (ja) * 2015-04-21 2016-12-08 三星ダイヤモンド工業株式会社 撮像装置
US9704298B2 (en) * 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
US9940541B2 (en) 2015-07-15 2018-04-10 Fyusion, Inc. Artificially rendering images using interpolation of tracked control points
US10852902B2 (en) 2015-07-15 2020-12-01 Fyusion, Inc. Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity
US10726593B2 (en) 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US9699380B2 (en) * 2015-11-03 2017-07-04 Intel Corporation Fusion of panoramic background images using color and depth data
US9911213B2 (en) * 2015-12-18 2018-03-06 Ricoh Co., Ltd. Panoramic image stitching using objects
US9781349B2 (en) * 2016-01-05 2017-10-03 360fly, Inc. Dynamic field of view adjustment for panoramic video content
KR101773929B1 (ko) * 2016-02-29 2017-09-01 (주)에프엑스기어 광 시야각 영상 처리 시스템, 광 시야각 영상의 전송 및 재생 방법, 및 이를 위한 컴퓨터 프로그램
US10051180B1 (en) * 2016-03-04 2018-08-14 Scott Zhihao Chen Method and system for removing an obstructing object in a panoramic image
US10601889B1 (en) * 2016-04-06 2020-03-24 Ambarella International Lp Broadcasting panoramic videos from one server to multiple endpoints
US10681325B2 (en) * 2016-05-16 2020-06-09 Google Llc Continuous depth-ordered image compositing
US10432855B1 (en) * 2016-05-20 2019-10-01 Gopro, Inc. Systems and methods for determining key frame moments to construct spherical images
CN106327531B (zh) * 2016-08-18 2019-10-01 成都虚拟世界科技有限公司 全景视频的识别方法及设备、播放视频方法及设备
KR20180028782A (ko) 2016-09-09 2018-03-19 삼성전자주식회사 전자 장치 및 그 제어 방법
CN106254940B (zh) * 2016-09-23 2019-11-01 北京疯景科技有限公司 播放全景内容的方法及装置
CN106649570A (zh) * 2016-11-15 2017-05-10 歌尔科技有限公司 一种判定360度全景图片的方法和装置
CN106776831A (zh) * 2016-11-24 2017-05-31 维沃移动通信有限公司 一种多媒体组合数据的编辑方法及移动终端
CN106683051A (zh) * 2016-12-29 2017-05-17 北京奇艺世纪科技有限公司 一种图像拼接方法及装置
JP2019029935A (ja) * 2017-08-02 2019-02-21 キヤノン株式会社 画像処理装置およびその制御方法
CN109842740A (zh) * 2017-11-24 2019-06-04 富泰华工业(深圳)有限公司 全景摄像机、图像处理系统及图像处理方法
KR101976288B1 (ko) 2017-12-05 2019-05-07 서울과학기술대학교 산학협력단 다시점 영상 생성 방법
TWI662841B (zh) * 2018-03-21 2019-06-11 鴻海精密工業股份有限公司 影像播放裝置
EP3561771A1 (en) 2018-04-23 2019-10-30 Koninklijke Philips N.V. Automated subject monitoring for medical imaging
TWI678920B (zh) * 2018-05-23 2019-12-01 宏碁股份有限公司 影片處理裝置、其影片處理方法及電腦程式產品
US10838599B2 (en) * 2019-02-25 2020-11-17 Snap Inc. Custom media overlay system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101867720A (zh) * 2009-04-17 2010-10-20 索尼公司 高质量合成全景图像的相机内生成
CN102201115A (zh) * 2011-04-07 2011-09-28 湖南天幕智能科技有限公司 无人机航拍视频实时全景图拼接方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070030396A1 (en) 2005-08-05 2007-02-08 Hui Zhou Method and apparatus for generating a panorama from a sequence of video frames
JP4333708B2 (ja) * 2006-08-02 2009-09-16 コニカミノルタビジネステクノロジーズ株式会社 電子ファイルの生成においてその生成に係る入力データを処理するための方法、装置、およびコンピュータプログラム
US8086044B2 (en) * 2006-08-25 2011-12-27 Ricoh Co., Ltd. Block-based iterative multi-pass data filling technique for compound document compression
US8368720B2 (en) * 2006-12-13 2013-02-05 Adobe Systems Incorporated Method and apparatus for layer-based panorama adjustment and editing
US20080212942A1 (en) * 2007-01-12 2008-09-04 Ictv, Inc. Automatic video program recording in an interactive television environment
US20100134641A1 (en) 2008-12-01 2010-06-03 Samsung Electronics Co., Ltd. Image capturing device for high-resolution images and extended field-of-view images
JP5189568B2 (ja) 2009-08-10 2013-04-24 日本電信電話株式会社 画像合成装置,画像合成方法および画像合成プログラム
US20110234750A1 (en) * 2010-03-24 2011-09-29 Jimmy Kwok Lap Lai Capturing Two or More Images to Form a Panoramic Image
KR20110124448A (ko) 2010-05-11 2011-11-17 에스케이텔레콤 주식회사 파노라마 형태의 리치 미디어 제공 장치 및 그 방법
JP5269026B2 (ja) * 2010-09-29 2013-08-21 日立建機株式会社 作業機械の周囲監視装置
US9618746B2 (en) * 2010-11-19 2017-04-11 SA Photonics, Inc. High resolution wide field of view digital night vision system
GB2489674A (en) * 2011-03-29 2012-10-10 Sony Corp 3D image generation
GB2489675A (en) * 2011-03-29 2012-10-10 Sony Corp Generating and viewing video highlights with field of view (FOV) information
JP5845608B2 (ja) * 2011-03-31 2016-01-20 株式会社ニデック 眼科撮影装置
US20140037213A1 (en) * 2011-04-11 2014-02-06 Liberovision Ag Image processing
KR101818778B1 (ko) 2012-03-23 2018-01-16 한국전자통신연구원 실감 파노라마 영상 생성을 위한 3d 데이터 포맷 생성/소비 장치 및 방법
US9516223B2 (en) 2012-06-06 2016-12-06 Apple Inc. Motion-based image stitching
CA2977051A1 (en) * 2015-02-17 2016-08-25 Nextvr Inc. Methods and apparatus for generating and using reduced resolution images and/or communicating such images to a playback or content distribution device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101867720A (zh) * 2009-04-17 2010-10-20 索尼公司 高质量合成全景图像的相机内生成
CN102201115A (zh) * 2011-04-07 2011-09-28 湖南天幕智能科技有限公司 无人机航拍视频实时全景图拼接方法

Also Published As

Publication number Publication date
KR101946019B1 (ko) 2019-04-22
CN105376500A (zh) 2016-03-02
KR20160021501A (ko) 2016-02-26
US20160050368A1 (en) 2016-02-18
US10334162B2 (en) 2019-06-25

Similar Documents

Publication Publication Date Title
CN105376500B (zh) 用于产生全景视频的视频处理设备及其方法
US20150036050A1 (en) Television control apparatus and associated method
US20140184726A1 (en) Display apparatus and method for video calling thereof
US10939140B2 (en) Selective capture and presentation of native image portions
WO2014037876A2 (en) Augmented reality for video system
CN102469242A (zh) 成像设备,成像方法和程序
CN105939497B (zh) 媒体串流系统及媒体串流方法
CN102469261A (zh) 成像设备,成像显示控制方法和程序
US10467987B2 (en) Display apparatus and controlling method thereof
JP2006005452A (ja) 画像合成装置及び画像合成システム
US20150029342A1 (en) Broadcasting providing apparatus, broadcasting providing system, and method of providing broadcasting thereof
US10574933B2 (en) System and method for converting live action alpha-numeric text to re-rendered and embedded pixel information for video overlay
US20210073277A1 (en) Multimedia focalization
US10115431B2 (en) Image processing device and image processing method
US9607651B2 (en) Method and apparatus for controlling contents in electronic device
KR20150073573A (ko) 미러링 화면에 관련된 콘텐츠 출력 방법 및 그 장치
US20200051594A1 (en) Generating method and playing method of multimedia file, multimedia file generation apparatus and multimedia file playback apparatus
CN108965711B (zh) 视频处理方法及装置
KR20180053221A (ko) 전자 장치 및 그의 제어 방법
US10440266B2 (en) Display apparatus and method for generating capture image
US10319106B2 (en) Method for processing multiple image sources
US20200302664A1 (en) Creating and displaying multi-layered augemented reality
CN110929056A (zh) 多媒体文件的产生方法与播放方法、产生装置与播放装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant