CN101377615B - 拍摄全景画面的方法 - Google Patents

拍摄全景画面的方法 Download PDF

Info

Publication number
CN101377615B
CN101377615B CN2008102125114A CN200810212511A CN101377615B CN 101377615 B CN101377615 B CN 101377615B CN 2008102125114 A CN2008102125114 A CN 2008102125114A CN 200810212511 A CN200810212511 A CN 200810212511A CN 101377615 B CN101377615 B CN 101377615B
Authority
CN
China
Prior art keywords
image
image block
frame
time point
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008102125114A
Other languages
English (en)
Other versions
CN101377615A (zh
Inventor
金修均
文载媛
赵成大
吴润济
郑熙远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101377615A publication Critical patent/CN101377615A/zh
Application granted granted Critical
Publication of CN101377615B publication Critical patent/CN101377615B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

一种拍摄全景画面的方法，包括以下步骤：通过采用曝光补偿的运动估计技术将当前输入图像与先前输入图像进行实时对比来检查相应拍摄设备的移动。拍摄构成全景画面的各幅图像，检查包括焦距和光学放大倍数的图像拍摄信息以计算图像的实际拍摄范围距离。考虑计算的图像的实际拍摄范围距离设置预设阈值。确认检查的移动是否达到预设阈值，并确定各幅图像的拍摄时间点。在各幅图像的拍摄时间点根据手动模式或自动模式拍摄各幅图像。

Description

拍摄全景画面的方法
技术领域
本发明涉及具有拍摄数字图像功能的不同的复杂设备中的数字图像拍摄，所述设备包括数码相机和装备有相机模块的移动终端。更具体地，本发明涉及一种拍摄全景画面的方法。
背景技术
通常，在数字图像拍摄设备中，图像捕捉单元的功能是获得图像，所述图像在图像捕捉单元的镜头的焦距内被形成。这里，获得的图像在典型的视角范围(对于普通相机来说大约是30°到50°)内，该范围小于人类视界(大约150°到200°)。在适当地改变视角的同时拍摄多幅图像的传统方法中，拍摄的图像按顺序彼此相连以将它们重组为一幅连续的图像。因此，用与人类视界相似或大于人类视界的视角获得了画面。这样的传统方法被称为全景画面拍摄方法。
更具体地，在全景画面拍摄模式中，传统的数字图像拍摄设备拍摄将被水平或垂直相连的若干图像，并随后将它们存储在存储器中。存储在存储器中的图像随后被提供给适当的内部/外部图像处理器，并被彼此连接为一幅连续图像。此时，为了消除图像之间的边界处的色差和图像差异，数字图像拍摄设备拍摄在其边界具有足够的重叠的多幅图像，并随后通过调整它们的边界来对齐图像。其后，设备执行包括缝合和弯曲的图像处理。通过这样的处理，获得了包括自然相连的多幅图像的单幅图像。
因此，全景画面拍摄对于捕捉对齐得尽可能精确的图像设置高优先级。为此，辅助设备(例如三脚架)通常用于这样的手动拍摄以提高更精确对齐的可能性。例如，最近已经提出了这样一种方法，其中相应的拍摄设备被安装在三脚架等之上，安装的拍摄设备在全景拍摄中根据各幅图像旋转。这样的方法的示例在2003年7月29日提交的标题为“Camera And Method forPhotographing Panorama Picture(拍摄全景画面的相机和方法)”、申请人为Samsung Techwin Co.Ltd、发明人为BAE，Sung-cheol的第2003-0052444号韩国专利申请中被公开。除了上述方法，还提出了以下方法：具有检测旋转角度的功能的设备可被附加地安装到相应的拍摄设备上，用户预先设置拍摄设备的旋转角度，从而通过在全景拍摄中用户预设的拍摄设备的旋转角度的旋转位移来拍摄各幅图像。
此外，为了在拍摄全景画面的情况(没有在相应的拍摄设备上安装辅助部件或附加硬件)下更精确地对齐各幅图像，还提出了以下方法，其中，当拍摄各幅图像时，先前拍摄的图像的边界的部分区域被呈现为与当前拍摄的图像适当地重叠，从而用户可通过用当前拍摄的图像调整先前拍摄的图像来控制拍摄的适当位置。这样的方法的示例在2003年3月31日提交的、标题为“Panoramic Sequence Guide(全景顺序向导)”、发明人名字为Gregory VHofer的第2004/0189849号美国公布中被公开。
拍摄全景画面相对于拍摄普通单幅图像要求更多的用户技巧和熟练度，这要求对操作和拍摄图像而言更好和更方便的解决方案。
发明内容
因此，本发明提供一种拍摄全景画面的方法，其中，用户可在不需要附加设备和硬件的情况下更容易地操作拍摄设备和更精确地拍摄全景画面。
本发明旨在提供一种更精确地确认相机的移动并在拍摄全景画面中使用检查的相机移动的方法。
因此，本发明提出一种考虑相机拍摄的特定环境采用曝光补偿的新的运动估计技术，以通过使用预定范围中的图像块来识别输入图像的先前帧和当前帧之间的运动。也就是说，本发明采用一种新的运动估计方案，代替传统的运动估计方案。在这种情况下，由于在拍摄期间的计算必须迅速进行，从而在预览正常操作的同时计算运动矢量，可使用积分图像(integral image)以减少计算量。另外，基于可行的预览速度、拍摄目标的尺寸或距离、以及与压缩图像相比具有相对低相关性的预览图像特征来可变地调整用于找寻运动矢量的参考块，从而可使用单块搜索方案来最大化其相关性。通常，当进行帧间运动估计时，可采用平面图像。然而，考虑到拍摄全景画面的环境的特殊性质，可进行对预先投影到圆柱全景投影空间的图像的运动估计。
根据本发明的示例性实施例，提供一种拍摄全景画面的方法，所述方法包括以下步骤：当拍摄构成全景画面的各幅图像时，通过采用曝光补偿的运动估计技术将当前输入图像与先前图像进行实时对比来检查相应的拍摄设备的运动；检查包括到目标的焦距和光学放大倍数的图像拍摄信息以计算图像的实际拍摄范围距离，并考虑计算的图像的实际拍摄范围距离设置预设阈值；确认由拍摄设备的移动引起的检查到的移动达到预设阈值，并确定各幅图像的拍摄时间点；以及在各幅图像的拍摄时间点根据手动模式或自动模式拍摄各幅图像。
优选地，运动估计技术可包括以下技术：计算基于帧的图像块中的对比的各像素之间的误差信息而匹配的图像块之间的运动矢量，根据相应的图像块的平均值并采用曝光补偿来校正图像块中的各个像素。
例如，可通过计算由以下式定义的平方差之和SAD或绝对差之和来获得误差信息：
修改的SAD
Figure G2008102125114D00031
修改的SSD
Figure G2008102125114D00032
在式中，I1和I2分别是当前帧和先前帧内的图像块中的(x，y)和(x+m，y+n)的像素值，
Figure G2008102125114D00033
和
Figure G2008102125114D00034
分别是与先前帧和当前帧内的块相应的像素的平均值。
当计算了像素的平均值时，可预先设置当前帧的积分图像，并且可通过使用积分图像来计算各个图像块的平均值。像素值可相应于亮度或各个色调。
优选地，可根据预览性能和/或到目标的距离和/或拍摄模式信息变化地设置图像块，并且可以变化地设置用于搜索与图像块匹配的SR。
根据本发明，可通过预先将帧投影到预设的全景投影空间使帧经过运动估计，并且当帧被对比时可以以预设的方式跳过所述帧。
对于检查拍摄设备的运动的步骤，拍摄设备移动的方向被识别，通过使用引导装置引导拍摄设备从识别的方向向预设的全景画面拍摄方向移动。
引导装置可与显示器显示引导方向的用户界面相应，并且与在预设拍摄位置的时间点被驱动的振动电机相应。
根据本发明，所述方法还可包括以下步骤：检查包括到目标的距离和光学放大倍数的图像拍摄信息，通过使用图像拍摄信息计算图像的实际拍摄范围距离，并在确定各幅图像的拍摄时间点之前考虑图像的实际拍摄范围距离设置预设的阈值。
预设阈值例如可与指示拍摄各幅图像的时间点和/或到达拍摄时间点的时间点的值相应。
优选地，例如可通过在用户拍摄全景画面时反映包括相机移动速度、旋转角度和相机摇晃的程度的拍摄模式来设置指示到达拍摄时间点的时间点的预设阈值。
附图说明
通过下面结合附图的详细描述，本发明的上述和其他方面、特点和优点将会变得更清楚，其中：
图1是示出根据本发明的移动终端的示例性框图；
图2是示出根据本发明一示例性实施例的拍摄全景画面的操作的流程图；
图3A到图3E是根据本发明一示例性实施例的当拍摄全景画面时根据拍摄设备的移动方向引导拍摄方向的预览屏幕的示例；
图4是图2中的步骤220(检测相机移动的操作)的详细流程图；
图5是具有用于图4中的运动矢量检测的可变尺寸的图像块的示例；
图6A和图6B是积分图像的示例；
图7是示出根据本发明另一示例性实施例的拍摄全景画面的操作的流程图；
图8是根据全景拍摄的相机移动状态和相机与目标之间的关系的示例。
具体实施方式
以下，将参照附图描述根据本发明的一示例性实施例。在下面的描述中，示出了诸如详细部件设备的多个具体项，但是这些被给出仅用于提供对本发明的一般理解，本领域的技术人员将理解本发明。
图1是根据本发明的移动终端的一个可行配置的示例性框图。以下，在具有数字图像拍摄功能的不同的设备中，将用如图1所示的移动终端的示例首先描述基于硬件的设备。
参照图1，根据本发明的具有数字图像拍摄功能的移动终端包括相机20、图像处理器22、显示单元24以及控制器14、存储器单元16、键输入单元18、射频(RF)单元10和无线数据处理器12。
RF单元10将用户语音、文本消息和控制数据调制为无线信号，并将调制的信号发送到移动无线电通信网络的基站(未示出)。RF单元10还从基站接收无线信号，并随后将信号解调为语音、文本消息、控制数据等以进行输出。无线数据处理器12在控制器14的控制下操作。无线数据处理器12将从RF单元10接收的语音数据解码以经由扬声器输出可听见的声音，并产生包括从麦克风接收的用户语音信号的数据以输出到RF单元10。然后，无线数据处理器12将经由RF单元10输入的文本消息和控制数据提供给控制器14。
参照图1，相机20在控制器14的控制下执行普通的数码相机功能，并接收从目标反射的特定波长的可见光信号。相机20包括由电荷耦合装置(CCD)拍摄装置等形成的图像捕捉单元202，以及用于测量亮度的亮度传感器204和用于测量到目标的焦距等的距离传感器206。图像处理器22处理输出到相机20的图像数据，以将处理的数据转换为适当格式的数字图像数据。
键输入单元18包括用于输入数字和文本消息信息的多个键以及用于设置各种功能的多个功能键，从用户接收电话号码或文本消息，并将输入信号输出到控制器14。显示单元24可用例如液晶显示器(LCD)的显示装置形成，并在控制器14的控制下显示拍摄的数字图像数据，所述数字图像数据包括与相应移动终端的各种操作状态相应的消息。
控制器14通过对各个功能单元的总体控制来控制移动通信终端的总体操作。也就是说，控制器14根据经由键输入单元18输入的数字和菜单选择信号执行处理，经由相机20接收外部拍摄信号以进行相应处理，并随后通过显示单元24输出相机拍摄的图像以及各种操作所需的图像输出信号。此时，控制器14取走存储在存储器单元16中的用于输出的内容，或将内容存储在存储器单元16中。存储器单元16存储与控制器14的操作相关的多个程序和数据，存储器单元16用于存储操作移动终端所需的信息和相机拍摄图像信息。
装备有根据本发明的配置的移动终端执行例如相机功能以及例如与传统移动通信服务相关的操作，此时，控制器14还根据本发明的特性执行全景画面拍摄的操作。此外，根据本发明，存储器单元16存储控制器14中的用于全景画面拍摄的操作的操作程序和相关信息，并在必要时将相应信息输出到控制器14。
特别地，当根据本发明的移动终端实时接收如运动图像的目标图像，根据全景画面的拍摄方向由用户移动移动终端，或者通过移动终端装备的附加设备在拍摄全景画面的情况下自动旋转时，移动终端将当前输入图像与先前图像进行对比以检测相应的移动终端的移动，并识别移动的方向和移动的程度，随后获得与用于创建完整的全景画面的有序图像相应的图像。以下，将参照附图描述根据本发明实施例的全景拍摄的操作。
图2是示出根据本发明示例性实施例的拍摄全景画面的示例性式操作的流程图。参照图2，在实际全景画面拍摄之前，在步骤200设置拍摄全景画面的各种环境。在步骤200，例如形成全景画面的各幅图像的上、下、左、右方向的彼此连接方向(即，拍摄方向)被设置。此外，设置将彼此相连以形成全景画面的拍摄图像的数量。
在步骤200的设置全景画面拍摄环境的操作中，在从传统移动终端提供的设置各种功能的菜单中选择的相机拍摄菜单的子菜单(例如，全景画面拍摄环境设置模式)中输入来自用户的各个环境设置值。当然，在移动终端中由用户预先提供用于为菜单选择操作显示相应的菜单和确认输入到键输入单元的键输入的配置和操作程序。另外，用户在步骤200设置的各个全景画面拍摄环境模式中的某些或全部可被固定为由开发者适当设置的值以提供给用户。
在步骤210，从移动终端的菜单中的相机拍摄菜单的子菜单中选择全景画面拍摄模式，并通过拍摄全景画面的第一图像开始拍摄全景画面。此时，通过用户的快门输入存储全景画面的第一图像，并将基于将在以后详细描述的根据本发明示例性实施例的全景画面拍摄方法执行后续的图像拍摄。当开始全景画面拍摄时，从视点实时输入到拍摄设备的图像被输入到和存储在存储器中，随后使用存储的图像获得拍摄设备的移动信息。
在步骤220，根据本发明的以下示例性特征方案，在接收如同运动图像的输入到拍摄设备的图像之后，通过使用当前输入图像和先前输入图像来检测拍摄设备(即，相机)的移动。
优选地，可在步骤220检测相机移动，在步骤220通过对当前帧和先前帧之间的具有适当尺寸的预定图像块进行对比和映射来执行可获得的块之间的运动矢量的计算。例如，与在对普通运动图像的编码和解码中的运动估计和运动补偿技术中使用的方案相似的方案可进行块之间的运动矢量的计算。在本发明的描述中，与x轴(即，水平方向)相应的运动矢量定义为mi，x，与y轴(即，垂直方向)相应的运动矢量定义为mi，y，其中，i指示帧的序号。
在步骤230，通过适当的用户界面(UI)提醒用户相机被放置移动的方向(即，相机移动方向)，以便根据在步骤220检测的相机移动拍摄全景画面。在这种情况下，可在显示单元上即时显示指示相机移动的方向的图标，因此用户可识别相机的移动方向。
图3A到图3E是根据本发明一示例性实施例的当拍摄全景画面时可被查看以根据拍摄设备的移动方向引导拍摄方向的单向(one way)预览屏幕的示例。
将参照图3A到图3E更详细地描述在步骤230执行的操作。
首先，该描述是假设正从左向右进行全景画面拍摄的情况(即，正进行从第一图像到第n图像的拍摄下)做出的。另外，假设相机在拍摄全景画面的第一图像之后目前正在进行全景画面的第二图像的拍摄。
如图3A所示，当相机上投影了图像“A”，并在不脱离全景画面拍摄的范围的情况下以垂直方向移动时，通过x轴的运动矢量mi，x检测到相机在方向4、0和5(向左、停止和向右)的范围内移动。然后，为了引导相机向第二图像所在的方向移动，可在预览屏幕上显示右方向的箭头图标。
如图3B所示，当相机以垂直向下方向移动而脱离了全景画面拍摄的范围并且其上投影有图像“B”时，通过x轴的运动矢量mi，x和y轴的运动矢量mi，y检测到相机向方向6、7或8(向左下、向下和向右下)移动。然后，为了引导相机向第二图像所在的方向移动，可在预览屏幕上显示右上方向的箭头图标。
此外，当相机通过相似方式的相机移动在其上投影有图像“C”(图3C)时，可在预览屏幕上显示右下方向的箭头图标。
另外，当目前相机上投影有图像“D”，如式(1)所示，作为y轴的运动矢量mi，y的和结果，相机当前超出向上(向下)方向中预设的阈值(即，式(1)中的τ2)时，可在预览屏幕上显示用于警告的适当图标(见图3D)。
例如，适当的图标可同时表示包含“偏离了方向”的语句和指示移动方向的箭头。尽管在本发明的示例性实施例中采用在预览屏幕上显示的图标提醒相机超出全景画面的范围，但是可采用不同的方法提醒相机已经偏离了全景画面拍摄的范围的事实。例如，可采用通过使用相机装配的外部的灯或振动电机进行警告的方法。
|∑mi，y|≤τ2......................................................(1)
类似地，在相机从第一图像的方向移动到第二图像的方向的同时相机在全景画面拍摄的范围内水平移动的情况下，当相机超过第二图像的拍摄范围时，可在当前相机上投影图像“F”(见图3E)。在这种情况下，可在预览屏幕上显示适当的图标(具体地，包含“以相反方向移动”的语句和表示移动方向的箭头)或通过警告装置来提醒用户。
在步骤240，根据在步骤220检测的相机移动来检查是否到达各幅图像的拍摄时间点。作为在步骤240的检查的结果，当到达拍摄各幅图像的时间点时，方法进行到步骤250。否则，方法进行到步骤220，重复执行上述步骤。
例如，当目前相机以从左向右的方向拍摄全景画面时，如以下的式(2)所定义的将x轴的运动矢量的mi，x累加。然后，当累加值达到下面的式2定义的预设阈值(即，下面的式(2)中的τ1)时，可以确定到达拍摄当前图像的拍摄时间点。
∑mi，x≥τ1......................................................  (2)
在步骤250，基于预设拍摄模式(例如，全景画面手动拍摄模式或全景画面自动拍摄模式)在用户按下快门后尽快地拍摄相应图像。当然，可在设置了步骤200示出的全景画面拍摄环境之后尽快地设置手动或自动全景画面拍摄模式。
此外，当已存在已经到达拍摄时间点的提醒时，通过减少的相机抖动方便用户，并且用户能够在拍摄时间点期间缓慢地移动相机，以获得高分辨率的图像。因此，优选的是，通常通过UI在预览屏幕上显示提醒或通过使用相机配备的外部灯或振动电机来提醒已经到达拍摄位置的事实。
这里，可通过使用x轴的运动矢量mi，x来设置关于到达拍摄位置的提醒的时间点。例如，当相机以从左向右的方向拍摄全景画面，形成全景画面的每幅图像被划分为10段，先前图像的10段中的最右位置的两个范围与当前拍摄图像的10段中的最左位置的两个范围重叠的位置被设置为拍摄位置。此外，与时间点相应的x轴的运动矢量mi，x可被设置为拍摄位置的预设阈值。另外，在到达拍摄位置之前，先前图像的10段中的最右位置的三个范围与当前拍摄图像的10段中的最左位置的三个范围重叠的位置可被设置为提醒已经到达拍摄位置的时间点，并且与该时间点相应的x轴的运动矢量mi，x可被设置为提醒已经到达拍摄位置的预设阈值。被定义用于确定拍摄位置的x轴的运动矢量mi，x的预设阈值和被定义用于提醒已经到达拍摄位置的x轴的运动矢量mi，x的预设阈值可在设置步骤200中示出的全景画面拍摄环境时被设置。
另外，本发明的优选示例性方面在于考虑用户的使用特性来提醒已经到达拍摄位置。在拍摄全景画面中，拍摄全景画面的习惯和拍摄全景画面中的拍摄模式(例如，相机移动速度、相机抖动、移动角度等)可根据每个用户而改变。因此，当考虑使用相机的用户的拍摄模式来提醒用户已经到达拍摄位置时，用户可预测拍摄位置，从而可获得更精确的全景画面。
在步骤260，识别当前拍摄的图像的数量是否达到步骤200中预设图像的总数量。作为步骤260的识别的结果，当目前拍摄的图像的数量未达到预设图像的总数量时，再次进行步骤220，重复执行上述步骤。相反，当目前拍摄的图像已经达到预设图像的总数量时，终止全景画面拍摄的操作。当程序返回步骤220时，运动矢量的值(具体地，作为x轴的运动矢量mi，x的总和的∑mi，x)可被重置为初始值0。另外，当全景画面拍摄的操作终止时，通过各幅图像的彼此连接来创建单幅全景图像。为了将多幅图像自然地彼此连接，可应用诸如公知的图像对齐、缝合和弯曲方法的图像处理方法。
本领域的普通技术人员可通过图2中示出的全部处理理解：用户需要拍摄设备根据拍摄全景画面的拍摄方向(例如，从左向右的方向)移动。假设在本发明中图像帧以规律的速度输入并且所有的帧未经历运动模糊现象，自动获得具有规律的重叠宽度的图像。因此，根据拍摄方向(例如，从左向右的方向)的输入图像的运动矢量(例如，x轴的运动矢量mix)被累加，因此每当累加值达到预设阈值τ1时拍摄各幅图像。当以这样的方式自动设置图像拍摄时，用户适当地移动拍摄设备，从而可以在适当的位置(根据阈值τ1)自动拍摄形成全景画面的各幅图像。
同时，在步骤220优选地检查拍摄设备的移动，在步骤220执行对可通过使用当前帧与先前帧获得的帧之间的图像块的运动矢量的检测。以下，将更详细地描述根据本发明的检测运动矢量的方案。匹配帧之间的图像块和检测它们的运动矢量的方案可采用在运动图像(典型为广播图像)压缩技术(诸如MPEG-4和H.264)中使用的运动估计技术。然而，在实际拍摄全景画面中使用相机预览图像，从而相机预览图像没有特别地经过曝光补偿，并对每个预览帧具有低相关性，这与理想广播图像不同。因此，当采用一般的运动估计技术而不进行任何修改时，难以找到精确的匹配块。此外，一般运动估计技术旨在高效的压缩，并且要求更复杂的计算技术，诸如用于再划分块(例如，宏块)的尺寸的运动矢量检测技术。因此，本发明提供一种考虑全景画面拍摄的特定环境来检测运动矢量的技术。
图4是图2中的步骤220(检查相机移动的操作)的详细示例性流程图。以下，将参照图4更详细地描述本发明的运动估计的操作。参照图4，在步骤222，具有可变尺寸的块被设置以计算当前帧和先前帧之间的运动矢量。
在对预览图像进行运动估计的情况下，当在运动图像压缩方案的情况下低性能的支持传感器和自动稳定的移动相机进行小尺寸块(通常是具有大约4到16像素的矩形块)的运动估计时，由于各个块之间的矢量误差被累加，所以难以更精确地找到运动矢量的值。因此，在本发明的一示例性实施例中，采用一种通过使用具有相对大尺寸的少量块(例如一个块)来找寻运动矢量的方案。
在前面提到的情况下，使用预览装置的预览性能、预览装置期望拍摄的目标的大小和到目标的距离以及搜索空间的距离信息来可变地调整一个块的尺寸。图5是被设置为帧中具有可变尺寸的块的示例。在图5中，标号“SR”指定搜索范围，标号“BS”指定块尺寸。
SR是在将要搜索的目标帧内用于搜索与参考块匹配的搜索块的范围，帧的整个范围可被设置为SR。然而，可以在不使用帧的全部图像的情况下，基于参考块在目标帧内的位置为SR设置适当的范围。因此，预先防止搜索不必要的部分(诸如帧的角落)以提高效率。
在本发明的一示例性实施例中，可以可变地设置BS和SR。例如，在用户近距离拍摄目标或者拍摄具有相对大尺寸的目标的情况下，当BS增加SR减少时，可更精确地获得运动矢量。相反，在用户远距离拍摄目标或者拍摄具有相对小尺寸的目标的情况下，当BS减少SR增加时，可以更精确地获得运动矢量。
此外，当拍摄设备的预览性能差时，SR的显著增加加大了计算量，因而需要大量时间用于找寻运动矢量，这相对地减少了帧速。另外，即使获得了运动矢量的精确结果值，帧速的减少也增加了帧的图像之间的差异，这导致了误差累加。因此，当从相机预览提取运动矢量时，可通过使用目标检测器方法或通过使用自动输入信息(例如，焦距)或来自用户的手动输入信息(可从用户设置信息预测的关于距离或目标的信息，包括近距离拍摄模式、风景模式、人像模式)来识别基本的拍摄信息，因此根据拍摄距离或目标尺寸设置SR。另外，可根据相应拍摄设备的预览性能考虑计算量来设置基本块尺寸。
参照图4，仅当没有设置当前块尺寸时(即，当最初进行检测运动矢量的操作时)，在步骤222设置具有可变尺寸的块的操作仅进行一次，然后使用最初设置的尺寸的块直到完成全景画面的拍摄的操作为止。该操作与距离/拍摄模式信息有关。
在步骤224，通过使用具有在步骤222设置的尺寸的块来检查在当前帧和先前帧之间是否存在匹配块。在此具体情况下，找寻匹配的块的方案基本上使用各个块之间的对比像素的误差信息。当两个块之间的误差最低时，相应的块被认为是匹配块。
可通过计算诸如绝对差之和(SAD)和平方差之和(SSD)的误差函数来获得误差信息。例如，下面的式(3)的计算可获得误差信息。也就是说，在步骤224，例如可通过计算在运动图像压缩技术中常用的SAD和SSD来获得误差信息。
SAD
Figure G2008102125114D00111
SSD
Figure G2008102125114D00112
在式(3)中，I1和I2分别表示每帧(即，先前帧和当前帧)的块内的相应位置的像素值(即，亮度和色调)，其中，相应位置包括先前帧中的参考块的像素位置(x，y)和当前帧中搜索的目标块的像素位置(x+m，y+n)。
理想地，上述函数的计算可获得两个块之间的误差信息。然而，在实际拍摄环境中，在从目标直接输入的图像的两个相邻帧之间可能存在曝光差。这意味着不可能精确地获得两个块之间的误差信息。因此，需要一种考虑曝光差获得误差信息的方案。在本发明中，如下面的式(4)定义的，使用考虑曝光差的误差函数获得了两个块之间的误差信息。
修改的SAD
Figure G2008102125114D00121
.................(4)
修改的SSD
Figure G2008102125114D00122
在式(4)中，I1和I2分别表示与每帧(即，先前帧和当前帧)内的块相应的像素的平均值。
参照式(4)，如本发明提出的获得误差信息的方案通过根据相应块的平均值校正每帧块中的每个像素值(通过从式(4)中的每个像素值减去平均值)来执行曝光补偿。
另外，先前帧的块的位置是固定的，也就是说，存在一个参考块，从而仅计算一次I1。然而，为了找寻与先前帧的块最精确匹配的后面的帧的块，在此情况下优选的是搜索具有相同尺寸的所有块。因此，每当搜索每个块时，在此情况下优选的是计算相应块内的像素的平均值。这意味着
Figure G2008102125114D00123
需要计算所有块。
此外，每当搜索所有块时，块内的所有像素的相加和平均值的计算需要大量的计算。因此，本发明提出一种通过使用积分图像(integral image)来减少计算量的方案。这里，积分图像指的是包括从图像的左上部分到其坐标的像素的图像，积分图像值指的是通过将构成积分图像的像素的值相加而获得的值。
例如，在图6A中，积分图像指的是由虚线标记的块范围的图像，积分图像值指的是该范围中的像素的总和。也就是说，Iintg(0，0)表示坐标为0和0的像素值，可通过Iintg(width-1，height-1)的计算获得给定图像中的所有像素的总和。
通过积分图像，可通过使用与范围的4个顶点相应的像素值的加法和减法计算期望的范围内的像素的总和。包括坐标(x1，y1)、(x2，y2)、(x3，y3)和(x4，y4)的4个顶点的像素值用于计算与图6B中的虚线所标记的块范围相应的像素的总和，如以下的式(5)所定义：
Iintg(x4，y4)+Iintg(x1，y1)-Iintg(x2，y2)-Iintg(x3，y3)...................(5)
在本发明的示例性实施例中，预先测量当前帧的积分图像，并随后使用测量的图像，从而可以简单地计算所有块的像素的平均值。这意味着
Figure G2008102125114D00124
需要所有块的简单计算。
在步骤224检查了当前帧和先前帧之间的匹配块之后，在步骤226获得两个块之间的运动矢量(即，与x轴上的运动矢量相应的mi，x，以及与y轴上的运动矢量相应的mi，y)。
根据如上所述的本发明的一示例性实施例，可以进行拍摄全景画面的操作。尽管已经作为示例性目的描述了本发明的优选示例性实施例，但是本领域的技术人员应理解，在不脱离本发明的范围和精神的情况下可进行各种修改、添加和替换。
例如，在找寻运动矢量的步骤中可使用找寻平面图像的运动矢量的方法。这仅在压缩图像或广播图像的情况下提供高分辨率。然而，在获得用于全景画面拍摄的运动矢量信息的情况下，有必要考虑运动矢量的获取的目的在于获得更精确的全景画面图像的事实。
根据本发明的另一示例性实施例，可拍摄全景画面，然后可将各幅图像投影到拼接平面和曲面上。使用该操作是因为在使相机的方向成圆形的同时获得的用于构成全景画面的连续图像具有圆柱体结构。因此，在本发明的另一示例性实施例中，将输入图像投影到适当的投影面(例如，圆柱面)上，并在考虑图像曲线地移动而不是图像基于平面移动的情况下来找寻投影图像的运动矢量，从而更精确地获得运动矢量。
另外，可考虑预览装置的预览速度特性通过使用跳帧获得运动矢量。具体地，每帧的矢量信息通常对于运动图像压缩是重要的，从而对每帧进行运动估计。然而，每帧的信息对于根据本发明的全景画面拍摄的运动估计的操作并不重要。因此，在本发明的另一示例性实施例中，可以根据环境在跳帧(例如1帧或2帧)的同时执行运动估计。在这种情况下，可以减少与跳过的帧一样多的计算时间和计算量，从而可通过减少的时间量获得更宽的SR。此外，可以更精确地计算运动矢量。
图7示出根据本发明另一示例性实施例的拍摄全景画面的操作的示例性流程图。
参照图7，根据本发明另一示例性实施例的拍摄全景画面的方法与上述的根据本发明一可行示例性实施例的拍摄全景画面的方法相同。然而，根据本发明另一示例性实施例的拍摄全景画面的方法在步骤210之后还包括步骤212、214和216。在图7中，用与图2相同的标号来标识与图2相似的步骤，并且将省略其详细描述。
图8是根据全景画面拍摄的相机移动状态的示例。参照图8，通过顺序获得对第一图像旋转预定转角θ的图像(即，第二图像和第三图像)并将获得的图像彼此组合来最终缝合全景画面。在本发明中，相机在拍摄的图像之间移动了多少是确定拍摄全景画面的时刻的一个重要因素。这里，通过运动矢量的总和检查该因素。另外，为了更精确地拍摄全景画面，实际拍摄图像的距离(以下，实际拍摄范围距离12)是另一重要因素。这里，实际拍摄范围距离12是足够识别镜头获得的图像的虚拟距离。
当通过在作为相对近距离(例如，1m或更近的距离)的实际拍摄范围距离12将图像旋转预定转角(例如，10°)而获得的图像与通过在作为相对远距离(例如，3m或更远的距离)的实际拍摄范围距离12将图像旋转相同的转角(例如，10°)而获得的图像进行比较时，在作为相对近距离的实际拍摄范围距离12获得的图像具有比在相对远距离的实际拍摄范围距离12获得的图像相对较小的运动矢量。
为了形成最佳全景画面，拍摄重叠预定部分的各幅图像比移动程度的绝对大小更重要，从而有必要在实际拍摄范围距离12调整拍摄目标的时刻。也就是说，有必要保证彼此连接的图像之间的重叠区。
因此，优选的是，在相对近距离的实际拍摄范围距离12拍摄全景画面的情况下，和人像全景画面的情况相同，在运动矢量的总和变得相对小的时刻拍摄全景画面。相反，优选的是，在相对远距离的实际拍摄范围距离12拍摄全景画面的情况下，和风景全景画面的情况相同，在运动矢量的总和变得相对大的时刻拍摄全景画面。
参照图7，在本发明的另一示例性实施例中，公开了一种考虑实际拍摄范围距离12来拍摄全景画面的方法。
首先，在步骤200和210开始拍摄全景画面。在这种情况下，在步骤210，从拍摄全景画面的第一图像得到的光学放大倍数和到目标的距离11以及第一图像的信息(例如，形成图像的各像素的色调和亮度)被存储在存储器中。
在步骤212，执行参考存储器的任务以检查在步骤210获得的包括到目标的距离11和光学放大倍数的图像拍摄信息。在步骤214，在步骤212检查的图像拍摄信息用于识别图像的实际拍摄范围距离12。可通过到目标的距离11与光学放大倍数之间的关系来计算图像的实际拍摄范围距离12。例如，图像的实际拍摄范围距离12可对应于通过将到目标的距离11除以用于图像拍摄的光学放大倍数获得的值。
在步骤216，考虑在步骤214检查的实际拍摄范围距离12确定全景画面中的多幅图像的拍摄时间点。在步骤240，x轴上的运动矢量mi，x被累加，并且当累加值达到预设阈值时，确定到达拍摄时间点，从而可以拍摄全景画面的图像。也就是说，执行步骤216以设置预设阈值，从而关于实际拍摄范围距离12适当地设置各幅图像的重叠范围。如上所述，当在相对近距离拍摄全景画面时，和人像拍摄图像的情况一样，用于确定拍摄位置的预设阈值被设置为具有相对小的值。相反，当在相对远距离拍摄全景画面时，和风景全景图像的情况一样，预设阈值被设置为具有相对大的值。
优选地，在步骤216，还设置预设阈值以提醒已经到达拍摄位置。用于提醒已经到达拍摄位置的预定阈值可被设置为具有比用于确定拍摄位置的预设阈值相对小的值。例如，用于提醒已经到达拍摄位置的预设阈值可具有用于确定拍摄位置的预设阈值大约80％的大小。用于确定拍摄位置的预设阈值的大小仅作为该示例性实施例的一个示例被描述，并不将本发明限制为以上描述中的任何示例阈值。
另外，尽管已经在假设想拍摄全景画面中根据本发明的拍摄设备由用户移动的前提下进行了以上描述，但是，即使当拍摄设备被安装在单独的可移动装置从而使其能够自动移动时，仍可以应用本发明而不需要任何修改。此外，尽管对在拍摄全景画面中相机以水平方向或垂直方向拍摄全景画面进行了描述，但是本发明还可应用于相机以混合方式在水平方向或垂直方向上拍摄全景画面的情况(即，构成全景画面的多幅图像被水平或垂直对齐以形成拼接阵列的情况)。应注意，可用各种方式表示除了上述的UI之外的各种类型的UI。
虽然已经参照本发明的特定示例性实施例示出和描述了本发明，但是本领域的技术人员将理解，在不脱离权利要求限定的本发明的精神和范围的情况下，可以做出在形式和细节上做出各种改变。

Claims (16)

1.一种拍摄全景画面的方法，所述方法包括以下步骤：
(a)通过采用运动估计技术将当前输入图像与先前输入图像进行实时对比来检查相应拍摄设备的移动，所述运动估计技术对拍摄的构成全景画面的各幅图像采用曝光补偿；
(b)检查包括用于计算目标的各幅图像的实际拍摄范围距离的焦距和光学放大倍数的图像拍摄信息，并考虑计算的各幅图像的实际拍摄范围距离设置预设阈值；
(c)当确认在步骤(a)中检查到的移动达到预设阈值时，确定各幅图像的拍摄时间点；以及
(d)在各幅图像的拍摄时间点根据手动模式或自动模式拍摄各幅图像，
其中，运动估计技术通过计算当前输入图像的图像块和先前输入图像的图像块之间的运动矢量来估计输入图像的图像块。
2.如权利要求1所述的方法，其中，运动估计技术包括：计算各幅图像的多个图像块中的图像块之间的运动矢量，所述图像块基于在帧的多个图像块之间对比的各个像素的误差信息被匹配；根据相应的图像块的平均值校正图像块中各个像素；以及应用曝光补偿。
3.如权利要求2所述的方法，其中，通过以下的等式定义的平方差之和SSD的计算或绝对差之和SAD的计算来获得误差信息：
修改的SAD
Figure FA20188619200810212511401C00011
修改的SSD
Figure FA20188619200810212511401C00012
其中，I1是先前帧内的图像块中的(x，y)像素的值，I2是当前帧内的图像块中的(x+m，y+n)像素的值，
Figure FA20188619200810212511401C00013
是与先前帧内的图像块相应的像素的平均值，
Figure FA20188619200810212511401C00014
是与当前帧内的图像块相应的像素的平均值。
4.如权利要求3所述的方法，其中，当计算与图像块相应的像素的平均值时，预先设置当前帧的积分图像，并通过使用积分图像来计算各个图像块的平均值。
5.如权利要求3所述的方法，其中，像素值对应于亮度或各个色调。
6.如权利要求2所述的方法，其中，当计算图像块之间的运动矢量时，使用单块搜索方案。
7.如权利要求2所述的方法，其中，根据预览性能、到目标的距离和拍摄模式信息中的一个或至少两个可变地设置所述多个图像块中的图像块。
8.如权利要求7所述的方法，其中，当搜索到与图像块匹配的图像块时，可变地设置搜索范围。
9.如权利要求2所述的方法，其中，通过预先将帧投影到预设全景投影空间对帧进行运动估计。
10.如权利要求2所述的方法，其中，当对比帧时，以预设方式跳过所述帧。
11.如权利要求1所述的方法，其中，在检查拍摄设备的移动的步骤，包括识别拍摄设备移动的方向，并通过使用引导装置引导拍摄设备从识别的方向移动到预设的全景画面拍摄方向。
12.如权利要求11所述的方法，其中，引导装置与通过显示器显示引导方向的用户界面相应。
13.如权利要求11所述的方法，其中，引导装置包括在预设全景图像拍摄位置操作的振动电机。
14.如权利要求1所述的方法，其中，所述预设阈值与指示拍摄各幅图像的时间点和/或到达拍摄时间点的时间点的值相应。
15.如权利要求13所述的方法，其中，所述预设阈值与指示拍摄各幅图像的时间点和/或到达拍摄时间点的时间点的值相应。
16.如权利要求14所述的方法，其中，在拍摄全景画面的时，通过反映包括相机移动速度、旋转角度和相机抖动的程度的拍摄模式来设置所述预设阈值，所述预设阈值用于指示到达拍摄时间点的时间点。
CN2008102125114A 2007-08-29 2008-08-29 拍摄全景画面的方法 Expired - Fee Related CN101377615B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020070087087A KR101354899B1 (ko) 2007-08-29 2007-08-29 파노라마 사진 촬영 방법
KR10-2007-0087087 2007-08-29
KR1020070087087 2007-08-29

Publications (2)

Publication Number Publication Date
CN101377615A CN101377615A (zh) 2009-03-04
CN101377615B true CN101377615B (zh) 2010-09-29

Family

ID=40085946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008102125114A Expired - Fee Related CN101377615B (zh) 2007-08-29 2008-08-29 拍摄全景画面的方法

Country Status (4)

Country Link
US (2) US8330797B2 (zh)
EP (1) EP2031560A1 (zh)
KR (1) KR101354899B1 (zh)
CN (1) CN101377615B (zh)

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101312895B1 (ko) * 2007-08-27 2013-09-30 재단법인서울대학교산학협력재단 파노라마 사진 촬영 방법
KR101522985B1 (ko) * 2008-10-31 2015-05-27 삼성전자주식회사 영상처리 장치 및 방법
TWI401526B (zh) * 2008-12-05 2013-07-11 Altek Corp The instantaneous image of the degree of integration of the instant prompt method
JP5218071B2 (ja) * 2009-01-07 2013-06-26 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
TW201030631A (en) * 2009-02-04 2010-08-16 Altek Corp Automatic photographing method for panoramic image of digital imaging apparatus
TWI395471B (zh) * 2009-07-17 2013-05-01 Altek Corp Panorama image of the leading shooting method
JP2011035752A (ja) * 2009-08-04 2011-02-17 Olympus Corp 撮像装置
US8947502B2 (en) * 2011-04-06 2015-02-03 Qualcomm Technologies, Inc. In camera implementation of selecting and stitching frames for panoramic imagery
JP2011155361A (ja) * 2010-01-26 2011-08-11 Sony Corp 撮像装置、撮像制御方法、プログラム
JP5533048B2 (ja) * 2010-03-08 2014-06-25 ソニー株式会社 撮像制御装置、撮像制御方法
JP4985808B2 (ja) * 2010-03-19 2012-07-25 カシオ計算機株式会社 撮像装置、及びプログラム
KR101663321B1 (ko) 2010-07-30 2016-10-17 삼성전자주식회사 파노라마 사진 촬영 방법
US9398211B2 (en) * 2010-09-23 2016-07-19 Intel Corporation Multi-device alignment for collaborative media capture
JP5652142B2 (ja) 2010-11-11 2015-01-14 ソニー株式会社 撮像装置、表示制御方法およびプログラム
JP5853359B2 (ja) 2010-11-11 2016-02-09 ソニー株式会社 撮像装置、撮像装置の制御方法およびプログラム
CN102156867B (zh) * 2010-12-27 2013-02-20 汉王科技股份有限公司 图像序列拼接方法和装置
WO2012089116A1 (zh) * 2010-12-27 2012-07-05 汉王科技股份有限公司 扫描识别装置和方法
KR101723642B1 (ko) * 2011-01-31 2017-04-19 삼성전자주식회사 파노라마 이미지를 촬영하는 촬영 기기 및 그 파노라마 촬영 방법
KR101049928B1 (ko) * 2011-02-21 2011-07-15 (주)올라웍스 파노라마 이미지를 생성하기 위한 방법, 사용자 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US9762794B2 (en) 2011-05-17 2017-09-12 Apple Inc. Positional sensor-assisted perspective correction for panoramic photography
US8957944B2 (en) 2011-05-17 2015-02-17 Apple Inc. Positional sensor-assisted motion filtering for panoramic photography
US9088714B2 (en) * 2011-05-17 2015-07-21 Apple Inc. Intelligent image blending for panoramic photography
US8600194B2 (en) 2011-05-17 2013-12-03 Apple Inc. Positional sensor-assisted image registration for panoramic photography
US9247133B2 (en) 2011-06-01 2016-01-26 Apple Inc. Image registration using sliding registration windows
KR101777354B1 (ko) * 2011-06-20 2017-09-11 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 상기 방법을 수행하기 위한 컴퓨터 판독가능 저장매체
JP2013034081A (ja) * 2011-08-02 2013-02-14 Sony Corp 画像処理装置、その制御方法およびプログラム
US9894272B2 (en) 2011-11-07 2018-02-13 Sony Interactive Entertainment Inc. Image generation apparatus and image generation method
US9560274B2 (en) 2011-11-07 2017-01-31 Sony Corporation Image generation apparatus and image generation method
JP5659305B2 (ja) 2011-11-07 2015-01-28 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
WO2013069049A1 (ja) 2011-11-07 2013-05-16 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
US8521128B1 (en) 2011-12-09 2013-08-27 Google Inc. Method, system, and computer program product for obtaining crowd-sourced location information
US8988578B2 (en) 2012-02-03 2015-03-24 Honeywell International Inc. Mobile computing device with improved image preview functionality
CN102645836A (zh) * 2012-04-20 2012-08-22 中兴通讯股份有限公司 一种照片拍摄方法及电子设备
US8902335B2 (en) 2012-06-06 2014-12-02 Apple Inc. Image blending operations
US9516223B2 (en) * 2012-06-06 2016-12-06 Apple Inc. Motion-based image stitching
US10306140B2 (en) 2012-06-06 2019-05-28 Apple Inc. Motion adaptive image slice selection
US9098922B2 (en) 2012-06-06 2015-08-04 Apple Inc. Adaptive image blending operations
US10681304B2 (en) 2012-06-08 2020-06-09 Apple, Inc. Capturing a panoramic image using a graphical user interface having a scan guidance indicator
CN104685861B (zh) * 2012-10-05 2018-08-21 索尼公司 内容获取装置、便携装置、服务器、信息处理装置及存储介质
US9270885B2 (en) 2012-10-26 2016-02-23 Google Inc. Method, system, and computer program product for gamifying the process of obtaining panoramic images
US9325861B1 (en) 2012-10-26 2016-04-26 Google Inc. Method, system, and computer program product for providing a target user interface for capturing panoramic images
US9088625B1 (en) 2012-12-12 2015-07-21 Google Inc. Obtaining an image for a place of interest
US20140267679A1 (en) * 2013-03-13 2014-09-18 Leco Corporation Indentation hardness test system having an autolearning shading corrector
US9036943B1 (en) * 2013-03-14 2015-05-19 Amazon Technologies, Inc. Cloud-based image improvement
US20140300686A1 (en) * 2013-03-15 2014-10-09 Tourwrist, Inc. Systems and methods for tracking camera orientation and mapping frames onto a panoramic canvas
WO2014146983A2 (en) * 2013-03-18 2014-09-25 Fotonation Limited A method and apparatus for motion estimation
KR102058857B1 (ko) * 2013-04-08 2019-12-26 삼성전자주식회사 촬영 장치 및 촬영 제어 방법
US9832378B2 (en) 2013-06-06 2017-11-28 Apple Inc. Exposure mapping and dynamic thresholding for blending of multiple images using floating exposure
US9542585B2 (en) 2013-06-06 2017-01-10 Apple Inc. Efficient machine-readable object detection and tracking
KR102092330B1 (ko) 2013-06-20 2020-03-23 삼성전자주식회사 촬영 제어 방법 및 그 전자 장치
CN104427233B (zh) * 2013-09-02 2018-12-14 联想(北京)有限公司 信息处理方法和信息处理设备
KR20150078275A (ko) * 2013-12-30 2015-07-08 삼성전자주식회사 움직이는 피사체 촬영 장치 및 방법
CN105225247B (zh) * 2014-06-19 2019-06-21 深圳力维智联技术有限公司 运动信息捕捉方法及其装置、编码器
US9241104B1 (en) * 2014-10-30 2016-01-19 Htc Corporation Panorama photographing method
US9998655B2 (en) * 2014-12-23 2018-06-12 Quallcomm Incorporated Visualization for viewing-guidance during dataset-generation
US9594980B1 (en) 2015-01-19 2017-03-14 Ricoh Co., Ltd. Image acquisition user interface for linear panoramic image stitching
US9626589B1 (en) * 2015-01-19 2017-04-18 Ricoh Co., Ltd. Preview image acquisition user interface for linear panoramic image stitching
CN104683692B (zh) * 2015-02-04 2017-10-17 广东欧珀移动通信有限公司 一种连拍方法及装置
CN104917960B (zh) * 2015-05-19 2017-10-17 广东欧珀移动通信有限公司 一种控制摄像头旋转的方法及终端
CN108028889B (zh) 2015-09-18 2021-07-02 索尼公司 图像处理设备、图像处理方法、程序和摄像系统
CN105430375B (zh) * 2015-11-11 2017-09-15 深圳进化动力数码科技有限公司 一种检测全景摄像机的拼接适用距离的方法和装置
WO2017155365A1 (en) 2016-03-11 2017-09-14 Samsung Electronics Co., Ltd. Electronic apparatus for providing panorama image and control method thereof
KR101822169B1 (ko) * 2016-03-11 2018-01-25 삼성전자주식회사 파노라마 영상을 제공하는 전자 장치 및 그 제어 방법
KR102598082B1 (ko) 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
CN106851117B (zh) * 2017-03-31 2020-01-31 联想(北京)有限公司 一种获得全景照片的方法及电子设备
CN106954025B (zh) * 2017-04-17 2019-01-22 维沃移动通信有限公司 一种拍照方法及移动终端
CN107277365B (zh) * 2017-07-24 2020-12-15 Tcl移动通信科技（宁波）有限公司 一种全景图像拍摄的方法、存储设备及移动终端
CN107517372B (zh) * 2017-08-17 2022-07-26 腾讯科技（深圳）有限公司 一种vr内容拍摄方法、相关设备及系统
WO2019135475A1 (en) * 2018-01-04 2019-07-11 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
KR102073674B1 (ko) * 2018-01-04 2020-02-05 삼성전자 주식회사 전자장치 및 그 제어방법
CN109194875A (zh) * 2018-10-31 2019-01-11 维沃移动通信有限公司 一种拍摄方法及电子设备
CN109559365A (zh) * 2018-11-30 2019-04-02 努比亚技术有限公司 文件扫描方法、装置、移动终端及存储介质
CN109639975A (zh) * 2018-12-24 2019-04-16 维沃移动通信有限公司 一种拍摄控制方法及移动终端
US11185774B1 (en) * 2020-01-22 2021-11-30 Gil-ad Goldstein Handheld computer application for creating virtual world gaming spheres
CN111432119B (zh) * 2020-03-27 2021-03-23 北京房江湖科技有限公司 图像拍摄方法、装置、计算机可读存储介质及电子设备
KR20220096894A (ko) * 2020-12-31 2022-07-07 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
US11842321B1 (en) * 2021-03-17 2023-12-12 Amazon Technologies, Inc. Image-based detection of planogram product spaces
WO2023204437A1 (ko) * 2022-04-19 2023-10-26 삼성전자주식회사 플렉서블 디스플레이를 포함하는 전자 장치 및 이의 동작 방법

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0838947B1 (en) 1992-10-09 2000-11-29 Sony Corporation Producing and recording images
TW321748B (zh) * 1994-02-23 1997-12-01 Rca Thomson Licensing Corp
JPH09266561A (ja) * 1996-03-28 1997-10-07 Sanyo Electric Co Ltd 連続画像を作成するデジタルスチルカメラ及び連続画像作成方法
US5982951A (en) 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
US6157747A (en) 1997-08-01 2000-12-05 Microsoft Corporation 3-dimensional image rotation method and apparatus for producing image mosaics
US7072398B2 (en) * 2000-12-06 2006-07-04 Kai-Kuang Ma System and method for motion vector generation and analysis of digital video clips
US6618511B1 (en) * 1999-12-31 2003-09-09 Stmicroelectronics, Inc. Perspective correction for panoramic digital camera with remote processing
US6717608B1 (en) * 1999-12-31 2004-04-06 Stmicroelectronics, Inc. Motion estimation for panoramic digital camera
US6930703B1 (en) * 2000-04-29 2005-08-16 Hewlett-Packard Development Company, L.P. Method and apparatus for automatically capturing a plurality of images during a pan
KR100414040B1 (ko) * 2001-04-26 2004-01-07 삼성테크윈 주식회사 디지털 카메라 및 그 파노라마 모드의 수행 방법
WO2002098137A1 (en) * 2001-06-01 2002-12-05 Nanyang Technological University A block motion estimation method
US7513428B2 (en) * 2001-11-21 2009-04-07 Metrologic Instruments, Inc. Planar laser illumination and imaging device employing laser current modulation to generate spectral components and reduce temporal coherence of laser beam, so as to achieve a reduction in speckle-pattern noise during time-averaged detection of images of objects illuminated thereby during imaging operations
KR100600711B1 (ko) 2001-12-21 2006-07-14 엘지전자 주식회사 평면 디스플레이 장치 구동회로부 및 그 구동방법
US20040189849A1 (en) * 2003-03-31 2004-09-30 Hofer Gregory V. Panoramic sequence guide
US20040258154A1 (en) * 2003-06-19 2004-12-23 Microsoft Corporation System and method for multi-stage predictive motion estimation
KR100562401B1 (ko) 2003-07-29 2006-03-17 삼성테크윈 주식회사 카메라 및, 그에 의한 파노라마 사진 촬영 방법
WO2005041564A1 (en) * 2003-10-28 2005-05-06 Koninklijke Philips Electronics N.V. Digital camera with panorama or mosaic functionality
US7746404B2 (en) * 2003-11-10 2010-06-29 Hewlett-Packard Development Company, L.P. Digital camera with panoramic image capture
US7308342B2 (en) * 2004-01-23 2007-12-11 Rafael Armament Development Authority Ltd. Airborne reconnaissance system
US7375745B2 (en) * 2004-09-03 2008-05-20 Seiko Epson Corporation Method for digital image stitching and apparatus for performing the same
FI20045445A0 (fi) * 2004-11-18 2004-11-18 Nokia Corp Menetelmä, laitteisto, ohjelmisto ja järjestely kuvadatan muokkaamiseksi
JP2006217478A (ja) 2005-02-07 2006-08-17 Sony Ericsson Mobilecommunications Japan Inc 画像撮影装置及び画像撮影方法
US20070081081A1 (en) * 2005-10-07 2007-04-12 Cheng Brett A Automated multi-frame image capture for panorama stitching using motion sensor
US20070147812A1 (en) * 2005-12-22 2007-06-28 Nokia Corporation Digital panoramic camera
JP2009522591A (ja) * 2005-12-30 2009-06-11 ノキア コーポレイション 関心領域を追跡することによってビデオカメラの自動焦点を制御するための方法および装置
KR100758632B1 (ko) * 2006-03-29 2007-09-14 삼성전자주식회사 파노라마 사진촬영 장치 및 방법
US20070248330A1 (en) * 2006-04-06 2007-10-25 Pillman Bruce H Varying camera self-determination based on subject motion
KR100800804B1 (ko) * 2006-12-27 2008-02-04 삼성전자주식회사 파노라마 영상 촬영 방법
US7924316B2 (en) * 2007-03-14 2011-04-12 Aptina Imaging Corporation Image feature identification and motion compensation apparatus, systems, and methods
EP2140687A2 (en) * 2007-04-03 2010-01-06 Gary Demos Flowfield motion compensation for video compression
KR100866230B1 (ko) 2007-04-12 2008-10-30 삼성전자주식회사 파노라마 사진 촬영 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
无更相关的对比文件 2010.04.20

Also Published As

Publication number Publication date
KR101354899B1 (ko) 2014-01-27
KR20090022054A (ko) 2009-03-04
EP2031560A1 (en) 2009-03-04
US8330797B2 (en) 2012-12-11
US20130033568A1 (en) 2013-02-07
CN101377615A (zh) 2009-03-04
US20090058990A1 (en) 2009-03-05

Similar Documents

Publication Publication Date Title
CN101377615B (zh) 拍摄全景画面的方法
CN101308323B (zh) 全景图像的拍摄方法
US10530979B2 (en) Panoramic digital photographic apparatus including a user interface indicating in real time a suggested direction of movement for the apparatus based on a central portion of a current image
CN101377616B (zh) 拍摄全景画面的方法
KR100657522B1 (ko) 휴대용 단말기를 이용한 아웃 포커싱 촬영 장치 및 방법
KR20090065914A (ko) 파노라마 사진 자동 촬영 방법
US9501828B2 (en) Image capturing device, image capturing device control method, and program
US20070269198A1 (en) Method for taking a panoramic photo
US8830376B2 (en) Mobile terminal and camera module controlling method
CN103945117A (zh) 拍摄设备、协作拍摄方法以及记录了程序的记录介质
CN102207674A (zh) 全景图像拍摄装置及方法
US10977780B2 (en) Image processing device, control method thereof, and imaging device
CN107071277B (zh) 一种光绘拍摄装置、方法和移动终端
JP6374535B2 (ja) 操作装置、追尾システム、操作方法、及びプログラム
JP2016092787A (ja) 画像処理装置
US20140002590A1 (en) Method for Producing a Panoramic Image and Implementation Apparatus
JP2013074477A (ja) 携帯電子機器及び制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100929

Termination date: 20150829

EXPY Termination of patent right or utility model