CN102739962A - 能够生成广角图像的图像处理装置 - Google Patents
能够生成广角图像的图像处理装置 Download PDFInfo
- Publication number
- CN102739962A CN102739962A CN2012101571059A CN201210157105A CN102739962A CN 102739962 A CN102739962 A CN 102739962A CN 2012101571059 A CN2012101571059 A CN 2012101571059A CN 201210157105 A CN201210157105 A CN 201210157105A CN 102739962 A CN102739962 A CN 102739962A
- Authority
- CN
- China
- Prior art keywords
- image processing
- generates
- processing apparatus
- picture
- panoramic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
一种图像处理装置,本发明的数码相机的CPU取得多个全景图像,将该取得的多个全景图像彼此合成来生成一个广角图像。
Description
技术领域
本发明涉及数码相机或具有拍摄功能的便携电话等图像处理装置、图像处理方法以及记录介质。
背景技术
在数码相机或具有拍摄功能的便携电话等中,拍摄视场角的界限依赖于镜头的焦点距离、拍摄单元的尺寸等装置主体所具有的硬件规格。并且,对于这样的拍摄视场角的界限问题,通过如下方式来应对,即:在拍摄装置中,将广角拍摄用的转换镜头(conversion lens)等安装到现有的镜头前(例如参考日本特开2004-191897号公报、日本特开2005-027142号公报、日本特开2005-057548号公报),或者预先准备多个镜头,根据拍摄目标来切换镜头(例如参考日本特开2007-081473号公报)。
但是,在上述现有技术中,为进行广角拍摄,必须逐个安装广角拍摄用的转换镜头或根据拍摄目标来切换镜头,在操作性及成本方面存在问题。此外,即使采用了这些广角拍摄用的转换镜头或可切换的镜头,也存在难以获得拍摄者所希望的广角图像的问题。
发明内容
因此,本发明的目的在于,提供一种不进行镜头交换也能够容易且有效地获得广角图像的生成所需的图像的图像处理装置、图像处理方法以及记录介质。
本发明的图像处理装置,其特征在于,具备:取得机构,取得在一个方向上延伸的多个全景图像;以及广角图像生成机构,在与所述一个方向正交的方向上,将由所述取得机构取得的所述多个全景图像彼此合成,生成一个广角图像。
附图说明
图1是表示本发明第1实施方式的数码相机的结构的框图。
图2是用于说明通常的拍摄模式的概念图。
图3是用于说明该第1实施方式的数码相机1的全景拍摄模式的概念图。
图4是表示该第1实施方式的数码相机1的全景拍摄模式下的数码相机1的运动(基于用户的运动方法)的概念图。
图5是用于说明该第1实施方式的数码相机1的动作的流程图。
图6是用于说明该第1实施方式的数码相机1的连拍处理动作的流程图。
图7是用于说明该第1实施方式的数码相机1的合成处理动作的流程图。
图8是用于说明该第1实施方式的数码相机1的合成处理动作的概念图。
图9是用于说明第2实施方式的数码相机1的连拍处理动作的流程图。
图10是用于说明该第2实施方式的数码相机1的连拍处理动作的概念图。
图11是用于说明第3实施方式的数码相机1的连拍处理动作的流程图。
图12是用于说明该第3实施方式的数码相机1的连拍处理动作的概念图。
图13是表示全景拍摄时的数码相机1的运动方法的其它例的概念图。
图14是表示示出拍摄范围的拍摄框及移动方向的其它显示例的概念图。
具体实施方式
下面,参考附图说明本发明的实施方式。
A.第1实施方式
A-1.第1实施方式的结构
图1是表示本发明第1实施方式的数码相机的结构的框图。图中,数码相机1具备拍摄镜头2、镜头驱动部3、光圈兼用快门(絞り兼用シヤツタ)4、CCD 5(拍摄机构)、TG(Timing Generator)6、单元电路(unit circuit)7、图像处理部8(广角图像生成机构、全景图像生成机构)、CPU 11(取得机构、检测机构、存储控制机构、比较机构)、DRAM 12(存储机构)、存储器13、闪存14、图像显示部15、键(key)输入部16(指定机构)、卡I/F 17以及存储卡18。
拍摄镜头2包含对焦镜头(focus lens)、变焦镜头(zoom lens)等,连接有镜头驱动部3。镜头驱动部3包括:马达,将构成拍摄镜头2的对焦镜头、变焦镜头分别沿光轴方向驱动;对焦马达驱动器、变焦马达驱动器,根据来自CPU11的控制信号,驱动对焦马达、变焦马达。
光圈4包含未图示的驱动电路,驱动电路根据从CPU 11送来的控制信号使光圈4动作。该光圈4控制从拍摄镜头2进来的光的量。CCD(拍摄元件)5将经由拍摄镜头2、光圈4而投影的被摄体的光变换为电信号,作为拍摄信号输出到单元电路7。此外,CCD 5根据由TG 6生成的规定频率的定时信号而被驱动。
单元电路7包括:CDS(Correlated Double Sampling)电路,将从CCD 5输出的拍摄信号进行相关双采样(correlated double sampling)并保持;AGC(Automatic Gain Control)电路,进行该采样后的拍摄信号的自动增益调整;A/D变换器,将该自动增益调整后的模拟拍摄信号变换为数字信号。CCD 5的拍摄信号经单元电路7而作为数字信号被送到图像处理部8。另外,单元电路7根据由TG 6生成的规定频率的定时信号而被驱动。
图像处理部8进行以下等处理:从单元电路7送来的图像数据的图像处理(像素插值处理(pixel interpolation processing)、γ修正、亮度色差信号的生成、白平衡处理、曝光修正处理等)、图像数据的压缩/扩展(例如,JPEG形式、M-JPEG形式或MPEG形式的压缩/扩展)处理、合成多个拍摄图像的处理。另外,图像处理部8根据由TG 6生成的规定频率的定时信号而被驱动。
CPU 11是对数码相机1的各部进行控制的单片机。特别是,在本第1实施方式中,在用户使数码相机1运动的期间,CPU 11对各部进行控制,以使得按规定周期(时间间隔)连拍多个图像,将拍摄到的多个图像进行合成使得其一部分重复(例如,使用α混合(blend)),生成如以广角进行拍摄那样的一个合成图像。另外,对于图像合成的详细内容在后面进行叙述。
DRAM 12作为缓冲存储器来使用,暂时存储由CCD 5进行拍摄后被送到CPU 11的图像数据,并且,还作为CPU 11的工作存储器来使用。存储器13存储CPU 11进行的数码相机1的各部的控制所需的程序、以及各部的控制所需的数据,CPU 11根据该程序进行处理。闪存14及存储卡18是保存由CCD 5所拍摄的图像数据等的记录介质。
图像显示部15包含彩色LCD及其驱动电路,在拍摄等待状态时,将由CCD5拍摄的被摄体作为实时图像(real-time image)来显示,在再现记录图像时,显示从闪存14、存储卡23读出并被扩展的记录图像。键输入部16包含快门SW、变焦SW、模式键、SET键、十字键等多个操作键,向CPU 11输出与用户的键操作对应的操作信号。卡I/F 17经由数码相机1主体的未图示的卡插槽而装拆自如地安装有存储卡18。
图2是用于说明通常的拍摄模式的概念图。数码相机1在以通常拍摄模式进行拍摄的情况下,如图2所示,只能以该数码相机1的拍摄系统的视场角S进行拍摄。
图3是用于说明本第1实施方式的数码相机1的全景拍摄模式的概念图。图4是表示本第1实施方式的数码相机1的全景拍摄模式下的数码相机1的运动(基于用户的运动方法)的概念图。
在该模式下,相对于所希望的景色,用户以使视场角的长度方向为纵向的方式在纵向上放置数码相机1,在左上端按下快门SW(switch)(半按→全按),如图3所示的箭头那样,首先,按下快门SW并沿第1方向(水平方向)运动(状态#1:参考图4),在规定位置沿与第1方向正交的第2方向(垂直方向)运动(状态#2:参考图4),进而,在另一规定位置沿第3方向(水平方向)运动(状态#3:参考图4)。在用户进行该运动的期间,数码相机1按规定的定时依次拍摄图像。
数码相机1根据以沿水平方向运动的状态#1拍摄到的多个图像合成第1全景图像,根据以同样沿水平方向运动的状态#3拍摄到的多个图像合成第2全景图像,将第1全景图像和第2全景图像合成,最终生成所希望的广角图像(图3的下侧)。另外,以沿垂直方向运动的状态#2拍摄到的图像对于全景图像的生成而言不是必要的,因此不被保存。
A-2.第1实施方式的动作
下面,说明上述第1实施方式的动作。
图5是用于说明第1实施方式的数码相机1的动作的流程图。首先,若半按快门SW(步骤S10),则CPU 11执行AF(auto focus)处理(步骤S12),若全按快门SW(步骤S14),则CPU 11以规定的周期(时间间隔)连拍多个图像(步骤S16)。另外,对于连拍处理的详细内容在后面叙述。
此时,如图3所示,相对于所希望的景色,用户以使视场角的长度方向为纵向的方式在纵向上放置数码相机1,在左上按下快门SW(半按→全按),如图3所示的箭头那样,首先使数码相机1沿水平方向(从左端向右方向)运动(状态#1:参考图4),在规定位置沿垂直方向(下方向)运动(状态#2:参考图4),进而沿水平方向(左方向)运动(状态#3:参考图4)。然后,判断连拍是否结束,即判断全景拍摄是否结束(步骤S18),若连拍未结束,则返回到步骤S16,继续连拍处理。
另一方面,在连拍结束的情况下,即全景拍摄结束的情况下(步骤S 18为“是”),根据以从左端向右方向运动的状态#1拍摄的多个图像合成第1全景图像,根据以从右端向左方向运动的状态#3拍摄的多个图像合成第2全景图像,将第1全景图像和第2全景图像进行合成,最终生成所希望的广角图像(步骤S20)。另外,对于合成处理的详细内容在后面叙述。
图6是用于说明第1实施方式的数码相机1的连拍处理动作的流程图。首先,CPU 11进行前一个拍摄图像和当前拍摄图像之间的位置对照(步骤S30),判断当前状态是状态#1、#2、#3中的哪个(步骤S32)。
并且,在用户使数码相机1沿水平方向(从左端向右方向)运动的状态#1的情况下(步骤S32的状态#1),将该当前拍摄图像保存为用于制作全景图像的图像(步骤S34)。接着,判断数码相机1是否到达规定位置(该情况下,是状态#1的结束位置即右端)(步骤S36)。并且,在没有到达规定位置的情况下(步骤S36的“否”),不变更当前的状态#1而结束该处理,返回到图5所示主程序(main routine)。
此后,在数码相机1到达规定位置(该情况下,是状态#1的结束位置即右端)之前,反复步骤S34,将拍摄到的图像保存为用于制作全景图像的图像。并且,若数码相机1到达规定位置(步骤S36的“是”),则由于从状态#1向状态#2转移,因此将当前的状态变更为状态#2(步骤S38)。
接着,若转移为用户使数码相机1沿垂直方向(下方向)运动的状态#2(步骤S32的状态#2),则不将拍摄图像保存为用于制作全景图像的图像而进入到步骤S42(步骤S40),判断数码相机1是否到达规定位置(该情况下,是状态#2的结束位置即下部右端)(步骤S42)。并且,在没有到达规定位置的情况下(步骤S42的“否”),不变更当前的状态#2而结束该处理,返回图5所示的主程序。
此后,在数码相机1到达规定位置(该情况下是状态#2的结束位置即下部右端)之前,不保存拍摄图像而是按原样地继续拍摄,若数码相机1到达规定位置(步骤S42的“是”),则由于从状态#2向状态#3转移,因此将当前的状态变更为状态#3(步骤S44)。
接着,若转移为用户使数码相机1沿水平方向(从右向左方向)运动的状态#3(步骤S32的状态#3),则将拍摄到的图像保存为用于制作全景图像的图像(步骤S46)。并且,判断数码相机1是否到达规定位置(该情况下,是状态#3的结束位置即左端)(步骤S48)。在没有到达规定位置的情况下(步骤S48的“否”),不变更当前的状态#3而结束该处理,返回到图5所示的主程序。
此后,在数码相机1到达规定位置(该情况下,是状态#3的结束位置即左端)之前,反复步骤S46,将拍摄到的图像保存为用于制作全景图像的图像。若数码相机1到达规定位置(步骤S48的“是”),结束连拍(步骤S50)。
进行上述动作从而用户可获得在使数码相机1从左端向右方向运动的状态#1下拍摄的多个图像、以及在使数码相机1从右向左方向运动的状态#3下拍摄的多个图像。下面,说明使用这些拍摄到的多个图像来获得最终的广角图像的方法。
图7是用于说明第1实施方式的数字合成处理动作的流程图。图8是用于说明第1实施方式的数字合成处理动作的概念图。首先,CPU 11取得用于制作全景图像的图像(步骤S60),判别拍摄该图像时的状态(步骤S62)。在拍摄该图像时的状态为状态#1的情况下,对该图像进行用于制作全景图像#1的合成处理(步骤S64)。
此后,判断全景合成是否结束(步骤S68),若未结束,返回到步骤S60。以下,如图8A所示,进行合成以使得在状态#1下拍摄的多个图像FR1~FR6的一部分重复(例如,使用α混合),制作全景图像#1。
另一方面,在取得的全景制作用的图像是在状态#3下拍摄的图像的情况下,对该图像进行用于制作全景图像#2的合成处理(步骤S66)。之后,判断全景合成是否结束(步骤S68),若未结束,返回到步骤S60。以下,如图8B所示,进行合成以使得在状态#3下拍摄的多个图像FL1~FL6部分重复(例如,使用α混合),制作全景图像#2。
接着,在全景合成结束的情况下(步骤S68的“是”),如图8C所示,进行合成以使得上述全景图像#1的下侧的规定区域和全景图像#2的上侧的规定区域部分重复(例如,使用α混合),制作一个广角图像(步骤S70)。
另外,在上述第1实施方式中,也可以是,若从键输入部16预先指定广角图像的拍摄范围,则生成基于所指定的拍摄范围的尺寸的全景图像。另外,也可以是,在图像处理部8中,比较应合成的全景图像彼此的拍摄范围,使其它全景图像的拍摄范围匹配于拍摄范围小的全景图像来合成,从而生成最终的广角图像。
根据上述第1实施方式,不用交换镜头就能够容易且高效地获得广角图像的生成所需的图像。
B.第2实施方式
下面,说明本发明的第2实施方式。
第2实施方式中,特征在于,将作为相机因素的移动量、方位传感器或加速度传感器等的信息、以及作为用户因素的移动方向指示操作、快门键等的键操作、用户的姿势、声音等用作触发(trigger),来检测全景拍摄时用户使数码相机1运动时的从状态#1向状态#2、从状态#2向状态#3的移动方向的变化。
另外,第2实施方式的数码相机1的结构与图1相同,因此省略说明。此外,全景拍摄模式的主程序与图5相同,合成处理与图7相同,因此省略说明。
图9是用于说明第2实施方式的数码相机1的连拍处理动作的流程图。图10是用于说明第2实施方式的数码相机1的连拍处理动作的概念图。
在第2实施方式中,为了伴随触发检测而判别当前数码相机1处于状态#1、#2、#3中的哪个状态,准备了每当检测到触发则进行反转的标志、和每当检测到触发则逐一增加的状态#N(系数)。标志的初始值为“0”,每当检测到触发则进行反转。另外,状态#N的初始值为“1”,是表示当前数码相机1处于状态#1、#2、#3中的哪个状态的系数。状态#N在检测出第1次触发之前成为“1”而表示状态#1,若检测出第1次触发则成为“2”而表示状态#2。并且,若检测到下个触发则成为“3”而表示状态#3。
首先,CPU 11进行前一个拍摄图像和当前拍摄图像之间的位置对照(步骤S80),判断是否检测到触发(步骤S82)。在没有检测到触发的情况下,如图10所示,判断为未从状态#1向状态#2转移、即处于沿水平方向(从左端向右方向)运动的状态#1,判断标志是否为“1”(步骤S88)。该情况下,因为还没有检测到触发,因此际志为“0”,状态#N为“1”。
并且,由于标志为“0”(步骤S88的“否”),因此将拍摄到的图像保存为状态#N(=1)的用于制作全景图像的图像(步骤S90)。之后,结束该处理,返回到图5所示的主程序。此后,在检测到触发之前,反复步骤S90,将拍摄到的图像保存为状态#N(=1)的用于制作全景图像的图像。
接着,如图10所示,在从状态#1向状态#2转移时,例如通过作为相机因素的移动量及方位传感器的信息、作为用户因素的移动方向、快门键等的键操作、用户的姿势、声音等,检测到数码相机1已到达状态#1的终点的情况下,将其检测为触发(步骤S82的“是”)。若检测到触发,则使标志反转(步骤S84),使状态#N为N+1(步骤S86)。该情况下,标志成为“1”,状态#N成为“2”。
接着,判断标志是否为“1”(步骤S86)。在此情况下,由于标志为“1”,因此不将拍摄图像保存为制作全景图像用的图像而结束该处理(步骤S92),返回到图5所示的主程序。此后,在检测到下次触发之前(在数码相机1的移动方向成为状态#3之前),反复进行不保存拍摄图像并结束该处理、返回到图5所示的主程序的动作。因此,不保存以状态#2拍摄的图像。
接着,如图10所示,当从状态#2向状态#3转移时,例如,通过作为相机因素的移动量及方位传感器的信息、作为用户因素的移动方向、快门键等的键操作、用户的姿势、声音等,检测到数码相机1已到达状态#2的终点的情况下(检测到向规定方向的连续拍摄结束的情况下),将其检测为触发(步骤S82的“是”)。若检测到触发,则使标志反转(步骤S84),使状态#N成为N+1(步骤S86)。在此情况下,标志成为“0”,状态#N成为“3”。
接着,判断标志是否为“1”(步骤S86)。在此情况下,由于标志为“0”,因此将拍摄到的图像保存为状态#N(=3)的制作全景图像用的图像(步骤S90)。此后,结束该处理,返回到图5所示的主程序。之后,在检测到下次触发之前,反复进行步骤S90,将拍摄到的图像保存为状态#N(=3)的制作全景图像用的图像。
进行上述动作,从而获得在用户使数码相机1从左端向右方向运动的状态#1下拍摄的多个图像、以及在用户使数码相机1从右下向左方向运动的状态#3下拍摄的多个图像。
接着,通过与上述第1实施方式相同的方法(参考图7),合成在状态#1下拍摄的多个图像来制作全景图像#1,合成在状态#3下拍摄的多个图像来制作全景图像#2,进一步将全景图像#1下侧的规定区域和全景图像#2上侧的规定区域合成以使其部分重复(例如,使用α混合),来制作一个广角图像。
根据上述第2实施方式,不进行镜头交换就能够容易且高效地获得广角图像的生成所需的图像。
C.第3实施方式
下面,说明本发明的第3实施方式。
在上述第1、第2实施方式中,用户为了拍摄用于得到广视场角的合成图像所需的全部图像,如图3的箭头所示那样地,相对于所希望的景色,使视场角的长度方向成为纵方向而在纵方向上放置数码相机1,在左上按下快门SW(半按→全按),首先,沿水平方向(从左端向右方向)运动(状态#1),在规定位置沿垂直方向(下方向)运动(状态#2),进而在另一规定位置沿水平方向(左方向)运动(状态#3)。然而,对于用户而言,难以得知如何移动数码相机1较好、或者是否已可靠地获得所需要的图像。
因此,在本第3实施方式中,在全景拍摄模式下,若用户按下快门SW,则在图像显示部15中显示拍摄框及移动方向,拍摄框示出数码相机1应拍摄的范围,移动方向示出向哪个方向移动较好,从而对用户进行引导。此外,在全景拍摄模式中,将当前成像于数码相机1的CCD 5的图像作为预览图像(低分辨率)在图像显示部15中进行实时显示,并且在图像显示部15中半透明地(透射率50%)显示使用预览图像合成的合成图像。
这样,在全景拍摄模式中,在图像显示部15中显示出表示接下来应拍摄的拍摄区域的拍摄框、表示向哪个方向移动较好的移动方向、以及将已拍摄的图像合成后的缩小图像,因此用户能够容易地识别向哪个方向移动数码相机1较好。
并且,第3实施方式的数码相机1的结构与图1相同,因此省略其说明。此外,全景拍摄模式的主程序与图5相同,合成处理与图7相同,因此省略其说明。
图11是用于说明第3实施方式的数码相机1的连拍处理动作的流程图。图12是用于说明第3实施方式的数码相机1的连拍处理动作的概念图。
首先,CPU 11进行前一个拍摄图像与当前拍摄图像之间的位置对照(步骤S100),判断当前状态是状态#1、#2、#3中的哪个(步骤S102)。并且,在处于用户使数码相机1从左端向右方向运动的状态#1的情况下(步骤S102的状态#1),如图12所示,显示拍摄框FR1、移动方向M1(步骤S104)。并且,将该当前的拍摄图像保存为在状态#1下的制作全景图像用的图像(步骤S106),根据在该时刻之前保存的拍摄图像的缩小图像来制作简易合成图像IMG并半透明地(透射率50%)显示(步骤S108)。
接着,判断数码相机1是否到达规定位置P1(该情况下,是状态#1的结束位置:参考图12)(步骤S110)。并且,在没有到达规定位置P1的情况下(步骤S110的“否”),不改变当前的状态#1而结束该处理,返回到主程序。
此后,反复进行步骤S106和步骤S108直到数码相机1到达规定位置P1,每当将拍摄到的图像保存为状态#1的制作全景图像用的图像,就半透明(透射率50%)地显示该时刻的合成图像。并且,若数码相机1到达规定位置P1(步骤S110的“是”),则由于从状态#1向状态#2转移,因此将当前的状态变更为状态#2(步骤S112)。
接着,若当前的状态向使数码相机1从状态#1的结束位置向下方向运动的状态#2转移(步骤S102的状态#2),如图12所示,显示拍摄框FR2、移动方向M2(步骤S114)。并且,不将拍摄图像保存为制作全景图像用的图像,进入步骤S118(步骤S116),判断数码相机1是否到达规定位置P2(该情况下,是状态#2的结束位置:参考图12)(步骤S118)。并且,在没有到达规定位置P2的情况下(步骤S118的“否”),不改变当前的状态#2,结束该处理,返回到图5所示的主程序。
此后,不保存拍摄图像并按原样继续进行拍摄,直到数码相机1到达规定位置P2,若数码相机1到达规定位置P2(步骤S118的“是”),则由于从状态#2向状态#3转移,因此将当前的状态变更为状态#3(步骤S120)。
接着,若当前的状态向使数码相机1从状态#2向左方向运动的状态#3转移(步骤S102的状态#3),则如图12所示,显示拍摄框FR3、移动方向M3(步骤S122)。并且,将拍摄到的图像保存为状态#3的制作全景图像用的图像(步骤S 124),根据在该时刻之前保存的拍摄图像的缩小图像来制作简易合成图像,并半透明(透射率50%)地进行显示(步骤S126)。
此后,反复进行步骤S124以及步骤S126直到数码相机1到达规定位置P3(终点),每当将拍摄到的图像保存为状态#3的制作全景图像用的图像,就半透明(透射率50%)地显示该时刻的合成图像。并且,若数码相机1到达规定位置P3(步骤S128的“是”),则结束连拍(步骤S130)。
进行上述操作,从而获得在用户使数码相机1从左端向右方向运动的状态#1下拍摄的多个图像、以及在用户使数码相机1从右下向左方向运动的状态#3下拍摄的多个图像。
接着,通过与上述第1、第2实施方式相同的方法(参考图7),将在状态#1下拍摄的多个图像合成来制作全景图像#1,将在状态#3下拍摄的多个图像合成来制作全景图像#2,进而将全景图像#1下侧的规定区域和全景图像#2上侧的规定区域合成(例如,使用α混合)以使其部分重复,来制作一个广角图像。
另外,在上述第3实施方式中,在图像显示部15所显示的拍摄框FR1~FR3中,如图12所示,优选采用设有余量MG、即比实际拍摄的图像范围稍大的拍摄框。通过设置余量MG,在使数码相机1运动的范围内产生裕度,能够减轻使数码相机1运动的用户的压力。
此外,在上述第3实施方式中,通过是否到达规定位置来判断从状态#1向状态#2、从状态#2向状态#3的移动方向的变化,但不限于此,也可以与上述第2实施方式同样地,将作为相机因素的移动量、方位传感器及加速度传感器等的信息、以及作为用户因素的移动方向指示操作、快门键等的键操作、用户的姿势、声音等用作触发来进行判断。
根据上述第3实施方式,实时地在图像显示部15中显示合成图像,并且显示应使数码相机1移动的拍摄框及移动方向,因此用户可以一边观看拍摄框及移动方向一边使数码相机1运动,因此能够容易且高效地拍摄一次拍摄所不能获得的生成广视场角图像所需的多个图像,能够容易地生成广视场角图像。
另外,在上述第1到第3实施方式中,在全景拍摄时,使数码相机1从左向右、从上向下、进而从右向左移动,但不限于此,例如也可以如图13A所示,在向一个方向运动的期间拍摄多个图像,将其合成来生成一个广角图像。或者也可以如图13B所示,使数码相机1从左向右、从上向下、从右向左、从上向下、然后从左向右这样,反复进行三次以上的横方向移动,还可以合成三个以上的全景图像来生成广角图像。
此外,在上述第3实施方式中,显示示出拍摄范围的拍摄框及移动方向,但不限于此,也可以如图14所示,对最终的广角图像的整体框20填涂拍摄到的部分30。
以上说明了本发明的几个实施方式,但本发明不限于此,还包括在权利要求的范围内记载的发明及其等同的范围。
Claims (15)
1.一种图像处理装置,其特征在于,
具备:
取得机构,取得在一个方向上延伸的多个全景图像;以及
广角图像生成机构,在与所述一个方向正交的方向上,将由所述取得机构取得的所述多个全景图像彼此合成,生成一个广角图像。
2.如权利要求1所述的图像处理装置,其特征在于:
该图像处理装置还具有:
拍摄机构;以及
全景图像生成机构,将由所述拍摄机构依次拍摄的多个图像合成来生成全景图像;
所述取得机构取得由所述全景图像生成机构生成的多个全景图像。
3.如权利要求2所述的图像处理装置,其特征在于:
该图像处理装置还具有检测规定的触发的检测机构;
若由所述检测机构检测到规定的触发,则所述全景图像生成机构在检测到该触发的时刻之前将由所述拍摄机构依次拍摄的多个图像合成来生成全景图像;
所述广角图像生成机构将由所述全景图像生成机构生成的多个全景图像彼此合成,来生成所述一个广角图像。
4.如权利要求3所述的图像处理装置,其特征在于:
该图像处理装置还具备:
存储机构,依次存储由所述拍摄机构依次拍摄的多个图像;以及
存储控制机构,若由所述检测机构检测到规定的触发,则控制所述存储机构来存储所述多个图像;
所述全景图像生成机构根据在所述存储机构中存储的多个图像,生成所述全景图像。
5.如权利要求3所述的图像处理装置,其特征在于:
所述检测机构,将移动量、或方位传感器的信息、或移动方向的变化、或用户进行的规定的指示操作、或基于用户声音的指示、或基于用户动作的指示检测为所述规定的触发。
6.如权利要求4所述的图像处理装置,其特征在于:
所述存储控制机构禁止所述存储机构存储在由所述检测机构检测到规定的触发后所拍摄的图像,
在所述存储处于禁止的期间,若由所述检测机构检测到其它规定的触发,则所述存储控制机构许可所述存储机构存储所拍摄的图像。
7.如权利要求2所述的图像处理装置,其特征在于:
所述全景图像生成机构根据所述拍摄机构一边在规定的方向上移动一边依次拍摄的多个图像,生成所述多个全景图像。
8.如权利要求2所述的图像处理装置,其特征在于:
所述全景图像生成机构根据所述拍摄机构的拍摄区域一边在规定的方向上多次移动一边依次拍摄的多个图像,生成所述多个全景图像。
9.如权利要求8所述的图像处理装置,其特征在于:
所述全景图像生成机构,分别根据所述拍摄机构的拍摄区域在一个方向上移动的过程中依次拍摄的多个图像、以及所述拍摄机构的拍摄区域在与所述一个方向相反的方向上移动的过程中依次拍摄的多个图像,生成所述多个全景图像。
10.如权利要求9所述的图像处理装置,其特征在于:
在所述拍摄机构的拍摄区域在一个方向上移动的过程中,若所述拍摄机构拍摄了规定时间、或规定数目、或规定范围的量的图像,则所述全景图像生成机构根据这些图像生成一个全景图像;
在所述拍摄机构的拍摄区域在与所述一个方向相反的方向上移动的过程中,若所述拍摄机构拍摄了规定时间、或规定数目、或规定范围的量的图像,则所述全景图像生成机构根据这些图像生成一个全景图像。
11.如权利要求2所述的图像处理装置,其特征在于:
该图像处理装置还具有预先指定广角图像的拍摄范围的指定机构;
所述全景图像生成机构根据由所述指定机构指定的拍摄范围,生成所述全景图像。
12.如权利要求1所述的图像处理装置,其特征在于:
该图像处理装置还具有比较应合成的全景图像彼此的拍摄范围的比较机构;
所述广角图像生成机构,根据所述比较机构的比较结果,使较大的拍摄范围匹配于较小的拍摄范围来将所述全景图像彼此合成,从而生成所述一个广角图像。
13.如权利要求1所述的图像处理装置,其特征在于:
所述广角图像生成机构将由所述取得机构取得的所述多个全景图像的上侧的规定区域和下侧的规定区域彼此进行合成,生成所述一个广角图像。
14.一种图像处理方法,其特征在于,包含以下步骤:
取得步骤,取得在一个方向上延伸的多个全景图像;以及
广角图像生成步骤,在与所述一个方向正交的方向上,将由所述取得步骤取得的所述多个全景图像彼此合成,生成一个广角图像。
15.一种记录介质,可由进行图像处理的图像处理装置的计算机读取,记录有用于使所述计算机执行以下功能的程序,所述功能包含:
取得功能,取得在一个方向上延伸的多个全景图像;以及
广角图像生成功能,在与所述一个方向正交的方向上,将由所述取得能够取得的所述多个全景图像彼比合成,生成一个广角图像。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011084380A JP5648563B2 (ja) | 2011-04-06 | 2011-04-06 | 画像処理装置、画像処理方法、及びプログラム |
JP2011084376A JP5641352B2 (ja) | 2011-04-06 | 2011-04-06 | 画像処理装置、画像処理方法、及びプログラム |
JP084376/2011 | 2011-04-06 | ||
JP084380/2011 | 2011-04-06 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102739962A true CN102739962A (zh) | 2012-10-17 |
CN102739962B CN102739962B (zh) | 2016-08-24 |
Family
ID=46965787
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210157105.9A Active CN102739962B (zh) | 2011-04-06 | 2012-04-06 | 能够生成广角图像的图像处理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9007429B2 (zh) |
KR (1) | KR101391042B1 (zh) |
CN (1) | CN102739962B (zh) |
TW (1) | TWI514847B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111935408A (zh) * | 2020-09-02 | 2020-11-13 | Oppo广东移动通信有限公司 | 全景图像拍摄方法及系统、电子设备及可读存储介质 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9160914B2 (en) * | 2011-06-28 | 2015-10-13 | Inview Technology Corporation | User control of the visual performance of a compressive imaging system |
JP5522545B2 (ja) * | 2011-10-18 | 2014-06-18 | カシオ計算機株式会社 | 撮像装置、撮像方法、及びプログラム |
USD771639S1 (en) * | 2012-09-13 | 2016-11-15 | Apple Inc. | Display screen or portion thereof with graphical user interface |
KR102023179B1 (ko) * | 2013-02-21 | 2019-09-20 | 삼성전자주식회사 | 듀얼 카메라를 포함하는 전자장치에서 듀얼 리코딩 촬영을 위한 방법 및 장치 |
KR20150033162A (ko) * | 2013-09-23 | 2015-04-01 | 삼성전자주식회사 | 컴포지터, 이를 포함하는 시스템온칩 및 이의 구동 방법 |
RU2626551C1 (ru) * | 2016-06-07 | 2017-07-28 | Общество с ограниченной ответственностью "СИАМС" | Способ формирования панорамных изображений из видеопотока кадров в режиме реального времени |
CN105959570B (zh) * | 2016-06-27 | 2020-12-18 | 联想(北京)有限公司 | 一种拍摄方法和电子设备 |
RU2647645C1 (ru) * | 2016-12-29 | 2018-03-16 | Общество с ограниченной ответственностью "СИАМС" | Способ устранения швов при создании панорамных изображений из видеопотока кадров в режиме реального времени |
CN111373300A (zh) * | 2017-09-25 | 2020-07-03 | 深圳传音通讯有限公司 | 一种增加拍摄画幅的拍摄系统及其控制方法 |
USD844637S1 (en) | 2018-01-17 | 2019-04-02 | Apple Inc. | Electronic device with animated graphical user interface |
USD890795S1 (en) * | 2018-12-26 | 2020-07-21 | Yokogawa Electric Corporation | Measurement device display screen with transitional graphical user interface |
USD892845S1 (en) * | 2019-04-11 | 2020-08-11 | Web Medics, Llc | Display screen with animated graphical user interface |
WO2021106513A1 (ja) * | 2019-11-29 | 2021-06-03 | ソニーセミコンダクタソリューションズ株式会社 | 電子機器 |
CN113115023B (zh) * | 2020-01-09 | 2022-09-27 | 百度在线网络技术(北京)有限公司 | 全景场景切换方法、装置及设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004228711A (ja) * | 2003-01-20 | 2004-08-12 | Sony Corp | 監視装置及び方法、プログラム並びに監視システム |
WO2008087721A1 (ja) * | 2007-01-18 | 2008-07-24 | Fujitsu Limited | 画像合成装置、画像合成方法、プログラム |
US20080253687A1 (en) * | 2007-04-13 | 2008-10-16 | Fujifilm Corporation | Imaging apparatus, method and program |
CN101312501A (zh) * | 2007-05-21 | 2008-11-26 | 奥林巴斯映像株式会社 | 摄像装置和显示方法 |
CN101867720A (zh) * | 2009-04-17 | 2010-10-20 | 索尼公司 | 高质量合成全景图像的相机内生成 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5670935A (en) * | 1993-02-26 | 1997-09-23 | Donnelly Corporation | Rearview vision system for vehicle including panoramic view |
US6466254B1 (en) * | 1997-05-08 | 2002-10-15 | Be Here Corporation | Method and apparatus for electronically distributing motion panoramic images |
JP2004191897A (ja) | 2002-12-09 | 2004-07-08 | Yoshiaki Kimura | レンズアダプター |
US20040189849A1 (en) * | 2003-03-31 | 2004-09-30 | Hofer Gregory V. | Panoramic sequence guide |
JP2005027142A (ja) | 2003-07-04 | 2005-01-27 | Minolta Co Ltd | カメラ用外部装置およびカメラ |
JP2005057548A (ja) | 2003-08-05 | 2005-03-03 | Nisca Corp | 携帯端末装置 |
JP4437677B2 (ja) | 2004-03-01 | 2010-03-24 | 三菱電機株式会社 | 景観表示装置 |
JP2006099497A (ja) | 2004-09-30 | 2006-04-13 | Seiko Epson Corp | パノラマ画像の合成 |
JP2006197312A (ja) | 2005-01-14 | 2006-07-27 | Funai Electric Co Ltd | ディジタルカメラ |
JP2007081473A (ja) | 2005-09-09 | 2007-03-29 | Eastman Kodak Co | 複数光学系を有する撮像装置 |
US7912319B2 (en) | 2006-08-28 | 2011-03-22 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Systems and methods for panoramic image construction using small sensor array |
US8717412B2 (en) * | 2007-07-18 | 2014-05-06 | Samsung Electronics Co., Ltd. | Panoramic image production |
JP4544332B2 (ja) * | 2008-04-07 | 2010-09-15 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
JP5338174B2 (ja) | 2008-07-28 | 2013-11-13 | 富士通株式会社 | パノラマ撮影装置及び方法、パノラマ撮影装置を搭載したカメラユニット |
JP2010124088A (ja) | 2008-11-18 | 2010-06-03 | Panasonic Corp | 撮像装置 |
JP4760918B2 (ja) * | 2009-01-23 | 2011-08-31 | カシオ計算機株式会社 | 撮像装置、被写体追従方法、及びプログラム |
-
2012
- 2012-04-02 US US13/437,346 patent/US9007429B2/en active Active
- 2012-04-05 TW TW101111973A patent/TWI514847B/zh active
- 2012-04-05 KR KR1020120035625A patent/KR101391042B1/ko active IP Right Grant
- 2012-04-06 CN CN201210157105.9A patent/CN102739962B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004228711A (ja) * | 2003-01-20 | 2004-08-12 | Sony Corp | 監視装置及び方法、プログラム並びに監視システム |
WO2008087721A1 (ja) * | 2007-01-18 | 2008-07-24 | Fujitsu Limited | 画像合成装置、画像合成方法、プログラム |
US20080253687A1 (en) * | 2007-04-13 | 2008-10-16 | Fujifilm Corporation | Imaging apparatus, method and program |
CN101312501A (zh) * | 2007-05-21 | 2008-11-26 | 奥林巴斯映像株式会社 | 摄像装置和显示方法 |
CN101867720A (zh) * | 2009-04-17 | 2010-10-20 | 索尼公司 | 高质量合成全景图像的相机内生成 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111935408A (zh) * | 2020-09-02 | 2020-11-13 | Oppo广东移动通信有限公司 | 全景图像拍摄方法及系统、电子设备及可读存储介质 |
CN111935408B (zh) * | 2020-09-02 | 2022-01-18 | Oppo广东移动通信有限公司 | 全景图像拍摄方法及系统、电子设备及可读存储介质 |
WO2022048303A1 (zh) * | 2020-09-02 | 2022-03-10 | Oppo广东移动通信有限公司 | 全景图像拍摄方法及系统、电子设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
KR20120114177A (ko) | 2012-10-16 |
CN102739962B (zh) | 2016-08-24 |
US9007429B2 (en) | 2015-04-14 |
KR101391042B1 (ko) | 2014-04-30 |
TWI514847B (zh) | 2015-12-21 |
TW201301866A (zh) | 2013-01-01 |
US20120257006A1 (en) | 2012-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102739962A (zh) | 能够生成广角图像的图像处理装置 | |
CN102739961B (zh) | 能够生成广角图像的图像处理装置 | |
US9679394B2 (en) | Composition determination device, composition determination method, and program | |
JP4985808B2 (ja) | 撮像装置、及びプログラム | |
US7801360B2 (en) | Target-image search apparatus, digital camera and methods of controlling same | |
EP1785914A1 (en) | Image processing for object detection | |
US20060028576A1 (en) | Imaging apparatus | |
KR101433121B1 (ko) | 소정의 종횡비의 합성 화상을 생성하는 화상 처리 장치 | |
JP2006141005A (ja) | 画像の遠近を補正するシステム及び方法 | |
US8189055B2 (en) | Digital photographing apparatus and method of controlling the same | |
CN102263894A (zh) | 拍摄装置 | |
US20130120642A1 (en) | Digital photographing apparatus and method of controlling the same | |
JP2003179798A (ja) | デジタルカメラ | |
JP2009089220A (ja) | 撮像装置 | |
CN102387304B (zh) | 摄像装置 | |
JP4609315B2 (ja) | 撮像装置、ズーム時の画角枠表示方法、およびプログラム | |
CN102209199B (zh) | 图像拍摄装置 | |
CN102572232B (zh) | 摄像装置以及摄像方法 | |
US8319838B2 (en) | Method for enabling auto-focus function, electronic device thereof, recording medium thereof, and computer program product using the method | |
JP5637491B2 (ja) | 撮影装置、撮影方法、及びプログラム | |
JP2008048152A (ja) | 動画処理装置、動画撮影装置および動画撮影プログラム | |
JP4923674B2 (ja) | デジタルカメラ及びフォーカス位置特定方法、プログラム | |
JP5641352B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5648563B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2012165405A (ja) | 撮像装置、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1177083 Country of ref document: HK |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: WD Ref document number: 1177083 Country of ref document: HK |