CN102739961B - 能够生成广角图像的图像处理装置 - Google Patents
能够生成广角图像的图像处理装置 Download PDFInfo
- Publication number
- CN102739961B CN102739961B CN201210157103.XA CN201210157103A CN102739961B CN 102739961 B CN102739961 B CN 102739961B CN 201210157103 A CN201210157103 A CN 201210157103A CN 102739961 B CN102739961 B CN 102739961B
- Authority
- CN
- China
- Prior art keywords
- shooting
- state
- triggering
- image
- regulation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000007246 mechanism Effects 0.000 claims description 29
- 230000009471 action Effects 0.000 claims description 23
- 230000033001 locomotion Effects 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 7
- 230000008520 organization Effects 0.000 claims description 6
- 238000002360 preparation method Methods 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims description 3
- 238000009790 rate-determining step (RDS) Methods 0.000 claims 3
- 238000000034 method Methods 0.000 description 31
- 230000008569 process Effects 0.000 description 25
- 230000015572 biosynthetic process Effects 0.000 description 14
- 238000003786 synthesis reaction Methods 0.000 description 14
- 238000002156 mixing Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000003825 pressing Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
Abstract
本发明的数码相机，具有CCD、图像显示部、CPU。CPU进行控制以使CCD连续拍摄。另外，CPU根据CCD连续拍摄的多个图像，生成广角图像。而且，CPU检测规定的触发，该规定的触发表示所述CCD向规定方向的连续拍摄的结束。另外，每当检测到规定的触发，CPU将表示为了生成全景图像而所述CCD应连续拍摄的范围的信息变更并显示于所述图像显示部。
Description
技术领域
本发明涉及数码相机或具有拍摄功能的便携电话等图像处理装置、图像处理方法以及记录介质。
背景技术
在数码相机或具有拍摄功能的便携电话等中，拍摄视场角的界限依赖于镜头的焦点距离、拍摄单元的尺寸等装置主体所具有的硬件规格。并且，对于这样的拍摄视场角的界限问题，通过如下方式来应对，即：在拍摄装置中，将广角拍摄用的转换镜头(conversion lens)等安装到现有的镜头前(例如参考日本特开2004-191897号公报、日本特开2005-027142号公报、日本特开2005-057548号公报)，或者预先准备多个镜头，根据拍摄目标来切换镜头(例如参考日本特开2007-081473号公报)。
但是，在上述现有技术中，为进行广角拍摄，必须逐个安装广角拍摄用的转换镜头或根据拍摄目标来切换镜头，在操作性及成本方面存在问题。此外，即使采用了这些广角拍摄用的转换镜头或可切换的镜头，也存在难以获得拍摄者所希望的广角图像的问题。
发明内容
因此，本发明的目的在于，提供一种不进行镜头交换也能够容易且有效地获得广角图像的生成所需的图像的图像处理装置、图像处理方法以及记录介质。
本发明是一种图像处理装置，其特征在于，具备：拍摄机构；显示机构；拍摄控制机构，进行控制以使所述拍摄机构连续拍摄；广角图像生成机构，根据由所述拍摄机构连续拍摄的多个图像，生成广角图像；检测机构，检测规定的触发，该规定的触发表示所述拍摄机构向规定方向的连续拍摄的结束；以及显示控制机构，每当检测到所述规定的触发，则将表示由所述拍摄机构应连续拍摄的范围的信息变更并显示于所述显示机构。
附图说明
图1是表示本发明第1实施方式的数码相机的结构的框图。
图2是用于说明通常的拍摄模式的概念图。
图3是用于说明该第1实施方式的数码相机1的全景拍摄模式的概念图。
图4是表示该第1实施方式的数码相机1的全景拍摄模式下的数码相机1的运动(基于用户的运动方法)的概念图。
图5是用于说明该第1实施方式的数码相机1的动作的流程图。
图6是用于说明该第1实施方式的数码相机1的连拍处理动作的流程图。
图7是用于说明该第1实施方式的数码相机1的合成处理动作的流程图。
图8是用于说明该第1实施方式的数码相机1的合成处理动作的概念图。
图9是用于说明第2实施方式的数码相机1的连拍处理动作的流程图。
图10是用于说明该第2实施方式的数码相机1的连拍处理动作的概念图。
图11是用于说明第3实施方式的数码相机1的连拍处理动作的流程图。
图12是用于说明该第3实施方式的数码相机1的连拍处理动作的概念图。
图13是表示全景拍摄时的数码相机1的运动方法的其它例的概念图。
图14是表示示出拍摄范围的拍摄框及移动方向的其它显示例的概念图。
具体实施方式
下面，参考附图说明本发明的实施方式。
A.第1实施方式
A-1.第1实施方式的结构
图1是表示本发明第1实施方式的数码相机的结构的框图。图中，数码相机1具备拍摄镜头2、镜头驱动部3、光圈兼用快门(较り兼用シヤツタ)4、CCD 5(拍摄机构)、TG(Timing Generator)6、单元电路(unit circuit)7、图像处理部8(广角图像生成机构、全景生成机构、预备合成图像生成机构)、CPU11(拍摄控制机构、显示控制机构、检测机构)、DRAM 12、存储器13、闪存14、图像显示部15(显示机构)、键(key)输入部16、卡I/F17以及存储卡18。
拍摄镜头2包含对焦镜头(focus lens)、变焦镜头(zoom lens)等，连接有镜头驱动部3。镜头驱动部3包括：马达，将构成拍摄镜头2的对焦镜头、变焦镜头分别沿光轴方向驱动；对焦马达驱动器、变焦马达驱动器，根据来自CPU 11的控制信号，驱动对焦马达、变焦马达。
光圈4包含未图示的驱动电路，驱动电路根据从CPU 11送来的控制信号使光圈4动作。该光圈4控制从拍摄镜头2进来的光的量。CCD(拍摄元件)5将经由拍摄镜头2、光圈4而投影的被摄体的光变换为电信号，作为拍摄信号输出到单元电路7。此外，CCD 5根据由TG 6生成的规定频率的定时信号而被驱动。
单元电路7包括：CDS(Correlated Double Sampling)电路，将从CCD 5输出的拍摄信号进行相关双采样(correlated double sampling)并保持；AGC(Automatic Gain Control)电路，进行该采样后的拍摄信号的自动增益调整；A/D变换器，将该自动增益调整后的模拟拍摄信号变换为数字信号。CCD 5的拍摄信号经单元电路7而作为数字信号被送到图像处理部8。另外，单元电路7根据由TG 6生成的规定频率的定时信号而被驱动。
图像处理部8进行以下等处理：从单元电路7送来的图像数据的图像处理(像素插值处理(pixel interpolation processing)、γ修正、亮度色差信号的生成、白平衡处理、曝光修正处理等)、图像数据的压缩/扩展(例如，JPEG形式、M-JPEG形式或MPEG形式的压缩/扩展)处理、合成多个拍摄图像的处理。另外，图像处理部8根据由TG 6生成的规定频率的定时信号而被驱动。
CPU 11是对数码相机1的各部进行控制的单片机。特别是，在本第1实施方式中，在用户使数码相机1运动的期间，CPU 11对各部进行控制，以使得按规定周期(时间间隔)连拍多个图像，将拍摄到的多个图像进行合成使得其一部分重复(例如，使用α混合(blend))，生成如以广角进行拍摄那样的一个合成图像。另外，对于图像合成的详细内容在后面进行叙述。
DRAM 12作为缓冲存储器来使用，暂时存储由CCD 5进行拍摄后被送到CPU 11的图像数据，并且，还作为CPU 11的工作存储器来使用。存储器13存储CPU 11进行的数码相机1的各部的控制所需的程序、以及各部的控制所需的数据，CPU 11根据该程序进行处理。闪存14及存储卡18是保存由CCD 5所拍摄的图像数据等的记录介质。
图像显示部15包含彩色LCD及其驱动电路，在拍摄等待状态时，将由CCD5拍摄的被摄体作为实时图像(real-time image)来显示，在再现记录图像时，显示从闪存14、存储卡23读出并被扩展的记录图像。键输入部16包含快门SW、变焦SW、模式键、SET键、十字键等多个操作键，向CPU 11输出与用户的键操作对应的操作信号。卡I/F17经由数码相机1主体的未图示的卡插槽而装拆自如地安装有存储卡18。
图2是用于说明通常的拍摄模式的概念图。数码相机1在以通常拍摄模式进行拍摄的情况下，如图2所示，只能以该数码相机1的拍摄系统的视场角S进行拍摄。
图3是用于说明本第1实施方式的数码相机1的全景拍摄模式的概念图。图4是表示本第1实施方式的数码相机1的全景拍摄模式下的数码相机1的运动(基于用户的运动方法)的概念图。
在该模式下，相对于所希望的景色，用户以使视场角的长度方向为纵向的方式在纵向上放置数码相机1，在左上端按下快门SW(switch)(半按→全按)，如图3所示的箭头那样，首先从按下了快门SW的左端向右方向运动(状态#1：参考图4)，在规定位置向下方向运动(状态#2：参考图4)，进而在另一规定位置向左方向运动(状态#3：参考图4)。在用户进行该运动的期间，数码相机1按规定的定时连续地拍摄图像。
数码相机1根据以从左端向右方向运动的状态#1拍摄的多个图像合成第1全景图像，根据以从右端向左方向运动的状态#3拍摄的多个图像合成第2全景图像，将第1全景图像和第2全景图像合成，最终生成所希望的广角图像(图3的下侧)。另外，以从上向下方向运动的状态#2拍摄的图像对于全景图像的生成而言不是必要的，因此不被保存。
A-2.第1实施方式的动作
下面，说明上述第1实施方式的动作。
图5是用于说明第1实施方式的数码相机1的动作的流程图。首先，若半按快门SW(步骤S10)，则CPU 11执行AF(auto focus)处理(步骤S12)，若全按快门SW(步骤S14)，则CPU 11以规定的周期(时间间隔)连拍多个图像(步骤S16)。另外，对于连拍处理的详细内容在后面叙述。
此时，如图3所示，相对于所希望的景色，用户以使视场角的长度方向为纵向的方式在纵向上放置数码相机1，在左上按下快门SW(半按→全按)，如图3所示的箭头那样，首先使数码相机1从按下了快门SW的左端向右方向运动(状态#1：参考图4)，在规定位置向下方向运动(状态#2：参考图4)，进而向左方向运动(状态#3：参考图4)。然后，判断连拍是否结束，即判断全景拍摄是否结束(步骤S18)，若连拍未结束，则返回到步骤S16，继续连拍处理。
另一方面，在连拍结束的情况下，即全景拍摄结束的情况下(步骤S18为“是”)，根据以从左端向右方向运动的状态#1拍摄的多个图像合成第1全景图像，根据以从右端向左方向运动的状态#3拍摄的多个图像合成第2全景图像，将第1全景图像和第2全景图像进行合成，最终生成所希望的广角图像(步骤S20)。另外，对于合成处理的详细内容在后面叙述。
图6是用于说明第1实施方式的数码相机1的连拍处理动作的流程图。首先，CPU 11进行前一个拍摄图像和当前拍摄图像之间的位置对照(步骤S30)，判断当前状态是状态#1、#2、#3中的哪个(步骤S32)。
并且，在用户将数码相机1从左端向右方向运动的状态#1的情况下(步骤S32的状态#1)，将该当前拍摄图像保存为用于制作全景图像的图像(步骤S34)。接着，判断数码相机1是否到达规定位置(该情况下，是状态#1的结束位置即右端)(步骤S36)。并且，在没有到达规定位置的情况下(步骤S36的“否”)，不变更当前的状态#1而结束该处理，返回到图5所示主程序(main routine)。
此后，在数码相机1到达规定位置(该情况下，是状态#1的结束位置即右端)之前，反复步骤S34，将拍摄到的图像保存为用于制作全景图像的图像。并且，若数码相机1到达规定位置(步骤S36的“是”)，则由于从状态#1向状态#2转移，因此将当前的状态变更为状态#2(步骤S38)。
接着，若转移为用户使数码相机1从上向下方向运动的状态#2(步骤S32的状态#2)，则不将拍摄图像保存为用于制作全景图像的图像而进入到步骤S42(步骤S40)，判断数码相机1是否到达规定位置(该情况下，是状态#2的结束位置即下部右端)(步骤S42)。并且，在没有到达规定位置的情况下(步骤S42的“否”)，不变更当前的状态#2而结束该处理，返回到图5所示的主程序。
此后，在数码相机1到达规定位置(该情况下是状态#2的结束位置即下部右端)之前，不保存拍摄图像而是按原样地继续拍摄，若数码相机1到达规定位置(步骤S42的“是”)，则由于从状态#2向状态#3转移，因此将当前的状态变更为状态#3(步骤S44)。
接着，若转移为用户使数码相机1从右下向左方向运动的状态#3(步骤S32的状态#3)，则将拍摄到的图像保存为用于制作全景图像的图像(步骤S46)。并且，判断数码相机1是否到达规定位置(该情况下，是状态#3的结束位置即左端)(步骤S48)。在没有到达规定位置的情况下(步骤S48的“否”)，不变更当前的状态#3而结束该处理，返回到图5所示的主程序。
此后，在数码相机1到达规定位置(该情况下，是状态#3的结束位置即左端)之前，反复步骤S46，将拍摄到的图像保存为用于制作全景图像的图像。若数码相机1到达规定位置(步骤S48的“是”)，结束连拍(步骤S50)。
进行上述动作从而用户可获得在使数码相机1从左端向右方向运动的状态#1下拍摄的多个图像、以及在使数码相机1从右下向左方向运动的状态#3下拍摄的多个图像。下面，说明使用这些拍摄到的多个图像来获得最终的广角图像的方法。
图7是用于说明第1实施方式的数字合成处理动作的流程图。图8是用于说明第1实施方式的数字合成处理动作的概念图。首先，CPU 11取得用于制作全景图像的图像(步骤S60)，判别拍摄该图像时的状态(步骤S62)。在拍摄该图像时的状态为状态#1的情况下，对该图像进行用于制作全景图像#1的合成处理(步骤S64)。
此后，判断全景合成是否结束(步骤S68)，若未结束，返回到步骤S60。以下，如图8A所示，进行合成以使得在状态#1下拍摄的多个图像FR1～FR6的一部分重复(例如，使用α混合)，制作全景图像#1。
另一方面，在取得的全景制作用的图像是在状态#3下拍摄的图像的情况下，对该图像进行用于制作全景图像#2的合成处理(步骤S66)。之后，判断全景合成是否结束(步骤S68)，若未结束，返回到步骤S60。以下，如图8B所示，进行合成以使得在状态#3下拍摄的多个图像FL1～FL6部分重复(例如，使用α混合)，制作全景图像#2。
接着，在全景合成结束的情况下(步骤S68的“是”)，如图8C所示，进行合成以使得上述全景图像#1的下侧的规定区域和全景图像#2的上侧的规定区域部分重复(例如，使用α混合)，制作一个广角图像(步骤S70)。
另外，在上述第1实施方式中，也可以是，若从键输入部16预先指定广角图像的拍摄范围，则生成基于所指定的拍摄范围的尺寸的全景图像。另外，也可以是，在图像处理部8中，比较应合成的全景图像彼此的拍摄范围，使拍摄范围小的全景图像配合其它全景图像的拍摄范围来合成，从而生成最终的广角图像。
根据上述第1实施方式，不用交换镜头就能够容易且高效地获得广角图像的生成所需的图像。
B.第2实施方式
下面，说明本发明的第2实施方式。
第2实施方式中，特征在于，将作为相机因素的移动量、方位传感器或加速度传感器等的信息、以及作为用户因素的移动方向指示操作、快门键等的键操作、用户的姿势、声音等用作触发(trigger)，来检测全景拍摄时用户使数码相机1运动时的从状态#1向状态#2、从状态#2向状态#3的移动方向的变化。
另外，第2实施方式的数码相机1的结构与图1相同，因此省略说明。此外，全景拍摄模式的主程序与图5相同，合成处理与图7相同，因此省略说明。
图9是用于说明第2实施方式的数码相机1的连拍处理动作的流程图。图10是用于说明第2实施方式的数码相机1的连拍处理动作的概念图。
在第2实施方式中，为了伴随触发检测而判别当前数码相机1处于状态#1、#2、#3中的哪个状态，准备了每当检测到触发则进行反转的标志、和每当检测到触发则逐一增加的状态#N(系数)。标志的初始值为“0”，每当检测到触发则进行反转。另外，状态#N的初始值为“1”，是表示当前数码相机1处于状态#1、#2、#3中的哪个状态的系数。状态#N在检测出第1次触发之前成为“1”而表示状态#1，若检测出第1次触发则成为“2”而表示状态#2。并且，若检测到下个触发则成为“3”而表示状态#3。
首先，CPU 11进行前一个拍摄图像和当前拍摄图像之间的位置对照(步骤S80)，判断是否检测到触发(步骤S82)。在没有检测到触发的情况下，如图10所示，判断为未从状态#1向状态#2转移、即处于从左端向右方向运动的状态#1，判断标志是否为“1”(步骤S88)。该情况下，因为还没有检测到触发，因此标志为“0”，状态#N为“1”。
并且，由于标志为“0”(步骤S88的“否”)，因此将拍摄到的图像保存为状态#N(＝1)的用于制作全景图像的图像(步骤S90)。之后，结束该处理，返回到图5所示的主程序。此后，在检测到触发之前，反复步骤S90，将拍摄到的图像保存为状态#N(＝1)的用于制作全景图像的图像。
接着，如图10所示，在从状态#1向状态#2转移时，例如通过作为相机因素的移动量及方位传感器的信息、作为用户因素的移动方向、快门键等的键操作、用户的姿势、声音等，检测到数码相机1已到达状态#1的终点的情况下(检测到向规定方向的连续拍摄结束的情况下)，将其检测为触发(步骤S82的“是”)。若检测到触发，则使标志反转(步骤S84)，使状态#N为N+1(步骤S86)。该情况下，标志成为“1”，状态#N成为“2”。
接着，判断标志是否为“1”(步骤S86)。在此情况下，由于标志为“1”，因此不将拍摄图像保存为制作全景图像用的图像而结束该处理(步骤S92)，返回到图5所示的主程序。此后，在检测到下次触发之前(在数码相机1的移动方向成为状态#3之前)，反复进行不保存拍摄图像并结束该处理、返回到图5所示的主程序的动作。因此，不保存以状态#2拍摄的图像。
接着，如图10所示，当从状态#2向状态#3转移时，例如，通过作为相机因素的移动量及方位传感器的信息、作为用户因素的移动方向、快门键等的键操作、用户的姿势、声音等，检测到数码相机1已到达状态#2的终点的情况下(检测到向规定方向的连续拍摄结束的情况下)，将其检测为触发(步骤S82的“是”)。若检测到触发，则使标志反转(步骤S84)，使状态#N成为N+1(步骤S86)。在此情况下，标志成为“0”，状态#N成为“3”。
接着，判断标志是否为“1”(步骤S86)。在此情况下，由于标志为“0”，因此将拍摄到的图像保存为状态#N(＝3)的制作全景图像用的图像(步骤S90)。此后，结束该处理，返回到图5所示的主程序。之后，在检测到下次触发之前，反复进行步骤S90，将拍摄到的图像保存为状态#N(＝3)的制作全景图像用的图像。
进行上述动作，从而获得在用户使数码相机1从左端向右方向运动的状态#1下拍摄的多个图像、以及在用户使数码相机1从右下向左方向运动的状态#3下拍摄的多个图像。
接着，通过与上述第1实施方式相同的方法(参考图7)，合成在状态#1下拍摄的多个图像来制作全景图像#1、合成在状态#3下拍摄的多个图像来制作全景图像#2，进一步将全景图像#1下侧的规定区域和全景图像#2上侧的规定区域合成以使其部分重复(例如，使用α混合)，来制作一个广角图像。
根据上述第2实施方式，不进行镜头交换就能够容易且高效地获得广角图像的生成所需的图像。
C.第3实施方式
下面，说明本发明的第3实施方式。
在上述第1、第2实施方式中，用户为了拍摄用于得到广视场角的合成图像所需的全部图像，如图3的箭头所示那样地，相对于所希望的景色，使视场角的长度方向成为纵方向而在纵方向上放置数码相机1，在左上按下快门SW(半按→全按)，首先从按下了快门SW的左端向右方向运动(状态#1)，在规定位置向下方向运动(状态#2)，进而在另一规定位置向左方向运动(状态#3)。然而，对于用户而言，难以得知如何移动数码相机1较好、或者是否已可靠地获得所需要的图像。
因此，在本第3实施方式中，在全景拍摄模式下，若用户按下快门SW，则在图像显示部15中显示拍摄框及移动方向，拍摄框示出数码相机1应拍摄的范围，移动方向示出向哪个方向移动较好，从而对用户进行引导。此外，在全景拍摄模式中，将当前成像于数码相机1的CCD5的图像作为预览图像(低分辨率)在图像显示部15中进行实时显示，并且在图像显示部15中半透明地(透射率50％)显示使用预览图像合成的合成图像。
这样，在全景拍摄模式中，在图像显示部15中显示出表示接下来应拍摄的拍摄区域的拍摄框、表示向哪个方向移动较好的移动方向、以及将已拍摄的图像合成后的缩小图像，因此用户能够容易地识别向哪个方向移动数码相机1较好。
并且，第3实施方式的数码相机1的结构与图1相同，因此省略其说明。此外，全景拍摄模式的主程序与图5相同，合成处理与图7相同，因此省略其说明。
图11是用于说明第3实施方式的数码相机1的连拍处理动作的流程图。图12是用于说明第3实施方式的数码相机1的连拍处理动作的概念图。
首先，CPU 11进行前一个拍摄图像与当前拍摄图像之间的位置对照(步骤S100)，判断当前状态是状态#1、#2、#3中的哪个(步骤S102)。并且，在处于用户使数码相机1从左端向右方向运动的状态#1的情况下(步骤S 102的状态#1)，如图12所示，显示拍摄框FR1、移动方向M1(步骤S104)。并且，将该当前的拍摄图像保存为在状态#1下的制作全景图像用的图像(步骤S106)，根据在该时刻之前保存的拍摄图像的缩小图像来制作简易合成图像IMG并半透明地(透射率50％)显示(步骤S108)。
接着，判断数码相机1是否到达规定位置P1(该情况下，是状态#1的结束位置：参考图12)(步骤S110)。并且，在没有到达规定位置P1的情况下(步骤S110的“否”)，不改变当前的状态#1而结束该处理，返回到主程序。
此后，反复进行步骤S106和步骤S108直到数码相机1到达规定位置P1，每当将拍摄到的图像保存为状态#1的制作全景图像用的图像，就半透明(透射率50％)地显示该时刻的合成图像。并且，若数码相机1到达规定位置P1(步骤S110的“是”)，则由于从状态#1向状态#2转移，因此将当前的状态变更为状态#2(步骤S112)。
接着，若当前的状态向使数码相机1从状态#1的结束位置向下方向运动的状态#2转移(步骤S102的状态#2)，如图12所示，显示拍摄框FR2、移动方向M2(步骤S114)。并且，不将拍摄图像保存为制作全景图像用的图像，进入步骤S118(步骤S116)，判断数码相机1是否到达规定位置P2(该情况下，是状态#2的结束位置：参考图12)(步骤S118)。并且，在没有到达规定位置P2的情况下(步骤S118的“否”)，不改变当前的状态#2，结束该处理，返回到图5所示的主程序。
此后，不保存拍摄图像并按原样继续进行拍摄，直到数码相机1到达规定位置P2，若数码相机1到达规定位置P2(步骤S118的“是”)，则由于从状态#2向状态#3转移，因此将当前的状态变更为状态#3(步骤S120)。
接着，若当前的状态向使数码相机1从状态#2向左方向运动的状态#3转移(步骤S102的状态#3)，则如图12所示，显示拍摄框FR3、移动方向M3(步骤S122)。并且，将拍摄到的图像保存为状态#3的制作全景图像用的图像(步骤S 124)，根据在该时刻之前保存的拍摄图像的缩小图像来制作简易合成图像，并半透明(透射率50％)地进行显示(步骤S126)。
此后，反复进行步骤S124以及步骤S126直到数码相机1到达规定位置P3(终点)，每当将拍摄到的图像保存为状态#3的制作全景图像用的图像，就半透明(透射率50％)地显示该时刻的合成图像。并且，若数码相机1到达规定位置P3(步骤S128的“是”)，则结束连拍(步骤S130)。
进行上述操作，从而获得在用户使数码相机1从左端向右方向运动的状态#1下拍摄的多个图像、以及在用户使数码相机1从右下向左方向运动的状态#3下拍摄的多个图像。
接着，通过与上述第1、第2实施方式相同的方法(参考图7)，将在状态#1下拍摄的多个图像合成来制作全景图像#1，将在状态#3下拍摄的多个图像合成来制作全景图像#2，进而将全景图像#1下侧的规定区域和全景图像#2上侧的规定区域合成(例如，使用α混合)以使其部分重复，来制作一个广角图像。
另外，在上述第3实施方式中，在图像显示部15所显示的拍摄框FR1～FR3中，如图12所示，优选采用设有余量MG、即比实际拍摄的图像范围稍大的拍摄框。通过设置余量MG，在使数码相机1运动的范围内产生裕度，能够减轻使数码相机1运动的用户的压力。
此外，在上述第3实施方式中，通过是否到达规定位置来判断从状态#1向状态#2、从状态#2向状态#3的移动方向的变化，但不限于此，也可以与上述第2实施方式同样地，将作为相机因素的移动量、方位传感器及加速度传感器等的信息、以及作为用户因素的移动方向指示操作、快门键等的键操作、用户的姿势、声音等用作触发来进行判断。
根据上述第3实施方式，实时地在图像显示部15中显示合成图像，并且显示应使数码相机1移动的拍摄框及移动方向，因此用户可以一边观看拍摄框及移动方向一边使数码相机1运动，因此能够容易且高效地拍摄一次拍摄所不能获得的生成广视场角图像所需的多个图像，能够容易地生成广视场角图像。
另外，在上述第1到第3实施方式中，在全景拍摄时，使数码相机1从左向右、从上向下、进而从右向左移动，但不限于此，例如也可以如图13A所示，在向一个方向运动的期间拍摄多个图像，将其合成来生成一个广角图像。或者也可以如图13B所示，使数码相机1从左向右、从上向下、从右向左、从上向下、然后从左向右这样，反复进行三次以上的横方向移动。
此外，在上述第3实施方式中，显示示出拍摄范围的拍摄框及移动方向，但不限于此，也可以如图14所示，对最终的广角图像的整体框20填涂拍摄到的部分30。
以上说明了本发明的几个实施方式，但本发明不限于此，还包括在权利要求的范围内记载的发明及其等同的范围。
Claims (7)
1.一种图像处理装置，其特征在于，
具备：
拍摄机构；
显示机构；
拍摄控制机构，进行控制以使所述拍摄机构连续拍摄；
广角图像生成机构，根据通过所述拍摄控制机构的控制而在多个拍摄方向中的各拍摄方向上被所述拍摄机构连续拍摄的多个图像，生成广角图像；
第1显示控制机构，使所述显示机构显示第1信息，该第1信息表示：通过所述拍摄控制机构的控制、所述拍摄机构在所述多个拍摄方向中的一个拍摄方向上应连续拍摄的范围；
检测机构，检测规定的触发，该规定的触发表示所述拍摄机构在所述一个拍摄方向上的连续拍摄的结束；以及
第2显示控制机构，使所述显示机构显示第2信息，该第2信息表示：伴随着所述检测机构检测到所述规定的触发、在所述多个拍摄方向中的与所述一个拍摄方向不同的拍摄方向上应连续拍摄的范围。
2.如权利要求1所述的图像处理装置，其特征在于：
该图像处理装置还具有全景图像生成机构，该全景图像生成机构通过对所述拍摄机构连续拍摄的多个图像进行合成，生成全景图像；
所述广角图像生成机构通过对所述全景图像生成机构生成的全景图像彼此进行合成，生成所述广角图像。
3.如权利要求2所述的图像处理装置，其特征在于：
若所述检测机构检测到规定的触发，则所述第2显示控制机构在所述显示机构中显示第2信息，该第2信息表示为了生成下一全景图像从而所述拍摄机构应连续拍摄的范围。
4.如权利要求1所述的图像处理装置，其特征在于：
所述第2显示控制机构显示框，该框表示所述拍摄机构根据所述拍摄控制机构的拍摄控制而应连续拍摄的范围。
5.如权利要求1所述的图像处理装置，其特征在于：
该图像处理装置还具备预备合成图像生成机构，该预备合成图像生成机构将所述拍摄机构连续拍摄的多个图像依次合成来生成图像；
所述第1显示控制机构，在所述显示机构中显示表示所述应连续拍摄的范围的第1信息、以及由所述预备合成图像生成机构生成的图像。
6.如权利要求1所述的图像处理装置，其特征在于：
所述检测机构，将移动量、或方位传感器的信息、或移动方向的变化、或用户进行的规定的指示操作、或基于用户声音的指示、或基于用户动作的指示检测为所述规定的触发。
7.一种图像处理方法，其特征在于，
包含以下步骤：
拍摄控制步骤，由拍摄机构连续进行拍摄；
广角图像生成步骤，根据通过所述拍摄控制步骤而在多个拍摄方向中的各拍摄方向上连续拍摄的多个图像，生成广角图像；
第1显示控制步骤，使显示机构显示第1信息，该第1信息表示：通过所述拍摄控制步骤而在所述多个拍摄方向中的一个拍摄方向上应连续拍摄的范围；
检测步骤，检测规定的触发，该规定的触发表示所述拍摄机构向规定方向的连续拍摄的结束；以及
第2显示控制步骤，使所述显示机构显示第2信息，该第2信息表示：伴随着所述检测步骤检测到所述规定的触发、在所述多个拍摄方向中的与所述一个拍摄方向不同的拍摄方向上应连续拍摄的范围。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP084383/2011 | 2011-04-06 | ||
| JP2011084383A JP5665013B2 (ja) | 2011-04-06 | 2011-04-06 | 画像処理装置、画像処理方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102739961A CN102739961A (zh) | 2012-10-17 |
| CN102739961B true CN102739961B (zh) | 2015-09-23 |
Family
ID=46965788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210157103.XA Expired - Fee Related CN102739961B (zh) | 2011-04-06 | 2012-04-06 | 能够生成广角图像的图像处理装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US8963993B2 (zh) |
| JP (1) | JP5665013B2 (zh) |
| KR (1) | KR101346426B1 (zh) |
| CN (1) | CN102739961B (zh) |
| HK (1) | HK1177082A1 (zh) |
| TW (1) | TWI459126B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101867051B1 (ko) * | 2011-12-16 | 2018-06-14 | 삼성전자주식회사 | 촬상장치, 촬상 구도 제공 방법 및 컴퓨터 판독가능 기록매체 |
| USD771639S1 (en) * | 2012-09-13 | 2016-11-15 | Apple Inc. | Display screen or portion thereof with graphical user interface |
| JP2014187551A (ja) * | 2013-03-22 | 2014-10-02 | Casio Comput Co Ltd | 画像取得装置、画像取得方法及びプログラム |
| WO2015085589A1 (zh) * | 2013-12-13 | 2015-06-18 | 华为终端有限公司 | 一种获取全景图像的方法及终端 |
| CN109348121B (zh) * | 2014-05-29 | 2021-02-23 | 华为技术有限公司 | 一种图像采集方法及装置 |
| USD913323S1 (en) * | 2015-05-29 | 2021-03-16 | Avision Inc. | Display screen or portion thereof with graphical user interface |
| JP2017212698A (ja) * | 2016-05-27 | 2017-11-30 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法およびプログラム |
| JP6732934B2 (ja) | 2016-06-09 | 2020-07-29 | グーグル エルエルシー | 視覚的な障害物を通して写真を撮影する方法 |
| USD844637S1 (en) | 2018-01-17 | 2019-04-02 | Apple Inc. | Electronic device with animated graphical user interface |
| CN108449546B (zh) * | 2018-04-04 | 2020-03-31 | 维沃移动通信有限公司 | 一种拍照方法及移动终端 |
| KR20220106761A (ko) * | 2019-11-29 | 2022-07-29 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | 전자기기 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101282424A (zh) * | 2007-03-07 | 2008-10-08 | 卡西欧计算机株式会社 | 照相机装置、记录照相机装置控制程序的记录介质和照相机装置控制方法 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3845968B2 (ja) * | 1997-08-21 | 2006-11-15 | ソニー株式会社 | 画像処理システム |
| JP2000101895A (ja) * | 1998-09-25 | 2000-04-07 | Sony Corp | 画像信号撮像装置および方法 |
| JP2002090820A (ja) * | 2000-09-14 | 2002-03-27 | Canon Inc | 画像処理装置、画像処理システム、制御方法、及び記憶媒体 |
| US6917701B2 (en) * | 2001-08-29 | 2005-07-12 | Intel Corporation | Omnivergent stereo image capture |
| JP2004191897A (ja) | 2002-12-09 | 2004-07-08 | Yoshiaki Kimura | レンズアダプター |
| JP2004228711A (ja) * | 2003-01-20 | 2004-08-12 | Sony Corp | 監視装置及び方法、プログラム並びに監視システム |
| US20040189849A1 (en) * | 2003-03-31 | 2004-09-30 | Hofer Gregory V. | Panoramic sequence guide |
| JP2005027142A (ja) | 2003-07-04 | 2005-01-27 | Minolta Co Ltd | カメラ用外部装置およびカメラ |
| JP2005057548A (ja) | 2003-08-05 | 2005-03-03 | Nisca Corp | 携帯端末装置 |
| JP5025104B2 (ja) * | 2005-07-19 | 2012-09-12 | キヤノン株式会社 | 撮像装置及びその制御方法、コンピュータプログラム |
| JP2007081473A (ja) | 2005-09-09 | 2007-03-29 | Eastman Kodak Co | 複数光学系を有する撮像装置 |
| JP4611231B2 (ja) | 2006-03-28 | 2011-01-12 | 富士通株式会社 | パノラマ画像作成装置、方法およびプログラム |
| US7860343B2 (en) * | 2006-04-10 | 2010-12-28 | Nokia Corporation | Constructing image panorama using frame selection |
| JP2008098754A (ja) * | 2006-10-06 | 2008-04-24 | Olympus Imaging Corp | 撮像装置、画像再生装置および撮像画像の表示方法 |
| JP4980779B2 (ja) | 2007-04-13 | 2012-07-18 | 富士フイルム株式会社 | 撮影装置、方法およびプログラム |
| JP5321070B2 (ja) | 2009-01-08 | 2013-10-23 | カシオ計算機株式会社 | 撮影装置、撮影方法及びプログラム |
-
2011
- 2011-04-06 JP JP2011084383A patent/JP5665013B2/ja not_active Expired - Fee Related
-
2012
- 2012-04-02 US US13/437,427 patent/US8963993B2/en active Active
- 2012-04-05 KR KR1020120035627A patent/KR101346426B1/ko active IP Right Grant
- 2012-04-05 TW TW101111970A patent/TWI459126B/zh not_active IP Right Cessation
- 2012-04-06 CN CN201210157103.XA patent/CN102739961B/zh not_active Expired - Fee Related
-
2013
- 2013-04-14 HK HK13104502.8A patent/HK1177082A1/zh not_active IP Right Cessation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101282424A (zh) * | 2007-03-07 | 2008-10-08 | 卡西欧计算机株式会社 | 照相机装置、记录照相机装置控制程序的记录介质和照相机装置控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012222495A (ja) | 2012-11-12 |
| TWI459126B (zh) | 2014-11-01 |
| KR101346426B1 (ko) | 2014-01-02 |
| KR20120115127A (ko) | 2012-10-17 |
| US8963993B2 (en) | 2015-02-24 |
| JP5665013B2 (ja) | 2015-02-04 |
| TW201245848A (en) | 2012-11-16 |
| US20120257007A1 (en) | 2012-10-11 |
| CN102739961A (zh) | 2012-10-17 |
| HK1177082A1 (zh) | 2013-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102739961B (zh) | 能够生成广角图像的图像处理装置 | |
| CN102739962B (zh) | 能够生成广角图像的图像处理装置 | |
| JP4985808B2 (ja) | 撮像装置、及びプログラム | |
| US8305465B2 (en) | Image pick-up apparatus with a shake reducing function | |
| US20060028576A1 (en) | Imaging apparatus | |
| KR101433121B1 (ko) | 소정의 종횡비의 합성 화상을 생성하는 화상 처리 장치 | |
| JP4957825B2 (ja) | 撮像装置、及びプログラム | |
| JP2003179798A (ja) | デジタルカメラ | |
| JP4767904B2 (ja) | 撮像装置及び撮像方法 | |
| JP4379921B2 (ja) | 撮像装置及びそのプログラム | |
| JP2011216958A (ja) | 撮像装置、及びプログラム | |
| JP4046276B2 (ja) | デジタルカメラ | |
| JP5655804B2 (ja) | 撮像装置、及びプログラム | |
| JP2008048152A (ja) | 動画処理装置、動画撮影装置および動画撮影プログラム | |
| JP5641352B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP5648563B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP4756005B2 (ja) | 撮像装置及び撮像方法 | |
| JP4905797B2 (ja) | 撮像装置及び撮像方法 | |
| JP4823964B2 (ja) | 撮像装置及び撮像方法 | |
| JP2006145567A (ja) | カメラ、カメラの手ブレ量報知方法、及びプログラム | |
| JP2004312536A (ja) | 撮影装置、撮影装置のぶれ検出方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1177082 Country of ref document: HK |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: GR Ref document number: 1177082 Country of ref document: HK |
|
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150923 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |