CN102469259A - 全景图像生成装置及全景图像生成方法 - Google Patents

全景图像生成装置及全景图像生成方法 Download PDF

Info

Publication number
CN102469259A
CN102469259A CN2011103395339A CN201110339533A CN102469259A CN 102469259 A CN102469259 A CN 102469259A CN 2011103395339 A CN2011103395339 A CN 2011103395339A CN 201110339533 A CN201110339533 A CN 201110339533A CN 102469259 A CN102469259 A CN 102469259A
Authority
CN
China
Prior art keywords
panoramic picture
image
demonstration
moving image
panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103395339A
Other languages
English (en)
Other versions
CN102469259B (zh
Inventor
坂田诚一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Imaging Corp filed Critical Olympus Imaging Corp
Publication of CN102469259A publication Critical patent/CN102469259A/zh
Application granted granted Critical
Publication of CN102469259B publication Critical patent/CN102469259B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Circuits (AREA)

Abstract

本发明提供全景图像生成装置及全景图像生成方法。在由构成运动图像的多个静止图像生成全景图像的情况下，会生成极端地横长或纵长的全景图像。合成构成运动图像的多个静止图像而生成全景图像(70)，确定从所生成的全景图像(70)切出显示用全景图像的大小，同时从全景图像(70)检测关注摄影位置。并且，根据检测的关注摄影位置和所确定的大小，从全景图像(70)切出显示用全景图像(80)。

Description

全景图像生成装置及全景图像生成方法
技术领域
本发明涉及由运动图像生成全景图像的技术。
背景技术
以往，周知有由构成运动图像的多个静止图像生成全景图像的技术(参照JP2009-141821A、JP2000-244814A、JP2009-159514A)。
但是，在由构成运动图像的多个静止图像生成全景图像的情况下，会生成极端地横长或纵长的全景图像。在这样的极端地横长或纵长的全景图像中存在难以确认用户所关注的被摄体的问题。
发明内容
本发明的目的在于提供一种由构成运动图像的多个静止图像生成容易视觉辨认用户所关注的被摄体的全景图像的技术。
根据本发明的一方式的全景图像生成装置能够由运动图像生成全景图像，该全景图像生成装置包括：全景图像生成部，其对构成所述运动图像的多个静止图像进行合成而生成全景图像；切出尺寸确定部，其确定从通过所述全景图像生成部生成的全景图像中切出显示用全景图像的大小；关注摄影位置判定部，其从通过所述全景图像生成部生成的全景图像中检测出关注摄影位置；显示用全景图像切出部，其根据通过所述关注摄影位置判定部检测出的关注摄影位置和通过所述切出尺寸确定部确定的大小，从通过所述全景图像生成部生成的全景图像中切出显示用全景图像；以及显示部，其显示通过所述显示用全景图像切出部切出的显示用全景图像。
根据本发明的另一方式的全景图像生成方法由运动图像生成全景图像，该全景图像生成方法包括如下步骤：对构成所述运动图像的多个静止图像进行合成而生成全景图像；确定从所述生成的全景图像中切出显示用全景图像的大小；从所述生成的全景图像中检测出关注摄影位置；以及根据所述检测出的关注摄影位置和所述确定的大小，从所述生成的全景图像中切出显示用全景图像。
根据本发明，从对构成运动图像的多个静止图像进行合成而生成的全景图像中切出包括用户关注的摄影位置的范围而生成显示用全景图像，因此能够容易视觉辨认用户所关注的被摄体。
附图说明
图1是搭载了一实施方式中的全景图像生成装置的数字照相机的正面立体图。
图2是搭载了一实施方式中的全景图像生成装置的数字照相机的背面立体图。
图3是表示数字照相机的硬件结构例的图。
图4是表示从通过图像合成部生成的全景图像生成切出全景图像而显示到显示部为止的处理的流程的流程图。
图5是表示从纵长的全景图像生成切出全景图像为止的处理的流程的流程图。
图6是表示构成生成全景图像所用的运动图像的多个静止图像的一例的图。
图7是表示根据图6所示的构成运动图像的多个静止图像而生成的全景图像的一例的图。
图8是用于说明计算全景图像的横向上的切出量的方法的图。
图9是表示在通过图像合成部生成的全景图像中生成全景图像所用的多个静止图像的中心位置的图。
图10是表示构成全景图像的多个静止图像的中心位置的时间轴上的坐标的图。
图11是表示在全景图像的横向上每个单位区间的静止图像的中心位置的数量的曲线图及表示全景图像中的关注位置的图。
图12是表示由图6所示的运动图像生成并显示在显示部的切出全景图像的一例的图。
图13是表示利用了切出全景图像所包括的静止图像的运动图像显示的处理的流程的流程图。
图14是表示切出全景图像所包括的帧的一例的图。
图15是表示对图14所示的、切出全景图像所包括的帧依次进行运动图像再现的例子的图。
图16是表示在进行分类运动图像再现的情况下，将切出全景图像也同时显示的例子的图。
图17是表示在利用图16进行说明的运动图像再现方法中结合时限而显示的例子的图。
图18是表示将显示在显示部的切出全景图像也移动显示的例子的图。
符号说明
102摄像元件
15图像处理部
19显示部
27CPU(全景图像生成部、切出尺寸确定部、关注摄影位置判定部、全景图像切出部、再现部)
28运动矢量检测部
29图像合成部
具体实施方式
图1是搭载了一实施方式中的全景图像生成装置的数字照相机1的正面立体图。图2是搭载了一实施方式中的全景图像生成装置的数字照相机1的背面立体图。
如图1及图2所示，数字照相机1具有形成为大致长方体形状的照相机主体3、作为光学系统的镜头4、作为操作部的快门按钮5、电源按钮6(以上，参照图1)、菜单按钮7、十字按钮8、OK/FUNC按钮9、变焦按钮10、模式转盘11、液晶监视器等显示部19(以上，参照图2)。
快门按钮5是用于指示通过镜头4摄像的静止图像及运动图像(连续的静止图像)的记录的操作按钮。电源按钮6是用于开/关数字照相机1的电源的操作按钮。菜单按钮7是用于将用于进行数字照相机1的各种设定的菜单画面显示在显示部19的操作按钮。
十字按钮8是用于通过移动在显示部19显示的菜单画面上的光标位置等而选择所希望的菜单项目的操作按钮。OK/FUNC按钮9用于将利用十字按钮8而选择的菜单项目确定为选择项目的操作按钮。
变焦按钮10是用于通过将镜头4向广角侧或望远侧移动而指示焦距的变更的操作按钮。模式转盘11是用于设定例如运动图像摄影模式或静止图像摄影模式等的数字照相机1的动作模式的操作转盘。
图3是表示数字照相机1的硬件结构例的图。图3所示的数字照相机1具有：镜头101(相当于图1的镜头4)；摄像元件102；摄像处理部103；A/D104(将这些从镜头101到A/D104称为“摄像部100”)；图像处理部15；压缩解压缩部16；图像缓存17；显示处理部18；显示部19(相当于图2的显示部19)；存储部20；内置存储器21；外部存储器22；有线I/F23；总线24；操作部25；集音部26；CPU27；运动矢量检测部28；图像合成部29等。
摄像部100对被摄体进行摄像而依次生成图像数据(图像信号)。生成的图像数据通过总线24输出到图像缓存17。如上所述，摄像部100由镜头101、摄像元件102、摄像处理部103、A/D104构成。
镜头101使对被摄体进行摄像时的被摄体像在摄像元件102上形成。摄像元件102将模拟电信号输出到摄像处理部103，该模拟电信号表示对通过镜头101形成的被摄体像进行光电转换得到的图像。摄像元件102例如为CCD(Charge CoupledDevice：电荷耦合器件)。
摄像处理部103使由摄像元件102输出的模拟电信号的噪声成分减少并使信号电平稳定化，输出到A/D104。摄像处理部103具有使模拟电信号的噪声成分减少的CDS(Correlated Double Sampling：相关双采样)和使信号电平稳定化的AGC(Automatic Gain Control：自动增益控制)等电路。A/D104将由摄像处理部103输出的模拟电信号转换为数字电信号。转换后的数字电信号作为图像数据输出到总线24。
图像缓存17临时存储由A/D104输出并通过总线24输入的图像数据。图像缓存17例如为DRAM(Dynamic Random Access Memory：动态随机存取存储器)等存储装置。
图像处理部15对存储于图像缓存17、内置存储器21或外部存储器22中的图像数据实施伽马校正和白平衡校正等校正处理、增减像素数量的放大/缩小处理(缩放处理)等各种图像处理。图像处理部15在根据存储于图像缓存17、内置存储器21或外部存储器22中的图像数据在显示部19显示图像数据时、在将存储于图像缓存17的图像数据存储于内置存储器21或外部存储器22时，作为其前置处理而实施所述图像处理。
压缩解压缩部16在将通过图像处理部15实施了图像处理的图像数据存储于内置存储器21或外部存储器22时实施压缩处理，或者在读出存储于内置存储器21或外部存储器22的图像数据时实施解压缩处理。在此所说的压缩处理和解压缩处理是指，例如基于JPEG(Joint Photographic Experts Group：联合图像专家组)方式或MPEG(Moving Picture Experts Group：运动图像专家组)方式等的处理。
显示处理部18基于通过图像处理部15进行了图像处理的图像数据在显示部19显示图像数据时生成显示部19能够显示的影像信号而输出到显示部19。显示部19显示与通过显示处理部18输出的影像信号对应的影像。显示部19例如为液晶监视器等显示装置。
存储部20存储图像数据。在此所说的图像数据是指，通过图像处理部15实施了图像处理，且通过压缩解压缩部16实施了压缩处理的图像数据。存储部20由内置存储器21或外部存储器22构成。内置存储器21是预先内置于数字照相机1的存储器。外部存储器22是在数字照相机1上装卸自如的存储卡，例如为xD-图像卡(注册商标)。
有线I/F23是用于数字照相机1按照有线通信标准与外部设备连接的接口。所谓有线通信标准例如为USB(Universal Serial Bus：通用串行总线)。
操作部25是图1的快门按钮5、总线按钮6、菜单按钮7、十字按钮8、OK/FUNC按钮9、变焦按钮10、模式转盘11等。与这些操作部25相关的操作信息被发送到CPU27。集音部26是对声音进行汇集的麦克风等装置。通过该集音部26获得的声音信号被发送到CPU27。
CPU(又称为切出尺寸确定部、关注摄影位置判定部、显示用全景图像切出部、再现部)27通过读出并执行存储于存储部20的内置存储器21的控制程序来控制数字照相机1的整体的动作。
运动矢量检测部28利用已知的方法检测多个图像之间的运动矢量。
图像合成部(又称为全景图像生成部)29根据由运动矢量检测部28检测的运动矢量而校正多个图像之间的位置偏差，将位置偏差校正后的多个图像合成而生成合成图像。特别是，图像合成部29校正构成运动图像的多个静止图像之间的位置偏差，通过合成位置偏差校正后的多个静止图像而生成全景图像。由构成运动图像的多个静止图像生成全景图像的方法是已知的，因此在此省略生成全景图像的处理的详细说明。
根据搭载了一实施方式中的全景图像生成装置的数字照相机，从通过图像合成部29生成的全景图像中切出在进行运动图像摄像时用户所关注的图像区域而作为新的全景图像显示在显示部19。在此，将通过切出通过图像合成部29生成的全景图像而新生成的全景图像称为切出全景图像。
图4是表示从通过图像合成部29生成的全景图像中生成切出全景图像而显示到显示部19为止的处理的流程的流程图。从步骤S10开始，由CPU27进行处理。但是，在流程图的各个步骤的处理当中，既可以通过图像处理部15进行一部分的处理，也可以通过设置未图示的GPU(Graphics Processing Unit：图形处理器)，由GPU进行处理。
在步骤S10中，判定通过图像合成部29生成的全景图像是否为横长。
图6是表示生成全景图像所用的、构成运动图像的多个静止图像51～61的一例的图。并且，图7是表示根据图6所示的构成运动图像的多个静止图像51～61而生成的全景图像的一例的图。
在对运动图像进行摄像时，如图6所示，在将照相机的镜头主要向横向移动的情况下，如图7所示，所生成的全景图像成为横长。另外，在对运动图像进行摄像时，在将照相机的镜头主要向纵向移动的情况下，所生成的全景图像成为纵长。
在步骤S10的判定中，如果判定为所生成的全景图像为横长，则进入步骤S20。从步骤S20到步骤S60的处理是对横长的全景图像进行的处理。
在步骤S20中，计算通过图像合成部29生成的全景图像的横向(水平方向)上的切出量(切出的大小)。
图8是用于说明计算通过图像合成部29生成的全景图像70的横向上的切出量的方法的图。设通过图像合成部29生成的全景图像的横向的长度为WP、纵向的长度为HP、显示切出全景图像时的纵向的显示宽度为HD、横向的显示宽度为WD时，由下面的公式(1)来表示切出全景图像的横向上的切出量WP_NEW。
WP_NEW＝HP×WD/HD    (1)
在步骤S30中，求出在通过图像合成部29生成的全景图像中，用户摄像时所关注的位置。在此，在通过图像合成部29生成的全景图像中，求出生成全景图像所用的多个静止图像的各个中心位置，将全景图像的横向上的每个单位区间的中心位置的数量最多的位置作为用户在进行运动图像摄像时所关注的位置。在此，将在显示部19显示切出全景图像时的横向的长度WP_NEW作为单位区间。
图9是表示在通过图像合成部29生成的全景图像中生成全景图像所用的多个静止图像80～90的中心位置80A～90A的图。
图10是表示构成全景图像的多个静止图像80～90的中心位置80A～90A的时间轴上的坐标的图。
图11是表示在全景图像的横向上每个单位区间的静止图像的中心位置的数量的曲线图及表示全景图像中的关注位置(关注摄影位置)的图。在图10所示的例子中可知，用户在进行运动图像摄像时，在摄像区间A中，只是将照相机的镜头简单地向横向(右方向)移动，而在摄像区间B中，将照相机的镜头不仅向右方向移动，而且还向左方向移动，对被摄体进行精心的摄像。
并且，在运动图像的摄像中，一般在对用户所关注的被摄体进行摄像时的摄像速度比对用户不怎么关注的被摄体进行摄像时的摄像速度慢。
即，在全景图像的横向上，每个单位区间的静止图像的中心位置的数量多的位置是在构成运动图像的多个静止图像中最多的静止图像所映出之处，可以判断为用户所关注的位置。因此，在一实施方式中的摄像装置中，在全景图像的横向上，将每个单位区间的静止图像的中心位置的数量最多的位置作为用户所关注的位置。
在图4所示的流程图的步骤S40中，当以在步骤S30中求出的关注位置为中心，从全景图像中切出在步骤S20中计算的切出量WP_NEW的图像区域时，判定切出的区域是否在全景图像的横向上溢出。当判定为切出的区域在全景图像的横向上没有溢出时，进入步骤S60，当判定为切出的区域在全景图像的横向上溢出时，进入步骤S50。
在步骤S50中，使在步骤S30求出的关注位置偏移与切出的区域溢出的量相应的量，以使切出的区域不从全景图像溢出。
在步骤S60中，以在步骤S30或步骤S50求出的关注位置为中心，从全景图像中切出在步骤S20计算的切出量WP_NEW的图像区域。在图11中由虚线表示的区域100是表示从全景图像中切出的区域的一例的图。并且，图8的图像80表示从全景图像70切出的图像的一例，与在图11中由虚线所示的区域100对应的图像。
另外，在步骤S10中，当判定为所生成的全景图像为纵长时进入步骤S90。在步骤S90中进行从纵长的全景图像中切出包括用户所关注的被摄体的图像的处理。利用图5来说明关于该处理的详细情况。
在图5所示的流程图的步骤S100中，计算通过图像合成部29生成的全景图像的纵向(垂直方向)上的切出量。当设通过图像合成部29生成的全景图像的横向的长度为WP、纵向的长度为HP、在显示切出全景图像时的纵向的显示宽度为HD、横向的显示宽度为WD时，切出全景图像的纵向上的切出量HP_NEW可由下面的公式(2)表示。
HP_NEW＝WP×HD/WD    (2)
在步骤S110中，求出在通过图像合成部29生成的全景图像中，用户进行摄像时所关注的位置。在此，在通过图像合成部29生成的全景图像中，求出构成全景图像的多个静止图像的中心位置，将全景图像的纵向上的每个单位区间的中心位置的数量最多的位置作为用户在进行运动图像摄像时所关注的位置。在此，将在显示部19显示切出全景图像时的纵向的长度HP_NEW作为单位区间。
在步骤S120中，当以在步骤S110中求出的关注位置为中心，从全景图像中切出在步骤S100中计算的切出量HP_NEW的图像区域时，判定切出的区域是否在全景图像的纵向上溢出。当判定为切出的区域在全景图像的纵向上没有溢出时，进入步骤S140，当判定为切出的区域在全景图像的纵向上溢出时，进入步骤S130。
在步骤S130中，使在步骤S110求出的关注位置偏移与切出的区域溢出的量相应的量，以使切出的区域不从全景图像溢出。
在步骤S140中，以在步骤S110或步骤S130求出的关注位置为中心，从全景图像中切出在步骤S100计算的切出量HP_NEW的图像区域。在进行步骤S140的处理后进入图4所示的流程图的步骤S70。
在步骤S70中，将在步骤S60或在图5的步骤S140中切出的图像即切出全景图像与显示部19的显示尺寸对应地进行放大/缩小。在放大/缩小切出全景图像时的放缩系数k可由下面的公式(3)表示。
k＝HD/HP    (3)
在步骤S80中，在显示部19显示在步骤S70中放大或缩小的切出全景图像。图8的图像85是表示以放缩系数k将从全景图像70中切出的图像80放大/缩小的图像的一例。
图12是表示由图6所示的运动图像生成并显示在显示部19的切出全景图像的一例的图，与图8的图像85对应。通过由运动图像生成全景图像的以往的方法会生成如图7所示的极端横长的图像或极端纵长的图像，因此显示在显示部19的被摄体变小，导致用户难以视觉辨认。另外，根据图7所示的全景图像，在整个图像中难以知道用户所关注的部分。但是，根据一实施方式中的全景图像生成装置，如图12所示，切出认为用户关注的图像区域而生成全景图像，因此能够生成与用户的摄像意图相应的全景图像。
-变形显示例1-
在对运动图像进行再现时，也可以在运动图像的整个区间中切出在摄像时想必用户所关注的摄像区间而进行再现。认为用户关注的摄像区间是切出区间图像所包括的区间。
图13是表示使用了切出全景图像所包括的静止图像的运动图像显示的处理的流程的流程图。
在步骤S1300中，在构成运动图像的多个帧(静止图像)中，将前头帧的帧序号N设定为1。
在步骤S1310中，对帧序号N的帧数据进行解码。
在步骤S1320中，判定在步骤S1310中解码的帧是否包括在切出全景图像中。在此，判定解码的帧的中心位置是否包括在切出全景图像中。
图14是表示包括在切出全景图像140中的帧141～145的一例的图。如图14所示，帧141～145的中心位置包括在切出全景图像140中。图14所示的帧146不包括在切出全景图像140中。
当在步骤S1320中判定为解码的帧不包括在切出全景图像中时进入步骤S1340，当判定为包括在切出全景图像中时进入步骤S1330。
在步骤S1330中，将在步骤S1310中解码的帧显示在显示部19。
在步骤S1340中判定帧序号N的帧是否为构成运动图像的最终帧。当判定为帧序号N的帧不是构成运动图像的最终帧时进入步骤S1350，对帧序号N加1而返回到步骤S1310。另外，当判定为帧序号N的帧是构成运动图像的最终帧时，终止流程图的处理。
图15是表示对图14所示的、包括在切出全景图像140中的帧141～145依次进行运动图像再现的例子的图。在该情况下，显示的帧是在构成运动图像的多个帧中抽出一部分的帧，因此有时会抽出中间的帧。但是，根据该运动图像显示方法，能够抽出认为用户在进行运动图像摄像时所关注的摄像区间而进行分类再现。由此，即使在运动图像摄影时间长的情况下，也能够在短时间内有效地欣赏用户在进行运动图像摄像时所关注的被摄体。
-变形显示例2-
图16是表示在进行所述分类运动图像再现的情况下，将切出全景图像160也同时显示的例子的图。根据该显示方法，在显示部19显示了切出全景图像160的状态下，依次显示分类再现的帧161～165。但是，为了将进行分类再现的帧与显示在背后的切出全景图像区别开，以强调分类再现的帧的方式进行显示。
在图16所示的例子中，为了强调进行分类再现的帧161～165，使切出全景图像160的图像区域中，进行分类再现的图像区域以外的图像区域的亮度低。但是，强调进行分类再现的帧的方法不限于该方法。例如，也可以通过显示进行分类再现的帧的帧框架来强调显示再现的帧。
根据该运动图像显示方法，能够容易视觉辨认出再现了所摄像的运动图像区间中的哪个区间。
-变形显示例3-
图17是表示在利用图16进行说明的运动图像再现方法中与时限170结合而显示的例子的图。时限170的长度与被摄像的整个运动图像区间的长度对应，被涂黑的区间171是进行分类再现的运动图像区间。另外，由箭头172来表示在被摄像的整个运动图像区间中正在进行分类再现的帧的位置。由此，能够更加容易视觉辨认正在对被摄像的整个运动图像区间中的哪个区间进行再现。
另外，也可以将时限的长度与切出全景图像的摄像区间的长度对应起来。在该情况下，能够确认正在对切出全景图像的摄像区间中的哪个区间进行分类再现。
为了进行上述显示，存储部20使表示切出全景图像及运动图像的再现位置的数据附随于利用了切出全景图像所包括的静止图像的运动图像的数据而进行存储。由此，能够容易进行如图17所示的以切出全景图像为背景的运动图像显示及表示全景图像中的运动图像的再现位置的运动图像显示。
-变形显示例4-
在利用图16进行说明的运动图像再现方法中，显示在显示部19的切出全景图像未进行移动。图18是表示对显示在显示部19的切出全景图像也进行移动显示的例子的图。
在图18所示的显示例中，将显示在显示部19的切出全景图像以图像180、图像181、图像182、图像181的顺序进行替换。在图18中，上部分表示显示在显示部19的画面的迁移，下部分表示与进行分类再现的帧190～197同时显示的切出全景图像。在图18的下部分中，与切出全景图像180、181、182同时显示的图像183是表示由构成运动图像的多个静止图像构成的全景图像的一部分的图像，这是为了容易理解切出全景图像180～182的各个关系而示出的。
切出全景图像181是通过已说明的方法生成的切出全景图像。切出全景图像180是切出图像183中摄影时间比切出全景图像181早的部分的全景图像。例如，以使切出全景图像181的左半部分与切出全景图像180的右半部分成为相同的被摄体的方式从图像183切出全景图像180。但是，在从图像183切出切出全景图像180时，要切出相对于切出全景图像181摄影时间早多少的部分可以任意设定。
切出全景图像182是切出了摄影时间比切出全景图像181晚的部分的全景图像。例如，以使切出全景图像181的右半部分与切出全景图像182的左半部分成为相同的被摄体的方式从图像183切出全景图像182。但是，在从图像183切出切出全景图像182时，要切出相对于切出全景图像181摄影时间晚多少的部分可以任意设定。切出全景图像180、181、182的大小分别相同。
进行分类运动图像再现的帧是包括在切出全景图像180、181、182中的帧。在图18所示的例子中，帧190～197为进行分类运动图像再现的帧。
进行分类再现的帧190～197中的帧190、191是包括在切出全景图像180中的图像，与切出全景图像180同时显示。另外，帧192、193、194、196、197是包括在切出全景图像181中的图像，与切出全景图像181同时显示。另外，帧195是包括在切出全景图像182中的图像，与切出全景图像182同时显示。因此，在从显示了帧191的状态显示帧192的情况下，要同时显示的切出全景图像也从图像180变更为图像181。同样，在从显示了帧195的状态显示帧196的情况下，要同时显示的切出全景图像也从图像182变更为图像181。
根据该显示方法，与使用一个切出全景图像的显示方法相比，能够以更宽的摄像范围为对象进行分类运动图像再现。
另外，也可以准备多个与帧同时显示的切出全景图像，通过将准备的多个切出全景图像一点一点切换而显示，进行使显示于背景的切出全景图像一点一点变化的显示。
以上，根据一实施方式中的全景图像生成装置，合成构成运动图像的多个静止图像而生成全景图像，确定从所生成的全景图像切出显示用全景图像的大小，同时从所生成的全景图像检测关注摄影位置。并且，根据检测的关注摄影位置和确定的大小，从全景图像切出显示用全景图像。从而，能够生成容易视觉辨认用户所关注的被摄体的全景图像。
并且，在由构成运动图像的多个静止图像生成的全景图像中的构成运动图像的多个静止图像中，检测最多的静止图像所映出之处，作为关注摄影位置。从而，能够高精度地检测认为用户在进行运动图像摄影时关注的位置，因此能够生成容易视觉辨认用户所关注的被写体的全景图像。
并且，在构成运动图像的多个静止图像中，利用包括在显示用全景图像的静止图像而进行运动图像再现，从而提取认为用户在进行运动图像摄像时关注的摄像区间而对运动图像进行分类再现。
另外，在利用包括在显示用全景图像中的静止图像而进行运动图像的再现时，以显示用全景图像为背景，进行强调运动图像的再现。从而，用户能够容易视觉辨认对进行摄像的运动图像区间中的哪个区间进行了再现。
并且，通过一实施方式的全景图像生成装置，在利用包括在显示用全景图像中的静止图像而进行运动图像的再现时，能够进行表示在如下两个全景图像的至少一个图像中的再现位置的显示：通过合成构成运动图像的多个静止图像生成的全景图像及显示用全景图像。从而，在进行运动图像再现时，用户容易视觉辨认正在对所摄像的运动图像区间中哪个区间进行再现。
并且，使表示显示用全景图像及运动图像的再现位置的数据附随于利用了包括在显示用全景图像中的静止图像的运动图像的数据而进行存储，因此能够以显示用全景图像为背景，容易进行利用了包括在显示用全景图像中的静止图像的运动图像的再现。并且，在进行利用了包括在显示用全景图像中的静止图像的运动图像的再现时，能够容易显示全景图像中的运动图像的再现位置。
另外，通过一实施方式中的全景图像生成装置，在准备多个显示用全景图像，以显示用全景图像为背景进行利用了包括在显示用全景图像中的静止图像的运动图像的再现时，能够与运动图像的再现应对地切换显示用全景图像。从而，与利用了一个显示用全景图像的显示方法相比，能够以更宽的摄像范围为对象进行运动图像再现。
另外，在所述的一实施方式的说明中，作为全景图像生成装置进行的处理，以硬件的处理为前提，但无需限定于这样的结构。例如，也可以是由另外软件进行处理的结构。在该情况下，全景图像生成装置包括CPU、RAM等主存储装置、存储有用于实现所述处理的全部或一部分的程序的可由计算机读取的存储介质。在此，将该程序称为全景图像生成程序。并且，CPU读出存储于所述存储介质中的全景图像生成程序，执行信息的加工/演算处理，从而实现与所述全景图像生成装置相同的处理。
在此，所谓计算机可读取的存储介质是指，磁盘、光盘、CD-ROM、DVD-ROM、半导体存储器等。并且，也可以通过通信线路将该全景图像生成程序发送到计算机，由接收该发送的计算机执行该全景图像生成程序。
本发明不限于所述一实施方式，在不脱离本发明的宗旨的范围内可进行各种变形或应用。例如，将搭载了全景图像生成装置的照相机作为数字照相机进行了说明，但既可以是摄像机或电影摄像机这样的运动图像用照相机，也可以是内置于便携电话或便携式信息终端(PDA：Personal Digital Assisit：个人数字助理)、游戏设备等的照相机。
在所述的一实施方式中，如参照图11所说明，在全景图像的横向(或纵向)上，将每个单位区间的静止图像的中心位置的数量最多的位置(峰值位置)作为关注摄影位置。在此，在由曲线图表示每个单位区间的静止图像的中心位置的数量时，如果峰值位置为多个，则也可以将峰值位置中，每个单位区间的静止图像的中心位置的数量为规定阈值以上的峰值位置设定为关注摄影位置。在被设定的关注摄影位置为多个的情况下，对于被设定的各个关注摄影位置生成切出全景图像。

Claims (8)

1.一种全景图像生成装置，其能够由运动图像生成全景图像，该全景图像生成装置的特征在于包括：
全景图像生成部，其对构成所述运动图像的多个静止图像进行合成而生成全景图像；
切出尺寸确定部，其确定从通过所述全景图像生成部生成的全景图像中切出显示用全景图像的大小；
关注摄影位置判定部，其从通过所述全景图像生成部生成的全景图像中检测出关注摄影位置；
显示用全景图像切出部，其根据通过所述关注摄影位置判定部检测出的关注摄影位置和通过所述切出尺寸确定部确定的大小，从通过所述全景图像生成部生成的全景图像中切出显示用全景图像；以及
显示部，其显示通过所述显示用全景图像切出部切出的显示用全景图像。
2.根据权利要求1所述的全景图像生成装置，其特征在于，
所述关注摄影位置判定部在通过所述全景图像生成部生成的全景图像中的构成所述运动图像的多个静止图像中，检测最多的静止图像所映出之处，作为关注摄影位置。
3.根据权利要求1或2所述的全景图像生成装置，其特征在于，
该全景图像生成装置还包括再现部，该再现部利用构成所述运动图像的多个静止图像中的所述显示用全景图像所包括的静止图像进行运动图像再现。
4.根据权利要求3所述的全景图像生成装置，其特征在于，
在利用所述显示用全景图像所包括的静止图像进行运动图像的再现时，所述再现部进行以所述显示用全景图像为背景，强调了所述运动图像的再现。
5.根据权利要求3所述的全景图像生成装置，其特征在于，
在利用所述显示用全景图像所包括的静止图像进行运动图像的再现时，所述显示部进行表示如下两种全景图像中的至少一种图像中的再现位置的显示：通过所述全景图像生成部生成的全景图像和通过所述显示用全景图像切出部切出的显示用全景图像。
6.根据权利要求5所述的全景图像生成装置，其特征在于，
该全景图像生成装置还包括存储部，该存储部使表示所述显示用全景图像及运动图像的再现位置的数据附随于利用了所述显示用全景图像所包括的静止图像的运动图像的数据而进行存储。
7.根据权利要求4所述的全景图像生成装置，其特征在于，
所述显示用全景图像切出部切出多个所述显示用全景图像，
在以所述显示用全景图像为背景利用所述显示用全景图像所包括的静止图像进行运动图像的再现时，所述再现部还与所述运动图像的再现对应地切换所述显示用全景图像。
8.一种全景图像生成方法，由运动图像生成全景图像，该全景图像生成方法的特征在于包括如下步骤：
对构成所述运动图像的多个静止图像进行合成而生成全景图像；
确定从所述生成的全景图像中切出显示用全景图像的大小；
从所述生成的全景图像中检测出关注摄影位置；以及
根据所述检测出的关注摄影位置和所述确定的大小，从所述生成的全景图像中切出显示用全景图像。
CN201110339533.9A 2010-11-01 2011-11-01 全景图像生成装置及全景图像生成方法 Expired - Fee Related CN102469259B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-245195 2010-11-01
JP2010245195 2010-11-01

Publications (2)

Publication Number Publication Date
CN102469259A true CN102469259A (zh) 2012-05-23
CN102469259B CN102469259B (zh) 2015-06-17

Family

ID=45996259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110339533.9A Expired - Fee Related CN102469259B (zh) 2010-11-01 2011-11-01 全景图像生成装置及全景图像生成方法

Country Status (3)

Country Link
US (1) US20120105577A1 (zh)
JP (1) JP2012114900A (zh)
CN (1) CN102469259B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104427260A (zh) * 2013-09-03 2015-03-18 卡西欧计算机株式会社 运动图像生成系统及运动图像生成方法
CN104796597A (zh) * 2014-01-17 2015-07-22 奥林巴斯映像株式会社 显示设备以及显示方法
CN105744147A (zh) * 2014-12-26 2016-07-06 卡西欧计算机株式会社 图像处理装置以及图像处理方法、图像再生装置以及图像再生方法
CN105827946A (zh) * 2015-11-26 2016-08-03 维沃移动通信有限公司 一种全景图像的生成和播放方法及移动终端
CN107810472A (zh) * 2015-06-24 2018-03-16 三星电子株式会社 电子装置和用于控制全景图像的显示的方法
CN107852476A (zh) * 2015-07-31 2018-03-27 谢谢株式会社 动画播放装置、动画播放方法、动画播放程序、动画播放系统以及动画发送装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD771639S1 (en) * 2012-09-13 2016-11-15 Apple Inc. Display screen or portion thereof with graphical user interface
JP6219037B2 (ja) * 2013-02-06 2017-10-25 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
USD844637S1 (en) 2018-01-17 2019-04-02 Apple Inc. Electronic device with animated graphical user interface
WO2022032589A1 (zh) * 2020-08-13 2022-02-17 深圳市大疆创新科技有限公司 全景回放的方法、装置和系统、拍摄设备、可移动平台

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000244814A (ja) * 1999-02-24 2000-09-08 Hitachi Ltd 画像合成装置、画像合成方法が記録された記録媒体
CN1756313A (zh) * 2004-09-30 2006-04-05 中国科学院计算技术研究所 运动视频的全景图合成方法
US7366360B2 (en) * 1995-09-26 2008-04-29 Canon Kabushiki Kaisha Image synthesization method
CN101617530A (zh) * 2007-12-21 2009-12-30 索尼株式会社 图像处理设备、动态画面再现设备及其处理方法和程序
CN101656836A (zh) * 2008-08-22 2010-02-24 奥林巴斯映像株式会社 照相机、图像合成方法以及程序

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7411594B2 (en) * 2002-01-15 2008-08-12 Canon Kabushiki Kaisha Information processing apparatus and method
JP2004234455A (ja) * 2003-01-31 2004-08-19 Canon Inc 情報処理方法および画像再生装置
JP4736381B2 (ja) * 2003-11-27 2011-07-27 ソニー株式会社 撮像装置及び方法、監視システム、プログラム並びに記録媒体
US20070103544A1 (en) * 2004-08-26 2007-05-10 Naofumi Nakazawa Panorama image creation device and panorama image imaging device
US8355042B2 (en) * 2008-10-16 2013-01-15 Spatial Cam Llc Controller in a camera for creating a panoramic image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366360B2 (en) * 1995-09-26 2008-04-29 Canon Kabushiki Kaisha Image synthesization method
JP2000244814A (ja) * 1999-02-24 2000-09-08 Hitachi Ltd 画像合成装置、画像合成方法が記録された記録媒体
CN1756313A (zh) * 2004-09-30 2006-04-05 中国科学院计算技术研究所 运动视频的全景图合成方法
CN101617530A (zh) * 2007-12-21 2009-12-30 索尼株式会社 图像处理设备、动态画面再现设备及其处理方法和程序
CN101656836A (zh) * 2008-08-22 2010-02-24 奥林巴斯映像株式会社 照相机、图像合成方法以及程序

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104427260A (zh) * 2013-09-03 2015-03-18 卡西欧计算机株式会社 运动图像生成系统及运动图像生成方法
CN104427260B (zh) * 2013-09-03 2018-12-11 卡西欧计算机株式会社 运动图像生成系统、运动图像生成方法以及记录介质
CN104796597A (zh) * 2014-01-17 2015-07-22 奥林巴斯映像株式会社 显示设备以及显示方法
CN104796597B (zh) * 2014-01-17 2018-02-13 奥林巴斯株式会社 显示设备以及显示方法
CN105744147A (zh) * 2014-12-26 2016-07-06 卡西欧计算机株式会社 图像处理装置以及图像处理方法、图像再生装置以及图像再生方法
CN107810472A (zh) * 2015-06-24 2018-03-16 三星电子株式会社 电子装置和用于控制全景图像的显示的方法
US10999501B2 (en) 2015-06-24 2021-05-04 Samsung Electronics Co., Ltd. Electronic device and method for controlling display of panorama image
CN107810472B (zh) * 2015-06-24 2021-10-08 三星电子株式会社 电子装置和用于控制全景图像的显示的方法
CN107852476A (zh) * 2015-07-31 2018-03-27 谢谢株式会社 动画播放装置、动画播放方法、动画播放程序、动画播放系统以及动画发送装置
CN105827946A (zh) * 2015-11-26 2016-08-03 维沃移动通信有限公司 一种全景图像的生成和播放方法及移动终端
CN105827946B (zh) * 2015-11-26 2019-02-22 东莞市步步高通信软件有限公司 一种全景图像的生成和播放方法及移动终端

Also Published As

Publication number Publication date
US20120105577A1 (en) 2012-05-03
JP2012114900A (ja) 2012-06-14
CN102469259B (zh) 2015-06-17

Similar Documents

Publication Publication Date Title
CN102469259B (zh) 全景图像生成装置及全景图像生成方法
US10033931B2 (en) Image processing apparatus and image processing method for processing still image data
US9077894B2 (en) Method and apparatus for capturing still image during photographing or reproduction of moving image
US9894270B2 (en) Image processing apparatus and image processing method for handling a raw image, of a moving image or a still image
JP2012015830A (ja) カメラ
JP4898284B2 (ja) カメラ
US20160037014A1 (en) Imaging apparatus and imaging apparatus control method
JP2009290318A (ja) 撮像装置およびズーム調整方法
JP2013118518A (ja) 撮像装置
JP2012151708A (ja) 撮像装置
US9661217B2 (en) Image capturing apparatus and control method therefor
US11202019B2 (en) Display control apparatus with image resizing and method for controlling the same
JP2009147745A (ja) 記録装置、再生装置、記録方法、再生方法及びプログラム
JP2007166539A (ja) 撮像装置、撮像方法、プログラムおよび記憶媒体
JPH11177868A (ja) 撮像方法及び再生方法とその装置
JP5332668B2 (ja) 撮像装置および被写体検出プログラム
JP4752652B2 (ja) 撮像装置、撮像画像表示方法、及び、プログラム
KR101480407B1 (ko) 디지털 영상 처리 장치, 이의 제어 방법 및 상기 제어방법을 기록한 기록 매체
JP2009094741A (ja) 撮像装置、撮像方法及びプログラム
JP4360395B2 (ja) 情報処理装置
JP2006041897A (ja) 映像信号処理装置
JP2018195892A (ja) 撮像装置
JP5561044B2 (ja) 撮像装置、撮像方法及びプログラム
JP2007124548A (ja) 撮像装置
JP2021180396A (ja) 撮像装置および撮像装置の制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151125

Address after: Tokyo, Japan, Japan

Patentee after: Olympus Corporation

Address before: Tokyo, Japan, Japan

Patentee before: Olympus Imaging Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150617

Termination date: 20201101