CN111953870B - 电子设备、电子设备的控制方法和计算机可读介质 - Google Patents
电子设备、电子设备的控制方法和计算机可读介质 Download PDFInfo
- Publication number
- CN111953870B CN111953870B CN202010406853.0A CN202010406853A CN111953870B CN 111953870 B CN111953870 B CN 111953870B CN 202010406853 A CN202010406853 A CN 202010406853A CN 111953870 B CN111953870 B CN 111953870B
- Authority
- CN
- China
- Prior art keywords
- image
- moving image
- still image
- record
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 claims description 97
- 230000003287 optical effect Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 description 23
- 230000006835 compression Effects 0.000 description 13
- 238000007906 compression Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 230000003139 buffering effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G06T3/12—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Cameras In General (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Camera Data Copying Or Recording (AREA)
Abstract
本发明涉及一种电子设备、电子设备的控制方法和计算机可读介质。电子设备包括:获取单元,其被配置为获取所拍摄的图像;以及控制单元,其被配置为进行控制,以提取获取单元所获取到的图像的部分范围并将不是VR图像的运动图像记录在存储器中,以及进行控制,以基于所获取到的图像将作为VR图像的静止图像记录在存储器中。
Description
技术领域
本发明涉及电子设备、其控制方法、程序和存储介质。特别地,本发明涉及用于拍摄运动图像和静止图像的方法。
背景技术
已知有能够拍摄具有比正常视场角宽的例如180度或360度的宽视野的VR图像的摄像设备(日本特开2015-115778)。还已知有能够在各种定时拍摄静止图像和运动图像的摄像设备(日本特开2012-182730)。
存在用户希望拍摄VR图像和具有正常视场角的图像这两者的情况。然而,在这种情况下,用户需要使用能够拍摄VR图像的摄像设备和能够拍摄具有正常视场角的摄像设备这两者。这对于用户来说是不方便的。此外,用户如果花费过多时间来在两个摄像设备之间切换,则可能会错失拍照机会。
发明内容
本发明提供使得能够拍摄VR图像和具有正常视场角的图像这两者的电子设备。
根据本发明的一种电子设备,包括:获取单元,其被配置为获取所拍摄的图像;以及控制单元,其被配置为进行控制,以提取所述获取单元所获取到的图像的部分范围并且将不是VR图像的运动图像记录在存储器中,以及进行控制,以基于所获取到的图像来将作为VR图像的静止图像记录在所述存储器中。
一种电子设备,包括:获取单元,其被配置为获取多个图像传感器分别拍摄的多个图像;运动图像生成单元,其被配置为基于所述多个图像传感器其中之一所拍摄的图像来生成运动图像;静止图像生成单元,其被配置为基于所述多个图像传感器所拍摄的多个图像来生成视场角比所述运动图像的视场角宽的静止图像;以及控制单元,其被配置为进行控制,以将所述运动图像和所述静止图像各自记录在存储器中。
一种电子设备的控制方法,包括:获取所拍摄的图像;以及进行控制,以提取所获取到的图像的部分范围,并且将不是VR图像的运动图像记录在存储器中;以及进行控制,以基于所获取到的图像将作为VR图像的静止图像记录在所述存储器中。
一种电子设备的控制方法,包括:获取多个图像传感器分别拍摄的多个图像;基于所述多个图像传感器其中之一所拍摄的图像来生成运动图像;基于所述多个图像传感器所拍摄的多个图像来生成视场角比所述运动图像的视场角宽的静止图像;以及进行控制,以将所述运动图像和所述静止图像各自记录在存储器中。
一种计算机可读记录介质,其存储程序,所述程序用于使得计算机执行上述的电子设备的控制方法的各步骤。
通过以下参考附图对典型实施例的说明,本发明的更多特征将变得明显。
附图说明
图1A和1B示出根据本实施例的摄像设备的外观图;
图2是示出根据本实施例的摄像设备的内部结构的框图;
图3是示出根据本实施例的摄像设备的内部结构的框图;
图4是示出根据本实施例的摄像处理的示例的流程图;以及
图5示出根据本实施例的摄像的示例。
具体实施方式
以下将参考附图来说明本发明的优选实施例。图1A和1B示出作为本发明可应用于的电子设备的示例的摄像设备100的外观图。摄像设备100是镜头一体型的数字照相机。摄像设备100也可以是单镜头反光照相机或无反光镜单镜头照相机。
图1A示出摄像设备100的正面的外观图。显示器141显示各种图像和各种信息。摄像设备100可以使得显示器141进行实时取景显示(几乎实时地显示被摄体的实时取景图像的显示)(显示控制)。另外,用户可以在利用显示器141上的实时取景显示来确认被摄体的同时,发出与摄像有关的各种指示(与摄像有关的各种操作)。显示器141的显示面上所设置的触摸面板13可以接收触摸操作。释放按钮11是可以半按下或全按下的开关。用户可以通过半按下或全按下释放按钮11来发出用以准备进行摄像的指示、用以开始运动图像拍摄的指示、用以结束运动图像拍摄的指示、用以拍摄静止图像的指示等至少之一。镜头101是广角镜头,并且在(图1A中未示出的)图像传感器102上形成入射到镜头101中的光束的图像。
图1B示出摄像设备100的背面的外观图。用户可以通过按下按钮12或者将按下按钮12的手指从该按钮松开来发出用以准备进行摄像的指示、用以开始运动图像拍摄的指示、用以结束运动图像拍摄的指示、用以拍摄静止图像的指示等至少之一。镜头111是与镜头101类似的广角镜头,并且在(图1B中未示出的)图像传感器112上形成入射到镜头111的光束的图像。
可选地,显示器141可以是与摄像设备100分开的装置(通过有线或无线连接至摄像设备100的诸如智能电话或平板终端等的外部装置)。例如,显示器141可以安装在作为与摄像设备100分开的本体的智能电话等上。在这种情况下,由于摄像设备100可以使得外部装置进行实时取景显示,因此用户可以在确认外部装置的实时取景显示上的被摄体的同时,发出与摄像有关的各种指示。另外,可以通过使用与摄像设备100分开的装置来进行用以发出与摄像有关的各种指示的操作。例如,用户可以对作为与摄像设备100分开的本体的智能电话进行操作,并且智能电话可以向摄像设备100发出与该操作相对应的指示。
图2示出摄像设备100的内部结构。尽管图2单独示出各功能作为构成元件,但各功能可以由诸如单个或多个ASIC或可编程逻辑阵列(PLA)等的硬件来实现。可选地,各功能可以由执行软件的诸如CPU或MPU等的可编程处理器来实现。
镜头101是包括光圈机构的单焦点镜头,并且设置镜头101的焦点位置以获得深焦(deep focus)。然而,镜头101不一定是单焦点镜头。
图像传感器102包括CCD元件和CMOS元件,并且具有二维配置包括光电转换元件的多个像素的结构。图像传感器102按各像素对由包括镜头101的摄像光学系统形成的被摄体图像(光学图像)进行光电转换。也就是说,图像传感器102拍摄图像,生成该图像的模拟信号,通过A/D转换电路将所生成的模拟信号转换成数字信号,并且输出以像素为单位的图像数据。
存储器I/F单元106将从图像传感器102输出的所有像素的图像数据写入存储器107。另外,存储器I/F单元106读出存储器107中所保持的图像数据,并将所读出的图像数据输出至图像处理单元108。存储器107是存储数帧的图像数据(各帧包括所有像素的图像数据)的易失性存储介质。
图像处理单元108对来自存储器I/F单元106的图像数据(所有像素的图像数据)进行诸如伽马校正、颜色分离和色差矩阵等的处理,将同步信号添加到该图像数据,并将该图像数据输出为记录或显示所用的视频数据。另外,图像处理单元108从输入至图像处理单元108的图像数据的各像素的亮度值获得测光值,并将该测光值经由总线121提供至照相机控制单元120。
镜头111、图像传感器112、存储器I/F单元116、存储器117和图像处理单元118分别具有与镜头101、图像传感器102、存储器I/F单元106、存储器107和图像处理单元108的功能类似的功能。镜头111、图像传感器112、存储器I/F单元116、存储器117和图像处理单元118分别进行与镜头101、图像传感器102、存储器I/F单元106、存储器107和图像处理单元108所进行的处理类似的处理。
照相机控制单元120由CPU等配置成,并且控制摄像设备100的整体操作。RAM 160用作照相机控制单元120的工作区域(工作存储器)。在RAM 160中,记录照相机控制单元120的操作所要使用的常数和变量,并且展开程序等。ROM 180存储用于操作照相机控制单元120的计算机程序等。例如,照相机控制单元120通过将ROM 180中所存储的计算机程序在RAM 160中展开并执行该计算机程序来控制摄像设备100的整体操作。
增益控制单元103、快门控制单元104和光圈控制单元105用于曝光控制。照相机控制单元120基于从图像处理单元108和图像处理单元118提供的测光值或者用户手动设置的操作参数来控制上述的控制单元103~105。增益控制单元103控制图像传感器102和图像传感器112的增益。快门控制单元104控制图像传感器102和图像传感器112的快门速度。光圈控制单元105控制镜头101和镜头111的光圈机构。
存储介质I/F单元130是用于将存储介质131连接至摄像设备100的接口。存储介质I/F单元130将从图像处理单元108、图像处理单元118和GPU 142输入的视频数据记录在存储介质131中,并从存储介质131读出所记录的视频数据。存储介质131是由半导体存储器等配置成的存储单元。
显示I/F单元140将来自图像处理单元108和图像处理单元118的视频数据以及由GPU 142在视频RAM(VRAM)143中绘制的图像数据输出至显示器141。
GPU 142是绘制引擎,该绘制引擎基于来自照相机控制单元120的指示,通过进行图像转换处理以及图像切出处理、放大处理、失真校正等来在VRAM 143中绘制从图像处理单元108和图像处理单元118输出的视频数据。另外,GPU 142进行用于在VRAM 143中以叠加方式绘制与摄像设备100有关的各种信息和菜单画面的处理。例如,用于接收来自用户的各种指示的触摸面板按钮由GPU 142绘制为图形用户界面(GUI),并且经由显示I/F单元140显示在显示器141上。
通信I/F单元150经由通信单元151连接至位于摄像设备100的外部的智能电话和PC(未示出)等,并将显示器141上所显示的图像数据传送到该智能电话和PC等。另外,通信I/F单元150从智能电话和PC等接收针对摄像设备100的控制命令等,并向照相机控制单元120通知所接收到的控制命令等。通信单元151是用于进行无线通信的无线LAN接口,并且进行针对通信I/F单元150所进行的通信的硬件处理。
释放按钮11、按钮12和触摸面板13具有上述的功能,并且将与操作相对应的操作信息(用以准备进行摄像的指示、用以开始运动图像拍摄的指示、用以结束运动图像拍摄的指示、用以拍摄静止图像的指示等)输出至IO控制器170。IO控制器170将来自各种操作单元的操作信息输出至照相机控制单元120,并且照相机控制单元120进行与从IO控制器170接收到的操作信息相对应的处理。例如,触摸面板13叠加在显示器141上,并且输出包括与进行触摸操作的位置和区域有关的坐标信息的操作信息。
图3示出摄像设备100的内部结构。图3以简化方式示出该结构,使得可以表示本实施例的特征处理。切出处理单元301和VR处理单元302所进行的处理例如由包括图2的照相机控制单元120的至少一个构成元件来实现。
切出处理单元301用于生成不是虚拟现实(VR)图像的运动图像(非VR运动图像)。以下将说明VR图像。切出处理单元301获取图像传感器102所拍摄到的图像(从图像传感器102输出的图像数据)。切出处理单元301进行用于提取所获取到的图像的至少部分范围的切出处理。切出处理单元301将所提取的范围的图像(图像数据)存储在存储器107中(运动图像缓冲),使得所提取的范围的运动图像(非VR运动图像;运动图像数据)临时存储在存储器107中。图像处理单元108对存储器107中所存储的运动图像进行压缩编码处理,并将通过压缩编码处理所获得的运动图像(非VR运动图像)记录在存储介质131中。
在切出处理中要提取的范围可以是诸如图像传感器102所拍摄到的图像的范围的中央部(中心部)等的预定范围,或者可以是不同的范围。由于图像传感器102所拍摄到的图像有时存在失真,因此切出处理可以包括用以减少图像的失真的失真校正。通过进行失真校正,可以显示或记录失真少的图像。可选地,通过提取图像传感器112所拍摄到的图像的部分范围,可以将非VR运动图像记录在存储介质131中。
VR处理单元302用于拍摄作为VR图像的静止图像(VR静止图像)。VR处理单元302获取图像传感器102所拍摄到的图像和图像传感器112所拍摄到的图像,并且通过使用这两个图像来进行VR处理。在拍摄非VR运动图像时不进行VR处理。
VR处理是为了将所拍摄到的图像处理成作为VR图像(VR格式的图像)来对待而对该图像进行的图像处理。例如,VR处理是用于获得天球格式(天球图像格式)的图像的图像处理。在本实施例中,VR处理单元302在VR处理中进行以下处理。首先,通过使用两个图像中的一个图像作为基准图像并使用另一图像作为比较图像,VR处理单元302通过模式匹配处理来按各区域计算基准图像和比较图像之间的偏差量,并且基于各区域的偏差量来检测两个图像连结的连结位置。接着,考虑到所检测到的连结位置和各光学系统的镜头特性,VR处理单元302通过进行几何变换来校正各图像的失真。这样,各个图像被转换成天球格式的图像。接着,VR处理单元302通过将天球格式的两个图像合成(混合)来生成天球格式的单个图像。通过VR处理所获得的图像(VR图像)例如是使用等距圆柱投影的图像。也就是说,从拍摄图像的位置(摄像位置)起的各个方向可以与图像中的各个位置(各个像素)相关联。在本实施例中,图像传感器102和112各自拍摄与180度的视场角相对应的图像。接着,通过进行VR处理,从两个图像传感器102和112所拍摄到的两个图像获得与360度的视场角相对应的360度图像(全方位图像;天球图像)。上述合成可以与VR处理分开地在对VR图像进行(以下将说明的)VR显示时进行。另外,可以通过从360度图像中切出与180度的视场角相对应的任意范围来生成180度图像(半天球图像)。
VR处理单元302将通过VR处理所获得的VR图像(VR静止图像)存储在存储器117中(静止图像缓冲)。图像处理单元118对存储器117中所存储的静止图像进行压缩编码处理,并将通过压缩编码处理所获得的静止图像(VR静止图像)记录在存储介质131中。例如,图像处理单元118将VR静止图像的图像文件连同VR信息一起记录在存储介质131中。VR信息是用于将从摄像位置起的各个方向与图像中的各个位置相关联的信息。例如,VR信息包括表示与天顶方向相对应的位置(像素)的信息、表示与天底方向相对应的位置(像素)的信息和表示该静止图像是VR图像的信息至少之一。图像处理单元118可以将VR静止图像的图像文件在其文件名被添加字符串的状态下记录在存储介质131中,其中该字符串表示该图像文件包括VR图像。例如,VR静止图像的文件名可以在扩展名“.jpg”的前面包括三字符的字符串“.vr”,诸如“123456.vr.jpg”等。在拍摄非VR运动图像时,不应用VR信息和表示VR图像的字符串的这些添加。
接着,将说明VR图像。VR图像是可以VR显示(以显示模式“VR视图”显示)的图像。例如,VR图像是天球格式的图像,其中从摄像位置起的各个方向可以与各个位置(各个像素)相关联。在VR显示中,将VR图像的一部分显示为显示范围。可以根据来自用户的指示(操作)、或者进行VR显示的显示装置的姿势的变化等自由地改变显示范围。在VR显示中,进行显示(确定或改变显示范围),使得用户可以感觉仿佛该用户处于拍摄图像的场所的虚拟空间(VR空间)中一样(用户可以获得现实感和沉浸感)。换句话说,VR显示提供了如下的显示:再现从摄像位置来看的视图,使得用户可以获得从摄像位置眺望每个方向的感觉。
图4是示出摄像设备100所进行的摄像处理的示例的流程图。图4的摄像处理通过照相机控制单元120将ROM 180中所存储的程序在RAM 160中展开并执行该程序来实现。例如,图4的摄像处理响应于在摄像设备100上设置了运动图像拍摄模式而开始。在图4的多个处理步骤中,根据来自照相机控制单元120的指示来进行除照相机控制单元120以外的构成元件所进行的处理步骤。
在步骤S401中,图像传感器102和112进行摄像。在步骤S402中,切出处理单元301获取图像传感器102所拍摄到的图像。在步骤S403中,切出处理单元301提取步骤S402中所获取的图像的部分范围(切出处理)。在步骤S404中,显示器141显示步骤S403中所提取的图像(实时取景显示)。
步骤S401~S404是用于进行实时取景显示的步骤并且可以省略。然而,在进行实时取景显示的情况下,用户可以在确认实时取景显示(被摄体)的同时,在期望定时进行摄像。另外,用户可以确认实时取景显示的亮度水平等,并且进行用以获得期望的摄像参数的调整,使得用户能够拍摄具有期望亮度水平等的图像。如上所述,可以在与摄像设备100分开的装置(连接至摄像设备100的诸如智能电话或平板终端等的外部装置)上进行实时取景显示。
在步骤S405中,照相机控制单元120判断是否从用户接收到用以开始运动图像拍摄的指示(用以开始拍摄运动图像的指示)。如果接收到用以开始运动图像拍摄的指示,则处理进入步骤S406,否则,处理进入步骤S424。
在步骤S406中,图像传感器102和112进行摄像。在步骤S407中,切出处理单元301获取图像传感器102所拍摄到的图像。在步骤S408中,切出处理单元301提取步骤S407中所获取的图像的部分范围(切出处理)。在步骤S409中,显示器141显示步骤S408中所提取的图像(实时取景显示)。
在步骤S410中,切出处理单元301将在步骤S408中提取的范围的图像作为非VR运动图像的一部分存储在存储器107中(运动图像缓冲)。在运动图像缓冲期间,将所提取的范围的运动图像暂时存储在存储器107中。在步骤S411中,图像处理单元108顺次读出存储器107中所存储的图像,并对读出的图像进行压缩编码处理(对运动图像的压缩编码处理)。在步骤S412中,图像处理单元108将通过步骤S411的压缩编码处理所获得的图像作为非VR运动图像的一部分(帧)记录在存储介质131中。重复步骤S410~S412,直到用户发出用以结束运动图像拍摄的指示为止。在第一次进行步骤S412时,在存储介质131中生成包括通过压缩编码处理所获得的图像的非VR运动图像的文件(新文件的创建;运动图像生成)。在第二次及其之后进行步骤S412时,将通过压缩编码处理所获得的图像顺次存储在现有文件中(文件的更新)。
在本实施例中,要记录在存储介质131中的范围(所拍摄到图像的部分范围)与实时取景显示的范围相同。可选地,这些范围可能彼此不同。然而,如果这些范围相同,则用户可以拍摄用户在实时取景显示上已确认的期望范围的运动图像。因而,用户可以更舒适地拍摄运动图像。另外,在本实施例中,存储介质131中所记录的范围(即,运动图像的视场角)收容在图像传感器102和112其中之一所拍摄到的图像内。通过改变摄像设备100的朝向,进行摄像的人可以调整该人希望作为图像传感器102和112其中之一所要拍摄的运动图像而记录的范围。
在步骤S413中,照相机控制单元120判断是否从用户接收到用以拍摄静止图像的指示(用以进行静止图像拍摄的指示)。如果接收到用以拍摄静止图像的指示,则处理进入步骤S414,否则,处理进入步骤S419。
在步骤S414中,VR处理单元302获取图像传感器102所拍摄到的图像和图像传感器112所拍摄到的图像。在步骤S415中,VR处理单元302通过使用在步骤S414中获取到的两个图像进行VR处理来生成单个VR图像(360度图像)。在步骤S416中,VR处理单元302将通过进行步骤S415所获得的VR图像作为VR静止图像存储在存储器117中(静止图像缓冲)。在步骤S417中,图像处理单元118对存储器117中所存储的VR静止图像进行压缩编码处理。在步骤S418中,图像处理单元118生成通过步骤S417的压缩编码处理所获得的VR静止图像的文件(静止图像生成),并将所生成的文件记录在存储介质131中。在步骤S418中,将VR信息存储在VR静止图像文件中,并且将表示该文件包括VR图像的字符串添加到VR静止图像文件的名称。
可以颠倒步骤S415和步骤S416的顺序。具体地,可以(在不进行VR处理的情况下)将图像传感器102和112所拍摄到的两个图像直接存储在存储器117中。随后,可以通过读出存储器117中所存储的两个图像并对这两个图像进行VR处理来生成VR静止图像。
在步骤S419中,照相机控制单元120判断是否从用户接收到用以结束运动图像拍摄的指示(用以结束拍摄运动图像的指示)。如果接收到用以结束运动图像拍摄的指示,则处理进入步骤S420,否则,处理进入步骤S406。
在步骤S420中,切出处理单元301停止步骤S410的运动图像缓冲。在步骤S421中,与步骤S411一样,图像处理单元108对运动图像进行压缩编码处理。在步骤S422中,与步骤S412一样,图像处理单元108将通过步骤S421的压缩编码处理获得的图像作为非VR运动图像的一部分(帧)记录在存储介质131中。
在步骤S423中,照相机控制单元120判断非VR运动图像向存储介质131的记录是否已完成、即通过运动图像缓冲而存储在存储器107中的非VR运动图像是否已全部记录在存储介质131中。如果该记录已完成(如果建立了摄像待机状态),则处理进入步骤S424。否则,处理进入步骤S421,并且重复步骤S421~S423的处理,直到通过运动图像缓冲而存储在存储器107中的非VR运动图像已全体记录在存储介质131中为止。
在步骤S424中,照相机控制单元120判断是否从用户接收到用以结束(取消)运动图像拍摄模式的指示。如果接收到该指示,则图4的摄像处理结束,否则,处理进入步骤S401。
图5示出通过使用图4的摄像处理的摄像(非VR运动图像和VR静止图像的拍摄)的示例。图5的横轴表示时间的经过。如图5所示,根据图4的摄像处理,可以在非VR运动图像501的摄像时间段期间拍摄VR静止图像502和503。在非VR运动图像501的摄像时间段期间,可以多次发出用以拍摄静止图像的指示,并且在每次发出用以拍摄静止图像的指示时,拍摄VR静止图像。在拍摄多个VR静止图像时,将所拍摄到的各个VR静止图像作为单独文件记录在存储介质131中。在图5中,在非VR运动图像501的摄像时间段期间发出了两次用以拍摄静止图像的指示。因此,将VR静止图像502的文件和VR静止图像503的文件单独记录在存储介质131中。在记录文件时,非VR运动图像501以及VR静止图像502和503各自可以相互关联并记录在存储介质131中。通过这样做,可以容易地将拍摄了同一被摄体的非VR运动图像和VR静止图像切换成显示,并且可以容易地管理这两者。因此,提高了便利性。拍摄VR静止图像503的定时可以在非VR运动图像的摄像时间段之外。
如上所述,根据本实施例,可以拍摄VR静止图像和非VR运动图像(具有正常视场角的运动图像)这两者。尽管利用VR静止图像是360度图像的示例说明了本实施例,但VR静止图像的视场角可以小于360度或小于180度。然而,VR静止图像的视场角宽于非VR运动图像的视场角。
另外,尽管利用通过使用两个图像传感器102和112来获得VR静止图像的示例说明了本实施例,但可以从单个图像传感器所拍摄到的图像生成VR静止图像,并且摄像设备100可以包括仅一个图像传感器。可选地,可以通过使用三个或更多个图像传感器来拍摄多个图像,并且可以对所拍摄到的图像进行VR处理以生成VR静止图像。也就是说,在本实施例中,通过使用视场角比运动图像的视场角宽的拍摄图像的范围来生成静止图像。
另外,以上描述为由照相机控制单元120进行的各种控制操作可以由单个硬件单元进行,或者可选地,多个硬件单元(例如,多个处理器或电路)可以分担处理并控制整个设备。
尽管已经基于优选实施例详细地说明了本发明,但本发明不限于该特定实施例,并且在未背离本发明的主旨的情况下,各种模式均包括在本发明中。上述实施例仅仅是本发明的示例性实施例,并且也可以适当地将本实施例与另一实施例组合。
尽管已经利用本发明应用于数字照相机的示例性情况说明了上述实施例,但本发明不限于该示例性情况,并且可应用于能够获取拍摄图像的任何设备(电子设备)。例如,本发明可应用于个人计算机、PDA、移动电话终端、便携式图像查看器、打印机、数码相框、音乐播放器、游戏机、电子书阅读器和视频播放器等。本发明还可应用于电视装置、投影装置、平板终端、智能电话、AI扬声器、家用电器、车载装置和医疗器械等。
另外,本发明不仅可应用于摄像设备本身,而且还可应用于经由有线或无线通信与(包括网络照相机的)摄像设备进行通信并远程地控制摄像设备的控制设备。远程地控制摄像设备的设备的示例包括智能电话、平板PC和台式PC。基于在控制设备侧进行的操作和处理,控制设备可以通过向摄像设备通知用于使摄像设备进行各种操作和设置的命令来远程地控制摄像设备。可选地,控制设备可以经由有线或无线通信接收摄像设备所拍摄到的实时取景图像,并将所接收到的实时取景图像显示在控制设备侧。
根据本发明,可以拍摄VR图像和具有正常视场角的图像这两者。
其它实施例
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明,但是应该理解,本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。
Claims (18)
1.一种电子设备,包括:
获取单元,其被配置为通过使用多个光学系统中的至少一个来获取所拍摄的图像;以及
控制单元,其被配置为进行控制,以将按时间顺序包括所述获取单元所获取到的多个所拍摄的图像的运动图像记录在存储器中,以及进行控制,以记录包括由所述获取单元通过使用所述多个光学系统中的至少两个所获取到的多个所拍摄的图像的静止图像,
其中,所述静止图像的视场比所述运动图像的视场宽。
2.根据权利要求1所述的电子设备,其中,
所述控制单元进行控制,以提取所拍摄的图像的一部分,以及
所述运动图像按时间顺序包括多个所拍摄的图像的被提取部分中的每一个。
3.根据权利要求1或2所述的电子设备,其中,
所述控制单元进行如下操作:
进行控制,以对所述获取单元所获取到的多个所拍摄的图像进行用于获得天球格式的静止图像的图像处理,并且将所述静止图像记录在所述存储器中,以及
进行控制,以在不进行所述图像处理的情况下将所述运动图像记录在所述存储器中。
4.根据权利要求1或2所述的电子设备,其中,
所述控制单元进行如下操作:
进行控制,以将所述静止图像的图像文件在包括VR信息的状态下记录在所述存储器中,所述VR信息用于将从进行摄像的位置起的各方向与所述静止图像中的各位置相关联,以及
进行控制,以将所述运动图像的图像文件在不包括所述VR信息的状态下记录在所述存储器中。
5.根据权利要求1或2所述的电子设备,其中,
所述运动图像不是VR图像并且所述静止图像是所述VR图像,
所述VR图像是天球图像或半天球图像。
6.根据权利要求5所述的电子设备,其中,
所述控制单元进行如下操作:
进行控制,以将所述静止图像的图像文件在文件名中包括字符串的状态下记录在所述存储器中,所述字符串表示所述静止图像是所述VR图像,以及
进行控制,以将所述运动图像的图像文件在文件名中不包括所述字符串的状态下记录在所述存储器中。
7.根据权利要求1或2所述的电子设备,其中,所述控制单元进行控制,以将所述静止图像记录在所述存储器中,所述静止图像包括在通过使用所述多个光学系统其中之一拍摄按时间顺序被包括在所述运动图像中的多个图像期间、通过使用所述多个光学系统中的至少两个所拍摄的多个图像。
8.根据权利要求7所述的电子设备,其中,所述控制单元进行控制,以将所述运动图像和所述静止图像以彼此关联的方式记录在所述存储器中。
9.根据权利要求1或2所述的电子设备,其中,所述静止图像是360度图像或180度图像。
10.根据权利要求1或2所述的电子设备,还包括:
显示控制单元,其被配置为进行控制,以将所拍摄的图像的一部分显示在显示器上,
其中,所述运动图像按时间顺序包括所述显示器上的所述多个所拍摄的图像的被显示部分中的每一个。
11.根据权利要求1或2所述的电子设备,还包括:
接收单元,其被配置为接收来自用户的指示,
其中,所述控制单元进行如下操作:
进行控制,以根据来自用户的用以开始记录所述运动图像的指示而开始记录所述运动图像,并且根据来自所述用户的用以停止记录所述运动图像的指示而停止记录所述运动图像,以及
进行控制,以根据来自所述用户的用以记录所述静止图像的指示而将所述静止图像记录在所述存储器中。
12.根据权利要求1或2所述的电子设备,其中,
所述控制单元进行控制,以将所述静止图像以与如下信息至少之一相关联的方式记录在所述存储器中:表示与天顶方向相对应的位置的信息、以及表示与天底方向相对应的位置的信息。
13.根据权利要求1或2所述的电子设备,其中,所述获取单元通过使用与所述多个光学系统相对应的多个图像传感器中的至少一个来获取所拍摄的图像。
14.根据权利要求1所述的电子设备,其中,所述控制单元进行控制以在分别对所述静止图像和所述运动图像执行编码处理之后将所述静止图像和所述运动图像记录在所述存储器中。
15.一种电子设备,包括:
获取单元,其被配置为通过使用多个图像传感器中的至少一个来获取所拍摄的图像;
运动图像生成单元,其被配置为基于通过使用所述多个图像传感器其中之一所获取到的按时间顺序的多个所拍摄的图像来生成运动图像;以及
静止图像生成单元,其被配置为基于通过使用所述多个图像传感器中的至少两个所获取到的多个所拍摄的图像来生成静止图像,
其中,所述静止图像的视场比所述运动图像的视场宽。
16.一种电子设备的控制方法,包括:
通过使用多个光学系统中的至少一个来获取所拍摄的图像;以及
进行控制,以将按时间顺序包括所获取到的多个所拍摄的图像的运动图像记录在存储器中;以及
进行控制,以记录包括通过使用所述多个光学系统中的至少两个所获取到的多个所拍摄的图像的静止图像,
其中,所述静止图像的视场比所述运动图像的视场宽。
17.一种电子设备的控制方法,包括:
通过使用多个图像传感器中的至少一个来获取所拍摄的图像;
基于通过使用所述多个图像传感器其中之一所获取到的按时间顺序的多个所拍摄的图像来生成运动图像;以及
基于通过使用所述多个图像传感器中的至少两个所获取到的多个所拍摄的图像来生成静止图像,
其中,所述静止图像的视场比所述运动图像的视场宽。
18.一种计算机可读记录介质,其存储程序,所述程序用于使得计算机执行根据权利要求16或17所述的电子设备的控制方法的各步骤。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-091402 | 2019-05-14 | ||
JP2019091402A JP7350510B2 (ja) | 2019-05-14 | 2019-05-14 | 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111953870A CN111953870A (zh) | 2020-11-17 |
CN111953870B true CN111953870B (zh) | 2023-02-07 |
Family
ID=70680345
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010406853.0A Active CN111953870B (zh) | 2019-05-14 | 2020-05-14 | 电子设备、电子设备的控制方法和计算机可读介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11523052B2 (zh) |
EP (1) | EP3739864A1 (zh) |
JP (1) | JP7350510B2 (zh) |
CN (1) | CN111953870B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7350511B2 (ja) * | 2019-05-14 | 2023-09-26 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体 |
Family Cites Families (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004040431A (ja) * | 2002-07-03 | 2004-02-05 | Hitachi Ltd | 撮像装置 |
JP2007306353A (ja) * | 2006-05-12 | 2007-11-22 | Opt Kk | 動画の表示方法、動画表示システムおよび広角動画撮像装置 |
WO2009097449A1 (en) * | 2008-01-29 | 2009-08-06 | Enforcement Video, Llc | Omnidirectional camera for use in police car event recording |
CN102318331B (zh) | 2010-03-31 | 2014-07-30 | 富士胶片株式会社 | 立体图像拾取装置 |
JP2012099887A (ja) * | 2010-10-29 | 2012-05-24 | Canon Inc | 撮像装置 |
US9204026B2 (en) | 2010-11-01 | 2015-12-01 | Lg Electronics Inc. | Mobile terminal and method of controlling an image photographing therein |
KR101727899B1 (ko) | 2010-11-26 | 2017-04-18 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 제어방법 |
US9930225B2 (en) * | 2011-02-10 | 2018-03-27 | Villmer Llc | Omni-directional camera and related viewing software |
JP2012182730A (ja) | 2011-03-02 | 2012-09-20 | Nikon Corp | デジタルカメラおよびプログラム |
JP2013214947A (ja) * | 2012-03-09 | 2013-10-17 | Ricoh Co Ltd | 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム |
US10666860B2 (en) * | 2012-09-11 | 2020-05-26 | Ricoh Company, Ltd. | Image processor, image processing method and program, and imaging system |
JP6044328B2 (ja) * | 2012-12-26 | 2016-12-14 | 株式会社リコー | 画像処理システム、画像処理方法およびプログラム |
JP2014222825A (ja) * | 2013-05-13 | 2014-11-27 | キヤノン株式会社 | 映像処理装置および映像処理方法 |
JP6226731B2 (ja) | 2013-12-11 | 2017-11-08 | キヤノン株式会社 | 撮像装置、制御方法、およびプログラム |
JP6071866B2 (ja) * | 2013-12-18 | 2017-02-01 | キヤノン株式会社 | 表示制御装置、表示装置、撮像システム、表示制御方法、及びプログラム |
KR102352682B1 (ko) | 2015-06-23 | 2022-01-18 | 삼성전자주식회사 | 디지털 촬영 장치 및 그 동작 방법 |
JP5965037B2 (ja) * | 2015-07-23 | 2016-08-03 | オリンパス株式会社 | 撮影機器 |
EP3156110A4 (en) * | 2015-08-28 | 2017-07-05 | Tomy Company, Ltd. | Information processing device provided with head-mounted display |
US10126813B2 (en) * | 2015-09-21 | 2018-11-13 | Microsoft Technology Licensing, Llc | Omni-directional camera |
US20170134714A1 (en) * | 2015-11-11 | 2017-05-11 | Microsoft Technology Licensing, Llc | Device and method for creating videoclips from omnidirectional video |
KR102499349B1 (ko) * | 2016-03-21 | 2023-02-14 | 삼성전자주식회사 | 전방위 영상을 제공하는 전자 장치 및 방법 |
JPWO2017200049A1 (ja) * | 2016-05-20 | 2019-04-11 | マクセル株式会社 | 撮像装置およびその設定画面 |
EP3264222B1 (en) | 2016-06-27 | 2019-04-10 | Nokia Technologies Oy | An apparatus and associated methods |
JP6724659B2 (ja) * | 2016-08-30 | 2020-07-15 | 株式会社リコー | 撮影装置、方法およびプログラム |
KR20180037721A (ko) * | 2016-10-05 | 2018-04-13 | 엘지전자 주식회사 | 디스플레이 장치 |
KR20180040451A (ko) * | 2016-10-12 | 2018-04-20 | 엘지전자 주식회사 | 이동 단말기 및 그의 동작 방법 |
KR20180042777A (ko) * | 2016-10-18 | 2018-04-26 | 엘지전자 주식회사 | 이동 단말기 및 그의 동작 방법 |
KR20180048170A (ko) * | 2016-11-02 | 2018-05-10 | 엘지전자 주식회사 | 디스플레이 장치 |
US10440361B2 (en) * | 2016-11-22 | 2019-10-08 | Pixvana, Inc. | Variable image data reduction system and method |
KR20180074369A (ko) | 2016-12-23 | 2018-07-03 | 삼성전자주식회사 | 3차원 컨텐츠의 썸네일 관리 방법 및 그 장치 |
JP7043255B2 (ja) * | 2017-12-28 | 2022-03-29 | キヤノン株式会社 | 電子機器及びその制御方法 |
EP3644600B1 (en) * | 2018-10-22 | 2022-06-15 | Ricoh Company, Ltd. | Imaging device, information processing method, system, and carrier means |
JP7183033B2 (ja) * | 2018-12-26 | 2022-12-05 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体 |
US11683464B2 (en) * | 2018-12-28 | 2023-06-20 | Canon Kabushiki Kaisha | Electronic device, control method, and non-transitorycomputer readable medium |
CN111726520B (zh) * | 2019-03-20 | 2021-12-10 | 株式会社理光 | 摄影装置、摄影系统、图像处理方法 |
JP7350511B2 (ja) * | 2019-05-14 | 2023-09-26 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体 |
JP2022050979A (ja) * | 2020-09-18 | 2022-03-31 | 株式会社リコー | 通信端末、画像通信システム、画像表示方法およびプログラム |
JP2022102461A (ja) * | 2020-12-25 | 2022-07-07 | 株式会社リコー | 動画生成装置、動画生成方法、プログラム、記憶媒体 |
-
2019
- 2019-05-14 JP JP2019091402A patent/JP7350510B2/ja active Active
-
2020
- 2020-05-11 US US16/871,426 patent/US11523052B2/en active Active
- 2020-05-11 EP EP20173814.3A patent/EP3739864A1/en active Pending
- 2020-05-14 CN CN202010406853.0A patent/CN111953870B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
US20200366837A1 (en) | 2020-11-19 |
US11523052B2 (en) | 2022-12-06 |
JP2020188358A (ja) | 2020-11-19 |
EP3739864A1 (en) | 2020-11-18 |
CN111953870A (zh) | 2020-11-17 |
JP7350510B2 (ja) | 2023-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7268369B2 (ja) | 撮像システム、現像システム、撮像方法、及びプログラム | |
KR102235231B1 (ko) | 촬상 제어장치 및 그 제어 방법 | |
JP5436019B2 (ja) | 制御装置、制御方法、プログラム及び記録媒体 | |
CN111953871B (zh) | 电子设备、电子设备的控制方法和计算机可读介质 | |
CN111953870B (zh) | 电子设备、电子设备的控制方法和计算机可读介质 | |
US20190065857A1 (en) | Imaging apparatus, electronic device, and method of transmitting image data | |
US9912873B2 (en) | Image pickup apparatus equipped with display section and method of controlling the same | |
JP7190594B1 (ja) | 撮像装置およびその制御方法、画像処理装置および画像処理システム | |
CN108476290B (zh) | 用于提供全景图像的电子装置及其控制方法 | |
US10217196B2 (en) | Image processing apparatus having image refocusing function, control method for image processing apparatus, and storage medium | |
JP7249212B2 (ja) | 画像処理装置および画像処理方法、撮像装置およびその制御方法、システム、並びにプログラム | |
JP2010056768A (ja) | 撮影システム並びに当該撮影システムを構成する撮影装置及び操作装置 | |
JP5289354B2 (ja) | 撮像装置 | |
JP2018180384A (ja) | 撮像装置及びその制御方法 | |
JP2018182601A (ja) | 撮像装置 | |
JP2008048168A (ja) | 色処理パラメータ設定方法及びデジタル撮像機器 | |
JP5191941B2 (ja) | 撮像装置、画像処理装置、画像処理方法、および、画像処理プログラム | |
JP6811935B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
WO2015052959A1 (ja) | 撮像装置、撮像システム、撮像方法、及び撮像プログラム | |
JP4038842B2 (ja) | 情報処理装置 | |
JP2023072581A (ja) | 撮像装置およびその制御方法、レンズ装置、像倍率補正用データ、画像処理装置および画像処理方法、ならびにアクセサリ装置 | |
JP2021057757A (ja) | 情報処理装置、情報処理装置の制御方法、及びそのプログラム | |
JP5734348B2 (ja) | 撮像装置 | |
JP2020088559A (ja) | 電子機器およびプログラム | |
JP6012333B2 (ja) | 撮像装置及び撮像装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |