CN117501707A - 摄像方法及摄像装置 - Google Patents

摄像方法及摄像装置 Download PDF

Info

Publication number
CN117501707A
CN117501707A CN202280041593.9A CN202280041593A CN117501707A CN 117501707 A CN117501707 A CN 117501707A CN 202280041593 A CN202280041593 A CN 202280041593A CN 117501707 A CN117501707 A CN 117501707A
Authority
CN
China
Prior art keywords
image
imaging
image pickup
display
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280041593.9A
Other languages
English (en)
Inventor
高桥宏辅
田中康一
宫城岛峻介
齐藤广树
大槻智贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN117501707A publication Critical patent/CN117501707A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种能够使用户识别处理状况的摄像方法及摄像装置。所述摄像方法用于摄像装置，所述摄像装置具备拍摄被摄体像的摄像元件和能够变更被摄体像与摄像元件的相对位置的移动机构，所述摄像方法包括：变更工序，多次变更相对位置；摄像工序，通过在多个相对位置使用摄像元件拍摄被摄体像而获取多个第1图像；合成工序，通过合成多个第1图像而生成第2图像；及显示工序，进行与摄像工序或合成工序有关的时间性显示。

Description

摄像方法及摄像装置
技术领域
本发明的技术涉及一种摄像方法及摄像装置。
背景技术
在专利文献1中公开有一种数码相机，其通过超分辨率处理来生成高画质的图像。专利文献1中所记载的数码相机为一边移动图像传感器相对于被摄体像的相对位置一边获取4张摄影图像，并且进行超分辨率处理的数码相机，其每次进行摄影时检测通过第一次的摄影而得到的摄影图像与通过第2张以后的摄影而得到的摄影图像之间是否存在被摄体像的变化。当发生了被摄体像变化时，从头开始重新进行超分辨率摄影。
在专利文献2中公开有一种图像处理装置，其能够得到高品质的合成图像数据。获取部获取具有RGB的颜色要素的多个图像数据。分割部将各图像数据分割为多个区域。运算部运算各图像数据的每个区域的偏移量。颜色插值部根据各图像数据的每个区域的偏移量来进行针对RGB的颜色要素的至少一个的颜色插值。
在专利文献3中公开有一种图像获取装置，其具备：像素错开单元，使入射到摄像元件中的光束与该摄像元件的相对位置移动；摄影单元，在相对位置位于特定位置时及位于通过基于像素错开单元的一连串的动作而从该特定位置移动的至少一个位置时进行摄影；图像生成单元，根据在一连串的动作中由摄影单元摄影的多个图像数据生成高分辨率的新的图像；及像素控制单元，显示生成新的图像之前摄影到的多个图像中在初期摄影到的图像。
以往技术文献
专利文献
专利文献1：日本特开2016-171511号公报
专利文献2：日本特开2019-161564号公报
专利文献3：日本特开2003-283887号公报
发明内容
发明要解决的技术课题
本发明的技术所涉及的一个实施方式提供一种能够使用户识别处理状况的摄像方法及摄像装置。
用于解决技术课题的手段
为了实现上述目的，本发明的摄像方法用于摄像装置，所述摄像装置具备拍摄被摄体像的摄像元件和能够变更被摄体像与摄像元件的相对位置的移动机构，所述摄像方法包括：变更工序，多次变更相对位置；摄像工序，通过在多个相对位置使用摄像元件拍摄被摄体像而获取多个第1图像；合成工序，通过合成多个第1图像而生成第2图像；及显示工序，进行与摄像工序或合成工序有关的时间性显示。
优选时间性显示为能够识别摄像工序或合成工序的执行时间的显示。
优选包括：判定工序，根据多个第1图像中的至少一个是否满足第1条件来判定能否执行合成工序，当通过判定工序而判定被肯定时，执行合成工序，当判定被否定时，变更摄像工序的处理内容。
优选包括：第1中止工序，当通过判定工序而判定被否定时，中止摄像工序中的被摄体像的摄像。
优选包括：第2中止工序，当被摄体像的摄像被中止时，中止显示工序中的时间性显示。
优选包括：通知工序，将中止了被摄体像的摄像的原因或中止了时间性显示的原因通知给用户。
优选在变更工序中利用施加于摄像装置的摇晃来变更相对位置。
优选当通过判定工序而判定被否定时，与判定被肯定的情况相比，增加摄像工序中的被摄体像的摄像次数。
优选包括：更新工序，当增加了摄像工序中的被摄体像的摄像次数时，更新显示工序中的时间性显示。
优选包括：通知工序，将在摄像工序中增加了拍摄次数的原因或更新了时间性显示的原因通知给用户。
优选在变更工序中通过使用移动机构将摄像元件移动到预先规定的位置来变更相对位置。
本发明的摄像装置具备拍摄被摄体像的摄像元件、能够变更被摄体像与摄像元件的相对位置的移动机构及处理器，处理器执行如下处理：变更处理，多次变更相对位置；摄像处理，通过在多个相对位置使用摄像元件拍摄被摄体像而获取多个第1图像；合成处理，通过合成多个第1图像而生成第2图像；及显示处理，进行与摄像处理或合成处理有关的时间性显示。
优选处理器进行如下处理：能够选择性地执行第1模式及第2模式；在第1模式下，在变更处理中，利用施加于摄像装置的摇晃来变更相对位置；在第2模式下，在变更处理中，通过使用移动机构将摄像元件移动到预先规定的位置来变更相对位置；执行根据多个第1图像中的至少一个是否满足第1条件来判定能否执行合成处理的判定处理；当通过判定处理而判定被否定时，将显示处理中的时间性显示在第1模式和第2模式下变更为互不相同的内容。
附图说明
图1是表示摄像装置的前表面侧的一例的概略立体图。
图2是表示摄像装置的内部结构的一例的图。
图3是说明多镜头(multishot)合成模式下的摄像处理及合成处理的一例的图。
图4是表示在多镜头合成模式下进行的时间性显示的一例的图。
图5是表示在多镜头合成模式下进行的通知的一例的图。
图6是表示多镜头合成模式下的一连串的动作的一例的流程图。
图7是表示像素错开多镜头合成模式下的摄像处理的一例的图。
图8是表示像素错开多镜头合成模式下的一连串的动作的一例的流程图。
图9是表示增加了被摄体像的摄像次数时更新时间性显示的例子的图。
图10是表示将摄像装置与外部设备连接的例子的图。
具体实施方式
根据附图，对本发明的技术所涉及的实施方式的一例进行说明。
首先，对以下说明中所使用的词语进行说明。
在以下的说明中，“IC”为“Integrated Circuit(集成电路)”的简称。“CPU”为“Central Processing Unit(中央处理器)”的简称。“ROM”为“Read Only Memory(只读存储器)”的简称。“RAM”为“Random Access Memory(随机存取存储器)”的简称。“CMOS”为“Complementary Metal Oxide Semiconductor(互补金属氧化物半导体)”的简称。
“FPGA”为“Field Programmable Gate Array(现场可编程门阵列)”的简称。“PLD”为“Programmable Logic Device(可编程逻辑器件)”的简称。“ASIC”为“ApplicationSpecific Integrated Circuit(专用集成电路)”的简称。“OVF”为“Optical View Finder(光学取景器)”的简称。“EVF”为“Electronic View Finder(电子取景器)”的简称。“JPEG”为“Joint Photographic Experts Group(联合图像专家组)”的简称。“DSP”为“DigitalSignal Processor(数字信号处理器)”的简称。
作为摄像装置的一实施方式，例举镜头可换式数码相机，对本发明的技术进行说明。另外，本发明的技术并不限于镜头可换式，也能够适用于镜头一体型的数码相机。
图1表示摄像装置10的前表面侧的一例。如图1所示，摄像装置10为镜头可换式数码相机。摄像装置10由主体11及在主体11上可更换地安装的摄像透镜12构成。摄像透镜12介由相机侧卡口11A及透镜侧卡口12A(参考图2)安装于主体11的前表面侧。摄像透镜12为本发明的技术所涉及的透镜的一例。
在主体11的上表面设置有转盘13及释放按钮14。在设定动作模式等时，操作转盘13。作为摄像装置10的动作模式，例如，包括静止图像摄像模式、动态图像摄像模式及图像显示模式。在开始执行静止图像摄像或动态图像摄像时，由用户操作释放按钮14。
并且，在静止图像摄像模式中包括用于得到超分辨率图像的“多镜头合成模式”。本实施方式的多镜头合成模式为如下模式：通过利用因用户的手抖动等而施加于摄像装置10的摇晃来变更被摄体像与摄像传感器20(参考图2)的相对位置，从而获取多个图像。通过合成被摄体像与摄像传感器20的相对位置不同的多个图像，可得到超过一张图像的分辨率的超分辨率图像。
并且，在主体11上设置有取景器17。在此，取景器17为混合取景器(注册商标)。混合取景器例如是指选择性地使用光学取景器(以下，称为“OVF”)及电子取景器(以下，称为“EVF”)的取景器。
在主体11的背面侧设置有取景器目镜部18。在取景器目镜部18上选择性地映出能够由OVF视觉辨认的光学像和能够由EVF视觉辨认的电子像即实时取景图像。用户介由取景器目镜部18能够观察被摄体的光学像或实时取景图像。
并且，在主体11的背面侧设置有显示器15(参考图2)。在显示器15上显示基于通过摄像而得到的图像信号的图像及各种菜单画面等。
图1所示的Z轴AZ对应于摄像透镜12的光轴。X轴AX及Y轴AY相互正交，且与Z轴AZ正交。X轴AX及Y轴AY对应于本发明的技术所涉及的俯仰轴及偏航轴。在以下的说明中，将绕Z轴AZ的旋转方向称为横滚方向。并且，将绕X轴AX的旋转方向称为俯仰方向。并且，将绕Y轴AY的旋转方向称为偏航方向。并且，将X轴AX方向称为X方向，将Y轴AY方向称为Y方向。
图2表示摄像装置10的内部结构的一例。主体11和摄像透镜12通过设置于相机侧卡口11A上的电触点11B与设置于透镜侧卡口12A上的电触点12B接触而电连接。
摄像透镜12包括物镜30、聚焦透镜31、后端透镜32及光圈33。各部件沿着摄像透镜12的光轴(即，Z轴AZ)从物镜侧以物镜30、光圈33、聚焦透镜31、后端透镜32的顺序排列。物镜30、聚焦透镜31及后端透镜32构成摄像光学系统。构成摄像光学系统的透镜的种类、数量及排列顺序并不限定于图2所示的例子。
并且，摄像透镜12具有透镜驱动控制部34及存储器。透镜驱动控制部34例如由CPU、RAM及ROM等构成。透镜驱动控制部34介由电触点12B及电触点11B而与主体11内的处理器40电连接。
透镜驱动控制部34根据从处理器40发送的控制信号来驱动聚焦透镜31及光圈33。为了调节摄像透镜12的对焦位置，透镜驱动控制部34根据从处理器40发送的对焦控制用的控制信号来进行聚焦透镜31的驱动控制。
光圈33具有以光轴为中心开口直径可变的开口。为了调节向摄像传感器20的受光面20A的入射光量，透镜驱动控制部34根据从处理器40发送的光圈调整用的控制信号来进行光圈33的驱动控制。
在主体11上设置有摄像传感器20、处理器40、图像处理部41、操作部42、机械防振机构43、抖动检测传感器44、存储器45及显示器15。摄像传感器20、图像处理部41、操作部42、机械防振机构43、抖动检测传感器44、存储器45及显示器15的动作由处理器40控制。处理器40例如由CPU、RAM及ROM等构成。在该情况下，处理器40根据存储于存储器45中的工作程序45A执行各种处理。另外，处理器40也可以由多个IC芯片的集合体构成。
摄像传感器20例如为CMOS型图像传感器。摄像传感器20配置成，作为光轴的Z轴AZ与受光面20A正交，且Z轴AZ位于受光面20A的中心。通过了摄像透镜12的光(被摄体像)入射到受光面20A。在受光面20A上形成有通过进行光电转换而生成图像信号的多个像素。摄像传感器20通过对入射到各像素的光进行光电转换来生成并输出图像信号。另外，摄像传感器20为本发明的技术所涉及的“摄像元件”的一例。
并且，在摄像传感器20的受光面配置有拜耳排列的滤色器矩阵，R(红)、G(绿)、B(蓝)中的任一滤色器相对于各像素对置配置。因此，颜色插值处理前的一张图像的各像素包含R、G、B中的任一颜色信息。另外，滤色器矩阵的排列并不限于拜耳排列，能够适当地进行变更。
并且，摄像传感器20由机械防振机构43保持。机械防振机构43将摄像传感器20保持为能够沿X轴AX及Y轴AY方向平移，并且能够沿横滚方向旋转。机械防振机构43的结构例如通过日本特开2016-171511号公报公知。另外，机械防振机构43为本发明的技术所涉及的“能够变更被摄体像与摄像元件的相对位置的移动机构”的一例。机械防振机构43可以为驱动摄像透镜12的构成摄像光学系统的透镜的一部分来变更被摄体像与摄像传感器20的相对位置的机构。
抖动检测传感器44检测施加于容纳摄像传感器20的主体11的抖动。抖动检测传感器44例如为分别检测横滚方向、偏航方向、俯仰方向、X方向及Y方向的抖动的5轴抖动检测传感器。以下，将横滚方向的抖动称为旋转抖动。将偏航方向及俯仰方向的抖动称为角度抖动。将X方向及Y方向的抖动称为平移抖动。
抖动检测传感器44例如由陀螺仪传感器和加速度传感器构成。陀螺仪传感器检测旋转抖动及角度抖动。加速度传感器检测平移抖动。
处理器40根据由抖动检测传感器44检测的摄像装置10的抖动(施加于摄像装置10的摇晃)来驱动控制机械防振机构43。具体而言，处理器40以抵消由用户的手抖动引起的被摄体像的位移的方式变更被摄体像与摄像传感器20的相对位置。
在机械防振机构43中可以设置有用于检测摄像传感器20的位置的位置检测传感器。该位置检测传感器例如为霍尔传感器。在该情况下，处理器40根据由抖动检测传感器44检测的抖动信息和由位置检测传感器检测的摄像传感器20的位置信息来驱动控制机械防振机构43。另外，在上述的多镜头合成模式的情况下，处理器40可以停止机械防振机构43的驱动控制。
在多镜头合成模式的情况下，处理器40根据由用户进行的释放按钮14的操作，使摄像传感器20进行预先规定的多次(例如4次)的摄像动作。即，在多镜头合成模式下，摄像传感器20进行获取被摄体像与摄像传感器20的相对位置不同的多个图像的摄像处理。另外，由摄像传感器20获取的图像为本发明的技术所涉及的“第1图像”的一例。
图像处理部41例如由DSP构成。图像处理部41通过对图像信号实施颜色插值处理等各种图像处理来生成既定的文件格式(例如，JPEG格式等)的图像数据。
并且，在多镜头合成模式下，图像处理部41进行通过合成利用摄像处理而获取的多个图像来生成超分辨率图像的合成处理。另外，超分辨率图像为本发明的技术所涉及的“第2图像”的一例。
具体而言，图像处理部41利用由抖动检测传感器44检测的抖动信息及由位置检测传感器检测的摄像传感器20的位置信息来导出各图像的每个区域的偏移量，并根据所导出的偏移量来合成多个图像。另外，图像处理部41也能够根据块匹配技术并通过运算求出各图像的每个区域的偏移量，来代替上述抖动信息及位置信息。用于多镜头合成模式的合成处理例如通过日本特开2019-161564号公报公知。
显示器15根据图像处理部41所生成的图像数据来显示图像。图像中包括静止图像、动态图像及实时取景图像。实时取景图像为通过将由图像处理部41生成的图像数据依次输出到显示器15来在显示器15上实时显示的图像。
图像处理部41所生成的图像数据能够保存在内置于主体11中的内部存储器(未图示)或能够装卸于主体11的存储介质(例如，存储卡)中。
操作部42包括前述的转盘13、释放按钮14及指示键(未图示)。指示键例如设置于主体11的背面侧。处理器40根据操作部42的操作来控制主体11内的各部和摄像透镜12内的透镜驱动控制部34。
在多镜头合成模式下，处理器40进行根据通过摄像处理而获取的多个图像中的至少一个是否满足规定的品质条件来判定能否执行基于图像处理部41的合成处理的判定处理。品质条件为根据图像的亮度、抖动或模糊程度来规定的条件。品质条件可以为基于一张图像中的亮度、抖动或模糊程度的条件，也可以为基于多个图像之间的亮度、抖动、模糊程度的差异或被摄体位置的差异的条件。并且，品质条件也可以为使用了亮度、抖动、模糊程度等多个指标的综合条件。此外，品质条件也可以为在通过摄像处理而获取的多个图像中的每一个中不同的条件。另外，品质条件为本发明的技术所涉及的“第1条件”的一例。
当通过判定处理而判定被否定时，处理器40变更摄像处理中的处理内容。在本实施方式中，进行中止基于摄像传感器20的被摄体像的摄像的第1中止处理。作为被变更的摄像装置的处理内容，例如可以举出中止摄像处理的方式、再次执行摄像处理的一部分的方式及变更摄像条件设定(快门速度、摄像透镜的光圈量、摄像元件的灵敏度及移动机构的灵敏度等)的方式。
并且，在多镜头合成模式下，处理器40实施进行与摄像处理或合成处理有关的时间性显示的显示处理。处理器40控制显示器15，使显示器15进行与摄像处理或合成处理有关的时间性显示。更优选地，时间性显示为用户能够识别摄像工序或合成工序的执行时间的显示。时间性显示例如为表示摄像处理及合成处理结束为止的时间的剩余时间显示。在时间性显示中，可以将摄像处理的剩余时间和合成处理的剩余时间个别地显示，也可以显示将摄像处理和合成处理加在一起的超分辨率处理结束为止的剩余时间。并且，时间性显示并不限于直接显示剩余时间的方式，也可以为显示剩余图像的张数等的显示方式。
并且，在多镜头合成模式下，当在判定处理中判定被否定时，处理器40除了进行中止基于摄像传感器20的被摄体像的摄像的第1中止处理以外，还进行中止与摄像处理或合成处理有关的时间性显示的第2中止处理。
并且，当在判定处理中判定被否定时，处理器40进行将中止了被摄体像的摄像的原因或中止了时间性显示的原因通知给用户的通知处理。例如，处理器40控制显示器15，使显示器15显示中止原因，由此向用户通知中止原因。
图3说明多镜头合成模式下的摄像处理及合成处理的一例。如图3所示，在摄像处理中，利用摄像传感器20获取N张图像P。在摄像处理中，因用户的手抖动等而摇晃施加于摄像装置10，由此映在各图像P上的被摄体像SI的位置产生偏移。
由于在各图像P中被摄体像SI的位置产生偏移，因此在构成被摄体像SI的各区域中会包含多个颜色信息。在图3所示的例子中，在被摄体像SI中的区域PA中包含R、G、B所有的颜色信息。如此，在构成被摄体像SI的各区域中包含多个颜色信息，因此通过合成N张图像P，可得到高画质的超分辨率图像PS。
超分辨率图像PS存储于存储器45之后，根据处理器40的控制而显示于显示器15。
图4表示在多镜头合成模式下进行的时间性显示的一例。在图4所示的例子中，针对摄像处理和合成处理，分别将已处理的时间相对于处理所需要的总时间的比例显示于显示器15(即，百分比显示)。另外，除了百分比显示以外，还可以显示各处理的剩余时间。
图5表示在多镜头合成模式下进行的通知的一例。在图5所示的例子中，当在摄像处理中中止了摄像时，处理器40将中止了摄像处理这一事实和中止了摄像的原因显示于显示器15。中止原因例如为摄像处理中的亮度的变化。例如，当因由荧光灯的频闪等引起的照明的变化而被摄体像的亮度发生了变化时，合成对象的多个图像之间产生亮度的差异，有可能无法进行合成处理。作为中止摄像处理或合成处理的其他要因，可以举出不能允许的大的摇晃施加于摄像装置10的情况或被摄体大幅移动的情况。
图6是表示多镜头合成模式下的一连串的动作的一例的流程图。如图6所示，处理器40判定是否有用户通过操作释放按钮14来进行的摄像指示(步骤S10)。当判定为有摄像指示时(步骤S10：是)，处理器40开始上述的时间性显示(步骤S11)，使摄像传感器20进行被摄体像的摄像(步骤S12)。
处理器40判定由摄像传感器20获取的图像是否满足上述的品质条件(步骤S13)。当满足品质条件时(步骤S13：是)，处理器40判定通过摄像传感器20的预先规定的多次(在此为N次)的摄像是否已结束(步骤S14)。当N次的摄像未结束时(步骤S14：否)，处理器40将处理返回到步骤S12，使摄像传感器20再次进行被摄体像的摄像。
当N次的摄像已结束时(步骤S14：是)，处理器40使图像处理部41进行上述的合成处理(步骤S15)，当基于图像处理部41的合成处理已结束时，结束时间性显示(步骤S16)。然后，处理器40将由图像处理部41生成的超分辨率图像保存在存储器45中，且显示于显示器15(步骤S17)。
当在步骤S13中判定为不满足品质条件时(步骤S13：否)，处理器40中止基于摄像传感器20的被摄体像的摄像(步骤S18)。并且，处理器40中止被摄体像的摄像，并且中止时间性显示(步骤S19)。然后，处理器40通过在显示器15上显示上述的中止原因来将中止原因通知给用户(步骤S20)。
另外，步骤S12为本发明的技术所涉及的“摄像工序”的一例。步骤S15为本发明的技术所涉及的“合成工序”的一例。步骤S11为本发明的技术所涉及的“显示工序”的一例。步骤S14为本发明的技术所涉及的“变更工序”的一例。步骤S13为本发明的技术所涉及的“判定工序”的一例。步骤S18为本发明的技术所涉及的“第1中止工序”的一例。步骤S19为本发明的技术所涉及的“第2中止工序”的一例。步骤S20为本发明的技术所涉及的“通知工序”的一例。
如上，本实施方式的摄像装置10在多镜头合成模式下正在执行超分辨率处理时进行时间性显示。超分辨率处理由于包括摄像处理及合成处理而处理时间长，因此用户关于处理是否正常进行有可能持有疑虑。本实施方式的摄像装置10通过进行时间性显示，能够使用户识别处理状况，从而消除用户的疑虑。
[变形例]
以下，对上述实施方式的各种变形例进行说明。
在上述实施方式中，多镜头合成模式为通过利用因用户的手抖动等而施加于摄像装置10的摇晃来进行变更被摄体像与摄像传感器20的相对位置的变更处理模式(以下，称为“手抖动利用多镜头合成模式”。)。取而代之，多镜头合成模式也可以为通过利用机械防振机构43主动移动摄像传感器20来进行多次变更被摄体像与摄像传感器20的相对位置的变更处理的模式(以下，称为“像素错开多镜头合成模式”。)。
在像素错开多镜头合成模式下，处理器40一边使摄像传感器20沿与光轴正交的方向精细地移动，一边使摄像传感器20进行多次摄像。图像处理部41通过合成由摄像传感器20获取的多个图像来生成超分辨率图像。另外，像素错开多镜头合成模式通过日本特开2016-171511号公报、日本特开2019-161564号公报等公知。
在像素错开多镜头合成模式下，不优选因用户的手抖动等而摇晃施加于摄像装置10，因此优选在用三脚等固定的状态下使用摄像装置10。
图7表示像素错开多镜头合成模式下的摄像处理的一例。图7所示的例子为一边使摄像传感器20沿X方向或Y方向每次错开一个像素，一边获取合计4张图像P的例子。根据像素错开多镜头合成模式，由于在构成被摄体像SI的各区域中包含R、G、B所有的颜色信息，因此可通过合成4张图像P来得到高画质的超分辨率图像PS。另外，要获取的图像并不限于4张，能够适当地进行变更，例如9张等。
图8是表示像素错开多镜头合成模式下的一连串的动作的一例的流程图。图8所示的步骤S30～S37与图6所示的步骤S10～S17相同。但是，在本变形例中，处理器40在步骤S32中每次使摄像传感器20进行摄像时，如图7所示，使摄像传感器20移动与一个像素相当的量。并且，在步骤S34中，处理器40判定针对图7所示的4个位置的摄像是否已结束。
在本变形例中，当在步骤S33中判定为不满足品质条件时(步骤S33：否)，处理器40使摄像传感器20再次在相同的位置进行摄像(步骤S38)。通过该再次摄像，摄像次数比原来预定的摄像次数(4次)变多，摄像处理所需要的时间变长，因此更新与摄像处理有关的时间性显示(步骤S38)。然后，处理器40通过使显示器15显示更新了时间性显示的原因来将更新原因通知给用户(步骤S40)。然后，处理器40将处理返回到步骤S33，判定通过再次摄像而获取的图像是否满足品质条件。另外，步骤S38为本发明的技术所涉及的“更新工序”的一例。
如上，在本变形例所涉及的像素错开多镜头合成模式下，通过使用机械防振机构43将摄像传感器20移动到预先规定的位置来变更被摄体像与摄像传感器20的相对位置。当通过判定处理而判定被否定时，与判定被肯定的情况相比，处理器40增加摄像处理中的被摄体像的摄像次数。当增加了被摄体像的摄像次数时，处理器40更新显示处理中的时间性显示。然后，进行将在摄像处理中增加了摄像次数的原因或更新了时间性显示的原因通知给用户的通知处理。
图9表示增加了被摄体像的摄像次数时更新时间性显示的例子。当通过再次摄像而增加了摄像次数时，摄像处理的剩余时间变长，因此如图9所示，处理器40变更百分比显示，以使用户能够识别剩余时间变长。并且，在图9所示的例子中，处理器40将亮度发生了变化的事实显示于显示器15作为更新了时间性显示的原因。
另外，在图9所示的例子中，当在步骤S33中判定为不满足品质条件时，处理器40使摄像传感器20进行再次摄像，但也可以不进行再次摄像。在该情况下，处理器40使图像处理部41仅使用满足品质条件的图像进行合成处理即可。
并且，可以使用户能够使用操作部42选择手抖动利用多镜头合成模式(以下，称为第1模式。)和像素错开多镜头合成模式(以下，称为第2模式。)。即，可以使处理器40能够选择性地执行第1模式及第2模式。在该情况下，当通过判定处理而判定被否定时，处理器40将显示处理中的时间性显示在第1模式和第2模式下变更为互不相同的内容。例如，处理器40在第1模式下中止时间性显示，在第2模式下更新时间性显示。
另外，在上述实施方式及上述各变形例中，摄像传感器20每次拍摄被摄体像时判定通过摄像而得到的图像是否满足品质条件。取而代之，摄像传感器20也可以在进行多次摄像而获取规定张数的图像之后，判定各图像是否满足品质条件。
并且，在上述实施方式及上述各变形例中，处理器40使显示器15进行时间性显示及原因的显示，但也可以代替显示器15或除了显示器15以外，使取景器17进行时间性显示及原因的显示。
并且，如图10所示，摄像装置10能够进行在与个人电脑50以有线或无线方式连接的状态下进行摄像的Tether摄像。在该情况下，上述的合成处理可以在个人电脑50内进行。并且，也可以在个人电脑50所具备的显示器52上进行上述的时间性显示及原因的显示。另外，摄像装置10可以连接于除个人电脑50以外的外部设备。
在上述实施方式中，作为以处理器40为一例的控制部的硬件结构，能够使用以下所示的各种处理器。在上述各种处理器中，除了执行软件(程序)而发挥作用的常用的处理器即CPU以外，还包括FPGA等在制造后能够变更电路结构的处理器。FPGA中包括PLD或ASIC等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。
控制部可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器的组合(例如，多个FPGA的组合或CPU与FPGA的组合)构成。并且，多个控制部可以由一个处理器构成。
关于由一个处理器构成多个控制部的例子，可以想到多个例子。作为第1例，如以客户端及服务器等计算机为代表的那样，有由一个以上的CPU与软件的组合构成一个处理器，并且该处理器作为多个控制部发挥作用的方式。作为第2例，如以片上系统(System OnChip：SOC)等为代表的那样，有使用由一个IC芯片实现包括多个控制部的系统整体的功能的处理器的方式。如此，控制部能够使用上述各种处理器中的一个以上作为硬件结构来构成。
此外，作为这些各种处理器的硬件结构，更具体而言，能够使用将半导体元件等电路元件组合而成的电路。
以上所示的记载内容及图示内容为关于本发明的技术所涉及的部分的详细说明，只不过是本发明的技术的一例。例如，与上述的结构、功能、作用及效果有关的说明为与本发明的技术所涉及的部分的结构、功能、作用及效果的一例有关的说明。因此，在不脱离本发明的技术宗旨的范围内，当然可以对以上所示的记载内容及图示内容删除不必要的部分，或者追加或替换新的要件。并且，为了避免错综复杂的情况，并且容易理解本发明的技术所涉及的部分，在以上所示的记载内容及图示内容中省略了与在使得能够实施本发明的技术的方面不特别需要说明的技术常识等有关的说明。
本说明书中所记载的所有文献、专利申请及技术标准与具体地且分别地记载通过参考而被并入的各个文献、专利申请及技术标准的情况相同程度地，通过参考而被并入本说明书中。
符号说明
10-摄像装置，11-主体，11A-相机侧卡口，11B-电触点，12-摄像透镜，12A-透镜侧卡口，12B-电触点，13-转盘，14-释放按钮，15-显示器，17-取景器，18-取景器目镜部，20-摄像传感器，20A-受光面，30-物镜，31-聚焦透镜，32-后端透镜，34-透镜驱动控制部，40-处理器，41-图像处理部，42-操作部，43-机械防振机构，44-抖动检测传感器，45-存储器，45A-工作程序，50-个人电脑，52-显示器，AX-X轴，AY-Y轴，AZ-Z轴，P-图像，PA-区域，PS-超分辨率图像，SI-被摄体像。

Claims (13)

1.一种摄像方法，其用于摄像装置，所述摄像装置具备拍摄被摄体像的摄像元件和能够变更所述被摄体像与所述摄像元件的相对位置的移动机构，所述摄像方法包括：
变更工序，多次变更所述相对位置；
摄像工序，通过在多个所述相对位置使用所述摄像元件拍摄所述被摄体像而获取多个第1图像；
合成工序，通过合成所述多个第1图像而生成第2图像；及
显示工序，进行与所述摄像工序或所述合成工序有关的时间性显示。
2.根据权利要求1所述的摄像方法，其中，
所述时间性显示为能够识别所述摄像工序或所述合成工序的执行时间的显示。
3.根据权利要求1或2所述的摄像方法，其包括：
判定工序，根据所述多个第1图像中的至少一个是否满足第1条件来判定能否执行所述合成工序，
当通过所述判定工序而所述判定被肯定时，执行所述合成工序，当所述判定被否定时，变更所述摄像工序的处理内容。
4.根据权利要求3所述的摄像方法，其包括：
第1中止工序，当通过所述判定工序而所述判定被否定时，中止所述摄像工序中的所述被摄体像的摄像。
5.根据权利要求4所述的摄像方法，其包括：
第2中止工序，当所述被摄体像的摄像被中止时，中止所述显示工序中的所述时间性显示。
6.根据权利要求5所述的摄像方法，其包括：
通知工序，将中止了所述被摄体像的摄像的原因或中止了所述时间性显示的原因通知给用户。
7.根据权利要求1至6中任一项所述的摄像方法，其中，
在所述变更工序中，利用施加于所述摄像装置的摇晃来变更所述相对位置。
8.根据权利要求3所述的摄像方法，其中，
当通过所述判定工序而所述判定被否定时，与所述判定被肯定的情况相比，增加所述摄像工序中的所述被摄体像的摄像次数。
9.根据权利要求8所述的摄像方法，其包括：
更新工序，当增加了所述摄像工序中的所述被摄体像的摄像次数时，更新所述显示工序中的所述时间性显示。
10.根据权利要求9所述的摄像方法，其包括：
通知工序，将在所述摄像工序中增加了所述摄像次数的原因或更新了所述时间性显示的原因通知给用户。
11.根据权利要求8至10中任一项所述的摄像方法，其中，
在所述变更工序中，通过使用所述移动机构将所述摄像元件移动到预先规定的位置来变更所述相对位置。
12.一种摄像装置，其具备拍摄被摄体像的摄像元件、能够变更所述被摄体像与所述摄像元件的相对位置的移动机构及处理器，
所述处理器执行如下处理：
变更处理，多次变更所述相对位置；
摄像处理，通过在多个所述相对位置使用所述摄像元件拍摄所述被摄体像而获取多个第1图像；
合成处理，通过合成所述多个第1图像而生成第2图像；及
显示处理，进行与所述摄像处理或所述合成处理有关的时间性显示。
13.根据权利要求12所述的摄像装置，其中，
所述处理器进行如下处理：
能够选择性地执行第1模式及第2模式；
在所述第1模式下，在所述变更处理中，利用施加于所述摄像装置的摇晃来变更所述相对位置；
在所述第2模式下，在所述变更处理中，通过使用所述移动机构将所述摄像元件移动到预先规定的位置来变更所述相对位置；
执行根据所述多个第1图像中的至少一个是否满足第1条件来判定能否执行所述合成处理的判定处理；及
当通过所述判定处理而所述判定被否定时，将所述显示处理中的所述时间性显示在所述第1模式和所述第2模式下变更为互不相同的内容。
CN202280041593.9A 2021-06-17 2022-04-25 摄像方法及摄像装置 Pending CN117501707A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-100823 2021-06-17
JP2021100823 2021-06-17
PCT/JP2022/018701 WO2022264691A1 (ja) 2021-06-17 2022-04-25 撮像方法及び撮像装置

Publications (1)

Publication Number Publication Date
CN117501707A true CN117501707A (zh) 2024-02-02

Family

ID=84527330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280041593.9A Pending CN117501707A (zh) 2021-06-17 2022-04-25 摄像方法及摄像装置

Country Status (4)

Country Link
US (1) US20240089588A1 (zh)
JP (1) JPWO2022264691A1 (zh)
CN (1) CN117501707A (zh)
WO (1) WO2022264691A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4654887B2 (ja) * 2005-11-14 2011-03-23 株式会社ニコン 撮像装置
JP2010072092A (ja) * 2008-09-16 2010-04-02 Sanyo Electric Co Ltd 画像表示装置及び撮像装置
JP2014123881A (ja) * 2012-12-21 2014-07-03 Canon Inc 情報処理装置、情報処理方法、コンピュータプログラム
JP6606838B2 (ja) * 2015-03-13 2019-11-20 リコーイメージング株式会社 撮像装置および撮像方法
JP2019191258A (ja) * 2018-04-19 2019-10-31 オリンパス株式会社 撮像装置、撮像プログラム、撮像方法

Also Published As

Publication number Publication date
JPWO2022264691A1 (zh) 2022-12-22
WO2022264691A1 (ja) 2022-12-22
US20240089588A1 (en) 2024-03-14

Similar Documents

Publication Publication Date Title
JP4999268B2 (ja) 電子カメラ及びプログラム
JP5028574B2 (ja) デジタルカメラシステム
US9749523B2 (en) Photographing apparatus, photographing method, image processor, image-processing method, and program
CN101331754A (zh) 成像设备和成像方法
CN107968913B (zh) 显示控制设备、显示控制设备的控制方法和存储介质
KR101599872B1 (ko) 디지털 영상 처리 장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체
US9871964B2 (en) Photographing apparatus, photographing controller, photographing control method, and photographing control program
JP2008172667A (ja) 撮像装置
JP5378283B2 (ja) 撮像装置およびその制御方法
JP2006246354A (ja) 撮影装置及び撮影プログラム
JP5241347B2 (ja) 撮像装置
JP2013162412A (ja) 撮像装置及び画質調整方法、画質調整プログラム
JP2019105768A (ja) 表示制御装置及びその制御方法
CN117501707A (zh) 摄像方法及摄像装置
WO2018168228A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP7442989B2 (ja) 撮像装置、該撮像装置の制御方法、及びプログラム
CN110278374B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP6781349B2 (ja) レンズ交換式デジタルカメラ、その作動方法および作動プログラム
JP2018067883A (ja) 撮影装置
JP6579369B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2010010881A (ja) 撮影装置および画像中のモアレ有無の告知方法
JP6489350B2 (ja) 像振れ補正装置及び該像振れ補正装置における像振れ補正方法
JP2003029137A (ja) 自動焦点検出装置
JP2011041092A (ja) 撮像装置及びレンズ鏡筒
CN116325776A (zh) 摄像装置、摄像装置的驱动方法及程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination