CN110505394B - 图像处理装置、图像处理方法、摄像装置及存储介质 - Google Patents

图像处理装置、图像处理方法、摄像装置及存储介质 Download PDF

Info

Publication number
CN110505394B
CN110505394B CN201910406061.0A CN201910406061A CN110505394B CN 110505394 B CN110505394 B CN 110505394B CN 201910406061 A CN201910406061 A CN 201910406061A CN 110505394 B CN110505394 B CN 110505394B
Authority
CN
China
Prior art keywords
image
images
conversion coefficient
calculation
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910406061.0A
Other languages
English (en)
Other versions
CN110505394A (zh
Inventor
高桥阳一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN110505394A publication Critical patent/CN110505394A/zh
Application granted granted Critical
Publication of CN110505394B publication Critical patent/CN110505394B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种图像处理装置、图像处理方法、摄像装置及存储介质。图像处理装置执行：第一计算，被配置为针对多个图像中具有相同曝光的图像计算转换系数；第二计算，被额配置为计算具有不同曝光的图像的转换系数；位置调整，被配置为利用第二计算中算出的转换系数对多个图像执行位置调整；以及合成，被配置为针对图像执行合成，以生成具有比所述图像的动态范围和视角更宽的动态范围和视角的合成图像，并且，在第二计算中，针对多个图像中的部分图像新生成用于检测的图像。

Description

图像处理装置、图像处理方法、摄像装置及存储介质
技术领域
本发明涉及一种通过合成多个图像来创建全景图像的摄像装置，特别涉及一种通过合成在轮流地改变曝光的同时所拍摄的图像而创建的具有更宽动态范围的图像，即，高动态范围(HDR)全景图像。
背景技术
在要以包括诸如太阳的亮被摄体和诸如阴影建筑的暗被摄体的视角对场景进行摄像的情况下，亮被摄体和暗被摄体之间的亮度差异增大。因此，如果对具有特定亮度的被摄体调整曝光，则摄像场景中会出现过度曝光或曝光不足。因此，提供了一种通过在改变曝光的同时进行摄像、并校正所拍摄图像之间的位置偏差，从而生成具有宽动态范围的HDR图像的方法。
此外，提供了一种用于创建具有比单个拍摄图像的视角更宽的视角的全景图像的全景摄像处理。在该处理中，在移动摄像装置的同时顺次拍摄图像，并且拍摄的图像彼此全景合成，具有重叠区域。由于以非常宽的视角执行全景摄像，因此包括在视角中的亮被摄体和暗被摄体之间的亮度差异将会相当高。日本特开2012-80432号公报讨论了一种生成具有宽动态范围的全景图像(即，HDR全景图像)的方法。在该方法中，在顺次校正改变曝光的同时所拍摄的图像的位置偏差之后，执行图像的HDR合成，并且通过全景合成将合成的HDR图像彼此组合。
在通过日本特开2012-80432号公报中描述的方法来执行HDR合成的情况下，必须执行位置偏差的校正。因此，提供了一种采用模板匹配的方法。在该方法中，通过模板匹配检测图像之间的运动矢量，并利用检测到的运动矢量来校正位置偏差。然而，为了通过模板匹配正确地获取运动矢量，各个图像中的匹配区域的亮度信号值或颜色信号值必须是相同的水平。因此，在要从具有不同曝光的图像中检测运动矢量的情况下，除了用于合成的图像之外，还必须生成用于检测运动矢量的、具有校正的亮度信号值或颜色信号值的图像。
然而，如果每次执行摄像时都创建用于检测的图像，则会增加处理负荷，且需要用于保留图像的大容量存储器。因此，系统的成本将增加。此外，处理时间也将更长。结果，即使摄像处理完成，也需要花费时间来完成整个图像处理。因此，在完成图像合成之前需要很长的等待时间。
发明内容
本发明旨在提供一种能够在创建HDR全景图像时显著减少用于检测运动矢量的图像的数量的图像处理装置。
根据本发明的一个方面，一种图像处理装置，包括：第一计算单元，被配置为：针对以轮流变化的曝光拍摄的多个图像，计算用于对具有相同曝光的图像执行位置调整的转换系数；与第一计算单元不同的第二计算单元，被配置为：针对所述多个图像，计算用于对具有不同曝光的图像执行位置调整的转换系数；位置调整单元，被配置为：利用由第二计算单元计算的用于执行位置调整的转换系数，对所述多个图像中的两个图像执行位置调整；以及合成单元，被配置为：针对被位置调整单元执行了位置调整的图像执行合成，以合成具有比所述多个图像中的任何一个的动态范围和视角更宽的动态范围和视角的全景图像，其中，在针对所述多个图像的部分图像中的图像计算转换系数时，第二计算单元利用所述图像的曝光，新生成具有与位置要调整到所述部分图像中的所述图像的图像曝光相同的曝光的、用于检测的图像，并利用所述用于检测的图像计算转换系数，以及，基于第一计算单元计算出的转换系数，针对多个图像中除所述部分图像之外的图像计算用于执行位置调整的转换系数。
根据以下参照附图对示例性实施例的详细描述，本发明的其他特征将变得清楚。
附图说明
图1是示出根据本发明示例性实施例的数字照相机的示意性配置的后视立体图。
图2是示出根据本发明示例性实施例的数字照相机的硬件配置的框图。
图3是示出根据第一示例性实施例的全景摄像处理的流程图。
图4是示出根据第一示例性实施例的摄像处理和图像处理的图。
图5是示出根据第二示例性实施例的全景摄像处理的流程图。
图6是示出根据第二示例性实施例的摄像处理和图像处理的图。
具体实施方式
以下将参照附图详细描述本发明的示例性实施例。
将描述第一示例性实施例。图1是示出根据本发明示例性实施例的数字照相机的示意性配置的后视立体图。
用于显示图像和各种信息的显示单元101和由诸如各种开关和按钮等操作构件构成、用来接受来自用户的各种操作的操作单元102布置在数字照相机100的背面上。此外，用于切换摄像模式的模式转换开关104和可旋转操作的控制器轮103布置在数码相机100的背面上。用于输入摄像指令的快门按钮121、用于切换数字照相机100的电源的ON/OFF状态的电源开关122和用于利用闪光照射被摄体的闪光灯141布置在数字照相机100的上表面上。
数字照相机100可以通过有线或无线通信连接到外部装置，以将图像数据(静止图像数据或运动图像数据)输出到外部装置。可由盖131打开/关闭的存储介质槽(未示出)布置在数字照相机100的下表面上，并且诸如存储卡等存储介质130可插入到存储介质槽中或从存储介质槽中移除。
存储在存储介质槽中的存储介质130可以与数字照相机100的系统控制单元210(参见图2)通信。此外，存储介质130不限于能够插入或移出存储介质槽的存储卡，也可以是诸如光盘或硬盘的磁盘。此外，存储介质130可以内置在数字照相机100的主体中。
图2是示出根据本发明示例性实施例的数字照相机100的硬件配置的框图。数字照相机100包括挡板201、摄像透镜202、快门203和摄像单元204。挡板201覆盖摄像光学系统以防止摄像光学系统被弄脏或损坏。摄像透镜202由包括变焦透镜和聚焦透镜的透镜组构成，以构成摄像光学系统。快门203包括光圈功能，针对摄像单元204调整曝光量。摄像单元204是将光学图像转换为电信号(模拟信号)的图像传感器。摄像单元204可以是诸如电荷耦合器件(CCD)传感器或具有规则地排列红色、绿色和蓝色(RGB)像素的拜耳阵列结构的互补金属氧化物半导体(CMOS)传感器的图像传感器。此外，快门203可以是机械快门，或者可以是通过图像传感器的重置定时控制来控制累积时间的电子快门。
可选择地，摄像单元204可以被配设为其中多个光电转换部分布置在单个像素中这样的结构，其能够获取立体图像，使得下述的自动焦点(AF)检测处理可以更快地执行。
数字照相机100包括模拟-数字(A/D)转换单元205、图像处理单元206、存储器控制单元207、数字-模拟模(D/A)转换单元208、存储器209和系统控制单元210。模拟信号从摄像单元204输出到A/D转换单元205。A/D转换单元205将获取的模拟信号转换为由数字信号组成的图像数据，并将图像数据输出到图像处理单元206或存储器控制单元207。
图像处理单元206针对从A/D转换单元205获取的图像数据或从存储器控制单元207获取的数据执行诸如像素插值或阴影校正、白平衡处理、伽马校正处理或颜色转换处理等的校正处理。此外，图像处理单元206执行图像的剪切(修剪)处理或缩放处理以实现电子变焦功能。此外，图像处理单元206利用拍摄图像的图像数据来执行预定的算术处理，并且系统控制单元210基于所获取的算术结果来执行曝光控制或测距控制。例如，由系统控制单元210执行利用通过镜头(TTL)方法的自动聚焦(AF)处理、自动曝光(AE)处理或预闪光(EF)处理。图像处理单元206利用所拍摄图像的图像数据执行预定的算术处理，并且系统控制单元210利用所获取的算术结果，通过TTL方法来执行自动白平衡(AWB)处理。
图像处理单元206包括图像合成处理电路，用于合成来自多个图像的全景图像，并执行合成结果的确定。图像合成处理电路不仅可以执行简单的加法平均合成处理，还可以通过在合成目标图像数据的各个区域中选择具有最亮或最暗值的像素来执行用于生成图像数据的变亮合成(comparison lighten composition)或变暗合成(comparison darkencomposition)处理。此外，图像合成处理电路基于特定基准来评估和确定合成结果。例如，在合成图像的数量小于预定数量或者合成图像的长度小于基准值的情况下，图像合成处理电路确定合成处理失败。
此外，图像处理单元206包括压缩/解压缩功能，其将通过摄像处理获取的图像数据转换为诸如联合图像专家组(JPEG)格式的图像格式的数据。另外，图像处理单元206还包括用于实现下述的模板匹配的功能。下面将描述模板匹配的细节。另外，可以通过由系统控制单元210执行的软件处理来实现图像合成处理的功能，而不是通过图像处理单元206提供的构成元件来实现。
从A/D转换单元205输出的图像数据经由图像处理单元206和存储器控制单元207、或者经由存储器控制单元207被写入存储器209中。存储器209还用作用于存储在显示单元101上显示的图像数据的图像显示存储器(视频存储器)。存储器209具有能够存储预定数量的静止图像和全景图像(广角图像)以及全景图像合成结果的存储容量。另外，存储器209还可以用作用于加载由系统控制单元210从非易失性存储器211读出的程序的工作区域。
存储在存储器209中的图像显示数据(数字数据)被发送到D/A转换单元208。D/A转换单元208将接收的数字数据转换为模拟信号，以将模拟信号提供给显示单元101，以便在显示单元101上显示图像。显示单元101是诸如液晶显示器或有机电致发光(EL)显示器的显示设备，在该显示设备上，基于从D/A转换单元208发送的模拟信号来显示图像。系统控制单元210在显示单元101处切换图像显示的ON/OFF状态，并且可以通过关闭此处显示的图像来降低电力消耗。此外，经由A/D转换单元205从摄像单元204累积在存储器209中的数字信号由D/A转换单元208转换为模拟信号。然后，将模拟信号提供给显示单元101，使得图像顺次显示在显示单元101处。利用该配置，可以实现用于显示实时取景图像的电子取景器功能。
数字照相机100包括非易失性存储器211、系统计时器212、系统存储器213、检测单元215和闪光控制单元217。非易失性存储器211是诸如电可擦除可编程只读存储器(EEPROM)等存储由系统控制单元210执行的程序或用于操作的常数的电可擦除/可存储的存储器。非易失性存储器211包括用于存储系统信息的区域或用于存储用户设置信息的区域。当启动数字照相机100时，系统控制单元210读取并恢复存储在非易失性存储器211中的各种类型的信息和设置。
系统控制单元210包括中央处理单元(CPU)，并通过执行存储在非易失性存储器211中的各种程序代码来控制数字照相机100的总体操作。此外，由系统控制单元210从非易失性存储器211读出的程序和用于操作的常数或变数被加载到系统存储器213上。随机存取存储器(RAM)被用作系统存储器213。此外，系统控制单元210控制存储器209、D/A转换单元208和显示单元101执行显示控制。系统计时器212测量用于各种控制的时间或内置时钟的时间。闪光控制单元217基于被摄体的亮度控制从闪光灯141发出的光。检测单元215包括陀螺仪传感器和加速度传感器，并获取数字照相机100的角速度信息、加速度信息和姿态信息。角速度信息包括关于在拍摄全景图像时数字照相机100的角速度和角加速度的信息。姿态信息包括关于数字照相机100相对于水平方向的倾斜的信息。
图2中的显示单元101、操作单元102、控制器轮103、快门按钮121、模式转换开关104、电源开关122和闪光灯141与参照图1所描述的相同。
例如，构成操作单元102的各种操作部件用于选择显示单元101处显示的各种功能图标，并且当选定预定功能图标时为每种情形分配功能。换句话说，操作单元102的各个操作构件用作各种功能按钮。可以给出结束按钮、返回按钮、图像给送按钮、跳转按钮、缩小按钮、属性改变按钮和显示(DISP)按钮作为功能按钮的示例。例如，当按下菜单按钮时，在显示单元101上显示用于执行各种设置的菜单画面。用户可以利用显示单元101处显示的菜单画面和上/下/右/左四向按钮或设置按钮直观地执行设置操作。
除了四向按钮之外，作为可旋转操作的操作部件的控制器轮103也用于指定选择项目。当控制器轮103被旋转操作时，基于操作量(旋转角度或旋转次数)产生电脉冲信号。系统控制单元210分析脉冲信号以控制数字照相机100的各个单元。
快门按钮121包括第一开关SW1和第二开关SW2。当快门按钮121被操作一半而进入半按下状态时，第一开关SW1接通(ON)。在该状态下，摄像准备指令信号被发送到系统控制单元210。系统控制单元210接收指示第一开关SW1的ON状态的信号，并开始执行诸如AF处理、AE处理、AWB处理或EF处理的处理。当快门按钮121被完全操作而进入完全按下状态时，第二开关SW2接通(ON)。在该状态下，摄像开始指令信号被发送到系统控制单元210。系统控制单元210接收指示第二开关SW2的ON状态的信号，并执行一系列用于从摄像单元204中读取信号、并将图像数据写入存储介质130的摄像操作。
模式转换开关104是用于在诸如静止图像摄像模式、运动图像摄像模式和再现模式等各种模式之间转换数字照相机100的操作模式的开关。除了自动摄像模式之外，静止图像摄像模式还包括用于通过全景图像摄像来合成全景图像的全景图像摄像模式。
数字照相机100包括电源单元214和电源控制单元218。电源单元214可以是诸如碱性电池或锂电池的一次电池，诸如镍镉(NiCd)、镍氢(NiMH)电池或锂离子(Li)电池的二次电池，或者向电源控制单元218供电的交流(AC)适配器。电源控制单元218检测是否存在要安装在电源单元214上的电池、电池类型或剩余电池电量，并且基于检测结果和系统控制单元210的指令，在必要的时间段内向包括存储介质130的各个单元提供必要的电压。
数字照相机100包括存储介质接口(I/F)216，其使得在存储介质130被安装在存储介质槽上(未示出)时，存储介质130能够与系统控制单元210进行通信。已参照图1描述了存储介质130的细节，因此省略对其描述。
图3是示出根据本示例性实施例的全景摄像处理的流程图。数字照相机100在执行摆摄(panning)操作的同时执行图3所示的处理的流程。下文将参照图3中的流程图描述本示例性实施例。
在步骤S301中，当按下开关SW1时(步骤S301中为“是”)，处理进入步骤S302。
在步骤S302中，图像处理单元206利用关于通过摄像光学系统获取的被摄体的亮度的信息来计算合适的曝光量，并确定光圈、累积时间和国际标准化组织(ISO)感光度。重复执行步骤S302中的处理，直到按下开关SW2为止。
在步骤S303中，当按下开关SW2时(步骤S303中为“是”)，处理进入步骤S304。在步骤S304中，摄像单元204执行摄像。具体地，基于步骤S302中图像处理单元206计算的曝光量，系统控制单元210将光圈设置为目标光圈。系统控制单元210根据需要通过闪光控制单元217启动闪光灯141。系统控制单元210驱动布置在摄像光学系统上的镜子以在摄像单元204上形成被摄体的图像。系统控制单元210打开快门203的前帘(未示出)以在摄像单元204上形成被摄体的图像，随后在步骤S302中确定的累积时间之后关闭快门203的后帘(未示出)。通过上述处理，光仅在累积时间段内进入摄像单元204。
当在步骤S304中执行摄像时，以预定的轮流顺序设置曝光。图4是示出根据本示例性实施例的摄像处理和图像处理的图。图4示出将适当曝光和曝光不足轮流地设置为摄像时的曝光的状态。
接下来，在步骤S305中，图像处理单元206生成用于HDR合成的图像。用于HDR合成的图像是指在下述步骤S314中用于生成HDR图像的图像。在步骤S305中，图像处理单元206执行用于转换图像数据的显影。同时，图像处理单元206可以基于HDR合成的合成比率来执行白平衡处理或伽马校正处理。
在步骤S306中，系统控制单元210确定步骤S304中拍摄的图像是否为第一图像。如果图像是第一图像(步骤S306中为“是”)，则不能执行下文所述的步骤S313至S316中所执行的用于合成全景图像的处理，从而处理返回至步骤S304。如果图像不是第一图像(步骤S306中为“否”)，则处理进入步骤S307。
在步骤S307中，系统控制单元210确定步骤S304中拍摄的图像是否在曝光不足情况下拍摄。如果图像是在曝光不足的情况下拍摄的(步骤S307中为“是”)，则处理进入步骤S309。如果图像不是在曝光不足的情况下拍摄而是在适当曝光下拍摄的(步骤S307中为“否”)，则处理进入步骤S308。
在步骤S308中，图像处理单元206从步骤S304中拍摄的图像和紧接在该图像拍摄之前以适当曝光拍摄的图像中检测运动矢量。例如，在图4中，图像处理单元206从图像401和403检测运动矢量。下面将描述运动矢量的检测方法。
在步骤S309中，系统控制单元210确定是否利用步骤S304中拍摄的图像来生成用于检测运动矢量的图像。用于检测运动矢量的图像是指从中检测运动矢量的图像，并且在生成HDR图像时，检测到的运动矢量用于位置调整。例如，如图4中的第二拍摄图像所示，为了生成HDR图像，图像处理单元206将第二拍摄图像乘以增益，并生成具有与适当曝光水平相同曝光水平的、用于检测的图像412。在图4所示的摄像处理中，仅针对第二图像(即，第一曝光不足下拍摄的图像)生成用于检测的图像。然而，可以针对特定数量的拍摄图像的各个生成用于检测的图像。
如果没有生成用于检测的图像(步骤S309中为“否”)，则处理进入步骤S310。在步骤S310中，图像处理单元206从用于步骤S304中拍摄的图像和紧接在该图像拍摄之前所拍摄的曝光不足的图像的HDR合成的各个图像中检测运动矢量。例如，在图4中，图像处理单元206从图像402和图像404中检测运动矢量。
如果生成了用于检测的图像(步骤S309中为“是”)，则处理进入步骤S311。在步骤S311中，图像处理单元206将图像乘以增益以生成用于检测的图像。然后，处理进入步骤S312。在步骤S312中，图像处理单元206利用步骤S311中生成的用于检测的图像和用于紧接在该图像拍摄之前以适当曝光拍摄的图像的HDR合成的图像来检测运动矢量。例如，在图4中，图像处理单元206从图像412和图像401中检测运动矢量。
这里，将详细描述运动矢量的检测方法。如上所述，采用模板匹配作为运动矢量的检测方法。在该方法中，通过以下过程检测运动矢量。
首先，图像处理单元206在图像处理单元206显影的图像中的一个图像的中心部分的周边切出具有较少失真的区域。图像处理单元206将切出区域划分为具有可选尺寸的小块。优选地，图像处理单元206将各个块设置为具有相同的尺寸。接下来，图像处理单元206在与每个设置块的位置相同的位置处对另一个显影图像设置搜索区域，各个搜索区域的尺寸大于每个块的尺寸。最后，在另一个显影图像的各个搜索区域中，图像处理单元206计算相对于在开始时设置的块的亮度的绝对误差和(下文称为“SAD”)变为最小值的对应点。图像处理单元206从开始处设置的块的中心和上述对应点中计算运动矢量。在图像中的一个区域的对比度低于设定阈值的情况下，由于检测到的运动矢量的误差大，因此不使用从该区域检测到的运动矢量。为了计算上述对应点，图像处理单元206可以采用误差平方和(以下称为“SSD”)或归一化互相关(以下称为“NCC”)来代替SAD。
接下来，在步骤S313中，图像处理单元206使用检测到的运动矢量来校正位置偏差。这里，如果通过采用上述模板匹配为示例来描述处理，则利用检测到的运动矢量来计算转换系数。例如，使用投影转换系数。然而，转换系数不限于投影转换系数，也可以使用仿射转换系数或仅用于水平/垂直移位的简化转换系数。图像处理单元206可以通过使用以下公式1来执行转换。
Figure BDA0002061262950000111
在公式1中，(x'，y')表示执行转换后的坐标，(x，y)表示执行转换之前的坐标。矩阵A表示上述转换系数。如上所述，图像处理单元206通过使用检测到的运动矢量来计算仿射系数。
为了执行下文描述的HDR合成，需要计算相邻图像之间的仿射系数。在本示例性实施例中，相邻图像的大部分仿射系数不是直接计算出的，而是从相同曝光的图像中计算出。例如，在图4所示的摄像处理中，图像处理单元206首先从第二图像创建用于运动矢量检测的图像，并直接计算第一和第二图像的仿射系数。然而，用于检测的图像的创建需要存储器容量和处理时间。因此，不针对第二图像之后的图像创建用于运动矢量检测的图像，而是间接计算仿射系数来代替直接计算。如上所述，图像处理单元206从第一和第三图像中计算仿射系数。由于以相同的曝光水平拍摄第一和第三图像，因此可以在不新创建用于检测的图像的情况下检测运动矢量，从而可以计算仿射系数。这里，图像处理单元206可以通过使用从第一和第二图像计算的仿射系数以及从第一和第三图像计算的仿射系数来计算用于校正第二和第三图像之间的位置偏差的仿射系数。具体地，对应于第一至第三图像的像素的坐标分别表示为“I1”、“I2”和“I3”。第一和第二图像的仿射系数、第一和第三图像的仿射系数以及第二和第三图像的仿射系数分别表示为“A21”、“A31”和“A32”。以上述公式1类推，可以建立下面的公式2至4。
I2＝A21·I1…公式2
I3＝A31·I1…公式3
I3＝A32·I2…公式4
从上述公式2至4中获得以下公式5。
A32＝I3·I2-1＝A31·I1·(A21·I1)-1＝A31·A21-1…公式5
最后，图像处理单元206可以通过将如上所述计算的转换系数应用于相邻图像的各像素来校正图像的位置偏差。
在步骤S314中，图像处理单元206从位置偏差已被校正的图像中生成HDR图像。具体地，如图4所示，图像处理单元206利用图像401和图像402生成HDR图像421。此外，图像处理单元206利用图像402和图像403生成HDR图像422。如上所述，图像处理单元206从位置偏差已被校正的相邻图像中生成HDR图像。
在步骤S315中，系统控制单元210确定步骤S314中生成的HDR图像是否是第一HDR图像。如果图像是第一HDR图像(步骤S315中为“是”)，则不能生成全景图像。因此，处理进入步骤S318。如果图像不是第一HDR图像(步骤S315中为“否”)，则处理进入步骤S316。
在步骤S316中，图像处理单元206利用步骤S314中生成的HDR图像来检测用于生成全景图像的运动矢量。上述模板匹配方法可以用作运动矢量的检测方法。
在步骤S317中，图像处理单元206利用步骤S316中检测到的运动矢量，对步骤S314中生成的HDR图像执行位置调整。位置调整的方法可以类似于步骤S313中的位置偏差的校正方法。此后，图像处理单元206利用已被执行位置调整的HDR图像来生成全景图像。
在步骤S318中，系统控制单元210确定是否结束摄像处理。可以基于是否释放开关SW2、存储介质130的容量是否已达到上限或者所拍摄图像的数量是否已达到预定值来进行上述确定。如果应该结束摄像处理(步骤S318中为“是”)，则处理进入步骤S319。如果不应该结束摄像处理(步骤S304中为“否”)，则处理返回到步骤S304。
在步骤S319中，图像处理单元206压缩步骤S317中生成的全景图像，并将合成图像以诸如JPEG格式等通用格式保存在存储介质130中。
在传统的HDR全景图像的合成方法中，必须针对未以适当曝光拍摄的图像新生成用于检测运动矢量的图像。由于需要大量的处理时间和存储容量，因此可能导致处理延迟。相反，在本示例性实施例中，仅针对一部分图像生成用于检测运动矢量的图像。如上所述，针对除已生成用于检测运动矢量的图像的图像之外的图像，计算一个图像与间接同该一个图像相邻的图像之间的转换系数。通过上述处理，通过从以类似曝光水平拍摄的图像中检测运动矢量，可以显着减少用于检测运动矢量的图像的数量。因此，可以防止处理延迟。
在第二示例性实施例中，与第一示例性实施例相比，还考虑到当不能检测到转换系数时要执行的处理。在下文中，将描述本示例性实施例。关于与第一示例性实施例中描述的配置类似的配置，将省略描述。
图5是示出根据本示例性实施例的全景摄像处理的流程图。在下文中，将参照图5中的流程图描述本示例性实施例。
在第一示例性实施例中，利用运动矢量来计算仿射系数。因此，已经描述了通过公式1计算仿射系数的方法。此外，在上述计算方法中，不使用从对比度低于设定阈值的区域计算的运动矢量。另外，例如，从诸如重复图案区域的区域检测的运动矢量具有大的误差。因此，通过执行设置，可以防止这种运动矢量用于计算转换系数。此外，当运动矢量具有一定值或更小时，或者当运动矢量与检测单元215检测到的陀螺仪信息显著不同时，为防止误差，不应使用这种运动矢量。
然而，存在如果运动矢量的数量是特定数量或更少则不能计算转换系数的情况。例如，关于仿射系数，为了通过上述公式1明确地计算仿射系数A，必须检测至少三个彼此不平行的运动矢量。换句话说，如果只检测到两个彼此不平行的运动矢量，就不能计算上述转换系数，从而在步骤S313中不能校正位置偏差。
如果可以检测到三个运动矢量，则可以明确地计算仿射系数。然而，考虑到误差，可以将计算仿射系数所需的运动矢量的数量设置为大于三个。
考虑到上述问题，根据本示例性实施例中描述的方法，在不能获得计算转换系数所需的最小运动矢量数的情况下，在不中断处理流程的情况下生成全景HDR图像。
步骤S301至S312中的处理类似于第一示例性实施例中描述的处理。
在步骤S501中，系统控制单元210确定是否可以计算转换系数。具体地，系统控制单元210确定步骤S308、S310和S312中检测到的运动矢量的数量是否小于计算转换系数所需的最小数。如果系统控制单元210确定可以计算转换系数(步骤S501中为“是”)，则处理进入步骤S313。步骤S313至S319中的处理类似于第一示例性实施例中的处理。另一方面，如果系统控制单元210确定不能计算转换系数(步骤S501中为“否”)，则处理进入步骤S502。
在步骤S502中，对于不能计算转换系数的图像，系统控制单元210确定图像处理单元206是否已经生成用于检测的图像。这里，假定不能计算转换系数的图像是无法检测到计算转换系数所需的最小数量的运动矢量的两个图像中按照时间顺序比另一个图像靠后的拍摄图像。如第一示例性实施例中所述，根据预定规则(例如，针对特定数量的图像生成用于检测的一个图像)，在步骤S311中生成用于检测的图像。如果已针对不能计算转换系数的图像生成用于检测的图像(步骤S502中为“是”)，则即使执行步骤S503中的下述处理，也不能计算转换系数。因此，跳过该处理步骤，处理进入步骤S318。
在步骤S503中，图像处理单元206生成与不能计算转换系数的图像对应的用于检测的图像。可以使用与步骤S311中描述的方法类似的生成方法。
在步骤S504中，图像处理单元206利用步骤S503中生成的用于检测的图像和用于紧接在所拍摄图像之前以适当曝光拍摄的图像的HDR合成的图像来检测运动矢量。
图6是示出根据本示例性实施例的摄像处理和图像处理的图。将参照图6具体描述不能计算转换系数时所要执行的处理。与图4所示的处理类似，图像处理单元206针对第二图像创建用于检测运动矢量的图像612。接下来，图像处理单元206从图像601和图像612中检测运动矢量，并从图像601和图像603中检测运动矢量。然后，图像处理单元206从图像602和图像604中检测运动矢量，并且确定不能利用由此检测到的运动矢量来计算转换系数。
针对图像604，图像处理单元206创建用于检测运动矢量的图像。换句话说，图像处理单元206将图像604乘以增益，并生成具有与适当曝光的拍摄图像的曝光水平相同的曝光水平的图像614。
接下来，图像处理单元206从图像603和图像614中检测运动矢量。图像处理单元206利用由此检测到的运动矢量来计算转换系数，并利用计算出的转换系数校正图像603和图像604之间的位置偏差。随后，图像处理单元206从图像603和图像605中检测运动矢量，并利用检测到的运动矢量和图像603和图像605的仿射系数来计算用于校正图像604和图像605之间的位置偏差的仿射系数。
在本示例性实施例中，追加执行当不能从运动矢量计算转换系数时所要执行的处理。因此，与第一示例性实施例相比，可以减少HDR图像的合成中发生失败。
<其他示例性实施例>
尽管在上述示例性实施例中描述了个人用数字照相机作为本发明的示例性实施例，但是本发明还可应用于连接到服务器的便携式设备、智能手机或网络相机，只要包括了全景图像拍摄功能和合成功能即可。
本发明可以通过如下方式实现：根据上述示例性实施例的用于实现一个或多个功能的程序经由网络或存储介质提供给系统或装置，使得系统或设备中的计算机中的一个或多个处理器读取并执行程序。此外，还可以利用诸如实现一个或多个功能的专用集成电路(ASIC)的电路来实现本发明。
根据本发明的该方面，可以提供一种能够减少执行HDR全景合成所需的存储容量和时间的图像处理装置。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例描述了本发明，但是应当理解，本发明并不限于所公开的示例性实施例。应当对下列权利要求的范围赋予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。

Claims (13)

1.一种图像处理装置，包括：
至少一个存储器，被配置为存储指令；以及，
与所述至少一个存储器通信的至少一个处理器，被配置为执行指令，以便：
针对以不同曝光拍摄的多个图像执行第一计算，在第一计算中，计算用于对以相同曝光拍摄的图像执行位置调整的转换系数；
针对所述多个图像执行与第一计算不同的第二计算，在第二计算中，计算用于对以不同曝光拍摄的图像执行位置调整的转换系数；
针对所述多个图像执行位置调整；以及，
针对被执行位置调整的图像执行合成，以合成具有比所述多个图像中的任何一个的动态范围和视角更宽的动态范围和视角的全景图像，
其中，在所述第二计算中，所述至少一个处理器进一步执行指令，以便：在针对所述多个图像的部分图像中的图像计算转换系数时，利用所述图像的曝光，新生成具有与位置要调整到所述部分图像中的所述图像的图像曝光相同的曝光的、用于检测的图像，并利用所述用于检测的图像计算所述转换系数；以及，基于所述第一计算中算出的转换系数，针对多个图像中除所述部分图像之外的图像，计算用于执行位置调整的所述转换系数。
2.根据权利要求1所述的图像处理装置，其中，通过摆摄操作拍摄多个图像。
3.根据权利要求1或者权利要求2所述的图像处理装置，其中，至少一个处理器进一步执行指令以合成具有比所述图像的动态范围更宽的动态范围的多个合成图像，以利用所述多个合成图像来合成具有比合成图像的视角更宽的视角的全景图像。
4.根据权利要求1或者权利要求2所述的图像处理装置，其中，在所述第二计算中，所述至少一个处理器进一步执行指令，以利用通过使用用于检测的图像而计算出的转换系数，针对多个图像中除所述部分图像之外的图像来计算用于对所述多个图像中除所述部分图像之外的图像执行位置调整的转换系数。
5.根据权利要求1或者权利要求2所述的图像处理装置，其中，所述部分图像至少包括所述多个图像中以预定次序拍摄的图像。
6.根据权利要求1或者权利要求2所述的图像处理装置，其中，所述部分图像至少包括多个图像中的、在所述第一计算中不能被计算出转换系数的图像。
7.根据权利要求6所述的图像处理装置，
其中，所述至少一个处理器进一步执行指令，以在所述第一计算中通过从所述图像中检测运动矢量来计算所述转换系数；以及，
其中，所述不能被计算出转换系数的图像是在所述第一计算中检测到运动矢量的数量小于预定最小数的图像。
8.根据权利要求7所述的图像处理装置，所述转换系数是仿射系数，所述预定最小数是3。
9.根据权利要求1或者权利要求2所述的图像处理装置，其中所述多个图像是以轮流改变的曝光拍摄的。
10.根据权利要求1或者权利要求2所述的图像处理装置，所述至少一个处理器进一步执行指令，以利用所述第二计算中算出的用于执行位置调整的所述转换系数，对所述多个图像中的每两个图像执行位置调整。
11.一种摄像装置，包括：
图像传感器，被配置为拍摄多个图像；
至少一个存储器，被配置为存储指令；以及，
与所述至少一个存储器通信的至少一个处理器，被配置为执行指令，以便：
针对以不同曝光拍摄的多个图像执行第一计算，在第一计算中，计算用于对以相同曝光拍摄的图像执行位置调整的转换系数；
针对所述多个图像执行与第一计算不同的第二计算，在第二计算中，计算用于对以不同曝光拍摄的图像执行位置调整的转换系数；
针对所述多个图像执行位置调整；以及，
针对被执行位置调整的图像执行合成，以合成具有比所述多个图像中的任何一个的动态范围和视角更宽的动态范围和视角的全景图像，
其中，在所述第二计算中，所述至少一个处理器进一步执行指令，以便：在针对所述多个图像的部分图像中的图像计算转换系数时，利用所述图像的曝光，新生成具有与位置要调整到所述部分图像中的所述图像的图像曝光相同的曝光的、用于检测的图像，并利用所述用于检测的图像计算所述转换系数；以及，基于所述第一计算中计算出的转换系数，针对多个图像中除所述部分图像之外的图像计算用于执行位置调整的所述转换系数。
12.一种控制图像处理装置的控制方法，所述方法包括：
针对以不同曝光拍摄的多个图像执行第一计算，在第一计算中，计算用于对以相同曝光拍摄的图像执行位置调整的转换系数；
针对所述多个图像执行与第一计算不同的第二计算，在第二计算中，计算用于对以不同曝光拍摄的图像执行位置调整的转换系数；
针对所述多个图像执行位置调整；以及，
针对被执行位置调整的图像执行合成，以合成具有比所述多个图像中的任何一个的动态范围和视角更宽的动态范围和视角的全景图像，
其中，在所述第二计算中，在针对所述多个图像的一部分图像中的图像计算转换系数时，利用所述图像的曝光，新生成具有与位置要调整到所述部分图像中的所述图像的图像曝光相同的曝光的、用于检测的图像，并利用所述用于检测的图像计算所述转换系数；以及，基于所述第一计算中计算出的转换系数，针对多个图像中除所述部分图像之外的图像计算用于执行位置调整的所述转换系数。
13.一种存储指令的计算机可读存储介质，所述指令促使计算机执行用于控制图像处理装置的方法，所述方法包括：
针对以不同曝光拍摄的多个图像执行第一计算，在第一计算中，计算用于对以相同曝光拍摄的图像执行位置调整的转换系数；
针对所述多个图像执行与第一计算不同的第二计算，在第二计算中，计算用于对以不同曝光拍摄的图像执行位置调整的转换系数；
针对所述多个图像执行位置调整；以及，
针对被执行位置调整的图像执行合成，以合成具有比所述多个图像中的任何一个的动态范围和视角更宽的动态范围和视角的全景图像，
其中，在所述第二计算中，在针对所述多个图像的一部分图像中的图像计算转换系数时，利用所述图像的曝光，新生成具有与位置要调整到所述部分图像中的所述图像的图像曝光相同的曝光的、用于检测的图像，并利用所述用于检测的图像计算所述转换系数；以及，基于所述第一计算中计算出的转换系数，针对多个图像中除所述部分图像之外的图像计算用于执行位置调整的所述转换系数。
CN201910406061.0A 2018-05-17 2019-05-16 图像处理装置、图像处理方法、摄像装置及存储介质 Active CN110505394B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018095660A JP7158892B2 (ja) 2018-05-17 2018-05-17 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体
JP2018-095660 2018-05-17

Publications (2)

Publication Number Publication Date
CN110505394A CN110505394A (zh) 2019-11-26
CN110505394B true CN110505394B (zh) 2020-10-27

Family

ID=68533237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910406061.0A Active CN110505394B (zh) 2018-05-17 2019-05-16 图像处理装置、图像处理方法、摄像装置及存储介质

Country Status (3)

Country Link
US (1) US10742896B2 (zh)
JP (1) JP7158892B2 (zh)
CN (1) CN110505394B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102632901B1 (ko) * 2019-01-11 2024-02-06 삼성전자주식회사 이미지 센서의 프레임 레이트를 제어하기 위한 전자 장치 및 그에 관한 방법
CN110753217B (zh) * 2019-10-28 2022-03-01 黑芝麻智能科技(上海)有限公司 色彩平衡方法和装置、车载设备以及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1804682A (zh) * 2005-01-13 2006-07-19 奥林巴斯映像株式会社 模糊校正方法及摄像装置
CN101465941A (zh) * 2007-12-19 2009-06-24 东软飞利浦医疗设备系统有限责任公司 全角度图像螺旋失真的自动校正装置及校正方法
CN101963751A (zh) * 2010-08-19 2011-02-02 西北工业大学 高分辨率实时全景高动态范围图像获取装置及方法
CN102903092A (zh) * 2012-09-07 2013-01-30 珠海一多监测科技有限公司 一种基于四点变换的图像自适应校正方法
CN103477626A (zh) * 2012-04-19 2013-12-25 佳能株式会社 图像处理设备、图像处理方法、程序和存储介质
CN104581137A (zh) * 2013-10-18 2015-04-29 佳能株式会社 检测设备、摄像设备、摄像系统和检测设备的控制方法
CN106558035A (zh) * 2016-01-21 2017-04-05 深圳Tcl新技术有限公司 用于曝光图像的图像处理方法及系统
CN107343130A (zh) * 2017-08-17 2017-11-10 中国人民解放军国防科技大学 一种基于dmd动态分光的高动态成像模块

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7239805B2 (en) * 2005-02-01 2007-07-03 Microsoft Corporation Method and system for combining multiple exposure images having scene and camera motion
US7961983B2 (en) * 2007-07-18 2011-06-14 Microsoft Corporation Generating gigapixel images
JP2011097141A (ja) * 2009-10-27 2011-05-12 Renesas Electronics Corp 撮像装置、撮像装置の制御方法、及びプログラム
JP5409577B2 (ja) 2010-10-05 2014-02-05 株式会社ソニー・コンピュータエンタテインメント パノラマ画像生成装置およびパノラマ画像生成方法
JP5655667B2 (ja) 2011-03-31 2015-01-21 カシオ計算機株式会社 撮像装置及び撮像制御方法、画像処理装置及び画像処理方法、並びにプログラム
JP6537231B2 (ja) 2014-08-11 2019-07-03 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10136055B2 (en) * 2016-07-29 2018-11-20 Multimedia Image Solution Limited Method for stitching together images taken through fisheye lens in order to produce 360-degree spherical panorama

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1804682A (zh) * 2005-01-13 2006-07-19 奥林巴斯映像株式会社 模糊校正方法及摄像装置
CN101465941A (zh) * 2007-12-19 2009-06-24 东软飞利浦医疗设备系统有限责任公司 全角度图像螺旋失真的自动校正装置及校正方法
CN101963751A (zh) * 2010-08-19 2011-02-02 西北工业大学 高分辨率实时全景高动态范围图像获取装置及方法
CN103477626A (zh) * 2012-04-19 2013-12-25 佳能株式会社 图像处理设备、图像处理方法、程序和存储介质
CN102903092A (zh) * 2012-09-07 2013-01-30 珠海一多监测科技有限公司 一种基于四点变换的图像自适应校正方法
CN104581137A (zh) * 2013-10-18 2015-04-29 佳能株式会社 检测设备、摄像设备、摄像系统和检测设备的控制方法
CN106558035A (zh) * 2016-01-21 2017-04-05 深圳Tcl新技术有限公司 用于曝光图像的图像处理方法及系统
CN107343130A (zh) * 2017-08-17 2017-11-10 中国人民解放军国防科技大学 一种基于dmd动态分光的高动态成像模块

Also Published As

Publication number Publication date
JP2019201359A (ja) 2019-11-21
JP7158892B2 (ja) 2022-10-24
CN110505394A (zh) 2019-11-26
US20190356832A1 (en) 2019-11-21
US10742896B2 (en) 2020-08-11

Similar Documents

Publication Publication Date Title
CN110248114B (zh) 生成高动态范围全景图的摄像装置、摄像方法及存储介质
JP7023662B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
JP6418879B2 (ja) 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
JP6604831B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
US10757326B2 (en) Image processing apparatus and image processing apparatus control method
JP6192416B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP6827854B2 (ja) 画像処理装置及び方法、及び撮像装置
CN110505394B (zh) 图像处理装置、图像处理方法、摄像装置及存储介质
JP6833801B2 (ja) 撮像装置、撮像方法、プログラムおよび記録媒体
JP7051586B2 (ja) 撮像装置、撮像方法およびプログラム
JP6353585B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP7086774B2 (ja) 撮像装置、撮像方法およびプログラム
US11109034B2 (en) Image processing apparatus for alignment of images, control method for image processing apparatus, and storage medium
US10846822B2 (en) Image processing apparatus, image pickup apparatus, control method of image processing apparatus, and recording apparatus
JP2015053652A (ja) 撮像装置、その制御方法、および制御プログラム
JP2019153208A (ja) 画像処理装置、画像処理方法及びプログラム
JP2014090322A (ja) 撮像装置及びその制御方法。
JP6929133B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
CN116261050A (zh) 图像处理设备、图像处理方法、摄像设备和存储介质
JP2023104368A (ja) 撮像装置、撮像方法、プログラムおよび記録媒体
JP2018014585A (ja) 画像処理装置とその制御方法及びプログラム
JP2019068243A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
JP2009273024A (ja) 撮像装置および撮像装置における撮像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant