CN111385471B - 信息处理设备和方法、摄像设备及其控制方法、存储介质 - Google Patents

信息处理设备和方法、摄像设备及其控制方法、存储介质 Download PDF

Info

Publication number
CN111385471B
CN111385471B CN201911377524.1A CN201911377524A CN111385471B CN 111385471 B CN111385471 B CN 111385471B CN 201911377524 A CN201911377524 A CN 201911377524A CN 111385471 B CN111385471 B CN 111385471B
Authority
CN
China
Prior art keywords
image
image capturing
motion blur
motion
notification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911377524.1A
Other languages
English (en)
Other versions
CN111385471A (zh
Inventor
小林悟
齐藤望
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019214499A external-priority patent/JP7475846B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN202210471617.6A priority Critical patent/CN114845057A/zh
Publication of CN111385471A publication Critical patent/CN111385471A/zh
Application granted granted Critical
Publication of CN111385471B publication Critical patent/CN111385471B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G03B13/24—Focusing screens
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Abstract

本发明涉及信息处理设备和方法、摄像设备及其控制方法、存储介质。设备包括：获取单元，其被配置为获取通过使用第一图像拍摄参数的第一图像拍摄所获得的第一拍摄图像以及所述第一拍摄图像中的与被摄体有关的运动信息；设置单元，其被配置为设置第二图像拍摄参数；估计单元，其被配置为基于运动信息和第二图像拍摄参数来估计在使用第二图像拍摄参数来进行第二图像拍摄的情况下所获得的第二拍摄图像中的被摄体的运动模糊；以及通知单元，其被配置为发出运动模糊的通知。

Description

信息处理设备和方法、摄像设备及其控制方法、存储介质
技术领域
实施例的方面通常涉及发出在所拍摄的图像中发生的被摄体模糊的通知的技术。
背景技术
在不引起图像中的被摄体模糊的情况下、使用照相机拍摄运动中的被摄体的图像可能需要以适当设置的快门速度进行图像拍摄。
日本特开2008-172667讨论了使得摄像设备的操作者在准备图像拍摄期间可视地确认图像中的运动区域的技术。如本文所使用的准备图像拍摄涉及如下图像拍摄操作，在该图像拍摄操作中，操作者在观看摄像设备的电子取景器或者背面液晶显示器时进行构图调整和图像拍摄条件的设置。日本特开2008-172667还讨论了检测在准备图像拍摄期间所拍摄到的时序图像之间的运动区域并且以强调的方式显示所检测到的运动区域的技术。
然而，即使操作者在准备图像拍摄期间可视地确认在摄像设备的电子取景器或者背面液晶显示器中所显示的图像，操作者也很难确认使用所设置的快门速度是否发生运动模糊。具体地，操作者难以可视地确认诸如跑步者的四肢等的小区域的运动模糊。此外，在针对主图像拍摄和准备图像拍摄设置各自不同的快门速度的情况下，由于可能发生的运动模糊在主图像拍摄与准备图像拍摄之间不同，因此，即使当操作者已经可视地确认了在准备图像拍摄期间所拍摄的图像，操作者也难以确认在主图像拍摄中发生的运动模糊。例如，当操作者使用与在准备图像拍摄中设置的快门速度不同的预先设置的快门速度、针对在准备图像拍摄期间图像没有模糊的跑步者进行主图像拍摄时，由于用于主图像拍摄的快门速度相对于跑步者的运动速度更低，因此在主图像拍摄中所拍摄的跑步者的图像可能在某种情况下以模糊的方式被记录。这不局限于在准备图像拍摄与主图像拍摄之间的关系中发生的问题，并且在各自的图像拍摄参数可独立地设置的多个图像拍摄操作之间也会发生同样的问题。
发明内容
根据实施例的方面，一种设备包括一个或者多个处理器以及存储有指令的存储器，所述指令在由一个或者多个处理器执行时，使信息处理设备用作：获取单元，其被配置为获取通过使用第一图像拍摄参数的第一图像拍摄所获得的第一拍摄图像以及所述第一拍摄图像中的与被摄体有关的运动信息；设置单元，其被配置为设置第二图像拍摄参数；估计单元，其被配置为基于运动信息和第二图像拍摄参数来估计在使用第二图像拍摄参数来进行第二图像拍摄的情况下所获得的第二拍摄图像中的被摄体的运动模糊；以及通知单元，其被配置为发出运动模糊的通知。
根据实施例的另一方面，一种设备包括摄像单元，并且在当依次输出在摄像单元中通过使用第一图像拍摄参数的第一图像拍摄所获得的第一拍摄图像时、操作者发出图像拍摄指示的情况下，响应于图像拍摄指示而输出通过使用第二图像拍摄参数的第二图像拍摄所获得的第二拍摄图像，该设备包括一个或者多个处理器以及存储有指令的存储器，所述指令在由一个或者多个处理器执行时，使信息处理设备用作：计算单元，其被配置为基于各自与从摄像单元输出的第一拍摄图像相对应的多个第一拍摄图像来计算运动信息；设置单元，其被配置为设置第二图像拍摄参数；估计单元，其被配置为基于运动信息和第二图像拍摄参数来估计第二拍摄图像中的运动模糊；以及通知单元，其被配置为在接收图像拍摄指示之前，发出估计出的运动模糊的通知。
根据实施例的又一方面，一种方法包括：获取通过使用第一图像拍摄参数的第一图像拍摄所获得的第一拍摄图像以及第一拍摄图像中的与被摄体有关的运动信息；设置第二图像拍摄参数；基于运动信息和第二图像拍摄参数，估计在使用第二图像拍摄参数进行第二图像拍摄的情况下所获得的第二拍摄图像中的被摄体的运动模糊；以及发出运动模糊的通知。
根据实施例的又一方面，一种用于设备的方法，所述设备包括摄像单元，并且在当依次输出在摄像单元中通过使用第一图像拍摄参数的第一图像拍摄所获得的第一拍摄图像时、操作者发出图像拍摄指示的情况下，响应于图像拍摄指示而输出通过使用第二图像拍摄参数的第二图像拍摄所获得的第二拍摄图像，所述方法包括：基于各自与从摄像单元输出的第一拍摄图像相对应的多个第一拍摄图像来计算运动信息；设置第二图像拍摄参数；基于运动信息和第二图像拍摄参数估计第二拍摄图像中的运动模糊；以及在接收图像拍摄指示之前发出所估计出的运动模糊的通知。
根据实施例的又一方面的一种信息处理设备，包括：获取部件，用于获取通过使用第一图像拍摄参数的第一图像拍摄所获得的第一拍摄图像以及所述第一拍摄图像中的与被摄体有关的运动信息；设置部件，用于独立于所述第一图像拍摄参数来设置第二图像拍摄参数；估计部件，用于基于所述运动信息和所述第二图像拍摄参数来估计在使用所述第二图像拍摄参数进行第二图像拍摄的情况下所获得的第二拍摄图像中的被摄体的运动模糊；以及通知部件，用于发出运动模糊的通知。
根据实施例的又一方面的一种摄像设备，包括：摄像部件，用于进行第一图像拍摄；以及上述信息处理设备。
根据实施例的又一方面的一种摄像设备，其包括摄像部件，并且在当依次输出在所述摄像部件中通过使用第一图像拍摄参数的第一图像拍摄所获得的第一拍摄图像时、操作者发出图像拍摄指示的情况下，响应于所述图像拍摄指示而输出通过使用第二图像拍摄参数的第二图像拍摄所获得的第二拍摄图像，所述摄像设备包括：计算部件，用于基于各自与从所述摄像部件输出的所述第一拍摄图像相对应的多个第一拍摄图像来计算运动信息；设置部件，用于独立于所述第一图像拍摄参数来设置所述第二图像拍摄参数；估计部件，用于基于所述运动信息和所述第二图像拍摄参数来估计所述第二拍摄图像中的运动模糊；以及通知部件，用于在接收所述图像拍摄指示之前发出利用所述估计部件所估计出的运动模糊的通知。
根据实施例的又一方面的一种信息处理方法，包括：获取通过使用第一图像拍摄参数的第一图像拍摄所获得的第一拍摄图像以及所述第一拍摄图像中的与被摄体有关的运动信息；独立于所述第一图像拍摄参数来设置第二图像拍摄参数；基于所述运动信息和所述第二图像拍摄参数，估计在使用所述第二图像拍摄参数来进行第二图像拍摄的情况下所获得的第二拍摄图像中的被摄体的运动模糊；以及发出运动模糊的通知。
根据实施例的又一方面的一种摄像设备的控制方法，所述摄像设备包括摄像部件，并且在当依次输出在所述摄像部件中通过使用第一图像拍摄参数的第一图像拍摄所获得的第一拍摄图像时、操作者发出图像拍摄指示的情况下，响应于所述图像拍摄指示而输出通过使用第二图像拍摄参数的第二图像拍摄所获得的第二拍摄图像，所述控制方法包括：基于各自与从所述摄像部件输出的所述第一拍摄图像相对应的多个第一拍摄图像来计算运动信息；独立于所述第一图像拍摄参数来设置所述第二图像拍摄参数；基于所述运动信息和所述第二图像拍摄参数来估计所述第二拍摄图像中的运动模糊；以及在接收所述图像拍摄指示之前发出所估计出的运动模糊的通知。
根据实施例的又一方面的一种存储有计算机可执行指令的非暂时性计算机可读存储介质，当所述计算机可执行指令由计算机执行时，使所述计算机进行方法，所述方法包括：获取通过使用第一图像拍摄参数的第一图像拍摄所获得的第一拍摄图像以及所述第一拍摄图像中的与被摄体有关的运动信息；独立于所述第一图像拍摄参数来设置第二图像拍摄参数；基于所述运动信息和所述第二图像拍摄参数，估计在使用所述第二图像拍摄参数来进行第二图像拍摄的情况下所获得的第二拍摄图像中的被摄体的运动模糊；以及发出运动模糊的通知。
根据以下参考附图对典型实施例的描述，本发明的其它特征将变得明显。
附图说明
图1是示出第一典型实施例中的摄像设备的图。
图2是示出第一典型实施例中的数字照相机的图像拍摄处理流程的流程图。
图3是示出第一典型实施例中的运动模糊通知图像生成单元的结构示例的图。
图4是示出第一典型实施例中的用于生成运动模糊通知图像的处理流程的流程图。
图5A和图5B是分别地示出第一典型实施例中的准备拍摄图像和运动矢量的图。
图6是示出第一典型实施例中的运动矢量和估计的运动模糊的虚构图。
图7A、图7B和图7C是示出第一典型实施例中的运动模糊通知方法的图。
图8是示出第二典型实施例中的运动模糊通知图像生成单元的结构示例的图。
图9是示出第二典型实施例中的用于生成运动模糊通知图像的处理流程的流程图。
图10是示出第三典型实施例中的运动模糊通知图像生成单元的结构示例的图。
图11是示出第三典型实施例中的用于生成运动模糊通知图像的处理流程的流程图。
图12是示出第三典型实施例中的运动矢量的图。
图13A、图13B和图13C是分别示出第三典型实施例中的运动强度、边缘强度和运动边缘强度的图。
图14是示出第四典型实施例中的在准备拍摄图像中的被摄体以及被摄体的横截面的位置的图。
图15A和图15B是各自示出第四典型实施例中的准备拍摄图像上的位置坐标与边缘强度之间的关系的图。
图16是示出第四典型实施例中的运动模糊通知图像生成单元的结构示例的图。
图17是示出第四典型实施例中的用于第二通知平面生成的处理流程的流程图。
图18是示出第四典型实施例中的改变的边缘强度阈值与边缘强度之间的关系的图。
图19是示出第四典型实施例中的校正的边缘强度的图。
具体实施方式
下面将参考附图来详细描述本发明的各种典型实施例、特征以及方面。
第一典型实施例被配置为基于与在进行第一图像拍摄中所获取的被摄体有关的运动信息来估计在使用独立于第一图像拍摄所设置的图像拍摄参数进行图像拍摄时发生的运动模糊，以及发出所估计的运动模糊的通知。
图1是示出用作根据第一典型实施例的信息处理设备和摄像设备各自的示例的配备有摄像单元的数字照相机的框图。本典型实施例中所述的信息处理设备也可以应用于能够处理拍摄图像的任何电子设备。这样的电子设备的示例可包括移动电话、游戏机、平板电脑终端、个人计算机以及计时型或者眼镜型信息终端。
例如为中央处理单元(CPU)的控制单元101从只读存储器(ROM)102读取控制程序，将控制程序加载至以下所描述的随机存取存储器(RAM)103上，并且执行控制程序，其中提供该控制程序以控制数字照相机100中包括的各种块。这样，控制单元101控制数字照相机100中包括的各个块的操作。
除了用于数字照相机100中包括的各个块的操作程序之外，ROM 102(电子可擦除且可记录的非易失性存储器)还存储例如各个块的操作所需要的参数。
RAM 103(可重复写入的易失性储存器)用于例如加载例如控制单元101执行的程序，以及暂时存储例如由数字照相机100中包括的各个块的操作所生成的数据。
光学系统104(被配置有包括变焦透镜和调焦透镜的透镜组)在以下所描述的摄像单元105的摄像面上形成被摄体图像。
摄像单元105(其为诸如电荷耦合装置(CCD)传感器或者互补型金属氧化物半导体(CMOS)传感器等的图像传感器)对由光学系统104在摄像单元105的摄像面上形成的光学图像进行光电转换，并且将所获得的模拟图像信号输出至模数(A/D)转换单元106。
A/D转换单元106将输入的模拟图像信号转换成数字图像数据。从A/D转换单元106输出的数字图像数据被暂时存储在RAM 103中。
图像处理单元107针对RAM 103中存储的图像数据进行各种处理操作。具体地，图像处理单元107进行用于显像数字图像数据以及显示或者记录所显像的数字图像数据的各种图像处理操作，诸如针对由光学系统104或者图像传感器所引起的像素的缺陷校正处理、去马赛克处理、白平衡校正处理、颜色插值处理以及伽马处理等。
此外，图像处理单元107包括运动模糊通知图像生成单元300(图3)。在第一典型实施例中，运动模糊通知图像生成单元300针对存储在RAM 103中的图像数据，基于所获得的与被摄体的运动模糊有关的信息，通过生成并叠加使得能够容易地确认运动模糊的图像平面来生成运动模糊通知图像。
记录/输出单元108将包括图像数据的数据记录在诸如可移除存储卡等的记录介质上或者经由外部接口将该数据输出至外部设备。记录/输出单元108将图像处理单元107处理的图像数据作为记录图像经由RAM 103记录。
包括诸如液晶显示器(LCD)等的显示装置的显示单元109将RAM 103中存储的图像或者记录/输出单元108上记录的图像显示在显示装置上。此外，显示单元109也显示例如用于从操作者接收指示的操作用户接口。另外，显示单元109可包括诸如电子取景器(EVF)和设置在操作者侧(背面)的背面监视器等的多个显示装置。显示单元109可被配置为允许向多个显示装置同时输出或者通过切换来选择性地向多个显示装置中的一个输出。
指示输入单元110是包括诸如触摸面板和快门按钮等的各种物理操作构件的输入接口，并且接收来自操作者的指示的输入。
作为例如角速度传感器的角速度检测单元111检测由照相机抖动或者照相机行为所导致的在横摆方向和俯仰方向上的数字照相机100的主体的角速度。用在角速度检测单元111中的角速度检测方法假定是现有的方法，并且省略对其的详细描述。
此外，数字照相机100在控制单元101的控制下进行准备图像拍摄(实时取景图像拍摄)，其中该准备图像拍摄经由A/D转换单元106、RAM 103、图像处理单元107和显示单元109将从摄像单元105依次输出的模拟图像信号依次显示在显示装置上。在准备图像拍摄期间，操作者能够进行图像拍摄的准备，诸如调整针对主图像拍摄的准备中的构图(其涉及在记录介质上存储或者向外部设备输出)，或者针对主图像拍摄改变诸如曝光时间(Tv值)、光圈值(Av值)以及ISO灵敏度等的图像拍摄参数。
接着，参考图2的流程图详细描述由第一典型实施例中的数字照相机100所进行的处理。图2的流程图中的步骤由控制单元101进行或者由数字照相机100的可应用单元响应于来自控制单元101的指示进行。
当数字照相机100被操作者接通电源时，然后在步骤S201中，控制单元101响应于数字照相机100被接通电源而通过控制光学系统104和摄像单元105开始准备图像拍摄。在准备图像拍摄期间，数字照相机100依次拍摄图像以依次获取拍摄图像，并且将拍摄图像显示在显示单元109的显示装置上。操作者可在确认依次显示的准备拍摄图像时进行例如构图调整。此外，以下所描述的步骤S202、S203、S204、S205和S206中的处理操作在准备图像拍摄期间进行。
在步骤S202中，操作者使用指示输入单元110输入用于模拟的图像拍摄参数。响应于来自指示输入单元110的输入，控制单元101独立于用于准备图像拍摄的图像拍摄参数设置用于模拟的图像拍摄参数。此处，控制单元101可被配置为通过使用例如已知的图像分析或者被摄体分析来自动地设置例如看起来适合于所检测到的被摄体模型的图像拍摄参数。在第一典型实施例中，曝光时间可设置为用于模拟的图像拍摄参数。
此外，在第一典型实施例中，在以下所描述的快门按钮的按下(用于主图像拍摄的指示)被检测到之后，由控制单元101设置的用于模拟的图像拍摄参数被假定用作用于主图像拍摄的图像拍摄参数。然而，第一典型实施例不限于此，而是可采用控制单元101基于来自操作者的其它单独的指示或者以自动的方式独立地设置用于主图像拍摄的图像拍摄参数的结构。
在步骤S203中，控制单元101判断运动模糊通知的设置是开启还是关闭。例如，将运动模糊通知设置成开启还是关闭可由操作者使用指示输入单元110来设置，或者将运动模糊通知设置成开启还是关闭可基于某些种类的图像拍摄条件来自动地设置。可采用以下结构：在该结构中，能够使用一个物理操作元件(例如，按钮或者手柄)或者触摸装置上的一个图标来设置开启或关闭，并且操作者能够在准备图像拍摄期间的任何定时设置开启或关闭。另外，可以采用以下结构：在周期性地切换显示的开启和关闭时显示的设置可用。
在步骤S203中，如果判断为运动模糊通知的设置是开启的(在步骤S203中为“是”)，则控制单元101使处理进入步骤S204。在步骤S204中，运动模糊通知图像生成单元300生成通过在准备拍摄图像上叠加运动模糊通知平面所获得的运动模糊通知图像，其中运动模糊通知平面用于发出当使用用于主图像拍摄的图像拍摄参数进行图像拍摄时在被摄体图像中发生的运动模糊(或者没有运动模糊)的通知。然后，在步骤S205中，控制单元101在显示单元109的显示装置上显示运动模糊通知图像。
在步骤S203中，如果判断为运动模糊通知的设置是关闭的(在步骤S203中为“否”)，则在步骤S205中，控制单元101在显示单元109上显示没有叠加运动模糊通知平面的准备拍摄图像。
在步骤S206中，控制单元101判断指示输入单元110的快门按钮是否已经被操作者的操作按下。此处，在快门按钮的按下的输入被配置为接收两阶段输入方式(包括例如用于发出用于图像拍摄准备操作的指示的半按下和用于发出用于主图像拍摄操作的指示的全按下)的情况下，控制单元101判断是否已进行了全按下。在仅接收到简单的单一阶段输入的情况下，控制单元101判断是否已进行了单一阶段输入。
如果判断为快门按钮未被按下(在步骤S206中为“否”)，则控制单元101使处理返回至步骤S202，然后重复步骤S202至步骤S206中的处理操作。这使得操作者即使在准备图像拍摄期间也能够容易地确认当使用当前所设置的图像拍摄参数进行主图像拍摄时在被摄体图像中发生的运动模糊。如果运动模糊被确认并且在所确认的运动模糊不是操作者喜好的运动模糊的情况下(在不期望运动模糊的发生的情况下)，操作者在没有按下快门按钮的情况下重置用于主图像拍摄的快门速度(曝光时间)。
以此方式，在准备图像拍摄期间发出在被摄体图像中发生的运动模糊的通知使得操作者能够在确认显示单元109上所显示的运动模糊通知图像时重复设置用于主图像拍摄的曝光时间直至获得操作者喜好的运动模糊为止。然后，操作者能够在已经达到了与合适的运动模糊相对应的曝光时间的设置的状态下接收快门机会。
在步骤S206中，如果判断为快门按钮已经被按下(在步骤S206中为“是”)，则控制单元101判断为用于主图像拍摄的图像拍摄指示已经被接收，然后使处理进入步骤S207，在步骤S207中控制单元101通过控制例如光学系统104和摄像单元105基于直至准备图像拍摄为止所设置的图像拍摄参数来进行主图像拍摄。在步骤S208中，控制单元101将由主图像拍摄所获得的主拍摄图像输出至显示单元109以及记录/输出单元108，从而将主拍摄图像显示在显示单元109的显示装置上，以及将主拍摄图像记录在记录/输出单元108上或者将主拍摄图像从记录/输出单元108输出至外部设备。
接着，参考图3描述作为第一典型实施例的表征部分的图像处理单元107中包括的运动模糊通知图像生成单元300的结构示例。
图3是示出运动模糊通知图像生成单元300的结构示例的图。运动模糊通知图像生成单元300包括运动矢量计算单元301和估计运动模糊计算单元302，其中运动矢量计算单元301通过在图像之间作比较来计算被摄体的运动矢量，估计运动模糊计算单元302基于所计算的运动矢量来估计在主图像拍摄期间可能发生的被摄体图像中的运动模糊。此外，运动模糊通知图像生成单元300还包括通知平面生成单元303和图像叠加单元304，其中通知平面生成单元303基于所估计的被摄体图像中的运动模糊来生成用于发出运动模糊的通知的数据，图像叠加单元304进行在第一典型实施例中用于将运动模糊通知平面叠加在拍摄图像上的叠加处理。以下描述上述各单元的操作的详情。
此外，图3中所示的一个或者多个功能块可通过诸如专用集成电路(ASIC)或者可编程逻辑阵列(PLA)等的硬件实现，或者可通过诸如CPU或者微处理单元(MPU)等的可编程处理器执行软件来实现。此外，一个或者多个功能块可通过软件和硬件的组合来实现。相应地，在以下描述中，即使在将不同的功能块描述为操作的主体的情况下，也可以将同一硬件实现为主体。
接着，参考图4的流程图详细描述图2中所示的步骤S204中进行的处理，其中运动模糊通知图像生成单元300进行该处理以生成运动模糊通知图像。图4的流程图中的步骤由控制单元101进行或者由包括运动模糊通知图像生成单元300的数字照相机100的可应用单元响应于来自控制单元101的指示进行。
在步骤S401中，控制单元101将由摄像单元105所依次拍摄的准备拍摄图像和用于主图像拍摄的图像拍摄参数输入至运动模糊通知图像生成单元300。
在步骤S402中，运动矢量计算单元301通过进行准备图像拍摄的图像之间的比较处理来计算图像之间的运动矢量作为被摄体的运动信息。运动矢量作为矢量，代表在准备图像拍摄的图像之间的被摄体的移动量。在第一典型实施例中，运动矢量计算单元301计算二维图像之间的平面中的被摄体的运动矢量。然而，第一典型实施例不限于此，并且运动矢量计算单元301可被配置为例如获取在各准备拍摄图像中的在被摄体的深度方向上的深度信息(例如被摄体距离或者散焦量)，从而计算三维空间上的被摄体的运动矢量。
运动矢量计算单元301设置多个准备拍摄图像作为基准帧和参照帧，以及进行基准帧中的基准块与参照帧中的对象区域的各块之间的相关性计算。运动矢量计算单元301基于作为相关性计算的结果的相关性最高的块与基准块之间的位置关系来计算运动矢量。计算相关性值的方法不被具体地限制，而可以是例如基于绝对差求和、平方差求和以及归一化互相关值(normalized cross-correlation value)的方法，以及计算运动矢量本身的方法可以是诸如梯度方法等的其它方法。
图5A示出通过针对向左奔跑的狗501进行图像拍摄所获得的准备拍摄图像，以及图5B是在那时所计算的运动矢量的虚构图。在图5B所示的示例中，对于正在奔跑的狗501，具有预定值以上的大小的运动矢量被检测为向左的运动矢量，以及对于静止站立的另一只狗502和背景栅栏，运动矢量的值是零或者小于预定值。
此外，代替计算全部像素的运动矢量，运动矢量计算单元301可计算针对每个预定像素的运动矢量。
在图4所示的步骤S403中，估计运动模糊计算单元302获取在图2中所示的步骤S202中所设置的用于主图像拍摄的曝光时间以及在准备图像拍摄中的图像之间的时间间隔(帧频)作为图像拍摄条件。
在步骤S404中，估计运动模糊计算单元302基于在步骤S403中所获取的用于主图像拍摄的曝光时间和准备图像拍摄中的图像之间的时间间隔，根据步骤S402中所计算的针对每个像素的运动矢量来估计主图像拍摄中被摄体的运动模糊。
参考图6详细描述估计主图像拍摄中被摄体的运动模糊的方法。图6是示出准备图像拍摄中的运动矢量与被估计为主图像拍摄中的运动模糊的估计运动模糊之间的关系的图。在图6中，示出了这样的示例，在该示例中，作为各图像拍摄条件，准备图像拍摄的图像之间的时间间隔是1/60秒，以及用于主图像拍摄的曝光时间是1/120秒和1/30秒。
估计运动模糊计算单元302基于诸如以下公式(1)和公式(2)等的转换公式根据针对每个像素的运动矢量来估计主图像拍摄中的运动模糊。
CONV_GAIN＝EXP_TIME/INT_TIME (1)
CONV_BLUR＝VEC_LEN×CONV_GAIN (2)
此处，在公式(1)中，CONV_GAIN表示用来将准备图像拍摄中的运动矢量的大小转换成主图像拍摄中的运动矢量的大小的估计增益，EXP_TIME表示用于主图像拍摄的曝光时间，以及INT_TIME表示准备图像拍摄的图像之间的时间间隔。此外，在公式(2)中，CONV_BLUR表示主图像拍摄中的被摄体的运动模糊，以及VEC_LEN表示准备图像拍摄中的运动矢量的大小。
在公式(1)中，估计增益通过将用于主图像拍摄的曝光时间除以准备图像拍摄的图像之间的时间间隔来计算。然后，在公式(2)中，主图像拍摄中的被摄体的运动模糊通过将运动矢量的大小乘以估计增益来计算。
具体地，如图6所示，在准备图像拍摄中的运动矢量的长度为10个像素的情况下，使用1/120秒的曝光时间的主图像拍摄中的估计运动模糊变成5个像素，这是因为估计增益是1/2倍。此外，使用1/30秒的曝光时间的主图像拍摄中的估计运动模糊变成20个像素，这是因为估计增益是2倍。
在步骤S405中，通知平面生成单元303基于步骤S404中所计算的针对每个像素的运动模糊来生成用于发出运动模糊的通知的图像平面。例如，通知平面生成单元303以强调显示与具有预定模糊量以上的运动模糊相对应的像素的可辨别的方式来生成用于发出运动模糊的通知的图像平面。
此外，在直到在图2中所示的步骤S206中检测到快门按下然后进行主图像拍摄为止的时期段期间，允许操作者改变诸如快门速度等的图像拍摄参数以获得具有运动模糊的主图像拍摄中的拍摄图像。如果图像拍摄参数被改变，则估计运动模糊计算单元302再进行运动模糊的估计。通知平面生成单元303基于再估计运动模糊再生成图像平面。
在步骤S406中，图像叠加单元304通过将步骤S405中所生成的通知平面例如在RAM103中叠加在准备拍摄图像上来生成运动模糊通知图像。
此处，参考图7A、图7B和图7C详细描述由通知平面生成单元303所生成的用来发出被摄体的运动模糊的通知的通知平面的生成方法，以及生成通过通知平面的叠加所获得的运动模糊通知图像的方法。图7A至图7C示出运动模糊通知图像的三个示例。在这些示例中，在准备图像拍摄期间将运动模糊通知图像显示在显示单元109上使得操作者能够容易地确认被摄体的运动模糊。
图7A示出使用图标的显示来发出运动模糊通知的示例。在步骤S405中，控制单元101计算针对每个像素的估计运动模糊中呈现出预定值以上的估计运动模糊的像素的数量占整个图像画面的比例。在所计算的比例大于或者等于预定比例的情况下，通知平面生成单元303生成诸如图7A中所示的运动模糊通知图标901作为运动模糊通知平面，以及图像叠加单元304通过将运动模糊通知图标901叠加在准备拍摄图像上来生成诸如图7A中所示的运动模糊通知图像。
图7B示出使用运动模糊框的显示来发出运动模糊通知的示例。此处，描述生成显示有运动模糊框的运动模糊通知图像的方法。在步骤S405中，控制单元101计算针对分段区域内的每个像素的估计运动模糊中呈现出预定值以上的估计运动模糊的像素的数量占整个分段区域的比例。关于所计算的比例大于或者等于预定比例的分段区域，通知平面生成单元303生成诸如图7B中所示的运动模糊通知框902作为运动模糊通知平面，以及图像叠加单元304通过将运动模糊通知框902叠加在准备拍摄图像上来生成诸如图7B所示的运动模糊通知图像。是否针对各分段区域发出运动模糊的通知可基于诸如针对分段区域中的每个像素的估计运动模糊的平均值或者中间值的统计值来判断。
图7C示出通过以强调的方式显示已发生运动模糊的被摄体的边缘来发出运动模糊的通知的示例。此处，描述使用运动模糊边缘的强调显示来生成运动模糊通知图像的方法。在步骤S405中，通知平面生成单元303检测准备拍摄图像的边缘强度。边缘强度的检测可通过使用诸如Sobel滤波器等的已知技术来进行，并且省略对其的详细描述。然后，通知平面生成单元303提取边缘强度为预定值以上且估计运动模糊为预定值以上的像素(例如，剪切具有预定值以上的上述滤波器的结果)。关于所提取的像素，通知平面生成单元303生成使得以强调的方式来显示发生运动模糊的被摄体的边缘(诸如图7C中所示的运动模糊通知边缘903)的运动模糊通知平面，然后通过将运动模糊通知平面叠加在准备拍摄图像上来生成诸如图7C中所示的运动模糊通知图像。在图7C中所示的示例中，运动模糊通知边缘903被加粗。用于强调地显示的方法的其它示例包括改变色相、饱和度或者亮度的方法，诸如提取边缘强度为预定值以上且估计运动模糊为预定值以上的像素，并且使所提取的像素变红。
如上所述，第一典型实施例被配置为从第一图像拍摄中的运动模糊来估计第二图像拍摄中的运动模糊并发出估计运动模糊的通知，从而使得操作者能够在由第一图像拍摄所获得的图像被显示时容易地确认在第二图像拍摄中发生的被摄体的运动模糊。操作者能够在第一图像拍摄时确认是否可能通过使用在第二图像拍摄中使用的当前图像拍摄参数进行具有运动模糊的图像拍摄，并且能够设置用于第二图像拍摄的图像拍摄参数。
虽然，在第一典型实施例中，已经描述了在估计运动模糊为预定值以上的情况下发出运动模糊的通知的示例，但是也可以在估计运动模糊为预定值以下的情况下发出运动模糊的通知。由此，在运动模糊意指被表现为动态感觉的长曝光图像拍摄的情况下，操作者变得能够在准备图像拍摄的时间段期间容易地确认任何不充分的运动模糊。
此外，在第一典型实施例中，响应于在数字照相机100被接通电源之后开始准备图像拍摄，开始运动模糊的通知。然而，第一典型实施例不限于此，而是可采用以下结构：在该结构中，例如，在准备图像拍摄期间快门按钮被半按下的情况下，运动模糊的通知在快门按钮被半按下的时间段期间或者针对预定的时间段发出。此外，可设置在准备图像拍摄期间能够被操作以在开启与关闭运动模糊的通知之间自由地切换的操作构件。
此外，第一典型实施例被配置为基于在准备图像拍摄中获得的运动矢量来估计主图像拍摄中的运动模糊。然而，第一典型实施例不限于此，而是例如可以被配置为，根据在准备图像拍摄中获得的运动矢量来预测主图像拍摄中的运动矢量，然后基于所预测的运动矢量来估计主图像拍摄中的运动模糊。预测主图像拍摄中的运动矢量的方法例如包括基于在准备图像拍摄中的运动矢量的时间改变以及在主图像拍摄之前经过的时间来进行预测。该方法对于预先确定从准备图像拍摄起直到主图像拍摄止所经过的时间的情况(诸如自定时图像拍摄的情况或者摄像设备辨别快门机会并且自动地进行图像拍摄的自动图像拍摄的情况)是特别有效的。
此外，第一典型实施例被配置为通过考虑作为不同的图像拍摄参数的曝光时间将第一图像拍摄(准备图像拍摄)中的运动模糊转换成第二图像拍摄中的运动模糊来估计第二图像拍摄(主图像拍摄)中的运动模糊。然而，要考虑的图像拍摄参数不限于曝光时间，并且由于更亮的图像使得运动模糊更容易引人注意，因此也可采用以下结构：在该结构中，基于各图像的曝光值(Ev值)，与低曝光图像的情况相比，在高曝光图像的情况下，用于判断当前运动模糊是否是要被发出通知的运动模糊的阈值被设置得更低。
此外，虽然，在第一典型实施例中，强调显示的三个示例(即，运动模糊通知图标显示、运动模糊通知框显示以及运动模糊通知边缘显示)已经被描述为用于运动模糊通知的方法，但是用于运动模糊通知的方法不限于此。例如，包括平坦区域的发生运动模糊的区域可以以强调的方式显示。具体地，通知平面生成单元303进行使得针对每个像素估计运动模糊为预定值以上的像素变红的强调显示。以此方式，不仅进行边缘区域的强调显示、还进行除边缘区域以外的区域的强调显示使整个被摄体以强调的方式被显示，从而使得操作者容易地确认运动模糊。
此外，虽然，在第一典型实施例中，已经描述在显示单元109上进行显示以发出运动模糊的通知作为运动模糊通知的方法的示例，但是用于运动模糊通知的方法不限于此。例如，运动模糊的通知可通过使用声音、光或者振动来发出。具体地，在针对每个像素的估计运动模糊中呈现预定值以上的估计运动模糊的像素的数量占整个图像画面的比例大于或者等于预定比例的情况下，生成运动模糊通知声音、运动模糊通知光或者运动模糊通知振动。在该变型示例中，通知平面生成单元303和图像叠加单元304的结构以及步骤S405和步骤S406的处理流程变得不必要。替代地，可将扬声器安装在数字照相机100中，并且与步骤S205中在显示单元109上显示准备拍摄图像并行地，控制单元101可通过扬声器生成通知声音、可使通知光被发出，或者可产生通知振动。
此外，虽然，在第一典型实施例中，已经描述了当显示准备拍摄图像时发出在主拍摄图像中发生的被摄体的运动模糊的通知的示例，但是两个拍摄图像或者图像拍摄参数之间的关系不限于此。换言之，可采用以下典型实施例：在该典型实施例中，在多个图像传感器用于图像拍摄的条件下，一个图像传感器使得通过利用第一图像拍摄参数的第一图像拍摄来输出第一拍摄图像，以及其它图像传感器使得通过利用第二图像拍摄参数的第二图像拍摄来输出第二拍摄图像。在该情况下，还基于与第一拍摄图像相关的运动信息来估计第二拍摄图像中的被摄体的运动模糊，并且还发出该运动模糊的通知。多个图像传感器可分别安装在多个摄像设备上。
此外，虽然，在第一典型实施例中，已经描述了发出估计运动模糊的通知的示例，但是第一典型实施例不限于此，并且估计运动模糊也可用于诸如用于判断图像拍摄指示等的图像拍摄控制。例如，可以考虑诸如在运动模糊的量还未达到的情况下不接收图像拍摄开始指示的控制。
考虑到由于例如照相机抖动所导致的摄像设备的运动，运动模糊还会阻止图像被获得的事实，以下所描述的第二典型实施例被配置为根据第一图像拍摄中的与摄像设备有关的运动信息来估计在第二图像拍摄中由摄像设备的运动所导致的被摄体的运动模糊、并且然后发出估计运动模糊的通知。此外，使用与第一典型实施例中的各个附图标记相同的各个附图标记所指定的元件被假定进行与其在第一典型实施例中的动作和处理操作相同的动作和处理操作，因此在此描述中省略。
图8是示出图像处理单元107中包括的运动模糊通知图像生成单元800的结构示例的图。运动模糊通知图像生成单元800包括图像运动信息转换单元801、估计运动模糊计算单元302、通知平面生成单元303和图像叠加单元304。除了图像运动信息转换单元801之外的动作和处理操作与第一典型实施例中的动作和处理操作相同，因此在此描述中省略。
接着，参考图9的流程图，详细描述运动模糊通知图像生成单元800为生成运动模糊通知图像所进行的处理。图9的流程图中的步骤由控制单元101进行，或者由包括运动模糊通知图像生成单元800的数字照相机100的可应用单元响应于来自控制单元101的指示来进行。
在步骤S901中，图像运动信息转换单元801将由角速度检测单元111所检测的角速度信息转化成图像中的运动信息。将角速度转换成运动信息的近似转换公式如以下公式(3)和公式(4)所示。
Figure BDA0002341373450000191
Figure BDA0002341373450000192
MOV_yaw表示在横摆方向上的移动量，以及MOV_pitch表示在俯仰方向上的移动量。此外，f表示焦距，ω_yaw表示横摆方向上的角速度，ω_pitch表示俯仰方向上的角速度，fps表示准备图像拍摄的帧频，以及pp表示摄像单元105的像素间距。如图(3)和图(4)所示的转换公式作用是通过基于由以准备图像拍摄中的图像之间的时间间隔的移动所产生的角度以及焦距来计算摄像面上的移动量，并且将所计算的摄像面上的移动量除以横摆方向和俯仰方向各方向上的像素间距来计算图像上的移动量(与移动对应的像素的数量)。此外，此处所计算的图像上的移动量不是针对各像素而不同的移动量，而是针对全部像素一样的移动量。
图像运动信息转换单元801将横摆方向上的移动量视为水平方向上的移动量，并将俯仰方向上的移动量视为垂直方向上的移动量，从而将移动量作为针对全部像素一样的运动矢量输出至估计运动模糊计算单元302。
在步骤S404中，与第一典型实施例相同，估计运动模糊计算单元302通过使用在步骤S901中所计算的运动矢量来估计主图像拍摄中的运动模糊，以及，在步骤S405中，通知平面生成单元303生成运动模糊通知平面。然后，在步骤S406中，图像叠加单元304生成运动模糊通知图像。如上所述，第二典型实施例被配置为根据第一图像拍摄中的与摄像设备有关的运动信息来估计第二图像拍摄中的由摄像设备的移动所导致的被摄体的运动模糊，以及基于所估计的运动模糊发出运动模糊的通知。这使得操作者能够在获取第一拍摄图像时确认由诸如照相机抖动等的摄像设备的移动所导致的运动模糊。确认之后，允许操作者以能够获取具有运动模糊的拍摄图像(包括不具有运动模糊的拍摄图像)的方式改变图像拍摄参数。
此外，虽然，在第二典型实施例中，已经描述了通过基于由以准备图像拍摄的图像之间的时间间隔的移动所产生的角度以及焦距来计算摄像面上的移动量，并且将所计算的摄像面上的移动量除以像素间距来计算图像上的移动量的示例，但是计算图像上的移动量的方法不限于此。计算图像上的移动量的方法可以包括基于准备图像拍摄中的图像的曝光时间段内的移动所产生的角度以及焦距来计算摄像面上的移动量，并且将所计算的摄像面上的移动量除以像素间距。具体地，角速度检测单元111检测准备图像拍摄中的图像的曝光时间段内的角速度，以及运动模糊通知图像生成单元800基于所检测的角速度来生成运动模糊通知图像。此外，在这种情况下，估计运动模糊计算单元302基于主图像拍摄中的曝光时间和准备图像拍摄中的图像的曝光时间来估计针对每个像素的运动矢量作为主图像拍摄中的运动模糊。
以下描述的第三典型实施例涉及解决以下问题：在运动模糊通知平面的分辨率(像素的数量)低(小)的情况下，操作者难以可视地确认诸如四肢等的小区域的运动模糊。因此，第三典型实施例被配置为获得基于第一图像拍摄中的被摄体的针对每个区域的运动矢量所估计的运动模糊，将获得运动矢量的各区域分成多个块区域，获得针对每个块区域的运动边缘强度，以及基于所估计的运动模糊以及所获得的运动边缘强度来发出运动模糊的通知。此外，使用与第一和第二典型实施例中的各个附图标记相同的各个附图标记所指定的元件被假定进行与其在第一和第二典型实施例中的动作和处理操作相同的动作和处理操作，因此在此描述中省略。
图10是示出图像处理单元107中包括的运动模糊通知图像生成单元1000的结构示例的图。运动模糊通知图像生成单元1000包括运动矢量计算单元1001、运动强度计算单元1002、估计运动模糊计算单元302、通知平面生成单元1003和图像叠加单元304。此外，估计运动模糊计算单元302和图像叠加单元304的动作和处理操作与其在第一典型实施例中的动作和处理操作相同，因此在此描述中省略。
接着，参考图11的流程图详细描述运动模糊通知图像生成单元1000为生成运动模糊通知图像所进行的处理。图11的流程图中的步骤由控制单元101进行或者由包括运动模糊通知图像生成单元1000的数字照相机100的可应用单元响应于来自控制单元101的指示进行。
在步骤S1101中，运动矢量计算单元1001通过针对每个单位区域进行准备图像拍摄的图像之间的比较处理来计算作为被摄体的运动信息的图像之间的运动矢量。虽然单位区域的最小单位可被设置为一个像素，但是在第三典型实施例中，为了降低应用于运动矢量计算的处理负荷，在正常操作期间，将多个像素设置为单位区域。通过经由指示输入单元110所进行的操作者的操作，可以将单位区域指定为用于确定运动模糊的检测精度或者处理速度的操作。例如，与运动模糊的检测精度被设置为低精度的情况相比，在运动模糊的检测精度被设置为高精度的情况下，单位区变得更小。
此外，在步骤S1101中，运动强度计算单元1002通过针对每个块区进行拍摄图像之间的比较处理来计算运动强度，其中各块区是通过进一步将用来计算运动矢量的各单位区域分成多个块区域所获得的。块区域的最小单位也被设置为一个像素，并且在第三典型实施例中，假定运动强度计算单元1002针对每个像素计算运动强度。在第一典型实施例中，已经描述了运动矢量计算单元301计算针对每个像素的运动矢量作为运动信息的示例。另一方面，在第三典型实施例中，描述以下示例：在该示例中，运动矢量计算单元1001计算针对每个单位区域的运动矢量作为运动信息，并且运动强度计算单元1002针对每个像素计算运动强度。
首先，参考图12详细描述运动矢量计算单元1001。
图12是示出图5A中所示的准备拍摄图像中的、运动矢量计算单元1001计算出的运动矢量以及计算运动矢量的单位区域的图。在图12中，各箭头表示运动矢量，以及被矩形实线包围的各区域表示单位区域。在图12中所示的示例中，对于正在奔跑的狗501，具有预定值以上的大小的运动矢量被检测为向左的运动矢量，以及对于静止站立的另一只狗502和背景栅栏，运动矢量的值是零或者小于预定值。
运动矢量计算单元1001针对每个(计算出运动矢量的)单位区域1300计算一个运动矢量，并且将与所计算的一个运动矢量相同的运动矢量分配至单位区域中包括的全部像素。根据正在进行的这样的运动矢量计算处理，例如，在如单位区域1300那样的计算出表示向左移动的运动矢量的单位区域中，使得正在奔跑的狗的面部和保持静止的地面均具有表示向左移动的运动矢量。
以此方式，与如第一典型实施例中那样计算针对全部像素的运动矢量相比，针对每个单位区域计算一个运动矢量并且将与所计算出的一个运动矢量相同的运动矢量分配至单位区域中包括的全部像素使得处理量更为降低。
对于具体的运动矢量计算方法，进行与第一典型实施例中的动作和处理操作相同的动作和处理操作，因此在此处描述中省略。
接着，参考图13A、图13B和13C详细描述运动强度计算单元1002。
图13A是示出图5A所示的准备拍摄图像中的、运动强度计算单元1002计算出的运动强度的图。运动强度计算单元1002计算准备图像拍摄的图像之间的相同坐标处的像素值的差作为运动强度。在图13A中所示的示例中，对于图5A所示的准备拍摄图像中的正在奔跑的狗501，由于图像之间的像素值的差大，因此获得大的运动强度。另一方面，对于除正在奔跑的狗之外的静止站立的狗502和背景栅栏，由于图像之间的像素值的差小，因此获得小的运动强度。以此方式，与用于针对每个像素计算运动矢量的处理相比，用于基于图像之间的像素值的差计算针对每个像素的运动强度的处理使得能够以更小的处理量来检测运动区域。
此外，虽然，在第三典型实施例中，描述了运动强度计算单元1002计算针对每个像素的运动强度的示例，但是运动矢量的计算的单位不限于此，并且可以是比计算运动矢量的单位区域更小的区域。
在步骤S1102中，通知平面生成单元1003基于在步骤S404中计算出的针对每个像素的运动模糊来生成用来发出运动模糊的通知的图像平面。例如，通知平面生成单元1003生成用于以强调显示与具有预定模糊量以上的运动模糊相对应的像素的可辨别的方式来发出运动模糊的通知的图像平面。
在此，参考图13B和图13C详细描述生成(由通知平面生成单元1003所生成的)用来发出被摄体的运动模糊的通知的通知平面的方法。图13B是示出图5A中所示的准备拍摄图像中的边缘强度的图，以及图13C是示出其中的运动边缘强度的图。在第三典型实施例中，描述了通过以强调的方式显示如图7C中所示的发生了运动模糊的被摄体的边缘来发出运动模糊的通知的示例。
通知平面生成单元1003检测准备拍摄图像的边缘强度。图13B中示出了由通知平面生成单元1003所检测的边缘强度。用于边缘强度的具体检测方法与第一典型实施例中的检测方法相同，因此在此描述中省略。然后，通知平面生成单元1003通过针对每个像素将同一坐标处的运动强度与边缘强度彼此相乘来计算运动边缘强度。图13C中示出了由通知平面生成单元1003所计算出的运动边缘强度。对于边缘强度更大并且运动强度更大的像素，运动边缘强度获得更大的值。然后，通知平面生成单元1003提取运动边缘强度为预定值以上并且估计运动模糊为预定值以上的像素。对于所提取的像素，通知平面生成单元1003生成以强调的方式显示(诸如图7C中所示的运动模糊通知边缘903等的)正发生运动模糊的被摄体的边缘的运动模糊通知平面，然后通过将运动模糊通知平面叠加在准备拍摄图像上来生成诸如图7C中所示的运动模糊通知图像等的运动模糊通知图像。以此方式，使用运动边缘强度来生成运动模糊通知平面使得即使相同的向左的运动矢量被分配至如在单位区域1300中的正在奔跑的狗和保持静止的地面，也仅以强调的方式显示正在奔跑的狗的边缘。
此外，虽然在第三典型实施例中，已经描述了针对每个像素通过将同一坐标处的运动强度与边缘强度彼此相乘来计算运动边缘强度的示例，但是用于运动边缘强度的计算方法不限于此。例如，计算方法可包括通过针对每个像素将同一坐标处的运动强度与边缘强度相加在一起来计算运动边缘强度。
此外，在运动矢量计算单元1001计算运动矢量的单位区域足够小的情况下，可根据如在第一典型实施例中的仅与运动矢量有关的运动信息来发出运动模糊的通知。这是因为，在计算运动矢量的单位区域足够小的情况下，操作者能够可视地确认诸如四肢等的小区域中的运动模糊。
以上所描述的第三典型实施例被配置为通过针对每个像素将所检测的边缘强度与同一坐标处的运动强度彼此相乘来计算运动边缘强度。然而，在发生运动模糊的这样的图像拍摄场面中，准备拍摄图像上的边缘强度可能在某种情况下减小，从而可能不能适当地发出运动模糊的通知。
参考图14、图15A与图15B描述以上提到的问题的具体示例。图14示出在图5A和图5B中所示的准备拍摄图像中的狗501的图像，以及图15A和图15B示出在图14中所示的横截面1401中的边缘强度的转变。
在图15A和图15B中，水平轴代表在横截面1401上水平方向上的位置的坐标，以及垂直轴代表所检测的边缘强度。
在准备拍摄图像上不发生模糊的情况下，在横截面1401上检测到如图15A中所示的这样的边缘强度。
然而，在准备拍摄图像上发生模糊的情况下，如在图15B中所示，在横截面1401上所检测的边缘强度减小。
考虑到以上提到的问题，以下所述的第四典型实施例被配置为根据被摄体的运动矢量来设置用来辨别以上提到的边缘区域的边缘强度阈值，基于辨别结果校正边缘强度，并且发出运动模糊的通知。
参考图16、图17和图18描述第四典型实施例。
此外，使用与第三典型实施例中的各个附图标记相同的各个附图标记所指定的元件被假定进行与其在第三典型实施例中的动作和处理操作相同的动作和处理操作，因此在此描述中省略这些元件。
此外，由于除在第三典型实施例中的运动模糊通知图像生成单元和在第四典型实施例中的第二运动模糊通知图像生成单元以外的元件不存在差异，因此在此描述中省略其它元件。
首先，图16是示出图像处理单元107中包括的第二运动模糊通知图像生成单元1500的结构示例的图。
第二运动模糊通知图像生成单元1500包括运动矢量计算单元1001、运动强度计算单元1002、估计运动模糊计算单元302、图像叠加单元304、边缘强度计算单元1501、边缘区域辨别单元1502、运动边缘强度计算单元1503和特定像素提取单元1504。
运动矢量计算单元1001、运动强度计算单元1002、估计运动模糊计算单元302和图像叠加单元304的动作和处理操作与其在第一典型实施例中和第三典型实施例中的动作和处理操作相同，因此此处从描述中省略。
边缘强度计算单元1501获取准备拍摄图像并且计算所获取的准备拍摄图像的边缘强度。边缘强度的具体计算方法与在第一典型实施例中的计算方法相同，因此此处从描述中省略。
边缘区域辨别单元1502设置用来辨别以上提到的边缘区域的边缘强度阈值，使用边缘强度阈值来判断边缘强度是否大于或等于边缘强度阈值，以及如果边缘强度大于或等于边缘强度阈值，则校正边缘强度。以下描述边缘区域辨别单元1502的详细操作。
运动边缘强度计算单元1503通过将边缘强度与运动强度彼此相乘或者将它们相加在一起来计算运动边缘强度。运动边缘强度的具体计算方法与在第三典型实施例中的计算方法相同，因此此处从描述中省略。
特定像素提取单元1504提取运动边缘强度为预定值以上并且估计运动模糊为预定值以上的像素。具体的提取方法与在第三典型实施例中的提取方法相同，因此此处从描述中省略。
接着，参考图17的流程图详细描述边缘区域辨别单元1502所进行的用于相对于所检测到的边缘强度利用边缘强度阈值来辨别边缘区域并校正边缘区域的处理。
图17的流程图中的步骤由控制单元101进行或者由包括边缘区域辨别单元1502的数字照相机100的可应用的单元响应于来自控制单元101的指示进行。
在第四典型实施例中，描述了基于运动矢量的大小中的最大值来计算边缘强度阈值的示例。
在步骤S1601中，边缘区域辨别单元1502获取由边缘强度计算单元1501所计算出的边缘强度，从而基于图14中所示的横截面1401获得诸如在图15B中所示的边缘强度的转变。
在步骤S1602中，边缘区域辨别单元1502基于图14中所示的横截面1401获取由运动矢量计算单元1001所计算出的针对每个单位区域的运动矢量。
在步骤S1603中，边缘区域辨别单元1502根据所获取的针对每个单位区域的运动矢量来计算边缘强度阈值Th。
首先，边缘区域辨别单元1502根据所获取的针对每个单位区域的运动矢量计算运动矢量的大小中的最大值。
此外，虽然，在第四典型实施例中，计算针对每个单位区域所获取的运动矢量的大小中的最大值，但是待计算的值不限于此，并且可以是运动矢量的统计值或者运动矢量的大小的统计值。
例如，在针对占整个准备拍摄图像的比例大的被摄体发出适当的运动模糊的通知的情况下，可使用针对每个单位区域的运动矢量的众数值。
接着，边缘区域辨别单元1502基于所计算出的运动矢量的最大值来计算用来辨别边缘区域的边缘强度阈值Th。
边缘强度阈值Th根据线性函数关系由以下公式(5)计算。
Th＝A·v+Th0 (5)
Th：边缘强度阈值
A：负常数
v：运动矢量的最大值
Th0：基准边缘强度阈值
此处，公式(5)中的负常数A是代表由运动矢量与边缘强度的减小之间的关系度所确定的比例常数的系数。在第四典型实施例中，负常数A被假定先前存储在ROM 102中。
此外，虽然，在第四典型实施例中，已经通过使用线性函数描述了计算边缘强度阈值的示例，但是用于边缘强度阈值的计算方法不限于此。计算方法能够近似运动模糊与边缘强度的减小之间的关系度。例如，计算方法可包括根据二次函数来计算边缘强度阈值。
在步骤S1604中，边缘区域辨别单元1502基于在步骤S1603中所计算的边缘强度阈值来辨别边缘区域。边缘区域辨别单元1502通过判断在步骤S1601中所获取的边缘强度是否大于或等于在步骤S1603中所计算出的边缘强度阈值来进行这样的辨别。如果判断为边缘强度大于或等于边缘强度阈值(在步骤S1604中为“是”)，则边缘区域辨别单元1502进行步骤S1605，然后进行步骤S1606。
如果判断为边缘强度小于边缘强度阈值(在步骤S1604中为“否”)，则边缘区域辨别单元1502使处理进入步骤S1606。
参考图18描述步骤S1604中的边缘区域的辨别。
图18是示出根据第四典型实施例的将边缘区域的辨别应用于图15B中所示的边缘强度的情况。如同图15A和图15B一样，在图18中，垂直轴代表所检测的边缘强度，以及水平轴代表图14中所示的横截面1401中的准备拍摄图像上的位置坐标。即使在由于发生诸如图15B中所示的运动模糊而导致边缘强度已经减小的情况下，边缘区域也被辨别。
接着，在步骤S1605中，边缘区域辨别单元1502针对已被判断为大于或等于边缘强度阈值的边缘强度进行校正处理。
根据以下公式(6)校正边缘强度。
Figure BDA0002341373450000291
E’：经过校正的边缘强度
E：尚未经过校正的边缘强度
Th0：基准边缘强度阈值
Th：步骤S1603中所计算出的阈值
图19示出针对图18中所示的情况进行由公式(6)所表达的校正所获得的结果。根据公式(6)中所表示的边缘强度阈值之间的比，仅超过边缘强度阈值的边缘强度被校正以变成与在不发生运动模糊的情况下所获得的边缘强度相当的强度。
此外，虽然，在第四典型实施例中，根据边缘强度阈值之间的比进行校正，但是校正公式不限于此。
例如，在尚末经过校正的几乎全部边缘强度彼此近似相等的情况下，可以将边缘强度阈值之间的差加至边缘强度。
接着，在步骤S1606中，边缘区域辨别单元1502判断是否已经完成针对全部像素的边缘区域的辨别以及边缘强度的校正。如果判断为这样的处理操作尚未完成(在步骤S1606中为“否”)，则边缘区域辨别单元1502使处理返回到步骤S1604，以及，如果判断为这样的处理操作已经完成(在步骤S1606中为“是”)，则边缘区域辨别单元1502结束处理。
用这种方法，根据准备拍摄图像上发生的运动模糊来设置用于辨别边缘区域的边缘强度阈值、并基于辨别的结果来校正边缘强度使得即使对于边缘强度由于运动模糊而减小的被摄体也能够发出运动模糊的通知。
此外，虽然，在第四典型实施例中，边缘强度阈值是基于运动矢量的大小来确定的，但是例如，在如在平移图像拍摄的情况下被摄体仅在一个方向上移动的情况下，边缘强度阈值可至少基于被摄体的运动矢量的方向分量来确定。
此外，在第四典型实施例中，根据针对每个单位区域的运动矢量确定一个边缘强度阈值。然而，在准备拍摄图像中存在进行各自不同运动的多个被摄体的情况下，可以使用在各个单位区域中所计算的运动矢量来确定针对各个单位区域的边缘强度阈值。
实施例的方面也可以通过进行以下处理而获得。具体地，处理向系统或设备提供记录了具有用于实现本文所述的以上所描述的典型实施例的功能的过程的软件的程序代码的记录介质。然后，处理使系统或者设备的计算机(或者CPU或者微处理单元(MPU))读出并执行存储介质中存储的程序代码。
在这种情况下，从存储介质读出的程序代码本身实现实施例的方面的新颖的功能，并且存储介质和具有存储介质中所存储的程序代码的程序可以构成实施例的方面。
此外，用来提供程序代码的存储介质包括例如软盘、硬盘、光盘和磁光盘。此外，用来提供程序代码的存储介质还包括例如光盘只读存储器(CD-ROM)、可记录光盘(CD-R)、可重写光盘(CD-RW)、数字通用盘只读存储器(DVD-ROM)、数字通用盘随机存取存储器(DVD-RAM)、可重写数字通用盘(DVD-RW)、可记录数字通用盘(DVD-R)、磁带、非易失性存储卡和只读存储器(ROM)。
此外，使由计算机读出的可执行程序代码实现以上所描述的典型实施例的功能。另外，例如，在计算机上运行的操作系统(OS)也可以基于来自程序代码的指令进行部分或者全部实际的处理，以便实现以上所描述的典型实施例的功能。
此外，可包括以下处理。首先，处理将从存储介质读出的程序代码写入存储器，其中存储器包括在被插入计算机中的功能扩展板或者连接至计算机的功能扩展单元中。在此之后，例如包括在功能扩展板或者功能扩展单元中的CPU基于来自程序代码的指令进行部分或者全部实际的处理。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将进行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并进行程序的方法。
虽然已经参考典型实施例描述了本发明，但是应该理解，本发明不限于所公开的典型实施例。以下权利要求的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。

Claims (27)

1.一种信息处理设备，包括：
获取部件，用于获取通过使用第一图像拍摄参数的第一图像拍摄所获得的第一拍摄图像以及所述第一拍摄图像中的与被摄体有关的运动信息；
设置部件，用于独立于所述第一图像拍摄参数来设置第二图像拍摄参数；
估计部件，用于基于所述运动信息和所述第二图像拍摄参数来估计在使用所述第二图像拍摄参数进行第二图像拍摄的情况下所获得的第二拍摄图像中的被摄体的运动模糊；以及
通知部件，用于发出运动模糊的通知，
其中，所述估计部件通过基于所述第一图像拍摄参数与所述第二图像拍摄参数之间的差、将基于所述运动信息所计算出的所述第一拍摄图像中的被摄体的运动模糊转换成所述第二拍摄图像中的运动模糊，来估计所述第二拍摄图像中的运动模糊。
2.根据权利要求1所述的信息处理设备，其中，所述估计部件基于所述运动信息、所述第一图像拍摄参数和所述第二图像拍摄参数来估计运动模糊。
3.根据权利要求1所述的信息处理设备，其中，所述获取部件通过在各自与所述第一拍摄图像相对应的多个第一拍摄图像之间进行图像的比较来计算和获取所述运动信息。
4.根据权利要求1所述的信息处理设备，还包括：
指示部件，用于当依次输出在图像传感器中通过使用所述第一图像拍摄参数的第一图像拍摄所获得的所述第一拍摄图像时，发出图像拍摄指示，其中所述图像传感器响应于所述图像拍摄指示而输出通过使用所述第二图像拍摄参数的第二图像拍摄所获得的第二拍摄图像，
其中，所述通知部件用于在接收所述图像拍摄指示之前发出运动模糊的通知。
5.根据权利要求1所述的信息处理设备，其中，所述估计部件基于所述运动信息、多次所述第一图像拍摄中的图像之间的时间间隔、以及被设置为所述第二图像拍摄参数的曝光时间来估计所述第二拍摄图像中的运动模糊。
6.根据权利要求1所述的信息处理设备，其中，所述通知部件通过将与运动模糊相对应的信息显示在显示单元上来发出运动模糊的通知。
7.根据权利要求1所述的信息处理设备，其中，所述通知部件通过将与运动模糊相对应的信息叠加在所述第一拍摄图像上并且将叠加有该信息的所述第一拍摄图像显示在显示单元上来发出运动模糊的通知。
8.根据权利要求1所述的信息处理设备，
其中，所述获取部件获取与所述第一拍摄图像的多个区域相对应的运动信息，
其中，所述估计部件根据与所述第一拍摄图像的所述多个区域相对应的运动信息来估计所述第二拍摄图像的多个区域中的运动模糊，以及
其中，所述通知部件针对多个对应区域中的各区域发出运动模糊的通知。
9.根据权利要求8所述的信息处理设备，其中，所述通知部件通过在所述第一拍摄图像中、针对所述第二拍摄图像中的运动模糊已被估计为具有预定模糊量或更多模糊量的每个区域显示框，来发出运动模糊的通知。
10.根据权利要求8所述的信息处理设备，其中，所述通知部件通过在所述第一拍摄图像中、针对如下的每个区域以能够辨别的方式显示边缘区域来发出运动模糊的通知，其中在所述每个区域中，所述第二拍摄图像中的运动模糊已被估计为具有预定模糊量或更多模糊量。
11.根据权利要求1所述的信息处理设备，
其中，所述第一图像拍摄是在所述第二图像拍摄之前进行的，以及
其中，在所述获取部件依次获取所述第一拍摄图像的同时，所述通知部件发出运动模糊的通知。
12.根据权利要求1所述的信息处理设备，
其中，在所述设置部件改变所述第二图像拍摄参数的情况下，所述估计部件再进行运动模糊的估计，以及
其中，所述通知部件发出由所述估计部件再估计的运动模糊的通知。
13.根据权利要求1所述的信息处理设备，其中，所述设置部件基于所述第一拍摄图像来设置所述第二图像拍摄参数。
14.根据权利要求1所述的信息处理设备，
其中，所述获取部件计算各自与通过多次所述第一图像拍摄所获得的所述第一拍摄图像相对应的多个第一拍摄图像中的第一拍摄图像的多个区域的各区域中的运动矢量，将所述多个区域中的各区域划分成多个块区域，并且针对所述块区域中的各块区域计算所述多个第一拍摄图像之间的差，以及
其中，所述估计部件针对所述块区域中的各块区域根据所述运动矢量和所述多个第一拍摄图像之间的差来估计所述被摄体的运动模糊。
15.根据权利要求14所述的信息处理设备，其中，所述通知部件通过在所述第一拍摄图像中针对如下的每个区域以能够辨别的方式显示边缘区域来发出运动模糊的通知，其中在所述每个区域中，所述第二拍摄图像中的运动模糊已被估计为具有预定模糊量或更多模糊量。
16.根据权利要求14所述的信息处理设备，其中，
在所述运动矢量被计算的所述多个区域中的各区域的大小为阈值以上的情况下，所述估计部件针对所述块区域中的各块区域根据所述运动矢量和所述多个第一拍摄图像之间的差来估计所述被摄体的运动模糊，以及
在所述运动矢量被计算的所述多个区域中的各区域的大小小于所述阈值的情况下，所述估计部件针对所述多个区域中的各区域根据所述运动矢量来估计所述被摄体的运动模糊。
17.根据权利要求15所述的信息处理设备，其中，所述通知部件根据所述运动信息来切换用来判断边缘区域的阈值。
18.根据权利要求17所述的信息处理设备，其中，所述通知部件基于根据所述运动矢量所计算出的统计值来改变用来判断边缘区域的阈值。
19.根据权利要求18所述的信息处理设备，其中，所述统计值至少是根据所述运动矢量的大小的最大值来计算的。
20.根据权利要求18所述的信息处理设备，其中，所述统计值至少是根据所述运动矢量的大小的众数值来计算的。
21.根据权利要求18所述的信息处理设备，其中，所述通知部件基于所述运动矢量的至少一个方向分量来改变用来判断边缘区域的阈值。
22.根据权利要求18所述的信息处理设备，其中，所述通知部件改变所述第一拍摄图像的多个区域中的各区域中用来判断边缘区域的阈值。
23.一种摄像设备，包括：
摄像部件，用于进行第一图像拍摄；以及
根据权利要求1至22中任一项所述的信息处理设备。
24.一种摄像设备，其包括摄像部件，并且在当依次输出在所述摄像部件中通过使用第一图像拍摄参数的第一图像拍摄所获得的第一拍摄图像时、操作者发出图像拍摄指示的情况下，响应于所述图像拍摄指示而输出通过使用第二图像拍摄参数的第二图像拍摄所获得的第二拍摄图像，所述摄像设备包括：
计算部件，用于基于各自与从所述摄像部件输出的所述第一拍摄图像相对应的多个第一拍摄图像来计算运动信息；
设置部件，用于独立于所述第一图像拍摄参数来设置所述第二图像拍摄参数；
估计部件，用于基于所述运动信息和所述第二图像拍摄参数来估计所述第二拍摄图像中的运动模糊；以及
通知部件，用于在接收所述图像拍摄指示之前发出利用所述估计部件所估计出的运动模糊的通知，
其中，所述估计部件通过基于所述第一图像拍摄参数与所述第二图像拍摄参数之间的差、将基于所述运动信息所计算出的所述第一拍摄图像中的被摄体的运动模糊转换成所述第二拍摄图像中的运动模糊，来估计所述第二拍摄图像中的运动模糊。
25.一种信息处理方法，包括：
获取通过使用第一图像拍摄参数的第一图像拍摄所获得的第一拍摄图像以及所述第一拍摄图像中的与被摄体有关的运动信息；
独立于所述第一图像拍摄参数来设置第二图像拍摄参数；
基于所述运动信息和所述第二图像拍摄参数，估计在使用所述第二图像拍摄参数来进行第二图像拍摄的情况下所获得的第二拍摄图像中的被摄体的运动模糊；以及
发出运动模糊的通知，
其中，通过基于所述第一图像拍摄参数与所述第二图像拍摄参数之间的差、将基于所述运动信息所计算出的所述第一拍摄图像中的被摄体的运动模糊转换成所述第二拍摄图像中的运动模糊，来估计所述第二拍摄图像中的运动模糊。
26.一种摄像设备的控制方法，所述摄像设备包括摄像部件，并且在当依次输出在所述摄像部件中通过使用第一图像拍摄参数的第一图像拍摄所获得的第一拍摄图像时、操作者发出图像拍摄指示的情况下，响应于所述图像拍摄指示而输出通过使用第二图像拍摄参数的第二图像拍摄所获得的第二拍摄图像，所述控制方法包括：
基于各自与从所述摄像部件输出的所述第一拍摄图像相对应的多个第一拍摄图像来计算运动信息；
独立于所述第一图像拍摄参数来设置所述第二图像拍摄参数；
基于所述运动信息和所述第二图像拍摄参数来估计所述第二拍摄图像中的运动模糊；以及
在接收所述图像拍摄指示之前发出所估计出的运动模糊的通知，
其中，通过基于所述第一图像拍摄参数与所述第二图像拍摄参数之间的差、将基于所述运动信息所计算出的所述第一拍摄图像中的被摄体的运动模糊转换成所述第二拍摄图像中的运动模糊，来估计所述第二拍摄图像中的运动模糊。
27.一种存储有计算机可执行指令的非暂时性计算机可读存储介质，当所述计算机可执行指令由计算机执行时，使所述计算机进行方法，所述方法包括：
获取通过使用第一图像拍摄参数的第一图像拍摄所获得的第一拍摄图像以及所述第一拍摄图像中的与被摄体有关的运动信息；
独立于所述第一图像拍摄参数来设置第二图像拍摄参数；
基于所述运动信息和所述第二图像拍摄参数，估计在使用所述第二图像拍摄参数来进行第二图像拍摄的情况下所获得的第二拍摄图像中的被摄体的运动模糊；以及
发出运动模糊的通知，
其中，通过基于所述第一图像拍摄参数与所述第二图像拍摄参数之间的差、将基于所述运动信息所计算出的所述第一拍摄图像中的被摄体的运动模糊转换成所述第二拍摄图像中的运动模糊，来估计所述第二拍摄图像中的运动模糊。
CN201911377524.1A 2018-12-28 2019-12-27 信息处理设备和方法、摄像设备及其控制方法、存储介质 Active CN111385471B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210471617.6A CN114845057A (zh) 2018-12-28 2019-12-27 信息处理设备和方法、摄像设备及其控制方法、存储介质

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018-247850 2018-12-28
JP2018247850 2018-12-28
JP2019214499A JP7475846B2 (ja) 2018-12-28 2019-11-27 情報処理装置、撮像装置、情報処理方法および撮像装置の制御方法
JP2019-214499 2019-11-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210471617.6A Division CN114845057A (zh) 2018-12-28 2019-12-27 信息处理设备和方法、摄像设备及其控制方法、存储介质

Publications (2)

Publication Number Publication Date
CN111385471A CN111385471A (zh) 2020-07-07
CN111385471B true CN111385471B (zh) 2022-05-03

Family

ID=71124527

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210471617.6A Pending CN114845057A (zh) 2018-12-28 2019-12-27 信息处理设备和方法、摄像设备及其控制方法、存储介质
CN201911377524.1A Active CN111385471B (zh) 2018-12-28 2019-12-27 信息处理设备和方法、摄像设备及其控制方法、存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210471617.6A Pending CN114845057A (zh) 2018-12-28 2019-12-27 信息处理设备和方法、摄像设备及其控制方法、存储介质

Country Status (2)

Country Link
US (1) US11722771B2 (zh)
CN (2) CN114845057A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7263001B2 (ja) * 2018-12-28 2023-04-24 キヤノン株式会社 情報処理装置、撮像装置、情報処理方法および撮像装置の制御方法
US11381730B2 (en) * 2020-06-25 2022-07-05 Qualcomm Incorporated Feature-based image autofocus
GB2610018B (en) * 2021-06-04 2023-09-13 Canon Kk Information processing apparatus that notifies subject blur, image capturing apparatus, information processing method, and control method
CN116703742A (zh) * 2022-11-04 2023-09-05 荣耀终端有限公司 识别模糊图像的方法和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101060591A (zh) * 2006-04-18 2007-10-24 富士通株式会社 相机抖动校正方法及其图像拍摄装置和存储介质
CN101516001A (zh) * 2008-02-18 2009-08-26 三星Techwin株式会社 数字拍摄设备及其控制方法和记录介质
CN104995905A (zh) * 2013-02-20 2015-10-21 索尼公司 图像处理设备、拍摄控制方法和程序

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2600504B2 (ja) * 1991-01-25 1997-04-16 日本ビクター株式会社 動きベクトル検出回路
US7027087B2 (en) * 1998-08-21 2006-04-11 Nikon Corporation Electronic camera
US7119837B2 (en) * 2002-06-28 2006-10-10 Microsoft Corporation Video processing system and method for automatic enhancement of digital video
US7636486B2 (en) * 2004-11-10 2009-12-22 Fotonation Ireland Ltd. Method of determining PSF using multiple instances of a nominally similar scene
US7639889B2 (en) * 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method of notifying users regarding motion artifacts based on image analysis
EP1679884B1 (en) * 2004-12-28 2008-01-23 Seiko Epson Corporation Imaging apparatus and portable device and portable telephone using the same
US7433505B2 (en) * 2005-11-01 2008-10-07 Ben Yoo Method of dental microscopic procedure
JP4165568B2 (ja) 2006-04-03 2008-10-15 セイコーエプソン株式会社 撮影装置、撮影装置の制御方法、制御プログラム及び記録媒体
JP5277538B2 (ja) * 2006-12-12 2013-08-28 株式会社リコー 撮影装置
JP2008172667A (ja) 2007-01-15 2008-07-24 Tamron Co Ltd 撮像装置
KR101426095B1 (ko) * 2007-02-07 2014-08-01 소니 주식회사 화상 처리 장치, 촬상 장치 및 화상 처리 방법
US7956899B2 (en) * 2007-08-29 2011-06-07 Sanyo Electric Co., Ltd. Imaging device and image processing apparatus
JP4958756B2 (ja) * 2007-12-13 2012-06-20 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
WO2009150696A1 (ja) * 2008-06-10 2009-12-17 富士通株式会社 画像補正装置および画像補正方法
JP2010268225A (ja) * 2009-05-14 2010-11-25 Sony Corp 映像信号処理装置および表示装置
JP2012032739A (ja) * 2010-08-03 2012-02-16 Mitsubishi Electric Corp 画像処理装置及び方法、並びに画像表示装置
JP5687553B2 (ja) * 2011-04-25 2015-03-18 オリンパス株式会社 画像合成装置、画像合成方法及び画像合成プログラム
JP6046931B2 (ja) * 2011-08-18 2016-12-21 キヤノン株式会社 撮像装置およびその制御方法
US8760513B2 (en) * 2011-09-30 2014-06-24 Siemens Industry, Inc. Methods and system for stabilizing live video in the presence of long-term image drift
JP5909686B2 (ja) * 2011-11-22 2016-04-27 パナソニックＩｐマネジメント株式会社 測定方法、測定装置、コンピュータ・プログラムおよび記録媒体
US20130258122A1 (en) * 2012-03-27 2013-10-03 Research In Motion Limited Method and device for motion enhanced image capture
JP5997645B2 (ja) * 2013-03-26 2016-09-28 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
KR102222073B1 (ko) * 2014-08-29 2021-03-04 삼성전자주식회사 촬영 방법 및 전자 장치
JP6494386B2 (ja) * 2015-04-10 2019-04-03 キヤノン株式会社 撮像装置およびその制御方法
JP6725979B2 (ja) * 2015-11-27 2020-07-22 キヤノン株式会社 像ブレ補正装置及びその制御方法、記憶媒体
JP6522539B2 (ja) * 2016-03-18 2019-05-29 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2018016002A1 (ja) * 2016-07-19 2018-01-25 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理方法
JP6661493B2 (ja) * 2016-08-30 2020-03-11 キヤノン株式会社 像ブレ制御装置、撮像装置および制御方法
JP2018087860A (ja) * 2016-11-28 2018-06-07 オリンパス株式会社 撮像装置及び撮像装置の制御方法
JP6806572B2 (ja) * 2017-01-16 2021-01-06 キヤノン株式会社 撮像制御装置、撮像装置、制御方法、プログラム、及び記憶媒体
US10764498B2 (en) * 2017-03-22 2020-09-01 Canon Kabushiki Kaisha Image processing apparatus, method of controlling the same, and storage medium
JP2018164146A (ja) * 2017-03-24 2018-10-18 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
JP7058945B2 (ja) * 2017-04-24 2022-04-25 キヤノン株式会社 像ブレ補正装置およびその制御方法、撮像装置
JP7023691B2 (ja) * 2017-12-07 2022-02-22 キヤノン株式会社 撮像装置およびその制御方法
JP2019114980A (ja) * 2017-12-25 2019-07-11 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
US20190306420A1 (en) * 2018-03-31 2019-10-03 Takashi Okaki Image processing apparatus, image capturing system, image processing method, and recording medium
CN112313938B (zh) * 2018-07-10 2022-06-21 奥林巴斯株式会社 摄像装置、图像校正方法以及计算机可读记录介质
US11070729B2 (en) * 2018-07-27 2021-07-20 Canon Kabushiki Kaisha Image processing apparatus capable of detecting moving objects, control method thereof, and image capture apparatus
US10917571B2 (en) * 2018-11-05 2021-02-09 Sony Corporation Image capture device control based on determination of blur value of objects in images
JP7232046B2 (ja) * 2018-12-28 2023-03-02 キヤノン株式会社 報知装置、撮像装置、報知方法、撮像方法、プログラム、及び記憶媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101060591A (zh) * 2006-04-18 2007-10-24 富士通株式会社 相机抖动校正方法及其图像拍摄装置和存储介质
CN101516001A (zh) * 2008-02-18 2009-08-26 三星Techwin株式会社 数字拍摄设备及其控制方法和记录介质
CN104995905A (zh) * 2013-02-20 2015-10-21 索尼公司 图像处理设备、拍摄控制方法和程序

Also Published As

Publication number Publication date
US11722771B2 (en) 2023-08-08
CN111385471A (zh) 2020-07-07
US20200213482A1 (en) 2020-07-02
CN114845057A (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN111385471B (zh) 信息处理设备和方法、摄像设备及其控制方法、存储介质
US9489747B2 (en) Image processing apparatus for performing object recognition focusing on object motion, and image processing method therefor
US9542754B2 (en) Device and method for detecting moving objects
KR101034109B1 (ko) 촬영장치 및 프로그램이 기억된 컴퓨터 판독 가능한 기록매체
US11343426B2 (en) Notifying apparatus, image capturing apparatus, notifying method, and storage medium for making a notification of motion blur
JP6223059B2 (ja) 撮像装置、その制御方法およびプログラム
JP2010258933A (ja) 画像変形装置およびその動作制御方法
US11818466B2 (en) Notifying apparatus, image capturing apparatus, notifying method, image capturing method, and storage medium
US10855915B2 (en) Image pickup apparatus capable of consecutively displaying different types of image, control method, and storage medium
US10311327B2 (en) Image processing apparatus, method of controlling the same, and storage medium
US10447943B2 (en) Image capturing apparatus, control method, program, and recording medium therefor
US11477384B2 (en) Information processing apparatus, imaging apparatus, information processing method, control method for imaging apparatus, and storage medium for notifying of a subject blur occuring in a captured image
JP2010154306A (ja) 撮像制御装置、撮像制御プログラム及び撮像制御方法
JP2020017807A (ja) 画像処理装置および画像処理方法、ならびに撮像装置
US20200177814A1 (en) Image capturing apparatus and method of controlling image capturing apparatus
JP2023033355A (ja) 画像処理装置およびその制御方法
US20220262014A1 (en) Apparatus for notifying object blur, control method thereof, and storage medium
JP7475846B2 (ja) 情報処理装置、撮像装置、情報処理方法および撮像装置の制御方法
JP7246894B2 (ja) 撮像装置およびその制御方法
JP5871590B2 (ja) 撮像装置、及びその制御方法
US20220394174A1 (en) Information processing apparatus that notifies subject blur, image capturing apparatus, information processing method, and control method
US20220309683A1 (en) Apparatus for detecting moving object, method for detecting moving object, and non-transitory computer-readable storage medium
JP2022186598A (ja) 情報処理装置、撮像装置、情報処理方法および制御方法、プログラム
JP2022124464A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
US10116877B2 (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant