CN106170061B - 摇摄指标显示设备和处理方法 - Google Patents
摇摄指标显示设备和处理方法 Download PDFInfo
- Publication number
- CN106170061B CN106170061B CN201610335092.8A CN201610335092A CN106170061B CN 106170061 B CN106170061 B CN 106170061B CN 201610335092 A CN201610335092 A CN 201610335092A CN 106170061 B CN106170061 B CN 106170061B
- Authority
- CN
- China
- Prior art keywords
- panning
- subject
- display
- information
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
Abstract
本发明涉及一种摇摄指标显示设备和处理方法,该摇摄指标显示设备包括:摇摄信息获取单元,用于基于运动检测单元的输出来获取摄像设备的摇摄指标,其中该运动检测单元用于检测要进行摇摄的摄像设备的运动;运动矢量获取单元,用于基于在摇摄中使用图像传感器的输出所生成的运动矢量,来获取表示被摄体的移动的被摄体移动指标;以及显示控制单元,用于将摇摄指标与被摄体移动指标之间的关系显示在显示单元上。
Description
技术领域
本发明通常涉及用于控制诸如照相机等的摄像设备中的实时取景视频的显示的设备,并且更特别地,涉及用于显示摇摄(追随拍摄(follow shot))时的引导的摇摄指标显示设备。
背景技术
追随拍摄是如下的摄像方式,其中该摄像方式用于通过在跟随诸如汽车等的移动被摄体的情况下使摄像设备(以下称为“照相机”)进行摇摄并且通过以与正常快门速度相比更慢的快门速度拍摄该被摄体来拍摄该被摄体。追随拍摄提供了以静止的主被摄体和流动的背景来提供速度感的拍摄图像(静止图像)。一种传统上提出的照相机具有在追随拍摄时进行摇摄的情况下辅助用户的功能。更具体地,该照相机通过诸如陀螺仪传感器等的运动检测单元来检测照相机的摇摄速度,并根据基于摄像生成的视频信号所检测到的运动矢量来获得显示画面上的主被摄体的移动速度。然后,该照相机使镜头相对于拍摄光轴移动,以基于摇摄速度和移动速度之间的差来消除显示画面上的主被摄体的位置偏移(图像模糊)。因而,即使在由于用户做出的摇摄速度发生变动的情况下,该照相机也可以提供抑制主被摄体的图像模糊的追随拍摄。
追随拍摄所要拍摄的主被摄体不仅包括诸如水平方向等的固定方向上移动的汽车,而且包括以各种角度或不固定的方向在空中向上移动的飞机。在通过追随拍摄来拍摄主被摄体时,由于用户所做出的摇摄速度和摇摄方向发生变动并且可能使得主被摄体的图像模糊。
日本特开(“JP”)2006-115322公开了如下的照相机,该照相机基于实际的摇摄方向和预设的基准摇摄方向之间的差来校正实时取景视频以使得实际的摇摄方向接近基准摇摄方向,并且显示校正后的实时取景视频。
然而,JP2006-115322中所公开的照相机将追随拍摄中抑制了主被摄体的模糊的摇摄方向限制为基准摇摄方向。
发明内容
本发明提供一种能够提供用于使得追随拍摄用户能够识别恰当的摇摄速度和恰当的摇摄方向的引导显示的摇摄指标显示设备。
根据本发明的一个方面,一种摇摄指标显示设备,其包括:摇摄信息获取单元,用于基于运动检测单元的输出,来获取摄像设备的摇摄指标,其中所述运动检测单元用于检测要进行摇摄的所述摄像设备的运动;运动矢量获取单元,用于基于在摇摄中使用图像传感器的输出所生成的运动矢量,来获取表示被摄体的移动的被摄体移动指标;以及显示控制单元,用于将所述摇摄指标和所述被摄体移动指标之间的关系显示在显示单元上。至少一个处理器或电路被配置为执行各单元中的至少一个单元的功能。
根据本发明的另一方面,一种用于执行摇摄指标的显示处理的方法,包括以下步骤:基于运动检测单元的输出,来获取摄像设备的摇摄指标,其中所述运动检测单元用于检测要进行摇摄的所述摄像设备的运动;基于在摇摄中使用图像传感器的输出所生成的运动矢量,来获取表示被摄体的移动的被摄体移动指标;以及将所述摇摄指标和所述被摄体移动指标之间的关系显示在显示单元上。
通过以下参考附图对典型实施例的说明,本发明的其它特征将变得明显。
附图说明
图1是示出根据本发明的第一实施例的摄像设备的结构的框图。
图2是示出根据第一实施例的追随拍摄辅助处理的流程图。
图3是示出根据第一实施例的角速度信号计算处理的图。
图4是示出根据第一实施例的引导显示处理的流程图。
图5(A)和(B)是示出根据第一实施例的引导显示的图。
图6是示出根据本发明的第二实施例的引导显示处理的流程图。
图7A~7E是示出根据第二实施例的引导显示的图。
图8是示出根据第二实施例的视角计算处理的图。
图9A~9D是示出根据第二实施例的示意性引导显示的图。
具体实施方式
现在,将参考附图来说明本发明实施例。
第一实施例
图1示出根据本发明第一实施例的包括摇摄指标显示设备的摄像设备100的基本结构。该摄像设备100不仅包括诸如数字静态照相机和数字摄像机等的数字照相机,还包括诸如具有照相机功能的蜂窝电话和安装有照相机的计算机等的配备有照相机功能的电子设备。
光学系统101包括镜头、快门和光圈,并且在CPU 103的控制下,通过使用来自被摄体的光在图像传感器102上形成图像来形成该被摄体的光学图像。光学系统101包括被配置为在与光学系统101的光轴方向正交的方向上移动并且抑制图像传感器102(摄像面)上的光学图像的移位的移位透镜,作为光学系统101的组件的至少一部分。在本实施例中,光学系统101包括移位透镜作为光学系统101的一部分,但整个光学系统101可以随着移位透镜而移动。光学系统广义上包括图像传感器102,并且图像传感器102可以相对于光轴移动。
光学系统101可以设置在可更换镜头中,该可更换镜头可以安装于包括图像传感器102的摄像设备本体并且可以从该摄像设备本体拆卸。在这种情况下,摄像设备包括可更换镜头和摄像设备本体。
图像传感器102包括诸如CCD传感器和CMOS传感器等的光电转换元件,并且将光学系统101所形成的光学图像转换成电信号(拍摄信号)。
作为运动检测单元的角速度检测器105包括陀螺仪传感器,检测摄像设备100的角速度,并且将与该角速度相对应的电信号(检测信息)输出至CPU 103。CPU 103使用所检测到的该角速度来获取包含摄像设备100的摇摄角速度和摇摄方向的摇摄信息。
CPU 103根据输入信号和/或预先存储的计算机程序来对构成摄像设备100的各组件的操作进行控制。CPU 103提供包括稍后将说明的引导显示的追随拍摄辅助处理。CPU103与包括摇摄信息获取单元、运动矢量获取单元和显示控制单元的摇摄指标显示设备相对应。
一次存储单元104是诸如RAM等的易失性存储器,并且用作CPU 103临时存储数据所用的工作空间等。一次存储单元104中所存储的各种数据被图像处理单元106使用、或者记录在记录介质107中。二次存储单元108是诸如EEPROM等的非易失性存储器,并且存储CPU103所使用的用于摄像设备100的操作控制程序(固件)和各种设置信息。
记录介质107记录诸如通过记录用摄像所获得的图像数据等的记录用数据。记录介质107包括可以安装于摄像设备100并且可以从摄像设备100拆卸的半导体存储器,并且可以从个人计算机等读出所记录的数据。换句话说,摄像设备100具有记录介质107的安装/拆卸功能以及针对记录介质107的数据读写功能。
显示单元109显示作为进行记录用摄像之前的显示用摄像所生成的取景器视频的实时取景视频、以及记录用摄像所生成的(拍摄)图像。显示单元109显示与用户的对话操作用的GUI图像等。操作单元110包括用来接受用户的操作并将输入信息发送至CPU 103的各种输入装置,诸如接触式操作构件(例如,按钮、杆和触摸面板)和使用语音和视线等的非接触式输入装置等。
作为矢量检测单元的运动矢量检测器111基于显示用摄像所生成的实时取景视频用的视频信号(以下称为“实时取景视频信号”)来检测运动矢量。更具体地,本实施例检测表示构成实时取景视频信号的多个帧中的对应点之间的移动量和移动方向的运动矢量。可选地,CPU 103可以用作运动矢量检测器111。
图像处理单元106通过对从图像传感器102输出的拍摄图像进行各种处理来生成实时取景视频信号,并且生成静止图像和运动图像作为记录用图像。图像传感器102和图像处理单元106构成拍摄系统。可选地,CPU 103可以执行图像处理单元106的至少一部分功能。
现在,将参考图2来说明CPU 103所进行的追随拍摄辅助处理。在用户通过操作单元110选择追随拍摄辅助模式的情况下,CPU 103根据作为二次存储单元108中所存储的计算机程序的追随拍摄辅助程序来执行追随拍摄辅助处理。
首先,在步骤S201中,CPU 103基于摇摄期间所生成的实时取景视频信号来提取要拍摄的主被摄体。通过用于在实时取景视频信号中提取主被摄体的图像(以下称为“主被摄体图像”)所包含的主被摄体区域的方法,使用运动矢量检测器111从该实时取景视频信号中所检测到的运动矢量来提取主被摄体。可以利用各种传统方法来使用运动矢量提取主被摄体区域。在无法提取主被摄体的情况下,无法计算稍后将描述的主被摄体的角速度,并且CPU 103不继续进行追随拍摄辅助处理。在这种情况下,可以将过程切换至在步骤S207中不驱动如后所述的移位透镜的正常摄像。
接着,在步骤S202中,CPU 103获取角速度检测器105所检测到的摄像设备100的摇摄角速度(摇摄速度将在以下被称为“摇摄角速度”)的信息,并且移动至步骤S203。
在步骤S203中,CPU 103使用主被摄体区域中的运动矢量来计算作为主被摄体的实际移动速度(角速度)的实际被摄体角速度。本实施例计算被摄体图像角速度作为如图3所示的光学系统101的主点周围的角速度,其中该被摄体图像角速度是图像传感器102上的主被摄体的光学图像的移动速度(角速度)。
图3示出:实际的主被摄体在t秒的时间段内从点A移动至点B,并且通过光学系统101在图像传感器102(但在图3中仅例示为“传感器”)上所形成的主被摄体的光学图像相应地从点C移动至点D。安装如下所述来表示图像传感器102的图像面上的主被摄体图像的角速度ω[rad/sec],其中,ν[pixel(像素)]是点C和点D之间的距离,f[mm]是光学系统101的焦距,并且p[μm/pixel]是图像传感器102的像素间距。
表达式1
在使摄像设备100进行摇摄的情况下,如下所述,通过从实际被摄体角速度ωs减去摇摄角速度ωp来表示图像传感器102上的被摄体图像的角速度ω。
表达式2
ω=ωs–ωp (2)
因此,如下所述,CPU 103通过将角速度检测器105所检测到的摄像设备100的摇摄角速度ωp与被摄体图像角速度ω相加来计算实际被摄体角速度ωs。
ωs=ω+ωp (3)
可以通过除上述计算方法以外的方法来计算实际被摄体角速度ωs。另外,对于实际被摄体角速度ωs,可以使用用户通过操作单元110所指定的值。
接着,在步骤S204中,CPU 103进行追随拍摄时的引导显示处理。更具体地,CPU103通过进行图4所示的处理来更新摇摄用的引导显示。
接着,在步骤S205中,CPU 103判断操作单元110中所包括的快门按钮是否被完全按下(以下称为“S2ON(S2接通)”),或者判断是否要针对记录用摄像进行图像传感器102的曝光操作。如果S2没有接通,则CPU 103重复步骤S201~S204。如果S2接通,则CPU 103移动至步骤S206。
在步骤S206中,CPU 103控制光学系统101中所包括的快门的驱动,以进行记录用摄像用的图像传感器102的曝光。在这种情况下,在步骤S207中,CPU 103以与实际被摄体角速度和摇摄角速度之间的差相对应的移动速度来驱动光学系统101中的移位透镜(使光学系统101中的移位透镜移动)。CPU 103执行用于抑制记录用摄像中的图像传感器102上的主被摄体的光学图像的移位并且抑制记录用图像的模糊的追随拍摄辅助。
最后,在步骤S208中,CPU 103判断记录用摄像用的曝光是否已经完成。在曝光尚未完成的情况下,CPU 103继续在步骤S207中使移位透镜移动,并且在曝光完成的情况下结束该过程。
图4示出步骤S204中所进行的引导显示处理的流程。CPU 103根据作为计算机程序的摇摄指标显示程序来执行引导显示处理。图5(A)和(B)示出追随拍摄时显示单元109上的示意性引导显示。
首先,在步骤S401中,CPU 103基于运动矢量检测器111所检测到的主被摄体区域中的运动矢量,来获取包含相对于图像传感器102上的主被摄体的垂直方向的移动成分的移动方向θ。
接着,在步骤S402中,CPU 103在显示单元109上显示被摄体引导栏501作为与步骤S401中所获取到的主被摄体的移动方向θ相对应的引导(第2指标)。这里,CPU 103将水平方向设置成θ=0度,并且将上方向设置成正角度,并且将相对于水平方向倾斜θ度的被摄体引导栏501显示在显示单元109的显示画面的中央。
接着,在步骤S403中,CPU 103使用角速度检测器105来检测作为摄像设备100的垂直方向上的摇摄(俯仰)的角速度的俯仰角速度。CPU 103使用该俯仰角速度来计算摄像设备100的摇摄的方向(以下称为“摇摄方向”)θ’。在水平方向被设置成θ’=0度的情况下,通过相对于水平方向的角度来表示摇摄方向θ’。
如下所述来表示摇摄方向θ’,其中,ωr是俯仰角速度并且t是时间。
表达式4
θ’=ωr×t (4)
在n[1/sec]是实时取景视频的显示更新频度(帧重写)的情况下,如下所述来表示时间t。
表达式5
例如,在以30fps的帧频来更新实时取景视频的显示的情况下,t=1/30[sec],并且在摄像设备100的俯仰角速度变成24[deg/sec]的情况下,如下所述来表示摇摄方向θ’:
表达式6
接着,在步骤S404中,如图5(B)所示,CPU 103在显示单元109上显示摇摄引导栏502作为与摇摄方向θ’相对应的引导(第1指标)。图5(B)示出始终点亮显示模式(点亮显示)下实时取景视频上所叠加的显示单元109上的被摄体引导栏501和摇摄引导栏502,其中实时取景视频包括作为主被摄体的在空中向上移动的飞机。
接着,在步骤S405中,CPU 103将俯仰角速度与使用运动矢量所计算出的垂直方向上的实际被摄体角速度之间的差乘以记录用摄像用的曝光时间段。本实施例计算用于通过使移位透镜移动来校正摇摄方向的相对于主被摄体的实际移动方向的偏移的角度(以下称为“校正角度”)。
接着,在步骤S406中,CPU 103判断该校正角度是否大于作为通过使移位透镜移动最大移动量所获得的校正角度的最大可校正角度θmax[deg]。最大可校正角度θmax可以预先存储在二次存储单元108中,并且在本步骤的判断中读出。在光学系统101设置在可更换镜头中的情况下,在本步骤的判断之前,经由通信从可更换镜头获得最大可校正角度的信息。在校正角度不大于最大可校正角度的情况下,CPU 103移动至图2所述的步骤S205。
在校正角度大于最大可校正角度的情况下,CPU 103移动至步骤S407。在这种情况下,被摄体引导栏501所显示的被摄体移动方向θ和摇摄引导栏502所显示的摇摄方向θ’之间的差超出使移位透镜移动可用的可校正范围(预定大小)。
在步骤S407中,CPU 103向用户通知追随拍摄辅助不充分(或者不可进行),因而被摄体以及摇摄引导栏501和502中的至少之一的显示模式从始终点亮显示模式改变成闪光或闪烁显示模式。换句话说,本实施例通过使被摄体以及摇摄引导栏501和502中的一个或多个闪烁来提供警告显示。
因而,本实施例在实时取景视频中显示引导栏501和502,以使得用户能够在进行利用追随拍摄的记录用摄像之前的实时取景视频的显示中从视觉上识别出摄像设备100的摇摄方向和主被摄体的移动方向之间的偏移。因而,用户可以在观看实时取景视频的情况下调整摇摄方向,并且可以获得抑制了主被摄体的图像模糊的追随拍摄。
引导栏可以表示被摄体的角速度(实际被摄体角速度)和摄像设备100的摇摄角速度之间的差。例如,可以基于被摄体引导栏501的长度来显示摇摄引导栏502的长度,并且反映相对于角速度的差。即,在摇摄角速度较慢的情况下,摇摄引导栏502比被摄体引导栏501短,并且在摇摄角速度较快的情况下,摇摄引导栏502比被摄体引导栏501长。
在记录用摄像用的曝光中连续显示进行曝光之前最后生成的实时取景视频的帧图像的情况下,可以将引导栏501和502与帧图像一起连续显示。因而,用户可以在记录用摄像用的曝光中根据主被摄体的移动来调整摇摄方向和摇摄速度。
图5(A)和(B)示出处于显示单元109上的显示画面的中央的引导栏501和502,但引导栏501和502可以显示在显示画面上的任意区域。例如,引导栏501和502可以显示在显示画面上的四个角其中之一处,或者用户可以使用触摸面板来自由地选择显示单元109的显示画面上的显示区域。
第二实施例
接着说明根据本发明的第二实施例的包括摇摄指标显示设备的摄像设备。根据本实施例的摄像设备中的元件具有与根据第一实施例(图1)的摄像设备100中的元件相同的基本结构,并且将利用相同的附图标记来指定作为第一实施例中的元件的对应元件的本实施例中的元件。
即使在本实施例中,CPU 103也对应于摇摄指标显示设备。CPU 103在显示单元109上显示表示摇摄方向和主被摄体的移动方向之间的差以及摇摄速度和主被摄体的移动速度之间的差的被摄体引导、以及表示最大可校正角度θmax的校正引导。CPU 103根据记录用摄像时的曝光时间段和诸如光学系统101的焦距等的摄像条件来改变被摄体引导。因而,CPU 103提供与第一实施例的追随拍摄相比更好的追随拍摄。
图6示出根据参考图4的第一实施例的追随拍摄辅助处理的步骤S204中所进行的引导显示处理的流程。CPU 103根据作为计算机程序的摇摄指标显示程序来执行引导显示处理。图7A~7E示出在追随拍摄时显示单元109上所显示的引导示例。
在图6的步骤S601中,如图7A所示,CPU 103在显示单元109上显示用于表示通过使移位透镜移动最大移动量所获得的最大可校正角度θmax[deg]的校正引导(第1指标)701。校正引导701是表示用于通过移动光学系统101的至少一部分来抑制图像面上的被摄体的光学图像的移位的追随拍摄辅助功能中该移位可被抑制的范围的指标。本实施例将校正引导701显示为直径为R[pixel]并且原点(0,0)被设置成显示单元109的显示画面的中心的圆。用户可以预先设置直径R,只要该直径R小于显示单元109的分辨率即可。
接着,在步骤S602中,CPU 103计算视角。现在参考图8来说明视角的计算方法。视角Φ[rad]是经过图像传感器102上的点E和点F并且在光学系统101的光轴上相对于图像传感器102的距离为焦距f[mm]的位置处相交的两条线之间的角。如下所述来表示视角Φ,其中,L[mm]是图像传感器102上的点E和点F之间的长度(以下称为“对角长度”)。
表达式7
CPU 103可以通过未示出的变焦检测器、或者在光学系统101设置在可更换镜头中的情况下与可更换镜头进行通信,来获得与光学系统101的焦距有关的信息。代替使用表达式7来计算视角,CPU 103可以读出与焦距对应地存储在二次存储单元108中的视角。
接着,在步骤S603中,CPU 103计算位置校正系数。如下所述表示该校正系数。
表达式8
接着,在步骤S604中,CPU 103计算被摄体引导的显示位置ν’。更具体地,首先,CPU103根据表达式2来计算图像传感器102(图像面)上的被摄体图像角速度ω,其中,摇摄角速度ωp是在图2的步骤S202中所获得的并且实际被摄体角速度ωs是图2的步骤S203中利用运动矢量所计算出的。CPU 103使用被摄体图像角速度ω和根据表达式1所得到的以下表达式,来计算主被摄体的光学图像在图像面上移动的距离ν[pixel]。根据表达式5以及实时取景视频的显示更新频度n[1/秒]来计算时间段t[sec]。
表达式9
如下所述,CPU 103使用显示单元109的分辨率W[pixel]来计算被摄体引导的显示位置ν’:
表达式10
如此计算出的被摄体引导的显示位置ν’与被摄体图像角速度ω(以下还被称为“摇摄速度差”,其中该“摇摄速度差”是被摄体图像角速度(实际被摄体角速度)ωs和摇摄角速度ωp之间的差)相对应。
接着,在步骤S605中,CPU 103计算摄像校正系数。更具体地,CPU 103利用图像面上的被摄体图像角速度ω[rad/sec]以及记录用摄像用的曝光时间段t,根据以下表达式来计算摄像校正系数β。
表达式11
表达式11中的分母是利用移位透镜所获得的最大可校正角度θmax,并且分子是利用摄像面上的主被摄体的光学图像的移动角度、或者移位透镜所获得的校正角度。因而,β表示通过使移位透镜移动所产生的追随拍摄辅助效果的可用性(以下称为“辅助可用性”)。随着β减少,对于校正角度而言最大可校正角度θmax的余量变窄并且辅助可用性变低。与此相对,随着β增大,对于校正角度而言最大可校正角度θmax的余量变宽并且辅助可用性变高。
接着,在步骤S606中,CPU 103获得主被摄体的移动方向(角度)θs。
接着,在步骤S607中,CPU 103获得角速度检测器105所检测到的摄像设备100的摇摄方向θp。
接着,在步骤S608中,CPU 103计算步骤S606和S607中所获得的θs和θp之间的差T(以下称为“摇摄方向差”)。
表达式12
T=θs-θp (12)
接着,在步骤S609中,如图7B所示,CPU 103在显示单元109上将被摄体引导(第2指标)702显示在相对于显示画面的中心或原点(0,0)在与摇摄方向差T相对应的角度方向上距离了步骤S604所计算出的ν’的位置处。这里,CPU 103将显示画面上的水平方向设置成摇摄方向差T=0度,并且基于步骤S601中所显示的直径R[pixel]以及步骤S603~S608中所计算出的值来显示被摄体引导702。被摄体引导702是具有如下所计算出的直径R’的圆。
表达式13
R'=R×β (13)
因而,如图7B所示,校正引导701表示最大可校正角度,并且被摄体引导702相对于校正引导701的显示位置和大小表示摇摄方向、摇摄速度差以及辅助可用性。尽管图7A~7E没有示出实时取景视频,但如后参考图9A~9D所述,校正引导701和被摄体引导702实际叠加在实时取景视频上。
由此计算出作为摇摄方向和被摄体的移动方向之间的差的摇摄方向差。可选地,如图7C所示,通过使用主被摄体的水平方向和垂直方向各自的角速度,可以计算出这些方向上的被摄体引导702的显示位置νh’和νv’[pixel]。在这种情况下,代替步骤S606~S608,可以在水平方向和垂直方向中的各个方向上进行步骤S604。
在由于表达式(10)和(13)的计算结果导致所显示的被摄体引导的一部分位于显示单元109的显示画面的外部的情况下,如图7D所示,CPU 103可能仅显示被摄体引导的位于显示画面内部的部分。另外,如图7E所示,CPU 103可以利用诸如闪烁显示等的警告显示来在相对于显示画面端部偏离R’/2的位置处显示被摄体引导,以向用户通知被摄体引导位于显示画面的外部。
本实施例在实时取景视频上附加地显示被摄体引导,以显示诸如摇摄速度差和摇摄方向差等的与摄像设备的摇摄和被摄体的移动之间的差有关的信息以及辅助可用性。因而,用户可以从视觉上识别用户是否正在根据被摄体的移动而恰当地使摄像设备进行摇摄以及用户是否得到好的追随拍摄辅助效果。
现在参考图9A~9D,将说明根据本实施例的引导的显示示例。图9A~9D示出在显示单元109上校正引导901和被摄体引导902叠加在包含作为主被摄体在空中飞行的飞机的实时取景视频上的示例。
在摇摄速度比实际的被摄体移动速度快的情况下,ν’变成0以上。因此,如图9A所示,被摄体引导902的显示位置移动(延迟)至校正引导901的右侧。与此相对,在摇摄速度比实际的被摄体移动速度慢的情况下,ν’变成0以下。因此,如图9B所示,被摄体引导902的显示位置移动(提前)至校正引导901的左侧。
在记录用摄像用的曝光时间段更长的情况下,R’变得更大。如图9C所示,所显示的被摄体引导902几乎与校正引导901一样大,并且辅助可用性低。与此相对,在记录用摄像用的曝光时间段更短的情况下,R’变得更小。如图9D所示,所显示的被摄体引导902比校正引导901小,并且辅助可用性高。
在最大可校正角度θmax根据焦距而改变的情况下,在由于焦距的变化而导致θmax减小时,R’变得更大(参见表达式(11)和(13))。因此,如图9C所示,所显示的被摄体引导902几乎与校正引导901一样大,并且辅助可用性低。与此相对,在由于焦距的变化而导致最大可校正角度θmax增大时,R’变得更小,如图9D所示,所显示的被摄体引导902比校正引导901小,并且辅助可用性高。
本实施例将显示单元109的左方向设置为正方向,然而可以将与摇摄方向相同的方向设置为正方向。
释放时间延迟是从快门按钮的全按下(S2接通)到快门的实际驱动开始为止的时间段。本实施例在计算校正角度时,除了曝光时间段以外,还可以考虑释放时间延迟(作为参数),以提高校正角度的计算精度并且提供更好的追随拍摄。对于运动矢量检测器111的处理速率,可以将从获得最新检测结果的时间到快门按钮全按下的时间为止的时间段设置为计算校正角度的参数。
即使在记录用摄像用的曝光中连续显示作为进行曝光前最后生成的实时取景视频的帧图像的情况下,由于第一实施例中所描述的原因,因此也可以将引导标记901和902这两者与帧图像一起进行连续显示。如在第一实施例中所述,引导标记901和902这两者可以显示在显示单元109的显示画面中的任何区域,或者用户可以自由地设置显示区域。
各实施例向追随拍摄用户提供引导显示,以减小摇摄方向和主被摄体的移动方向之间的差以及摇摄速度和主被摄体的移动速度之间的差,或者使得用户能够从视觉上识别出恰当的摇摄速度和方向。因而,各实施例能够提供用于与主被摄体的移动方向和移动速度无关地抑制主被摄体的图像模糊的良好的追随拍摄。
其它实施例
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管参考典型实施例说明了本发明,但是应该理解,本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。
Claims (6)
1.一种摇摄信息显示设备,包括:
至少一个处理器或电路被编程以执行以下处理:
基于运动检测单元的输出,来获取摄像设备的摇摄信息,其中所述运动检测单元用于检测要进行摇摄的所述摄像设备的运动;
基于在摇摄中使用图像传感器的输出所生成的运动矢量,来获取表示被摄体图像的移动的被摄体移动信息;以及
基于所述摇摄信息和所述被摄体移动信息,来控制在与光轴方向不同的方向上驱动光学元件,
其特征在于,
所述至少一个处理器或电路进行控制以在显示单元上显示与所述摇摄信息和所述被摄体移动信息之间的关系是否处于通过驱动所述光学元件所确定的能够进行追随拍摄的范围内有关的信息,以及
所述摇摄信息包含与摇摄方向和摇摄量中的至少一个有关的信息,并且所述被摄体移动信息包含与被摄体移动方向和被摄体移动量中的至少一个有关的信息。
2.根据权利要求1所述的摇摄信息显示设备,其特征在于,所述显示单元显示基于所述图像传感器所获取到的图像信号的图像以及与所述摇摄信息和所述被摄体移动信息之间的关系是否处于通过驱动所述光学元件所确定的能够进行追随拍摄的范围内有关的信息。
3.根据权利要求1所述的摇摄信息显示设备,其特征在于,所述至少一个处理器或电路进行控制以显示与所述摇摄方向和所述被摄体移动方向之间的差是否处于所述能够进行追随拍摄的范围内有关的信息。
4.根据权利要求1所述的摇摄信息显示设备,其特征在于,所述至少一个处理器或电路进行控制以显示与所述被摄体移动量是否处于所述能够进行追随拍摄的范围内有关的信息。
5.根据权利要求2所述的摇摄信息显示设备,其特征在于,所述至少一个处理器或电路进行控制,以基于焦距和曝光时间段中的至少一个,来改变表示所述摇摄信息和所述被摄体移动信息之间的关系的信息。
6.一种用于执行摇摄信息的显示处理的方法,包括以下步骤:
基于运动检测单元的输出,来获取摄像设备的摇摄信息,其中所述运动检测单元用于检测要进行摇摄的所述摄像设备的运动;
基于在摇摄中使用图像传感器的输出所生成的运动矢量,来获取表示被摄体图像的移动的被摄体移动信息;以及
基于所述摇摄信息和所述被摄体移动信息,在与光轴方向不同的方向上驱动光学元件,
其特征在于,
在显示单元上显示与所述摇摄信息和所述被摄体移动信息之间的关系是否处于通过驱动所述光学元件所确定的能够进行追随拍摄的范围内有关的信息,以及
所述摇摄信息包含与摇摄方向和摇摄量中的至少一个有关的信息,并且所述被摄体移动信息包含与被摄体移动方向和被摄体移动量中的至少一个有关的信息。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015102742A JP6525724B2 (ja) | 2015-05-20 | 2015-05-20 | パンニング情報表示装置、パンニング情報の表示処理を実行する方法およびパンニング情報表示プログラム |
JP2015-102742 | 2015-05-20 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106170061A CN106170061A (zh) | 2016-11-30 |
CN106170061B true CN106170061B (zh) | 2019-10-29 |
Family
ID=57325773
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610335092.8A Active CN106170061B (zh) | 2015-05-20 | 2016-05-19 | 摇摄指标显示设备和处理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10104277B2 (zh) |
JP (1) | JP6525724B2 (zh) |
CN (1) | CN106170061B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6584280B2 (ja) * | 2014-12-08 | 2019-10-02 | キヤノン株式会社 | 撮像装置及びその制御方法 |
KR102519662B1 (ko) | 2017-07-31 | 2023-04-07 | 삼성전자주식회사 | 영상 획득 방법 및 영상 획득 장치 |
JP2022043930A (ja) | 2020-09-04 | 2022-03-16 | キヤノン株式会社 | 電子機器 |
CN114245000A (zh) * | 2020-09-09 | 2022-03-25 | 北京小米移动软件有限公司 | 拍摄方法和装置、电子设备、存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006317848A (ja) * | 2005-05-16 | 2006-11-24 | Canon Inc | 静止画撮像装置 |
CN103491286A (zh) * | 2012-06-12 | 2014-01-01 | 佳能株式会社 | 成像装置及其图像显示方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3326818B2 (ja) * | 1992-07-28 | 2002-09-24 | 株式会社ニコン | 像振れ補正可能なカメラ |
JPH07191360A (ja) * | 1993-12-27 | 1995-07-28 | Canon Inc | カメラ防振制御装置 |
WO2002037856A1 (en) * | 2000-11-06 | 2002-05-10 | Dynapel Systems, Inc. | Surveillance video camera enhancement system |
US7465107B2 (en) * | 2004-09-21 | 2008-12-16 | Canon Kabushiki Kaisha | Photographing apparatus and control method therefor |
JP4517813B2 (ja) | 2004-10-15 | 2010-08-04 | 株式会社ニコン | パンニング撮影可能なカメラおよび動画像編集用プログラム |
JP4867310B2 (ja) * | 2004-11-25 | 2012-02-01 | カシオ計算機株式会社 | カメラ、撮像画像の記録・表示方法、及びプログラム |
JP4769553B2 (ja) * | 2005-11-16 | 2011-09-07 | キヤノン株式会社 | 撮像装置 |
JP4964807B2 (ja) * | 2008-03-07 | 2012-07-04 | パナソニック株式会社 | 撮像装置及び撮像方法 |
JP5589548B2 (ja) * | 2010-05-14 | 2014-09-17 | 株式会社リコー | 撮像装置、画像処理方法、及びプログラム記憶媒体 |
JP5809925B2 (ja) * | 2010-11-02 | 2015-11-11 | オリンパス株式会社 | 画像処理装置、それを備えた画像表示装置及び撮像装置、画像処理方法、並びに画像処理プログラム |
JP5809538B2 (ja) * | 2011-11-15 | 2015-11-11 | キヤノン株式会社 | 自動追尾カメラシステム |
JP6045430B2 (ja) * | 2013-04-18 | 2016-12-14 | オリンパス株式会社 | 撮像装置及びその像ブレ補正方法 |
CN106575027B (zh) * | 2014-07-31 | 2020-03-06 | 麦克赛尔株式会社 | 摄像装置及其被摄体跟踪方法 |
US9692973B2 (en) * | 2014-12-08 | 2017-06-27 | Canon Kabushiki Kaisha | Image capturing apparatus and control method therefor |
-
2015
- 2015-05-20 JP JP2015102742A patent/JP6525724B2/ja active Active
-
2016
- 2016-05-18 US US15/158,154 patent/US10104277B2/en active Active
- 2016-05-19 CN CN201610335092.8A patent/CN106170061B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006317848A (ja) * | 2005-05-16 | 2006-11-24 | Canon Inc | 静止画撮像装置 |
CN103491286A (zh) * | 2012-06-12 | 2014-01-01 | 佳能株式会社 | 成像装置及其图像显示方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6525724B2 (ja) | 2019-06-05 |
US10104277B2 (en) | 2018-10-16 |
US20160344929A1 (en) | 2016-11-24 |
JP2016220024A (ja) | 2016-12-22 |
CN106170061A (zh) | 2016-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4770924B2 (ja) | 撮像装置、撮像方法、およびプログラム | |
JP5163409B2 (ja) | 撮像装置、撮像方法、およびプログラム | |
JP4962460B2 (ja) | 撮像装置、撮像方法、およびプログラム | |
JP5659305B2 (ja) | 画像生成装置および画像生成方法 | |
JP4618370B2 (ja) | 撮像装置、撮像方法、およびプログラム | |
JP5769813B2 (ja) | 画像生成装置および画像生成方法 | |
JP5865388B2 (ja) | 画像生成装置および画像生成方法 | |
JP2010136302A (ja) | 撮像装置、撮像方法、およびプログラム | |
WO2013069047A1 (ja) | 画像生成装置および画像生成方法 | |
CN106170061B (zh) | 摇摄指标显示设备和处理方法 | |
JP6494386B2 (ja) | 撮像装置およびその制御方法 | |
JP2006211139A (ja) | 撮像装置 | |
JP6594180B2 (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
CN107040713B (zh) | 运动矢量检测设备及其控制方法和摄像设备 | |
CN106998413A (zh) | 图像处理设备、摄像设备和图像处理方法 | |
JP6815747B2 (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法、プログラム、および、記憶媒体 | |
CN106464784A (zh) | 摄影装置和摄影方法 | |
CN110944101A (zh) | 摄像装置及图像记录方法 | |
JP2001223932A (ja) | 撮像装置及びデジタルカメラ | |
US9692973B2 (en) | Image capturing apparatus and control method therefor | |
JP6579807B2 (ja) | 撮像制御装置、撮像装置および撮像制御プログラム | |
CN108668074A (zh) | 图像模糊校正装置及其控制方法、摄像设备和存储介质 | |
JP4517813B2 (ja) | パンニング撮影可能なカメラおよび動画像編集用プログラム | |
JP2007142554A (ja) | デジタルカメラ | |
JP6759018B2 (ja) | 撮像装置及び露出制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |