CN102498712A - 控制设备、成像系统、控制方法和程序 - Google Patents
控制设备、成像系统、控制方法和程序 Download PDFInfo
- Publication number
- CN102498712A CN102498712A CN201080041973XA CN201080041973A CN102498712A CN 102498712 A CN102498712 A CN 102498712A CN 201080041973X A CN201080041973X A CN 201080041973XA CN 201080041973 A CN201080041973 A CN 201080041973A CN 102498712 A CN102498712 A CN 102498712A
- Authority
- CN
- China
- Prior art keywords
- photograph
- image
- control
- taken
- transition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2101/00—Still video cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Accessories Of Cameras (AREA)
Abstract
提供的是控制设备、图像捕获系统、控制方法以及程序,其在自动捕获或记录图像时被尽可能平等地记录存在于图像捕获设备周围的被摄体。具体提供的是自动记录的操作,其用于当从直通图像捕获获得的图像中检测到被摄体时,记录涉及包含该被摄体的图像的数据。当基于涉及图像捕获和记录的历史信息,更进一步确定需要到不同于上一次图像捕获和记录中的被摄体结构的被摄体结构的过渡时,移动可移动机构单元以改变图像捕获视野的范围,从而获得不同的被摄体配置。
Description
技术领域
本发明涉及在其中例如搜索被摄体并且自动进行图像记录的控制设备、成像系统以及方法。本发明还涉及用于引发控制设备执行必要步骤的程序。
背景技术
例如,在PTL 1中,公开了在图像数据的图像中检测笑脸的技术,还公开了其中笑脸检测被应用于诸如数字照相机之类的成像设备的示例。
也就是说,通过使用数字照相机,进行静止图像捕获操作的后续系列。在通过捕获被摄体的图像获得的捕获图像中,检测被摄体的笑脸。如果检测到笑脸,则释放快门,并且提取在已经释放快门的瞬间已经输入的帧图像(frame image),并且代表那个静止图像的数据被储存于存储器中。因此,数字照相机在没有来自用户的指令的情况下,自动进行静止图像捕获操作,以便其可以捕获被摄体的笑脸的图像。
引用清单
专利文献
PTL1:日本未审专利申请公开第2009-129389号
发明内容
技术问题
然而,如果应用到上述笑脸检测的数字照相机仅被放置在固定点,则仅记录在成像视野范围内包含的特定被摄体的笑脸的图像。也就是说,仅记录具有类似面部表情的相同被摄体的图像。作为这种方式的图像记录的结果所获得的照片似乎并不有趣。
例如,设想在相当多可以成为被摄体的人出现在可以进行自动图像记录的数字照相机的周围的情况,要求在数字照相机周围的人尽可能平等地被图像记录。为了做到如此,例如要求在不集中在特定人的情况下选取在成像设备周围的多人作为将尽可能平等地图像记录的被摄体。
问题解决方案
因此,考虑到上述问题,本发明的控制设备配置如下。
也就是说,控制设备包括:被摄体检测装置,用于在其中输入通过使用成像单元进行成像所获得的图像数据,并且用于检测到出现于基于图像数据的图像中的被摄体;图像记录控制装置,用于进行控制以执行用于在记录介质上记录代表包含由被摄体检测装置检测到的被摄体的图像的图像数据的图像记录;过渡确定装置,用于基于图像记录历史确定是否执行向其中另一种被摄体配置将由被摄体检测装置检测的状态的过渡;以及成像视野范围改变控制装置,用于依照已经通过过渡确定装置获得将执行过渡的确定结果的事实,控制改变成像单元的成像视野范围的可移动机构单元的驱动,以便构成至少不同于上一图像记录中使用的被摄体配置的被摄体配置的被摄体将由被摄体检测装置检测。
此外,成像系统配置如下。成像系统包括:控制设备;以及可移动机构设备,其包括可移动以便改变控制设备的成像视野范围的机构。控制设备或可移动机构设备包括被摄体检测装置,用于在其中输入通过使用控制装置进行成像所获得的图像数据,以及用于检测到出现于基于图像数据的图像中的被摄体;图像记录控制装置,用于进行控制以执行用于在控制设备的记录介质上记录代表包含由被摄体检测装置检测到的被摄体的图像的图像数据的图像记录;过渡确定装置,用于基于图像记录历史确定是否进行向其中另一种被摄体配置将由被摄体检测装置检测的状态的过渡;以及成像视野范围改变控制装置,用于依照已经通过过渡确定装置获得将进行过渡的确定结果的事实,控制可移动机构单元的驱动,以便构成至少不同于上一图像记录中使用的被摄体配置的被摄体配置的被摄体将由被摄体检测装置检测。
利用上述配置,成像单元的成像视野范围是可通过可移动机构单元改变的。此外,当从通过成像所获得的图像中检测被摄体时,记录代表包含该被摄体的图像的数据。
在此基础上,如果基于图像记录历史信息确定将进行向不同于上一图像记录中使用的被摄体配置的被摄体配置的过渡,则移动可移动机构单元来改变成像视野范围,从而获得不同的被摄体配置。
此外,图像处理设备配置如下。图像处理设备包括:被摄体检测装置,用于在其中输入通过使用成像单元进行成像所获得的图像数据,以及用于检测到出现于基于图像数据的图像中的被摄体;记录控制装置,用于进行控制以便执行在记录介质上记录其中由被摄体检测装置所检测到的被摄体被包含在帧中的图像数据的图像记录;过渡确定装置,用于基于记录操作历史确定是否进行向其中另一种被摄体配置将由被摄体检测装置检测的状态的过渡;以及帧改变装置,用于依照已经由过渡确定装置获得将进行过渡的确定结果的事实,改变帧以便构成至少不同于上一图像记录中使用的被摄体配置的被摄体配置的被摄体将由被摄体检测装置检测。
发明优点
在此方式下,根据本申请的发明,可以尽可能平等地记录似乎在成像设备的周围的被摄体的图像,同时阻止记录仅有特定被摄体配置的图像。
附图说明
【图1】图1包括正视图以及后视图,其简要图示作为构成该实施例的成像系统的成像设备的数字照相机的外观。
【图2】图2是图示构成该实施例的成像系统的云台的外观的示例的透视图。
【图3】图3是图示作为该实施例的成像系统的、其中数字照相机连接到云台的形式的示例的正视图。
【图4】图4是图示作为该实施例的成像系统的、其中数字照相机连接到云台的形式的示例以及在摇摄方向上的移动模式的示例的平面图。
【图5】图5包括侧视图,其图示作为该实施例的成像系统的、其中数字照相机连接到云台的形式的示例。
【图6】图6是图示数字照相机的配置的示例的框图。
【图7】图7是图示云台的配置的示例的框图。
【图8】图8是图示为该实施例的数字照相机提供用以涉及构图控制处理的功能的框图。
【图9】图9是图示可作为实现自动图像记录功能的合适算法的算法的示例的流程图。
【图10】图10是图示作为本实施例(第一实施例)的、用作构图控制的基础的算法的示例的流程图。
【图11】图11是图示作为第二实施例的构图控制的算法的示例的流程图。
【图12】图12是图示作为第三实施例的构图控制的算法的示例的流程图。
【图13】图13包括图示作为第二实施例的、由成像视野范围改变控制所获得的操作的示例的视图。
【图14】图14包括图示作为第三实施例的、由成像视野范围改变控制所获得的操作的示例的视图。
【图15】图15是图示作为第四实施例的构图控制的算法的示例的流程图。
【图16】图16是图示作为第五实施例的构图控制的算法的示例的流程图。
【图17】图17是图示作为第六实施例的构图控制的算法的示例的流程图。
【图18】图18是图示作为第七实施例的构图控制的算法的示例的流程图。
【图19】图19是图示作为第八实施例的构图控制的算法的示例的流程图。
【图20】图20是图示作为第一修改示例的构图控制的算法的示例的流程图。
【图21】图21是图示作为第二修改示例的构图控制的算法的示例的流程图。
【图22】图22是图示作为针对该实施例的成像系统所作出的修改示例的配置的示例的示意图。
【图23】图23是图示作为针对该实施例的成像系统所作出的另一修改示例的配置的示例的示意图。
具体实施例
在下文,将按以下顺序描述实施本申请的发明的方式(在下文称作“实施例”)。
<1.成像系统的配置>
[1-1.整体配置]
[1-2.数字照相机]
[1-3.云台]
<2.对应于实施例的构图控制的功能性配置的示例>
<3.可作为自动图像记录功能的算法的示例>
<4.根据实施例的自动图像记录算法的基本示例(第一实施例)>
<5.成像视野范围改变控制算法的示例(第二实施例)>
<6.成像视野范围改变控制算法的示例(第三实施例)>
<7.根据过渡条件的自动图像记录算法的示例(第四实施例)>
<8.根据过渡条件的自动图像记录算法的示例(第五实施例)>
<9.根据过渡条件的自动图像记录算法的示例(第六实施例)>
<10.根据成像频率的规定的最大值的改变的示例(第七实施例)>
<11.根据被摄体的数量的规定的最大值的改变的示例(第八实施例)>
<12.修改示例>
【第一修改示例】
【第二修改示例】
<13.本实施例的成像系统的修改示例>
另外,在本说明书中,在以下描述中,将使用以下属于术语,例如帧(frame)、视角(angle ofview)、成像视野范围以及构图(composition)。
帧是对应于可以在其中适合安置(fit)图像的一个屏幕的区域范围,并且通常具有外框配置,例如垂直定向矩形或水平定向矩形。
视角也称作变焦角度,以角度形式表达由在成像设备的光学系统中的变焦透镜的位置确定的帧范围。通常,视角由成像光学系统的焦距及图像平面(图像传感器或胶片)的尺寸确定。此处,根据焦距可变的要素称作视角。
成像视野范围与放置在固定位置的成像设备所捕获的图像的帧的范围、由摇摄(pan)(水平)方向上的角度以及倾斜(tilt)头(垂直)方向上的角度(仰角和俯角)包括上述视角确定的范围有关。
构图在此处也称作取景(framing),是包括如在由成像视野范围所确定的帧内被摄体的尺寸的设置的定位状态。
此外,在本实施例中,通过示例方法,将基于本申请的发明的配置应用于包括数字照相机和该数字照相机连接到的云台的成像系统。
<1.成像系统的配置>
【1-1.整体配置】
本实施例的成像系统包括数字照相机1以及其上放置该数字照相机1的云台10。
数字照相机1的外观的示例首先被示出在图1中。图1的部分(a)和部分(b)分别是图示该数字照相机1的正视图及后视图。
如在图1部分(a)中所示,那些图中所示的数字照相机1包括主体单元2的正面上的镜头单元21a。该镜头单元21a是作为成像光学系统的部件,暴露到主体单元2之外的部件。
另外,在主体单元2顶端部分提供释放按钮31a。在成像模式下,作为图像信号产生通过利用镜头单元21a所捕获的图像(捕获图像)。然后,如果在成像模式期间在释放按钮31a上进行操作,则在存储介质上记录当已经了进行该操作时所获得的捕获图像,作为代表静止图像的图像数据。也就是说,进行摄影操作。
如图1部分(a)所示,数字照相机1还包括数字照相机1的后侧的显示屏幕单元33a。
在该显示屏幕单元33a上,在成像模式下,显示在成像模式期间正在由镜头单元21a捕获的图像,称其作直通图像(through image)。在回放模式下,显示记录在存储介质上的图像数据。此外,操作图像依照用户在数字照相机1上进行的操作,被显示为GUI(图形用户界面)。
应当注意,本实施例的数字照相机1在显示屏幕单元33a上提供有触摸板。利用这种提供,用户能够通过用他/她的手指触摸显示屏幕单元33a来进行某种操作。
此外,本实施例的成像系统(成像设备)包括接下来将描述的、用为数字照相机1的成像单元以及用作云台(pan/tilt head)10的可移动机构单元(可移动设备)。
图2是图示该云台10的外观的透视图。图3至图5作为本实施例的成像系统的外观,图示以适当状态将数字照相机1放置在云台10上的状态。图3是正视图,图4是平面图,而图5的部分(a)是侧视图。图5的部分(b)是图示倾斜机构的可移动范围的侧视图。
如图2、图3、图4及图5的部分(a)中所示,大体上说,云台10具有其中主体单元11放置在接地台(grounding stand)单元13上并且相机台单元12连接到主体单元11的结构。
当放置数字照相机1在云台10上时,将数字照相机1的底侧放置在相机台单元12的顶侧。
在这种情况下,如图2所示,在相机台单元12顶侧具有突起13和连接器14。
尽管未示出,但在数字照相机1的主体单元2的底侧构成用于与突起13契合的孔。在数字照相机1被正确放置在相机台单元12上的状态下,此孔与突起13契合。在此状态下,如果进行正常摇摄/倾斜(panning/tilting)操作,则数字照相机1不会从云台10移开或不会脱离云台10。
此外,在数字照相机1的底侧预定位置上提供连接器。在将数字照相机1正确放置在相机台单元12上的状态下,如上所述,该数字照相机1的连接器和该云台10的连接器14彼此相连,以便至少为进行之间通信做好准备。
应当注意,实际上,例如该连接器14与该突起13在相机台单元12上都是可以动的。在该基础上,通过利用匹配于数字照相机1的底侧的配置的适配器,不同类型的数字照相机在其可与云台10通信的状态下,可以被放置在相机台单元12上。
另外,可以无线地进行数字照相机1与相机台单元12之间的通信。
此外,在数字照相机1放置在云台10的状态下,可以配置成使得从通过云台10向数字照相机1进行充电。此外,还可以配置成使得视频信号(例如数字照相机1回放的图像的信号)也被传送至云台10并且进一步从云台10经由线缆、无线通信等等输出到外部监控设备。也就是说,云台10不仅可以用于改变数字照相机1的成像视野范围,而且可以提供有所谓支架的功能。
接下来,将描述通过利用云台10进行数字照相机1在摇摄/倾斜(pan/tilt)方向上的基本动作。
首先,在摇摄方向上的基本动作如下。
在此云台10放置在地面上的状态下,该接地台单元13的底面接地。在此状态下,如图4所示,主体单元11被适配成围绕旋转轴11a顺时针及逆时针旋转。因此,放置在云台10上的数字照相机1的成像视野范围在左右方向(水平方向)上改变。也就是说,提供摇摄动作。
在该基础上,此情况下的云台10的摇摄机构具有可以在顺时针方向或逆时针方向上无限制地以想要的360°角度或更大角度旋转的结构。
此外,在该云台10的摇摄机构中,确定摇摄方向上的基准位置。
此处,如图4所示,摇摄基准位置设为0°(360°),然后将在摇摄方向上主体单元11的旋转位置(也就是摇摄位置)表达为从0°到360°。
另外,在倾斜方向上的云台10的基本动作如下。
如图5的部分(a)和图5的部分(b)所示,通过在仰角和俯角两个方向上围绕旋转轴12a移动相机台单元12获得倾斜方向上的动作。
图5的部分(a)图示将相机台单元12放置在倾斜基准位置Y0(0°)上的状态。在此状态下,匹配镜头单元21a(光学系统单元)的成像光轴的成像方向F1平行于接地台单元13在其上接地的地面GR。
在该基础上,首先,如图5部分(b)所示,在仰角方向上,相机台单元12能够在从倾斜基准位置Y0(0°)到预定最大旋转角度+f°的范围内绕旋转轴12a旋转。在俯角方向上,相机台单元12也能够在从倾斜基准位置Y0(0°)到预定最大旋转角度-g°的范围内绕旋转轴12a旋转。按照这种方式,相机台单元12基于倾斜基准位置Y0(0°),在从最大旋转角+f°到最大旋转角-g°的范围内移动。因此,放置在云台10(相机台单元12)上的数字照相机1的成像视野范围在上下方向(垂直方向)上改变。也就是说,可获得倾斜操作。
如图2至图5所示的云台10的外观配置仅是示例。也可以采用其他物理配置和结构,只要云台10能够在摇摄方向及倾斜方向上移动放置在云台10上的数字照相机1。
【1-2数字照相机】
图6的框图首先图示了数字照相机1的实际内部配置的示例。
首先,在此图中,光学系统单元21包括包含预定数量的透镜(例如,变焦透镜和定焦透镜)的透镜组和光圈。光学系统单元21引起作为成像光的入射光被成像在图像传感器22的光接收表面上。
此外,光学系统单元21包括用于驱动上述变焦透镜、定焦透镜、光圈等的驱动机构。该驱动机构的操作由例如由控制单元27执行的诸如变焦(视角)控制、自动聚焦控制、自动曝光控制之类的所谓相机控制来控制。
图像传感器22进行所谓光电转换,用于转换由上述光学系统单元21所获得的成像光为电信号。为此目的,图像传感器22在光电转换器件的光接收表面上从光学系统单元21接收成像光,随后以预定时间输出依照所接收光的强度存储的信号电荷。然后,输出对应于成像光的电信号(成像信号)。应当注意,用作图像传感器22的光电转换器件(成像器件)不特别受局限,在当前情况下可以使用例如CMOS传感器或CCD(电荷耦合器件)。如果使用CMOS传感器,则对应于图像传感器22的器件(组件)可包括对应于A/D转换器23的模数转换单元,接下来将对其进行描述。
从上述图像传感器22输出的成像信号被输入到A/D转换器23,在那里成像信号被转换为数字信号。数字信号被输入到信号处理单元24。
信号处理单元24以例如静止图像(帧图像)为单位从A/D转换器23接收数字成像信号。然后,信号处理单元24对上述已经以静止图像为单位输入的成像信号进行所需的信号处理,从而使产生作为对应于一幅静止图像的图像信号数据的捕获图像数据(捕获的静止图像数据)成为可能。
如果将在上述信号处理单元24产生的捕获图像数据作为图像信息记录在作为存储介质(存储介质器件)的存储卡40上,则对应于一幅静止图像的捕获图像数据例如将从信号处理单元24输出到编码/解码单元25中。
编码/解码单元25通过使用预定的静止图像压缩编码方法,对从信号处理单元24输出的、以静止图像为单位的捕获图像数据进行压缩编码,然后依照例如控制单元27的控制向捕获图像数据添加首标等,从而转换捕获图像数据为压缩到预定格式中的图像数据。然后,编码/解码单元25转移以此方式产生的图像数据到介质控制器26。介质控制器26依照控制单元27的控制在存储卡40上写入并记录被转移的图像数据。在此情况下使用的存储卡40是被配置为具有例如服从预定标准的卡形式的外形并且被配置为在其中包含有非易失半导体存储器件(例如闪存)的存储介质。应该注意,可以将上述存储卡的类型与格式以外的类型与格式用于在其中存储图像数据的存储介质。
依照本实施例的信号处理单元24被配置为执行用于通过使用已经像上述那样获得了的捕获图像数据检测被摄体的图像处理,其在后面被描述。
此外,数字照相机1引起显示单元33通过使用在信号处理单元24中获得的捕获图像数据进行图像显示,从而使得显示当前被捕获的图像(所谓的直通图像)成为可能。例如,如上所述,信号处理单元24接收从A/D转换器23输出的成像信号,并且产生对应于一幅静止图像的捕获图像数据。通过重复该操作,信号处理单元24依次产生对应于运动图像的帧图像的捕获图像信号。然后,信号处理单元24依照控制单元27的控制,将按照此方式依次产生的捕获图像数据转移到显示驱动器32。通过此操作,显示直通图像。
显示驱动器32基于从上述信号处理单元24输入的捕获图像信号产生用于驱动显示单元33的驱动信号,并且输出该驱动信号到显示单元33。因此,在显示单元33中,将依次显示基于以静止图像为单位的捕获图像信号的图像。当用户浏览它时,将正在被捕获的图像在显示单元33中显示为运动图像。也就是说,显示直通图像。
此外,数字照相机1回放记录在存储卡40上的图像数据,以在显示单元33上显示图像。
为此目的,控制单元27指定图像数据并且指令介质控制器26从存储卡40读取数据。响应于此指示,介质控制器26存取在其上记录了指定的图像数据的、存储卡40上地址,读取数据并且转移读取数据到编码/解码单元25。
依照控制单元27的控制,例如,编码/解码单元25从介质控制器26转移来的捕获图像数据中提取实际数据作为压缩静止图像数据,并且对该压缩静止图像数据执行对应于压缩编码的解码处理,从而获得对应于一幅静止图像的捕获图像数据。然后,编码/解码单元25转移该捕获图像数据到显示驱动器32。因此,回放并在显示单元33中显示由记录在存储卡40上的捕获图像数据所代表的图像。
此外,除图像数据的上述直通图像及回放图像以外,可以在显示单元33中显示用户界面图像(操作图像)。在此情况下,控制单元27例如依照当前操作状态产生作为控制单元27所需的用户界面图像的显示图像数据,并且输出该显示图像数据到显示驱动器32。因此,在显示单元33中显示用户界面图像。应当注意,该用户界面图像可区别于捕获图像信号的监控图像或回放图像,在显示单元33的显示屏幕中被显示作例如特定菜单屏幕,或者可以显示用户界面图像以使得其重叠在捕获图像数据的监控图像或回放图像的部分上或与捕获图像数据的监控图像或回放图像的部分结合。
实际上,控制单元27例如包括CPU(中央处理单元)并且与ROM28、RAM29等一同构成微型计算机。在ROM28中,除由作为控制单元27的CPU执行的程序外,还存储相关于数字照相机1的操作的各种项目的设置信息。RAM29被用作CPU的首选存储器件。
此外,在此情况下,提供闪存30作为非易失存储区域,其用于存储依照例如用户操作或操作日志而需要改变(重写)的各种项目的设置信息。应当注意,如果使用非易失存储(典型地,如闪存)作为ROM28,取代闪存30,则可以使用ROM28的部分存储区域。
操作单元31集成了提供在数字照相机1中的各种操作器以及用于依照在那些操作器上进行的操作产生操作信息信号并用于输出操作信息信号到CPU的操作信息信号输出部分。控制单元27依照从操作单元31接收到的操作信息信号执行预定处理。因此,进行对应于用户操作的数字照相机1的操作。
声音输出单元35是通过使用预定音调和声音模式在控制单元27的控制下输出电子声音的部分,以提供例如预定内容的通知。
LED单元36包括从数字照相机1的外盒的前表面突出的LED(发光二级管),以及驱动该LED以开和关LED的电路单元。LED单元26在控制单元27的控制下开或关LED。依照由开关此LED所获得的模式提供通知的预定内容。
云台兼容通信单元34是用于依照预定通信方法在云台10和数字照相机1之间进行通信的部分。云台兼容通信单元34包括物理层配置,其在数字照相机1连接到云台10的状态下开始与云台10的通信单元的通信信号的有线或无线发送和接收。云台兼容通信单元34还包括实现对应于高于物理层的预定层的通信处理的配置。上述物理层配置包括连接到如图2所示的连接器14的连接器。
【1-3.云台】
图7中的框图图示了云台10的内部配置的示例。
如上所述,云台10包括摇摄/倾斜机构和作为对应于摇摄/倾斜机构的部分,云台10包括摇摄机构单元53、摇摄马达54、倾斜机构单元56和倾斜马达57。
摇摄机构单元53具有用于将如图4所示的摇摄方向(水平/左右)上的动作应用到连接到云台10的数字照相机1的机构。该机构的动作通过引起摇摄马达54在向前方向和向后方向上旋转获得。类似地,倾斜机构单元56具有用于将如图5部分(b)所示的倾斜方向(垂直/上下)上的动作施加到连接到云台10的数字照相机1的机构。该机构的动作通过引起倾斜马达57在向前方向和向后方向上旋转获得。
控制单元51包括由例如CPU、ROM、RAM等的组合构成的微型计算机,并且控制上述摇摄机构单元53和倾斜机构单元56的动作。例如,当控制单元51控制摇摄机构单元53的动作时,其输出指示摇摄机构单元53将移动的方向和移动速度的信号给摇摄驱动单元55。摇摄驱动单元55产生对应于输入信号的马达驱动信号,并且输出马达驱动信号到摇摄马达54。如果例如马达是步进马达,则马达驱动信号是对应于PWM控制的脉冲信号。
该马达驱动信号引起摇摄马达54例如在所需旋转方向上以所需旋转速度旋转。结果,驱动摇摄机构单元53以分别对应于旋转方向和旋转速度的移动方向和移动速度驱动。
类似地,当控制单元51控制倾斜机构单元56的动作时,其输出指示倾斜机构单元56所需的移动方向和移动速度的信号到倾斜驱动单元58。倾斜驱动单元58产生对应于输入信号的马达驱动信号,并且输出马达驱动信号到倾斜马达57。该马达驱动信号引起倾斜马达57例如在所需旋转方向上以所需旋转速度旋转。结果,驱动倾斜机构单元56以分别对应于旋转方向和旋转速度的移动方向和移动速度驱动。
摇摄机构单元53还包括旋转编码器(旋转检测器)53a。旋转编码器53a向控制单元51输出指示依照摇摄机构单元53的旋转所获得的旋转角度的检测信号。类似地,倾斜机构单元56包括旋转编码器(旋转检测器)56a。旋转编码器56a也向控制单元51输出指示依照倾斜机构单元56的旋转所获得的旋转角度的检测信号。
通信单元52是依照预定通信方法进行与提供在连接到云台10的数字照相机1中的云台兼容通信单元34的通信的部分。如在云台兼容通信单元34中那样,通信单元52包括开始向对方的通信单元的通信信号的有线或无线发送和从对方的通信单元的通信信号的有线或无线接收的物理层配置。通信单元52还包括实现对应于高于物理层的预定层的通信处理的配置。上述物理层配置包括图2中所示的相机台单元12的连接器14。
<2.对应于实施例的构图控制的功能性配置的示例>
接下来,在图8的框图中示出了构成根据本实施例的成像系统中的数字照相机1和云台10的、由硬件和软件(程序)实现的功能性配置的示例。
在此简图中,数字照相机1包括图像记录块61、构图决定块62、摇摄/倾斜/变焦控制块63以及通信控制处理块64。
图像记录块61是进行控制处理以获得捕获图像作为图像信号的数据(捕获图像数据)以及存储该捕获图像数据到存储介质中的部分。该部分是包括例如成像光学系统、成像器件(图像传感器)、从成像器件输出的信号产生捕获图像数据的信号处理电路以及用于在存储介质中写入并记录(存储)捕获图像数据的记录控制/处理系统的部分。
在该情况下,根据构图决定块的指令和控制进行直通图像记录块61的捕获图像数据的记录(图像记录)。
构图决定块62接收并输入从图像记录块61输出的捕获图像数据。基于该捕获图像数据,构图决定块62首先检测被摄体并最后执行决定构图的处理。
本本实施例中,当进行这种构图决定时,也对由被摄体检测检测到的每一被摄体检测以下将讨论的属性。然后,当执行构图决定处理时,利用所检测到的属性决定最佳构图。此外,还进行用于基于以决定的构图获得代表图像内容的捕获图像数据的取景控制。
由构图决定块62执行的被摄体检测处理(包括初始脸部帧的设置)可以通过使用图6中所示的信号处理单元24来执行。由信号处理单元24进行的被摄体检测处理可以由使用DSP(数字信号处理器)的图像信号处理来实现。也就是说,被摄体检测处理可以由程序和向DSP提供的指令来实现。
此外,由构图决定块62执行的脸部帧校正、构图决定和取景控制可以依照程序作为由用作控制单元27的CPU执行的处理来实现。
摇摄/倾斜/变焦控制块63根据来自构图决定块62的指令执行摇摄/倾斜/变焦控制,以获得对应于决定的最佳构图的构图和成像视野范围。更具体地,在取景控制中,构图决定块62为摇摄/倾斜/变焦控制块63指定将根据决定的最佳构图获得的上述构图和成像视野范围。摇摄/倾斜/变焦控制块63确定云台10的摇摄/倾斜机构的移动距离,以便数字照相机面向成像方向,以获得指定的构图和成像视野范围。然后,摇摄/倾斜/变焦控制块63产生用于指定对应于确定的移动距离的动作的摇摄/倾斜控制信号。
摇摄/倾斜/变焦控制块63确定变焦透镜(变焦放大器)的位置,用于获得确定的合适视角并且控制为图像记录块61提供的变焦机构,以便变焦机构放置在变焦位置。
通信控制处理块64是用于依照预定通信协定进行与提供在云台10中的通信控制处理块71的通信的部分。由摇摄/倾斜/变焦控制块63产生的摇摄/倾斜控制信号通过由通信控制处理块64进行的通信发送至云台10的通信控制处理块71。
如图所示,云台10例如包括通信控制处理块71和摇摄/倾斜控制处理块72。
通信控制处理块71是用于进行与数字照相机1的通信控制处理块64的通信的部分,并且当接收上述摇摄/倾斜控制信号时,通信控制处理块71输出该摇摄/倾斜控制信号到摇摄/倾斜控制处理块72。
在由图7中所示的云台10的控制单元51(微型计算机)执行的控制处理操作中,摇摄/倾斜控制处理块72用作执行有关摇摄/倾斜控制的处理的功能。
该摇摄/倾斜控制处理单元72依照输入的摇摄/倾斜控制信号,控制此处未示出的摇摄驱动机构单元和倾斜驱动机构单元。通过此控制,进行用于依照最佳构图获得所需水平视角和所需垂直视角的摇摄/倾斜(panning/tilting)。
摇摄/倾斜/变焦控制块63还能够进行摇摄/倾斜/变焦控制,用于依照例如来自构图决定块62的命令搜索被摄体。
<3.可作为自动图像记录功能的算法的示例>
在上述那样配置的成像系统中,驱动云台10的摇摄/倾斜机构以改变数字照相机1的成像视野范围,从而检测将包含在捕获图像中的被摄体。然后,如果检测到被摄体,则可以按照将其包含在具有特定构图的帧中这样的方式成像并记录它。也就是说,提供自动图像记录功能。
图9的流程图图示了可作为实现这样的自动图像记录功能的合适算法的算法的示例。
应当注意,在该简图中示出的步骤是由图8中所示的数字照相机1的功能块(图像记录块61、构图决定块62、摇摄/倾斜/变焦控制块63以及通信控制处理块64)恰当执行。
在图9中,首先,在步骤S101中,构图决定块62接收并且获得作为当前由图像记录块61获得的捕获图像数据。在步骤S102中,构图决定块62对该所获得的捕获图像数据执行被摄体检测处理。
作为步骤S102中的被摄体检测处理,可以如上所述那样应用例如面部检测技术,并且可以作为其检测结果来获得例如图像中被摄体的数量、被摄体的大小、被摄体的位置等。
接下来,在步骤S103中,构图决定块62确定被摄体是否已经作为在上述步骤S102的被摄体检测处理的结果被检测到。如果获得负面确定结果,则在步骤S106中开始被摄体搜索处理,并且该处理返回到S101。
该被摄体搜索处理是下列处理。摇摄/倾斜/变焦控制块63通过通信控制处理块64指令云台10在摇摄/倾斜方向上移动,并且还按照需要进行变焦控制,从而依照时间经过以预定模式改变成像视野范围。通过此控制,以它们均包含于成像视野范围的方式捕获数字照相机1周围的被摄体。
相反,如果因为检测到被摄体而在步骤S103中获得正面确定结果,则处理前进到步骤S104。
在步骤S104中,构图决定块62决定检测到的被摄体的最佳构图,并且执行用于获得所决定的构图作为捕获图像数据的帧内的图像的内容的取景控制。
构成此处的决定的构图的要素例如包括帧内被摄体的大小、帧内被摄体的位置等。
然后,如果已经执行了取景控制,则在步骤S105中,构图决定块62指令图像记录块61执行图像记录。响应于此,图像记录块61进行用于作为静止图像文件到存储卡40上记录当前获得的捕获图像数据的操作。
依照图9中所示的算法,如果检测到被摄体,则自动进行以包含检测到的被摄体特定构图图像记录所检测到的被摄体的操作。也就是说,获得自动记录例如包含人作为被摄体的捕获图像数据的自动图像记录操作。
然而,当依照图9中所示的算法实际执行自动图像记录时,仅仅已经图像记录(image-record)了首先检测到的相同被摄体。也就是说,尽管可以作为被摄体的多人出现在本实施例的成像系统周围,但在那些人中,仅多次地图像记录首先检测到的被摄体。
这种操作导致仅拍摄并收集特定被摄体的照片的结果,其作为照片内容不是使人感兴趣的。因此,在本实施例中,为避免这种不便,提出以下配置。在不集中在特定被摄体的情况下,尽可能平等地图像记录出现在成像系统周围的被摄体。
<4.根据实施例的自动图像记录算法的基本示例(第一实施例)>
图10的流程图作为第一实施例图示了自动图像记录算法的示例。在此简图中示出的处理是关于以后将讨论的第二和后续实施例的配置的最基本算法。
应当注意,在此简图中所示的步骤由如图8中所示的数字照相机1的功能块(图像记录块61、构图决定块62、摇摄/倾斜/变焦控制块63以及通信控制处理块64)恰当地执行。
此外,这样的程序可以在制造时写入并存储在例如ROM中,或者可以存储在可移动存储介质中然后从该存储介质安装(包括更新)到DSP支持型非易失储存区域或闪存30。作为选择,可以在用作主机的另一设备的控制下经由数据接口安装该程序。另外,该程序可以存储在例如网络上的服务器的存储器件中,基于此,可以为数字照相机1提供网络功能,以便将数字照相机1配置成从服务器下载和获得程序。
在图10中,步骤S201到S205以及步骤S209分别类似于图9中的步骤S101到S105以及步骤S106。
接下来,在图10中,在完成步骤S205、步骤S206中的一次图像记录的执行时,构图决定块62更新图像记录历史信息。
该图像记录历史信息的内容和定义的具体示例依照下列实施例而不同。在任何情况下,在下一步S207中的确定结果依照成像记录历史信息的内容获得。
在步骤S207中,构图决定块62基于当前成像记录历史信息的内容确定是否满足针对到后续被摄体配置的过渡的条件。
此处描述的被摄体配置是由捕获图像数据代表的图像中获得的个体被摄体的组合。
现在假定仅包括被摄体A的图像目前已经被自动记录。换句话说,作为构图的要素,由仅包括被摄体A的被摄体配置构成的图像被自动图像记录。
然后,如果例如除被摄体A之外还出现被摄体B和C,则除仅包含被摄体A的被摄体配置之外的“其他被摄体配置”的组合,可以如下:“仅被摄体B”、“仅被摄体C”、“被摄体A和B的组合”、“被摄体A和C的组合”、“被摄体B和C的组合”以及“被摄体A、B和C的组合”。
如果在步骤S207得到否定的确定结果,则过程返回步骤S201。在此情况下,在上述示例中,例如在步骤S503中仅再次检测到被摄体A。也就是说,检测到与前一次时间的被摄体配置相同的被摄体配置。然后,再次进行具有仅包括被摄体A的构图的图像记录。
然后,像在上述方式中那样,假定将在例如相同被摄体配置的条件下的图像记录重复规定次数。作为其结果,在步骤S207中获得肯定的确定结果并且过程前进到步骤S208。
在步骤S208中,进行成像视野范围改变控制以便检测上述其他被摄体配置之一的被摄体。也就是说,通过使用摇摄/倾斜/变焦控制块63进行摇摄控制、倾斜控制和变焦控制中的至少一个,以改变成像视野范围,然后过程返回步骤S201。如果成像视野范围改变了,则可能检测到捕获图像数据代表的图像中还未出现的被摄体。也就是说,可能获得至少不同于上一图像记录的被对象构成的被摄体结构。
应当注意,将通过下面两个示例描述对应于步骤S208的成像视野范围改变控制的具体示例。
像将从以下实施例的描述中了解到的那样,依照这种控制,至少有可能不用记录具有相同被摄体配置的捕获图像超过需要的次数。此外,如果具有一种被摄体配置的捕获图像的记录被重复了特定次数,则搜索并图像记录另一种被摄体配置。因此,有可能例如作为被摄体出现在本实施例的成像系统周围的人物,将尽可能平等地被图像记录,而不用关注特定被摄体。因此,在由许多图像记录图像数据代表的图像(照片)中,平等地包含在成像系统周围的人物,并且如果用户以后稍后观察这些照片,它们很有意思。
<5.成像视野范围改变控制算法的示例(第二实施例)>
图11的流程图图示了作为第二实施例的、包括成像视野范围改变控制算法的具体示例的构图控制处理的示例。应当注意,在该简图中的步骤S301到S307以及步骤S309类似于图10的步骤S201到S207以及步骤S209。
图11的步骤S308对应于在图10的步骤S208中的成像视野范围改变控制。
在步骤S308中,摇摄/倾斜/变焦控制块63进行摇摄控制,以便云台10仅仅在摇摄方向以规定角度α°移动。
有几种方式来确定规定角度α°。将参考图13描述规定角度α°的设置的示例以及在步骤S308中由该规定角度α°的设置获得的操作的示例。
在图13的部分(a)中,从顶部观察数字照相机1。应当注意,尽管该数字照相机1实际上固定在云台10上,为简单表述的目的,将不示出云台10。
另外,为数字照相机1设置的视角由中心视角angC、左端视角angL以及右端视角angR表达。应当注意,中心视角angC与数字照相机1的成像光轴一致,并且从中心视角angC到左端视角angL的角度与从中心视角angC到右端视角angR的角度相同。在水平方向上的成像视角范围对应于从左端视角angL到右端视角angR的范围。为了描述目的,现在假定设置水平方向上的成像视野范围为最广视角(广角端)。然后,此处,广角端视角设置为70°。
然后,如图所示,现在假定两个被摄体SBJ0和SBJ1出现在数字照相机1和云台10的周围。为了描述目的,也假定被摄体不被移动并且其绝对位置是固定的。
在图13的部分(a)的状态下,现在假定被摄体SBJ0和SBJ1中仅有被摄体SBJ0包含于数字照相机1的成像视野范围内。然后,现在假定作为在图13的部分(a)中示出的状态下,根据在图11中示出的算法,进行包含在帧内的被摄体SBJ0的捕获图像数据的图像记录例如预定次数的结果,由于满足了针对到另一种被摄体配置的过渡的条件而在步骤S307中获得肯定的确定结果。
依照步骤s307中的肯定的确定结果,在步骤s308中,进行在摇摄方向上规定角度α°的移动。
在图13中所示的示例中,设置90°为规定角度α°的绝对值。这是因为数字照相机1的广角端的视角是70°并且设置大于此视角的合适值。也就是说,此处,作为规定角度α°,将设置大于数字照相机1的视角的值。
然后,此处,在步骤s308中,如图13中部分(b)所示,进行逆时针方向上规定角度α°=90°的摇摄动作。因此,数字照相机1的成像视野范围(水平方向)改变为在图13部分(b)中从左端视角angL-1到右端视角angR-1的范围。
按照这种方式,作为进行逆时针方向上的90°摇摄动作(例如,大于广角端的视角的摇摄动作)的结果,不存在在进行摇摄动作后新获得的成像视野范围(从angL-1到angR-1)与在进行摇摄动作前的成像视野范围(从angL到angR)的重叠部分。因此,尽管被摄体SBJ0已经包含于在进行摇摄动作前的成像视野范围(从angL到angR)中,但在进行摇摄动作后,其延伸到成像视野范围(从angL-1到angR-1)之外。相反,被摄体SBJ1包含于在进行摇摄动作后的成像视野范围(从angL-1到angR-1)中。在此方式下,在图11所示的成像视野范围改变控制中,忽略先前检测到的被摄体,而获得不同于用于上一图像记录中使用的另一种被摄体配置。
应当注意,在图11的成像视野范围改变控制(步骤S307)中,如果在进行摇摄动作后的成像视野范围内没有被摄体,则检测不到被摄体。在此情况下,在步骤S303中获得否定的确定结果,并且在步骤S309中执行被摄体搜索控制。
此外,在上述描述中,在步骤S308的成像视野范围改变控制中,仅进行摇摄动作。然而,为了增加包含在成像视野范围内的新被摄体的可能性,用于移动数字照相机1到设置作为合适于检测被摄体的位置的预定摇摄位置的摇摄控制,或者用于返回广角端的变焦控制可以一起被执行。
<6.成像视野范围改变控制算法的示例(第三实施例)>
图12的流程图图示作为第三实施例的、包括不同于第二实施例的成像视野范围改变控制算法的具体示例的构图控制处理的示例。应当注意,此简图中的步骤S401、S402、S404到S407以及步骤S409类似于图10中的步骤S101、S102、S104到S107以及步骤S109。
在此情况下,在步骤S408中的处理对应于图10的步骤S208中的成像视野范围改变控制。在步骤S408中,通过使用摇摄/倾斜/变焦控制块63开始逆时针方向或顺时针方向上的摇摄动作,然后该过程返回步骤S401。
当过程从步骤S408返回到步骤S401,捕获图像数据代表的图像依照由摇摄动作进行的成像视野范围的改变而改变。然后,在该状态下,在步骤S402中执行被摄体检测处理。
此处,在步骤S403的确定处理中,如果该过程从步骤S407返回到步骤S401,并到达步骤S403,简单地作出关于是否已经在由捕获图像数据代表的图像中检测到被摄体的确定。
相反,如果该过程从步骤S407中的摇摄动作开始控制返回到步骤S401中并且到达步骤S403,确定的条件不同于上述条件。也就是说,在此情况下的步骤S403中,确定是否检测到不同于在执行步骤S408之前已经检测到的被摄体的新被摄体(对应于上一个图像记录),作为上述被摄体检测处理的结果。应当注意,在此确定中,仍然可以检测在执行步骤S408之前已经检测到的被摄体,或者因为它已经以特定时间延伸到成像视野范围之外而可能不会被检测到。
例如,即使在步骤S408中开始摇摄动作之后已经完成预定距离的移动,如果未检测到新被摄体,则在步骤S403中获得否定的确定结果。在此情况下,开始步骤S409中的被摄体检测处理,并且该过程返回至步骤S401。
相反,如果因为已经检测到新被摄体而获得肯定的确定结果,则该过程前进到步骤S404及后续步骤。
根据作为图12所示的成像视野范围改变控制的、在步骤S408中的控制的操作的具体示例示出在图14中。
与图13的部分(a)所示的状态相同的状态被示出在图14的部分(a)中。在此情况下,还假定在图14的部分(a)中所示的状态下,作为通过使用包含被摄体SBJ0的构图进行图像记录预定次数的结果,在步骤S407中获得肯定的确定结果。
从而,在上述步骤S408中开始摇摄动作。此处,现在假定逆时针方向上的摇摄动作从图14的部分(a)中所示的位置进行。
然后,如图14的部分(b)所示,当从图14的部分(a)中所示的位置以等同于移动角度F的量进行摇摄动作时,获得被摄体SBJ1包含在从左端视角angL-1到右端视角angR-1的成像视野范围内的状态。依照该状态,在步骤S403中获得肯定的确定结果,并且该过程前进至步骤S404的处理以及后续步骤。
此处,如图14部分(b)所示,在进行摇摄动作后从左端视角angL-1到右端视角angR-1的成像视野范围内,不仅包含被摄体SBJ1,而且包含已经包含在进行摇摄动作前从左端视角angL到右端视角angR的成像视野范围内的被摄体SBJ0。按照这种方式,即使在进行摇摄动作前已经包含的被摄体SBJ0出现在图像中,仍然通过被摄体SBJ0和新被摄体SBJ1的组合来表达被摄体配置,因此它不同于在步骤S408中进行摇摄动作(成像视野范围改变控制)之前的被摄体配置)。然后,如果在图14的部分(b)的状态下,在步骤S403中获得肯定的确定结果,则在步骤S404中在构图决定中获得对应于由两个被摄体构成的构图的构图决定结果。
<7.根据过渡条件的自动图像记录算法的示例(第四实施例)>
图15的流程图图示了根据在图10的步骤S207中确定的、针对到另一被摄体配置的过渡的条件(过渡条件)的具体示例的、作为第四实施例的构图控制算法的示例。
在图15中,步骤S501到S505、S508以及S510分别类似于图10的步骤S101到S205、S208以及S209。
在图15中,如果因为未检测到任何被摄体而在步骤S503中获得否定的确定结果,则在步骤S509中将0代入计数值cnt,然后在步骤S510中,开始被摄体搜索处理。然后该过程返回步骤S501。
像将从以下描述中理解的那样,计数值cnt是以相同被摄体配置连续进行图像记录的次数。
在步骤S505中,每当进行一次图像记录时,在步骤S506中执行增加计数值cnt的处理。在第四实施例中,执行图10的步骤S206中的图像记录历史信息的更新,作为在步骤S506中的计数值cnt的更新。也就是说,在此情况下的图像记录历史信息是有关以相同被摄体配置进行图像记录的次数的信息。
然后,由步骤S507作出在图10的步骤S207的、有关是否满足过渡条件的确定。在步骤S507中,将确定计数值cnt是否等于或大于规定的最大值N。在此情况下,作为阈值的规定的最大值N是对应于将对相同被摄体配置进行连续图像记录的规定次数的值。
如果在步骤S507中获得否定的确定结果,则仍然以相同被摄体配置进行图像记录,因此该过程返回到步骤S501。从而,在步骤S503中,检测与先前检测到的配置相同的被摄体配置,并且在步骤S504到S505,再次以特定构图执行图像记录。
然后,如果在步骤S507中获得肯定的确定结果,则已经以相同被摄体配置进行图像记录规定次数。然后,在此情况下,该过程前进到步骤S508,在步骤S508中执行成像视野范围改变控制。在步骤S511中,初始化计数值cnt,然后该过程返回步骤S501。
关于该成像视野范围改变控制,可以应用分别示出在图11或12中的第二或第三实施例。如果应用第三实施例,则在步骤S503中以类似于图12的步骤S403的方式确定是否已经检测到新被摄体。
在第四实施例中,当记录由具有相同被摄体配置的图像代表的捕获图像数据对应于规定的最大值N的次数时,搜索另一被摄体配置。也就是说,注意不记录超出需要的具有相同被摄体配置的图像。
<8.根据过渡条件的自动图像记录算法的示例(第五实施例)>
图16的流程图图示作为第五实施例的构图控制算法的示例。第五实施例采用根据不同于第四实施例的过渡条件的过渡条件的具体示例的构图控制。
在图16中,步骤S601到S606、S608以及S609分别对应于图10中的步骤S101到S105、S208以及S209。
在第五实施例中,存储记录摇摄/倾斜位置信息作为成像记录历史信息。尽管未示出,该记录摇摄/倾斜位置信息是在其下每当进行图像记录时存储在进行图像记录时的摇摄/倾斜位置的信息。摇摄方向可能更大程度上关心被摄体配置而不是倾斜方向。从而,代替记录摇摄/倾斜位置信息,可以使用仅仅登记在已经进行图像记录时的摇摄位置的信息。
在图16的步骤S606中,在记录摇摄/倾斜位置信息中重新登记当已经在步骤S605中进行了图像记录时的摇摄/倾斜位置。该步骤S606对应于在图10的步骤S206中的图像记录历史信息的更新。
然后,通过参照记录摇摄/倾斜位置信息,构图决定块62确定摇摄/倾斜位置的数量(用于决定的摇摄/倾斜位置的数量),其处于在先前的步骤S606中已经重新登记的摇摄/倾斜位置的相同范围内。用于决定的摇摄/倾斜位置的数量指示已经在几乎相同的摇摄/倾斜位置上进行了图像记录的次数。例如,在成像系统周围的被摄体的位置不改变太多的先决条件下,已经在几乎相同的摇摄/倾斜位置上进行图像记录的次数指示(也就是)已经以相同被摄体配置进行图像记录的次数。
然后,构图决定块62在步骤S607中确定用于决定的摇摄/倾斜位置的该数量(也就是,在已经在此次时进行了图像记录的摇摄/倾斜位置的范围内已经进行记录的次数)是否等于或大于规定的最大值N。
如果在步骤S607中获得否定的确定结果,则该过程返回到步骤S601。从而,通常,例如,在步骤S603中,检测与先前的时间的被摄体配置相同的被摄体配置,并且在步骤S605中,在被认为是与先前的时间的摇摄/倾斜位置相同的摇摄/倾斜位置的范围内进行图像记录。
然后,在该重复这样的处理的过程的特定时间上,在步骤S607中获得肯定的确定结果,然后该过程前进到步骤S608。
<9.根据过渡条件的自动图像记录算法的示例(第六实施例)>
作为被摄体检测处理,关于检测到的个体被摄体,本实施例的构图决定块62还进行用于区别个体的个体识别处理。因此,关于每一个被摄体的检测信息还包括指示关于每一个检测到的个体被摄体的个体识别处理结果的个体识别信息。
应当注意,关于个体识别处理的算法还类似于关于面部检测系统和技术的算法,并且在本实施例中不特别限制。
此外,在第六实施例中,关于通过个体识别处理获得的每一被摄体的个体信息被用作过渡条件。
图17的流程图图示了作为第六实施例的构图控制算法的示例。在此简图中,步骤S701到S705、S708以及S709分别对应于图10的步骤S101到S105、S108以及S109。
首先,在图17的步骤S702中的被摄体检测处理中,如上所述,检测结果包括关于每一检测到的被摄体的、用于区分和识别个体的信息(个体识别信息),作为基于面部识别进行个体识别处理的结果。
在此情况下的图像记录历史信息是基于个体的成像历史信息。尽管未示出,但基于个体的成像历史信息具有其中已经进行图像记录的次数与关于已经经历了图像记录的被摄体的每一个体识别信息相关联的结构。
在此基础上,在步骤S706中,作为对图像记录历史信息的更新处理,构图决定块62基于关于已经在步骤S705中被图像记录的图像中检测到的被摄体的个体识别信息,更新基于个体的成像历史信息。例如,如果关于已经在步骤S705中被图像记录的被摄体的个体识别信息还未登记在基于个体的成像历史信息中,则重新登记它,然后与基于个体的成像历史信息相关联地存储指示图像记录次数为1的数。相反,如果关于已经在步骤S705中被图像记录的被摄体的个体识别信息已经登记在基于个体的成像历史信息中,则通过增加该数来更新与该基于个体的成像历史信息相关联的图像记录次数。
然后,通过参考当前基于个体的成像历史信息,构图决定块62在步骤S707中确定到此为止是否已经对作为此次经历图像记录的个体的被摄体进行了图像记录的次数,是否等于或大于规定的最大值N。也就是说,在此情况下,通过确定作为被摄体的个体是否已经被记录对应于规定的最大数N或更大的预定次数,来确定过渡条件是否满足。
应当注意,在步骤S707的处理中,如果多个被摄体在此时经历了图像记录,则当对所有被摄体(个体)的图像记录次数等于或大于规定的最大数N时,作出肯定的确定结果。作为选择,当多个被摄体(个体)的特定数量的图像记录次数或多个被摄体的图像记录次数的特定比例等于或大于规定的最大数N时,作出肯定的确定结果。
如果在步骤S707中获得否定的确定结果,则该过程返回到步骤S701,其例如以相同的被摄体配置进行图像记录。然后,在该重复这样的处理的过程的特定时间上,在步骤S707中获得肯定的确定结果,然后该过程前进到步骤S708,在步骤S708中摇摄/倾斜/变焦控制块63进行成像视野范围改变控制。
此外,在此配置下,由于根据图12所示的第三实施例的成像视野范围控制的应用,因此如果过程在执行步骤S708后前进到步骤S701并且到达步骤S703,则可采用用于确定是否重新检测在先前的图像记录中还未检测到的个体被摄体的算法。
<10.根据成像频率所规定的最大值改变的示例(第七实施例)>
在由本实施例的成像系统进行的自动图像记录中,合适的成像频率可能依照在进行图像记录时的各种情形而不同。例如,如果在成像系统周围的被摄体的数量很小,则成像频率较低。反之,如果在成像系统周围的被摄体的数量很大,则成像频率最好高,以便对那些被摄体在特定的有限时间内平等地进行图像记录。另外,例如,本实施例的数字照相机1和云台10均为电池驱动型的。如果想要使电池的驱动时间尽可能长,则如果单位时间内切换摇摄/倾斜/变焦的总时间或图像记录次数较小将更有利。
鉴于此背景,本实施例的成像系统能够进行用于通过用户操作改变并设置自动图像记录频率的操作。
例如,可通过在数字照相机1上进行操作来实现该操作。例如,用户在显示在显示屏幕单元33a上的菜单屏幕等上进行操作,以要求(call)屏幕(记录频率设置屏幕)改变并设置自动图像记录频率(记录频率)。然后,通过在此记录频率设置屏幕上进行操作,用户能够选择并设置表现为记录频率的级别(level)。用户能够选择和设置的记录频率的级别不特别限制。例如,可以设置诸如从0(最低)到10(最高)的数值范围,并且用户可以从该数值范围内选择一个级别。作为选择,相反,作为其更简单的版本,可采用三个级别,即高、中、低。
此处,可以将在分别对应于前面的第四到第六实施例的图15到17的流程图中,当用作该用作关于是否满足过渡条件的确定的规定的最大值N的阈值,按照通常概念,看作对一种被摄体配置允许的图像记录次数的最大值。
基本上,作为这种规定的最大值N,可以提前规定合适的固定值。然而,尽管该规定的最大值N涉及记录频率,但是如果记录频率是可变的,而规定的最大值N是固定的,则可能会产生例如以下的不便。
例如,如果即便当记录频率被设置得很高时作为规定的最大值N的固定值也相对小,则以一种被摄体配置图像记录的照片数量很小,并且作为结果,该频率可能不增加。
从而,在第七实施例中,规定的最大值N也依照记录频率的设置而改变并设置。
图18的流程图图示作为该第七实施例的算法的示例。该处理可以由例如构图决定块62进行。
在图18中,首先,在步骤S801中,构图决定块62输入用于改变用户在记录频率设置屏幕上进行的记录频率的操作。然后,在步骤S802中,改变并设置准备用于改变并设置实际记录频率的预定参数,以便在进行实际操作时获得的关于自动图像记录的频率反映在步骤S801中设置的记录频率。
作为用于设置记录频率的参数,可以考虑几个参数。
在图15的S504和S505中的实际操作中,如果已经确定在进行取景控制的同时已经获得了已决定的构图,则进行图像记录。用于设置记录频率的参数之一可能是容限(margin)的改变,其用于确定是否已经关于被摄体位置、被摄体大小等这些构成已决定的构图的要素,获得了已决定的构图。
例如,在步骤S802中,随着所设置的记录频率变高,构图决定块62为上述被摄体位置和被摄体大小的目标值设置更大的容限。因此,即使有些被摄体位置、被摄体大小等相当地偏离原始目标值,也确定已经获得已决定的构图并且进行图像记录。也就是说,增加实际记录频率。
在图15的S504和S505中的关于是否已经获得已决定的构图的确定中,还确定是否已经获得了已决定的构图预定或更长的时间,并且如果已经经过了特定或更长的时间,则进行图像记录。该确定将确定已经多么稳定地获得了已决定的构图。
用于确定已决定的构图的稳定性的该预定时间也可以是用于设置记录频率的参数。
在此情况下,在步骤S802中,随着所设置的记录频率变高,则构图决定块62设置上述用于确定稳定性的预定时间变短。因此,即使构图有些不稳定,但确定构图是已决定的构图并进行图像记录。因此,增加实际记录频率。
此外,在图15中,如果在步骤S502中确定还未检测到被摄体,则在步骤S509重置计数值cnt后,该过程前进到步骤S510中的被摄体搜索处理。在此情况下,代替立即开始被摄体检测处理,可以在特定等待时间后开始被摄体检测处理。然后,该等待时间被看作用于设置记录频率的参数。
更具体地,在步骤S802中,随着通过用户操作设置的记录频率变高,构图决定块62执行用于设置上述等待时间逐渐变短的处理。应当注意,可依照最高记录频率设置等待时间为0。这改变了实际自动图像记录操作的记录频率。
此外,如果按原样执行图15所示的序列,则该过程立即从步骤S507返回到步骤S501。因此,可在较短周期内进行关于相同被摄体配置的、对应于规定的最大值N的次数的图像记录。因此,可以在进行后续图像记录之前设置在进行了一次图像记录后的等待时间,并且这可以是用于设置记录频率的参数。
同样在此情况下,在步骤S802中,随着通过用户操作设置的记录频率变高,构图决定块82设置上述等待时间逐渐缩短。同样在此情况下,依照最高记录频率设置等待时间为0。
关联于图15,可以构成算法以便当由于已经在步骤S507中获得否定的确定结果而使过程返回到步骤S501时,执行该等待时间的计数。
此外,作为由构图决定块62执行被摄体检测处理,例如,进行笑脸检测。此外,设置被摄体在微笑的条件作为已决定的构图的必要条件。在此情况下,在步骤S204中已经关于被摄体大小、被摄体位置等完成取景的步骤中,进一步确定被摄体是否在微笑。当获得笑脸时,在步骤S205中进行图像记录。
在此情况下,设置可匹配已决定的构图的微笑级别的阈值为用于设置记录频率的参数。然后,在步骤S802中,随着通过例如用户操作设置的记录频率变高,上述阈值设置成较低。当微笑级别的阈值较低时,图像记录更可能仅以小微笑级别进行。结果,增加了实际图像记录频率。
然后,在步骤S803中,依照用户操作设置的记录频率改变规定的最大值N。例如,如果想要消除上述不便,则随着所设置的记录频率变高,规定的最大值N可能改变。
应当注意,尽管在以上描述中,根据成像频率的规定的最大值的改变被应用到作为第四实施例的图15中所示的算法中,但是也可分别类似地应用到根据第五或第六实施例的图16或17所示的算法中。这一点也可应用于第八实施例,其将在以下描述。
<11.根据被摄体的数量的所规定的最大值的改变的示例(第八实施例)>
顺便提及,随着构成一种被摄体配置的被摄体的数量变大,由这些被摄体创建的图像内容可以变得更多样化(diverse)。从这个观点看,可以说随着被摄体检测过程检测到的被摄体的数量变大,甚至可以以相同被摄体配置增加图像记录次数。
从这个观点看,作为算法,以下配置更为可取。依照被摄体的数量改变规定的最大值N,例如,随着被摄体检测处理检测到的被摄体的数量变大,增加规定的最大值N。
第八实施例采用用于依照所检测到的被摄体的数量改变并设置规定的最大值N的算法。
图19的流程图图示包括第八实施例的配置的构图控制算法的示例。
图19中所示的处理基于对应于第八实施例应用到的第二实施例的图10的流程图。在此简图中,按相同步骤号来指定图10所示的相同步骤。
在图19中,在作为步骤S503的处理之后添加步骤S503-1。
在步骤S503-1中,依照已经在步骤S502和S503中的被摄体检测处理中检测到的被摄体的数量,改变规定的最大值N。例如,如上所述,这种改变可以通过使用预先设定的算术表达来作出,以便随着检测到的被摄体的数量变大而求出更大的规定的最大值N。
在步骤S507中,通过使用在上述步骤S503-1中求出的规定的最大值N来执行确定处理。
<12.修改示例>
【第一修改示例】
可以关联于一种被摄体配置考虑的最佳构图不一定只有一个,并且在现实中,可以考虑几种变化。例如,在第四实施例的描述中,可以对规定的最大值N进行一种被摄体配置的图像记录。在此情况下,如果每当朝向规定的最大值N进行图像记录时获得不同的构图,则关联于一种被摄体配置所获得的照片的内容变化,这更可取。
因此,在第一修改示例中,如上所述,提出用于在每当朝向规定的最大值N进行图像记录时使得不同构图能够被获得的配置。
图20图示根据第一修改示例的步骤的示例。
例如,该处理是用于选择当进行图15的步骤S504中的构图决定处理时的构图决定算法的处理。
首先,现在假定构图决定块62依照可设置的规定的最大数N在其中存储不同的构图决定算法。
在此基础上,在图20中,在步骤S901,构图决定块62首先调用当前计数值cnt。然后,在步骤S902中,构图决定块62将设置为该被调用的计数值代入变量m。
变量m对应于存储在构图决定块62中的构图决定算法标识号。在步骤S903中,构图决定块62调用在构图决定算法1到N之中的构图决定算法m(1<m<N)。然后,在步骤S904中,构图决定块62执行作为构图决定算法m的程序,以便为当前检测到的被摄体进行构图决定处理。
利用此处理,依照计数值cnt改变构图决定算法。也就是说,每当以一种被摄体配置进行图像记录时获得不同的构图。
应当注意,例如,如果存储了被摄体的绝对位置,则可以识别已经当完成了通过视野范围改变控制对所有被摄体成像的操作的周期时的时间。此外,在第六实施例的示例中,基于个体识别信息,可以识别已经完成了通过视野范围改变控制对所有周围的被摄体成像的操作的周期的时间。在此情况中,如果成像系统的自动图像记录操作持续是ON,则成像系统进行自动图像记录的第二周期。
然后,作为第一修改示例的应用,如上所述,每当已经完成了自动图像记录的一个周期,就可以改变构图决定算法。
【第二修改示例】
此外,如在上述第一修改示例中那样,当以一种被摄体配置和不同构图进行图像记录对应于规定的最大值N的次数时,实际上可以假定以下情形。
更具体地,例如,现在假定在步骤S504中选择的构图决定算法指示通过改变帧内多个被摄体之间的位置关系而获得的构图是合适的。在此情况下,如果作为被摄体的检测到的人物移动得非常少,则那些被摄体之间的位置关系不改变,从而不能获得已决定的构图。此外,作为构图决定算法,被摄体在微笑的条件可以是最佳构图的要素,或者被摄体面部方向不同于先前时间的方向的条件可以是最佳构图的要素。在此情况下,如果作为被摄体的人物总是不微笑,或者如果作为被摄体的人物朝向在与先前的图像记录的方向相同的方向上,则不获得已决定的构图。
如果在此方式下被摄体中没有改变,则即便进行图像记录对应于规定的最大值N的次数,仍然会获得仅具有类似图像的照片。然后,在该情形下,可以说,转换(shift)到另一种被摄体配置不用进行对应于规定的最大值N次数的图像记录是更好。
因此,在第二修改示例中,构成算法以使得当未获得已决定的构图时,如上所述,将被摄体配置转换为另一种被摄体配置。
图21的流程图图示了根据第二修改示例的构图控制算法的示例。在此简图中所示的处理是在其中将第二修改示例应用到根据图15中所示的第四实施例的算法的示例,并且与在图15中所示的步骤相同的步骤通过相同步骤号来指定。
在图21中,添加了步骤S504-1和S504-2。
在步骤S504中,构图决定块62通过利用关于对应于第一修改示例的、例如被摄体位置和被摄体大小的构图决定算法m和取景控制,来执行构图决定处理。然后构图决定块62在步骤S504-1中确定是否已经获得了已决定的构图(OK)。此处,正如在上述示例中那样,如果因为被摄体的位置或面部无改变而未获得已决定的构图,则执行在步骤S504中的构图控制和关于步骤S504-1中的构图是否OK的确定,直到在步骤S504-2中确定已经经过了预定时间为止。
此处,如果在步骤S504-1中确定在上述预定时间已经经过前,已决定的构图是OK,则过程前进到步骤S505及后续步骤以进行图像记录。
相反,如果在步骤S504-2中确定预定时间已经经过而未获得在步骤S504-1中构图是OK的确定结果,则过程前进到步骤S508,在其中进行通过使用摇摄/倾斜/变焦控制块63的成像视野范围改变控制。
尽管其基本上仅仅是暂时的,但由于在步骤S504-2中确定预定时间已经经过而转换到步骤S508的序列,可以看作在步骤S507获得肯定的确定结果(其中由于构图中无改变而作出规定的最大值N等于当前计数值cnt)的处理。
应当注意,已经在依据计数值cnt改变已决定的构图的先决条件下描述了第二修改示例。然而,第二修改示例也可应用于其中已决定的构图不改变的算法。在此情况下,如果对于预定时间未获得依照一种被摄体配置决定的构图,则过程前进到步骤S508中的成像视野范围改变控制,而甚至连一次都不进行图像记录。
此外,关于第一到第八实施例以及第一和第二修改示例的组合,不同于上述组合的其组合也是可能的。
<13.本实施例的成像系统的修改示例>
图12图示了作为对于图7和8中所示的本实施例的成像系统作出修改的示例的配置的示例。
在此图中,首先,基于成像在信号处理单元24产生的捕获图像数据从数字照相机1经通信控制处理块63发送至云台10。
在此简图中,作为云台10的配置,示出了通信控制处理块71、摇摄/倾斜控制处理块72、被摄体检测处理快73以及构图控制处理块74。
通信控制处理块71是对应于图7中所示的通信单元52的功能部分,并且是配置为依照预定协议,与数字照相机1的通信控制处理块63(云台兼容通信单元34)进行通信处理的部分。
由通信控制处理块71接收到的捕获图像数据被传递到被摄体检测处理块73。该被摄体检测块73配置为包括能够进行至少可比较于图8中所示的构图决定块62的被摄体检测处理的信号处理单元,并且对输入的捕获图像数据进行被摄体检测处理,以输出检测信息到构图控制处理块74。
构图控制处理块74能够进行可与图8中所示的构图决定块62相比的构图控制。当作为本构图控制处理的结果进行摇摄控制和倾斜控制时,构图控制处理块74输出用于摇摄控制和倾斜控制的控制信号到摇摄/倾斜控制处理块72。
在图7中所示的控制单元51执行的控制处理操作之中,摇摄/倾斜控制处理块72用作进行关于摇摄/倾斜控制的处理的执行功能,并且分别将依照输入的控制信号控制摇摄机构单元53和倾斜机构单元56的移动的信号,输出到摇摄驱动单元55和倾斜驱动单元58。通过此操作,进行摇摄和倾斜以便可以获得由构图控制处理块62决定的构图。
按照这种方式,图22中所示的成像系统配置为从数字照相机1向云台10发送捕获图像数据,以便基于输入的捕获图像数据在云台10上进行被摄体检测处理和构图控制。
例如,如果适应于进行变焦控制,则构图控制块74配置为通过通信控制处理块71指令数字照相机1进行变焦控制。
图23图示作为制造本实施例的成像系统的另一个修改示例的配置的示例。在此简图中,与图22中所示的要素相同的要素用相同附图标记指定,因此忽略其解释。
在此系统中,为云台10提供成像单元75。该成像单元75包括例如成像光学系统和成像器件(成像器),并且基于成像光获得信号(成像信号)。成像单元75还包括用于从该成像信号产生捕获图像数据的信号处理单元。该配置对应于例如包括在图6中所示的光学系统单元21、图像传感器22、A/D转换器23和信号处理单元24中获得捕获图像数据的信号处理步骤的部分。在成像单元75产生的捕获图像数据输出到被摄体检测处理块73。应当注意,成像捕获光输入到成像单元75的方向(成像方向)设置为尽可能与放置在云台10上的数字照相机1的光学系统单元21(镜头单元3)的成像方向接近。
在此情况下,如图22,被摄体检测处理块73和构图控制处理块74分别进行被摄体检测处理和构图控制处理。然而,在此情况下,除了摇摄/倾斜控制,构图控制处理块74引发通信控制处理块71依照要进行释放操作的时间,发送释放指令信号到数字照相机1。一旦接收到释放指令信号,数字照相机1就进行释放操作。
按照这种方式,在该修改示例中,关于被摄体检测处理和构图控制,除了释放操作本身外的所有控制/处理操作均可以在云台10内完成。
在上述本实施例那样的构图控制中执行的摇摄控制和倾斜控制通过控制云台10的摇摄/倾斜机构的移动来进行。然而,例如,代替云台10,可以采用例如以下配置。由反射器反射的成像光入射在入数字照相机1的镜头单元3上。基于此,移动反射光以便在基于成像光所获得的图像中获得摇摄和倾斜结果。
作为选择,可进行控制以便用于从数字照相机1的图像传感器22接收作为有效图像的成像信号的像素区域在水平方向和垂直方向上转移(shift),从而获得可相比于摇摄/倾斜的结果。在此情况下,除了数字照相机1之外,不必提供云台10或等效于云台10的摇摄/倾斜器件,并且通过简单地使用数字照相机1,可以完成作为本实施例的构图控制。
作为选择,可以提供在水平和垂直方向上改变光学系统单元21中的镜头的光轴的机构,并且可以通过控制该机构的移动来进行摇摄和倾斜。
此外,在前述实施例中,本实施例的成像系统由作为独立设备的数字照相机1和云台10构成。然而,例如,成像系统可配置为通过集成对应于数字照相机1的成像单元和对应于云台10的可移动机构单元而构成的成像设备。
此外,在前述实施例中,假定被摄体(个体被摄体)是人物,然而可将本申请的发明应用到除了人的动物是被摄体的情况。
另外,作为被摄体检测的对象的图像数据不仅限于通过成像获得的数据(捕获图像数据)。例如,可以考虑代表图像内容的图像数据,例如绘图和设计图。
另外,依照本申请的发明决定的构图(最佳构图)不一定限制于通过向诸如三分构图法(rule ofthirds)的构图设置技术增加要素(也就是被检测到的个体被摄体的数量)而决定的构图。例如,即使是关于通常被认为不好的构图,用户仍然可以依赖于构图的设置认为它有趣或者甚至很好。从而,依据本申请的发明决定的构图(最佳构图)可被设置为在实际或娱乐特征考虑中所想要的。在现实中,已决定的构图不受局限。
另外,如上所述,依照本申请的发明的配置的至少部分可通过引发CPU或DSP执行程序来实现。
这种程序可在制造时被记录并存储在例如ROM中,或者被存储在可移动存储介质中然后从该存储介质中安装(包括更新)到DSP支持型非易失存储区域或闪存30。作为选择,程序可以在作为主机的另一设备的控制下,通过诸如USB或IEEE 1394之类的数据接口安装。此外,程序可被存储在例如网络上的服务器的存储器件中。然后,可提供网络功能给数字照相机1,以便数字照相机1被配置为从该服务器下载和获得程序。
附图标记清单
1数字照相机、2快门按钮、3镜头单元、10云台、21光学系统、22图像传感器、23A/D转换器、24信号处理单元、25编码/解码单元、26介质控制器、27控制单元、28ROM、29RAM、30闪存、31操作单元、32显示驱动器、33显示单元、34云台兼容通信单元、40存储卡、51控制单元、52通信单元、53摇摄机构单元、54摇摄马达、55摇摄驱动单元、56倾斜机构单元、57倾斜马达、58倾斜驱动单元、61图像记录块、62构图决定块、63摇摄/倾斜/变焦控制块、64通信控制处理块、SBJ(SBJ0-n)被摄体、71通信控制处理块、72摇摄/倾斜控制处理块、73被摄体检测处理块、74构图控制处理块、75成像单元。
Claims (15)
1.一种控制设备,包括:
被摄体检测装置,用于在其中输入通过使用成像单元进行成像所获得的图像数据,并用于检测到出现于基于图像数据的图像中的被摄体;
图像记录控制装置,用于进行控制以便执行图像记录,用于在记录介质上记录表示包含由被摄体检测装置检测到的被摄体的图像的图像数据;
过渡确定装置,用于基于图像记录历史确定是否进行向其中另一种被摄体配置将由被摄体检测装置检测的状态的过渡;以及
成像视野范围改变控制装置,用于依照已经由过渡确定装置获得过渡将执行的确定结果的事实,控制改变成像单元的成像视野范围的可移动机构单元的驱动,以便构成至少不同于上一图像记录中使用的被摄体配置的被摄体配置的被摄体将由被摄体检测装置检测。
2.根据权利要求1的控制设备,其中成像视野范围改变控制装置控制可移动机构单元的驱动以便可移动机构单元沿预定方向移动规定角度。
3.根据权利要求1的控制设备,其中成像视野范围改变控制装置基于由被摄体检测装置获得的检测结果控制可移动机构单元的驱动,以便可移动机构单元沿预定方向移动,直到新检测到在上一图像记录中未由被摄体检测装置检测到的被摄体为止。
4.根据权利要求1到3之一的控制设备,其中过渡确定装置存储记录指示已经进行了使用记录控制装置、具有相同被摄体配置的记录的次数的次数信息作为历史,并且基于记录次数信息指示的次数确定是否执行向其中另一种被摄体配置将由被摄体检测装置检测的状态的过渡。
5.根据权利要求1到3之一的控制设备,其中过渡确定装置存储指示当已经进行了使用记录控制装置的记录时可移动机构单元的位置的记录位置信息作为历史,并且基于记录位置信息,依照在被作为相同于在其上已经进行了上一图像记录的可移动机构单元位置的位置上的图像记录次数,确定是否进行向其中另一种被摄体配置将由被摄体检测装置检测的状态的过渡。
6.根据权利要求1到3之一的控制设备,其中:
被摄体检测装置对每一个检测到的被摄体进行个体识别处理,以便获得用于区分和识别个体的个体识别信息;以及
过渡确定装置存储指示对每一个用作由个体识别信息识别出个体的被摄体已经进行了使用记录控制装置的记录的次数的个体记录次数信息作为历史,并且基于个体记录次数信息指示的次数,确定是否进行向其中另一种被摄体配置将由被摄体检测装置检测的状态的过渡。
7.根据权利要求4到6之一的控制设备,进一步包括:
频率改变/设置装置,用于改变并设置用以进行图像记录的频率,
其中过渡确定装置依照由有关历史的信息指示的次数等同于或大于预定阈值的事实,确定将进行向其中另一种被摄体配置将由被摄体检测装置检测的状态的过渡,并且依照由频率改变/设置装置设置的频率改变并设置阈值。
8.根据权利要求4到7之一的控制设备,其中过渡确定装置依照由有关历史的信息指示的次数等同于或大于预定阈值的事实,确定将进行向其中另一种被摄体配置将由被摄体检测装置检测的状态的过渡,并且依照由被摄体检测装置检测到的被摄体的数量改变并设置阈值。
9.根据权利要求1到8之一的控制设备,进一步包括:
构图决定装置,用于依照由被摄体检测装置检测到的被摄体决定构图;以及
取景控制装置,用于执行对可移动机构单元的驱动控制和对成像单元的变焦控制中的至少一个,作为获得已决定的构图的取景控制,
其中记录控制装置依照已经获得已决定的构图的事实进行图像记录。
10.根据权利要求9的控制设备,其中构图决定装置获得不同于在以相同于在当前图像记录中使用的被摄体配置的被摄体配置进行的上一图像记录中使用的构图的构图,作为当前构图决定的决定结果。
11.根据权利要求9或10的控制设备,其中如果在预定时间内未获得由构图决定装置决定的构图,则成像视野范围改变控制装置控制可移动机构单元的驱动。
12.一种成像系统,包括:
控制设备;以及
可移动机构设备,包括可移动机构,以便改变控制设备的成像视野范围,
控制设备或可移动机构设备包括:
被摄体检测装置,用于在其中输入通过使用控制设备进行成像所获得的图像数据,并且用于检测到出现于基于图像数据的图像中的被摄体,
图像记录控制装置,用于进行控制以便执行图像记录,用于在控制设备的记录介质上记录代表包含有被摄体检测装置检测到的被摄体的图像的图像数据,
过渡确定装置,用于基于图像记录历史,确定是否进行向其中另一种被摄体配置将由被摄体检测装置检测的状态的过渡,以及
成像视野范围改变控制装置,用于依照已经由过渡确定装置获得将进行过渡的确定结果的事实,控制可移动机构设备的驱动,以便构成至少不同于上一图像记录中使用的被摄体配置的被摄体配置的被摄体将由被摄体检测装置检测。
13.一种控制方法,包括:
被摄体检测步骤,在其中输入通过使用成像单元进行成像所获得的图像数据,并且检测到出现于基于图像数据的图像中的被摄体;
图像记录控制步骤,进行控制以便执行图像记录,用于在记录介质上记录表示包含由被摄体检测步骤检测到的被摄体的图像的图像数据;
过渡确定步骤,基于图像记录的历史确定是否进行向其中另一种被摄体配置将由被摄体检测步骤检测的状态的过渡;以及
成像视野范围改变控制步骤,依照已经由过渡确定步骤获得将进行过渡的确定结果的事实,控制改变成像单元的成像视野范围的可移动机构单元的驱动,以便构成至少不同于上一图像记录中使用的被摄体配置的被摄体配置的被摄体将由被摄体检测步骤检测。
14.一种程序,用以引发控制设备进行:
被摄体检测步骤,在其中输入通过进行成像所获得的图像数据,并且检测到出现于基于图像数据的图像中的被摄体;
图像记录控制步骤,用于进行控制以便执行图像记录,用于在记录介质上记录代表包含有被摄体检测装置检测到的被摄体的图像的图像数据;
过渡确定步骤,用于基于图像记录历史,确定是否进行向其中另一种被摄体配置将由被摄体检测步骤检测的状态的过渡;以及
成像视野范围改变控制步骤,用于依照已经由过渡确定步骤获得将进行过渡的确定结果的事实,控制改变成像单元的成像视野范围的可移动机构单元的驱动,以便构成至少不同于上一图像记录中使用的被摄体配置的被摄体配置的被摄体将由被摄体检测步骤检测。
15.一种图像处理设备,包括:
被摄体检测装置,用于在其中输入通过使用成像单元进行成像所获得的图像数据,并且检测到出现于基于图像数据的图像中的被摄体;
记录控制装置,用于进行控制以便执行图像记录,用于在记录介质上记录其中由被摄体检测装置检测到的被摄体被包含在帧中的图像数据;
过渡确定装置,用于基于记录操作的历史确定是否进行向其中另一种被摄体配置将由被摄体检测装置检测的状态的过渡;以及
帧改变装置,用于依照已经由过渡确定装置获得将进行过渡的确定结果的事实,改变帧以便构成至少不同于上一图像记录中使用的被摄体配置的被摄体配置的被摄体将由被摄体检测装置检测。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009-176626 | 2009-07-29 | ||
JP2009176626A JP5434339B2 (ja) | 2009-07-29 | 2009-07-29 | 撮像制御装置、撮像システム、撮像方法、プログラム |
PCT/JP2010/062300 WO2011013563A1 (ja) | 2009-07-29 | 2010-07-22 | 制御装置、撮像システム、制御方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102498712A true CN102498712A (zh) | 2012-06-13 |
CN102498712B CN102498712B (zh) | 2014-09-17 |
Family
ID=43529221
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080041973.XA Expired - Fee Related CN102498712B (zh) | 2009-07-29 | 2010-07-22 | 控制设备、成像系统和控制方法 |
Country Status (10)
Country | Link |
---|---|
US (1) | US9596415B2 (zh) |
EP (1) | EP2461570A4 (zh) |
JP (1) | JP5434339B2 (zh) |
KR (1) | KR20120052238A (zh) |
CN (1) | CN102498712B (zh) |
BR (1) | BR112012001725A2 (zh) |
IN (1) | IN2012DN00623A (zh) |
RU (1) | RU2012102039A (zh) |
TW (1) | TW201134206A (zh) |
WO (1) | WO2011013563A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107816989A (zh) * | 2017-10-13 | 2018-03-20 | 中国船舶重工集团公司七五0试验场 | 水下机器人航向数据处理方法和装置 |
CN108664889A (zh) * | 2017-03-28 | 2018-10-16 | 卡西欧计算机株式会社 | 对象物检测装置、对象物检测方法以及记录介质 |
CN111150397A (zh) * | 2018-11-07 | 2020-05-15 | 西门子医疗有限公司 | 创建检查对象影像的方法、医学成像系统以及其应用 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5206095B2 (ja) | 2008-04-25 | 2013-06-12 | ソニー株式会社 | 構図判定装置、構図判定方法、プログラム |
JP5453953B2 (ja) * | 2009-06-24 | 2014-03-26 | ソニー株式会社 | 可動機構部制御装置、可動機構部制御方法、プログラム |
DE112016002564T5 (de) * | 2015-06-08 | 2018-03-22 | Sony Corporation | Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und programm |
US10348166B2 (en) * | 2016-03-31 | 2019-07-09 | Steven W. David | Motor with encoder for robotic camera systems |
WO2019124055A1 (ja) * | 2017-12-18 | 2019-06-27 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
JP7403218B2 (ja) * | 2017-12-18 | 2023-12-22 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
JP2021057816A (ja) | 2019-09-30 | 2021-04-08 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
US11772606B2 (en) * | 2019-12-09 | 2023-10-03 | Rosemount Aerospace Inc. | Reversible motor configured with motion stops for aircraft windshield wiper system |
JP7406902B2 (ja) * | 2019-12-10 | 2023-12-28 | キヤノン株式会社 | 制御装置、制御方法、プログラム、方法及び記憶媒体 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001189889A (ja) * | 1999-12-28 | 2001-07-10 | Canon Inc | 画像処理装置及びその方法、撮影装置の制御装置及び制御方法、並びに記憶媒体 |
EP1737216A1 (en) * | 2005-06-22 | 2006-12-27 | Omron Corporation | Object determination device, imaging device and monitor |
US20080024621A1 (en) * | 2006-07-25 | 2008-01-31 | Fujifilm Corporation | System for and method of taking image and computer program |
CN101483718A (zh) * | 2008-01-07 | 2009-07-15 | 索尼株式会社 | 成像控制装置和成像控制方法 |
Family Cites Families (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01177275A (ja) * | 1988-01-06 | 1989-07-13 | Dainippon Screen Mfg Co Ltd | 画像の変倍記録装置 |
JPH11240202A (ja) * | 1997-12-25 | 1999-09-07 | Canon Inc | 画像記録装置及び複写システム |
JP3640871B2 (ja) * | 2000-08-04 | 2005-04-20 | 松下電器産業株式会社 | 撮像情報記録装置 |
US7251346B2 (en) * | 2002-11-19 | 2007-07-31 | Honda Motor Co., Ltd. | Moving object detection device, moving object detection method, and moving object detection program |
US20040207743A1 (en) * | 2003-04-15 | 2004-10-21 | Nikon Corporation | Digital camera system |
US20040233282A1 (en) * | 2003-05-22 | 2004-11-25 | Stavely Donald J. | Systems, apparatus, and methods for surveillance of an area |
JP3944151B2 (ja) * | 2003-10-31 | 2007-07-11 | キヤノン株式会社 | 画像処理方法、画像処理装置および画像処理プログラム |
JP2006174412A (ja) * | 2004-11-18 | 2006-06-29 | Fuji Photo Film Co Ltd | 撮像装置 |
JP4328286B2 (ja) * | 2004-12-14 | 2009-09-09 | 本田技研工業株式会社 | 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム |
JP4324170B2 (ja) * | 2005-03-17 | 2009-09-02 | キヤノン株式会社 | 撮像装置およびディスプレイの制御方法 |
JP4177826B2 (ja) * | 2005-03-23 | 2008-11-05 | 株式会社東芝 | 画像処理装置および画像処理方法 |
US9363487B2 (en) * | 2005-09-08 | 2016-06-07 | Avigilon Fortress Corporation | Scanning camera-based video surveillance system |
US8599267B2 (en) * | 2006-03-15 | 2013-12-03 | Omron Corporation | Tracking device, tracking method, tracking device control program, and computer-readable recording medium |
US7551800B2 (en) * | 2006-08-09 | 2009-06-23 | Fotonation Vision Limited | Detection of airborne flash artifacts using preflash image |
US20080166052A1 (en) * | 2007-01-10 | 2008-07-10 | Toshinobu Hatano | Face condition determining device and imaging device |
GB2448221B (en) * | 2007-04-02 | 2012-02-01 | Samsung Electronics Co Ltd | Method and apparatus for providing composition information in digital image processing device |
JP4894712B2 (ja) | 2007-10-17 | 2012-03-14 | ソニー株式会社 | 構図判定装置、構図判定方法、プログラム |
JP5115139B2 (ja) * | 2007-10-17 | 2013-01-09 | ソニー株式会社 | 構図判定装置、構図判定方法、プログラム |
JP2009129389A (ja) | 2007-11-28 | 2009-06-11 | Sony Corp | 情報処理装置および方法、並びにプログラム |
JP4544311B2 (ja) * | 2008-01-24 | 2010-09-15 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理装置 |
JP4508257B2 (ja) * | 2008-03-19 | 2010-07-21 | ソニー株式会社 | 構図判定装置、構図判定方法、プログラム |
JP5206095B2 (ja) * | 2008-04-25 | 2013-06-12 | ソニー株式会社 | 構図判定装置、構図判定方法、プログラム |
JP4640456B2 (ja) * | 2008-06-25 | 2011-03-02 | ソニー株式会社 | 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム |
IL193906A (en) * | 2008-09-04 | 2012-06-28 | Pro Track Ltd | Methods and systems for creating an aligned bank of images with an iterative self-correction technique for coordinate acquisition and object detection |
JP4561914B2 (ja) * | 2008-09-22 | 2010-10-13 | ソニー株式会社 | 操作入力装置、操作入力方法、プログラム |
JP4983784B2 (ja) | 2008-12-18 | 2012-07-25 | ソニー株式会社 | 撮像システム、画像提示方法、制御装置、プログラム |
JP5453953B2 (ja) | 2009-06-24 | 2014-03-26 | ソニー株式会社 | 可動機構部制御装置、可動機構部制御方法、プログラム |
JP2011009929A (ja) | 2009-06-24 | 2011-01-13 | Sony Corp | 可動機構部制御装置、可動機構部制御方法、プログラム |
JP5359645B2 (ja) | 2009-07-23 | 2013-12-04 | ソニー株式会社 | 構図判定装置、撮像システム、構図判定方法、プログラム |
JP5347802B2 (ja) | 2009-07-27 | 2013-11-20 | ソニー株式会社 | 構図制御装置、撮像システム、構図制御方法、プログラム |
JP5407640B2 (ja) | 2009-07-29 | 2014-02-05 | ソニー株式会社 | 画像対応装置、動作設定方法、プログラム |
US8294768B2 (en) * | 2009-11-23 | 2012-10-23 | Hon Hai Precision Industry Co., Ltd. | System and method for motion detection |
JP2011139231A (ja) | 2009-12-28 | 2011-07-14 | Sony Corp | 画像処理装置、画像処理方法、プログラム |
US8605158B2 (en) | 2009-12-28 | 2013-12-10 | Sony Corporation | Image pickup control apparatus, image pickup control method and computer readable medium for changing an image pickup mode |
JP5504915B2 (ja) | 2010-01-26 | 2014-05-28 | ソニー株式会社 | 撮像制御装置、撮像制御方法、プログラム |
JP2011155361A (ja) | 2010-01-26 | 2011-08-11 | Sony Corp | 撮像装置、撮像制御方法、プログラム |
JP2011188065A (ja) | 2010-03-05 | 2011-09-22 | Sony Corp | 撮像制御装置、被写体検出方法、プログラム |
JP5533048B2 (ja) | 2010-03-08 | 2014-06-25 | ソニー株式会社 | 撮像制御装置、撮像制御方法 |
JP5577900B2 (ja) | 2010-07-05 | 2014-08-27 | ソニー株式会社 | 撮像制御装置、撮像制御方法、プログラム |
US8831285B2 (en) * | 2012-07-26 | 2014-09-09 | Hewlett-Packard Development Company, L.P. | Detecting objects with a depth sensor |
-
2009
- 2009-07-29 JP JP2009176626A patent/JP5434339B2/ja not_active Expired - Fee Related
-
2010
- 2010-07-15 TW TW099123293A patent/TW201134206A/zh unknown
- 2010-07-22 CN CN201080041973.XA patent/CN102498712B/zh not_active Expired - Fee Related
- 2010-07-22 US US13/384,686 patent/US9596415B2/en active Active
- 2010-07-22 WO PCT/JP2010/062300 patent/WO2011013563A1/ja active Application Filing
- 2010-07-22 RU RU2012102039/07A patent/RU2012102039A/ru not_active Application Discontinuation
- 2010-07-22 EP EP10804309.2A patent/EP2461570A4/en not_active Withdrawn
- 2010-07-22 BR BR112012001725A patent/BR112012001725A2/pt not_active IP Right Cessation
- 2010-07-22 KR KR1020127001779A patent/KR20120052238A/ko not_active Application Discontinuation
-
2012
- 2012-01-20 IN IN623DEN2012 patent/IN2012DN00623A/en unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001189889A (ja) * | 1999-12-28 | 2001-07-10 | Canon Inc | 画像処理装置及びその方法、撮影装置の制御装置及び制御方法、並びに記憶媒体 |
EP1737216A1 (en) * | 2005-06-22 | 2006-12-27 | Omron Corporation | Object determination device, imaging device and monitor |
US20080024621A1 (en) * | 2006-07-25 | 2008-01-31 | Fujifilm Corporation | System for and method of taking image and computer program |
CN101483718A (zh) * | 2008-01-07 | 2009-07-15 | 索尼株式会社 | 成像控制装置和成像控制方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108664889A (zh) * | 2017-03-28 | 2018-10-16 | 卡西欧计算机株式会社 | 对象物检测装置、对象物检测方法以及记录介质 |
CN108664889B (zh) * | 2017-03-28 | 2023-07-25 | 卡西欧计算机株式会社 | 对象物检测装置、对象物检测方法以及记录介质 |
CN107816989A (zh) * | 2017-10-13 | 2018-03-20 | 中国船舶重工集团公司七五0试验场 | 水下机器人航向数据处理方法和装置 |
CN107816989B (zh) * | 2017-10-13 | 2021-01-08 | 中国船舶重工集团公司七五0试验场 | 水下机器人航向数据处理方法和装置 |
CN111150397A (zh) * | 2018-11-07 | 2020-05-15 | 西门子医疗有限公司 | 创建检查对象影像的方法、医学成像系统以及其应用 |
CN111150397B (zh) * | 2018-11-07 | 2023-09-08 | 西门子医疗有限公司 | 创建检查对象影像的方法、医学成像系统以及其应用 |
US11881300B2 (en) | 2018-11-07 | 2024-01-23 | Siemens Healthcare Gmbh | Method, system, and medical imaging system for creating an image of an examination object and the use of such images |
Also Published As
Publication number | Publication date |
---|---|
BR112012001725A2 (pt) | 2019-09-24 |
US20120120249A1 (en) | 2012-05-17 |
EP2461570A4 (en) | 2013-12-18 |
TW201134206A (en) | 2011-10-01 |
CN102498712B (zh) | 2014-09-17 |
JP2011030164A (ja) | 2011-02-10 |
EP2461570A1 (en) | 2012-06-06 |
WO2011013563A1 (ja) | 2011-02-03 |
US9596415B2 (en) | 2017-03-14 |
KR20120052238A (ko) | 2012-05-23 |
JP5434339B2 (ja) | 2014-03-05 |
IN2012DN00623A (zh) | 2015-06-12 |
RU2012102039A (ru) | 2013-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102498712B (zh) | 控制设备、成像系统和控制方法 | |
CN101616261B (zh) | 图像记录设备和方法、图像处理设备和方法 | |
CN101686329B (zh) | 操作输入设备和操作输入方法 | |
CN102761706B (zh) | 成像设备和成像方法 | |
CN104349051B (zh) | 被摄体检测装置以及被摄体检测装置的控制方法 | |
CN102550016A (zh) | 控制装置、控制方法和程序 | |
CN106605404B (zh) | 相机的初始位置设定方法、相机及相机系统 | |
CN103248813A (zh) | 摄影设备及其操作控制方法 | |
WO2015103345A1 (en) | Camera focusing related methods and apparatus | |
KR101653041B1 (ko) | 촬영 구도 추천 방법, 및 장치 | |
CN102739962A (zh) | 能够生成广角图像的图像处理装置 | |
CN105282435A (zh) | 变焦控制设备和变焦控制方法 | |
CN103621056A (zh) | 拍摄装置 | |
CN103581543A (zh) | 拍摄装置、拍摄控制方法、和眼球识别装置 | |
CN105323470A (zh) | 变焦控制设备和变焦控制方法 | |
KR20120119794A (ko) | 특수 효과들을 사용한 촬영 방법 및 장치 | |
CN101990064A (zh) | 控制设备、操作设置方法和程序 | |
CN104284074A (zh) | 成像方法和成像设备 | |
CN109564376A (zh) | 时间复用可编程视场成像 | |
CN103188434A (zh) | 一种图像采集方法和设备 | |
CN102550014A (zh) | 电子装置、控制方法、程序和图像捕获系统 | |
CN102668536A (zh) | 控制装置、控制方法、图像捕获装置、程序和图像捕获系统 | |
CN102739961A (zh) | 能够生成广角图像的图像处理装置 | |
CN106464784A (zh) | 摄影装置和摄影方法 | |
CN103888646A (zh) | 摄像设备和摄像设备的控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140917 Termination date: 20150722 |
|
EXPY | Termination of patent right or utility model |