CN101543048A - 成像装置、控制成像装置的方法、该方法的程序、以及保存该程序的记录介质 - Google Patents

成像装置、控制成像装置的方法、该方法的程序、以及保存该程序的记录介质 Download PDF

Info

Publication number
CN101543048A
CN101543048A CNA2007800440175A CN200780044017A CN101543048A CN 101543048 A CN101543048 A CN 101543048A CN A2007800440175 A CNA2007800440175 A CN A2007800440175A CN 200780044017 A CN200780044017 A CN 200780044017A CN 101543048 A CN101543048 A CN 101543048A
Authority
CN
China
Prior art keywords
imaging results
imaging
memory
image recognition
frequencies range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800440175A
Other languages
English (en)
Other versions
CN101543048B (zh
Inventor
宫腰大辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101543048A publication Critical patent/CN101543048A/zh
Application granted granted Critical
Publication of CN101543048B publication Critical patent/CN101543048B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Abstract

本发明适用于例如结合有记录部件的摄像机。基于图像识别结果,根据按照预定顺序检测出特定样式的图像的定时,结束成像结果在存储器中的高速写入,并且在记录介质中记录在存储器中所存储的成像结果。

Description

成像装置、控制成像装置的方法、该方法的程序、以及保存该程序的记录介质
技术领域
本发明涉及成像装置、控制成像装置的方法、用于控制成像装置的方法的程序以及记录用于控制成像装置的方法的程序的记录介质,并且可应用于例如合并了了记录部件的摄像机。本发明旨在通过下述操作来确实地拍摄期望场景的慢动作图像:基于图像识别结果,以其中按照特定顺序检测出特定模式的图像的定时为基准,结束将成像结果向存储器的高速写入,然后从该存储器读取成像结果以供记录。
背景技术
传统上,日本专利特开平第Hei9-83952号公开了基于大容量存储器的使用通过以延迟的方式将成像结果记录到记录介质的方法。根据该日本专利特开平第9-83952号中所公开的技术,可以使得记录开始于在用户指令开始图像拍摄的时刻之前某个时间段的时刻时的视频,由此允许用户捕获珍贵的摄像机会。
近来提供这样的摄像机,其中通过使用存储器降低作为成像结果的场频率来记录慢动作(slow motion)视频。即该摄像机以例如高于50[fps(场/秒)]或60[fps]或者正常视频信号的场频率,例如240[fps]的场频率,从成像设备输出成像结果,并顺次存储在存储器中。而且,该摄像机以正常视频信号的场频率读取存储器中存储的图像结果,以记录到记录介质。应当注意,通过例如SDRAM(Synchronous Dynamic Random Access Memory,同步动态随机存取存储器)配置该存储器,并通过磁盘、光盘、硬盘等配置记录介质。下文中,将通过使用存储器降低成像结果的场频率来记录慢动作视频的处理称作慢动作视频拍摄。对于摄像机,以控制被操作的时间点为基准来确定执行慢动作拍摄的时间段。
然而,在慢动作视频拍摄中,可能拍摄高尔夫球摆动(golf swing)、乒乓球摆动、棒球棒摆动等;在这些情况下,以控制操作时间为基准来确定慢动作视频拍摄时段可能引起不能总是精确拍摄期望的场景的不能(disability)问题。即,在此情况下,控制的操作可能太快或太慢,由此拍摄了多余的部分或者不能拍摄重要部分。
解决该问题的方法之一可以是以例如击球声(ball hit sound)作为基准的方法。然而,利用该方法,在可能拾取很多类似声音的环境下,可能以另一个比赛者做出的击球声为基准而开始拍摄。因此,即使该方法也出现了不能精确执行期望场景的慢动作拍摄的问题。
还存在另一种方法,如日本专利特开平第Hei9-55931中所公开的,其中以检测到移动目标的时间点为基准执行视频拍摄。在此方法的情况下,如果以静止场景开始视频拍摄,诸如例如在充气气球或牛奶溅起的皇冠形(milkcrown)的情况下,则可以精确拍摄期望的场景。然而,利用该方法,出现的问题是,在记录运动视频图像的特定场景——例如体育运动的特定场景之类——的情况下,可能不能以慢动作精确拍摄期望的场景。
发明内容
因此,本发明的目标是提出成像装置、控制成像装置的方法、控制成像装置的方法的程序以及记录控制成像装置的方法的程序的记录介质。
在实现本发明中,并根据本发明的一个方面,提供了成像装置。该成像装置具有:成像块,被配置以输出成像结果;存储器,被配置以存储从所述成像块输出的成像结果,并输出该成像结果;记录介质,被配置以记录从所述成像块输出的或从所述存储器输出的成像结果;图像识别块,被配置以图像识别所述成像结果,并输出图像识别结果;以及控制块,被配置以控制每个块的操作。在该配置中,控制块在标准操作模式中以第一场频率或帧频从所述成像块输出所述成像结果,以将所述成像结果记录到所述记录介质,并且在慢动作拍摄模式中,以高于所述第一场频率或帧频的第二场频率或帧频从所述成像块输出所述成像结果,以依次循环地将所述成像结果存储到所述存储器,以及基于所述图像识别结果,以按照预定顺序检测到所述成像结果中的特定样式的定时为基准,结束所述成像结果向所述存储器的存储,并以低于所述第二场频率或帧频的第三场频率或帧频读取所述存储器中所存储的所述成像结果,以将所述成像结果记录到所述记录介质。
在实现本发明中,并根据本发明的另一方面,提供了成像装置的控制方法,该成像装置具有:成像块,被配置以输出成像结果;存储器,被配置以存储从所述成像块输出的成像结果,并输出该成像结果;记录介质,被配置以记录从所述成像块输出的或从所述存储器输出的成像结果;以及图像识别块,被配置以图像识别所述成像结果,并输出图像识别结果。该控制方法具有:标准操作模式的记录步骤,其中,在标准操作模式中,所述成像结果以第一场频率或帧频从所述成像块输出,以被记录到所述记录介质;慢动作拍摄模式的写步骤,其中,在慢动作拍摄模式中,所述成像结果以高于所述第一场频率或帧频的第二场频率或帧频从所述成像块输出,以依次循环地被存储在所述存储器中;以及慢动作拍摄模式的记录步骤,其中,在所述慢动作拍摄模式中,基于所述图像识别结果,以按照预定顺序检测出在所述成像结果的特定样式的定时为基准,结束所述成像结果向所述存储器的存储,并且所述存储器中所存储的所述成像结果以低于所述第二场频率或帧频的第三场频率或帧频被读取,以被记录到所述记录介质。
在实现本发明中,并根据本发明的另一方面,提供了成像装置的控制方法的程序,该成像装置具有:成像块,被配置以输出成像结果;存储器,被配置以存储从所述成像块输出的成像结果,并输出该成像结果;记录介质,被配置以记录从所述成像块输出的或从所述存储器输出的成像结果;以及图像识别块,被配置以图像识别所述成像结果,并输出图像识别结果。该控制方法具有:标准操作模式的记录步骤,其中,在标准操作模式中,所述成像结果以第一场频率或帧频从所述成像块输出,以被记录到所述记录介质;慢动作拍摄模式的写步骤,其中,在慢动作拍摄模式中,所述成像结果以高于所述第一场频率或帧频的第二场频率或帧频从所述成像块输出,以依次循环地被存储在所述存储器中;以及慢动作拍摄模式的记录步骤,其中,在所述慢动作拍摄模式中,基于所述图像识别结果,以按照预定顺序检测出在所述成像结果中的特定样式的定时为基准,结束所述成像结果向所述存储器的存储,并且所述存储器中所存储的所述成像结果以低于所述第二场频率或帧频的第三场频率或帧频被读取,以被记录到所述记录介质。
在实现本发明中,并根据本发明的另一方面,提供了记录成像装置的控制方法的程序的记录介质,该成像装置具有:成像块,被配置以输出成像结果;存储器,被配置以存储从所述成像块输出的成像结果,并输出该成像结果;记录介质,被配置以记录从所述成像块输出的或从所述存储器输出的成像结果;以及图像识别块,被配置以图像识别所述成像结果,并输出图像识别结果。该控制方法具有:标准操作模式的记录步骤,其中,在标准操作模式中,所述成像结果以第一场频率或帧频从所述成像块输出,以被记录到所述记录介质;慢动作拍摄模式的写步骤,其中,在慢动作拍摄模式中,所述成像结果以高于所述第一场频率或帧频的第二场频率或帧频从所述成像块输出,以依次循环地被存储在所述存储器中;以及慢动作拍摄模式的记录步骤,其中,在所述慢动作拍摄模式中,基于所述图像识别结果,以按照预定顺序检测出在所述成像结果中的特定样式的定时为基准,结束所述成像结果向所述存储器的存储,并且所述存储器中所存储的所述成像结果以低于所述第二场频率或帧频的第三场频率或帧频被读取,以被记录到所述记录介质。
根据本发明的配置,以按照预定顺序检测出在成像结果中特定样式的定时为基准,基于图像识别结果来设置执行慢动作拍摄的时段。因此,与在每种情况下操作控制的情况以及将声音用于触发的情况相比,可以对期望的场景正确地执行慢动作拍摄。
附图说明
图1是图示实践为本发明的实施例1的成像装置的方框图;
图2是图示图1所示的成像装置的图像识别处理块的详细配置的方框图;
图3是图示图2所示的图像识别处理块的存储器的配置的示意图;
图4(A)和图4(B)是用于描述图3所示的存储器的内容的示意图;
图5是图示图1所示的成像装置的慢动作拍摄模式中的图像数据流的方框图;
图6是接续图5的方框图;
图7是用于描述图1所示的成像装置中的高尔夫摆动模式的示意图;
图8是用于描述图1所示的成像装置中的棒球摆动模式的示意图;
图9是指示与图1所示的成像装置的慢动作拍摄模式有关的处理进程的流程图;
图10是指示图1所示的成像装置的各个组件的操作的时序图;
图11是用于描述在被实践为本发明的实施例2的成像装置中的慢动作拍摄时的定时(timing)设置操作的示意图;
图12是用于描述在被实践为本发明的实施例3的成像装置中的慢动作拍摄时的定时设置操作的示意图;
图13是图示在被实践为本发明的实施例4的成像装置中的样式设置时的显示屏的平面图;
图14是接续图13的平面图;
图15(A)和图15(B)是用于描述被实践为本发明的实施例4的成像装置中的图像识别处理的示意图;
图16(A)和图16(B)是接续图15的平面图;
图17是用于描述被实践为本发明的实施例5的成像装置的操作的时序图;
图18是图示被实践为本发明的实施例6的成像装置中的存储器的配置的示意图;
图19是指示被实践为本发明的实施例6的成像装置的处理进程的流程图;
图20是用于描述图19中所示的处理进程中的成像装置操作的时序图。
具体实施方式
将参考附图通过例子进一步详细描述本发明。
(1)实施例1的配置
图1是图示被实践为本发明的实施例1的成像装置的方框图。该成像装置1通过用户操作执行在作为正常拍摄时的操作模式的标准操作模式与慢动作拍摄模式之间的操作模式切换。在慢动作拍摄模式下,该成像装置1通过使用存储器2转换作为成像结果的场频率,并将慢动作视频记录到视频记录介质3。
在此,在成像装置1中,图像传感器是固态成像器件,比如CMOS(互补金属氧化物半导体)型图像器件。成像传感器4对通过光学系统(未示出)在成像表面形成的光学图像执行光电转换,并输出作为成像结果的成像信号。应当注意,在此实施例中,成像传感器4具有CDS(Correlated DoubleSampling,相关双采样)块,并对图像信号执行相关双采样处理,以输出由此处理的成像信号。
成像传感器4在控制块5的控制下切换操作;在标准操作模式中,以NTSC中规定的场频率60[fps]输出成像结果,以及在慢动作拍摄模式中,以高于该标准比率的场频率输出成像结果。在此实施例中,该高速场频率是标准操作模式中的场频率4倍高的场频率240[fps]。应当注意,在对于一条线(line)输出成像信号时,成像传感器4使用其下述功能:将与成像传感器4水平相邻布置的相同颜色拍摄传感器的输出信号相加到该成像传感器并输出得到的信号。在慢动作拍摄模式中,成像传感器4使用该功能,并执行像素跳跃(skipping),以输出得到的成像信号,由此防止成像信号的速率增加。应当注意,如果接下来的处理块具有足够的处理速度,则可以省略该像素跳跃处理,并且可以控制要相加的像素的数量,以按给定的速率输出成像信号。
AFE(Analog Front End,模拟前端)6对从成像传感器4输出的成像信号执行AC(自动增益控制)以控制成像信号的增益,然后对成像信号执行模拟到数字转换处理以输出图像数据D1。
摄像机信号处理块7对从AFE 6输出的图像数据执行摄像机信号处理,并输出得到的图像数据。应当注意,在此的摄像机信号处理表示例如白平衡调整处理、颜色校正处理、AF(自动对焦)处理和AE(自动曝光)处理。
分辨率转换处理块8在标准操作模式中接受由摄像机信号处理块7处理的图像数据D1,将该图像数据D1输出到运动图像记录处理块10用于记录。而且,分辨率转换处理块8将该图像数据D1的分辨率转换为适合于在显示块12上显示的分辨率,并将转换的图像数据输出到显示处理块9。
在慢动作拍摄模式中,分辨率转换处理块8也跳跃在摄像机信号处理块7中处理的、具有场频率240[fps]的图像数据D1的场,并以场频率60[fps]将得到的图像数据输出到显示处理块9以用于在监视器上显示。分辨率转换处理块8还调整在摄像机信号处理块7中处理的、具有场频率240[fps]的图像数据D1的尺寸,并将得到的图像数据输出到图像压缩/解压缩块11,用于记录到存储器2。应当注意,该尺寸调整处理改变图像数据D1的格式以便与存储器2的规定兼容;因此,如果图像压缩/解压缩块11或者存储器2具有足够的处理能力,则可以省略该尺寸调整处理。
而且,在慢动作拍摄模式中,分辨率转换处理块8在控制块5的控制下在操作间切换,获取从图像压缩/解压缩块11输出的、具有60[fps]场频率的图像数据,而不是由摄像机信号处理块7处理的、具有240[fps]场频率的图像数据D1。分辨率转换处理块8将该图像数据输出到运动图像记录处理块10用于记录。另外,该分辨率转换处理块8将该图像数据的分辨率转换成适合于在显示块12上显示的分辨率,并将转换的图像数据输出到显示处理块9。
由例如LCD(液晶显示器)配置显示块12。显示处理块9基于从分辨率转换处理块8输出的用于监视器的图像数据来驱动显示块12,以将作为成像结果的监视器图像显示在显示块12上。如果通过在控制块5的控制下在操作间切换来监视被记录到视频记录介质3的移动图像,则通过从运动图像记录处理块10输出的图像数据来驱动显示块12,把被记录到视频记录介质3的移动图像显示在显示块12上。应当注意,代替显示在显示块12上,可以将图像数据输出到外部。
在记录到视频记录介质3时,运动图像记录处理块10通过诸如例如MPEG(运动画面专家组)之类的运动图像编码算法对从分辨率转换处理块8输出的用于记录的图像数据执行数据压缩处理,并将压缩的图像数据记录到视频记录介质3。而且,运动图像记录处理块10在控制块5的控制下在操作间切换,以再现被记录到视频记录介质3的移动图像,并对再现的移动图像解压缩,由此将解压缩的图像数据输出到显示处理块9。视频记录介质3是例如基于硬盘驱动器、光盘驱动器或存储卡的记录介质。
在慢动作拍摄模式中,图像压缩/解压缩块11通过诸如例如JPEG(联合图像专家组)之类的静止图像编码算法对从分辨率转换处理块8输出的、用于记录的图像数据进行数据压缩处理。而且,通过数据压缩获得的编码的数据被输出到存储器控制块13。另外,在慢动作拍摄模式中,图像压缩/解压缩块11在控制块5的控制下在操作间切换,并对从存储器控制块13输出的编码的数据执行数据解压缩处理以解码图像数据,并将解码的图像数据输出到分辨率转换处理块8。
在慢动作拍摄模式中,存储器控制块13依次循环地将从图像压缩/解压缩块11输出的具有240[fps]场频率的编码的数据记录到存储器2。应当注意,通过例如SDRAM配置存储器2。而且,在慢动作拍摄模式中,存储器控制块13在控制块5的控制下在操作间切换,并从存储器2依次读取编码的数据以将编码的数据输出到图像压缩/解压缩块11。在从该存储器2读取编码的数据的过程中,存储器控制块13以场频率60[fps]——其为记录速度的1/4——读取编码的数据。
在慢动作拍摄模式中,图像识别处理块14通过应用样式匹配技术对从AFE 6输出的图像数据执行图像识别处理,以从成像结果中检测由控制块5指示的特定样式。
现在,参考图2,示出了图示图像识别处理块14的详细配置的方框图。图像识别处理块14把从AFE 6输出的图像数据输入到前处理块14A来执行诸如例如噪声消除处理、图像尺寸标准化处理和特征提取处理之类的前处理。而且,图像识别处理块14将图像数据临时存储到接下来的图像缓冲器14B中以在其中保持,并在匹配电路14C中执行样式匹配处理。
在此,匹配电路14C基于两点之间的像素差,利用boost(进举)方法使用在存储器14D中存储的字典来执行匹配处理。在此的boost表示通过结合在性能方面略高于随机的弱鉴别器来配置有效鉴别器(强鉴别器)的统计图像识别技术;对于数学构架,ada boost是公知的。在慢动作拍摄模式中,图像识别处理块14通过该boost方法在每场检测由控制块5指示的图像样式,并将该图像样式的存在或不存在以及该图像样式的位置传送到控制块5。
为此,图像识别处理块14将特定图像样式的图像差表格登记到存储器14D中,如图3所示。应当注意,在此的图像差表格也称作字典。如图3所示,图像差表格包含在经历检测的特定图像样式上的两个点的像素值和以这些两点像素值差值为基准而设置的用于判断基准的阈值的登记。应当注意,如4(A)和图4(B)分别图示经历检测的图像样式是圆形和矩形。成像装置1被配置以能够在慢动作拍摄模式中从两个或多个图像模式中选择期望的拍摄模式,其中为每个拍摄模式设置了特定图像样式。因此,在存储器14D中对于每个拍摄模式布置图像差表格。应当注意,如果可以确保实际上足够的精确度,则可以由两个或多个拍摄模式共享一个图像差表格。
匹配电路14C在临时存储在图像缓冲器14B中的图像数据的图像上设置样式匹配区,并以例如光栅扫描的顺序依次移动该样式匹配区。以通过特征点检测而检测到的特征点为基准,匹配电路14C对每个扫描位置计算来自样式匹配区的与像素差表格的记录对应的坐标之间的像素差值。而且,匹配电路14C通过图像差表格的阈值来判定所计算的像素差值,以设置经历检测的图像样式是否存在于该样式匹配区中的弱假设(weak hypothesis)。应当注意,如果经历检测的图像样式的存在是可能的,则匹配电路14C将弱假设设置为值1;如果经历检测的图像样式的存在是不可能的,则匹配电路14C将弱假设设置为值-1。
匹配电路14C对每个扫描位置累加该弱假设的检测两次或多次,并且如果累加的值超过某个阈值,则确定对于每个样式匹配区存在经历检测的图像样式。
应当注意,在本实施例中,匹配电路14C通过仅使用图像数据D1中的亮度信号来执行处理序列;也可实践为结合基于颜色信息的颜色检测处理或结合其他的两个或多个检测处理操作来执行特定图像样式检测。另外,代替boost技术,可以使用GA(Genetic Algorithm,遗传算法)。当仅识别移动目标时,可以使用由运动图像记录处理块10检测的移动矢量。应当注意,如上所述的基于与其他技术的组合的样式识别处理可以加速处理速率并提高处理精确度。
控制块5是用于控制成像装置1整体的操作、执行记录到存储器(未示出)的程序以控制成像装置1的各个组件块的操作的控制部件。在本实施例中,该程序提供为被预先安装在成像装置1中;然而,代替预安装或经由诸如因特网之类的网络下载,也可以实践为将该程序提供为记录到诸如光盘或存储卡之类的记录介质。还可以实践为使得控制块5执行图像识别处理块14中的图像识别处理。
即,控制块5控制成像传感器4的操作以便在标准操作模式中获得按60[fps]场频率的成像结果,并控制AFE 6、摄像机信号处理块7、分辨率转换处理块8和显示处理块9以便在显示块12上显示该60[fps]的场频率的成像结果。因此,在此情况下,在成像装置1中,在AFE 6、摄像机信号处理块7、分辨率转换处理块8和显示处理块9中按此顺序处理60[fps]场频率的成像结果以将其显示在显示块12上。而且,当用户操作用于记录开始的触发器开关时,控制块5指令运动图像记录处理块10开始操作,当在显示块12上显示监视器图像时,在运动图像记录处理块10中依次压缩从分辨率转换处理块8输出的按60[fps]场频率的图像数据,将图像数据记录到视频记录介质3。当在此状态中用户再次操作触发器开关时,控制块5指令运动图像记录处理块10停止操作,由此停止图像数据的记录。
当用户给出视频记录介质3的再现的指令时,控制块5指令运动图像记录处理块10再现视频记录介质3以在运动图像记录处理块10中依次解压缩被记录到视频记录介质3的编码的数据,将解压缩的数据输出到显示处理块9以在显示块12上显示该图像数据。
另一方面,如果用户给出慢动作拍摄模式的指令,控制块5指令每个组件以预定定时将操作模式切换到慢动作拍摄模式,由此在成像传感器4中获得240[fps]场频率的成像结果。如与图1比较的图5所示,当在分辨率转换处理块8中将该240[fps]场频率的成像结果转换成60[fps]场频率的图像数据并在显示块12上显示该图像数据时,依次循环地将240[fps]场频率的成像结果记录到存储器2。
控制块5以预定定时切换每个组件块的操作,如与图5比较的图6所示,以60[fps]的场频率依次读取存储器2中存储的240[fps]场频率的成像结果。同时,控制块5通过图像压缩/解压缩块11将读取的数据数据解压缩为原始图像数据,当在显示块12上显示图像数据时,利用运动图像记录处理块10将得到的数据记录到视频记录介质3。
在该慢动作拍摄模式中,控制块5参考在图像识别处理块14中获得的图像样式检测结果来设置结束向存储器2写入图像数据的定时。更具体地,基于图像识别处理块14中的图像样式检测结果,控制块5检测以预定顺序检测到预定的特定样式时的定时,并且基于该检测的定时确定用于结束向存储器2写入图像数据的定时。
在此,在本实施例中,该特定样式是其中图像识别处理块14中的图像识别对象存在于每个成像结果的特定区域中的图像样式;为慢动作拍摄模式中的每个拍摄模式提供了两个或多个特定图像样式。
即,如果拍摄模式是高尔夫球摆动模式,则将图像识别处理块14中的图像识别对象设置为球;如图7所示,在通过水平和垂直地划分一场的屏幕而形成的两个或多个区域中,将球存在于水平方向上底部的区域A中的样式(图7(A)和图7(B))设置为这些特定样式的第一样式和第二样式。将球存在于水平方向上右端的区域B或左端的区域C中的样式设置为这些特定样式的第三样式。应当注意,图7所示的例子是其中将屏幕的水平方向和垂直方向上的划分的数量分别设置为5和3的例子。
在图7所示的例子中,当球被放在球座上、准备击球、然后击球时,依次检测这些第一到第三样式。在此情况下,在从其中检测作为处于已经击球的状态的第三样式的场追溯到相差预定数量场的场的这些场形成其中拍摄到高尔夫球摆动的场,这被确定为用户期望的场景。
因此,在高尔夫球摆动模式中,当用户指令慢动作拍摄模式时,控制块5指令开始将成像结果写到存储器2。同时,控制块5将球设置为识别对象,并指令图像识别处理块14执行图像识别处理,由此基于图像识别处理结果依次检测第一到第三样式。当检测到第三样式时,在预定时间T之后的时间时结束向存储器2的写入,以在那时读取存储器2中存储的成像结果,以将其存储在视频记录介质3中。应当注意,预定时间T由用户在用户设置序列中设置。
另一方面,在成像模式是棒球摆动模式时,将图像识别处理块14中的识别对象设置为球。如图8所示,将球存在于水平方向上右端的区域B中的样式(图8(A))设置为这些特定样式的第一样式。同时,将其中球存在于中心区域D中和水平方向上的右端区域B中的样式(图8(B)和8(C))设置为这些特定样式的第二样式和第三样式。
在图8所示的例子中,当由投球手投掷的球已经进入屏幕时,检测到第一样式,在击球手击球时,检测到第二样式,并且在由击球手棒击的球离开屏幕时,检测到第三样式。在此情况下,在从检测到第三样式的场到追溯预定数量场的场的这些场被确定为用户期望的场景。
因此,同样在棒球摆动模式中,当用户指令慢动作拍摄模式时,控制块5指令开始向存储器2写入图像结果。此外,控制块5将球设置为识别对象,并指令图像识别处理块14执行图像识别处理,基于图像识别处理结果依次检测到第一样式到第三样式。当检测到第三样式时,则控制块5在预定时间T后的时间时结束向存储器2的写入,并在那时读取存储器2中存储的成像结果,将成像结果存储到视频记录介质3中。
在其他拍摄模式中,控制块5也在指令慢动作拍摄模式时指令开始成像结果向存储器2的写入,由此指令图像识别处理块14执行与每个拍摄模式对应的图像识别处理。基于在图像识别处理块14中获得的成像结果,控制块5依次检测到第一样式、第二样式和第三样式,并且在检测到第三样式后的预定时间T后,结束向存储器2的写入,以在那时读取存储器2中存储的成像结果,由此将成像结果存储到视频记录介质3中。
图9是指示与该慢动作拍摄模式相关的控制块5的处理进程的流程图,并且图10是指示参考图9的成像装置1的每个组件块的操作的时序图。应当注意,在图10中,具有与图1所示相同的参考标记的每个组件块的操作与图1所示的每个组件块的操作相同,并且2W和2R分别指示对存储器2的写操作和读操作。
在标准操作模式中,控制块5控制成像传感器4的操作,以便获得60[fps]场频率的成像结果(图10(A)),并且当在显示块12上显示60[fps]场频率的成像结果时(图10(F)和10(G)),将成像结果记录到视频记录介质3(图10(E))。应当注意,在图10中,到时间点t1的时段提供了该标准操作模式的操作时段。
当用户在此状态下指令开始慢动作拍摄模式时,图9所示的处理进程开始,其中控制块5指令图像识别处理块14根据该拍摄模式执行图像识别处理,同时,指令每个组件块开始将240[fps]场频率的成像结果记录到存储器2。因此,在此状态下,在成像装置1中,当从成像传感器4获得240[fps]场频率的成像结果以依次循环地将其存储在存储器2中时,从显示块12提供通过场跳跃而获得的60[fps]场频率的图像结果(图10(A)到图10(G))。
如上所述设置每个组件块的操作,控制块5从步骤SP1移动到步骤SP2,以基于图像识别处理块14的图像识别结果来确定是否已经检测到第一样式。如果步骤SP2中的确定是否定的,则控制块5重复步骤SP2以等到检测到第一样式。
当已经检测到第一样式时,控制块5从步骤SP2移动到步骤SP3,以基于图像识别处理块14的下一个图像识别结果来确定是否已经检测到第二样式。如果该步骤SP3中的确定是否定的,则控制块重复步骤SP3以等到检测到第二样式。
当检测到第二样式时,控制块5从步骤SP3移动到步骤SP4,以基于图像识别处理块14的下一个图像识别结果来确定是否已经检测到第三样式。如果该步骤SP4中的确定是否定的,则控制块5重复步骤SP4,并等到检测到第三样式。
当在步骤SP4中检测到第三样式时,控制块5从步骤SP4移动到步骤SP5,并在等待了由用户设置的时段T之后,结束向存储器2的写入。在步骤SP6中,那时存储在存储器2中的成像结果被读取以存储在视频记录介质3中。应当注意,在图10中,从时间点t1到时间点t2的时段提供了其中在该慢动作拍摄模式中执行向存储器2的写入的时段,并且接下来的从时间点t2到时间点t3的时段提供了其中执行从存储器2的读取的时段。
当已经完成从存储器2读取成像结果时,控制块5从步骤SP6移动到步骤SP7以确定用户是否已经指令重复慢动作拍摄,并且如果确定是肯定的,则指令开始将240[fps]场频率的成像结果记录到存储器2,然后返回到步骤SP2。另一方面,如果用户没有指令重复慢动作拍摄,则控制块5从步骤SP7移动到步骤SP8,以结束该处理进程。
应当注意,当成像结果正被写入存储器2时,控制块5接通提示灯(tallylamp)和/或在显示块12上显示预定标记,由此使用户了解成像情况。
(2)实施例1的操作
在上述配置中,当在成像装置1(图1)中设置标准成像模式时,在成像传感器4中获得60[fpd]场频率的成像结果,并且通过AFE 6、摄像机信号处理块7、分辨率转换处理块8和显示处理块9按此顺序处理该成像结果,以在显示块12上显示。同时,从分辨率转换处理块8输出的图像数据由运动图像记录处理块10压缩,以被记录到记录介质3。
当已经将操作模式切换到慢动作拍摄模式时,在成像传感器4中获得240[fps]场频率的成像结果,并且经由AFE 6、摄像机信号处理块7、图像压缩/解压缩块11和存储器控制块13(图5)将成像结果依次循环地存储在存储器2中。
在成像装置1中,将该240[fps]场频率的成像结果存储到存储器2中以预定定时结束,并且以低于写入的速度依次读取在该时间点处存储器2中存储的成像结果。所读取的成像结果由图像压缩/解压缩块11、分辨率转换处理块8和运动图像记录处理块10依次处理,以被记录到视频记录介质3(图6)。
因此,在成像装置1中,可以将通过将操作模式切换到慢动作拍摄模式来慢动作拍摄期望的对象而获得的视频记录到视频记录介质3。
然而,以已经操作控制的时间点为基准而结束成像结果向存储器2的写入例如可能不能总是正确地拍摄期望的场景,这是因为控制的操作太快或者太慢。如果将声音用于触发,则不希望的声音可能会触发,由此在此情况下也不能正确地拍摄期望的场景。
因此,在成像装置1中,如果设置了慢动作拍摄模式,则通过图像识别处理块14中的图像识别处理(图2到图4)来检测与拍摄模式对应的图像样式,并且在控制块5中分析该图像识别处理结果以判定该图像样式存在于哪个区域中。基于该判定的结果,对于每个拍摄模式检测按照预定顺序检测出特定样式的定时。进而,基于检测的定时,结束成像结果向存储器2的写入,基于此开始该时刻时存储器2中所存储的成像结果的读取。
因此,在成像装置1中,如果基于成像结果的样式识别结果来设置慢动作拍摄的时段,并以用户的控制的操作为基准来设置慢动作拍摄的时段,则可以比以声音为基准来设置慢动作拍摄的时段更准确地拍摄用户期望的场景。
此外,因为以对每个拍摄模式按照预定顺序检测出特定样式的定时为基准来执行基于该样式识别结果而设置慢动作拍摄的时段的处理,因此可以有效避免对基准定时的错误决定,由此允许更正确地拍摄期望的场景。
即,在例如高尔夫球摆动模式(图7)中,当继球存在于水平方向上在中心的底部区域中的第一样式之后,检测到球同样存在于水平方向上在中心的底部区域中的第二样式、然后检测到球存在于水平方向上的右端区域中的第三样式时,以检测到第三样式的定时为基准来设置慢动作拍摄的时段。
在此情况下,如果仅以例如第一或第二样式为基准来设置慢动作拍摄的时段,则不能标识向存储器2写入成像结果的定时,因为第一或第二样式是把球放在球座上的相对较长时段的样式。如果仅以第三样式为基准来设置慢动作拍摄的时段,如果例如不同于球的例如蝴蝶出现在屏幕中,则可能错误地结束向存储器2写入成像结果。
在棒球摆动模式(图8)中,当继球存在于水平方向上右端区域中的第一样式之后,检测到球同样存在于水平方向上在中心区域中的第二样式、然后检测到球存在于水平方向上的右端区域中的第三样式时,以检测到第三样式的定时为基准来设置慢动作拍摄的时段。
在此情况下,如果例如仅以第一到第三样式中的任意一个为基准来设置慢动作拍摄的时段,如果例如击球手看起来送球(take a look),则慢动作拍摄视频被记录到视频记录介质3,由此浪费地执行了慢动作拍摄。
然而,如利用本实施例,以按照预定顺序检测到这些第一到第三样式的定时为基准来结束成像结果向存储器2的写入允许有效避免这些浪费和错误的操作,由此正确地拍摄用户期望的场景。
而且,由于在此实施例中图像识别处理块的图像识别对象是存在于成像结果的特定位置处的图像,因此在例如通过使用公共像素差表格来处理两或多种球类游戏的情况下,可以简化图像识别处理块中的配置,由此利用简化的配置正确地拍摄用户期望的场景。
(3)实施例1的效果
根据上述配置,以依次检测特定样式的图像的定时为基准来结束成像结果向存储器的高速写入并将写入该存储器的成像结果记录到记录介质允许期望的场景的正确的慢动作拍摄。
因为利用该特定样式,要由图像识别块检测的图像识别对象是存在于一个屏幕的特定位置处的图像,因此可以利用简单的配置正确地拍摄用户期望的场景。
(4)实施例2
图11是用于与图7和图8比较来描述在被实践为本发明的实施例2的成像装置中的慢动作拍摄时定时的设置的示意图。除了定时设置方法以外,此实施例的成像装置以与实施例1的成像装置1基本相同的方式来配置。因此,在下文中,将通过适当使用图1所示的配置做出描述。
类似于实施例1的成像装置1,此实施例的成像装置在此以按照预定顺序检测到特定样式的图像的定时为基准来设置慢动作拍摄的时段。利用此实施例的成像装置,应用了用于对该特定样式检测拍摄对象的提示(cue)的样式。
更具体地,在此实施例中,在高尔夫球摆动模式中,将双眼睁开的样式设置为第一样式(图11(A)),并将右眼闭上的样式设置为第二样式(图11(B))。将双眼睁开的样式设置为第三样式(图11(C))。控制块5依次检测这些第一到第三样式,以通过拍摄对象的眨眼来检测提示。当通过眨眼在右眼闭上以后检测到第三样式时,控制块5从检测到该第三样式的时间点开始将成像结果写入存储器2。
将指示观看飞动的球的侧脸的样式设置为第四样式(图11(D)),并将指示正脸的样式设置为第五样式(图11(E))。此外,将左眼闭上的样式设置为第六样式(图11(F))。控制块5依次检测这些第四到第六样式,以通过拍摄对象的眨眼来检测提示(cue)。即,在此情况下,当拍摄的人物对象通过眨眼闭上左眼时,检测到第六样式,并且控制块5从检测到第六样式的时间点停止慢动作拍摄的向存储器2的写入,开始从存储器2读取。
因此,在此实施例中,图像识别处理块14在像素差表格中记录并保持睁眼样式和闭眼样式,并在控制块5的控制下检测这些睁眼样式和闭眼样式,以将这些睁眼样式和闭眼样式传送到控制块5。
根据此实施例,以按照特定顺序检测到特定样式的图像的定时为基准来设置慢动作拍摄的时段,并且按照该预定顺序检测出的特定样式是用于检测拍摄对象的提示的样式,通过执行慢动作拍摄以便反映拍摄对象的意图,这更确实地允许拍摄用户期望的场景。
(5)实施例3
图12是用于与图7和图8相比较地描述在被实践为本发明的实施例3的成像装置中的慢动作拍摄时的定时设置的示意图。除了定时设置方法以外,此实施例的成像装置以与上述实施例的成像装置基本相同的方式来配置。因此,在下文中,将通过适当使用图1所示的配置做出描述。
在此实施例中,类似于实施例1的成像装置1,此实施例的成像装置在此以按照预定顺序检测到特定样式的图像的定时为基准来设置慢动作拍摄的时段。利用此实施例的成像装置,将通过操作序列检测到的人物的姿势的样式采用为此特定样式。因此,此实施例的成像装置以拍摄对象的姿势的改变为基准来设置慢动作拍摄的时段。
即,利用此实施例,如图12所示,在高尔夫球摆动模式中,将人直立握着高尔夫球棒的准备击球的姿势设置为第一样式(图12(A)),并且将回摆(take-back)的姿势设置为第二样式(图12(B))。此外,将人正注视击出的球的姿势设置为第三样式(图12(C))。因此,在此实施例中,图像识别处理块14生成字典,使得这些第一到第三样式可检测。
当用户指令慢动作拍摄时,控制块5开始向存储器2的高速写入。而且,控制块5指令图像识别处理块14开始图像识别处理,并基于图像识别处理结果依次检测第一到第三样式。当在检测到第三样式后已经经过了预定时段T时,结束向存储器2的写入,并且开始在那时存储器2中所存储的成像结果的读取。
根据此实施例,以按照预定顺序检测到特定样式的图像的定时为基准来设置慢动作拍摄的时段,并且按照预定顺序检测的特定样式是要通过操作序列检测的姿势,由此允许通过精确确定带有特定姿势——例如高尔夫球摆动——的拍摄对象而更精确地拍摄用户期望的场景。
(6)实施例4
此实施例的成像装置以按照特定顺序检测出特定样式的图像的定时为基准来设置慢动作拍摄的时段,并接受通过用户进行的操作对该特定样式的设置。除了该特定样式设置以外,此实施例的成像装置以与上述实施例的每个的成像装置基本相同的方式而配置。因此,在下文中,将通过适当使用实施例1的成像装置的配置来描述实施例4的成像装置的配置。
即,利用该成像装置,当用户选择慢动作拍摄的登记模式时,控制块5在显示块12上显示向导消息,和/或合成并输出引导(guide)声音,由此通过这些显示和/或声音提示用户要在登记模式中执行的操作序列。
基于根据这些引导的用户操作,控制块5在标准操作模式中基于试拍(trial)来拍摄慢动作拍摄的对象,并将试拍记录到视频记录介质3。控制块5还再现基于试拍的移动图像,并在显示块12上显示该再现的移动图像。在该移动图像的再现中,控制块5指令用户执行暂停,并如图13所示让用户选择慢动作拍摄的对象的一个场景,在显示块12上显示所选的场景。
在此状态下,控制块5接受图像识别处理块14中的图像识别对象的选择。即,控制块5通过显示预定菜单屏幕而接受包含图像识别的对象的帧W的选择,并在显示块12上所显示的静止图像上显示该帧W。而且,响应于布置在显示屏一侧的加、减控制16、17的操作,控制块5放大、缩小该帧W的显示。控制块5将用于指定上/下方向和左/右方向上的移动的菜单18U、18D、18R和18L显示在显示屏上,并响应于通过触摸板检测的这些菜单18U、18D、18R和18L的操作将帧W的显示位置向上/下和左/右移动。当用户操作OK菜单时,控制块5将帧W所包括的图像设置为图像识别处理块14的识别对象。
即,在此情况下,在将该静止图像的图像数据传递到图像识别处理块14用于前处理后,控制块5以通过该前处理所检测的特征点为基准,从帧W所包括的部分中检测要在像素搜索表中登记的两个点的坐标值。而且,控制块5通过计算这两个点的像素差值来计算阈值,并将所获得的坐标值和这两个点的阈值登记到存储器14D中。应当注意,在此情况下,如上所述,如果通过结合例如基于颜色信息的颜色检测处理来检测特定样式,则通过两个或多个其他检测处理操作的各种组合来执行处理,或者使用例如遗传算法,控制块5获得执行每个处理操作所需的信息来在存储器14D中建立字典。
例如,可以通过仅接受帧W的设置不执行试拍处理来接受检测对象的登记。在此情况下,在接受用户对帧W的设置后,控制块5指令图像识别处理块14执行将由所设置的帧W所包括的图像设置为识别对象的处理。由控制块5指令后,图像识别处理块14在开始慢动作拍摄时根据帧W所包括的图像将搜索对象登记到像素搜索表中,通过使用该像素搜索表依次搜索识别对象。
在将字典登记到存储器14D中后,控制块5接受第一到第三样式的设置。在此,如图14所示,控制块5切换显示块12上的显示,并显示用于对每个样式确定图像识别对象的出现或未出现的区域的边界。在对每个样式的显示中,控制块5接受用户对区域的选择。应当注意,图14所示的第一到第三样式是将一个屏幕水平划分为三个区域并且垂直划分中心区域由此设置区域的例子。控制块5检测用户通过触摸板对每个区域的选择,并且切换由用户选择的区域的颜色,向用户通知其选择。应当注意,在图14中,通过阴影示出用户选择的区域。因此,在图13和图14所示的例子中,将球存在于水平方向上较低的中心区域中的情况分配为第一和第二样式,并将球存在于水平方向上右侧区域中的情况分配为第三样式。
应当注意,代替通过显示这些第一到第三样式的区域而接受用户对区域的选择,可以接受用户在显示屏幕上对区域的直接指定。还可以实践为再现基于试拍而拍摄的视频,并接受针对与每个样式对应的场景的暂停操作,由此通过处理该暂停的图像而接受每个样式的登记。即,在此情况下,利用暂停的图像,检测识别对象存在的位置,并基于该检测结果来检测识别对象存在的区域。此外,可实践为显示预先设置的预定移动样式,并让用户选择该移动样式,由此接受样式登记。另外,可实践为准备诸如例如高尔夫球模式和网球模式之类的预设参数作为简单设置模式,并接受执行参数的改变,由此接受样式登记。
应当注意,如关于实施例3描述的,在通过姿势的样式检测定时的情况下,可以再现基于试拍而拍摄的视频以接受暂停操作,并且可以分析该暂停的图像以接受针对每个姿势的样式登记。
当用户已经选择每个样式区域时,控制块5响应于预定控制的操作而结束登记模式,由此结束特定样式设置的接受。
当再次指定慢动作拍摄时,如实施例1的情况,控制块5以依次检测登记模式中所登记的第一到第三样式的定时为基准而结束成像结果向存储器2的写入。
在此实施例中,当检测第一和第二样式时,控制块5还指令图像识别处理块14仅在水平方向上的较低中心区域中执行图像识别处理,其中在第一和第二样式中识别对象存在于该在水平方向上的较低中心区域中。在检测到第二样式后,控制块5指令图像识别处理块14仅在水平方向上的右侧区域中执行图像识别处理,其中在第三样式识别对象存在于该水平方向上的右侧区域中。响应于控制块5的指令,图像识别处理块14扫描样式匹配区,以检测作为识别对象的球存在的图像,由此省略了作为基于样式匹配的图像检测处理所需的前处理操作之一的检测图像缩放(scaling)处理。而且,通过仅在部分区域中执行扫描处理,省略了在整个屏幕中的样式匹配扫描以简化处理。应当注意,图15(A)示出了如参考图13所述的仅在水平方向上的较低中心区域中检测识别对象的情况,其中由箭头指示样式匹配区域扫描。
图像识别处理块14以紧接在前的图像识别的结果为基准缩小了要进行样式匹配的区域的大小,并以高速执行图像识别处理。即,在各个区域中的图像识别处理中,在开头的一个场中,如图15(A)所示,,图像识别处理块14在被指令用于图像识别处理的整个区域中对样式匹配区AR执行光栅扫描来检测图像识别对象a。在第二和随后的场中,如图15(B)所示,在紧接在前的场中所检测的图像识别对象a的位置周围的恒定范围AR1中,对样式匹配区AR执行光栅扫描来检测图像识别对象a。
应当注意,如关于实施例2所述,在检测眼睛睁开和闭上的情况下,首先如图16(A)所示通过使用与脸部有关的字典(像素差表格)来标识脸部的位置,然后从标识的脸部位置中设置假设具有眼睛的范围,并且如图16(B)所示,通过使用与眼睛关联的字典搜索该设置范围来检测睁开的眼睛或者闭上的眼睛,这允许以紧接在前的图像识别结果为基准大大缩小要进行样式匹配的每个区域的大小,由此以高速执行图像识别处理。此外,在此情况下,可以提高图像识别处理的精度。
根据此实施例,以按照预定顺序检测出特定样式的图像的定时为基准来设置慢动作拍摄的时段,并通过用户操作接受该特定样式的登记,以将该特定样式应用于各种对象的拍摄,由此确实地以慢动作方式拍摄用户期望的场景。
(7)实施例5
图17是用于与图10比较地描述被实践为本发明的实施例5的成像装置的操作的时序图。在此实施例的成像装置中,即使在以慢动作拍摄模式记录以高速记录到存储器的成像结果的时段中,场跳跃图像数据也被记录到记录介质。除了到记录介质的该记录以外,此实施例的成像装置以与上述实施例的每个的成像装置基本相同的方式而配置。因此,在下文中,将通过适当使用图1所示的配置来描述此实施例的成像装置。
即,在此实施例中,在如以上关于实施例1所述的标准操作模式中,分辨率转换处理块8将由摄像机信号处理块7处理的图像数据D1输出到运动图像记录处理块10用于记录,并转换分辨率以将转换的图像数据输出到显示块12。
相反,在慢动作拍摄模式中,在向存储器2的记录过程中,当具有240[fps]场频率的图像数据D1被跳跃以被输出到显示块12用于监视时,具有240[fps]场频率的图像数据D1被输出到图像压缩/解压缩块11用于记录到存储器2,并且具有60[fps]场频率的图像数据D1被输出到运动图像记录处理块10用于记录。相反,如以上关于实施例1所述,在从存储器2读取时,从图像压缩/解压缩块11输出的具有60[fps]场频率的图像数据D被输出到运动图像记录处理块10,并且转换分辨率以将转换的图像数据输出到显示块12用于监视。
因此,在此实施例中,可以不间断地记录具有60[fps]场频率的成像结果,并且可以自动记录在慢动作中拍摄的仅具有期望场景的成像结果。
根据此实施例,可以设置以按照预定顺序检测特定样式的图像的定时为基准来执行慢动作拍摄的时段,以不间断地记录具有60[fps]场频率的成像结果,由此在慢动作中仅拍摄期望的场景。
(8)实施例6
图18是指示可以用于被实践为本发明的实施例6的成像装置的存储器2的配置的示意图。除了存储器2以外,此实施例的成像装置以与上述实施例的每个的成像装置基本相同的方式而配置。因此,在下文中,将通过适当使用图1所示的配置来描述此实施例的成像装置。
在此,利用此实施例中的存储器2,可记录区被划分为两个或多个区域,区域1到区域5。利用该成像装置,将这些区域1到区域5依次循环地分配给连续的慢动作拍摄,以存储成像结果,由此允许重复的慢动作拍摄。应当注意,在图18中,由箭头表示每个区域中成像结果的循环写入。
图19是与图9比较来指示该成像装置的控制块5的处理进程的流程图。,图20是与图17比较来指示在图19所示的处理进程中用户未选择即时记录的情况下成像装置的每个组件块的操作的时序图。
当用户指令开始慢动作拍摄模式时,控制块5开始图19所示的处理进程,并指令图像识别处理块14执行与拍摄模式对应的图像识别处理,并指令每个组件块开始将具有240[fps]场频率的成像结果记录到存储器2。然后,处理进程从步骤SP11前进到步骤SP12,其中控制块5基于图像识别处理块14中所获得的图像识别结果来确定是否已经检测到第一样式。如果在步骤SP12中获得了否定结果,则控制块5重复步骤SP12以等到检测到第一样式。
如果已经检测到第一样式,则控制块5从步骤SP12移动到步骤SP13,以等到检测到第二样式,并且当检测到第二样式时,从步骤SP13移动到步骤SP14。在步骤SP14中,控制块5等到检测到第三样式,并且如果检测到第三样式,则从步骤SP14移动到步骤SP15。
在此,在等待用户设置的时段T经过后,控制块5结束向存储器2的写入。在步骤SP16中,控制块5确定用户是否选择了即时记录,并且如果结果是肯定的,则从步骤SP16移动到步骤SP17。在此,控制块5读取在该时间点时存储器2中所存储的成像结果,并将成像结果存储到视频记录介质3。应当注意,在图20中,从时间点t1到时间点t2的时段是在慢动作拍摄模式中执行向存储器2的写入的时段,并且从时间点t2到时间点t3的下一时段是执行从存储器2的读取的时段。
当已经结束从存储器2的读取时,控制块5从步骤SP17移动到步骤SP18,以确定用户是否已经指令重复慢动作拍摄,并且如果结果是肯定的,则指令开始向存储器2的记录,然后返回到步骤SP12。相反,如果用户还没有指令重复慢动作拍摄,则控制块5从步骤SP18移动到步骤SP19,以确定用户是否已经选择了即时记录,并且如果结果是肯定的,则从步骤SP19移动到步骤SP20,以结束该处理进程,因为在此情况下目前为止已经完成了存储器2中所存储的成像结果的记录的处理。
因此,如果用户选择了即时记录,则此实施例的成像装置以与上述实施例相同的方式执行慢动作拍摄的处理。
相反,如果用户未选择即时记录,则步骤SP16中的结果是否定的,使得控制块5从步骤SP16移动到步骤SP18,而不执行从存储器2的读取,以确定用户是否已经指令重复慢动作拍摄,并且如果结果是肯定的,则指令开始将具有240[fps]场频率的成像结果记录到存储器2,返回到步骤SP12。同时,控制块5指令存储器控制块13操作切换,以便将成像结果记录到对于成像结果刚刚已经记录到的存储器2的区域的下一区域。
因此,在此情况下,在此实施例的成像装置中,依次选择区域1到区域5,直到用户停止重复慢动作拍摄的指令,成像结果以高速存储在存储器2中。此时,通过省略读取存储器2中存储的成像结果的处理将成像结果存储在下一区域中。
如果如上所述依次将成像结果存储在存储器2中,并且用户停止重复慢动作拍摄的指令或者用户还没有指令重复慢动作拍摄,则控制块5从步骤SP18移动到步骤SP19,以确定用户是否选择了即时记录;在此情况下结果是否定的。在此情况下,控制块5从步骤SP19移动到步骤SP21,并读取目前为止存储器2的每个区域中存储的成像结果,以将成像结果记录到视频记录介质3,移动到步骤SP20以结束该处理进程。
因此,在此例子中,最后统一地读取以高速存储在存储器2中的成像结果,以将其存储在视频记录介质3中,从图20所示的时间点t4到时间点t5的时段等于执行该处理的时段。
根据此实施例,存储器被划分为两个或多个区域,并且将这些区域的每个依次设置为慢动作拍摄的成像结果的记录区,由此允许连续的慢动作拍摄,以提高用户使用的舒适性。
(9)其他实施例
应当注意,在上述实施例中,已经描述了通过使用三个样式设置结束向存储器2的写入的定时的情况,但本发明不限于此配置;如果可以正确地设置结束写入的定时,则可以通过使用两个样式来设置结束向存储器2的写入的定时,或者可以通过使用四个或更多的样式来设置结束向存储器2的写入的定时。
在上述实施例6中,如果用户未选择即时记录,则执行操作切换,并且最后统一地读取以高速存储在存储器2中的成像结果,以将其存储在视频记录介质3中,但本发明不限于此配置;如设置结束向存储器2的写入的定时的情况,可以检测操作切换的指令。在此情况下,用户可以在离开成像装置的位置处切换该成像装置的操作,由此进一步提高用户使用的舒适性。应当注意,在此情况下,可能需要通过例如提示灯的闪烁的方式来通知用户操作切换,由此防止错误操作的切换指令。
而且,在上述实施例中,如果将存储器中存储的成像结果存储在视频记录介质中,则在显示块上显示要被存储到视频记录介质3的成像结果用于监视,但本发明不限于此配置;可以省略在显示块上显示的处理,以在显示块上显示图像传感器获得的成像结果的同时,在后台将存储器2中存储的成像结果记录到视频记录介质。
在上述实施例中,在标准操作模式中,以60[fps]的场频率获得成像结果以将其记录到视频记录介质,但本发明不限于此配置;即使在标准操作模式下,也可以以240[fps]的场频率获得成像结果,以在对成像结果执行场跳跃后,将其记录到视频记录介质。
在上述实施例中,在标准操作模式中,以60[fps]的场频率获得成像结果,并且在慢动作拍摄模式中,以240[fps]的场频率获得成像结果,但本发明不限于此配置;在本发明的精神下,可以将这些频率设置为所需的各种其他值,并且本发明可以广泛应用于通过非隔行扫描获得用于记录的成像结果的情况。
在上述实施例中,以标准操作模式中的场频率从存储器中读取以高速存储在存储器2中的成像结果,以将其记录到视频记录介质,但本发明不限于此配置;例如,可以以高于标准操作模式中的场频率并低于执行向存储器的写入的频率的场频率从存储器中读取成像结果,并将因此读取的成像结果记录到视频记录介质。该配置允许在短时间内将存储器中存储的成像结果存储的视频记录介质,由此例如增加了用于重复慢动作拍摄的时间余量。
工业适用性
本发明可应用于例如摄像机。

Claims (10)

1.一种成像装置,包括:
成像块,被配置以输出成像结果;
存储器,被配置以存储从所述成像块输出的成像结果,并输出该成像结果;
记录介质,被配置以记录从所述成像块输出的或从所述存储器输出的成像结果;
图像识别块,被配置以图像识别所述成像结果,并输出图像识别结果;以及
控制块,被配置以控制每个块的操作;
其中所述控制块,
在标准操作模式中,
以第一场频率或帧频从所述成像块输出所述成像结果,以将所述成像结果记录到所述记录介质,以及
在慢动作拍摄模式中,
以高于所述第一场频率或帧频的第二场频率或帧频从所述成像块输出所述成像结果,以依次循环地将所述成像结果存储到所述存储器,以及
基于所述图像识别结果,以按照预定顺序检测出所述成像结果中的特定样式的定时为基准,结束所述成像结果向所述存储器的存储,并以低于所述第二场频率或帧频的第三场频率或帧频读取所述存储器中所存储的所述成像结果,以将所述成像结果记录到所述记录介质。
2.根据权利要求1的成像装置,其中所述第三场频率或帧频是所述第一场频率或帧频。
3.根据权利要求1的成像装置,其中要由所述图像识别块图像识别的图像识别对象是存在于一个屏幕中的特定位置处的图像。
4.根据权利要求1的成像装置,其中要以所述预定顺序检测的所述特定样式是用于检测拍摄对象的提示的样式。
5.根据权利要求1的成像装置,其中要以所述预定顺序检测的所述特定样式是要通过拍摄对象的一系列动作检测的特定姿势的样式。
6.根据权利要求1的成像装置,其中所述控制块响应于用户做出的操作而接受所述特定样式的登记。
7.根据权利要求1的成像装置,其中所述控制块,
在所述慢动作拍摄模式中,
在所述成像结果被依次循环地存储在所述存储器中的时段期间,将从所述成像块输出的所述成像结果的场频率或帧频转换成所述第一场频率或帧频,以将转换后的成像结果记录到所述记录介质。
8.一种成像装置的控制方法,所述成像装置具有
成像块,被配置以输出成像结果;
存储器,被配置以存储从所述成像块输出的成像结果,并输出该成像结果;
记录介质,被配置以记录从所述成像块输出的或从所述存储器输出的成像结果;以及
图像识别块,被配置以图像识别所述成像结果,并输出图像识别结果,
所述控制方法包括:
标准操作模式的记录步骤,其中,在标准操作模式中,所述成像结果以第一场频率或帧频从所述成像块输出,以被记录到所述记录介质;
慢动作拍摄模式的写步骤,其中,在慢动作拍摄模式中,所述成像结果以高于所述第一场频率或帧频的第二场频率或帧频从所述成像块输出,以依次循环地被存储在所述存储器中;以及
慢动作拍摄模式的记录步骤,其中,在所述慢动作拍摄模式中,基于所述图像识别结果,以按照预定顺序检测出所述成像结果中的特定样式的定时为基准,结束所述成像结果向所述存储器的存储,并且以低于所述第二场频率或帧频的第三场频率或帧频读取所述存储器中所存储的所述成像结果,以将所述成像结果记录到所述记录介质。
9.一种成像装置的控制方法的程序,所述成像装置具有
成像块,被配置以输出成像结果;
存储器,被配置以存储从所述成像块输出的成像结果,并输出该成像结果;
记录介质,被配置以记录从所述成像块输出的或从所述存储器输出的成像结果;以及
图像识别块,被配置以图像识别所述成像结果,并输出图像识别结果,
所述控制方法包括:
标准操作模式的记录步骤,其中,在标准操作模式中,所述成像结果以第一场频率或帧频从所述成像块输出,以被记录到所述记录介质;
慢动作拍摄模式的写步骤,其中,在慢动作拍摄模式中,所述成像结果以高于所述第一场频率或帧频的第二场频率或帧频从所述成像块输出,以依次循环地被存储在所述存储器中;以及
慢动作拍摄模式的记录步骤,其中,在所述慢动作拍摄模式中,基于所述图像识别结果,以按照预定顺序检测出所述成像结果中的特定样式的定时为基准,结束所述成像结果向所述存储器的存储,并且以低于所述第二场频率或帧频的第三场频率或帧频读取所述存储器中所存储的所述成像结果,以将所述成像结果记录到所述记录介质。
10.一种记录介质,记录成像装置的控制方法的程序,所述成像装置具有
成像块,被配置以输出成像结果;
存储器,被配置以存储从所述成像块输出的成像结果,并输出该成像结果;
记录介质,被配置以记录从所述成像块输出的或从所述存储器输出的成像结果;以及
图像识别块,被配置以图像识别所述成像结果,并输出图像识别结果,
所述控制方法包括:
标准操作模式的记录步骤,其中,在标准操作模式中,所述成像结果以第一场频率或帧频从所述成像块输出,以被记录到所述记录介质;
慢动作拍摄模式的写步骤,其中,在慢动作拍摄模式中,所述成像结果以高于所述第一场频率或帧频的第二场频率或帧频从所述成像块输出,以依次循环地被存储在所述存储器中;以及
慢动作拍摄模式的记录步骤,其中,在所述慢动作拍摄模式中,基于所述图像识别结果,以按照预定顺序检测出所述成像结果中的特定样式的定时为基准,结束所述成像结果向所述存储器的存储,并且以低于所述第二场频率或帧频的第三场频率或帧频读取所述存储器中所存储的所述成像结果,以将所述成像结果记录到所述记录介质。
CN2007800440175A 2006-11-30 2007-08-27 成像装置、控制成像装置的方法 Active CN101543048B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP322864/2006 2006-11-30
JP2006322864A JP4360399B2 (ja) 2006-11-30 2006-11-30 撮像装置
PCT/JP2007/067082 WO2008068933A1 (ja) 2006-11-30 2007-08-27 撮像装置、撮像装置の制御方法、撮像装置の制御方法のプログラム及び撮像装置の制御方法のプログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
CN101543048A true CN101543048A (zh) 2009-09-23
CN101543048B CN101543048B (zh) 2011-05-25

Family

ID=39491845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800440175A Active CN101543048B (zh) 2006-11-30 2007-08-27 成像装置、控制成像装置的方法

Country Status (7)

Country Link
US (1) US8405735B2 (zh)
EP (1) EP2096862B1 (zh)
JP (1) JP4360399B2 (zh)
KR (1) KR101413926B1 (zh)
CN (1) CN101543048B (zh)
AT (1) ATE528914T1 (zh)
WO (1) WO2008068933A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105157742A (zh) * 2014-04-29 2015-12-16 杭州美盛红外光电技术有限公司 识别装置和识别方法
CN108271432A (zh) * 2016-11-08 2018-07-10 深圳市大疆创新科技有限公司 视频录制方法、装置及拍摄设备
WO2021052414A1 (zh) * 2019-09-19 2021-03-25 华为技术有限公司 慢动作视频拍摄方法及电子设备

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5109864B2 (ja) * 2008-08-08 2012-12-26 株式会社ニコン 電子スチルカメラ
JP5544917B2 (ja) * 2009-02-20 2014-07-09 株式会社リコー 撮像装置及び撮像方法
JP2011193424A (ja) * 2010-02-16 2011-09-29 Casio Computer Co Ltd 撮像装置及び方法、並びにプログラム
JP5533241B2 (ja) * 2010-05-18 2014-06-25 カシオ計算機株式会社 動画再生装置、動画再生方法及びプログラム
JP2012074894A (ja) * 2010-09-28 2012-04-12 Sanyo Electric Co Ltd 電子カメラ
CN104094595B (zh) * 2011-12-29 2016-09-14 高尔纵株式会社 在立体视觉系统中供处理影像的方法及其装置
JP6064404B2 (ja) * 2012-07-24 2017-01-25 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US9684056B2 (en) 2014-05-29 2017-06-20 Abdullah I. Khanfor Automatic object tracking camera
JP2017192100A (ja) 2016-04-15 2017-10-19 ソニー株式会社 撮像素子、撮像装置、および、撮像素子の制御方法
JP6766294B2 (ja) * 2017-10-02 2020-10-14 株式会社ユピテル 電子機器
JP6566004B2 (ja) * 2017-11-13 2019-08-28 ソニー株式会社 画像処理装置、画像処理方法、プログラムおよび撮像装置
US20230069584A1 (en) * 2021-08-30 2023-03-02 Proxamama LLC Method for nipple replication

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5034811A (en) * 1990-04-04 1991-07-23 Eastman Kodak Company Video trigger in a solid state motion analysis system
US5867625A (en) * 1994-10-20 1999-02-02 Thomson Consumer Electronics, Inc. Digital VCR with trick play steam derivation
JPH0955931A (ja) 1995-08-10 1997-02-25 Sony Corp 映像信号記録装置
JPH0983952A (ja) 1995-09-13 1997-03-28 Sony Corp 撮像装置
US5884042A (en) * 1996-10-31 1999-03-16 Sensormatic Electronics Corporation Data identification in an intelligent video information management system
JP3681152B2 (ja) 1999-02-25 2005-08-10 株式会社日立国際電気 テレビカメラの制御方法及びテレビカメラ
JP4326637B2 (ja) * 1999-09-30 2009-09-09 独立行政法人理化学研究所 高速ビデオカメラ
JP2001358984A (ja) * 2000-06-15 2001-12-26 Mitsubishi Heavy Ind Ltd 動画像処理カメラ
JP4041768B2 (ja) * 2002-09-12 2008-01-30 松下電器産業株式会社 部品装着ヘッド
JP4222869B2 (ja) 2002-12-10 2009-02-12 株式会社ソニー・コンピュータエンタテインメント 画像再生装置
JP2004289766A (ja) 2003-03-20 2004-10-14 For-A Co Ltd 高速度ビデオカメラ装置
JP2004336108A (ja) 2003-04-30 2004-11-25 Shimadzu Corp 撮像装置
JP4091079B2 (ja) * 2003-11-14 2008-05-28 オリンパス株式会社 マルチスペクトル撮像装置、マルチスペクトル照明装置
EP1757087A4 (en) 2004-04-16 2009-08-19 James A Aman AUTOMATIC VIDEO RECORDING OF EVENTS, PURSUIT AND CONTENT PRODUCTION SYSTEM
JP2005328168A (ja) * 2004-05-12 2005-11-24 Nippon Hoso Kyokai <Nhk> トリガ信号発生装置及び撮影装置
US20080138029A1 (en) * 2004-07-23 2008-06-12 Changsheng Xu System and Method For Replay Generation For Broadcast Video
JP4424184B2 (ja) * 2004-12-08 2010-03-03 株式会社ニコン 撮像装置
JP4725183B2 (ja) * 2005-05-11 2011-07-13 ソニー株式会社 撮像装置、および方法
CA2888448C (en) * 2006-12-04 2018-10-09 Lynx System Developers, Inc. Autonomous systems and methods for still and moving picture production

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105157742A (zh) * 2014-04-29 2015-12-16 杭州美盛红外光电技术有限公司 识别装置和识别方法
CN105157742B (zh) * 2014-04-29 2021-03-23 杭州美盛红外光电技术有限公司 识别装置和识别方法
CN108271432A (zh) * 2016-11-08 2018-07-10 深圳市大疆创新科技有限公司 视频录制方法、装置及拍摄设备
CN108271432B (zh) * 2016-11-08 2020-12-29 深圳市大疆创新科技有限公司 视频录制方法、装置及拍摄设备
WO2021052414A1 (zh) * 2019-09-19 2021-03-25 华为技术有限公司 慢动作视频拍摄方法及电子设备

Also Published As

Publication number Publication date
KR20090083894A (ko) 2009-08-04
EP2096862B1 (en) 2011-10-12
JP2008141282A (ja) 2008-06-19
KR101413926B1 (ko) 2014-06-30
EP2096862A1 (en) 2009-09-02
WO2008068933A1 (ja) 2008-06-12
US20100045812A1 (en) 2010-02-25
EP2096862A4 (en) 2010-09-01
US8405735B2 (en) 2013-03-26
CN101543048B (zh) 2011-05-25
JP4360399B2 (ja) 2009-11-11
ATE528914T1 (de) 2011-10-15

Similar Documents

Publication Publication Date Title
CN101543048B (zh) 成像装置、控制成像装置的方法
US8350892B2 (en) Image pickup apparatus, image pickup method, playback control apparatus, playback control method, and program
CN100364317C (zh) 摄像装置
US8682134B2 (en) Apparatus and method for processing moving image data
US20020191951A1 (en) Image recording apparatus
US9071806B2 (en) Reproducing apparatus
CN102111542A (zh) 图像处理设备、成像设备、图像处理方法和程序
CN102263923A (zh) 动态图像再生装置及动态图像再生方法
JP2009246935A (ja) 画像処理装置およびそれを搭載した撮像装置
JP4143389B2 (ja) 映像記録装置
JP6468086B2 (ja) 再生装置、再生方法及び再生プログラム
JP2010161562A (ja) 画像処理装置、その制御方法、プログラム及び記録媒体
US9615027B2 (en) Image processing apparatus that displays an indicator image for performing predetermined processing on image data, image processing method, and computer readable storage medium
JP7437652B2 (ja) 球技映像解析装置、球技映像解析システム、球技映像解析方法、及び、コンピュータプログラム
CN113329199A (zh) 录播控制方法、装置及录播系统
JPH11213167A (ja) 目標物の位置検出装置および方法並びにフォーム解析装置
JP2011110074A (ja) 動画再生装置、及び、プログラム
JP2012010133A (ja) 画像処理装置および画像処理プログラム
KR20060052280A (ko) 영상 재생 장치 및 영상 재생 방법
JP6679952B2 (ja) 指導アシストシステム、および指導アシストプログラム
JP6583516B2 (ja) 再生装置、再生方法及び再生プログラム
JP6679951B2 (ja) 指導アシストシステム、および指導アシストプログラム
JP2009095047A (ja) 録画再生装置
JP2007124178A (ja) 映像信号記録再生装置
JPH0918864A (ja) 飛翔体情報処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151028

Address after: No. 555 Kang Hangzhou Science Park of Zhejiang province Binjiang District Qianmo road 310053

Patentee after: Hangzhou Hikvision Digital Technology Co., Ltd.

Address before: Tokyo, Japan, Japan

Patentee before: Sony Corporation