CN102263923A - 动态图像再生装置及动态图像再生方法 - Google Patents
动态图像再生装置及动态图像再生方法 Download PDFInfo
- Publication number
- CN102263923A CN102263923A CN2011101470072A CN201110147007A CN102263923A CN 102263923 A CN102263923 A CN 102263923A CN 2011101470072 A CN2011101470072 A CN 2011101470072A CN 201110147007 A CN201110147007 A CN 201110147007A CN 102263923 A CN102263923 A CN 102263923A
- Authority
- CN
- China
- Prior art keywords
- unit
- frame
- dynamic image
- index
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
- A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种动态图像再生装置及动态图像再生方法。动态图像再生装置包括显示部(7)和CPU(8)。显示部(7)显示所述动态图像。CPU(8)使所述显示部(7)显示用于分析人物的特定动作的指标。CPU(8)根据使用者进行的位置设定操作,在构成动态图像的帧的一个帧中设定由第一显示控制单元显示的指标的显示位置。CPU(8)以与设定了指标的显示位置的一个帧之后的各个帧重叠的状态,使所述显示部(7)再生显示由所述第一显示控制单元显示的指标。CPU(8)取得在设定了所述指标的显示位置的帧之后再生的各个帧的视场角的位移信息。CPU(8)基于取得的位移信息,校正所述再生显示的指标的显示位置。
Description
技术领域
本发明涉及一种例如适合用于数码相机的动态图像再生技术。
背景技术
在特开平10-201898号公报(特开1998-201898号公报)中,公开了如下的摄影/再生装置,即在对摄影了挥动高尔夫球杆的人物的影像(以下,称为动态图像)进行再生时,将成为用于分析高尔夫球杆的挥动姿势的指标的基准线与动态图像重叠后进行显示。根据如上所述的装置,用户通过播放逐帧操作来显示摄影对象者进入到准备击球(打球的姿势)的时刻的帧的图像,并将基准线的显示位置手动地设定在适合分析挥动姿势的位置,之后,再生动态图像时,能够分析挥动姿势。
但是,若使用在上述文献中记载的技术,则在作为挥动姿势的分析对象的动态图像例如是手持数码相机进行摄影而并非使用三角架摄影的图像的情况下,存在产生以下问题的隐患。
由于在手持设备摄影到的动态图像中,存在摄影时产生照相机的摇晃的可能性,所以在每个帧中视场角(这里,意味着摄影范围)变化的情况较多。
因此,在手持设备摄影到的动态图像中进行挥动姿势的分析的情况下,在再生动态图像之前用户设定了显示位置的基准线和被摄体(摄影对象者等)之间的位置关系在开始挥动之前就已偏移,其结果,存在无法正确地分析挥动姿势的隐患。
发明内容
本发明是鉴于这样的以往的课题而完成的,其目的在于,在手持设备摄影到的动态图像中,也能够容易且正确地分析人物的特定的动作。
为了解决所述课题,本发明的动态图像再生装置是再生预先存储的动态图像的动态图像再生装置,其特征在于,包括:显示单元,其显示所述动态图像;第一显示控制单元,其使所述显示单元显示用于分析人物的特定动作的指标;位置设定单元,其根据使用者进行的位置设定操作,将由所述第一显示控制单元显示的指标的显示位置设定在构成动态图像的帧的一个帧中;第二显示控制单元,其以与由所述位置设定单元设定了显示位置的一个帧之后的各个帧重叠的状态,使所述显示单元再生显示由所述第一显示控制单元显示的指标;位移信息取得单元,其取得在由所述第二显示控制设定了所述指标的显示位置的帧之后再生的各个帧的视场角的位移信息;以及位置校正单元,其基于由所述位移信息取得单元取得的位移信息,校正所述再生显示的指标的显示位置。
此外,本发明的动态图像再生方法是包括显示部的动态图像再生装置的动态图像再生方法,其特征在于,包括:将用于分析预先存储的动态图像和人物的特定动作的指标与所述动态图像重叠并显示在所述显示部中的第一显示控制步骤;根据使用者进行的位置设定操作,将应由所述第一显示控制单元显示的指标的显示位置设定在构成动态图像的帧的一个帧之中的位置设定步骤;以与在所述位置设定步骤中设定了显示位置的一个帧之后的各个帧重叠的状态,将由所述第一显示控制单元显示的指标再生显示在所述显示单元中的第二显示控制步骤;取得在所述第二显示控制步骤中设定了所述指标的显示位置的帧之后再生的各个帧的视场角的位移信息的位移信息取得步骤;以及基于在所述位移信息取得步骤中取得的位移信息,校正所述再生显示的指标的显示位置的校正步骤。
附图说明
图1是本发明的数码相机的方框图。
图2A是表示第一指标的图。
图2B是表示第二指标的图。
图3是表示动态图像再生处理的流程图。
图4是接着图3的流程图。
图5是表示线位置修正处理的流程图。
图6是表示第1指标的修正步骤的说明图。
图7是接着图6的说明图。
图8是表示第二指标的修正步骤的说明图。
图9是接着图8的说明图。
图10是接着图9的说明图。
图11A是表示了与第一指标对应的搜索区域的图。
图11B是表示了与第二指标对应的搜索区域的图。
具体实施方式
以下,说明本发明的实施方式。本实施方式涉及可摄影静止图像和动态图像且具有作为本发明的动态图像再生装置的功能的数码相机。本实施方式的数码相机具有如下功能:在对摄影了人物的动作的动作分析用动态图像进行再生时,将由用于特定动作的分析的二维信息构成的指标(关于细节,将在后面叙述)与动态图像重叠后进行显示的功能。
以下,根据附图说明本实施方式。图1是表示本实施方式的数码相机1的示意结构的方框图,数码相机1由以下各个部分构成。即,数码相机1主要由摄影光学系统2、摄像部3、CDS/ADC4、图像处理部5、驱动器6、显示部7、CPU(Central Processing Unit,中央处理单元)8、工作存储器9、程序存储部10、操作输入部11、外部I/F12、外部存储部13构成。
摄影光学系统2包括变焦透镜组和聚焦透镜组,且通过未图示的透镜电动机,由CPU8适当地控制各个透镜组的位置。
摄像部3是对由摄影光学系统2聚光的光学像进行光电转换,并作为由RGB分量构成的图像信号来进行输出的CCD(Charge Coupled Device,电荷耦合器件)和CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)等固体摄像元件。
CDS/ADC4由CDS(Correlated Double Sampling,相关双采样)和ADC(Analog-to-Digital Converter,模数转换器)构成。CDS/ADC4除去从摄像部3输出的图像信号的噪声,并转换为数字信号即图像数据。
图像处理部5包括蓄积从CDS/ADC4输入的图像数据的缓冲存储器。图像处理部5进行各种图像处理,即对蓄积在缓冲存储器中的图像数据进行伽马校正、或对应于摄影光源的种类的白平衡调整、每个像素的R、G、B的颜色分量数据的生成、以及将生成的RGB数据转换为YUV数据的YUV转换等。
此外,图像处理部5根据CPU8的命令,进行图像数据的压缩和扩展。即,图像处理部5在静止图像模式下进行摄影时,将转换为YUV数据之后的图像数据通过JPEG方式等进行压缩编码。压缩后的图像数据在被CPU8附加了规定的信息之后,作为静止图像文件而被记录在外部存储部13中。
此外,图像处理部5在动态图像模式下进行摄影时,将依次生成的YUV数据通过MPEG方式等对每个帧进行压缩编码。压缩后的图像数据在被CPU8附加了规定的信息之后,作为动态图像文件而被记录在外部存储部13中。
此外,在再生模式中,图像处理部5对由CPU8从外部存储部13读出的压缩状态的静止图像数据或动态图像数据进行解码,并提供给CPU8。
外部存储部13是装卸自如地安装于在数码相机1的主体中设置的卡槽的卡型的记录介质。外部I/F12是对外部存储部13和CPU8之间的数据的输入输出进行控制的输入输出接口。
显示部7例如由TFT型的彩色液晶面板构成。显示部7通过被驱动器6驱动,从而显示各种图像和其他的信息。即,显示部7在静止图像模式、动态图像模式下的摄影待机状态或摄影中,将由图像处理部5生成的基于YUV数据的图像作为取景图像来显示。此外,显示部7在再生模式中,显示由图像处理部5扩展之后的基于YUV数据的静止图像和动态图像。
工作存储器9是SDRAM(Synchronous dynamic random-accessmemory,同步动态随机存取存储器)等易失性存储器。程序存储部10是ROM(Read Only Memory只读存储器)。在程序存储部10中,存储有用于使CPU8控制数码相机1的各种程序和数据。通过在程序存储部10中存储的各种程序,CPU8起到本发明的位置设定单元、显示控制单元、位移信息取得单元、位置校正单元、区域设定单元以及判断单元的作用,并进行后述的处理。
此外,在程序存储部10中存储的数据中,包含以下叙述的线数据10a。
线数据10a是规定构成指标的后述的多条辅助线的数据,所述指标是在再生动态图像时根据需要来显示的。在数码相机1中可显示的指标对高尔夫球杆的挥动姿势的确认作贡献。具体地说,线数据10a是表示第一指标和第二指标的数据,该第一指标用于从侧方摄影了挥动高尔夫球杆的人物(以下,称为摄影对象者)的动态图像(以下,称为侧方动态图像),该第二指标用于从正面摄影了摄影对象者的动态图像(以下,称为正面动态图像)。
图2A是表示了第一指标的图。如图所示,第一指标相对于显示部7所具备的显示画面G的上下和左右的各个边,具有互不相同的角度的斜率。此外,第1指标由在预先决定的位置处交叉的第一斜线101和第二斜线102这两条辅助线构成。
图2B是表示了第二指标的图。如图所示,第二指标由与显示部7所具备的显示画面G的上下的各个边平行且相互分离的第一横线201和第二横线202、以及与显示画面G的左右的各个边平行且相互分离的第一纵线301和第二纵线302这四条辅助线构成。
并且,在程序存储部10中,作为线数据10a,存储有分别构成第一指标和第二指标的各个辅助线(101、102、201、202、301、302)的粗细以及在显示画面G中应最初显示的位置(初始位置)和表示构成第一指标的第一斜线101和第二斜线102的倾斜角度的数据。
另一方面,操作输入部11由快门按钮、用于变焦倍率的操作的变焦键、用于设定成为基础的动作模式(静止图像模式、动态图像模式、再生模式)的模式设定按钮、指示上下左右的方向的方向键、设置键等开关类构成。
方向键和设置键用于操作在显示部7中显示的菜单画面来设定数码相机1的动作内容、或设定位于成为基础的动作模式的下位的多种动作模式等。此外,方向键和设置键还用于构成上述的第一指标和第二指标的各种辅助线的位置调整。
接着,说明由以上的结构构成的数码相机1的动作。图3~图5是表示了在用户通过模式设定按钮的操作而设定再生模式之后选择了在外部存储部13中存储的任意的动态图像时,CPU8执行的处理的流程图。另外,在以下的说明中,设为由用户的选择的动态图像是摄影了挥动高尔夫球杆的摄影对象者的动态图像(侧方动态图像或者正面动态图像)。
如图3所示,若选择动态图像,则CPU8立即从外部存储部13读出所选择的动态图像的数据。然后,CPU8通过使图像处理部5进行读出的动态图像数据的扩展处理,从而再生顶端帧的图像并显示在显示部7中(步骤S1)。
接着,CPU8在维持显示了顶端帧的图像的状态的情况下,检测操作输入部11的开关类的操作状态。然后,CPU8按顺序确认用户有没有进行动态图像的再生指示、逐帧播放或者逐帧回放操作、以及指标的选择指示(步骤S2~步骤S4)。
其中,在通过规定的键操作,用户进行了动态图像的再生指示时(步骤S2:是),CPU8以通常的状态再生显示有顶端帧的图像的显示对象的动态图像(步骤S5)。即,CPU8使图像处理部5再次开始在步骤S1中读出的动态图像数据的扩展处理,并使其显示在显示部7中。然后,CPU8在步骤S5的处理中显示了最后帧的图像的阶段,结束动态图像再生处理(参照图4)。
此外,若能够确认用户的逐帧播放或者逐帧回放操作(步骤S3:是),则CPU8根据用户的操作,将显示图像切换为下一个帧的图像或者前一个帧的图像(步骤S6)。此时,用户手动地在显示部7中显示摄影对象者进入到准备击球的状态的帧的图像。另外,虽然省略了图示,但是,如处理开始当初那样,在显示图像为顶端帧的图像的状态下,CPU8只有在确认了逐帧播放操作时,进行步骤S6的处理。
然后,若能够确认用户进行了指标的选择指示(步骤S4:是),则CPU8使用户进行规定的键操作来使其选择指标的种类(步骤S7)。即,在作为显示对象的动态图像而选择了侧方动态图像的情况下,CPU8使用户选择如图2A所示的第一指标,而在作为显示对象的动态图像而选择了正面动态图像的情况下,CPU8使用户选择如图2B所示的第二指标。
之后,CPU8基于在程序存储部10中存储的线数据10a,将构成由用户选择的种类的指标(第一指标或第二指标)的多个辅助线与显示中的任意帧的图像重叠后显示在显示部7中(步骤S8)。另外,在该时刻显示的任意帧的图像是位置设定用图像。
图6A是表示了显示对象的动态图像为侧方动态图像,且用户选择第一指标作为指标时的显示部7中的显示画面的例子的图。此时,在显示部7中,在步骤S1或步骤S6的处理中显示的图像Gs上重叠第一斜线101和第二斜线102这两条辅助线来进行显示。另外,各个辅助线(101、102)的显示位置为图2A所示的初始位置。
图8A是表示了显示对象的动态图像为正面动态图像,且用户选择第二指标作为指标时的显示部7中的显示画面的例子的图。此时,在显示部7中,在步骤S1或步骤S6的处理中显示的图像Gs上重叠第一横线201和第二横线202以及第一纵线301和第二纵线302这四条辅助线来进行显示。另外,各个辅助线(201、202、301、302)的显示位置为图2B所示的初始位置。
接着,通过用户进行的规定的键操作,CPU8指示辅助线的位置修正或动态图像的再生的任一个动作。然后,在由用户指示了辅助线的位置修正的情况下(步骤S9:是),CPU8进行如图5所示的线位置修正处理(步骤S10)。
在线位置修正处理中,显示对象的动态图像为侧方动态图像时(步骤S101:侧方动态图像),则如图6B所示,CPU8在与顶端帧的图像Gs重叠而显示的第一斜线101和第二斜线102的交点上显示圆形的对位标记M(步骤S102)。
之后,在直到用户通过规定的键操作进行位置决定指示为止的期间(步骤S104:否),CPU8根据用户进行的规定的键操作,重复移动对位标记M的处理。即,CPU8重复在维持第一斜线101和第二斜线102这两者的交叉角度的状态下使两者的交点的位置向上下左右移动的处理(步骤S103)。
另外,在此期间,如图7A所示,使用户将对位标记M(第一斜线101和第二斜线102的交点)的位置调整成与球杆头重叠的位置。
接着,若从用户进行位置决定指示(步骤S104:是),则在直到用户通过规定的键操作进行角度决定指示为止的期间(步骤S106:否),CPU8根据用户进行的规定的键操作,重复在固定了第一斜线101和第二斜线102这两者的交叉位置的状态下变更两者的倾斜角度的处理(步骤S105)。
另外,在此期间,如图7B所示,通过用户的操作,将第一斜线101和第二斜线102的倾斜角度调整成第一斜线101与高尔夫球杆的长柄大致平行,且第二斜线102成为通过摄影对象者P的头的根部。然后,若用户进行了角度决定指示(步骤S106:是),则CPU8在该时刻结束线位置修正处理,CPU8的处理返回到主流程(图3)。
另一方面,在进行线位置修正处理时,若显示对象的动态图像为正面动态图像(步骤S 101:正面动态图像),则如图8B所示,CPU在与顶端帧的图像Gs重叠而显示的第一横线201和第一纵线301的交点上显示圆形的对位标记M(步骤S 107)。
之后,在直到用户通过规定的键操作进行位置决定指示为止的期间(步骤S109:否),CPU8根据用户进行的规定的键操作,重复使对位标记M即第一横线201和第一纵线301的交点的位置向上下左右移动的处理(步骤S108)。
另外,在此期间,如图9A所示,由用户将对位标记M的位置调整为第一横线201位于摄影对象者P的头顶部,且使第一纵线301位于摄影对象者P的右脚的外侧。
接着,如图9B所示,CPU8在与顶端帧的图像Gs重叠而显示的第二横线202和第二纵线302的交点上显示圆形的对位标记M(步骤S110)。
之后,在直到用户通过的规定的键操作而再次进行位置决定指示为止的期间(步骤S112:否),CPU8根据该键操作,重复使对位标记M即第二横线202和第二纵线302的交点的位置向上下左右移动的处理(步骤S111)。
另外,在此期间,如图10所示,通过用户的键操作,将对位标记M的位置调整成第二横线202位于高尔夫球的位置处,且第二纵线302位于摄影对象者P的左脚的外侧。然后,若用户进行了位置决定指示(步骤S112:是),则CPU8在该时刻结束线位置修正处理,并返回到主流程(图3)。
接着,若由用户指示了动态图像的再生(步骤S9:否,步骤S11:是),则CPU8通过图4所示的以下的处理,将后续的帧的图像以规定的帧率依次显示在显示部7中。
首先,CPU8将搜索区域设定在显示部7的显示图像(位置设定用图像)中,该搜索区域是与显示图像重叠显示的、与由用户选择的指标的种类对应的特定区域(步骤S12)。
图11A是表示了在显示对象的动态图像为侧面动态图像的情况下,在步骤S12的处理中,由CPU8响应于第一指标而设定在显示图像Gs中的搜索区域401的图。对应于第一指标的搜索区域401是以构成第一指标的第一斜线101和第二斜线102为基准的区域。并且,搜索区域401是以第一斜线101和第二斜线102的交点O为中心的四角形区域。搜索区域401的大小和纵横比是预先决定的大小和纵横比。即,搜索区域401是在显示图像Gs中高尔夫球杆的头部所存在的区域。
图11B是表示了在显示对象的动态图像为正面动态图像的情况下,在步骤S12的处理中,由CPU8响应于第二指标而设定在显示图像Gs中的搜索区域402的图。对应于第二指标的搜索区域402是以构成第二指标的第二横线202以及第一纵线301和第二纵线302为基准的区域。并且,搜索区域402是以由第一纵线301和第二纵线302夹持的第二横线202中的线段区间的中点Q为中心的四角形区域。搜索区域402的纵横比是预先决定的纵横比。其中,搜索区域402的大小为与第一纵线301和第二纵线302的相隔距离成比例的大小。搜索区域402的大小为例如横方向的大小成为相隔距离的n%(预先决定的比率)的大小。即,与图11A所示的搜索区域401相同,搜索区域402也是在显示图像Gs中高尔夫球杆的头部所存在的区域。
接着,CPU8使图像处理部5再生正在由显示部7显示的图像的下一个帧的图像之后(步骤S13),将之前设定的搜索区域(401、402)分割为多个宏块(macro block)。然后,CPU8按被分割的每个块取得表示搜索区域中的被摄体部分的帧之间的相对偏移量和偏移方向的移动向量(步骤S14)。另外,还可以通过以各个块的被摄体部分为跟踪对象的块匹配法等已知方法来进行移动向量的取得。此外,将在这里取得的每个块的移动向量用作表示下一个帧的图像中相对于其之前的帧的图像的视场角的位移的本发明的位移信息。
接着,CPU8基于取得的每个块的移动向量,通过以下的方法来判断动态图像中的摄影对象者是否开始了高尔夫球杆的向后引棒,即下一个帧是否相当于向后引棒(特定的动作)的开始时期(步骤S15)。
即,如已经说明的那样,在步骤S12的处理中设定的搜索区域(401、402)是高尔夫球杆的头部所存在的区域。因此,摄影时,在从之前的帧到下一个帧为止的期间内,例如随着照相机的摇晃而视场角产生了变化时,若高尔夫球杆的头部静止,则每个块的移动向量的全部大致相同。相对于此,若随着向后引棒的开始,高尔夫球杆的头部正在移动,则与高尔夫球杆的头部对应的块的移动向量成为不同于除此之外的块的移动向量。以此作为前提,CPU8判断摄影对象者是否开始了向后引棒。
更具体地说明的话,首先,CPU8根据预先决定的基准,以移动方向和移动量近似为条件,对每个块的移动向量进行分组。然后,在每个块的移动向量不能被分成多个组的情况下,CPU8判断为“没有开始向后引棒”。
此外,在每个块的移动向量能够被分成多个组的情况下,CPU8进一步针对移动向量的数目最多的第一组和移动向量的数目第二多的第二组,将由各个组的移动向量所表示的移动方向和移动量进行平均化。另外,第一组和第二组的任一侧为由高尔夫球杆的头部所存在的块的移动向量组构成的组,而另一侧为由作为高尔夫球杆的头部的背景的被摄体部分所存在的块的移动向量组构成的组。
之后,若第一组和第二组中的平均化之后的移动方向和/或移动量之差为阈值以下,则CPU8判断为“没有开始向后引棒”。相反,若第一组和第二组中的平均化之后的移动方向和/或移动量之差超出阈值,则CPU8判断为“开始了向后引棒”。
并且,在步骤S15的处理中判断为没有开始向后引棒的情况下(步骤S15:否),CPU8基于块的移动向量,将正在显示的指标的显示位置校正为使相对于其之前的帧的图像的视场角的变化相抵消的位置(步骤S16)。
在步骤S16的处理中,每个块的移动向量不能被分成多个组的情况下,CPU8首先对由全部移动向量所表示的移动方向和移动量分别进行平均化。之后,CPU8在画面内使当前正在显示的指标向平均化之后的移动方向的相反方向移动平均化之后的移动量。此时,将全部移动向量用作本发明的位移信息。
此外,CPU8在每个块的移动向量已被分成多个组的情况下,在画面内,使当前正在显示的指标向在第一组中取得的平均化之后的移动方向的相反方向移动平均化之后的移动量。此时,只有构成第一组的移动向量被用作本发明的位移信息。另外,这里,使用在第一组中取得的平均化之后的移动方向和移动量来移动指标的理由在于,在本实施方式中,将上述的搜索区域(401、402)的面积为高尔夫球杆的头部面积的至少两倍以上作为了前提。
之后,CPU8在校正后的显示位置上重叠了指标的状态下,将下一个帧的图像显示在显示部7中(步骤S17),并返回到步骤S13的处理。之后,CPU8重复步骤S13~步骤S17的处理。
若CPU8在再生任一个帧的图像之后,能够判断为开始了向后引棒(步骤S15:是),则在最后校正的显示位置、即通过之前进行的步骤S16的处理进行了校正的显示位置上重叠了指标的状态下,将下一个帧的图像显示在显示部7中(步骤S18)。
之后,在直到全部帧的图像的显示结束为止的期间(步骤S19:否)内,CPU8依次再生下一个帧的图像(步骤S20),并在最后校正的显示位置上重叠了指标的状态下,将新再生的下一个帧的图像依次显示在显示部7中(步骤S18)。然后,CPU8在全部帧的图像的显示结束的阶段,结束动态图像再生处理。
因此,对于用户来说,由于在对摄影了挥动高尔夫球杆的摄影对象者(自己或别人)的动态图像进行再生时,通过显示对应于动态图像的种类(侧面动态图像或正面动态图像)的指标(第一指标或第二指标),从而能够容易进行高尔夫球杆的挥动姿势的分析。
这里,在本实施方式的数码相机1中,在重叠了指标的状态下再生(显示)动态图像时,在直到开始向后引棒为止的期间内,按每个帧,将指标的显示位置校正为将相对于其之前的帧的图像的视场角的变化相抵消的位置。因此,在直到开始向后引棒为止的期间内,将指标的显示位置保持为由用户设定的适合高尔夫球杆的挥动姿势的分析的适宜位置。
从相关的说明可知,用户在动态图像的再生之前设定指标的显示位置时,也可以不需要将动态图像的逐帧播放或逐帧回放操作重复多次来显示高尔夫球杆的挥动开始之前的特定帧的图像。即,只要显示摄影对象者进入到准备击球的状态的帧的图像并设定指标的显示位置,就能够正确地分析高尔夫球杆的挥动姿势。此外,例如,即使是在分析挥动姿势的动态图像的显示之前,没有事先进行将顶端帧的图像设为开始挥动高尔夫球杆之前的特定帧的图像的编辑作业,也能够正确地分析高尔夫球杆的挥动姿势。
因此,在手持设备摄影到的动态图像、即由于在摄影时照相机摇晃而导致每个帧的视场角变化的情况较多的动态图像中,也能够容易且正确地分析高尔夫球杆的挥动姿势。
此外,在本实施方式中,只有在比挥动高尔夫球杆的时间长的、从摄影对象者进入到准备击球之后实际开始向后引棒(特定的动作)为止的帧期间内,按每个帧,将指标的显示位置校正为将相对于其之前的帧的图像的视场角的变化相抵消的位置。因此,能够减轻开始向后引棒之后的帧的动态图像再生时的CPU8的处理负担。
另外,在实施本发明时,也可以构成为在动态图像的全部期间,按每个帧校正指标的显示位置。此时,在手持设备摄影到的动态图像中,也能够容易且正确地分析高尔夫球杆的挥动姿势。
此外,在本实施方式中,对于设定指标的显示位置时的图像的后续的各个帧的图像,设定与根据用户的操作设定的指标的显示位置对应的搜索区域(401、402),并将设定的搜索区域作为处理对象而取得了移动向量。因此,能够有效且正确地取得指标的显示位置的校正所需的本发明的位移信息。
另外,在实施本发明时,也可以将例如各个帧的图像的全部区域或者预先固定决定的特定区域(图像的四角的利用区域等)作为处理对象来取得上述的移动向量,而不是将与根据用户的操作设定的指标的显示位置对应的搜索区域作为上述的移动向量。
此外,在本实施方式中,在动态图像的显示中依次取得用作本发明的位移信息的搜索区域的每个块的移动向量。但是,在实施本发明时,也可以采用例如在开始显示设定了指标的显示位置之后的动态图像之前等,对各个帧预先统一取得每个块的移动向量。
此外,在本实施方式中,构成为将根据指标的种类设定的搜索区域(401、402)作为处理对象,并将按每个块取得的移动向量用作本发明的位移信息。但是,在实施本发明时,也可以采用将移动向量以外的信息用作位移信息的结构。例如,在将本发明应用于具备了用于检测摄影时的手抖动的加速度传感器等手抖动检测传感器的数码相机的情况下,能够将手抖动检测传感器的检测信号等用作本发明的位移信息。
此外,在本实施方式中,说明了与动态图像重叠显示的指标由多个辅助线构成的情况,但与动态图像重叠显示的指标例如也可以由一条辅助线构成。此外,在由一条或多个辅助线构成指标的情况下,辅助线的形式是任意的,既可以是曲线等,也可以是虚线等,并不限于直线。
此外,与动态图像重叠显示的指标能够与动态图像重叠显示,即只要是二维信息,则并不需要一定是线条画,可以变更为任意的二维信息。
此外,在本实施方式中,说明了与动态图像重叠显示的指标用于高尔夫球杆的挥动姿势的分析中的情况。但是,与动态图像重叠显示的指标只要用于分析预先决定的特定的动作即可,例如也可以用于分析棒球的投球姿势或者球棒的挥动姿势等其他动作的分析。此时,与动态图像重叠显示的指标的具体结构只要被变更为适用于应分析的动作的种类的结构即可。
此外,在实施方式中,说明了将本发明应用于可摄影动态图像的数码相机中的情况。但是,只要是具有将预先记录的动态图像进行再生的功能的装置,则本发明还可以应用于不具有动态图像的摄影功能的个人计算机或移动电话终端、以及近年来主要用在显示由数码相机摄影的照片的数字相框等其他装置。
Claims (6)
1.一种动态图像再生装置,其再生预先存储的动态图像,该动态图像再生装置的特征在于,包括:
显示单元;
第一显示控制单元,其使所述显示单元显示用于分析人物的特定动作的指标;
位置设定单元,其根据使用者进行的位置设定操作,将由所述第一显示控制单元显示的指标的显示位置设定在构成动态图像的帧的一个帧中;
第二显示控制单元,其以与由所述位置设定单元设定了显示位置的一个帧之后的各个帧重叠的状态,使所述显示单元再生显示由所述第一显示控制单元显示的指标;
位移信息取得单元,其取得在由所述第二显示控制设定了所述指标的显示位置的帧之后再生的各个帧的视场角的位移信息;以及
位置校正单元,其基于由所述位移信息取得单元取得的位移信息,校正所述再生显示的指标的显示位置。
2.如权利要求1所述的动态图像再生装置,其特征在于,
所述动态图像再生装置还包括区域设定单元,该区域设定单元在所述帧内设定与由所述位置设定单元设定的指标的显示位置对应的特定区域,
所述位移信息取得单元基于由所述区域设定单元设定的特定区域的帧信息,取得所述位移信息。
3.如权利要求1所述的动态图像再生装置,其特征在于,
所述动态图像再生装置还包括判断单元,该判断单元判断由所述位置设定单元设定了指标的一个帧之后的所述人物的特定动作的开始时期,
所述位移信息取得单元针对与由所述判断单元判断的人物的特定动作的开始相当的特定帧为止的各个帧,取得所述位移信息,
所述位置校正单元基于由所述位移信息取得单元取得的各个帧的视场角的位移信息,在与由所述判断单元判断出的人物的特定动作的开始时期相当的特定帧为止的帧期间内,将显示在所述显示单元中的指标的显示位置校正为抵消所述视场角的位移的位置。
4.如权利要求3所述的动态图像再生装置,其特征在于,
所述指标由一个或多个辅助线构成。
5.如权利要求4所述的动态图像再生装置,其特征在于,
所述区域设定单元以构成所述指标的一个或多个辅助线为基准,在帧内设定所述特定区域。
6.一种动态图像再生方法,是包括显示部的动态图像再生装置的动态图像再生方法,该动态图像再生方法的特征在于,包括:
将用于分析预先存储的动态图像和人物的特定动作的指标与所述动态图像重叠并显示在所述显示部中的第一显示控制步骤;
根据使用者进行的位置设定操作,将应由所述第一显示控制单元显示的指标的显示位置设定在构成动态图像的帧的一个帧之中的位置设定步骤;
以与在所述位置设定步骤中设定了显示位置的一个帧之后的各个帧重叠的状态,将由所述第一显示控制单元显示的指标再生显示在所述显示单元中的第二显示控制步骤;
取得在所述第二显示控制步骤中设定了所述指标的显示位置的帧之后再生的各个帧的视场角的位移信息的位移信息取得步骤;以及
基于在所述位移信息取得步骤中取得的位移信息,校正所述再生显示的指标的显示位置的校正步骤。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010124994A JP5375744B2 (ja) | 2010-05-31 | 2010-05-31 | 動画再生装置、動画再生方法及びプログラム |
JP2010-124994 | 2010-05-31 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102263923A true CN102263923A (zh) | 2011-11-30 |
CN102263923B CN102263923B (zh) | 2015-04-01 |
Family
ID=45010356
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110147007.2A Active CN102263923B (zh) | 2010-05-31 | 2011-05-27 | 动态图像再生装置及动态图像再生方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9264651B2 (zh) |
JP (1) | JP5375744B2 (zh) |
CN (1) | CN102263923B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5906861B2 (ja) * | 2012-03-21 | 2016-04-20 | カシオ計算機株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP6060585B2 (ja) * | 2012-09-20 | 2017-01-18 | カシオ計算機株式会社 | 画像特定装置、画像特定方法及びプログラム |
US20140205980A1 (en) * | 2013-01-23 | 2014-07-24 | Kiio Inc. | Systems and methods for exercise animation software |
JP5942908B2 (ja) * | 2013-03-22 | 2016-06-29 | カシオ計算機株式会社 | 表示制御装置、表示制御方法及びプログラム |
WO2014155877A1 (ja) * | 2013-03-26 | 2014-10-02 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP6253084B2 (ja) * | 2013-08-09 | 2017-12-27 | 株式会社ユピテル | 電子機器およびプログラム |
JP5935779B2 (ja) * | 2013-09-30 | 2016-06-15 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP6314438B2 (ja) * | 2013-11-18 | 2018-04-25 | カシオ計算機株式会社 | 表示制御装置、表示制御方法及びプログラム |
KR101760760B1 (ko) * | 2014-01-28 | 2017-07-24 | 주식회사 케이티 | 움직임 벡터를 전송하는 방법 및 동영상 전송 서버, 그리고 동영상 재생 방법 및 디바이스 |
JP6676873B2 (ja) * | 2014-09-22 | 2020-04-08 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2016116566A (ja) * | 2014-12-18 | 2016-06-30 | セイコーエプソン株式会社 | 運動解析装置、運動解析方法、プログラム、及び運動解析システム |
JP2016123637A (ja) * | 2014-12-26 | 2016-07-11 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP6583647B2 (ja) * | 2017-11-22 | 2019-10-02 | 株式会社ユピテル | ゴルフ支援装置およびプログラム |
JP7275807B2 (ja) * | 2019-04-23 | 2023-05-18 | カシオ計算機株式会社 | 動作解析装置、動作解析方法及びプログラム |
US11283994B2 (en) * | 2020-04-27 | 2022-03-22 | Qualcomm Incorporated | Synchronization mechanism for image capture and processing systems |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10201898A (ja) * | 1996-11-21 | 1998-08-04 | Taimu World:Kk | 可搬型スポーツ動作撮影・再生装置 |
JP2003088604A (ja) * | 2001-09-20 | 2003-03-25 | Sumitomo Rubber Ind Ltd | ゴルフスイング記録保存システム |
CN101072301A (zh) * | 2006-05-12 | 2007-11-14 | 富士胶片株式会社 | 显示面部检测框的方法、显示字符信息的方法和摄像设备 |
JP2008023036A (ja) * | 2006-07-20 | 2008-02-07 | Kc Enterprise:Kk | ゴルフ等のスウィングフォームのチェクと解析を行うプログラム |
US20090208061A1 (en) * | 2002-09-26 | 2009-08-20 | Nobuyuki Matsumoto | Image analysis method, apparatus and program |
Family Cites Families (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5196929A (en) * | 1989-07-05 | 1993-03-23 | Olympus Optical Co., Ltd. | Display system of camera having tracking apparatus |
GB9119964D0 (en) * | 1991-09-18 | 1991-10-30 | Sarnoff David Res Center | Pattern-key video insertion |
US5333061A (en) * | 1992-03-19 | 1994-07-26 | Midori Katayama | Method and apparatus for producing an instructional video analyzing a golf swing |
JPH06210034A (ja) * | 1993-01-18 | 1994-08-02 | Mitsubishi Denki Eng Kk | 画像表示装置 |
KR100226652B1 (ko) * | 1993-08-10 | 1999-10-15 | 가타야마 미도리 | 신체의 동작법을 지도하기 위한방법 |
US5436672A (en) * | 1994-05-27 | 1995-07-25 | Symah Vision | Video processing system for modifying a zone in successive images |
US5973733A (en) * | 1995-05-31 | 1999-10-26 | Texas Instruments Incorporated | Video stabilization system and method |
US20020056136A1 (en) * | 1995-09-29 | 2002-05-09 | Wistendahl Douglass A. | System for converting existing TV content to interactive TV programs operated with a standard remote control and TV set-top box |
US5867584A (en) * | 1996-02-22 | 1999-02-02 | Nec Corporation | Video object tracking method for interactive multimedia applications |
US5917553A (en) * | 1996-10-22 | 1999-06-29 | Fox Sports Productions Inc. | Method and apparatus for enhancing the broadcast of a live event |
JPH10210416A (ja) * | 1996-11-21 | 1998-08-07 | Taimu World:Kk | スポーツ動作撮影・再生装置 |
FR2775813B1 (fr) * | 1998-03-06 | 2000-06-02 | Symah Vision | Procede et dispositif de remplacement de panneaux cibles dans une sequence video |
JPH11271890A (ja) * | 1998-03-20 | 1999-10-08 | Ricoh Co Ltd | 画像形成装置 |
JP3773670B2 (ja) * | 1998-09-30 | 2006-05-10 | 株式会社東芝 | 情報呈示方法および情報呈示装置および記録媒体 |
DE69934605T2 (de) * | 1999-11-29 | 2007-10-11 | Sony Corp. | Verfahren und Vorrichtung zur Bearbeitung von Videosignalen durch Charakteristischen Punkten Extraktion im komprimierten Bereich. |
US6509926B1 (en) * | 2000-02-17 | 2003-01-21 | Sensormatic Electronics Corporation | Surveillance apparatus for camera surveillance system |
US6864886B1 (en) * | 2000-08-10 | 2005-03-08 | Sportvision, Inc. | Enhancing video using a virtual surface |
US6850250B2 (en) * | 2000-08-29 | 2005-02-01 | Sony Corporation | Method and apparatus for a declarative representation of distortion correction for add-on graphics in broadcast video |
US6940538B2 (en) * | 2001-08-29 | 2005-09-06 | Sony Corporation | Extracting a depth map from known camera and model tracking data |
JP2009020897A (ja) * | 2002-09-26 | 2009-01-29 | Toshiba Corp | 画像解析方法、画像解析装置、画像解析プログラム |
GB0229096D0 (en) * | 2002-12-13 | 2003-01-15 | Qinetiq Ltd | Image stabilisation system and method |
JP4155118B2 (ja) * | 2003-06-13 | 2008-09-24 | カシオ計算機株式会社 | 静止画合成装置、及び動画像からの静止画合成方法 |
GB2404300A (en) * | 2003-07-25 | 2005-01-26 | Autodesk Inc | Compositing and temporally editing clips of image data |
CA2443286A1 (en) * | 2003-10-01 | 2005-04-01 | Aryan Saed | Digital composition of a mosaic motion picture |
US7880769B2 (en) * | 2004-02-13 | 2011-02-01 | Qualcomm Incorporated | Adaptive image stabilization |
JP4264368B2 (ja) * | 2004-02-24 | 2009-05-13 | 日本ナレッジ株式会社 | 実技分析システム及びプログラム |
JP4646209B2 (ja) * | 2005-02-23 | 2011-03-09 | 日本ナレッジ株式会社 | 実技分析システム及びプログラム |
US20060252018A1 (en) * | 2005-05-03 | 2006-11-09 | Varinder Sooch | Golf swing analysis |
JP2006324948A (ja) * | 2005-05-19 | 2006-11-30 | Matsushita Electric Ind Co Ltd | 撮像装置 |
IL170320A (en) * | 2005-08-17 | 2010-04-29 | Orad Hi Tec Systems Ltd | System and method for managing the visual effects insertion in a video stream |
JP2007104300A (ja) * | 2005-10-04 | 2007-04-19 | Canon Inc | 撮影装置 |
JP4926533B2 (ja) * | 2006-05-02 | 2012-05-09 | キヤノン株式会社 | 動画像処理装置、動画像処理方法及びプログラム |
JP4769653B2 (ja) * | 2006-05-26 | 2011-09-07 | 富士フイルム株式会社 | 対象画像検出システム,対象画像部分の一致判定装置および対象画像部分のソーティング装置ならびにそれらの制御方法 |
JP4671430B2 (ja) * | 2006-06-02 | 2011-04-20 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、プログラム及び記録媒体 |
US20080052750A1 (en) * | 2006-08-28 | 2008-02-28 | Anders Grunnet-Jepsen | Direct-point on-demand information exchanges |
JP4733651B2 (ja) * | 2007-01-12 | 2011-07-27 | 日本放送協会 | 位置検出装置、位置検出方法、及び位置検出プログラム |
US8385658B2 (en) * | 2007-07-27 | 2013-02-26 | Sportvision, Inc. | Detecting an object in an image using multiple templates |
US8121409B2 (en) * | 2008-02-26 | 2012-02-21 | Cyberlink Corp. | Method for handling static text and logos in stabilized images |
US8073203B2 (en) * | 2008-04-15 | 2011-12-06 | Cyberlink Corp. | Generating effects in a webcam application |
US8213689B2 (en) * | 2008-07-14 | 2012-07-03 | Google Inc. | Method and system for automated annotation of persons in video content |
JP5108698B2 (ja) * | 2008-09-22 | 2012-12-26 | 三洋電機株式会社 | 画像処理装置 |
JP5536491B2 (ja) * | 2010-03-01 | 2014-07-02 | ダンロップスポーツ株式会社 | ゴルフスイングの診断方法 |
JP5566176B2 (ja) * | 2010-04-30 | 2014-08-06 | キヤノン株式会社 | 雲台システム、及び撮影システム |
US8941723B2 (en) * | 2010-08-26 | 2015-01-27 | Blast Motion Inc. | Portable wireless mobile device motion capture and analysis system and method |
JP2012099876A (ja) * | 2010-10-29 | 2012-05-24 | Sanyo Electric Co Ltd | 画像処理装置、撮像装置、画像処理方法、プログラム |
-
2010
- 2010-05-31 JP JP2010124994A patent/JP5375744B2/ja active Active
-
2011
- 2011-05-26 US US13/116,261 patent/US9264651B2/en active Active
- 2011-05-27 CN CN201110147007.2A patent/CN102263923B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10201898A (ja) * | 1996-11-21 | 1998-08-04 | Taimu World:Kk | 可搬型スポーツ動作撮影・再生装置 |
JP2003088604A (ja) * | 2001-09-20 | 2003-03-25 | Sumitomo Rubber Ind Ltd | ゴルフスイング記録保存システム |
US20090208061A1 (en) * | 2002-09-26 | 2009-08-20 | Nobuyuki Matsumoto | Image analysis method, apparatus and program |
CN101072301A (zh) * | 2006-05-12 | 2007-11-14 | 富士胶片株式会社 | 显示面部检测框的方法、显示字符信息的方法和摄像设备 |
JP2008023036A (ja) * | 2006-07-20 | 2008-02-07 | Kc Enterprise:Kk | ゴルフ等のスウィングフォームのチェクと解析を行うプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20110293239A1 (en) | 2011-12-01 |
US9264651B2 (en) | 2016-02-16 |
CN102263923B (zh) | 2015-04-01 |
JP5375744B2 (ja) | 2013-12-25 |
JP2011254151A (ja) | 2011-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102263923A (zh) | 动态图像再生装置及动态图像再生方法 | |
US7742690B2 (en) | Imaging apparatus and method for processing imaging results | |
CN100364317C (zh) | 摄像装置 | |
CN101931752B (zh) | 摄像装置、以及对焦方法 | |
US8350892B2 (en) | Image pickup apparatus, image pickup method, playback control apparatus, playback control method, and program | |
CN102420933B (zh) | 可全景摄像的摄像装置 | |
JP5243432B2 (ja) | 画像処理装置、及び画像処理方法 | |
CN100438576C (zh) | 摄像装置和控制方法 | |
KR101413926B1 (ko) | 촬상 장치 및 촬상 장치의 제어 방법 | |
JP5516662B2 (ja) | 撮像装置 | |
JP2012070241A (ja) | 撮像装置及び方法、並びにプログラム | |
US20130114938A1 (en) | Image-capturing apparatus | |
CN102572258A (zh) | 能再现全景图像的图像再现装置 | |
CN103024263B (zh) | 图像处理装置及图像处理方法 | |
CN104519278A (zh) | 图像处理装置以及图像处理方法 | |
TWI508548B (zh) | 攝像裝置及攝像方法 | |
CN102547104B (zh) | 能生成广角图像的图像处理装置 | |
JP5533241B2 (ja) | 動画再生装置、動画再生方法及びプログラム | |
JP5136624B2 (ja) | 撮像装置、撮像方法及びプログラム | |
KR102346928B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 프로그램 | |
JP4645443B2 (ja) | 画像データ記録装置、設定状態表示方法、およびプログラム | |
JP2006352227A (ja) | 撮像装置 | |
JP6717354B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5831492B2 (ja) | 撮像装置、表示制御方法及びプログラム | |
JP2011110074A (ja) | 動画再生装置、及び、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |