CN101306249A - 动作分析装置和方法 - Google Patents
动作分析装置和方法 Download PDFInfo
- Publication number
- CN101306249A CN101306249A CN 200810114086 CN200810114086A CN101306249A CN 101306249 A CN101306249 A CN 101306249A CN 200810114086 CN200810114086 CN 200810114086 CN 200810114086 A CN200810114086 A CN 200810114086A CN 101306249 A CN101306249 A CN 101306249A
- Authority
- CN
- China
- Prior art keywords
- action
- sensing area
- motion
- area
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 134
- 230000033001 locomotion Effects 0.000 title claims description 200
- 238000000034 method Methods 0.000 title claims description 34
- 230000009471 action Effects 0.000 claims abstract description 304
- 230000006698 induction Effects 0.000 claims description 27
- 238000012790 confirmation Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 230000001795 light effect Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000000903 blocking effect Effects 0.000 description 5
- 238000010191 image analysis Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000033764 rhythmic process Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种动作分析装置,该装置包括:投影单元、图像采集单元和分析控制单元;所述投影单元,用于在分析控制单元的控制下,在第一投影面上投影动作感应区的图像,在第二投影面上投影动作指示信息;所述图像采集单元,用于采集动作感应区的图像,将采集的作感应区的图像发送给所述分析控制单元;所述分析控制单元,用于控制所述投影单元的投影;当通过对接收自所述图像采集单元的动作感应区的图像进行分析,判定当前动作指示信息指示的动作感应区图像被物体遮挡时,确定当前动作正确。本发明还公开了一种动作分析方法。使用本发明能够避免目前的动作分析装置的设备外型和传感器带来的限制。
Description
技术领域
本发明涉及图像分析技术,具体涉及动作分析装置和动作分析方法。
背景技术
目前,动作分析装置常用于提供休闲娱乐服务,例如采用动作分析装置实现的跳舞机和打鼓机等。以跳舞机为例,现有的跳舞机包括踩踏单元、显示单元和中央控制单元,这三个单元可以集成在一个跳舞机外壳中。其中,显示单元为显示器,用于在中央控制单元的控制下播放音乐并显示游戏者随着音乐的节拍应该踩踏的位置,例如:上、下、左、右;踩踏单元包括多个踩踏位置指示区,每个指示区与一个传感器相连,当游戏人员根据显示单元的提示踩踏上某个指示区后,与该指示区相连的传感器被触发,向中央控制单元发送信号,中央控制单元根据所接收信号的来源得知游戏者当前踩踏的位置,根据接收信号的时间得知游戏人员当前踩踏的时间,判断踩踏的位置和时间是否符合显示区的指示,以确定游戏人员的舞姿是否正确。打鼓机与跳舞机的原理类似,只是踩踏单元替换为供游戏者敲击的打鼓单元。
但是,目前提供不同游戏的动作分析装置,其设备外型是不相同的。例如,跳舞机中的踩踏单元和打鼓机中的打鼓单元外型明显不同,其中,踩踏单元通常是踏板或者踏台,打鼓单元通常是鼓形状敲击设备。在外型的限制下,一个动作分析装置只能实现一种功能,因此功能单一,不同功能的动作分析装置不能兼容。而且,目前的动作分析装置以传感器为动作信号感应元件,如果传感器出现故障,则整个动作分析装置的分析准确度将大大降低。
发明内容
有鉴于此,本发明提供了一种动作分析装置,能够避免现有技术中动作分析装置的设备外型和传感器带来的限制。
该装置包括:投影单元、图像采集单元和分析控制单元;
所述投影单元,用于在分析控制单元的控制下,在第一投影面上投影动作感应区的图像,在第二投影面上投影动作指示信息;
所述图像采集单元,用于采集动作感应区的图像,将采集的动作感应区的图像发送给所述分析控制单元;
所述分析控制单元,用于控制所述投影单元的投影;当通过对接收自所述图像采集单元的动作感应区的图像进行分析,判定当前动作指示信息指示的动作感应区被物体遮挡时,确定当前动作正确。
其中,所述投影单元包括一个投影仪,用于在处于同一平面的所述第一投影面和所述第二投影面上,投影动作感应区图像和动作指示信息;
或者,所述投影单元包括两个投影仪,其中一个投影仪在所述第一投影面上投影动作感应区的图像,另一个投影仪在所述第二投影面上投影动作指示信息;所述第一投影面和所述第二投影面处于同一平面或处于相互垂直的两个平面。
较佳地,所述投影单元进一步用于投影灯光效果,和/或投影所述动作指示信息对应的动作动画。
其中,所述分析控制单元包括投影输出模块、位置分析模块和动作确认模块;
投影输出模块,用于将待投影的图像输出到所述投影单元;
所述位置分析模块,用于从接收自图像采集单元的动作感应区的图像中识别出各动作感应区部分,根据识别出的动作感应区部分的亮度和/或被遮挡面积,确定被遮挡的动作感应区;
所述动作确定模块,用于在判定位置分析模块确定的被遮挡的动作感应区对应的动作与当前动作指示信息指示的动作相同时,确定当前动作正确。
其中,所述位置分析模块包括定位子模块、亮度分析子模块和遮盖面积分析子模块;
所述定位子模块,用于从来自图像采集单元的动作感应区图像中识别各动作感应区部分;
所述亮度分析子模块,用于获取定位子模块识别出的各动作感应区部分的亮度,将亮度低于预设亮度阈值的动作感应区确定为暂时被遮挡区;
所述遮盖面积分析子模块,用于获取所述亮度分析子模块确定的暂时被遮挡区的被遮挡面积,将被遮挡面的大于预设遮挡面积阈值的暂时被遮挡区确定为所述被遮挡的动作感应区。
其中,所述图像采集单元包括一个摄像头,用于采集包括所有动作感应区的图像;所述定位子模块从来自图像采集单元的一帧图像中识别出各个动作感应区部分;
或者,所述图像采集单元包括对应于每个动作感应区的摄像头,分别用于采集对应动作感应区的图像;所述定位子模块从来自图像采集单元的一帧图像中识别出一个动作感应区部分。
其中,所述动作确定模块包括位置确定子模块和时间确定子模块;
所述位置确定子模块,用于判断被遮挡的动作感应区是否与当前动作指示信息的位置指示相同,在相同的情况下,通知时间确定子模块;
所述时间确定子模块,用于在接收到所述位置确定子模块的通知时,判断所述被遮挡的动作感应区的被遮挡时间与当前动作指示信息指示的时间之差的绝对值是否小于预设时间阈值,在小于的情况下,确定当前动作正确。
较佳地,所述时间确定子模块进一步用于,在确定当前动作正确之后,根据被遮挡的动作感应区的被遮挡时间与当前动作指示信息指示的时间之差,确定当前动作吻合程度,并进行评分;将评分发送给所述投影输出模块;
所述投影输出模块,进一步用于将所述评分输出到所述投影单元;所述投影单元进一步将所述评分投影出去。
较佳地,该装置进一步包括声效单元,用于在所述分析控制单元的控制下,播放声音效果。
所述动作分析装置为跳舞机,所述动作感应区显示游戏者的踩踏点,动作指示信息显示游戏者在游戏中应该踩踏的位置。
本发明还提供了一种动作分析方法,能够避免现有技术中动作分析装置的设备外型和传感器带来的限制。
该方法包括:在第一投影面上投影动作感应区的图像,在第二投影面上投影动作指示信息;
采集动作感应区的图像,当通过对所采集动作感应区的图像进行分析,判定当前动作指示信息指示的动作感应区被物体遮挡时,确定当前动作正确。
其中,所述第一投影面和第二投影面处于同一平面或分别处于相互垂直的两个平面。
较佳地,该方法进一步包括:投影所述动作指示信息对应的动作动画,和/或投影灯光效果。
其中,所述当通过对所采集动作感应区的图像进行分析,判定当前动作指示信息指示的动作感应区被物体遮挡时,确定当前动作正确包括:
从采集的动作感应区的图像中识别出各动作感应区部分;
根据识别出的动作感应区部分的亮度和/或被遮挡面积,确定被遮挡的动作感应区;
在判定被遮挡的动作感应区对应的动作与当前动作指示信息指示的动作相同时,确定当前动作正确。
其中,所述从采集的动作感应区的图像中识别出各动作感应区部分为:
根据预先确定的动作感应区在图像中的位置,从采集的动作感应区的图像中识别出各动作感应区部分;
或者,根据预设的各动作感应区对应的投影颜色,从采集的动作感应区的图像中识别出各动作感应区部分;
或者,根据投影在各动作感应区的关键识别点的特定亮度、和/或特定颜色、和/或特定形状的标志,从采集的动作感应区图像中识别出各动作感应区部分。
其中,所述根据识别出的动作感应区部分的亮度和被遮挡面积,确定被遮挡的动作感应区包括:
获取所述识别出的动作感应区部分的亮度,将亮度低于预设亮度阈值的动作感应区确定为暂时被遮挡区;
获取所述暂时被遮挡区的被遮挡面积,将被遮挡面积大于预设遮挡面积阈值的暂时被遮挡区确定为所述被遮挡的动作感应区。
其中,判定被遮挡的动作感应区对应的动作与当前动作指示信息指示的动作相同包括:
当被遮挡的动作感应区与当前动作指示信息的位置指示相同,且被遮挡的动作感应区的被遮挡时间与所述当前动作指示信息指示的时间之差的绝对值小于预设时间阈值时,则判定被遮挡的动作感应区对应的动作与当前动作指示相同。
较佳地,其特征在于,所述确定被遮挡的动作感应区对应的动作与当前动作指示信息指示的动作相同之后,该方法进一步包括:
根据被遮挡的动作感应区被遮挡的时间与当前动作指示信息指示的时间之差确定当前动作的吻合程度,根据吻合程度进行评分,并投影所述评分。
较佳地,在当前动作指示信息对应的分析时间段,执行所述对所采集动作感应区的图像进行分析的操作;所述分析时间段为当前动作指示信息指示的时间加减预设值得到的时间区域。
较佳地,所述在第一投影面上投影动作感应区的图像,在第二投影面上投影动作指示信息之前,该方法进一步包括:
在第一投影面上投影用于显示可选游戏功能信息的功能选择感应区的图像;采集所述功能选择感应区的图像,通过对所采集的图像进行分析确定被遮挡的功能选择感应区,将该被遮盖的功能选择感应区对应的游戏功能确定为被选定的游戏功能;
所述在第一投影面上投影动作感应区的图像,在第二投影面上投影动作指示信息为:在第一投影面上投影所述被选定的游戏功能对应的动作感应区的图像,在第二投影面上投影被选定的游戏功能对应的动作指示信息。
根据以上技术方案可见,本发明实施例采用投影方式显示动作感应区和动作指示信息,因此只需要具有投影功能的设备,例如投影仪,和图像采集功能的设备,例如摄像头,就能实现动作分析。那么,只要对动作感应区的具体投影图像进行设计,对动作指示信息的具体显示进行设计,就可以采用一台动作分析装置实现跳舞机和打鼓机等多种娱乐功能,避免了现有技术中动作分析装置功能单一,不可兼容的缺陷。此外,采用投影方式显示动作感应区,还省略了踩踏单元中传感器的使用,因此不会发生传感器故障造成的分析准确度下降问题。
附图说明
图1为本发明实施例中动作分析装置的结构示意图。
图2为图1中分析控制单元12的结构示意图。
图3为本发明实施例中跳舞机进行动作分析的方法流程图。
图4为本发明实施例中跳舞机的一种位置指示区示意图。
图5为本发明实施例中跳舞机的一种动作指示区示意图。
图6为本发明实施例中跳舞机的另一种动作指示区示意图。
具体实施方式
本发明实施例提供了一种动作分析方案,其基本思想为:在第一投影面上投影动作感应区的图像,在第二投影面上投影动作指示信息,采集动作感应区的图像,当通过对所采集动作感应区的图像进行分析,判定当前动作指示信息指示的动作感应区被物体遮挡时,确定当前动作正确。
其中,第一投影面和第二投影面可以处于同一平面,如地面;也可以处于相互垂直的两个平面,例如相互垂直的地面和墙面。动作感应区显示使用者的游戏区,动作指示信息指示使用者应该做出的动作。例如,该动作分析方案应用于跳舞机时,动作感应区显示游戏者的踩踏点,动作指示信息提示游戏者在游戏中应该踩踏的位置。
为了增加视觉效果,还可以在第一投影面和/或第二投影面投影灯光效果的投影图像,给使用者以更真实的视觉感受;为增加听觉效果,还可以同时播放音乐,该音乐的节拍与动作指示信息的变化节拍相符合,给使用者多元化的感受。
可见,本发明实施例采用投影方式显示动作感应区的图像和动作指示信息,因此只需要具有投影功能的设备,例如投影仪,和图像采集功能的设备,例如摄像头,就能实现动作分析。那么,只要对动作感应区的具体投影图像进行设计,对动作指示信息的具体显示进行设计,就可以采用一台动作分析装置实现跳舞机和打鼓机等多种娱乐功能,避免了现有技术中动作分析装置功能单一,不可兼容的缺陷。此外,采用投影方式显示动作感应区,还省略了踩踏单元中传感器的使用,因此不会发生传感器故障造成的分析准确度下降问题。
基于以上基本思想,图1示出了本发明实施例中动作分析装置的结构示意图。如图1所示,该动作分析装置包括投影单元11、分析控制单元12和图像采集单元13;其中,
投影单元11,用于在分析控制单元12的控制下,在第一投影面上投影位置指示区图像,该位置指示区显示至少一个动作感应区;在第二投影面上投影动作指示区图像,用于显示动作指示信息,动作指示信息可以根据预设节奏变化。其中,投影单元11可以包括一个投影仪,在同一平面上投影位置指示区图像和动作指示区图像;或者投影单元11包括两个投影仪,分别投影位置指示区图像和动作指示区图像,且位置指示区图像和动作指示区图像被投影在相互垂直的两个平面上。该投影单元11,还可以进一步投影灯光效果。灯光效果可以投影在第一投影面和/或第二投影面,或者其它投影面上。
图像采集单元13,用于采集位置指示区中的所有动作感应区的图像,并发送给分析控制单元12。其中,图像采集单元13采集序列图像,并顺序发送给分析控制单元12。在实际中,图像采集单元13包括一个摄像头,用于采集所有动作感应区的图像,或者,图像采集单元13包括多个摄像头,每个动作感应区的图像由一个摄像头专门采集。
分析控制单元12,用于控制投影单元11的投影;接收来自图像采集单元13的动作感应区的图像,当通过对接收的图像进行分析,判定当前动作指示信息指示的动作感应区图像被物体遮挡时,确定当前动作正确。较佳地,在确定当前动作正确的情况下,控制投影单元11投影动作正确的提示信息。
较佳地,该动作分析装置进一步包括:声效单元14,用于在分析控制单元12的控制下,播放声音效果,例如,可以播放符合动作信息变化节奏的音乐。
从以上所述可以看出,动作分析装置中的分析控制单元12是判断动作是否正确的关键组成部件。下面对分析控制单元12进行详细描述。
图2为图1中分析控制单元12的结构示意图。如图2所示,该分析控制单元12包括:投影输出模块230、位置分析模块210和动作确认模块220;
其中,投影输出模块230,用于将待投影的图像输出到投影单元11。这里,待投影图像包括位置指示区的图像和动作指示区的图像,其中,动作指示区图像中的动作指示信息可以随预设节奏变化。变化可以是随机的,也可以是预先设置并保存在投影输出模块230的,例如在投影输出模块230中设置保存动作指示信息的动作数据库。
位置分析模块210,用于在所在装置启动后,通知投影输出模块230开始输出;从接收自图像采集单元的动作感应区的图像中识别各动作感应区部分,对识别出的动作感应区进行图像分析,确定被遮挡的动作感应区,通知动作确认模块220被遮挡动作感应区的信息。
这里,确定被遮挡的动作感应区的实现为:限制投影单元投影的动作感应区的最低亮度,假设为最低亮度为TL,当使用者遮挡了动作感应区的投影图像时,被遮挡的动作感应区的图像亮度会下降,如果被遮挡的位置足够大,则被遮挡的动作感应区的图像亮度会低于TL。因此,位置分析模块210获取各动作感应区的亮度,将亮度低于预设亮度阈值TO的动作感应区确定为被遮挡,其中,TO小于TL。
为了增加遮挡判断的准确性,该位置分析模块210还在根据亮度确定动作感应区被遮挡后,进一步根据动作感应区图像判断被遮挡的面积,当遮挡面积超过预设遮挡面积阈值SO时,才确认动作感应区发生遮挡。其中,在判断动作感应区被遮挡面积时,可以采用图像对比技术,将当前图像与预存的遮挡前图像进行比较,获取被遮挡面积。该根据被遮挡面积确定被遮挡动作感应区的方式也可以单独用于判断被遮挡的动作感应区。
位置分析模块210在以上根据亮度和/或遮挡面积判断是否被遮挡之前,首先需要识别各个动作感应区。这时因为,当图像采集单元13只包括一个摄像头时,该摄像头获取包括所有动作感应区的图像,传输到位置分析模块210,那么所有动作感应区在一帧图像上时,需要从该帧图像中识别出各个动作感应区的位置,以便进行后续针对各个动作感应区的操作。当图像采集单元13包括对应于动作感应区的多个摄像头时,各个动作感应区的图像是分别传输到位置分析模块210的,但即便是这样,图像上也可能有很多干扰图像,需要从图像中将动作感应区部分识别出来。
参见图2,图中的位置分析模块210详细示出了采用亮度和被遮挡面积结合作为被遮挡动作感应区判断依据的位置分析模块210的结构。如图2所示,位置分析模块210具体包括定位子模块211、亮度分析子模块212和遮盖面积分析子模块213。
其中,定位子模块211,用于在所在装置启动后,通知投影输出模块230开始输出;从接收的图像中识别出各个动作感应区部分;亮度分析子模块212,用于获取定位子模块211识别出的各动作感应区部分的亮度,将亮度低于预设亮度阈值的动作感应区确定为暂时被遮挡区;遮盖面积分析子模块213,用于获取亮度分析子模块212确定的暂时被遮挡区的被遮挡面积,将被遮挡面积大于预设遮挡面积阈值的暂时被遮挡区确定为所述被遮挡的动作感应区。
其中,定位子模块211具体识别动作感应区的方式可以为:
方式一、固定图像采集单元13中摄像头和投影单元11中投影仪的位置关系,预先确定各动作感应区在采集图像中的位置。例如,预先设定采集的图像中像素点A,B,C和D之间的图像区域为动作感应区1的位置。在这种识别方式下,位置分析模块210根据预设确定的位置信息从图像中识别出各动作感应区。
方式二、在投影时,将各动作感应区投影为不同颜色,并预设投影颜色与各动作感应区的对应关系。在这种识别方式下,位置分析模块210对所采集图像进行颜色识别,再根据预设所述对应关系识别各动作感应区。
方式三、在投影时,在各动作感应区的关键识别点,例如方形动作感应区的四角和/或中心,设置特定亮度,和/或特定颜色,和/或特定形状的标志。在这种识别方式下,位置分析模块210采用图像检测技术识别关键识别点,从而识别各动作感应区。
从图像中识别出动作感应区的方式不限于以上几种,当然不同识别方式可以单独使用或也可以结合使用。
动作确认模块220,用于接收位置分析模块210发来的被遮挡的动作感应区信息,在判定被遮挡的动作感应区对应的动作与当前动作指示信息指示的动作相同时,确定当前动作正确。较佳地,动作指示信息包括位置指示和时间指示。那么,在判断被遮挡的动作感应区对应的动作是否与当前动作指示信息指示的动作相同时,必须对位置指示和时间指示分别进行判断。因此,动作确认模块220具体包括位置确定子模块221和时间确定子模块222;其中,位置确定子模块221,用于判断被遮挡的动作感应区是否与当前动作指示信息的位置指示相同,在相同的情况下,通知时间确定子模块222;时间确定子模块222,用于在位置确定子模块221的通知下,判断所述被遮挡的动作感应区的被遮挡时间与当前动作指示信息指示的时间之差的绝对值是否小于预设时间阈值,在小于的情况下,确定当前动作正确。
较佳地,时间确定子模块222,还可以在确定当前动作正确之后,根据被遮挡的动作感应区的被遮挡时间与当前动作指示信息指示的时间之差,确定当前动作吻合程度,并进行评分。其中,吻合程度是指发生遮挡的时间与动作指示的时间指示之间的接近程度。评分时,可以设置几个吻合等级,例如完美、好或一般。实现时:计算发生遮挡的时间与动作指示信息指示的时间之差,判断该时间之差所属的级别范围,例如,设置上述预设时间阈值为100ms,时间之差大于或等于100ms为失误,小于100ms为动作正确。其中,大于或等于0ms且小于20ms为完美,大于或等于20ms且小于50ms为好,大于或等于50ms且小于100ms为一般。在实际中,预设时间阈值和吻合级别可以根据实际情况设定。
在实际中,由于摄像头连续采集图像,因此位置分析模块210也会连续分析采集的图像,或者隔帧分析采集的图像。因此可能在一小段时间内,例如几十个ms内,使用者都在做同一个动作,这个动作被图像采集设备连续采集到,并发送给位置分析模块210,那么位置分析模块210会对同一个动作进行多次分析,且每次分析都认定动作感应区被遮挡,并通知动作确认模块220。
由于图像分析非常消耗设备执行资源,因此较佳地,位置分析模块210在每个动作指示信息对应的分析时间段内进行动作感应区遮挡分析,将该分析时间段内的动作感应区遮挡分析结果发送给动作确认模块220,而在分析时间段之外,位置分析模块210无需对接收的图像进行动作感应区遮挡分析,从而降低了设备执行资源消耗。其中,分析时间段是指当前动作指示信息指示的时间加减预设值得到的时间区域。例如当前动作指示所指示时间为3400ms且预设值为100ms,那么对应的分析时间段为3400ms±100ms。在这种情况下,动作确认模块220在接收到多个相同的动作感应区信息时,将首次接收时间确定为该动作感应区的被遮挡时间,或将多个相同动作感应区信息的接收时间的平均值作为动作感应区的被遮挡时间;或者,将其中最接近指示动作的时间的接收时间作为动作感应区的被遮挡时间。
为了进一步减少设备执行资源消耗,位置分析模块210在每个分析时间段开始时进行动作感应区遮挡分析,在首次判定动作感应区被遮挡时,通知动作确认模块220,并停止本分析时间段的遮挡分析。当下一个分析时间段到来时再开始遮挡分析,从而进一步减少设备执行资源消耗。在这种情况下,动作确认模块220在一个分析时间段只需对一个被遮挡的动作感应区信息进行处理,确定该动作感应区信息对应的动作是否与动作指示信息指示的动作相同。
下面,结合流程图,对将图1示出的动作分析装置应用于跳舞机为例,对其动作分析过程进行详细描述。图3为本发明实施例中跳舞机进行动作分析的方法流程图。如图3所示,该方法包括以下步骤:
步骤301:在第一投影面投影包括多个动作感应区的位置指示区的图像,在第二投影面投影动作指示区的图像。例如,第一投影面为地面,第二投影面为与地面垂直的墙面。
图4示出了本发明实施例中跳舞机的一种位置指示区示意图,如图4所示,该位置指示区40包括身体区域41和4个动作感应区,4个动作感应区分别为:上方向位置42、下方向位置45、左方向位置43和右方向位置44,4个动作感应区中的箭头以图形方式示出了该区域名称及其对应的动作。当然,在实际中,还可以有左上方向位置、左下方向位置、右上方向位置和右下方向位置等。身体区域41是游戏者站立的位置,身体区域41的大小能够容纳下游戏者身体。
图5为本发明实施例中跳舞机的一种动作指示区示意图,如图5所示,该动作指示区50包括当前动作指示区51,较佳地,还可以包括后续动作指示区52。虚线表示这两个区在显示时不是必须有明显的界限。其中,当前动作指示区51显示游戏者当前应该在位置指示区踩踏的位置。例如图5中的踩踏右方向位置。当然,可以同时显示两个当前应该踩踏踏的位置。后续动作指示区52显示游戏者后续应该踩踏的位置。各个后续动作指示信息按节奏,例如播放音乐的节奏,向当前动作指示区51移动。动作指示区50还可以进一步包括动画区53,显示模拟跳舞者示范动作指示信息示出的舞姿的动画效果。
步骤302:摄像头被设置为与地面垂直,并固定安装。
步骤303:确定各动作感应区在摄像头采集图像中的位置。
本实施例是采用前述识别方式中的方式一,其实际实现方式比较灵活,,例如,采集一帧图像并显示,接收人工输入各动作感应区在图像中的位置,并保存;或者,控制投影仪依次将各个动作感应区高亮显示,并采集各动作感应区高亮显示时的图像,采用图像分析方法确定高亮显示的位置,将该位置作为动作感应区位置保存。
本步骤完成后,可以开始跳舞游戏。
步骤304:摄像头采集位置指示区图像。该步骤是反复实时执行的。
步骤305:判断是否对采集的图像进行分析,如果是,则执行步骤306;否则,继续执行本步骤。
本步骤中,只有在当前动作指示信息对应的分析时间段内,才判定对采集的图像进行分析;否则,只采集不分析。
如果本步骤中没有当前动作指示信息,或者说游戏结束,则结束本流程。
步骤306:根据步骤303确定的各动作感应区在采集图像中的位置,从采集的图像中识别出各个动作感应区部分。
步骤307:根据识别出的各动作感应区部分的亮度和/或遮挡面积,确定被遮挡的动作感应区。
较佳地,采用结合亮度和遮挡面积确定被遮挡的动作感应区的方式,具体实现为:获取识别出的各动作感应区的亮度,将亮度低于预设亮度阈值TO的动作感应区确定为暂时被遮挡区;其中,预设亮度阈值TO低于没有遮挡时动作感应区的最低亮度TL。然后,获取这些暂时被遮挡区的被遮挡面积,将遮挡面积大于预设遮挡面积阈值SO的暂时被遮挡区最终确定为被遮挡的动作感应区。
步骤308:确定被遮挡的动作感应区对应的动作与当前动作指示信息指示的动作是否相同,如果是,则确定当前动作正确,执行步骤309;否则,执行步骤310。
其中,确定被遮挡的动作感应区对应的动作与当前动作指示信息指示的动作是否相同具体为:判断被遮挡的动作感应区是否与当前动作指示信息的位置指示相同,且该被遮挡的动作感应区的被遮挡时间与当前动作指示信息指示的时间之差小于预设时间阈值,如果是,则确定当前动作正确,执行步骤309;否则,执行步骤310。
以上步骤306到308为先识别被遮挡的动作感应区,再判断被遮挡的动作感应区是否与当前动作指示信息相符。在实际中,可以先确定当前动作指示信息所指示的动作感应区,再从采集的图像中识别出所指示的动作感应区,判断这些动作感应区是否被遮挡,如果是,则确定动作正确。这种实施方式能够减化图像分析过程。
步骤309:停止对采集图像的分析,等待当前动作指示信息对应的分析时间段结束,返回步骤305。
步骤310:判断当前动作指示信息对应的分析时间段是否结束,如果未结束,则执行步骤305;如果结束,执行步骤311。
步骤311:判定当前动作失误,并返回步骤305。
至此,本流程结束。
图3示出的流程中,还可以包括记录得分的步骤,那么在判定当前动作正确时,可以为游戏者加分,在判定当前动作失误时,为游戏者减分,并实时在动作指示区中显示当前得分。
较佳地,可以在上述步骤308确定当前动作正确后,进一步根据被遮挡的动作感应区被遮挡的时间与当前动作指示信息指示的时间之差,确定当前动作的吻合程度,并进行评分。例如评分为完美、好或一般。然后,将评分显示在动作指示区图像中,或者其它投影区域。但是,采用首次判定遮挡的时间作为实际遮挡时间可能不够准确。因此可以采用如图6中步骤608到步骤611确定实际遮挡时间。
图6示出了本发明实施例中跳舞机进行动作分析的另一种方法流程图。如图6所示,该方法包括以下步骤:
其中,步骤601到步骤607与图3中的步骤301到步骤307相同。
步骤608:确定被遮挡的动作感应区对应的动作与当前动作指示信息指示的动作是否相同,如果是,则执行步骤609;否则,执行步骤610。
步骤609:记录步骤608确定的被遮挡的动作感应区对应的被遮挡时间。执行步骤610。
步骤610:判断当前动作指示信息对应的分析时间段是否结束;如果结束,则执行步骤611;如果没有结束,则执行步骤605。
步骤611:根据本分析时间段的记录,确定当前动作是否正确,并评分,返回步骤605。
本步骤中,如果本分析时间段的记录中,没有被遮挡的动作感应区对应的被遮挡时间,则判定为当前动作不正确;如果记录有至少一个被遮挡时间,则确定当前动作正确,并为正确动作评分。评分时,获取记录中最接近当前动作指示信息所指示时间的一个被遮挡时间,将获取的被遮挡时间与当前动作指示信息指示的时间进行比较,确定当前动作的吻合程度。或者,获取记录中各被遮挡时间的平均值,并与当前动作指示信息指示的时间比较,确定当前动作的吻合程度。
至此,本流程结束。
从图6示出的流程可见,在当前分析时间段内,当出现被遮挡的动作感应区时,只记录遮挡时间,在当前分析时间段结束时,根据记录判断当前动作是否正确,从而为确定吻合程度提供较为准确的被遮挡时间。
图3和图6示出的流程都是针对跳舞机的动作分析过程进行描述,在实际中,动作分析装置可以同时具备多个游戏功能,在步骤301和601之前提供游戏选择。具体可以为:在第一投影面(如地面)上投影功能选择感应区的图像,各功能选择感应区显示游戏功能信息。游戏者选定游戏后,通过遮挡对应的功能选择感应区图像实现游戏功能的选择。此时,通过图像采集和分析得到游戏者选择的游戏功能信息。在实际中,可以仍在地面上投影动作感应区图像,在墙面投影可选游戏功能信息,并投影各游戏功能信息与动作感应区的关系,游戏者通过遮挡相应位置同样可以实现游戏功能的选择。
较佳地,在一段游戏结束后,进一步在第一投影面投影各种菜单选项,例如继续当前游戏、游戏切换、更换音乐、退出等选项,游戏者通过遮挡相应位置进行选项选择。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (20)
1、一种动作分析装置,其特征在于,该装置包括:投影单元、图像采集单元和分析控制单元;
所述投影单元,用于在分析控制单元的控制下,在第一投影面上投影动作感应区的图像,在第二投影面上投影动作指示信息;
所述图像采集单元,用于采集动作感应区的图像,将采集的动作感应区的图像发送给所述分析控制单元;
所述分析控制单元,用于控制所述投影单元的投影;当通过对接收自所述图像采集单元的动作感应区的图像进行分析,判定当前动作指示信息指示的动作感应区被物体遮挡时,确定当前动作正确。
2、如权利要求1所述的装置,其特征在于,所述投影单元包括一个投影仪,用于在处于同一平面的所述第一投影面和所述第二投影面上,投影动作感应区图像和动作指示信息;
或者,所述投影单元包括两个投影仪,其中一个投影仪在所述第一投影面上投影动作感应区的图像,另一个投影仪在所述第二投影面上投影动作指示信息;所述第一投影面和所述第二投影面处于同一平面或处于相互垂直的两个平面。
3、如权利要求1所述的装置,其特征在于,所述投影单元进一步用于投影灯光效果,和/或投影所述动作指示信息对应的动作动画。
4、如权利要求1所述的装置,其特征在于,所述分析控制单元包括投影输出模块、位置分析模块和动作确认模块;
投影输出模块,用于将待投影的图像输出到所述投影单元;
所述位置分析模块,用于从接收自图像采集单元的动作感应区的图像中识别出各动作感应区部分,根据识别出的动作感应区部分的亮度和/或被遮挡面积,确定被遮挡的动作感应区;
所述动作确定模块,用于在判定位置分析模块确定的被遮挡的动作感应区对应的动作与当前动作指示信息指示的动作相同时,确定当前动作正确。
5、如权利要求4所述的装置,其特征在于,所述位置分析模块包括定位子模块、亮度分析子模块和遮盖面积分析子模块;
所述定位子模块,用于从来自图像采集单元的动作感应区图像中识别各动作感应区部分;
所述亮度分析子模块,用于获取定位子模块识别出的各动作感应区部分的亮度,将亮度低于预设亮度阈值的动作感应区确定为暂时被遮挡区;
所述遮盖面积分析子模块,用于获取所述亮度分析子模块确定的暂时被遮挡区的被遮挡面积,将被遮挡面的大于预设遮挡面积阈值的暂时被遮挡区确定为所述被遮挡的动作感应区。
6、如权利要求5所述的装置,其特征在于,所述图像采集单元包括一个摄像头,用于采集包括所有动作感应区的图像;所述定位子模块从来自图像采集单元的一帧图像中识别出各个动作感应区部分;
或者,所述图像采集单元包括对应于每个动作感应区的摄像头,分别用于采集对应动作感应区的图像;所述定位子模块从来自图像采集单元的一帧图像中识别出一个动作感应区部分。
7、如权利要求4所述的装置,其特征在于,所述动作确定模块包括位置确定子模块和时间确定子模块;
所述位置确定子模块,用于判断被遮挡的动作感应区是否与当前动作指示信息的位置指示相同,在相同的情况下,通知时间确定子模块;
所述时间确定子模块,用于在接收到所述位置确定子模块的通知时,判断所述被遮挡的动作感应区的被遮挡时间与当前动作指示信息指示的时间之差的绝对值是否小于预设时间阈值,在小于的情况下,确定当前动作正确。
8、如权利要求7所述的装置,其特征在于,所述时间确定子模块进一步用于,在确定当前动作正确之后,根据被遮挡的动作感应区的被遮挡时间与当前动作指示信息指示的时间之差,确定当前动作吻合程度,并进行评分;将评分发送给所述投影输出模块;
所述投影输出模块,进一步用于将所述评分输出到所述投影单元;所述投影单元进一步将所述评分投影出去。
9、如权利要求1所述的装置,其特征在于,该装置进一步包括声效单元,用于在所述分析控制单元的控制下,播放声音效果。
10、如权利要求1至9任意一项所述的装置,其特征在于,所述动作分析装置为跳舞机,所述动作感应区显示游戏者的踩踏点,动作指示信息显示游戏者在游戏中应该踩踏的位置。
11、一种动作分析方法,其特征在于,该方法包括:
在第一投影面上投影动作感应区的图像,在第二投影面上投影动作指示信息;
采集动作感应区的图像,当通过对所采集动作感应区的图像进行分析,判定当前动作指示信息指示的动作感应区被物体遮挡时,确定当前动作正确。
12、如权利要求11所述的方法,其特征在于,所述第一投影面和第二投影面处于同一平面或分别处于相互垂直的两个平面。
13、如权利要求11所述的方法,其特征在于,该方法进一步包括:投影所述动作指示信息对应的动作动画,和/或投影灯光效果。
14、如权利要求11所述的方法,其特征在于,所述当通过对所采集动作感应区的图像进行分析,判定当前动作指示信息指示的动作感应区被物体遮挡时,确定当前动作正确包括:
从采集的动作感应区的图像中识别出各动作感应区部分;
根据识别出的动作感应区部分的亮度和/或被遮挡面积,确定被遮挡的动作感应区;
在判定被遮挡的动作感应区对应的动作与当前动作指示信息指示的动作相同时,确定当前动作正确。
15、如权利要求14所述的方法,其特征在于,所述从采集的动作感应区的图像中识别出各动作感应区部分为:
根据预先确定的动作感应区在图像中的位置,从采集的动作感应区的图像中识别出各动作感应区部分;
或者,根据预设的各动作感应区对应的投影颜色,从采集的动作感应区的图像中识别出各动作感应区部分;
或者,根据投影在各动作感应区的关键识别点的特定亮度、和/或特定颜色、和/或特定形状的标志,从采集的动作感应区图像中识别出各动作感应区部分。
16、如权利要求14所述的方法,其特征在于,所述根据识别出的动作感应区部分的亮度和被遮挡面积,确定被遮挡的动作感应区包括:
获取所述识别出的动作感应区部分的亮度,将亮度低于预设亮度阈值的动作感应区确定为暂时被遮挡区;
获取所述暂时被遮挡区的被遮挡面积,将被遮挡面积大于预设遮挡面积阈值的暂时被遮挡区确定为所述被遮挡的动作感应区。
17、如权利要求14所述的方法,其特征在于,判定被遮挡的动作感应区对应的动作与当前动作指示信息指示的动作相同包括:
当被遮挡的动作感应区与当前动作指示信息的位置指示相同,且被遮挡的动作感应区的被遮挡时间与所述当前动作指示信息指示的时间之差的绝对值小于预设时间阈值时,则判定被遮挡的动作感应区对应的动作与当前动作指示相同。
18、如权利要求16或17所述的方法,其特征在于,所述确定被遮挡的动作感应区对应的动作与当前动作指示信息指示的动作相同之后,该方法进一步包括:
根据被遮挡的动作感应区被遮挡的时间与当前动作指示信息指示的时间之差确定当前动作的吻合程度,根据吻合程度进行评分,并投影所述评分。
19、如权利要求11所述的方法,其特征在于,在当前动作指示信息对应的分析时间段,执行所述对所采集动作感应区的图像进行分析的操作;所述分析时间段为当前动作指示信息指示的时间加减预设值得到的时间区域。
20、如权利要求11所述的方法,其特征在于,所述在第一投影面上投影动作感应区的图像,在第二投影面上投影动作指示信息之前,该方法进一步包括:
在第一投影面上投影用于显示可选游戏功能信息的功能选择感应区的图像;采集所述功能选择感应区的图像,通过对所采集的图像进行分析确定被遮挡的功能选择感应区,将该被遮盖的功能选择感应区对应的游戏功能确定为被选定的游戏功能;
所述在第一投影面上投影动作感应区的图像,在第二投影面上投影动作指示信息为:在第一投影面上投影所述被选定的游戏功能对应的动作感应区的图像,在第二投影面上投影被选定的游戏功能对应的动作指示信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200810114086 CN101306249B (zh) | 2008-05-30 | 2008-05-30 | 动作分析装置和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200810114086 CN101306249B (zh) | 2008-05-30 | 2008-05-30 | 动作分析装置和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101306249A true CN101306249A (zh) | 2008-11-19 |
CN101306249B CN101306249B (zh) | 2011-09-14 |
Family
ID=40123070
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200810114086 Expired - Fee Related CN101306249B (zh) | 2008-05-30 | 2008-05-30 | 动作分析装置和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101306249B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102546935A (zh) * | 2011-12-20 | 2012-07-04 | 上海电机学院 | 利用光反射光感应的投影手机 |
CN102572102A (zh) * | 2011-12-20 | 2012-07-11 | 上海电机学院 | 利用光感应的投影手机 |
CN102736731A (zh) * | 2010-12-21 | 2012-10-17 | 微软公司 | 智能玩游戏照片捕捉 |
CN101345827B (zh) * | 2008-08-26 | 2012-11-28 | 北京中星微电子有限公司 | 一种交互式动画播放方法及系统 |
CN104008362A (zh) * | 2013-02-27 | 2014-08-27 | 联想(北京)有限公司 | 一种信息处理的方法、识别的方法及电子设备 |
CN104331149A (zh) * | 2014-09-29 | 2015-02-04 | 联想(北京)有限公司 | 一种控制方法、装置和电子设备 |
CN104754421A (zh) * | 2014-02-26 | 2015-07-01 | 苏州乐聚一堂电子科技有限公司 | 互动节拍特效系统及互动节拍特效处理方法 |
CN104379225B (zh) * | 2012-06-25 | 2017-09-19 | 科乐美数码娱乐株式会社 | 游戏控制装置、游戏控制方法、游戏系统 |
CN108563331A (zh) * | 2018-03-29 | 2018-09-21 | 北京微播视界科技有限公司 | 动作匹配结果确定装置、方法、可读存储介质及交互装置 |
CN109621425A (zh) * | 2018-12-25 | 2019-04-16 | 广州华多网络科技有限公司 | 一种视频生成方法、装置、设备及存储介质 |
CN111711762A (zh) * | 2020-06-30 | 2020-09-25 | 云从科技集团股份有限公司 | 基于目标检测的摄像机镜头模组遮挡控制方法、装置及摄像机 |
CN112843699A (zh) * | 2021-03-05 | 2021-05-28 | 华人运通(上海)云计算科技有限公司 | 车端游戏方法、装置、系统、设备及存储介质 |
CN112891937A (zh) * | 2021-03-05 | 2021-06-04 | 华人运通(上海)云计算科技有限公司 | 车端游戏方法、装置、系统、设备及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9111872D0 (en) * | 1991-06-03 | 1991-07-24 | Shell Int Research | Polymer process |
US7259747B2 (en) * | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
CN2657738Y (zh) * | 2003-02-14 | 2004-11-24 | 汰捷科技股份有限公司 | 无线通讯游戏踏舞板 |
-
2008
- 2008-05-30 CN CN 200810114086 patent/CN101306249B/zh not_active Expired - Fee Related
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101345827B (zh) * | 2008-08-26 | 2012-11-28 | 北京中星微电子有限公司 | 一种交互式动画播放方法及系统 |
CN102736731A (zh) * | 2010-12-21 | 2012-10-17 | 微软公司 | 智能玩游戏照片捕捉 |
US9848106B2 (en) | 2010-12-21 | 2017-12-19 | Microsoft Technology Licensing, Llc | Intelligent gameplay photo capture |
CN102572102A (zh) * | 2011-12-20 | 2012-07-11 | 上海电机学院 | 利用光感应的投影手机 |
CN102546935A (zh) * | 2011-12-20 | 2012-07-04 | 上海电机学院 | 利用光反射光感应的投影手机 |
CN104379225B (zh) * | 2012-06-25 | 2017-09-19 | 科乐美数码娱乐株式会社 | 游戏控制装置、游戏控制方法、游戏系统 |
CN104008362A (zh) * | 2013-02-27 | 2014-08-27 | 联想(北京)有限公司 | 一种信息处理的方法、识别的方法及电子设备 |
CN104008362B (zh) * | 2013-02-27 | 2018-03-23 | 联想(北京)有限公司 | 一种信息处理的方法、识别的方法及电子设备 |
CN104754421A (zh) * | 2014-02-26 | 2015-07-01 | 苏州乐聚一堂电子科技有限公司 | 互动节拍特效系统及互动节拍特效处理方法 |
CN104331149A (zh) * | 2014-09-29 | 2015-02-04 | 联想(北京)有限公司 | 一种控制方法、装置和电子设备 |
CN108563331A (zh) * | 2018-03-29 | 2018-09-21 | 北京微播视界科技有限公司 | 动作匹配结果确定装置、方法、可读存储介质及交互装置 |
CN109621425A (zh) * | 2018-12-25 | 2019-04-16 | 广州华多网络科技有限公司 | 一种视频生成方法、装置、设备及存储介质 |
CN109621425B (zh) * | 2018-12-25 | 2023-08-18 | 广州方硅信息技术有限公司 | 一种视频生成方法、装置、设备及存储介质 |
CN111711762A (zh) * | 2020-06-30 | 2020-09-25 | 云从科技集团股份有限公司 | 基于目标检测的摄像机镜头模组遮挡控制方法、装置及摄像机 |
CN112843699A (zh) * | 2021-03-05 | 2021-05-28 | 华人运通(上海)云计算科技有限公司 | 车端游戏方法、装置、系统、设备及存储介质 |
CN112891937A (zh) * | 2021-03-05 | 2021-06-04 | 华人运通(上海)云计算科技有限公司 | 车端游戏方法、装置、系统、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN101306249B (zh) | 2011-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101306249B (zh) | 动作分析装置和方法 | |
JP5256561B2 (ja) | 情報入力装置、情報出力装置および方法 | |
US8605990B2 (en) | Image recognition device and image recognition method | |
US8602858B2 (en) | Game device, computer program therefor, and recording medium therefor | |
US7686457B2 (en) | Projection image display apparatus and multi-projection system | |
EP2287708A1 (en) | Image recognizing device, operation judging method, and program | |
US20210264210A1 (en) | Learning data collection device, learning data collection system, and learning data collection method | |
JP2006325740A (ja) | リハビリテーション支援システム及びプログラム | |
CN109513157B (zh) | 基于Kinect体感的灭火演练交互方法与系统 | |
US20120044141A1 (en) | Input system, input method, computer program, and recording medium | |
KR100972826B1 (ko) | 서브 디스플레이를 제공하는 가상 골프 시뮬레이션 장치 | |
KR101565472B1 (ko) | 골프 스윙에 대한 정보제공을 위한 골프 연습 시스템 및 이를 이용한 골프 스윙에 대한 정보 처리방법 | |
JP2003333590A (ja) | 現場の画像生成システム | |
BG112225A (bg) | Универсалнa електронна система за възстановяване позициите на топки при игри на маса като снукър, билярд, пул и други игри | |
JP3866474B2 (ja) | ゲーム装置および情報記憶媒体 | |
US11235232B2 (en) | Game machine, and storage medium | |
KR101019829B1 (ko) | 운동하는 볼에 대한 센싱처리장치, 센싱처리방법 및 이를 이용한 가상 골프 시뮬레이션 장치 | |
JP5055548B2 (ja) | 運動支援装置及びコンピュータプログラム | |
CN111659124B (zh) | 一种用于对弈的智能鉴别系统 | |
JP6986766B2 (ja) | 画像処理装置およびプログラム | |
KR101019801B1 (ko) | 오브젝트 운동 센싱장치 및 센싱방법과, 이를 이용한 가상 골프 시뮬레이션 장치 | |
CN107688392B (zh) | 一种控制mr头显设备显示虚拟景象的方法及系统 | |
KR101059293B1 (ko) | 사용자 조작을 감지하는 센싱장치 및 이를 이용한 가상 골프 시뮬레이션 장치와, 가상 골프 시뮬레이션 방법 | |
KR20200079519A (ko) | 게임기, 게임 시스템, 컴퓨터 프로그램이 기억된 기억 장치, 및 제어 방법 | |
KR101019847B1 (ko) | 운동하는 볼에 대한 센싱처리장치, 센싱처리방법 및 이를 이용한 가상 골프 시뮬레이션 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20180408 Address after: 100191 Xueyuan Road, Haidian District, Haidian District, Beijing, No. 607, No. six Patentee after: BEIJING VIMICRO ARTIFICIAL INTELLIGENCE CHIP TECHNOLOGY CO.,LTD. Address before: 100083, Haidian District, Xueyuan Road, Beijing No. 35, Nanjing Ning building, 15 Floor Patentee before: VIMICRO Corp. |
|
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110914 |