CN113014995A - 视频回放方法、介质、眼镜及程序产品 - Google Patents

视频回放方法、介质、眼镜及程序产品 Download PDF

Info

Publication number
CN113014995A
CN113014995A CN202110215880.4A CN202110215880A CN113014995A CN 113014995 A CN113014995 A CN 113014995A CN 202110215880 A CN202110215880 A CN 202110215880A CN 113014995 A CN113014995 A CN 113014995A
Authority
CN
China
Prior art keywords
video
target
scene
playback
node information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110215880.4A
Other languages
English (en)
Inventor
关婧妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Beehive Century Technology Co ltd
Original Assignee
Beijing Beehive Century Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Beehive Century Technology Co ltd filed Critical Beijing Beehive Century Technology Co ltd
Priority to CN202110215880.4A priority Critical patent/CN113014995A/zh
Publication of CN113014995A publication Critical patent/CN113014995A/zh
Priority to US17/523,765 priority patent/US11538243B2/en
Priority to EP21208391.9A priority patent/EP4050470A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4882Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30221Sports video; Sports image
    • G06T2207/30224Ball; Puck

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供一种视频回放方法、介质、眼镜及程序产品。本申请实施例提供的视频回放方法,通过佩戴智能眼镜来实时获取外部场景的场景视频,然后,在从场景视频中提取关键节点信息对应的目标时间段的目标视频,并且通过在智能眼镜上对所获取到的目标视频进行自动回放,以在现场观赛过程中,及时向观看者地自动回放精彩画面,大大提高了观看者的观赛体验。

Description

视频回放方法、介质、眼镜及程序产品
技术领域
本申请涉及智能设备技术领域,尤其涉及一种视频回放方法、介质、眼镜及程序产品。
背景技术
随着竞技体育的发展,越来越多的体育爱好者在举办各类体育赛事(例如:奥运会、冬奥会、篮球联赛等)时,会选择前往现场观看比赛。
当前,观看者在现场观看比赛时,只能实时观看运动员的表现,而对于精彩部分的回放,只能通过现场的大屏幕或者赛后的比赛集锦进行获取。
可见,通过传统现场观看比赛的方式,观看者无法及时地获取精彩画面回放,容易导致错过赛事的精彩环节,影响观看者的观赛体验。
发明内容
本申请实施例提供一种视频回放方法、介质、眼镜及程序产品,以解决观看者在现场观赛过程中,无法及时地获取精彩画面回放,容易错过赛事的精彩环节的技术问题。
第一方面,本申请实施例提供一种视频回放方法,应用于智能眼镜,所述方法包括:
获取外部场景的场景视频;
若所述场景视频中存在关键节点信息,则从所述场景视频中提取目标视频,所述目标视频为所述关键节点信息对应的目标时间段的视频;
在所述智能眼镜的镜片上对所述目标视频进行回放。
在一种可能的设计中,在所述获取外部场景的场景视频之后,还包括:
根据所述场景视频中的特征信息确定所述关键节点信息,其中,所述特征信息包括图像特征和/或声音特征,所述特征信息为当前运动项目中目标行为所对应的信息。
在一种可能的设计中,所述根据所述场景视频中的特征信息确定所述关键节点信息,包括:
根据所述场景视频中预设球类目标与预设器材目标之间的相对位置关系确定进球节点信息,所述关键节点信息包括所述进球节点信息;或者,
根据所述场景视频中预设人物目标与预设起止线目标之间的相对位置关系确定起跑或到达节点信息,所述关键节点信息包括所述起跑或到达节点信息;或者,
若所述场景视频中的所述声音特征满足预设声音条件,则确定所述声音特征对应的起始点为所述关键节点信息。
在一种可能的设计中,在所述智能眼镜的镜片上对所述目标视频进行回放之前,还包括:
在所述智能眼镜的镜片上显示提示信息,所述提示信息用于提示所述场景视频中存在所述关键节点信息;
获取确认播放指令,所述确认播放指令用于触发对所述目标视频开始进行回放。
在一种可能的设计中,所述的视频回放方法,还包括:
接收其他设备发送的回放指令,所述回放指令用于提示回放所述目标视频;或者,
接收所述其他设备发送的回放指令以及另一视频,所述目标视频与所述另一视频至少在对所述外部场景的拍摄角度上存在差异,所述回放指令用于提示回放所述另一视频。
在一种可能的设计中,所述在所述智能眼镜的镜片上对所述目标视频进行回放,包括:
根据所述场景视频中的特征信息确定所述关键节点信息所对应的关键节点类型;
根据所述关键节点类型以及预设播放规则确定所述目标视频的回放速度;
根据所述回放速度在所述智能眼镜的镜片上对所述目标视频进行回放。
在一种可能的设计中,在所述智能眼镜的镜片上对所述目标视频进行回放之后,还包括:
获取作用于所述智能眼镜上的触发指令;
根据所述触发指令控制所述目标视频的播放进度。
第二方面,本申请实施例提供一种视频回放装置,包括:
获取模块,用于获取外部场景的场景视频;
处理模块,用于若所述场景视频中存在关键节点信息,则从所述场景视频中提取目标视频,所述目标视频为所述关键节点信息对应的目标时间段的视频;
显示模块,用于对所述目标视频进行回放。
在一种可能的设计中,所述处理模块,还用于根据所述场景视频中的特征信息确定所述关键节点信息,其中,所述特征信息包括图像特征和/或声音特征,所述特征信息为当前运动项目中目标行为所对应的信息。
在一种可能的设计中,所述处理模块,具体用于:
根据所述场景视频中预设球类目标与预设器材目标之间的相对位置关系确定进球节点信息,所述关键节点信息包括所述进球节点信息;或者,
根据所述场景视频中预设人物目标与预设起止线目标之间的相对位置关系确定起跑或到达节点信息,所述关键节点信息包括所述起跑或到达节点信息;或者,
若所述场景视频中的所述声音特征满足预设声音条件,则确定所述声音特征对应的起始点为所述关键节点信息。
在一种可能的设计中,所述显示模块,还用于在所述智能眼镜的镜片上显示提示信息,所述提示信息用于提示所述场景视频中存在所述关键节点信息;
所述获取模块,还用于获取确认播放指令,所述确认播放指令用于触发对所述目标视频开始进行回放。
在一种可能的设计中,所述视频回放装置,还包括:
接收模块,用于接收其他设备发送的回放指令,所述回放指令用于提示回放所述目标视频;或者,
用于接收所述其他设备发送的回放指令以及另一视频,所述目标视频与所述另一视频至少在对所述外部场景的拍摄角度上存在差异,所述回放指令用于提示回放所述另一视频。
在一种可能的设计中,所述显示模块,具体用于:
根据所述场景视频中的特征信息确定所述关键节点信息所对应的关键节点类型;
根据所述关键节点类型以及预设播放规则确定所述目标视频的回放速度;
根据所述回放速度在所述智能眼镜的镜片上对所述目标视频进行回放。
在一种可能的设计中,所述获取模块,还用于获取作用于所述智能眼镜上的触发指令;
所述处理模块,还用于根据所述触发指令控制所述目标视频的播放进度。
第三方面,本申请实施例还提供一种智能眼镜,包括:处理器、存储器、镜片以及图像传感器,所述处理器分别与所述存储器、镜片以及图像传感器连接;
所述图像传感器,用于获取外部场景的场景视频;
所述存储器,用于存储所述处理器的计算机程序;
其中,所述处理器被配置为通过执行所述计算机程序来实现第一方面中任意一种视频回放方法;
所述镜片,用于显示目标视频。
第四方面,本申请实施例还提供一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面中任意一种视频回放方法。
第五方面,本申请实施例还提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现第一方面中任意一种视频回放方法。
本申请实施例提供的一种视频回放方法、介质、眼镜及程序产品,通过佩戴智能眼镜来实时获取外部场景的场景视频,然后,在从场景视频中提取关键节点信息对应的目标时间段的目标视频,并且通过在智能眼镜上对所获取到的目标视频进行自动回放,以在现场观赛过程中,及时向观看者地自动回放精彩画面,大大提高了观看者的观赛体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的视频回放方法的应用场景图;
图2是根据另一示例性实施例示出的视频回放方法的应用场景图;
图3是根据一示例性实施例示出智能眼镜的结构示意图;
图4是根据一示例性实施例示出的视频回放方法的流程示意图;
图5是根据另一示例性实施例示出的视频回放方法的流程示意图;
图6是根据一示例性实施例示出的视频回放显示示意图;
图7是根据另一示例性实施例示出的视频回放显示示意图;
图8是根据再一示例性实施例示出的视频回放方法的流程示意图;
图9是不同智能眼镜之间通信的场景示意图;
图10是智能眼镜与服务器之间通信的场景示意图;
图11是根据一示例性实施例示出的视频回放装置的结构示意图;
图12是根据另一示例性实施例示出的视频回放装置的结构示意图;
图13是根据一示例性实施例示出的智能眼镜的框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
当前,观看者在现场观看比赛时,观看者在现场观看比赛时,只能实时观看运动员的表现,而对于精彩部分的回放,只能通过现场的大屏幕或者赛后的比赛集锦进行获取。可见,通过传统现场观看比赛的方式,观看者无法及时地获取精彩画面回放,容易导致错过赛事的精彩环节。例如,观看者在现场观看球赛时,因为没有看清当前的精彩进球,则就直接错过了该精彩进球的画面。此外,当观看者在现场观看田径比赛(例如:短跑)时,由于短跑比赛的时长非常短,而在这短时间内,观赛者容易漏过许多精彩细节,或者,当多个参赛运动员以较小的距离通过终点线时,观赛者也很难以肉眼判断出终点线前的精彩冲刺画面。
而本申请旨在提供一种视频回放方法,通过佩戴智能眼镜来实时获取外部场景的场景视频,然后,在从场景视频中提取关键节点信息对应的目标时间段的目标视频,并且通过在智能眼镜上对所获取到的目标视频进行自动回放,以在现场观赛过程中,及时向观看者地自动回放精彩画面,大大提高了观看者的观赛体验。
图1是根据一示例性实施例示出的视频回放方法的应用场景图。如图1所示,本实施例提供的视频回放方法,可以应用于观看者在田径赛场观看田径比赛(例如:短跑),观看者在进行观赛时,通过佩戴智能眼镜100,可以实时获取田径赛场内的场景视频,然后,通过图像分析技术或者音频分析技术确定场景视频中存在关键节点信息时,则从场景视频中提取该关键节点信息对应目标时间段的目标视频,并在智能眼镜的镜片上对该目标视频进行回放。
例如,可以是通过音频分析技术确定当前所录制的场景视频中存在起跑信号(例如:发令枪的枪声),然后,将以该起跑信号对应的发生时刻为起点获取预设时长的目标视频作为起跑精彩画面(例如:可以为起跑后2秒时长内的视频)。
或者,还可以是通过图像分析技术确定运动员冲过终止线来确定终止时刻,再将以该终止时刻为参考点获取该时刻预设时长的目标视频作为冲刺精彩画面(例如:可以为终止时刻前2秒,后1秒时长内的视频)。
此外,还可以是通过音频分析技术确定当前所录制的场景视频中存在反超时刻(例如:群众的欢呼声),然后,将以该反超时刻为参考点获取该时刻预设时长的目标视频作为反超精彩画面(例如:可以为反超时刻前后各1秒的视频)。
最后,可以是在比赛结束后,自动将所确定的各个目标视频在智能眼镜的镜片上进行回放,以使观看者能够及时获取到比赛过程中各个精彩画面的回放。
图2是根据另一示例性实施例示出的视频回放方法的应用场景图。如图2所示,本实施例提供的视频回放方法,还可以应用于观看者在球场上观看球赛(例如:篮球比赛),观看者在进行观赛时,通过佩戴智能眼镜100,可以实时获球场内的场景视频,然后,通过图像分析技术或者音频分析技术确定场景视频中存在关键节点信息时,则从场景视频中提取该关键节点信息对应目标时间段的目标视频,并在智能眼镜的镜片上对该目标视频进行回放。
例如,还可以是通过图像分析技术确定篮球投入篮筐来确定进球时刻,再将以该进球时刻为参考点获取该时刻预设时长的目标视频作为进球精彩画面(例如:可以为终止时刻前2秒,后1秒时长内的视频)。
或者,还可以是通过音频分析技术确定裁判员哨声,并且结合图像分析技术确定裁判员的犯规手势,来确定犯规时刻,再将以该犯规时刻为参考点获取该时刻预设时长的目标视频作为犯规精彩画面(例如:可以为犯规时刻前2秒,后1秒时长内的视频)。
最后,可以是在进球后或者犯规后,自动将所确定的对应目标视频在智能眼镜的镜片上进行回放,以使观看者能够及时获取到比赛过程中各个精彩画面的回放。
图3是根据一示例性实施例示出智能眼镜的结构示意图。如图3所示,对于上述各个场景下,观看者所佩戴的智能眼镜100,其上设置有至少一个图像传感器110,从而通过图像传感器110来获取外部场景的场景视频。此外,该智能眼镜100上还设置有能够进行显示信息的镜片120,从而可以在镜片120上回放需要给观看者进行回放的目标视频。
图4是根据一示例性实施例示出的视频回放方法的流程示意图。如图4所示,本实施例提供的视频回放方法,包括:
步骤101、获取外部场景的场景视频。
在本步骤中,观看者在进行观赛过程中,可以佩戴智能眼镜,从而通过智能眼镜上的图像传感器获取当前外部场景的场景视频,例如,可以是短跑比赛的场景视频或者篮球比赛的场景视频。
步骤102、若场景视频中存在关键节点信息,则从场景视频中提取目标视频。
在获取到场景视频后,可以通过确定场景视频中的关键节点信息,来从场景视频中提取目标视频,其中,目标视频为关键节点信息对应的目标时间段的视频。
其中,可以是通过深度学习的方式,利用赛事中各个关键节点信息以及对应的特征信息作为训练材料,从而建立能够自动进行关键节点信息识别的判断模型。从而利用该模型从所获取到场景视频中,自动获取其中的关键节点信息。
步骤103、在智能眼镜的镜片上对目标视频进行回放。
在从场景视频中提取目标视频之后,可以在智能眼镜的镜片上对目标视频进行回放。
在本实施例中,通过佩戴智能眼镜来实时获取外部场景的场景视频,然后,在从场景视频中提取关键节点信息对应的目标时间段的目标视频,并且通过在智能眼镜上对所获取到的目标视频进行自动回放,以在现场观赛过程中,及时向观看者地自动回放精彩画面,大大提高了观看者的观赛体验。
图5是根据另一示例性实施例示出的视频回放方法的流程示意图。如图5所示,本实施例提供的视频回放方法,包括:
步骤201、获取外部场景的场景视频。
在本步骤中,观看者在进行观赛过程中,可以佩戴智能眼镜,从而通过智能眼镜上的图像传感器获取当前外部场景的场景视频,例如,可以是短跑比赛的场景视频或者篮球比赛的场景视频。
步骤202、根据场景视频中的特征信息确定关键节点信息。
在本步骤中,根据场景视频中的特征信息确定关键节点信息,其中,特征信息包括图像特征和/或声音特征,特征信息为当前运动项目中目标行为所对应的信息。
具体的,可以是根据场景视频中预设球类目标与预设器材目标之间的相对位置关系确定进球节点信息,关键节点信息包括进球节点信息。例如,若观看者当前观看的运动项目为篮球比赛,则特征信息中包括的图像特征可以是篮球与篮筐之间的位置关系特征,以通过图像分析技术确定篮球投入篮筐来确定进球时刻作为关键节点信息。
还可以是根据场景视频中预设人物目标与预设起止线目标之间的相对位置关系确定起跑或到达节点信息,关键节点信息包括起跑或到达节点信息。例如,若观看者当前观看的运动项目为短跑比赛时,则特征信息中包括的图像特征可以是运动员与终止线之间的位置关系特征,以通过图像分析技术确定运动员冲过终止线来确定终止时刻作为关键节点信息。此外,特征信息中包括的声音特征可以是发令枪的枪声,以通过音频分析技术确定当前所录制的场景视频中存在发令枪的枪声,并以该起跑信号对应的发生时刻作为关键节点信息。
又或者,还可以是场景视频中的声音特征满足预设声音条件,则确定声音特征对应的起始点为关键节点信息。例如,若观看者当前观看的运动项目为足球比赛时,特征信息中包括的声音特征可以是欢呼声,以通过音频分析技术确定精彩时刻,以作为关键节点信息。
此外,还可以是根据场景视频中的声音特征以及图像特征进行协同判断。例如,若观看者当前观看的运动项目为篮球比赛,特征信息中包括的声音特征可以是包括裁判员哨声以及裁判员的犯规手势,以通过音频分析技术确定裁判员哨声,并且结合图像分析技术确定裁判员的犯规手势,来确定犯规时刻作为关键节点信息。
步骤203、在智能眼镜的镜片上对目标视频进行回放。
在从场景视频中提取目标视频之后,可以在智能眼镜的镜片上对目标视频进行回放。
此外,为了进一步丰富对于赛事精彩画面的回放形式,还可以根据场景视频中的特征信息确定关键节点信息所对应的关键节点类型,然后,根据关键节点类型以及预设播放规则确定目标视频的回放速度,再根据回放速度在智能眼镜的镜片上对目标视频进行回放。例如,根据场景视频中的特征信息确定关键节点信息所对应的关键节点类型为犯规时刻时,可以放慢回放速度,从而让观赛者清楚地看到犯规动作。
在本实施例中,通过佩戴智能眼镜来实时获取外部场景的场景视频,然后,根据场景视频中图像特征和/或声音特征从场景视频中提取关键节点信息对应的目标时间段的目标视频,并且通过在智能眼镜上对所获取到的目标视频进行自动回放,以在现场观赛过程中,及时向观看者地自动回放精彩画面,大大提高了观看者的观赛体验。
图6是根据一示例性实施例示出的视频回放显示示意图。如图6所示,是观赛者通过智能眼镜观看短跑比赛所能观看到的视野,其中,在获取到的短跑比赛过程中的目标视频时,可以在在智能眼镜的镜片中进行显示,即在当前的观赛者的视野中进行显示。
图7是根据另一示例性实施例示出的视频回放显示示意图。如图7所示,是观赛者通过智能眼镜观看篮球比赛所能观看到的视野,其中,在获取到的篮球比赛过程中的目标视频时,可以在在智能眼镜的镜片中进行显示,即在当前的观赛者的视野中进行显示。
为了避免自动回放给用户进行造成不便,影响观看者观赛过程中的观赛体验,即在观看者需要进行继续观看现场画面时,却给用户回放视频,这就会造成回放视频影响现场观看。因此,在回放目标视频时,可以先在智能眼镜的镜片上显示提示信息,其中,提示信息用于提示场景视频中存在关键节点信息,即提示观看者当前发生了什么精彩画面。然后,在获取确认播放指令,以通过播放指令触发对目标视频开始进行回放。并且,上述的播放指令可以是观赛者通过手部、头部或眼球确认的方式进行输入。
图8是根据再一示例性实施例示出的视频回放方法的流程示意图。如图8所示,本实施例提供的视频回放方法,包括:
步骤301、获取外部场景的场景视频。
在本步骤中,观看者在进行观赛过程中,可以佩戴智能眼镜,从而通过智能眼镜上的图像传感器获取当前外部场景的场景视频,例如,可以是短跑比赛的场景视频或者篮球比赛的场景视频。
步骤302、根据场景视频中的特征信息确定关键节点信息。
具体的,可以是根据场景视频中预设球类目标与预设器材目标之间的相对位置关系确定进球节点信息,关键节点信息包括进球节点信息。例如,若观看者当前观看的运动项目为篮球比赛,则特征信息中包括的图像特征可以是篮球与篮筐之间的位置关系特征,以通过图像分析技术确定篮球投入篮筐来确定进球时刻作为关键节点信息。
步骤303、在智能眼镜的镜片上对目标视频进行回放。
在从场景视频中提取目标视频之后,可以在智能眼镜的镜片上对目标视频进行回放。
步骤304、接收其他设备发送的回放指令以及另一视频。
此外,为了获取到更多精彩画面信息,当前观赛者佩戴的智能眼镜还可以接收其他设备发送的回放指令、或者是回放指令和另一视频。
步骤305、在智能眼镜的镜片上对另一视频进行回放。
图9是不同智能眼镜之间通信的场景示意图。如图9所示,当多个观赛者在对同一场赛事进行观赛时,第一观赛者通过所佩戴的第一智能眼镜100接收第二观赛者所佩戴的第二智能眼镜200所发送的回放指令,其中,该回放指令可以用于提示第一观赛者在第一智能眼镜100中回放相应的目标视频。此外,该回放指令中还可以包括该目标视频所对应的时间点,然后,第一智能眼镜100在接收到回放指令之后,可以自动为第一观赛者回放目标视频,从而提高观赛者的观赛体验。
但是,由于不同观赛者所看到的赛事角度不同,因此,存在第二智能眼镜200中录制了第一智能眼镜100中未录制到的精彩画面的情况。此时,第一观赛者通过所佩戴的第一智能眼镜100需要接收第二观赛者所佩戴的第二智能眼镜200所发送的回放指令以及另一视频。其中,第一智能眼镜100所录制的目标视频与第二智能眼镜200中录制另一视频至少在对外部场景的拍摄角度上存在差异,并且,此时,回放指令用于提示第一观赛者在第一智能眼镜100的镜片上回放另一视频,即回放第二智能眼镜200中录制的相关精彩画面,从而通过观赛者通过所佩戴的智能眼镜与其他设备之间的通信,实现了信息共享,以进一步丰富精彩画面的获取途径,从而提高观赛者的观赛体验。
图10是智能眼镜与服务器之间通信的场景示意图。如图10所示,由于观赛者的第一智能眼镜100所录制到的画面通常没有赛事官方直播的画面全面或者清晰,因此,为了进一步提高为观赛者所提供的回放视频的质量和全面性。第一观赛者通过所佩戴的第一智能眼镜100接收服务器200发送的回放指令以及另一视频。其中,第一智能眼镜100所录制的目标视频与服务器200中的另一视频至少在对外部场景的拍摄角度上存在差异,并且,此时,回放指令用于提示第一观赛者在第一智能眼镜100的镜片上回放另一视频,即回放服务器200中的相关精彩画面,从而通过观赛者通过所佩戴的智能眼镜与赛事服务器之间的通信,实现了信息共享,以进一步丰富精彩画面的获取途径,从而提高观赛者的观赛体验。
并且,在上述实施例的基础上,在观赛者通过智能眼镜的镜片观看目标视频回放是,还可以通过获取作用于智能眼镜上的触发指令来控制目标视频的播放进度。例如,可以通过获取作用在智能眼镜的眼镜腿上的操作手势,前进或者后退视频进度。
图11是根据一示例性实施例示出的视频回放装置的结构示意图。如图11所示,本实施例提供的视频回放装置400,包括:
获取模块401,用于获取外部场景的场景视频;
处理模块402,用于若所述场景视频中存在关键节点信息,则从所述场景视频中提取目标视频,所述目标视频为所述关键节点信息对应的目标时间段的视频;
显示模块403,用于对所述目标视频进行回放。
在一种可能的设计中,所述处理模块402,还用于根据所述场景视频中的特征信息确定所述关键节点信息,其中,所述特征信息包括图像特征和/或声音特征,所述特征信息为当前运动项目中目标行为所对应的信息。
在一种可能的设计中,所述处理模块402,具体用于:
根据所述场景视频中预设球类目标与预设器材目标之间的相对位置关系确定进球节点信息,所述关键节点信息包括所述进球节点信息;或者,
根据所述场景视频中预设人物目标与预设起止线目标之间的相对位置关系确定起跑或到达节点信息,所述关键节点信息包括所述起跑或到达节点信息;或者,
若所述场景视频中的所述声音特征满足预设声音条件,则确定所述声音特征对应的起始点为所述关键节点信息。
在一种可能的设计中,所述显示模块403,还用于在所述智能眼镜的镜片上显示提示信息,所述提示信息用于提示所述场景视频中存在所述关键节点信息;
所述获取模块401,还用于获取确认播放指令,所述确认播放指令用于触发对所述目标视频开始进行回放。
在图11所示实施例的基础上,图12是根据另一示例性实施例示出的视频回放装置的结构示意图。如图12所示,本实施例提供的视频回放装置400,还包括:
接收模块404,用于接收其他设备发送的回放指令,所述回放指令用于提示回放所述目标视频;或者,
用于接收所述其他设备发送的回放指令以及另一视频,所述目标视频与所述另一视频至少在对所述外部场景的拍摄角度上存在差异,所述回放指令用于提示回放所述另一视频。
在一种可能的设计中,所述显示模块403,具体用于:
根据所述场景视频中的特征信息确定所述关键节点信息所对应的关键节点类型;
根据所述关键节点类型以及预设播放规则确定所述目标视频的回放速度;
根据所述回放速度在所述智能眼镜的镜片上对所述目标视频进行回放。
在一种可能的设计中,所述获取模块401,还用于获取作用于所述智能眼镜上的触发指令;
所述处理模块402,还用于根据所述触发指令控制所述目标视频的播放进度。
图13是根据一示例性实施例示出的智能眼镜的框图。参照图13,智能眼镜1200可以包括以下一个或多个组件:处理组件1202,存储器1204,电源组件1206,多媒体组件1208,音频组件1210,输入/输出(I/O)的接口1212,传感器组件1214,以及通信组件1216。
处理组件1202通常控制智能眼镜1200的整体操作,诸如与显示,数据通信,多媒体操作和记录操作相关联的操作。处理组件1202可以包括一个或多个处理器1220来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件1202可以包括一个或多个模块,便于处理组件1202和其他组件之间的交互。例如,处理组件1202可以包括多媒体模块,以方便多媒体组件1208和处理组件1202之间的交互。
存储器1204被配置为存储各种类型的数据以支持在智能眼镜1200的操作。这些数据的示例包括用于在智能眼镜1200上操作的任何应用程序或方法的指令,各类数据,消息,图片,视频等。存储器1204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件1206为智能眼镜1200的各种组件提供电力。电源组件1206可以包括电源管理系统,一个或多个电源,及其他与为智能眼镜1200生成、管理和分配电力相关联的组件。
多媒体组件1208包括在智能眼镜1200设置的具有显示功能的镜片。
音频组件1210被配置为输出和/或输入音频信号。例如,音频组件1210包括一个麦克风(MIC),当智能眼镜1200处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1204或经由通信组件1216发送。在一些实施例中,音频组件1210还包括一个扬声器,用于输出音频信号。
I/O接口1212为处理组件1202和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。
传感器组件1214包括一个或多个传感器,用于为智能眼镜1200提供各个方面的状态评估。例如,传感器组件1214可以包括图像传感器,其中,该图像传感器用于获取智能眼镜1200外部环境的环境图像或视频。此外,传感器组件1214还可以检测到智能眼镜1200的打开/关闭状态,组件的相对定位,例如组件为智能眼镜1200的镜片,传感器组件1214还可以检测智能眼镜1200或智能眼镜1200一个组件的位置改变,用户与智能眼镜1200接触的存在或不存在,智能眼镜1200方位或加速/减速和智能眼镜1200的温度变化。传感器组件1214可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1214还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,传感器组件1214还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件1216被配置为便于智能眼镜1200和其他设备之间有线或无线方式的通信。智能眼镜1200可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件1216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件1216还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,智能眼镜1200可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行信息提示方法,包括:
获取外部场景的场景视频,场景视频中包括目标对象的行为特征;
根据行为特征匹配目标对象所对应的提示信息,提示信息为行为特征相关联的信息;
在智能眼镜的镜片上显示提示信息。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器1204,上述指令可由智能眼镜1200的处理器1220执行以完成上述方法。例如,非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本实施例还提供一种程序产品,该程序产品包括计算机程序,该计算机程序存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该计算机程序,至少一个处理器执行该计算机程序使得电子设备实施上述方法中的各个步骤。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或对其中部分或全部技术特征进行等同替换;而这些修改或替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种视频回放方法,其特征在于,应用于智能眼镜,所述方法包括:
获取外部场景的场景视频;
若所述场景视频中存在关键节点信息,则从所述场景视频中提取目标视频,所述目标视频为所述关键节点信息对应的目标时间段的视频;
在所述智能眼镜的镜片上对所述目标视频进行回放。
2.根据权利要求1所述的视频回放方法,其特征在于,在所述获取外部场景的场景视频之后,还包括:
根据所述场景视频中的特征信息确定所述关键节点信息,其中,所述特征信息包括图像特征和/或声音特征,所述特征信息为当前运动项目中目标行为所对应的信息。
3.根据权利要求2所述的视频回放方法,其特征在于,所述根据所述场景视频中的特征信息确定所述关键节点信息,包括:
根据所述场景视频中预设球类目标与预设器材目标之间的相对位置关系确定进球节点信息,所述关键节点信息包括所述进球节点信息;或者,
根据所述场景视频中预设人物目标与预设起止线目标之间的相对位置关系确定起跑或到达节点信息,所述关键节点信息包括所述起跑或到达节点信息;或者,
若所述场景视频中的所述声音特征满足预设声音条件,则确定所述声音特征对应的起始点为所述关键节点信息。
4.根据权利要求1所述的视频回放方法,其特征在于,在所述智能眼镜的镜片上对所述目标视频进行回放之前,还包括:
在所述智能眼镜的镜片上显示提示信息,所述提示信息用于提示所述场景视频中存在所述关键节点信息;
获取确认播放指令,所述确认播放指令用于触发对所述目标视频开始进行回放。
5.根据权利要求1-4中任意一项所述的视频回放方法,其特征在于,还包括:
接收其他设备发送的回放指令,所述回放指令用于提示回放所述目标视频;或者,
接收所述其他设备发送的回放指令以及另一视频,所述目标视频与所述另一视频至少在对所述外部场景的拍摄角度上存在差异,所述回放指令用于提示回放所述另一视频。
6.根据权利要求2-4中任意一项所述的视频回放方法,其特征在于,所述在所述智能眼镜的镜片上对所述目标视频进行回放,包括:
根据所述场景视频中的特征信息确定所述关键节点信息所对应的关键节点类型;
根据所述关键节点类型以及预设播放规则确定所述目标视频的回放速度;
根据所述回放速度在所述智能眼镜的镜片上对所述目标视频进行回放。
7.根据权利要求1-4中任意一项所述的视频回放方法,其特征在于,在所述智能眼镜的镜片上对所述目标视频进行回放之后,还包括:
获取作用于所述智能眼镜上的触发指令;
根据所述触发指令控制所述目标视频的播放进度。
8.一种智能眼镜,其特征在于,包括:处理器、存储器、镜片以及图像传感器,所述处理器与所述存储器、镜片以及图像传感器分别连接;
所述图像传感器,用于获取外部场景的场景视频;
所述存储器,用于存储所述处理器的计算机程序;
其中,所述处理器被配置为通过执行所述计算机程序来实现权利要求1至6任一项所述的视频回放方法;
所述镜片,用于显示目标视频。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6任一项所述的视频回放方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6任一项所述的视频回放方法。
CN202110215880.4A 2021-02-26 2021-02-26 视频回放方法、介质、眼镜及程序产品 Pending CN113014995A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110215880.4A CN113014995A (zh) 2021-02-26 2021-02-26 视频回放方法、介质、眼镜及程序产品
US17/523,765 US11538243B2 (en) 2021-02-26 2021-11-10 Video playback method, medium, glasses and program product
EP21208391.9A EP4050470A1 (en) 2021-02-26 2021-11-16 Video playback method, medium, glasses and program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110215880.4A CN113014995A (zh) 2021-02-26 2021-02-26 视频回放方法、介质、眼镜及程序产品

Publications (1)

Publication Number Publication Date
CN113014995A true CN113014995A (zh) 2021-06-22

Family

ID=76386286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110215880.4A Pending CN113014995A (zh) 2021-02-26 2021-02-26 视频回放方法、介质、眼镜及程序产品

Country Status (3)

Country Link
US (1) US11538243B2 (zh)
EP (1) EP4050470A1 (zh)
CN (1) CN113014995A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114222165A (zh) * 2021-12-31 2022-03-22 咪咕视讯科技有限公司 视频播放方法、装置、设备以及计算机存储介质
CN114296242A (zh) * 2022-01-05 2022-04-08 北京蜂巢世纪科技有限公司 一种镜腿长度调节方法以及ar眼镜
CN114355627A (zh) * 2022-01-05 2022-04-15 北京蜂巢世纪科技有限公司 一种镜腿长度调整方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101543047A (zh) * 2006-11-22 2009-09-23 索尼株式会社 图像显示系统、图像显示设备和图像显示方法
CN104702919A (zh) * 2015-03-31 2015-06-10 小米科技有限责任公司 播放控制方法及装置、电子设备
CN104735385A (zh) * 2015-03-31 2015-06-24 小米科技有限责任公司 播放控制方法及装置、电子设备
CN111263170A (zh) * 2020-01-17 2020-06-09 腾讯科技(深圳)有限公司 一种视频播放方法、装置、设备及可读存储介质
CN111897425A (zh) * 2014-07-31 2020-11-06 三星电子株式会社 可穿戴眼镜和利用其提供信息的方法
US20200376395A1 (en) * 2018-02-23 2020-12-03 Sony Interactive Entertainment Inc. Video recording and playback systems and methods
CN112335258A (zh) * 2018-11-12 2021-02-05 英特尔公司 从比赛参与者视角的自动视野估计

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10080578B2 (en) 2008-12-16 2018-09-25 Nico Corporation Tissue removal device with adjustable delivery sleeve for neurosurgical and spinal surgery applications
US9330499B2 (en) * 2011-05-20 2016-05-03 Microsoft Technology Licensing, Llc Event augmentation with real-time information
WO2014112749A1 (ko) 2013-01-18 2014-07-24 엘지전자 주식회사 간섭 제거 수신 방법 및 단말
US10403327B2 (en) * 2017-02-27 2019-09-03 Google Llc Content identification and playback

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101543047A (zh) * 2006-11-22 2009-09-23 索尼株式会社 图像显示系统、图像显示设备和图像显示方法
CN111897425A (zh) * 2014-07-31 2020-11-06 三星电子株式会社 可穿戴眼镜和利用其提供信息的方法
CN104702919A (zh) * 2015-03-31 2015-06-10 小米科技有限责任公司 播放控制方法及装置、电子设备
CN104735385A (zh) * 2015-03-31 2015-06-24 小米科技有限责任公司 播放控制方法及装置、电子设备
US20200376395A1 (en) * 2018-02-23 2020-12-03 Sony Interactive Entertainment Inc. Video recording and playback systems and methods
CN112335258A (zh) * 2018-11-12 2021-02-05 英特尔公司 从比赛参与者视角的自动视野估计
CN111263170A (zh) * 2020-01-17 2020-06-09 腾讯科技(深圳)有限公司 一种视频播放方法、装置、设备及可读存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114222165A (zh) * 2021-12-31 2022-03-22 咪咕视讯科技有限公司 视频播放方法、装置、设备以及计算机存储介质
CN114222165B (zh) * 2021-12-31 2023-11-10 咪咕视讯科技有限公司 视频播放方法、装置、设备以及计算机存储介质
CN114296242A (zh) * 2022-01-05 2022-04-08 北京蜂巢世纪科技有限公司 一种镜腿长度调节方法以及ar眼镜
CN114355627A (zh) * 2022-01-05 2022-04-15 北京蜂巢世纪科技有限公司 一种镜腿长度调整方法、装置、电子设备及存储介质
CN114355627B (zh) * 2022-01-05 2023-06-30 北京蜂巢世纪科技有限公司 一种镜腿长度调整方法、装置、电子设备及存储介质
CN114296242B (zh) * 2022-01-05 2023-07-07 北京蜂巢世纪科技有限公司 一种镜腿长度调节方法以及ar眼镜

Also Published As

Publication number Publication date
US11538243B2 (en) 2022-12-27
US20220277161A1 (en) 2022-09-01
EP4050470A1 (en) 2022-08-31

Similar Documents

Publication Publication Date Title
CN113014995A (zh) 视频回放方法、介质、眼镜及程序产品
US11247114B2 (en) Information processing device, storage medium, and information processing method
US9861899B1 (en) System capable of integrating user-entered game event data with corresponding video data
US10460157B2 (en) Information processing device, information processing system, and program
US10080054B2 (en) Automatic time extension of program recording
JP6673221B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20150189243A1 (en) Automated video production system
US9571903B2 (en) Ball tracker snippets
WO2019227324A1 (zh) 视频播放速度的控制方法、装置及运动相机
CN112312142B (zh) 视频播放控制方法、装置和计算机可读存储介质
EP4050402A1 (en) Information prompt display method, apparatus, computer readable medium, program product and smart glasses
KR101950971B1 (ko) 스포츠 영상 제공 장치
US20230156082A1 (en) System and methods of tracking player game events
KR101540771B1 (ko) Ar 글래스를 이용한 스포츠 경기 판정 시스템 및 방법
US11749309B2 (en) Information processor, information processing method, and program
US20230013988A1 (en) Enhancing viewing experience by animated tracking of user specific key instruments
KR101954035B1 (ko) 운동 경기 참여 선수들의 과거 경기 기록을 표시하기 위한 장치 및 방법
EP3905701A1 (en) Moving image tagging device and moving image tagging method
JP7517612B2 (ja) 映像提供装置、映像提供システム、映像提供方法及びプログラム
KR101918396B1 (ko) 운동 경기 참여 선수들의 과거 경기 기록을 표시하기 위한 장치 및 방법
CN106572393A (zh) 界面显示方法及装置
CN111711780A (zh) 一种影像回放系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210622