CN114305317B - 一种智能辨别用户反馈视标的方法和系统 - Google Patents
一种智能辨别用户反馈视标的方法和系统 Download PDFInfo
- Publication number
- CN114305317B CN114305317B CN202111608793.1A CN202111608793A CN114305317B CN 114305317 B CN114305317 B CN 114305317B CN 202111608793 A CN202111608793 A CN 202111608793A CN 114305317 B CN114305317 B CN 114305317B
- Authority
- CN
- China
- Prior art keywords
- feedback
- user
- current
- optotype
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
本发明提供了一种智能辨别用户反馈视标的方法和系统,包括:S1:接收当前用户输入的选择反馈指令;S2:基于所述反馈指令确定当前检测模式和当前辨别模式;S3:基于所述当前检测模式为所述当前用户传输对应的检测视力表;S4:当检测开始时,基于所述当前辨别模式辨别出所述当前用户的反馈视标结果;S5:将所述反馈视标结果存储为对应的用户反馈视标列表;用以实现基于用户的选择确定检测模式和辨别模式,进而实现多种检测模式的智能切换以及智能辨别出用户反馈视标,从而实现视力检测过程的智能化。
Description
技术领域
本发明涉及反馈感应技术领域,特别涉及一种智能辨别用户反馈视标的方法和系统。
背景技术
目前,当前的视力检测过程中检测远视和检测近视需要采用不同的视力检测表,实现不同的检测模式需要切换视力检测表或者换检测位置,这导致许多不便;且传统的视力检测过程主要通过专业人员对用户的声音反馈进行现场读取才可获得用户的检测反馈结果,这使得在视力检测过程中接收用户反馈的方式过于单一,对于不便发出声音的人士很不方便,且检测结果都是需要专业人员手动记载或者记忆记载,容易产生误差。
因此,本发明提出一种智能辨别用户反馈视标的方法和系统。
发明内容
本发明提供一种智能辨别用户反馈视标的方法和系统,用以实现基于用户的选择确定检测模式和辨别模式,进而实现多种检测模式的智能切换和智能辨别出用户反馈视标以及检测结果的智能存储,从而实现视力检测过程的智能化。
本发明提供一种智能辨别用户反馈视标的方法,包括:
S1:接收当前用户输入的选择反馈指令;
S2:基于所述反馈指令确定当前检测模式和当前辨别模式;
S3:基于所述当前检测模式为所述当前用户传输对应的检测视力表;
S4:当检测开始时,基于所述当前辨别模式辨别出所述当前用户的反馈视标结果;
S5:将所述反馈视标结果存储为对应的用户反馈视标列表。
优选的,所述的一种智能辨别用户反馈视标的方法,S1:接收当前用户输入的选择反馈指令,包括:
S101:建立当前用户和智能辨别视标平台的通信链路;
S102:向所述当前用户发送检测模式选择指令和辨别模式选择指令;
S103:接收所述当前用户输入的检测模式反馈指令和辨别模式反馈指令。
优选的,所述的一种智能辨别用户反馈视标的方法,S2:基于所述反馈指令确定当前检测模式和当前辨别模式,包括:
S201:解析所述检测模式反馈指令获得对应的用户选择检测模式;
S202:解析所述辨别模式反馈指令获得对应的用户选择辨别模式;
S203:将用户选择检测模式设置为当前检测模式,同时,将用户选择辨别模式设置为当前辨别模式。
优选的,所述的一种智能辨别用户反馈视标的方法,S3:基于所述当前检测模式为所述当前用户传输对应的检测视力表,包括:
当所述当前检测模式为检测近视模式,则基于所述通信链路向用户发送对应的近视检测视力表;
当所述当前检测模式为检测远视模式,则基于所述通信链路向用户发送对应的远视检测视力表。
优选的,所述的一种智能辨别用户反馈视标的方法,S4:当检测开始时,基于所述当前辨别模式辨别出所述当前用户的反馈视标结果,包括:
当所述当前辨别模式为动作辨别模式时,获取预设范围内的监控视频;
确定所述监控视频中动作辨别时间段对应的待辨别视频段;
判断所述待辨别视频段中的第一帧图像与预设范围内对应的预设场景图像是否完全一致,若是,则发出无人检测的报警指令;
否则,基于所述待辨别视频段确定出所述当前用户的反馈视标结果。
优选的,所述的一种智能辨别用户反馈视标的方法,基于所述待辨别视频段确定出确定出所述当前用户的反馈视标结果,包括:
确定出所述第一帧图像中与所述预设场景图像不一致的差异图像,将所述差异图像作为第一帧用户识别图像;
基于预设的特征提取算法从所述第一帧用户识别图像中提取对应的用户图像识别特征;
基于所述用户识别特征和预设目标追踪算法,确定出所述待辨别视频段中除所述第一帧图像以外剩余图像中的用户识别图像;
按照所述待辨别视频段中每一帧图像的顺序将所有用户识别图像排序,获得对应的用户识别图像集;
确定出所述用户识别图像集中相邻用户识别图像之间的子差异图像;
对所述第一帧用户识别图像按照肢体进行划分,获得对应的局部图像,并确定每个局部图像对应的肢体名称;
按照预设的特征提取算法提取每个局部图像对应的局部特征;
基于所述局部特征确定出每个子差异图像中包含的局部差异图像;
按照所述用户识别集中的用户识别图像顺序将所述局部差异图像排序,获得对应局部肢体对应的差异图像集;
将所有差异图像集按照所述用户识别集中的用户识别图像的时间顺序统一在同一时间轴上,获得所述动作辨别时间段对应的第一动作追踪结果;
判断所述第一动作追踪结果中包含的差异图像集对应的局部肢体总个数是否为1,若是,则确定对应局部肢体的第一运动方向,将所述第一运动方向作为所述当前用户的反馈视标结果;
否则,基于预设的动作肢体权重表,确定出所述动作追踪结果中每个差异图像集对应的局部肢体权重值;
将最小局部肢体权重值对应的差异图像集删除,获得对应的第二动作追踪结果;
判断所述第二动作追踪结果中包含的差异图像集对应的局部肢体总个数是否为1,若是,则确定对应局部肢体的第二运动方向,将所述第二运动方向作为所述当前用户的反馈视标结果;
否则,确定出所述第二动作追踪结果中包含的差异图像集在时间上的持续时间;
判断所述第二动作追踪结果中是否存在持续时间相同的差异图像集;
若是,则判断相同持续时间对应的局部肢体的第三运动方向是否一致,若是,则将所述第三运动方向作为所述当前用户的反馈视标结果,否则,将相同持续时间对应的局部肢体中最大运动幅度对应的第四运动方向作为所述当前用户的反馈视标结果;
否则,将最大持续时间对应的局部肢体的第五运动方向作为所述当前用户的反馈视标结果。
优选的,所述的一种智能辨别用户反馈视标的方法,S4:当检测开始时,基于所述当前辨别模式辨别出所述当前用户的反馈视标结果,包括:
当所述当前辨别模式为声音辨别模式时,接收预设范围内的环境音频;
确定所述环境音频中声音辨别时间段对应的待辨别音频段;
对所述待辨别音频段进行语义识别,获得对应的语义识别结果,判断所述语义识别结果中是否存在预设声音反馈词库中包含的语义反馈词,若是,则判断所述语义识别结果中包含的预设声音反馈词库中包含的第一语义反馈词的总个数是否为1,若是,则将对应的第一语义反馈词作为所述当前用户的反馈视标结果;
否则,将所述待辨别音频段进行滤波处理,生成对应的去噪音频段;
确定所述去噪音频段对应的声波图像,并确定出所述语义识别结果中包含的每个第一语义反馈词在声波图像中的第一声波段;
将所述声波图像与无人检测时对应的背景音频声波图像进行对比,筛选出所述声波图像中幅值大于所述背景音频声波图像对应幅值的第二声波段;
判断所述第二声波段中是否包含所述第一声波段;
若是,则判断所述第二声波段中包含的第一声波段的总个数是否为1;
若是,则将对应第一声波段对应的第二语义反馈词作为所述当前用户的反馈视标结果;
否则,判断当前待辨别音频段是否为所述当前用户输入的第一个待辨别音频段;
若是,则将所述第二声波段中最后的第一声波段对应的第三语义反馈词作为所述当前用户的反馈视标结果;
否则,计算出所述第二声波段中包含的每个第一声波段与前一个待辨别音频段对应的反馈视标结果对应的第三声波段之间的相似度,将所述第二声波中最大相似度对应的第一声波段对应的第四语义反馈词作为所述当前用户的反馈视标结果;
当所述第二声波段中不包含所述第一声波段时,则发出无人检测的报警指令,同时发出重新检测指令,直至辨别出用户声音中的第五语义反馈词,并将对应的第五语音反馈词作为所述当前用户的反馈视标结果;
当所述语义识别结果中不存在预设声音反馈词库中包含的语义反馈词时,则发出无人检测的报警指令。
优选的,所述的一种智能辨别用户反馈视标的方法,S4:当检测开始时,基于所述当前辨别模式辨别出所述当前用户的反馈视标结果,包括:
当所述当前辨别模式为输入指令辨别模式时,接收所述当前用户输入的反馈视标指令;
将接收时间在所述动作辨别时间段之外的反馈视标指令删除;
判断在所述动作辨别时间段之内是否只存在一个反馈视标指令,若是,则将所述反馈视标指令作为所述动作辨别时间段对应的反馈视标结果;
否则,将接收时间在最后的反馈视标指令作为所述动作辨别时间段对应的反馈视标结果。
优选的,所述的一种智能辨别用户反馈视标的方法,S5:将所述反馈视标结果存储为对应的用户反馈视标列表,包括:
S501:基于所述当前检测模式生成与所述当前检测模式中包含的检测字的位置一一对应的标准反馈结果表;
S502:将所述反馈视标结果对应填入所述标准反馈结果表,获得对应的用户反馈视标列表,并将所述用户反馈视标列表存储于用户库中历史检测数据子库中。
优选的,一种智能辨别用户反馈视标的系统,包括:
接收模块,用于接收当前用户输入的选择反馈指令;
确定模块,用于基于所述反馈指令确定当前检测模式和当前辨别模式;
传输模块,用于基于所述当前检测模式为所述当前用户传输对应的检测视力表;
辨别模块,用于当检测开始时,基于所述当前辨别模式辨别用户的反馈视标结果;
存储模块,用于将所述反馈视标结果存储为对应的用户反馈视标列表。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种智能辨别用户反馈视标的方法流程图;
图2为本发明实施例中又一种智能辨别用户反馈视标的方法流程图;
图3为本发明实施例中再一种智能辨别用户反馈视标的方法流程图;
图4为本发明实施例中再一种智能辨别用户反馈视标的方法流程图;
图5为本发明实施例中一种智能辨别用户反馈视标的系统示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
实施例1:
本发明提供了一种智能辨别用户反馈视标的方法,参考图1,包括:
S1:接收当前用户输入的选择反馈指令;
S2:基于所述反馈指令确定当前检测模式和当前辨别模式;
S3:基于所述当前检测模式为所述当前用户传输对应的检测视力表;
S4:当检测开始时,基于所述当前辨别模式辨别出所述当前用户的反馈视标结果;
S5:将所述反馈视标结果存储为对应的用户反馈视标列表。
该实施例中,选择反馈指令即包括检测模式选择指令和辨别模式选择指令,标准为用户选择的检测模式和辨别模式的指令。
该实施例中,检测模式包括检测近视模式和检测远视模式。
该实施例中,当前检测模式即为用户选择的检测模式。
该实施例中,当前辨别模式即为用户选择的辨别模式。
该实施例中,反馈视标结果即为代表用户反馈的视标结果。
该实施例中,用户反馈视标列表即为由对应的的反馈视标结果构成的列表。
以上技术的有益效果为:实现基于用户的选择确定检测模式和辨别模式,进而实现多种检测模式的智能切换和智能辨别出用户反馈视标以及检测结果的智能存储,从而实现视力检测过程的智能化。
实施例2:
在实施例1的基础上,所述的一种智能辨别用户反馈视标的方法,S1:接收当前用户输入的选择反馈指令,参考图2,包括:
S101:建立所述当前用户和智能辨别视标平台的通信链路;
S102:向所述当前用户发送检测模式选择指令和辨别模式选择指令;
S103:接收所述当前用户输入的检测模式反馈指令和辨别模式反馈指令。
该实施例中,当前用户即为当前进行视力检测的用户端。
该实施例中,智能辨别视标平台即为在视力检测过程与用户互相传输指令的平台。
该实施例中,检测模式选择指令即为用于提示用户选择检测模式的指令。
该实施例中,辨别模式选择指令即为用于提示用户选择辨别模式的指令。
该实施例中,检测模式反馈指令即为表示用户选择的检测模式的指令。
该实施例中,辨别模式反馈指令即为表示用户选择的辨别模式的指令。
以上技术的有益效果为:通过与当前用户建立通信链路,可以接收用户的检测模式反馈指令和辨别模式反馈指令,进而为根据用户选择的需求提供对应的检测模式和辨别模式,为实现辨别用户反馈视标的多样化提供了基础。
实施例3:
在实施例2的基础上,所述的一种智能辨别用户反馈视标的方法,S2:基于所述反馈指令确定当前检测模式和当前辨别模式,参考图3,包括:
S201:解析所述检测模式反馈指令获得对应的用户选择检测模式;
S202:解析所述辨别模式反馈指令获得对应的用户选择辨别模式;
S203:将用户选择检测模式设置为当前检测模式,同时,将用户选择辨别模式设置为当前辨别模式。
该实施例中,用户选择检测模式即为用户选择的检测模式。
该实施例中,用户选择辨别模式即为用户选择的辨别模式。
以上技术的有益效果为:基于用户选择的检测模式设置当前检测模式,同时,基于用户选择的辨别模式设置当前辨别模式,实现基于用户需求提供多样化的检测模式,也实现了基于用户的选择提供最方便的用户反馈视标辨别模式,克服了传统视力检测方式的单一性。
实施例4:
在实施例2的基础上,所述的一种智能辨别用户反馈视标的方法,S3:基于所述当前检测模式为所述当前用户传输对应的检测视力表,包括:
当所述当前检测模式为检测近视模式,则基于所述通信链路向用户发送对应的近视检测视力表;
当所述当前检测模式为检测远视模式,则基于所述通信链路向用户发送对应的远视检测视力表。
该实施例中,近视检测视力表即为近视检测时所需的视标表。
该实施例中,原始检测视力标记为远视检测时所需的视标表。
以上技术的有益效果为:实现基于用户的选择可以自由切换近视检测模式和远视检测模式,使得视力检测更加多样化,使用范围更广、模式切换更便利,克服了传统视力检测方式的单一性。
实施例5:
在实施例1的基础上,所述的一种智能辨别用户反馈视标的方法,S4:当检测开始时,基于所述当前辨别模式辨别出所述当前用户的反馈视标结果,包括:
当所述当前辨别模式为动作辨别模式时,获取预设范围内的监控视频;
确定所述监控视频中动作辨别时间段对应的待辨别视频段;
判断所述待辨别视频段中的第一帧图像与预设范围内对应的预设场景图像是否完全一致,若是,则发出无人检测的报警指令;
否则,基于所述待辨别视频段确定出所述当前用户的反馈视标结果。
该实施例中,动作辨别模式即为通过辨别当前用户的动作读取对应的反馈视标结果。
该实施例中,动作辨别时间段即为每个视标预设的接收(辨别)用户动作反馈的时间。
该实施例中,待辨别视频段即为监控视频中动作辨别时间段对应的视频段。
该实施例中,预设场景图像即为无人检测时预设范围内场景的图像。
以上技术的有益效果为:实现通过辨别每个视标对应的待辨别视频段,辨别出对应的用户反馈视标,实现了辨别用户反馈视标结果过程的智能化,减少了对专业人员的依赖。
实施例6:
在实施例5的基础上,所述的一种智能辨别用户反馈视标的方法,基于所述待辨别视频段确定出确定出所述当前用户的反馈视标结果,包括:
确定出所述第一帧图像中与所述预设场景图像不一致的差异图像,将所述差异图像作为第一帧用户识别图像;
基于预设的特征提取算法从所述第一帧用户识别图像中提取对应的用户图像识别特征;
基于所述用户识别特征和预设目标追踪算法,确定出所述待辨别视频段中除所述第一帧图像以外剩余图像中的用户识别图像;
按照所述待辨别视频段中每一帧图像的顺序将所有用户识别图像排序,获得对应的用户识别图像集;
确定出所述用户识别图像集中相邻用户识别图像之间的子差异图像;
对所述第一帧用户识别图像按照肢体进行划分,获得对应的局部图像,并确定每个局部图像对应的肢体名称;
按照预设的特征提取算法提取每个局部图像对应的局部特征;
基于所述局部特征确定出每个子差异图像中包含的局部差异图像;
按照所述用户识别集中的用户识别图像顺序将所述局部差异图像排序,获得对应局部肢体对应的差异图像集;
将所有差异图像集按照所述用户识别集中的用户识别图像的时间顺序统一在同一时间轴上,获得所述动作辨别时间段对应的第一动作追踪结果;
判断所述第一动作追踪结果中包含的差异图像集对应的局部肢体总个数是否为1,若是,则确定对应局部肢体的第一运动方向,将所述第一运动方向作为所述当前用户的反馈视标结果;
否则,基于预设的动作肢体权重表,确定出所述动作追踪结果中每个差异图像集对应的局部肢体权重值;
将最小局部肢体权重值对应的差异图像集删除,获得对应的第二动作追踪结果;
判断所述第二动作追踪结果中包含的差异图像集对应的局部肢体总个数是否为1,若是,则确定对应局部肢体的第二运动方向,将所述第二运动方向作为所述当前用户的反馈视标结果;
否则,确定出所述第二动作追踪结果中包含的差异图像集在时间上的持续时间;
判断所述第二动作追踪结果中是否存在持续时间相同的差异图像集;
若是,则判断相同持续时间对应的局部肢体的第三运动方向是否一致,若是,则将所述第三运动方向作为所述当前用户的反馈视标结果,否则,将相同持续时间对应的局部肢体中最大运动幅度对应的第四运动方向作为所述当前用户的反馈视标结果;
否则,将最大持续时间对应的局部肢体的第五运动方向作为所述当前用户的反馈视标结果。
该实施例中,差异图像即为第一帧图像中与预设场景图像不一致的图像区域。
该实施例中,第一帧用户识别图像即为待辨别视频段的第一帧图像中的用户身体对应的图像区域。
该实施例中,预设的特征提取算法即为用于提取图像中的特征的算法,例如有LBP特征提取算法。
该实施例中,用户图像识别特征即为差异图像中包含的图像特征。
该实施例中,预设目标追踪算法即为基于确定的图像特征在图像中追踪出符合要求的目标图像区域的算法,例如有:检测跟踪tracking-by-detection。
该实施例中,用户识别图像集即为从待辨别视频段的每一帧图像中追踪出的用户识别图像按照顺序排列获得的图像集。
该实施例中,子差异图像即为用户识别图像集中相邻用户识别图像之间不一致的图像区域。
该实施例中,局部图像即为将第一帧用户识别图像按照肢体部分划分获得的对应肢体部分对应的图像区域。
该实施例中,局部特征即为局部图像中包含的图像特征。
该实施例中,局部差异图像即为按照局部特征确定的自差异图像中包含的局部图像。
该实施例中,差异图像集即为将对应局部肢体对应的局部差异图像按照顺序排列获得的图像集。
该实施例中,第一动作追踪结果即为将所有差异图像集按照用户识别集中的用户识别图像的时间顺序统一在同一时间轴上,获得对应动作辨别时间段对应的动作追踪结果。
该实施例中,第一运动方向即为当第一动作追踪结果中包含的差异图像集对应的局部肢体总个数为1时,该局部肢体对应的运动方向。
该实施例中,预设的动作肢体权重表即为反映每个肢体对辨别结果的影响权重,包含每个局部肢体对应的局部肢体权重值。
该实施例中,局部肢体权重值即为反映每个肢体对辨别结果的影响程度,部肢体权重值越大代表对辨别结果的影响结果越大,反之亦然。
该实施例中,第二动作追踪结果即为当第一动作追踪结果中包含的差异图像集对应的局部肢体总个数不为1时,将最小局部肢体权重值对应的差异图像集删除后获得的动作追踪结果。
该实施例中,第二运动方向即为当第二动作追踪结果中包含的差异图像集对应的局部肢体总个数为1时,该局部肢体对应的运动方向。
该实施例中,第三运动方向即为相同持续时间对应的局部肢体的运动方向。
该实施例中,第四运动方向即为相同持续时间对应的局部肢体中最大运动幅度的局部肢体对应的运动方向。
该实施例中,第五运动方向即为当第二动作追踪结果中不存在差异图像集对应的持续时间相同时,最大持续时间对应的局部肢体的运动方向。
以上技术的有益效果为:通过对用户识别图像的特征提取、肢体划分、目标追踪,确定出相邻用户识别图像之间的局部差异图像,通过判断局部差异图像的总个数、局部肢体权重值、持续时间、运动幅度,筛选出能准确表示用户反馈结果的用户反馈视标,从而通过对用户的动作辨别获得准确的用户反馈视标。
实施例7:
在实施例1的基础上,所述的一种智能辨别用户反馈视标的方法,S4:当检测开始时,基于所述当前辨别模式辨别出所述当前用户的反馈视标结果,包括:
当所述当前辨别模式为声音辨别模式时,接收预设范围内的环境音频;
确定所述环境音频中声音辨别时间段对应的待辨别音频段;
对所述待辨别音频段进行语义识别,获得对应的语义识别结果,判断所述语义识别结果中是否存在预设声音反馈词库中包含的语义反馈词,若是,则判断所述语义识别结果中包含的预设声音反馈词库中包含的第一语义反馈词的总个数是否为1,若是,则将对应的第一语义反馈词作为所述当前用户的反馈视标结果;
否则,将所述待辨别音频段进行滤波处理,生成对应的去噪音频段;
确定所述去噪音频段对应的声波图像,并确定出所述语义识别结果中包含的每个第一语义反馈词在声波图像中的第一声波段;
将所述声波图像与无人检测时对应的背景音频声波图像进行对比,筛选出所述声波图像中幅值大于所述背景音频声波图像对应幅值的第二声波段;
判断所述第二声波段中是否包含所述第一声波段;
若是,则判断所述第二声波段中包含的第一声波段的总个数是否为1;
若是,则将对应第一声波段对应的第二语义反馈词作为所述当前用户的反馈视标结果;
否则,判断当前待辨别音频段是否为所述当前用户输入的第一个待辨别音频段;
若是,则将所述第二声波段中最后的第一声波段对应的第三语义反馈词作为所述当前用户的反馈视标结果;
否则,计算出所述第二声波段中包含的每个第一声波段与前一个待辨别音频段对应的反馈视标结果对应的第三声波段之间的相似度,将所述第二声波中最大相似度对应的第一声波段对应的第四语义反馈词作为所述当前用户的反馈视标结果;
当所述第二声波段中不包含所述第一声波段时,则发出无人检测的报警指令,同时发出重新检测指令,直至辨别出用户声音中的第五语义反馈词,并将对应的第五语音反馈词作为所述当前用户的反馈视标结果;
当所述语义识别结果中不存在预设声音反馈词库中包含的语义反馈词时,则发出无人检测的报警指令。
该实施例中,声音辨别模式即为通过辨别当前用户的声音读取对应的反馈视标结果。
该实施例中,环境音频即为包括用户反馈声音的音频。
该实施例中,声音辨别时间段即为每个视标预设的接收(辨别)用户声音反馈的时间。
该实施例中,待辨别音频段即为环境音频中声音辨别时间段对应的音频段。
该实施例中,语义识别即为识别音频段包含的语义的过程。
该实施例中,语义识别结果即为对应待辨别音频段语义识别出的结果。
该实施例中,预设声音反馈词库包括预设的所有用户声音反馈词,例如:上、下、左、右。
该实施例中,语义反馈词即为对待辨别音频段进行语义识别出所有可能的结果,例如:上、下、左、右。
该实施例中,第一语义反馈词即为语义识别结果中包含的预设声音反馈词库中包含的语义反馈词。
该实施例中,去噪音频段即为将待辨别音频段进行滤波处理后获得的音频段。
该实施例中,声波图像即为反映对应音频段中的实时声波能量的图像。
该实施例中,第一声波段即为语义识别结果中包含的每个语义反馈词在声波图像中的声波段。
该实施例中,第二声波段即为声波图像中幅值大于背景音频声波图像对应幅值的声波段。
该实施例中,背景音频声波图像即为无人检测时对应的环境音频对应的声波图像。
该实施例中,第二语义反馈词即为第二声波段中包含的第一声波段的总个数为1时,对应第一声波段对应的语义反馈词。
该实施例中,第三语义反馈词即为当前待辨别音频段为所述当前用户输入的第一个待辨别音频段时,第二声波段中最后的第一声波段对应的语义反馈词。
该实施例中,计算出所述第二声波段中包含的每个第一声波段与前一个待辨别音频段对应的反馈视标结果对应的第三声波段之间的相似度,包括:
获取前一个待辨别音频段对应的反馈视标结果对应的第三声波段对应的第二声波图像;
基于声波图像确定出第二声波段中包含的每个第一声波段对应的第一实时能量值以及第一声波段中每个第一振动周期和对应的第一振动频率,同时,基于第二声波图像确定出第三声波段对应的第二实时能量值以及第三声波段中每个第二振动周期和对应的第二振动频率;
基于第二声波段中包含的每个第一声波段中每个第一振动周期和对应的第一振动频率以及第三声波段中每个第二振动周期和对应的第二振动频率,计算出第二声波段中包含的每个第一声波段与前一个待辨别音频段对应的反馈视标结果对应的第三声波段之间的第一相似值:
式中,S1p为第二声波段中包含的第p个第一声波段与前一个待辨别音频段对应的反馈视标结果对应的第三声波段之间的第一相似值,ip为第二声波段中包含的第p个第一声波段中第i个第一振动周期,np为第二声波段中包含的第p个第一声波段中包含的第一振动周期的总个数,j为前一个待辨别音频段对应的反馈视标结果对应的第三声波段中包含的第j个第二振动周期,m为前一个待辨别音频段对应的反馈视标结果对应的第三声波段中包含的第二振动周期的总个数,Tip1为第二声波段中包含的第p个第一声波段中包含的第i个第一振动周期,Tj2为前一个待辨别音频段对应的反馈视标结果对应的第三声波段中包含的第j个第二振动周期,f1p为第二声波段中包含的第p个第一声波段对应的第一振动频率,f2为第二振动频率;
基于第一相似值和所有第一实时能量值以及第二实时能量值,计算出所述第二声波段中包含的每个第一声波段与前一个待辨别音频段对应的反馈视标结果对应的第三声波段之间的相似度:
式中,Sp为第二声波段中包含的第p个第一声波段与前一个待辨别音频段对应的反馈视标结果对应的第三声波段之间的相似度,E1p(t)为第二声波段中包含的第p个第一声波段对应的第一实时能量值,E2(t)为前一个待辨别音频段对应的反馈视标结果对应的第三声波段对应的第二实时能量值,()max为取最大值,()ave为取平均值,()min为取最小值;
例如,假设第二声波段中包含的第1个第一声波段中包含1个第一振动周期,该第一振动周期为5,前一个待辨别音频段对应的反馈视标结果对应的第三声波段中包含1个第二振动周期,该第二振动周期为5,且第一振动频率为20,第二振动频率为20,则第一相似值为0.75;
且假设(E1p(t))max为100,(E2(t))max为100,(E1p(t))ave为50,(E2(t))ave为50,(E1p(t))min为-100,(E2(t))min为-200,则Sp为0.8125。
该实施例中,第四语义反馈词即为第二声波中最大相似度对应的第一声波段对应的语义反馈词。
该实施例中,第五语义反馈词即为当所述第二声波段中不包含所述第一声波段时辨别出用户重新发出的声音中的语义反馈词。
以上技术的有益效果为:通过对待辨别音频段的语义识别、对比以及基于待辨别音频段的声波图像的声波幅值、输出时间、相似度计算,筛选出能准确表示用户反馈结果的用户反馈视标,从而通过对用户的声音辨别获得准确的用户反馈视标。
实施例8:
在实施例6的基础上,所述的一种智能辨别用户反馈视标的方法,S4:当检测开始时,基于所述当前辨别模式辨别出所述当前用户的反馈视标结果,包括:
当所述当前辨别模式为输入指令辨别模式时,接收所述当前用户输入的反馈视标指令;
将接收时间在所述动作辨别时间段之外的反馈视标指令删除;
判断在所述动作辨别时间段之内是否只存在一个反馈视标指令,若是,则将所述反馈视标指令作为所述动作辨别时间段对应的反馈视标结果;
否则,将接收时间在最后的反馈视标指令作为所述动作辨别时间段对应的反馈视标结果。
该实施例中,指令辨别模式即为通过读取用户输入的指令进而获得用户反馈视标的辨别模式。
该实施例中,反馈视标指令即为表示用户反馈的视标方向的指令。
以上技术的有益效果为:通过将接收时间在所述动作辨别时间段之外的反馈视标指令删除,并将接收时间在最后的反馈视标指令作为作辨别时间段对应的反馈视标结果,使得在各种情况下都可以准确地辨别出用户反馈视标结果。
实施例9:
在实施例1的基础上,所述的一种智能辨别用户反馈视标的方法,S5:将所述反馈视标结果存储为对应的用户反馈视标列表,参考图4,包括:
S501:基于所述当前检测模式生成与所述当前检测模式中包含的检测字的位置一一对应的标准反馈结果表;
S502:将所述反馈视标结果对应填入所述标准反馈结果表,获得对应的用户反馈视标列表,并将所述用户反馈视标列表存储于用户库中历史检测数据子库中。
该实施例中,标准反馈结果表即为与所述当前检测模式中包含的检测字的位置一一对应的列表。
该实施例中,历史检测数据子库即为用于存储对应用户的所有用户反馈视标列表的数据库。
以上技术的有益效果为:通过生成与所述当前检测模式中包含的检测字的位置一一对应的标准反馈结果表,并将反馈视标结果对应填入所述标准反馈结果表,使得获得的用户反馈视标列表可以更加直观的反映出用户反馈结果,有利于用户和医护人员查看和分析,将用户反馈视标列表存储于用户库中历史检测数据子库中,实现了检测数据的自动更新。
实施例10:
本发明提供了一种智能辨别用户反馈视标的系统,参考图5,包括:
接收模块,用于接收当前用户输入的选择反馈指令;
确定模块,用于基于所述反馈指令确定当前检测模式和当前辨别模式;
传输模块,用于基于所述当前检测模式为所述当前用户传输对应的检测视力表;
辨别模块,用于当检测开始时,基于所述当前辨别模式辨别用户的反馈视标结果;
存储模块,用于将所述反馈视标结果存储为对应的用户反馈视标列表。
以上技术的有益效果为:实现基于用户的选择确定检测模式和辨别模式,进而实现多种检测模式的智能切换和智能辨别出用户反馈视标以及检测结果的智能存储,从而实现视力检测过程的智能化。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (7)
1.一种智能辨别用户反馈视标的方法,其特征在于,包括:
S1:接收当前用户输入的选择反馈指令;
S2:基于所述反馈指令确定当前检测模式和当前辨别模式;
S3:基于所述当前检测模式为所述当前用户传输对应的检测视力表;
S4:当检测开始时,基于所述当前辨别模式辨别出所述当前用户的反馈视标结果,其中,当所述当前辨别模式为动作辨别模式时,获取预设范围内的监控视频;
确定所述监控视频中动作辨别时间段对应的待辨别视频段;
判断所述待辨别视频段中的第一帧图像与预设范围内对应的预设场景图像是否完全一致,若是,则发出无人检测的报警指令;
否则,基于所述待辨别视频段确定出所述当前用户的反馈视标结果,具体为:
确定出所述第一帧图像中与所述预设场景图像不一致的差异图像,将所述差异图像作为第一帧用户识别图像;
基于预设的特征提取算法从所述第一帧用户识别图像中提取对应的用户图像识别特征;
基于所述用户识别特征和预设目标追踪算法,确定出所述待辨别视频段中除所述第一帧图像以外剩余图像中的用户识别图像;
按照所述待辨别视频段中每一帧图像的顺序将所有用户识别图像排序,获得对应的用户识别图像集;
确定出所述用户识别图像集中相邻用户识别图像之间的子差异图像;
对所述第一帧用户识别图像按照肢体进行划分,获得对应的局部图像,并确定每个局部图像对应的肢体名称;
按照预设的特征提取算法提取每个局部图像对应的局部特征;
基于所述局部特征确定出每个子差异图像中包含的局部差异图像;
按照所述用户识别集中的用户识别图像顺序将所述局部差异图像排序,获得对应局部肢体对应的差异图像集;
将所有差异图像集按照所述用户识别集中的用户识别图像的时间顺序统一在同一时间轴上,获得所述动作辨别时间段对应的第一动作追踪结果;
判断所述第一动作追踪结果中包含的差异图像集对应的局部肢体总个数是否为1,若是,则确定对应局部肢体的第一运动方向,将所述第一运动方向作为所述当前用户的反馈视标结果;
否则,基于预设的动作肢体权重表,确定出所述动作追踪结果中每个差异图像集对应的局部肢体权重值;
将最小局部肢体权重值对应的差异图像集删除,获得对应的第二动作追踪结果;
判断所述第二动作追踪结果中包含的差异图像集对应的局部肢体总个数是否为1,若是,则确定对应局部肢体的第二运动方向,将所述第二运动方向作为所述当前用户的反馈视标结果;
否则,确定出所述第二动作追踪结果中包含的差异图像集在时间上的持续时间;
判断所述第二动作追踪结果中是否存在持续时间相同的差异图像集;
若是,则判断相同持续时间对应的局部肢体的第三运动方向是否一致,若是,则将所述第三运动方向作为所述当前用户的反馈视标结果,否则,将相同持续时间对应的局部肢体中最大运动幅度对应的第四运动方向作为所述当前用户的反馈视标结果;
否则,将最大持续时间对应的局部肢体的第五运动方向作为所述当前用户的反馈视标结果;
S5:将所述反馈视标结果存储为对应的用户反馈视标列表。
2.一种智能辨别用户反馈视标的方法,其特征在于,包括:
S1:接收当前用户输入的选择反馈指令;
S2:基于所述反馈指令确定当前检测模式和当前辨别模式;
S3:基于所述当前检测模式为所述当前用户传输对应的检测视力表;
S4:当检测开始时,基于所述当前辨别模式辨别出所述当前用户的反馈视标结果,其中,当所述当前辨别模式为声音辨别模式时,接收预设范围内的环境音频;
确定所述环境音频中声音辨别时间段对应的待辨别音频段;
对所述待辨别音频段进行语义识别,获得对应的语义识别结果,判断所述语义识别结果中是否存在预设声音反馈词库中包含的语义反馈词,若是,则判断所述语义识别结果中包含的预设声音反馈词库中包含的第一语义反馈词的总个数是否为1,若是,则将对应的第一语义反馈词作为所述当前用户的反馈视标结果;
否则,将所述待辨别音频段进行滤波处理,生成对应的去噪音频段;
确定所述去噪音频段对应的声波图像,并确定出所述语义识别结果中包含的每个第一语义反馈词在声波图像中的第一声波段;
将所述声波图像与无人检测时对应的背景音频声波图像进行对比,筛选出所述声波图像中幅值大于所述背景音频声波图像对应幅值的第二声波段;
判断所述第二声波段中是否包含所述第一声波段;
若是,则判断所述第二声波段中包含的第一声波段的总个数是否为1;
若是,则将对应第一声波段对应的第二语义反馈词作为所述当前用户的反馈视标结果;
否则,判断当前待辨别音频段是否为所述当前用户输入的第一个待辨别音频段;
若是,则将所述第二声波段中最后的第一声波段对应的第三语义反馈词作为所述当前用户的反馈视标结果;
否则,计算出所述第二声波段中包含的每个第一声波段与前一个待辨别音频段对应的反馈视标结果对应的第三声波段之间的相似度,将所述第二声波中最大相似度对应的第一声波段对应的第四语义反馈词作为所述当前用户的反馈视标结果;
当所述第二声波段中不包含所述第一声波段时,则发出无人检测的报警指令,同时发出重新检测指令,直至辨别出用户声音中的第五语义反馈词,并将对应的第五语音反馈词作为所述当前用户的反馈视标结果;
当所述语义识别结果中不存在预设声音反馈词库中包含的语义反馈词时,则发出无人检测的报警指令
S5:将所述反馈视标结果存储为对应的用户反馈视标列表。
3.根据权利要求1或2所述的一种智能辨别用户反馈视标的方法,其特征在于,S1:接收当前用户输入的选择反馈指令,包括:
S101:建立当前用户和智能辨别视标平台的通信链路;
S102:向所述当前用户发送检测模式选择指令和辨别模式选择指令;
S103:接收所述当前用户输入的检测模式反馈指令和辨别模式反馈指令。
4.根据权利要求3所述的一种智能辨别用户反馈视标的方法,其特征在于,S2:基于所述反馈指令确定当前检测模式和当前辨别模式,包括:
S201:解析所述检测模式反馈指令获得对应的用户选择检测模式;
S202:解析所述辨别模式反馈指令获得对应的用户选择辨别模式;
S203:将用户选择检测模式设置为当前检测模式,同时,将用户选择辨别模式设置为当前辨别模式。
5.根据权利要求3所述的一种智能辨别用户反馈视标的方法,其特征在于,S3:基于所述当前检测模式为所述当前用户传输对应的检测视力表,包括:
当所述当前检测模式为检测近视模式,则基于所述通信链路向用户发送对应的近视检测视力表;
当所述当前检测模式为检测远视模式,则基于所述通信链路向用户发送对应的远视检测视力表。
6.根据权利要求1或2所述的一种智能辨别用户反馈视标的方法,其特征在于,S5:将所述反馈视标结果存储为对应的用户反馈视标列表,包括:
S501:基于所述当前检测模式生成与所述当前检测模式中包含的检测字的位置一一对应的标准反馈结果表;
S502:将所述反馈视标结果对应填入所述标准反馈结果表,获得对应的用户反馈视标列表,并将所述用户反馈视标列表存储于用户库中历史检测数据子库中。
7.一种智能辨别用户反馈视标的系统,用于执行如权利要求1至6中任一项所述的智能辨别用户反馈视标的方法,其特征在于,包括:
接收模块,用于接收当前用户输入的选择反馈指令;
确定模块,用于基于所述反馈指令确定当前检测模式和当前辨别模式;
传输模块,用于基于所述当前检测模式为所述当前用户传输对应的检测视力表;
辨别模块,用于当检测开始时,基于所述当前辨别模式辨别用户的反馈视标结果;
存储模块,用于将所述反馈视标结果存储为对应的用户反馈视标列表。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111608793.1A CN114305317B (zh) | 2021-12-23 | 2021-12-23 | 一种智能辨别用户反馈视标的方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111608793.1A CN114305317B (zh) | 2021-12-23 | 2021-12-23 | 一种智能辨别用户反馈视标的方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114305317A CN114305317A (zh) | 2022-04-12 |
CN114305317B true CN114305317B (zh) | 2023-05-12 |
Family
ID=81012275
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111608793.1A Active CN114305317B (zh) | 2021-12-23 | 2021-12-23 | 一种智能辨别用户反馈视标的方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114305317B (zh) |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4411501A (en) * | 1979-08-22 | 1983-10-25 | Essilor International | Device for checking the phoria of an individual under conditions of close vision |
KR20140102919A (ko) * | 2013-02-15 | 2014-08-25 | 주식회사 케이티 | 로봇에서의 시력 측정 방법 및 이를 위한 로봇 |
CN105852795A (zh) * | 2016-03-21 | 2016-08-17 | 广东卫明眼视光研究院 | 一种智能视力检测系统 |
CN106073694A (zh) * | 2016-07-21 | 2016-11-09 | 浙江理工大学 | 一种基于Kinect的交互式视标显示系统及视标显示优化方法 |
US9517008B1 (en) * | 2014-11-06 | 2016-12-13 | Bertec Corporation | System and method for testing the vision of a subject |
CN110123257A (zh) * | 2019-03-29 | 2019-08-16 | 深圳和而泰家居在线网络科技有限公司 | 一种视力检测方法、装置、视力检测仪及计算机存储介质 |
CN110547756A (zh) * | 2019-09-17 | 2019-12-10 | 广州智伴人工智能科技有限公司 | 一种视力测试方法、装置和系统 |
CN111012342A (zh) * | 2019-11-01 | 2020-04-17 | 天津大学 | 一种基于p300的视听双通道竞争机制脑-机接口方法 |
CN210844190U (zh) * | 2018-11-29 | 2020-06-26 | 广州视域光学科技有限公司 | 一种远程智能视觉理疗仪 |
CN111839452A (zh) * | 2019-04-30 | 2020-10-30 | 赵振铎 | 视力检测系统 |
WO2021022643A1 (zh) * | 2019-08-08 | 2021-02-11 | 初速度(苏州)科技有限公司 | 一种视频目标检测与跟踪方法及装置 |
CN112806953A (zh) * | 2019-12-02 | 2021-05-18 | 北京极点触碰科技有限公司 | 一种视力自动检测方法及系统 |
CN113143193A (zh) * | 2021-05-24 | 2021-07-23 | 张婧怡 | 智能视力测试方法、装置及系统 |
CN113239831A (zh) * | 2021-05-20 | 2021-08-10 | 中南大学 | 基于手势识别技术的智能视力检测仪及其使用方法 |
CN113243886A (zh) * | 2021-06-11 | 2021-08-13 | 四川翼飞视科技有限公司 | 一种基于深度学习的视力检测系统、方法和存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0513603D0 (en) * | 2005-06-30 | 2005-08-10 | Univ Aberdeen | Vision exercising apparatus |
US8559914B2 (en) * | 2008-01-16 | 2013-10-15 | M. Kelly Jones | Interactive personal surveillance and security (IPSS) system |
US9492344B2 (en) * | 2009-08-03 | 2016-11-15 | Nike, Inc. | Unified vision testing and/or training |
US10533850B2 (en) * | 2013-07-12 | 2020-01-14 | Magic Leap, Inc. | Method and system for inserting recognized object data into a virtual world |
US10463246B2 (en) * | 2016-07-08 | 2019-11-05 | Amslerapp | Personal monitoring for vision loss from macular degeneration |
TWI722602B (zh) * | 2018-10-17 | 2021-03-21 | 輔仁大學學校財團法人輔仁大學 | 人機互動式復健系統 |
-
2021
- 2021-12-23 CN CN202111608793.1A patent/CN114305317B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4411501A (en) * | 1979-08-22 | 1983-10-25 | Essilor International | Device for checking the phoria of an individual under conditions of close vision |
KR20140102919A (ko) * | 2013-02-15 | 2014-08-25 | 주식회사 케이티 | 로봇에서의 시력 측정 방법 및 이를 위한 로봇 |
US9517008B1 (en) * | 2014-11-06 | 2016-12-13 | Bertec Corporation | System and method for testing the vision of a subject |
CN105852795A (zh) * | 2016-03-21 | 2016-08-17 | 广东卫明眼视光研究院 | 一种智能视力检测系统 |
CN106073694A (zh) * | 2016-07-21 | 2016-11-09 | 浙江理工大学 | 一种基于Kinect的交互式视标显示系统及视标显示优化方法 |
CN210844190U (zh) * | 2018-11-29 | 2020-06-26 | 广州视域光学科技有限公司 | 一种远程智能视觉理疗仪 |
CN110123257A (zh) * | 2019-03-29 | 2019-08-16 | 深圳和而泰家居在线网络科技有限公司 | 一种视力检测方法、装置、视力检测仪及计算机存储介质 |
CN111839452A (zh) * | 2019-04-30 | 2020-10-30 | 赵振铎 | 视力检测系统 |
WO2021022643A1 (zh) * | 2019-08-08 | 2021-02-11 | 初速度(苏州)科技有限公司 | 一种视频目标检测与跟踪方法及装置 |
CN110547756A (zh) * | 2019-09-17 | 2019-12-10 | 广州智伴人工智能科技有限公司 | 一种视力测试方法、装置和系统 |
CN111012342A (zh) * | 2019-11-01 | 2020-04-17 | 天津大学 | 一种基于p300的视听双通道竞争机制脑-机接口方法 |
CN112806953A (zh) * | 2019-12-02 | 2021-05-18 | 北京极点触碰科技有限公司 | 一种视力自动检测方法及系统 |
CN113239831A (zh) * | 2021-05-20 | 2021-08-10 | 中南大学 | 基于手势识别技术的智能视力检测仪及其使用方法 |
CN113143193A (zh) * | 2021-05-24 | 2021-07-23 | 张婧怡 | 智能视力测试方法、装置及系统 |
CN113243886A (zh) * | 2021-06-11 | 2021-08-13 | 四川翼飞视科技有限公司 | 一种基于深度学习的视力检测系统、方法和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114305317A (zh) | 2022-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3593958A1 (en) | Data processing method and nursing robot device | |
CN103561652B (zh) | 用于辅助患者的方法和系统 | |
US11164565B2 (en) | Unsupervised learning system and method for performing weighting for improvement in speech recognition performance and recording medium for performing the method | |
CN105654952A (zh) | 用于输出语音的电子设备、服务器和方法 | |
CN108537910A (zh) | 一种基于人脸识别的员工考勤方法、装置和考勤管理系统 | |
KR20140072651A (ko) | 글래스타입 휴대용 단말기 | |
US11748636B2 (en) | Parking spot locator based on personalized predictive analytics | |
WO2015091223A1 (en) | System and method for assessing the cognitive style of a person | |
US10789961B2 (en) | Apparatus and method for predicting/recognizing occurrence of personal concerned context | |
US11253747B2 (en) | Automated activity detection and tracking | |
CN108618747A (zh) | 视力测试方法及智能终端 | |
CN103635962A (zh) | 声音识别系统、识别字典登记系统以及声学模型标识符序列生成装置 | |
KR101584685B1 (ko) | 시청 데이터를 이용한 기억 보조 방법 | |
CN110443366A (zh) | 神经网络的优化方法及装置、目标检测方法及装置 | |
US20200327894A1 (en) | Speaker recognizing method, speaker recognizing apparatus, recording medium recording speaker recognizing program, database making method, database making apparatus, and recording medium recording database making program | |
KR20180081922A (ko) | 전자 장치의 입력 음성에 대한 응답 방법 및 그 전자 장치 | |
US20230336694A1 (en) | Tagging Characteristics of an Interpersonal Encounter Based on Vocal Features | |
CN107169429A (zh) | 活体识别方法和装置 | |
CN114305317B (zh) | 一种智能辨别用户反馈视标的方法和系统 | |
KR20190113252A (ko) | 시선 추적 방법 및 이를 수행하기 위한 단말 | |
CN110910898B (zh) | 一种语音信息处理的方法和装置 | |
KR20160015142A (ko) | 글라스형 웨어러블 디바이스를 이용한 긴급시 비상연락방법 및 프로그램 | |
CN110377808A (zh) | 文档处理方法、装置、电子设备及存储介质 | |
CN111815905A (zh) | 基于智能养老系统的可穿戴终端设备及其控制方法 | |
KR20190143742A (ko) | 학습 집중도 향상 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |