CN104317392A - 一种信息控制方法及电子设备 - Google Patents
一种信息控制方法及电子设备 Download PDFInfo
- Publication number
- CN104317392A CN104317392A CN201410498632.5A CN201410498632A CN104317392A CN 104317392 A CN104317392 A CN 104317392A CN 201410498632 A CN201410498632 A CN 201410498632A CN 104317392 A CN104317392 A CN 104317392A
- Authority
- CN
- China
- Prior art keywords
- user
- end time
- attentively
- electronic equipment
- obtains
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种信息控制方法，应用于具有显示单元的电子设备，所述方法包括：检测获得第一操作，及所述第一操作的起始时刻t1和终止时刻t2；判断所述第一操作是否满足一预设条件，获得第一判断结果；当所述第一判断结果为是时，获得在所述起始时刻t1到所述终止时刻t2的操作持续时间段内，所述电子设备的用户眼球注视过的M个对象，其中M为大于等于1的整数；从所述M个对象中确定出第一对象；对所述第一对象执行与所述第一操作对应的第一指令。
Description
技术领域
本发明涉及电子技术领域，特别涉及一种信息控制方法及电子设备。
背景技术
随着科学技术的不断发展，电子设备得到了飞速的发展，伴随着图像、语音采集设备的广泛应用，如电子设备上的摄像头和话筒等，新的操作方式，如眼球追踪、语音控制等也逐渐涌现。相较于传统的操作方式而言，用户无需手动点击或者触摸屏幕，仅凭眼镜的变化或者语音信号便能实现控制电子设备的目的，使用起来简单便捷。
当采用眼球追踪的方式对电子设备进行操作控制时，用户首先需要注视操作对象，此时人眼的细微变化会产生可以提取的特征，电子设备可以通过图像捕捉或扫描提取这些特征，从而实时追踪眼睛的变化，预测用户的状态和需求，并进行响应，达到利用眼睛控制设备的目的。
当采用语音控制的方式对电子设备进行操作控制时，用户首先需要描述出操作的对象及操作内容，电子设备对原始语音信号进行前端处理，提取出语音信号中的声学特征，然后对提取出的特征向量进行统计模式识别，得到其包含的文字信息，最后做出正确的响应，完成语音信号需要完成的操作。
本申请发明人在实现本申请实施例中技术方案的过程中，发现现有技术存在如下技术问题：
在现有技术中，采用眼球追踪操作方式时，由于人眼存在无意识动作，电子设备无法区分有意识和无意识动作，导致无法准确确定操作对象，所以，现有技术中中的眼球追踪操作方式存在在人眼有无意识动作的情况下，无法准确定位操作对象，进而导致误操作的技术问题。
在现有技术中，采用语音控制操作方式时，由于语音指令中需要包含操作对象，当用语音控制打开网页中的某一个链接时，无法清楚描述出具体是哪一个链接，导致无法完成具体操作，所以，现有技术中的语音控制操作方式存在在包括的操作对象很多的情况下，由于语音无法清楚描述具体的操作对象，导致无法准确定位操作对象，进而导致误操作的技术问题。
可见，无论是采用语音控制操作方式还是眼球追踪操作方式，现有技术中都存在无法准确定位操作对象，进而导致误操作的技术问题。
进一步，采用语音控制操作方式时，由于语音指令中除了要包含操作对象，还要包括具体的操作目的，使语音指令的长度较长，电子设备在进行语音识别时，就会消耗系统资源，且整个识别过程中需要花费较长的时间，所以，现有技术中的语音控制操作方式存在消耗系统资源，操作效率较低的技术问题。
发明内容
本发明实施例提供一种信息控制方法及电子设备，用于解决现有技术中无法准确定位操作对象，进而导致误操作的技术问题，实现对操作对象的准确定位，避免误操作的技术效果。
本申请实施例一方面提供一种信息控制方法，应用于具有显示单元的电子设备，所述方法包括：检测获得第一操作，及所述第一操作的起始时刻t1和终止时刻t2；判断所述第一操作是否满足一预设条件，获得第一判断结果；当所述第一判断结果为是时，获得在所述起始时刻t1到所述终止时刻t2的操作持续时间段内，所述电子设备的用户眼球注视过的M个对象，其中M为大于等于1的整数；从所述M个对象中确定出第一对象；对所述第一对象执行与所述第一操作对应的第一指令。
可选的，所述第一操作具体为语音操作或在所述电子设备所在空间中进行的手势操作。
可选的，所述判断所述第一操作是否满足一预设条件，获得第一判断结果，具体包括：
判断所述第一操作是否为一预设操作，获得第一判断结果。
可选的，所述判断所述第一操作是否为一预设操作，获得第一判断结果，具体包括：
判断所述第一操作对应的第一用户是否为预设用户，获得第一判断子结果；
在所述第一判断子结果为是时，判断所述第一操作是否为一预设操作，获得第一判断结果。
可选的，所述获得在所述起始时刻t1到所述终止时刻t2的操作持续时间段内，所述电子设备的用户眼球注视过的M个对象，具体为：
获得通过第一传感单元采集的在所述操作持续时间段内的与所述用户眼球的注视动作相关的N个注视信息，N为大于等于1的参数；
基于所述N个注视信息，确定在所述操作持续时间段内，所述用户眼球注视过的M个对象。
可选的，在所述当所述第一判断结果为是时，获得在所述起始时刻t1到所述终止时刻t2的操作持续时间段内，所述电子设备的用户眼球注视过的M个对象之后，所述从所述M个对象中确定出第一对象之前，所述方法还包括：
依次取i为1到M，记录所述用户眼球注视所述M个对象中的第i个对象的第i个持续时间，在i为M时，获得M个持续时间。
可选的，在所述当所述第一判断结果为是时，获得在所述起始时刻t1到所述终止时刻t2的操作持续时间段内，所述电子设备的用户眼球注视过的M个对象之后，所述从所述M个对象中确定出第一对象之前，所述方法还包括：
依次取i为1到M，记录所述用户眼球注视所述M个对象中的第i个对象的第i个注视终止时刻，在i为M时，获得M个注视终止时刻。
可选的，所述从所述M个对象中确定出第一对象，具体包括：
从所述M个持续时间中确定最长持续时间；
确定所述最长持续时间对应的对象为所述第一对象。
可选的，所述从所述M个对象中确定出第一对象，具体包括：
从所述M个注视终止时刻中确定离当前时刻最近的最近注视终止时刻；
确定所述最近注视终止时刻对应的对象为所述第一对象。
可选的，所述对所述第一对象执行与所述第一操作对应的第一指令，具体包括：
输出一用于提醒用户是否需要执行所述第一指令的提示信息；
检测获得所述用户基于所述提示信息而进行的用于表示所述用户要执行所述第一指令的确认操作；
响应所述确认操作，生成并执行所述第一指令。
本申请实施例另一方面提供一种电子设备，包含一显示单元，所述电子设备包括：第一获取单元，用于检测获得第一操作，及所述第一操作的起始时刻t1和终止时刻t2；第一判断单元，用于判断所述第一操作是否满足一预设条件，获得第一判断结果；第二获取单元，用于当所述第一判断结果为是时，获得在所述起始时刻t1到所述终止时刻t2的操作持续时间段内，所述电子设备的用户眼球注视过的M个对象，其中M为大于等于1的整数；第一确定单元，用于从所述M个对象中确定出第一对象；第一执行单元，用于对所述第一对象执行与所述第一操作对应的第一指令。
可选的，所述第一判断单元，具体为操作判断单元，用于判断所述第一操作是否为一预设操作，获得第一判断结果。
可选的，所述操作判断单元，具体包括：
第一判断模块，用于判断所述第一操作对应的第一用户是否为预设用户，获得第一判断子结果；
第二判断模块，用于在所述第一判断子结果为是时，判断所述第一操作是否为一预设操作，获得第一判断结果。
可选的，所述第二获取单元，具体包括：
第一获取模块，用于获得通过第一传感单元采集的在所述操作持续时间段内的与所述用户眼球的注视动作相关的N个注视信息，N为大于等于1的参数；
第一确定模块，用于基于所述N个注视信息，确定在所述操作持续时间段内，所述用户眼球注视过的M个对象。
可选的，所述电子设备还包括：
第一时间记录单元，在依次取i为1到M时，用于记录所述用户眼球注视所述M个对象中的第i个对象的第i个持续时间，在i为M时，获得M个持续时间。
可选的，所述电子设备还包括：
第一时刻记录单元，在依次取i为1到M时，用于记录所述用户眼球注视所述M个对象中的第i个对象的第i个注视终止时刻，在i为M时，获得M个注视终止时刻。
可选的，所述第一确定单元，具体包括：
第二确定模块，用于从所述M个持续时间中确定最长持续时间；
第三确定模块，用于确定所述最长持续时间对应的对象为所述第一对象。
可选的，所述第一确定单元，具体包括：
第四确定模块，用于从所述M个注视终止时刻中确定离当前时刻最近的最近注视终止时刻；
第五确定模块，用于确定所述最近注视终止时刻对应的对象为所述第一对象。
可选的，所述第一执行单元，具体包括：
第一输出模块，用于输出一用于提醒用户是否需要执行所述第一指令的提示信息；
第二获取模块，用于检测获得所述用户基于所述提示信息而进行的用于表示所述用户要执行所述第一指令的确认操作；
第一执行模块，用于响应所述确认操作，生成并执行所述第一指令。
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
一、本申请实施例中的技术方案，由于采用先检测获得第一操作，且在第一操作符合一预设条件时，再从所述电子设备的用户眼球注视过的M个对象中确定出第一对象的方法，这样，通过第一操作将确保M个对象是用户有意注视过的对象，可以有效避免在现有技术中在采用眼球追踪方式时，人眼的无意识动作带来的误操作，进一步地，当所述第一操作为语音控制操作方式且无法清楚描述操作对象时，使用眼球追踪的方式使电子设备能够准确地获得操作对象，所以，解决了现有技术中存在无法准确定位操作对象，进而导致误操作的技术问题，实现了对操作对象的准确定位，避免误操作的技术效果。
二、本申请实施例中的技术方案，由于采用先检测获得第一操作，且在第一操作符合一预设条件时，再从所述电子设备的用户眼球注视过的M个对象中确定出第一对象的方法，这样，当所述第一操作具体为语音操作时，所述第一操作的语音指令中可以只包含操作而不包含操作对象，比如：语音指令为打开网页，相较现有技术中的包括操作对象的语音指令，如：打开庆祝教师节的网页，缩短了所述语音指令的长度，同时减少了识别所述语音指令的花费时间及对系统资源的消耗，所以，解决了现有技术中的语音控制操作方式存在消耗系统资源，操作效率较低的技术问题，实现了降低系统资源的消耗，提高操作效率的技术效果。
三、本申请实施例中的技术方案，由于采用输出一用于提醒用户是否需要执行所述第一指令的提示信息，这样，通过让用户对所述第一指令进行确认之后再执行第一操作，进一步避免了误操作的产生，同时，也能有效避免由于误操作带来的无法挽回的后果，所以，实现了提高用户体验的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
图1为本申请实施例一提供的一种信息控制方法的流程图；
图2为本申请实施例一中步骤S102的具体实现方式的流程图；
图3为本申请实施例一中步骤S103的具体实现方式的流程图；
图4为本申请实施例一中步骤S104的第一种具体实现方式的流程图；
图5为本申请实施例一中步骤S104的第二种具体实现方式的流程图；
图6为本申请实施例一中步骤S105的具体实现方式的流程图；
图7为本申请实施例二提供的一种电子设备的结构方框图。
具体实施方式
在本申请实施例提供一种信息控制方法及电子设备，用于解决现有技术中无法准确定位操作对象，进而导致误操作的技术问题，实现对操作对象的准确定位，避免误操作的技术效果。
本申请实施例中的技术方案为解决上述问题，总体思路如下：
一种信息控制方法，应用于具有显示单元的电子设备，所述方法包括：检测获得第一操作，及所述第一操作的起始时刻t1和终止时刻t2；判断所述第一操作是否满足一预设条件，获得第一判断结果；当所述第一判断结果为是时，获得在所述起始时刻t1到所述终止时刻t2的操作持续时间段内，所述电子设备的用户眼球注视过的M个对象，其中M为大于等于1的整数；从所述M个对象中确定出第一对象；对所述第一对象执行与所述第一操作对应的第一指令。
上述信息控制的方法通过采用先检测获得第一操作，且在第一操作符合一预设条件时，再从所述电子设备的用户眼球注视过的M个对象中确定出第一对象的方法，这样，通过第一操作将确保M个对象是用户有意注视过的对象，可以有效避免在现有技术中在采用眼球追踪方式时，人眼的无意识动作带来的误操作，进一步地，当所述第一操作为语音控制操作方式且无法清楚描述操作对象时，使用眼球追踪的方式使电子设备能够准确地获得操作对象，所以，解决了现有技术中存在无法准确定位操作对象，进而导致误操作的技术问题，实现了对操作对象的准确定位，避免误操作的技术效果。
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。
实施例一
请参考图1，本申请实施例提供一种信息控制方法，应用于具有显示单元的电子设备，所述方法包括：
S101：检测获得第一操作，及所述第一操作的起始时刻t1和终止时刻t2；
S102：判断所述第一操作是否满足一预设条件，获得第一判断结果；
S103：当所述第一判断结果为是时，获得在所述起始时刻t1到所述终止时刻t2的操作持续时间段内，所述电子设备的用户眼球注视过的M个对象，其中M为大于等于1的整数；
S104：从所述M个对象中确定出第一对象；
S105：对所述第一对象执行与所述第一操作对应的第一指令。
在具体实施过程中，所述电子设备可以是手机、电脑、Pad等具有显示单元的电子设备，也可以是别的电子设备，在此，就不一一举例了。在本申请实施例中，将以所述电子设备为Pad为例，来对本申请实施例中的方法的实现过程进行详细描述。
在本申请实施例中，所述第一操作具体为语音操作或在所述电子设备所在空间中进行的手势操作，例如，由用户发出“打开网页”的语音信息，或者由用户在所述电子设备的显示单元上画出一个“V”型手势，当然，在具体实现过程中，本领域普通技术人员也可以采用其他方式作为所述第一操作，在此，就不一一举例了，在本申请实施例中，以所述第一操作为语音操作为例，来对本申请实施例中的方案的实现过程进行详细描述。
在具体实现过程中，以所述电子设备为Pad、所述第一操作为语音操作为例，步骤S101的具体实现为：Pad通过声音采集设备，如麦克风，采集到一个语音信息，例如“打开网页”，这时，麦克风需记录所述语音信息的具体内容：“打开网页”，同时还需记录语音信息“打开网页”的起始时刻t1和终止时刻t2，例如采集到语音信息“打开网页”的起始时刻为9点12分30秒，终止时刻为9点12分32秒。
在执行完成步骤S101之后，本申请实施例中的方法便执行步骤S102，即：判断所述第一操作是否满足一预设条件，获得第一判断结果。
请参考图2，在本申请实施例中，步骤S102的具体实现方式为：
S1021：判断所述第一操作对应的第一用户是否为预设用户，获得第一判断子结果；
S1022：在所述第一判断子结果为是时，判断所述第一操作是否为一预设操作，获得第一判断结果。
继续以所述电子设备为Pad、所述第一操作为语音操作为例，当Pad通过麦克风采集到语音信息“打开网页”后，语音信息“打开网页”与Pad内的预设用户语音进行比对，判断说语音信息“打开网页”的用户是否为预设用户，如果不是预设用户，则不响应所述语音信息，这样，可以限制其他用户使用Pad，进而可以实现保护Pad的技术效果。
当判断结果显示是预设用户说的语音信息“打开网页”时，再判断语音信息“打开网页”是否为一预设语音指令，进而获得第一判断结果。在本申请实施例中，Pad中可以有一个预设语音指令数据库，该预设语音指令数据库中可以包括很多预设语音指令，如：打开网页，播放音乐，播放电影，打开照片等。在判断语音信息“打开网页”是否为一预设语音指令时，就是将语音信息“打开网页”和预设语音指令数据库的预设语音指令进行比较，当打开网页为预设语音指令时，第一判断结果就表明语音信息“打开网页”为预设语音指令。
在执行完成步骤S102之后，本申请实施例中的方法便执行步骤S103，即：当所述第一判断结果为是时，获得在所述起始时刻t1到所述终止时刻t2的操作持续时间段内，所述电子设备的用户眼球注视过的M个对象，其中M为大于等于1的整数；
请参考图3，在本申请实施例中，步骤S103的具体实现方式为：
S1031：获得通过第一传感单元采集的在所述操作持续时间段内的与所述用户眼球的注视动作相关的N个注视信息，N为大于等于1的参数；
S1032：基于所述N个注视信息，确定在所述操作持续时间段内，所述用户眼球注视过的M个对象。
继续以所述电子设备为Pad、所述第一操作为语音操作为例，当Pad通过麦克风采集到语音信息“打开网页”的起止时刻为9点12分30秒到9点12分32秒后，Pad通过第一传感单元，例如摄像头，采集在9点12分30秒到9点12分32秒的时间段内，用户眼球注视过的N个注视信息，如：Pad屏幕上的显示的“包”、“女装”、“汽车”、“连衣裙”等所在的位置，由于人眼存在一些无意识动作，比如注视到Pad屏幕中的空白处，所以，Pad的摄像头采集到用户眼球注视过的5个注视位置；然后，Pad的摄像头基于采集到的这5个注视位置，确定出这5个注视位置对应的注视对象，而“Pad屏幕中的空白处”没有对应具体对象，最终确定出用户眼球注视过的4个对象为“包”、“女装”、“汽车”和“连衣裙”。
在执行完成步骤S103之后，本申请实施例中的方法便执行步骤S104，即：从所述M个对象中确定出第一对象；
在具体实现过程中，从所述M个对象中确定出第一对象的方式有很多中，比如根据用户眼球注视时间最长的位置为确定第一对象的依据或者根据用户眼球最后注视的位置为确定第一对象的依据等，当然，本领域普通技术人员也可以采用其他条件为确定第一对象的依据，在此，就不一一举例了。
由于上述确定依据有很多种，为了阐述清楚所述从所述M个对象中确定出第一对象的具体过程，本申请实施例选取以下两种情况进行具体说明：
第一种情况：请参考图4，以用户眼球注视时间最长的位置为确定第一对象的依据，具体包括如下步骤：
S10411：依次取i为1到M，记录所述用户眼球注视所述M个对象中的第i个对象的第i个持续时间，在i为M时，获得M个持续时间。
S10412：从所述M个持续时间中确定最长持续时间；
S10413：确定所述最长持续时间对应的对象为所述第一对象。
继续以所述电子设备为Pad、所述第一操作为语音操作为例，当Pad通过摄像头确定出用户眼球注视过的4个对象为“包”、“女装”、“汽车”和“连衣裙”后，摄像头采集并记录用户眼球注视过的每一个对象的持续时间，如记录第1个对象“包”的持续时间为0.2秒，第2个对象“女装”的持续时间为0.4秒，第3个对象“汽车”的持续时间为0.3秒，第4个对象“连衣裙”的持续时间为0.5秒。
在本申请实施例中，Pad中可以有一个逻辑单元，该逻辑单元从这4个对象的持续时间中找到最大值，具体为第4个对象的持续时间0.5秒，将这一结果返回给摄像头，摄像头便将第4个对象“连衣裙”确定为第一对象。
第二种情况：请参考图5，以用户眼球最后注视的位置为确定第一对象的依据，具体包括如下步骤：
S10421：依次取i为1到M，记录所述用户眼球注视所述M个对象中的第i个对象的第i个注视终止时刻，在i为M时，获得M个注视终止时刻。
S10422：从所述M个注视终止时刻中确定离当前时刻最近的最近注视终止时刻；
S10423：确定所述最近注视终止时刻对应的对象为所述第一对象。
继续以所述电子设备为Pad、所述第一操作为语音操作为例，当Pad通过摄像头确定出用户眼球注视过的4个对象为“包”、“女装”、“汽车”和“连衣裙”后，摄像头记录每个对象的注视终止时刻，如记录第1个对象“包”的注视终止时刻为9点12分30.2秒，记录第2个对象“女装”的注视终止时刻为9点12分30.6秒，记录第3个对象“汽车”的注视终止时刻为9点12分30.9秒，记录第4个对象“连衣裙”的注视终止时刻为9点12分31.4秒。
在本申请实施例中，Pad中可以有一个逻辑单元，通过逻辑单元，找到与语音信息“打开网页”的终止时刻9点12分32秒最接近的注视终止时刻，具体为第4个对象的注视终止时刻9点12分31.4秒，将这一结果返回给摄像头，摄像头将第4个对象“连衣裙”确定为第一对象。
在执行完成步骤S104之后，本申请实施例中的方法便执行步骤S105，即：对所述第一对象执行与所述第一操作对应的第一指令。
请参考图6，在本申请实施例中，步骤S105的具体实现方式为：
S1051：输出一用于提醒用户是否需要执行所述第一指令的提示信息；
S1052：检测获得所述用户基于所述提示信息而进行的用于表示所述用户要执行所述第一指令的确认操作；
S1053：响应所述确认操作，生成并执行所述第一指令。
继续以所述电子设备为Pad、所述第一操作为语音操作为例，当Pad通过摄像头确定“连衣裙”为第一对象后，摄像头将获得的第一对象“连衣裙”发送给Pad的中央处理器CPU，同时麦克风也将获得的第一操作“打开网页”发送给CPU，CPU通过第一操作“打开网页”和第一对象“连衣裙”生成并控制Pad的显示屏输出一提示信息“是否打开“连衣裙”网页”，等待用户确认。
当Pad检测到用户对这一提示信息做出回应之后，如，麦克风检测到用户的确认语音信息“是”，然后，麦克风将这一确认语音信息“是”发送给CPU，CPU对确认信息做出响应，在本申请实施例中，Pad中可以有一个第三方软件，如浏览器，CPU生成“浏览器打开“连衣裙”网页”的第一指令，浏览器接收到第一指令，执行打开“连衣裙”网页。
在具体实施过程中，也可以对提示信息设置具体的时限，如，设置时限为10秒，若用户在10秒内未针对提示信息做出回应，则自动执行指令。
实施例二
基于与本申请实施例一中信息控制的方法同样的发明构思，请参考图7，本申请实施例提供一种电子设备，所述电子设备包括：
第一获取单元101，用于检测获得第一操作，及所述第一操作的起始时刻t1和终止时刻t2；
第一判断单元102，用于判断所述第一操作是否满足一预设条件，获得第一判断结果；
第二获取单元103，用于当所述第一判断结果为是时，获得在所述起始时刻t1到所述终止时刻t2的操作持续时间段内，所述电子设备的用户眼球注视过的M个对象，其中M为大于等于1的整数；
第一确定单元104，用于从所述M个对象中确定出第一对象；
第一执行单元105，用于对所述第一对象执行与所述第一操作对应的第一指令。
在本申请实施例中，为了准确地响应用户的操作指令，所述第一判断单元102具体为操作判断单元，用于判断所述第一操作是否为一预设操作，获得第一判断结果，具体包括：
第一判断模块，用于判断所述第一操作对应的第一用户是否为预设用户，获得第一判断子结果；
第二判断模块，用于在所述第一判断子结果为是时，判断所述第一操作是否为一预设操作，获得第一判断结果。
为了能够根据用户的操作指令，准确地获得注视对象，所述第二获取单元103，具体包括：
第一获取模块，用于获得通过第一传感单元采集的在所述操作持续时间段内的与所述用户眼球的注视动作相关的N个注视信息，N为大于等于1的参数；
第一确定模块，用于基于所述N个注视信息，确定在所述操作持续时间段内，所述用户眼球注视过的M个对象。
为了能够根据用户的注视对象，准确地获得操作对象，所述电子设备还包括：
第一时间记录单元，在依次取i为1到M时，用于记录所述用户眼球注视所述M个对象中的第i个对象的第i个持续时间，在i为M时，获得M个持续时间。
第一时刻记录单元，在依次取i为1到M时，用于记录所述用户眼球注视所述M个对象中的第i个对象的第i个注视终止时刻，在i为M时，获得M个注视终止时刻。
为了能够从所述M个对象中确定出第一对象，所述第一确定单元104，具体包括：
第二确定模块，用于从所述M个持续时间中确定最长持续时间；
第三确定模块，用于确定所述最长持续时间对应的对象为所述第一对象。
为了能够从所述M个对象中确定出第一对象，所述第一确定单元104，还包括：
第四确定模块，用于从所述M个注视终止时刻中确定离当前时刻最近的最近注视终止时刻；
第五确定模块，用于确定所述最近注视终止时刻对应的对象为所述第一对象。
为了能够准确执行所述用户的操作指令，所述第一执行单元105，具体包括：
第一输出模块，用于输出一用于提醒用户是否需要执行所述第一指令的提示信息；
第二获取模块，用于检测获得所述用户基于所述提示信息而进行的用于表示所述用户要执行所述第一指令的确认操作；
第一执行模块，用于响应所述确认操作，生成并执行所述第一指令。
由于本实施例中的电子设备为与方法对应的虚拟装置，所以，其具体的工作过程就不再进行具体的描述了。
通过本申请实施例中的一个或多个技术方案，可以实现如下一个或多个技术效果：
一、本申请实施例中的技术方案，由于采用先检测获得第一操作，且在第一操作符合一预设条件时，再从所述电子设备的用户眼球注视过的M个对象中确定出第一对象的方法，这样，通过第一操作将确保M个对象是用户有意注视过的对象，可以有效避免在现有技术中在采用眼球追踪方式时，人眼的无意识动作带来的误操作，进一步地，当所述第一操作为语音控制操作方式且无法清楚描述操作对象时，使用眼球追踪的方式使电子设备能够准确地获得操作对象，所以，解决了现有技术中存在无法准确定位操作对象，进而导致误操作的技术问题，实现了对操作对象的准确定位，避免误操作的技术效果。
二、本申请实施例中的技术方案，由于采用先检测获得第一操作，且在第一操作符合一预设条件时，再从所述电子设备的用户眼球注视过的M个对象中确定出第一对象的方法，这样，当所述第一操作具体为语音操作时，所述第一操作的语音指令中可以只包含操作而不包含操作对象，比如：语音指令为打开网页，相较现有技术中的包括操作对象的语音指令，如：打开庆祝教师节的网页，缩短了所述语音指令的长度，同时减少了识别所述语音指令的花费时间及对系统资源的消耗，所以，解决了现有技术中的语音控制操作方式存在消耗系统资源，操作效率较低的技术问题，实现了降低系统资源的消耗，提高操作效率的技术效果。
三、本申请实施例中的技术方案，由于采用输出一用于提醒用户是否需要执行所述第一指令的提示信息，这样，通过让用户对所述第一指令进行确认之后再执行第一操作，进一步避免了误操作的产生，同时，也能有效避免由于误操作带来的无法挽回的后果，所以，实现了提高用户体验的效果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
具体来讲，本申请实施例中的信息控制的方法对应的计算机程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与信息控制的方法对应的计算机程序指令被一电子设备读取或被执行时，包括以下步骤：
检测获得第一操作，及所述第一操作的起始时刻t1和终止时刻t2；
判断所述第一操作是否满足一预设条件，获得第一判断结果；
当所述第一判断结果为是时，获得在所述起始时刻t1到所述终止时刻t2的操作持续时间段内，所述电子设备的用户眼球注视过的M个对象，其中M为大于等于1的整数；
从所述M个对象中确定出第一对象；
对所述第一对象执行与所述第一操作对应的第一指令。
可选的，所述存储介质中存储的与步骤：判断所述第一操作是否满足一预设条件，获得第一判断结果对应的计算机指令在具体被执行过程中，具体包括如下步骤：
判断所述第一操作是否为一预设操作，获得第一判断结果。
可选的，所述存储介质中存储的与步骤：判断所述第一操作是否为一预设操作，获得第一判断结果对应的计算机指令在具体被执行过程中，具体包括如下步骤：
判断所述第一操作对应的第一用户是否为预设用户，获得第一判断子结果；
在所述第一判断子结果为是时，判断所述第一操作是否为一预设操作，获得第一判断结果。
可选的，所述存储介质中存储的与步骤：获得在所述起始时刻t1到所述终止时刻t2的操作持续时间段内，所述电子设备的用户眼球注视过的M个对象，对应的计算机指令在具体被执行过程中，具体包括如下步骤：
获得通过第一传感单元采集的在所述操作持续时间段内的与所述用户眼球的注视动作相关的N个注视信息，N为大于等于1的参数；
基于所述N个注视信息，确定在所述操作持续时间段内，所述用户眼球注视过的M个对象。
可选的，所述存储介质中存储的与步骤：在所述当所述第一判断结果为是时，获得在所述起始时刻t1到所述终止时刻t2的操作持续时间段内，所述电子设备的用户眼球注视过的M个对象之后，所述从所述M个对象中确定出第一对象之前，所述方法对应的计算机指令在具体被执行过程中，具体还包括如下步骤：
依次取i为1到M，记录所述用户眼球注视所述M个对象中的第i个对象的第i个持续时间，在i为M时，获得M个持续时间。
可选的，所述存储介质中存储的与步骤：在所述当所述第一判断结果为是时，获得在所述起始时刻t1到所述终止时刻t2的操作持续时间段内，所述电子设备的用户眼球注视过的M个对象之后，所述从所述M个对象中确定出第一对象之前，所述方法对应的计算机指令在具体被执行过程中，具体还包括如下步骤：
依次取i为1到M，记录所述用户眼球注视所述M个对象中的第i个对象的第i个注视终止时刻，在i为M时，获得M个注视终止时刻。
可选的，所述存储介质中存储的与步骤：从所述M个对象中确定出第一对象对应的计算机指令在具体被执行过程中，具体包括如下步骤：
从所述M个持续时间中确定最长持续时间；
确定所述最长持续时间对应的对象为所述第一对象。
可选的，所述存储介质中存储的与步骤：从所述M个对象中确定出第一对象对应的计算机指令在具体被执行过程中，具体包括如下步骤：
从所述M个注视终止时刻中确定离当前时刻最近的最近注视终止时刻；
确定所述最近注视终止时刻对应的对象为所述第一对象。
可选的，所述存储介质中存储的与步骤：对所述第一对象执行与所述第一操作对应的第一指令对应的计算机指令在具体被执行过程中，具体包括如下步骤：
输出一用于提醒用户是否需要执行所述第一指令的提示信息；
检测获得所述用户基于所述提示信息而进行的用于表示所述用户要执行所述第一指令的确认操作；
响应所述确认操作，生成并执行所述第一指令。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (19)
1.一种信息控制方法，应用于具有显示单元的电子设备，所述方法包括：
检测获得第一操作，及所述第一操作的起始时刻t1和终止时刻t2；
判断所述第一操作是否满足一预设条件，获得第一判断结果；
当所述第一判断结果为是时，获得在所述起始时刻t1到所述终止时刻t2的操作持续时间段内，所述电子设备的用户眼球注视过的M个对象，其中M为大于等于1的整数；
从所述M个对象中确定出第一对象；
对所述第一对象执行与所述第一操作对应的第一指令。
2.如权利要求1所述的方法，其特征在于，所述第一操作具体为语音操作或在所述电子设备所在空间中进行的手势操作。
3.如权利要求2所述的方法，其特征在于，所述判断所述第一操作是否满足一预设条件，获得第一判断结果，具体包括：
判断所述第一操作是否为一预设操作，获得第一判断结果。
4.如权利要求3所述的方法，其特征在于，所述判断所述第一操作是否为一预设操作，获得第一判断结果，具体包括：
判断所述第一操作对应的第一用户是否为预设用户，获得第一判断子结果；
在所述第一判断子结果为是时，判断所述第一操作是否为一预设操作，获得第一判断结果。
5.如权利要求4所述的方法，其特征在于，所述获得在所述起始时刻t1到所述终止时刻t2的操作持续时间段内，所述电子设备的用户眼球注视过的M个对象，具体为：
获得通过第一传感单元采集的在所述操作持续时间段内的与所述用户眼球的注视动作相关的N个注视信息，N为大于等于1的参数；
基于所述N个注视信息，确定在所述操作持续时间段内，所述用户眼球注视过的M个对象。
6.如权利要求5所述的方法，其特征在于，在所述当所述第一判断结果为是时，获得在所述起始时刻t1到所述终止时刻t2的操作持续时间段内，所述电子设备的用户眼球注视过的M个对象之后，所述从所述M个对象中确定出第一对象之前，所述方法还包括：
依次取i为1到M，记录所述用户眼球注视所述M个对象中的第i个对象的第i个持续时间，在i为M时，获得M个持续时间。
7.如权利要求5所述的方法，其特征在于，在所述当所述第一判断结果为是时，获得在所述起始时刻t1到所述终止时刻t2的操作持续时间段内，所述电子设备的用户眼球注视过的M个对象之后，所述从所述M个对象中确定出第一对象之前，所述方法还包括：
依次取i为1到M，记录所述用户眼球注视所述M个对象中的第i个对象的第i个注视终止时刻，在i为M时，获得M个注视终止时刻。
8.如权利要求6所述的方法，其特征在于，所述从所述M个对象中确定出第一对象，具体包括：
从所述M个持续时间中确定最长持续时间；
确定所述最长持续时间对应的对象为所述第一对象。
9.如权利要求7所述的方法，其特征在于，所述从所述M个对象中确定出第一对象，具体包括：
从所述M个注视终止时刻中确定离当前时刻最近的最近注视终止时刻；
确定所述最近注视终止时刻对应的对象为所述第一对象。
10.如权利要求8或9中所述的方法，其特征在于，所述对所述第一对象执行与所述第一操作对应的第一指令，具体包括：
输出一用于提醒用户是否需要执行所述第一指令的提示信息；
检测获得所述用户基于所述提示信息而进行的用于表示所述用户要执行所述第一指令的确认操作；
响应所述确认操作，生成并执行所述第一指令。
11.一种电子设备，包含一显示单元，所述电子设备包括：
第一获取单元，用于检测获得第一操作，及所述第一操作的起始时刻t1和终止时刻t2；
第一判断单元，用于判断所述第一操作是否满足一预设条件，获得第一判断结果；
第二获取单元，用于当所述第一判断结果为是时，获得在所述起始时刻t1到所述终止时刻t2的操作持续时间段内，所述电子设备的用户眼球注视过的M个对象，其中M为大于等于1的整数；
第一确定单元，用于从所述M个对象中确定出第一对象；
第一执行单元，用于对所述第一对象执行与所述第一操作对应的第一指令。
12.如权利要求11所述的电子设备，其特征在于，所述第一判断单元，具体为操作判断单元，用于判断所述第一操作是否为一预设操作，获得第一判断结果。
13.如权利要求12所述的电子设备，其特征在于，所述操作判断单元，具体包括：
第一判断模块，用于判断所述第一操作对应的第一用户是否为预设用户，获得第一判断子结果；
第二判断模块，用于在所述第一判断子结果为是时，判断所述第一操作是否为一预设操作，获得第一判断结果。
14.如权利要求13所述的电子设备，其特征在于，所述第二获取单元，具体包括：
第一获取模块，用于获得通过第一传感单元采集的在所述操作持续时间段内的与所述用户眼球的注视动作相关的N个注视信息，N为大于等于1的参数；
第一确定模块，用于基于所述N个注视信息，确定在所述操作持续时间段内，所述用户眼球注视过的M个对象。
15.如权利要求14所述的电子设备，其特征在于，所述电子设备还包括：
第一时间记录单元，在依次取i为1到M时，用于记录所述用户眼球注视所述M个对象中的第i个对象的第i个持续时间，在i为M时，获得M个持续时间。
16.如权利要求14所述的电子设备，其特征在于，所述电子设备还包括：
第一时刻记录单元，在依次取i为1到M时，用于记录所述用户眼球注视所述M个对象中的第i个对象的第i个注视终止时刻，在i为M时，获得M个注视终止时刻。
17.如权利要求15所述的电子设备，其特征在于，所述第一确定单元，具体包括：
第二确定模块，用于从所述M个持续时间中确定最长持续时间；
第三确定模块，用于确定所述最长持续时间对应的对象为所述第一对象。
18.如权利要求16所述的电子设备，其特征在于，所述第一确定单元，具体包括：
第四确定模块，用于从所述M个注视终止时刻中确定离当前时刻最近的最近注视终止时刻；
第五确定模块，用于确定所述最近注视终止时刻对应的对象为所述第一对象。
19.如权利要求17或18中所述的电子设备，其特征在于，所述第一执行单元，具体包括：
第一输出模块，用于输出一用于提醒用户是否需要执行所述第一指令的提示信息；
第二获取模块，用于检测获得所述用户基于所述提示信息而进行的用于表示所述用户要执行所述第一指令的确认操作；
第一执行模块，用于响应所述确认操作，生成并执行所述第一指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410498632.5A CN104317392B (zh) | 2014-09-25 | 2014-09-25 | 一种信息控制方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410498632.5A CN104317392B (zh) | 2014-09-25 | 2014-09-25 | 一种信息控制方法及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104317392A true CN104317392A (zh) | 2015-01-28 |
| CN104317392B CN104317392B (zh) | 2018-02-27 |
Family
ID=52372631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410498632.5A Active CN104317392B (zh) | 2014-09-25 | 2014-09-25 | 一种信息控制方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104317392B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105184581A (zh) * | 2015-09-02 | 2015-12-23 | 云南中科物联网科技有限公司 | 一种基于物联网的智能生产质量检测追溯方法及系统 |
| CN106651296A (zh) * | 2016-10-25 | 2017-05-10 | 珠海市魅族科技有限公司 | 一种消息提醒方法及终端 |
| CN109491508A (zh) * | 2018-11-27 | 2019-03-19 | 北京七鑫易维信息技术有限公司 | 一种确定注视对象的方法和装置 |
| CN110166529A (zh) * | 2019-04-16 | 2019-08-23 | 平安普惠企业管理有限公司 | 保持登录态方法、装置、设备及存储介质 |
| CN111274925A (zh) * | 2020-01-17 | 2020-06-12 | 腾讯科技（深圳）有限公司 | 推荐视频的生成方法、装置、电子设备及计算机存储介质 |
| CN112867626A (zh) * | 2018-11-15 | 2021-05-28 | 宝马股份公司 | 用于显示装置的动态信息保护 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008069519A1 (en) * | 2006-12-04 | 2008-06-12 | Electronics And Telecommunications Research Institute | Gesture/speech integrated recognition system and method |
| CN102749990A (zh) * | 2011-04-08 | 2012-10-24 | 索尼电脑娱乐公司 | 通过追踪用户视线和姿态提供反馈的系统和方法 |
| US20120295708A1 (en) * | 2006-03-06 | 2012-11-22 | Sony Computer Entertainment Inc. | Interface with Gaze Detection and Voice Input |
| CN102799262A (zh) * | 2011-04-08 | 2012-11-28 | 索尼电脑娱乐公司 | 用于确定输入语音的相关性的装置和方法 |
| CN102822771A (zh) * | 2010-01-21 | 2012-12-12 | 托比技术股份公司 | 基于眼球跟踪器的上下文动作 |
| CN103076876A (zh) * | 2012-11-22 | 2013-05-01 | 西安电子科技大学 | 基于视线跟踪与语音识别的字符输入装置和方法 |
| US20130304479A1 (en) * | 2012-05-08 | 2013-11-14 | Google Inc. | Sustained Eye Gaze for Determining Intent to Interact |
| US20130307771A1 (en) * | 2012-05-18 | 2013-11-21 | Microsoft Corporation | Interaction and management of devices using gaze detection |
| CN103853329A (zh) * | 2012-12-06 | 2014-06-11 | Lg电子株式会社 | 移动终端及其控制方法 |
| CN103885743A (zh) * | 2012-12-24 | 2014-06-25 | 大陆汽车投资（上海）有限公司 | 结合注视跟踪技术的语音文本输入方法和系统 |
-
2014
- 2014-09-25 CN CN201410498632.5A patent/CN104317392B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120295708A1 (en) * | 2006-03-06 | 2012-11-22 | Sony Computer Entertainment Inc. | Interface with Gaze Detection and Voice Input |
| WO2008069519A1 (en) * | 2006-12-04 | 2008-06-12 | Electronics And Telecommunications Research Institute | Gesture/speech integrated recognition system and method |
| CN102822771A (zh) * | 2010-01-21 | 2012-12-12 | 托比技术股份公司 | 基于眼球跟踪器的上下文动作 |
| CN102749990A (zh) * | 2011-04-08 | 2012-10-24 | 索尼电脑娱乐公司 | 通过追踪用户视线和姿态提供反馈的系统和方法 |
| CN102799262A (zh) * | 2011-04-08 | 2012-11-28 | 索尼电脑娱乐公司 | 用于确定输入语音的相关性的装置和方法 |
| US20130304479A1 (en) * | 2012-05-08 | 2013-11-14 | Google Inc. | Sustained Eye Gaze for Determining Intent to Interact |
| US20130307771A1 (en) * | 2012-05-18 | 2013-11-21 | Microsoft Corporation | Interaction and management of devices using gaze detection |
| CN103076876A (zh) * | 2012-11-22 | 2013-05-01 | 西安电子科技大学 | 基于视线跟踪与语音识别的字符输入装置和方法 |
| CN103853329A (zh) * | 2012-12-06 | 2014-06-11 | Lg电子株式会社 | 移动终端及其控制方法 |
| CN103885743A (zh) * | 2012-12-24 | 2014-06-25 | 大陆汽车投资（上海）有限公司 | 结合注视跟踪技术的语音文本输入方法和系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105184581A (zh) * | 2015-09-02 | 2015-12-23 | 云南中科物联网科技有限公司 | 一种基于物联网的智能生产质量检测追溯方法及系统 |
| CN106651296A (zh) * | 2016-10-25 | 2017-05-10 | 珠海市魅族科技有限公司 | 一种消息提醒方法及终端 |
| CN112867626A (zh) * | 2018-11-15 | 2021-05-28 | 宝马股份公司 | 用于显示装置的动态信息保护 |
| CN109491508A (zh) * | 2018-11-27 | 2019-03-19 | 北京七鑫易维信息技术有限公司 | 一种确定注视对象的方法和装置 |
| CN110166529A (zh) * | 2019-04-16 | 2019-08-23 | 平安普惠企业管理有限公司 | 保持登录态方法、装置、设备及存储介质 |
| CN111274925A (zh) * | 2020-01-17 | 2020-06-12 | 腾讯科技（深圳）有限公司 | 推荐视频的生成方法、装置、电子设备及计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104317392B (zh) | 2018-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12099651B2 (en) | Natural human-computer interaction for virtual personal assistant systems | |
| CN109189682A (zh) | 一种脚本录制方法和装置 | |
| TWI665584B (zh) | 語音控制系統及方法 | |
| US8958631B2 (en) | System and method for automatically defining and identifying a gesture | |
| US9529492B2 (en) | Reproduction of file series | |
| CN102144209B (zh) | 电子设备中的多层次话音反馈 | |
| CN104317392A (zh) | 一种信息控制方法及电子设备 | |
| US20110055753A1 (en) | User interface methods providing searching functionality | |
| CN106126424B (zh) | 一种脚本可视化的自动化测试方法、装置和移动终端 | |
| CN105635449A (zh) | 一种闹钟控制方法及移动终端 | |
| CN104461348B (zh) | 信息选取方法及装置 | |
| CN104361896B (zh) | 语音质量评价设备、方法和系统 | |
| CN103713876B (zh) | 数据处理方法及电子设备 | |
| CN109389974A (zh) | 一种语音操作的方法及装置 | |
| CN109360551B (zh) | 一种语音识别方法及装置 | |
| CN110290280A (zh) | 一种终端状态的识别方法、装置及存储介质 | |
| CN104898821A (zh) | 一种信息处理的方法及电子设备 | |
| CN103984415B (zh) | 一种信息处理方法及电子设备 | |
| CN108231074A (zh) | 一种数据处理方法、语音助手设备及计算机可读存储介质 | |
| CN107656691A (zh) | 一种侧边栏的显示方法、装置、设备和存储介质 | |
| EP4064031A1 (en) | Method and system for tracking in extended reality using voice commmand | |
| CN110941339B (zh) | 一种手势感应方法及电子设备、存储介质 | |
| CN103928024B (zh) | 一种语音查询方法及电子设备 | |
| CN104932796A (zh) | 一种组件拖放的控制方法及装置 | |
| CN109062480A (zh) | 一种信息显示方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |