CN113867781A - 语音功能配置管理方法、装置、电子设备及可读存储介质 - Google Patents

语音功能配置管理方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN113867781A
CN113867781A CN202111154332.1A CN202111154332A CN113867781A CN 113867781 A CN113867781 A CN 113867781A CN 202111154332 A CN202111154332 A CN 202111154332A CN 113867781 A CN113867781 A CN 113867781A
Authority
CN
China
Prior art keywords
component
voice
configuration
receiving
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111154332.1A
Other languages
English (en)
Inventor
谢冰
周文杰
刘燚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen TCL New Technology Co Ltd
Original Assignee
Shenzhen TCL New Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen TCL New Technology Co Ltd filed Critical Shenzhen TCL New Technology Co Ltd
Priority to CN202111154332.1A priority Critical patent/CN113867781A/zh
Publication of CN113867781A publication Critical patent/CN113867781A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/70—Software maintenance or management
    • G06F8/71—Version control; Configuration management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供一种语音功能配置管理方法、装置、电子设备及可读存储介质。本申请包括：获取待配置设备的设备标识，以及所述设备标识对应的配置组件；接收组件选择指令，从所述配置组件中选择待配置组件，并根据所述待配置组件生成所述设备标识对应的设备功能配置文件；接收语音请求，根据所述设备功能配置文件响应所述语音请求，得到输出响应结果。因此在用户选择待配置组件时，不会出现与待配置设备不匹配的配置组件，用户不再需要对组件进行分辨。并且还减少了用户将不支持的待配置组件配置在待配置设备上的可能性，降低了待配置设备不支持设备功能配置文件的风险。

Description

语音功能配置管理方法、装置、电子设备及可读存储介质
技术领域
本申请涉及设备配置领域，具体涉及一种语音功能配置管理方法、装置、电子设备及可读存储介质。
背景技术
随着AI(Artificial Intelligence，人工智能)技术的发展，自然语言处理技术的提升，消费者对智能设备的语音助手功能的使用在逐渐增加。很多公司会选择开发一套智能对话系统来作为语音助手的解决方案。但是随着语音助手的更多普及，同一公司不同类型的设备都需要使用同一套对话系统，其一是为了降低研发成本，其二是为了赋能AI到全产业链。
由于设备类型不同，如公司的产品链会包含电视、冰箱、空调、油烟机、汽车和洗碗机等不同产品，其对应的应用场景不同，需求也不同。此外对于不同的产品，由于其构成不同，能够实现的功能也不相同，例如产品中包含有屏的产品和无屏的产品。因此对于开发人员来说，在开发的智能对话系统时还需要分辨各功能组件是否适用于对应的设备，耗费人力，十分麻烦。
发明内容
本申请提供一种语音功能配置管理方法、装置、电子设备及可读存储介质，旨在解决现有的开发方法在开发时需要分辨各功能组件是否适用于对应的设备，耗费人力的问题。
第一方面，本申请提供一种语音功能配置管理方法，所述方法包括：
获取待配置设备的设备标识，以及所述设备标识对应的配置组件；
接收组件选择指令，从所述配置组件中选择待配置组件，并根据所述待配置组件生成所述设备标识对应的设备功能配置文件；
接收语音请求，根据所述设备功能配置文件响应所述语音请求，得到输出响应结果。
在一种可能的实现方式中，所述获取待配置设备的设备标识，包括：
接收配置管理请求，显示待选择设备；
接收设备选择请求，从所述待选择设备中选择待配置设备；
生成所述待配置设备的设备标识。
在一种可能的实现方式中，所述接收组件选择指令，从所述配置组件中选择待配置组件，并根据所述待配置组件生成所述设备标识对应的设备功能配置文件，包括：
接收组件选择指令，从所述配置组件中提取待配置组件，并确定各所述待配置组件的组件响应优先级；
按照所述组件响应优先级，将各所述待配置组件封装，生成所述设备标识对应的设备功能配置文件。
在一种可能的实现方式中，所述组件选择指令包括拖曳选择指令，所述接收组件选择指令，确定所述配置组件中的多个待配置组件和各所述待配置组件的组件响应优先级，包括：
显示组件配置表单；
接收对所述配置组件的组件选择指令，确定选中的各待配置组件；
接收对所述组件配置表单的匹配指令，将各所述待配置组件与所述匹配指令对应的各子栏目进行匹配；
获取各所述子栏目的预设响应优先级，并将各所述子栏目的预设响应优先级作为对应待配置组件的组件响应优先级。
在一种可能的实现方式中，所述组件选择指令包括点击选择指令，所述接收组件选择指令，确定所述配置组件中的多个待配置组件和各所述待配置组件的组件响应优先级，包括：
接收对所述配置组件的点击选择指令，确定选中的各待配置组件；
获取各所述点击选择指令的指令发出时间；
根据各所述指令发出时间的先后顺序，确定各所述待配置组件的组件响应优先级。
在一种可能的实现方式中，所述接收语音请求，根据所述设备功能配置文件响应所述语音请求，得到输出响应结果包括：
接收语音请求；
通过预设的语音识别模块，将所述语音指令中的音频信息转化为文字信息；
通过预设的语义识别模块，对所述文字信息进行语义识别，得到对话请求；
根据所述设备功能配置文件对所述对话请求进行响应，得到输出响应结果。
在一种可能的实现方式中，所述根据所述设备功能配置文件对所述对话请求进行响应，得到输出响应结果，包括：
获取所述设备功能配置文件中各所述待配置组件的组件响应优先级；
确定所述组件响应优先级最高的目标组件，通过所述目标组件对所述对话请求进行响应；
若所述目标组件生成响应结果，则将所述响应结果作为输出响应结果；
若所述目标组件未生成响应结果，则获取所述组件响应优先级低于所述目标组件的备选组件，并通过所述备选组件对所述请求内容进行响应，得到输出响应结果。
第二方面，本申请提供一种语音功能配置管理装置，所述语音功能配置管理装置包括：
获取单元，用于获取待配置设备的设备标识，以及所述设备标识对应的配置组件；
生成单元，用于接收组件选择指令，从所述配置组件中选择待配置组件，并根据所述待配置组件生成所述设备标识对应的设备功能配置文件；
输出单元，用于接收语音请求，根据所述设备功能配置文件响应所述语音请求，得到输出响应结果。
在一种可能的实现方式中，获取单元还用于：
接收配置管理请求，显示待选择设备；
接收设备选择请求，从所述待选择设备中选择待配置设备；
生成所述待配置设备的设备标识。
在一种可能的实现方式中，生成单元还用于：
接收组件选择指令，从所述配置组件中提取待配置组件，并确定各所述待配置组件的组件响应优先级；
按照所述组件响应优先级，将各所述待配置组件封装，生成所述设备标识对应的设备功能配置文件。
在一种可能的实现方式中，生成单元还用于：
显示组件配置表单；
接收对所述配置组件的组件选择指令，确定选中的各待配置组件；
接收对所述组件配置表单的匹配指令，将各所述待配置组件与所述匹配指令对应的各子栏目进行匹配；
获取各所述子栏目的预设响应优先级，并将各所述子栏目的预设响应优先级作为对应待配置组件的组件响应优先级。
在一种可能的实现方式中，生成单元还用于：
接收对所述配置组件的点击选择指令，确定选中的各待配置组件；
获取各所述点击选择指令的指令发出时间；
根据各所述指令发出时间的先后顺序，确定各所述待配置组件的组件响应优先级。
在一种可能的实现方式中，输出单元还用于：
接收语音请求；
通过预设的语音识别模块，将所述语音指令中的音频信息转化为文字信息；
通过预设的语义识别模块，对所述文字信息进行语义识别，得到对话请求；
根据所述设备功能配置文件对所述对话请求进行响应，得到输出响应结果。
在一种可能的实现方式中，输出单元还用于：
获取所述设备功能配置文件中各所述待配置组件的组件响应优先级；
确定所述组件响应优先级最高的目标组件，通过所述目标组件对所述对话请求进行响应；
若所述目标组件生成响应结果，则将所述响应结果作为输出响应结果；
若所述目标组件未生成响应结果，则获取所述组件响应优先级低于所述目标组件的备选组件，并通过所述备选组件对所述请求内容进行响应，得到输出响应结果。
第三方面，本申请还提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行本申请提供的任一种语音功能配置管理方法中的步骤。
第四方面，本申请还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的语音功能配置管理方法中的步骤。
综上所述，本申请提供的语音功能配置管理方法包括：获取待配置设备的设备标识，以及所述设备标识对应的配置组件；接收组件选择指令，从所述配置组件中选择待配置组件，并根据所述待配置组件生成所述设备标识对应的设备功能配置文件；接收语音请求，根据所述设备功能配置文件响应所述语音请求，得到输出响应结果。因此在用户选择待配置组件时，不会出现与待配置设备不匹配的配置组件，用户不再需要对组件进行分辨。并且还减少了用户将不支持的待配置组件配置在待配置设备上的可能性，降低了待配置设备不支持设备功能配置文件的风险。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的语音功能配置管理方法的应用场景示意图；
图2是本申请实施例中提供的语音功能配置管理方法的一种流程示意图；
图3是本申请实施例中提供的选择待配置设备的一种示意图；
图4是本申请实施例中提供的得到输出响应结果的一种流程示意图；
图5是本申请实施例中提供的得到输出响应结果的另一种流程示意图；
图6是本申请实施例中提供的语音功能配置管理装置的一个实施例结构示意图；
图7是本申请实施例中提供的电子设备的一个实施例结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请实施例的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的过程进行详细阐述，以避免不必要的细节使本申请实施例的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请实施例所公开的原理和特征的最广范围相一致。
本申请实施例提供一种语音功能配置管理方法、装置、电子设备及可读存储介质。其中，该语音功能配置管理装置可以集成在电子设备中，该电子设备可以采用单独运行的工作方式，或者也可以采用设备集群的工作方式。
本申请实施例语音功能配置管理方法的执行主体可以为本申请实施例提供的语音功能配置管理装置，也可以是电子设备，下文中将以电子设备作为执行主体举例进行解释，需要说明的是，以电子设备作为执行主体进行举例仅仅是为了方便理解，并不能作为对本申请的限制。
参见图1，图1是本申请实施例所提供的语音功能配置管理系统的场景示意图。其中，该语音功能配置管理系统可以包括电子设备100，电子设备100中集成有语音功能配置管理装置。
另外，如图1所示，该语音功能配置管理系统还可以包括存储器200，用于存储信息。
需要说明的是，图1所示的语音功能配置管理系统的场景示意图仅仅是一个示例，本申请实施例描述的语音功能配置管理系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着语音功能配置管理系统的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
参照图2，图2是本申请实施例提供的语音功能配置管理方法的一种流程示意图。需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。该语音功能配置管理方法包括步骤201～204，其中：
201、获取待配置设备的设备标识，以及所述设备标识对应的配置组件。
待配置设备是指待添加语音功能的设备，本申请实施例对待配置设备的种类不进行限定，待配置设备可以是家用电器中的任意设备，例如，可以是冰箱、空调或者洗碗机等设备。示例性地，待配置设备既可以是已经设置有语音功能的设备，也可以是还未设置有语音功能的设备。例如待配置设备中可以已经设置有语音功能，但是语音功能不完善，用户还想添加更多的辅助功能，此时用户可以通过本申请实施例中的语音功能配置管理方法，为待配置设备添加新的语音功能。或者，待配置设备可以是还未设置有语音功能的设备，用户想为该设备添加语音功能，以便进行控制，此时用户也可以通过本申请实施例中的语音功能配置管理方法，为待配置设备添加语音功能。
设备标识可以是用于验证待配置设备身份的标识。
在一些实施例中，电子设备可以对于每一个待配置设备，电子设备可以为其分配一个特定的标识，例如可以是一个特定的编码标识。比如对于用户家中的每个电器，电子设备可以在电器安装时，读取其中预设的电器编号，然后生成一个特定的编码标识。
在一些实施例中，电子设备可以对每一个种类的设备分配一个特定的标识。例如，电子设备可以对包含显示屏的一类设备分配一个特定的标识，然后对不包含显示屏的一类设备分配另一个特定的标识。根据待配置设备的标识，电子设备可以判断其是否包含显示屏。
配置组件是指待配置设备支持的功能组件。对于不同的待配置设备，由于其安装的部件不同，并且应用场景也不同，因此可以支持的功能也不同。例如未包含显示屏的待配置设备无法支持需要显示的，如看电影和显示菜谱等功能，因此看电影和显示菜谱并不是这些待配置设备的配置组件。又例如放置在厕所的电器不需要显示菜谱的功能，因此对于放置在厕所的电器，显示菜谱并不是配置组件。
在配置时，用户可以通过可视化的界面选择待配置设备，以生成设备标识。此时所述获取待配置设备的设备标识，包括：
(1.1)接收配置管理请求，显示待选择设备。
配置管理请求可以用于启动电子设备中执行本申请实施例的语音功能配置管理方法的软件，可以是用户在可视化界面上操作所发出的请求，例如用户可以通过点击可视化界面中的软件图标，以发出配置管理请求，打开用于配置语音助手的软件。
待选择设备是数据库中预存的支持配置语音助手的设备。当电子设备接收到用户点击用于配置语音助手软件的软件图标时，可以在可视化界面上显示所有待选择设备对应的图标，或者按照类型将待选择设备分类，在可视化界面上显示类别对应的文字标识，用户可以根据自己的需求选择对应的文字标识，进入对应类别的展示界面中，在展示界面中显示有该类别对应待选择设备的图标，供用户选择。
(1.2)接收设备选择请求，从所述待选择设备中选择待配置设备。
设备选择请求是指用于从待选择设备中选择目标设备的请求，同样可以是用户在可视化界面上操作所发出的请求，例如用户可以通过点击待选择设备的图标，发出设备选择请求，以得到待配置设备。
进一步地，对于一个有多种部件支持功能的待选择设备，设备选择请求除了对待选择设备的请求之外，还可以包括对部件的选择请求。假设待选择设备中有一个可以支持显示屏的A类型冰箱，则设备选择请求除了对A类型冰箱的选择请求之外，还可以包括对显示屏的选择请求，如果用户发出的设备选择请求中包括对显示屏的选择请求，则说明待配置设备是设置有显示屏的A类型冰箱。如果用户发出的设备选择请求中不包括对显示屏的选择请求，则说明待配置设备是未设置有显示屏的A类型冰箱。
参考图3，图3中是待选择设备的显示界面。可见，在图3的左侧显示有显示类别对应的文字标识，当前用户选择的文字标识是“冰箱”，在图3的右侧，显示有冰箱型号对应的图标“X16”，并且在“是否有屏”的下方还有对显示屏的选择按键，当用户点击该选择按键时，即为发出了设备选择请求中的部件选择请求。在图3中部件选择请求对应的是冰箱“X16”包含显示屏，因此待配置设备即为包含显示屏的“X16”冰箱。
(1.3)生成所述待配置设备的设备标识。
以图3为例，电子设备可以根据用户选择的冰箱型号和是否包含显示屏，生成对应的设备标识。除此之外，设备标识中还可以包含该待配置设备的公钥(appkey)和令牌(apptoken)，电子设备将待配置设备的信息和对应的公钥、令牌一起存储在数据库中。
202、接收组件选择指令，从所述配置组件中选择待配置组件，并根据所述待配置组件生成所述设备标识对应的设备功能配置文件。
组件选择指令是用于从配置组件中进行选择的请求，同样地，组件选择指令可以是用户在可视化界面上操作所发出的请求，例如用户可以对可视化界面上的配置组件进行点击，以发出组件选择指令。或者，用户可以在可视化界面上对配置组件进行拖曳，将其拖曳至预设的区域中，电子设备将该区域中的配置组件作为待配置组件。
设备功能配置文件是指用于增加待配置设备语音助手功能的文件。在设备功能配置文件中，包含各待配置组件的数据。例如在设备功能配置文件中，可以包含各待配置组件与数据库，或者与搜索引擎的接口，对请求进行响应时，电子设备可以通过各接口进行搜索，得到响应结果。
当配置组件有多个时，电子设备既可以调用设备功能配置文件中的所有待配置组件对请求同时进行响应，又可以按照一定的顺序对请求进行响应。若电子设备按照一定的顺序对请求进行响应，则除了接口之外，功能配置文件中还可以包含各待配置组件的响应优先级。此时所述接收组件选择指令，从所述配置组件中选择待配置组件，并根据所述待配置组件生成所述设备标识对应的设备功能配置文件，包括：
(2.1)接收组件选择指令，从所述配置组件中提取待配置组件，并确定各所述待配置组件的组件响应优先级。
(2.2)按照所述组件响应优先级，将各所述待配置组件封装，生成所述设备标识对应的设备功能配置文件。
确定待配置组件的过程可以参考步骤202中的说明，具体不进行赘述。
组件响应优先级是指电子设备调用待配置组件的优先级顺序。当电子设备通过设备功能配置文件响应请求时，将首先调用组件响应优先级高的待配置组件对请求进行响应。假设设备功能配置文件中包含“看电影”和“查询菜谱”两个组件，其中“查询菜谱”的组件响应优先级高于“看电影”的组件响应优先级，则电子设备通过设备功能配置文件响应请求时，将首先调用待配置组件“查询菜谱”，因此用户可以通过调整各待配置组件的组件响应优先级，根据场景需求改变不同待配置设备对请求的响应能力。例如，用户可以将厨房电器中与料理相关的待配置组件，如“查询菜谱”的组件响应优先级调整至最高，将卧室电器中“查询菜谱”的组件响应优先级调整至最低，由此，待配置设备不会产生与场景不符的响应结果，可以提高待配置设备的智能性。
在一些实施例中，用户通过拖曳发出组件选择指令，电子设备可以根据拖曳终点对应区域的预设优先级，确定组件响应优先级。此时所述接收组件选择指令，确定所述配置组件中的多个待配置组件和各所述待配置组件的组件响应优先级，包括：
(3.1)显示组件配置表单。
组件配置表单是指用于存储待配置组件信息的表单，用户可以通过拖曳，将配置组件拖曳至组件配置表单的子栏目中，电子设备会将各子栏目中的配置组件作为待配置组件。如果待配置设备上安装有显示屏，则可以在显示屏上显示组件配置表单，以展示当前待配置设备已经被设置好的语音助手功能，即展示待配置组件。
具体地，电子设备可以在配置组件的显示界面中，显示组件配置表单，电子设备也可以新增一个显示界面，用于显示组件配置表单。
(3.2)接收对所述配置组件的组件选择指令，确定选中的各待配置组件。
(3.3)接收对所述组件配置表单的匹配指令，将各所述待配置组件与所述匹配指令对应的各子栏目进行匹配。
子栏目是组件配置表单中用于存储一个配置组件的存储单元，每个子栏目可以是指可视化界面中组件配置表单的一行或者一列。
匹配指令是用于选取组件配置表单中子栏目的指令。示例性地，当用户通过拖曳将配置组件存储至子栏目中时，匹配指令可以是将配置组件拖曳至子栏目上之后，进行的释放操作。例如用户通过长按鼠标左键抓取配置组件，并移动鼠标将配置组件拖曳至子栏目上之后，放开鼠标左键的操作即为发出了匹配指令。或者，匹配指令可以是用户点击选取待配置组件后，对子栏目进行点击时发出的指令。例如用户可以首先点击配置组件中的一者，被点击的配置组件即被电子设备作为待配置组件，然后用户点击组件配置表单中的某子栏目，即为发出了匹配指令。
进一步地，如果待配置设备的显示屏上显示有组件配置表单，电子设备还可以将待配置组件的响应结果显示在对应子栏目中。
(3.4)获取各所述子栏目的预设响应优先级，并将各所述子栏目的预设响应优先级作为对应待配置组件的组件响应优先级。
电子设备可以将各子栏目的预设响应优先级以位置关系的方式展现给用户。例如预设响应优先级高的子栏目可以显示在预设响应优先级低的子栏目上方，因此用户可以直观地判断各子栏目的预设响应优先级，以方便调整待配置组件的组件响应优先级。具体地，对于希望优先响应的待配置组件，可以将其拖曳至最上方的子栏目中，而对于希望不优先响应的待配置组件，可以将其拖曳至最下方的子栏目中。
通过步骤(3.1)-步骤(3.1)可见，当组件选择指令是拖曳选择指令时，通过匹配待配置组件和子栏目的方法可以直观有效地得到组件响应优先级。
在另一些实施例中，用户通过点击发出组件选择指令，电子设备可以通过组件选择指令发出的时间确定组件响应优先级。此时所述组件选择指令包括点击选择指令，所述组件选择指令包括拖曳选择指令，所述接收组件选择指令，确定所述配置组件中的多个待配置组件和各所述待配置组件的组件响应优先级，包括：
(4.1)接收对所述配置组件的点击选择指令，确定选中的各待配置组件。
当组件选择指令是点击选择指令时，用户每点击一个配置组件，电子设备即将该配置组件作为待配置组件选中。例如用户移动鼠标将可视化界面中的鼠标光标移动至某配置组件的图标上，然后点击鼠标左键，电子设备即将该配置组件作为待配置组件选中。
(4.2)获取各所述点击选择指令的指令发出时间。
指令发出时间是指发出点击选择指令的时间。假设用户通过点击鼠标发出点击选择指令，则可以将用户点击鼠标左键选中待配置组件的时间作为指令发出时间。
(4.3)根据各所述指令发出时间的先后顺序，确定各所述待配置组件的组件响应优先级。
电子设备可以将指令发出时间在先的待配置组件设置为高优先级，将指令发出时间在后的待配置组件设置为低优先级。例如用户依次点击鼠标左键选中待配置组件A、待配置组件B和待配置组件C，则待配置组件A、待配置组件B和待配置组件C的组件响应优先级从高到低依次为待配置组件A、待配置组件B、待配置组件C。
可见，步骤(4.1)-步骤(4.3)的方法对于用户的操作更加简单，并且也可以有效得到组件响应优先级。
203、接收语音请求，根据所述设备功能配置文件响应所述语音请求，得到输出响应结果。
语音请求是指用户通过语音的方式输入的请求。当生成设备功能配置文件后，电子设备可以将其直接应用在对应的待配置设备上，也可以进行模拟运行，用户可以通过模拟运行的结果判断设备功能配置文件是否生成成功。
用户可以通过与电子设备连接的外设输入语音请求，例如，用户可以通过麦克风输入语音请求，也可以通过电子设备上的嵌入式话筒输入语音请求，本申请实施例对此不进行限制。
如果各待配置组件携带有组件响应优先级，则电子设备在生成设备功能配置文件时，可以按照不同待配置组件的组件响应优先级，将各待配置组件对应的接口数据进行连接，以生成能够按照一定顺序对请求进行响应的设备功能配置文件。
综上所述，本申请实施例提供的语音功能配置管理方法包括：获取待配置设备的设备标识，以及所述设备标识对应的配置组件；接收组件选择指令，从所述配置组件中选择待配置组件，并根据所述待配置组件生成所述设备标识对应的设备功能配置文件；接收语音请求，根据所述设备功能配置文件响应所述语音请求，得到输出响应结果。因此在用户选择待配置组件时，不会出现与待配置设备不匹配的配置组件，用户不再需要对组件进行分辨。并且还减少了用户将不支持的待配置组件配置在待配置设备上的可能性，降低了待配置设备不支持设备功能配置文件的风险。
在一些实施例中，电子设备可以对语音请求进行识别和语义理解，以提高指令识别的精确性，参考图4，此时所述接收语音请求，根据所述设备功能配置文件响应所述语音请求，得到输出响应结果包括：
301、接收语音请求。
具体说明可以参考步骤203中的说明，具体不进行赘述。
302、通过预设的语音识别模块，将所述语音指令中的音频信息转化为文字信息。
在语音识别模块中，电子设备可以通过统计语言模型(Statistical LanguageModel)等自动语音识别模型(Automatic Speech Recognition，ASR)对语音请求进行识别。统计语言模型是从概率统计角度出发，解决自然语言上下文相关的特性的数学模型。统计语言模型的核心就是判断一个句子在文本中出现的概率。
文字信息是指语音请求的音频数据中携带的文字信息。例如，用户通过麦克风输入语音“查菜谱”，则文字信息即为“查菜谱”的信息。
303、通过预设的语义识别模块，对所述文字信息进行语义识别，得到对话请求。
在语义识别模块中，电子设备可以通过自然语言处理模型(Natural LanguageProcessing，NLP)对文字信息进行语义识别。自然语言处理模型通过提取文字信息中的特征，以识别文字信息携带的语义，并将其处理得到对话请求。例如文字信息是“查菜谱”的信息时，在语义识别模块中经过语义处理后，电子设备可以得到“查询菜谱”的对话请求。
304、根据所述设备功能配置文件对所述对话请求进行响应，得到输出响应结果。
本申请实施例还提供一种能够实施步骤301-步骤304的具体结构：
ASR模块，用于执行步骤302，将语音指令中的音频信息转化为文字信息。
NLU模块，用于执行步骤303，对文字信息进行语义识别，得到对话请求。
Skill模块，用于根据文字信息，通过各待配置组件的接口进行响应。
DM模块，用于在Skill模块中有多个待配置组件时，根据文字信息选择最终产生响应的待配置组件。
TTS模块，用于在输出响应结果包含语音时，将信息转化为语音。
在一些实施例中，如果组件响应优先级最高的待配置组件未生成响应结果，则电子设备可以通过组件响应优先级次高的待配置组件对对话请求进行处理。参考图5，此时所述根据所述设备功能配置文件对所述对话请求进行响应，得到输出响应结果，包括：
401、获取所述设备功能配置文件中各所述待配置组件的组件响应优先级。
需要说明的是，步骤401-步骤403A/步骤403B既可以是用户将设备功能配置文件配置到待配置设备中后，使用待配置设备时电子设备的处理步骤，也可以是生成设备功能配置文件后，对设备功能配置文件进行模拟时电子设备的处理步骤。
当步骤401-步骤403A/步骤403B是生成设备功能配置文件后，对设备功能配置文件进行模拟时电子设备的处理步骤时，用户可以首先发出模拟请求，例如点击可视化界面上的“模拟”功能键，然后电子设备通过DevOps(Development-Operations)工具读取数据库中的设备功能配置文件，在读取时电子设备可以通过公钥和令牌对数据库发起读取请求，以得到待配置设备对应的设备功能配置文件。
402、确定所述组件响应优先级最高的目标组件，通过所述目标组件对所述对话请求进行响应。
目标组件是指设备功能配置文件中，组件响应优先级最高的待配置组件。例如设备功能配置文件中包含两个待配置组件“看电影”和“查询菜谱”，而待配置组件“看电影”的组件响应优先级高于组件“查询菜谱”时，目标组件是指待配置组件“看电影”。首先通过目标组件对对话请求进行响应的原因是目标组件是当前场景下用户需求度最高的待配置组件。
403A、若所述目标组件生成响应结果，则将所述响应结果作为输出响应结果。
403B、若所述目标组件未生成响应结果，则获取所述组件响应优先级低于所述目标组件的备选组件，并通过所述备选组件对所述请求内容进行响应，得到输出响应结果。
如果目标组件没有生成响应结果，则说明用户发出对话请求的目的可能不是让目标组件进行响应，此时可以选取组件响应优先级低于目标组件的备选组件对对话请求进行响应。例如电子设备可以选取组件响应优先级次于目标组件的待配置组件，将其作为备选组件。或者电子设备可以选择组件响应优先级更低的待配置组件作为备选组件。可以理解的是，如果备选组件仍然未生成响应结果，则继续选择组件响应优先级低于备选组件的待配置组件对对话请求进行响应。
此外，本申请实施例还提供一种可以执行上述所有步骤的结构，包括：
对话模块、存储模块和设备配置模块。
其中，对话模块包括：
ASR子模块，用于执行步骤302，将语音指令中的音频信息转化为文字信息。
NLU子模块，用于执行步骤303，对文字信息进行语义识别，得到对话请求。
Skill子模块，用于根据文字信息，通过各待配置组件的接口进行响应。
DM子模块，用于在Skill模块中有多个待配置组件时，根据文字信息选择最终产生响应的待配置组件。
TTS子模块，用于在输出响应结果包含语音时，将信息转化为语音。
存储模块可以是电子设备内的存储器，也可以是云端的存储服务器，本申请实施例对此不进行限制。
设备配置模块包括：
设备管理模块，用于对创建、选择待配置设备，同时调整待配置设备的设备类型/型号/是否有屏等信息。
意图权重配置模块，用于确定不同待配置组件的组件响应优先级。
Skill配置模块，用于选择待配置组件。
对话模拟模块，用于在开发过程中能够随时对设备功能配置文件或待配置组件进行模拟，观察配置效果。
输出模块，用于生成设备功能配置文件，以及设备功能配置文件对应的协议等信息。
为了更好实施本申请实施例中语音功能配置管理方法，在语音功能配置管理方法基础之上，本申请实施例中还提供一种语音功能配置管理装置，如图6所示，为本申请实施例中语音功能配置管理装置的一个实施例结构示意图，该语音功能配置管理装置500包括：
获取单元501，用于获取待配置设备的设备标识，以及所述设备标识对应的配置组件；
生成单元502，用于接收组件选择指令，从所述配置组件中选择待配置组件，并根据所述待配置组件生成所述设备标识对应的设备功能配置文件；
输出单元503，用于接收语音请求，根据所述设备功能配置文件响应所述语音请求，得到输出响应结果。
在一种可能的实现方式中，获取单元501还用于：
接收配置管理请求，显示待选择设备；
接收设备选择请求，从所述待选择设备中选择待配置设备；
生成所述待配置设备的设备标识。
在一种可能的实现方式中，生成单元502还用于：
接收组件选择指令，从所述配置组件中提取待配置组件，并确定各所述待配置组件的组件响应优先级；
按照所述组件响应优先级，将各所述待配置组件封装，生成所述设备标识对应的设备功能配置文件。
在一种可能的实现方式中，生成单元502还用于：
显示组件配置表单；
接收对所述配置组件的组件选择指令，确定选中的各待配置组件；
接收对所述组件配置表单的匹配指令，将各所述待配置组件与所述匹配指令对应的各子栏目进行匹配；
获取各所述子栏目的预设响应优先级，并将各所述子栏目的预设响应优先级作为对应待配置组件的组件响应优先级。
在一种可能的实现方式中，生成单元502还用于：
接收对所述配置组件的点击选择指令，确定选中的各待配置组件；
获取各所述点击选择指令的指令发出时间；
根据各所述指令发出时间的先后顺序，确定各所述待配置组件的组件响应优先级。
在一种可能的实现方式中，输出单元503还用于：
接收语音请求；
通过预设的语音识别模块，将所述语音指令中的音频信息转化为文字信息；
通过预设的语义识别模块，对所述文字信息进行语义识别，得到对话请求；
根据所述设备功能配置文件对所述对话请求进行响应，得到输出响应结果。
在一种可能的实现方式中，输出单元503还用于：
获取所述设备功能配置文件中各所述待配置组件的组件响应优先级；
确定所述组件响应优先级最高的目标组件，通过所述目标组件对所述对话请求进行响应；
若所述目标组件生成响应结果，则将所述响应结果作为输出响应结果；
若所述目标组件未生成响应结果，则获取所述组件响应优先级低于所述目标组件的备选组件，并通过所述备选组件对所述请求内容进行响应，得到输出响应结果。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由于该语音功能配置管理装置可以执行本申请任意实施例中语音功能配置管理方法中的步骤，因此，可以实现本申请任意实施例中语音功能配置管理方法所能实现的有益效果，详见前面的说明，在此不再赘述。
此外，为了更好实施本申请实施例中语音功能配置管理方法，在语音功能配置管理方法基础之上，本申请实施例还提供一种电子设备，参阅图7，图7示出了本申请实施例电子设备的一种结构示意图，具体的，本申请实施例提供的电子设备包括处理器601，处理器601用于执行存储器602中存储的计算机程序时实现任意实施例中语音功能配置管理方法的各步骤；或者，处理器601用于执行存储器602中存储的计算机程序时实现如图5对应实施例中各单元的功能。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器602中，并由处理器601执行，以完成本申请实施例。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。
电子设备可包括，但不仅限于处理器601、存储器602。本领域技术人员可以理解，示意仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子设备还可以包括输入输出设备、网络接入设备、总线等，处理器601、存储器602、输入输出设备以及网络接入设备等通过总线相连。
处理器601可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字指令处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。
存储器602可用于存储计算机程序和/或模块，处理器601通过运行或执行存储在存储器602内的计算机程序和/或模块，以及调用存储在存储器602内的信息，实现计算机装置的各种功能。存储器602可主要包括存储程序区和存储信息区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储信息区可存储根据电子设备的使用所创建的信息(比如音频信息、视频信息等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的语音功能配置管理装置、电子设备及其相应单元的具体工作过程，可以参考任意实施例中语音功能配置管理方法的说明，具体在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请任意实施例中语音功能配置管理方法中的步骤，具体操作可参考任意实施例中语音功能配置管理方法的说明，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本申请任意实施例中语音功能配置管理方法中的步骤，因此，可以实现本申请任意实施例中语音功能配置管理方法所能实现的有益效果，详见前面的说明，在此不再赘述。
以上对本申请实施例所提供的一种语音功能配置管理方法、装置、存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种语音功能配置管理方法，其特征在于，所述方法包括：
获取待配置设备的设备标识，以及所述设备标识对应的配置组件；
接收组件选择指令，从所述配置组件中选择待配置组件，并根据所述待配置组件生成所述设备标识对应的设备功能配置文件；
接收语音请求，根据所述设备功能配置文件响应所述语音请求，得到输出响应结果。
2.根据权利要求1所述的语音功能配置管理方法，其特征在于，所述获取待配置设备的设备标识，包括：
接收配置管理请求，显示待选择设备；
接收设备选择请求，从所述待选择设备中选择待配置设备；
生成所述待配置设备的设备标识。
3.根据权利要求1所述的语音功能配置管理方法，其特征在于，所述接收组件选择指令，从所述配置组件中选择待配置组件，并根据所述待配置组件生成所述设备标识对应的设备功能配置文件，包括：
接收组件选择指令，从所述配置组件中提取待配置组件，并确定各所述待配置组件的组件响应优先级；
按照所述组件响应优先级，将各所述待配置组件封装，生成所述设备标识对应的设备功能配置文件。
4.根据权利要求3所述的语音功能配置管理方法，其特征在于，所述接收组件选择指令，确定所述配置组件中的多个待配置组件和各所述待配置组件的组件响应优先级，包括：
显示组件配置表单；
接收对所述配置组件的组件选择指令，确定选中的各待配置组件；
接收对所述组件配置表单的匹配指令，将各所述待配置组件与所述匹配指令对应的各子栏目进行匹配；
获取各所述子栏目的预设响应优先级，并将各所述子栏目的预设响应优先级作为对应待配置组件的组件响应优先级。
5.根据权利要求3所述的语音功能配置管理方法，其特征在于，所述组件选择指令包括点击选择指令，所述组件选择指令包括拖曳选择指令，所述接收组件选择指令，确定所述配置组件中的多个待配置组件和各所述待配置组件的组件响应优先级，包括：
接收对所述配置组件的点击选择指令，确定选中的各待配置组件；
获取各所述点击选择指令的指令发出时间；
根据各所述指令发出时间的先后顺序，确定各所述待配置组件的组件响应优先级。
6.根据权利要求1-5任一项权利要求所述的语音功能配置管理方法，其特征在于，所述接收语音请求，根据所述设备功能配置文件响应所述语音请求，得到输出响应结果包括：
接收语音请求；
通过预设的语音识别模块，将所述语音指令中的音频信息转化为文字信息；
通过预设的语义识别模块，对所述文字信息进行语义识别，得到对话请求；
根据所述设备功能配置文件对所述对话请求进行响应，得到输出响应结果。
7.根据权利要求6所述的语音功能配置管理方法，其特征在于，所述根据所述设备功能配置文件对所述对话请求进行响应，得到输出响应结果，包括：
获取所述设备功能配置文件中各所述待配置组件的组件响应优先级；
确定所述组件响应优先级最高的目标组件，通过所述目标组件对所述对话请求进行响应；
若所述目标组件生成响应结果，则将所述响应结果作为输出响应结果；
若所述目标组件未生成响应结果，则获取所述组件响应优先级低于所述目标组件的备选组件，并通过所述备选组件对所述请求内容进行响应，得到输出响应结果。
8.一种语音功能配置管理装置，其特征在于，所述语音功能配置管理装置包括：
获取单元，用于获取待配置设备的设备标识，以及所述设备标识对应的配置组件；
生成单元，用于接收组件选择指令，从所述配置组件中选择待配置组件，并根据所述待配置组件生成所述设备标识对应的设备功能配置文件；
输出单元，用于接收语音请求，根据所述设备功能配置文件响应所述语音请求，得到输出响应结果。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如权利要求1至7任一项所述的语音功能配置管理方法。
10.一种可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至7任一项所述的语音功能配置管理方法中的步骤。
CN202111154332.1A 2021-09-29 2021-09-29 语音功能配置管理方法、装置、电子设备及可读存储介质 Pending CN113867781A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111154332.1A CN113867781A (zh) 2021-09-29 2021-09-29 语音功能配置管理方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111154332.1A CN113867781A (zh) 2021-09-29 2021-09-29 语音功能配置管理方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN113867781A true CN113867781A (zh) 2021-12-31

Family

ID=79000761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111154332.1A Pending CN113867781A (zh) 2021-09-29 2021-09-29 语音功能配置管理方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN113867781A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524926A (zh) * 2023-04-27 2023-08-01 百洋智能科技集团股份有限公司 一种用于在移动端通过语音控制生成业务表单的方法
CN116524926B (zh) * 2023-04-27 2024-06-04 百洋智能科技集团股份有限公司 一种用于在移动端通过语音控制生成业务表单的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524926A (zh) * 2023-04-27 2023-08-01 百洋智能科技集团股份有限公司 一种用于在移动端通过语音控制生成业务表单的方法
CN116524926B (zh) * 2023-04-27 2024-06-04 百洋智能科技集团股份有限公司 一种用于在移动端通过语音控制生成业务表单的方法

Similar Documents

Publication Publication Date Title
JP7297836B2 (ja) アシスタントアプリケーションのための音声ユーザインタフェースショートカット
US8074227B2 (en) Utilizing a first managed process to host at least a second managed process
JP5325286B2 (ja) 複数種類のコンピューティングデバイス間で複数の情報形態に対話する装置および方法
US11282519B2 (en) Voice interaction method, device and computer readable storage medium
US20080134071A1 (en) Enabling user control over selectable functions of a running existing application
CN108829371B (zh) 界面控制方法、装置、存储介质及电子设备
JP2015524948A (ja) プログラマブルマルチメディアコントローラ用の設定インタフェイス
CN110489440B (zh) 数据查询方法和装置
WO2023093414A1 (zh) 微应用的开发方法、装置、设备、存储介质及程序产品
US11278801B2 (en) Management of provisioning of video game during game preview
WO2017156983A1 (zh) 一种列表的调用方法及装置
CN111045653B (zh) 系统生成方法、装置、计算机可读介质及电子设备
CN110928626A (zh) 一种界面切换方法、装置及电子设备
CN108495169A (zh) 信息展示方法及装置
CN111930290B (zh) 资源部署方法及装置
CN114661287A (zh) 组件联动渲染方法、装置、电子设备、存储介质及产品
JP2023547821A (ja) 制御方法及び装置、及び電子デバイス
WO2021126704A1 (en) System and method applied to integrated development environment
CN113867781A (zh) 语音功能配置管理方法、装置、电子设备及可读存储介质
CN108062952B (zh) 一种语音控制方法、装置及系统
CN113282268B (zh) 音效配置方法和装置、存储介质及电子设备
CN114005431A (zh) 语音系统的配置方法、装置、设备以及可读存储介质
CN114327709A (zh) 一种控制页面生成方法、装置、智能设备及存储介质
CN114675928A (zh) 容器镜像的构建方法和装置、存储介质及电子装置
CN114173199A (zh) 一种视频输出方法、装置、智能设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination