CN112115157B - 响应装置、响应方法及存储介质 - Google Patents

响应装置、响应方法及存储介质 Download PDF

Info

Publication number
CN112115157B
CN112115157B CN202010551144.1A CN202010551144A CN112115157B CN 112115157 B CN112115157 B CN 112115157B CN 202010551144 A CN202010551144 A CN 202010551144A CN 112115157 B CN112115157 B CN 112115157B
Authority
CN
China
Prior art keywords
unit
data
response
content
tag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010551144.1A
Other languages
English (en)
Other versions
CN112115157A (zh
Inventor
米山宪寿
小川努
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN112115157A publication Critical patent/CN112115157A/zh
Application granted granted Critical
Publication of CN112115157B publication Critical patent/CN112115157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/105Human resources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/243Natural language query formulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2291User-Defined Types; Storage management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/90335Query processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1815Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供能够通过对话来让使用者容易地检索到数据的响应装置、响应方法及存储介质。响应装置具备:数据取得部,其取得附带有元数据的数据;数据库登记部,其基于所述元数据来生成标签,并将生成的所述标签以与附带有所述元数据的数据建立对应关系的方式登记在数据库中;讲话内容解释部,其对使用者的讲话内容进行解释;检索部,其在检索所述数据的意思由所述讲话内容解释部进行了解释的情况下,使用所述讲话内容所包含的标签来检索所述数据库;以及响应部,其使输出部输出基于所述检索部的检索结果得到的信息。

Description

响应装置、响应方法及存储介质
技术领域
本发明涉及响应装置、响应方法及存储介质。
背景技术
目前,已知有使用登记在数据库中的数据上附带的元数据来进行数据的检索的技术(日本特表2016-520890号公报)。
然而,在现有的技术中,基于元数据进行的数据的检索是要求技能的,因此存在熟练者以外的使用者需要花费时间直至检索到所期望的数据为止的情况。
发明内容
本发明鉴于上述的情况而作成,其目的之一在于提供能够通过对话来让使用者容易地检索到数据的响应装置、响应方法及存储介质。
用于解决课题的方案
本发明的响应装置、响应方法及存储介质采用了以下的结构。
(1)本发明的一方案的响应装置具备:数据取得部,其取得附带有元数据的数据;数据库登记部,其基于所述元数据来生成标签,并将生成的所述标签以与附带有所述元数据的数据建立对应关系的方式登记在数据库中;讲话内容解释部,其对使用者的讲话内容进行解释;检索部,其在检索所述数据的意思由所述讲话内容解释部进行了解释的情况下,使用所述讲话内容所包含的标签来检索所述数据库;以及响应部,其使输出部输出基于所述检索部的检索结果得到的信息。
在上述(1)的方案的响应装置的基础上,(2)的方案设计成,所述响应部使所述输出部将所述数据库中的与所述标签建立对应关系的数据原样输出。
在上述(2)的方案的响应装置的基础上,(3)的方案设计成,所述数据库是将两个以上的标签与数据建立了对应关系的数据库,所述响应部使所述输出部输出与根据所述使用者的所述讲话内容得到的标签对应的所述数据上附带的所述元数据、或者所述元数据中的与根据所述讲话内容得到的标签的内容一致的属性的所述数据。
在上述(1)~(3)中任一方案的响应装置的基础上,(4)的方案设计成,所述响应部生成使用所述检索结果来表示图表的图像,并使作为显示部的所述输出部输出生成的所述图像。
在上述(1)~(4)中任一方案的响应装置的基础上,(5)的方案设计成,所述响应部参照将意思内容与负责人建立了对应关系的对应信息,使所述输出部输出与由所述讲话内容解释部解释后的使用者的讲话内容对应的负责人相关的信息。
在上述(1)的方案的响应装置的基础上,(6)的方案设计成,所述响应部针对所述使用者的一次讲话,使所述输出部输出如下内容:所述数据库中的与所述标签建立对应关系的原样数据;与根据所述使用者的所述讲话内容得到的标签对应的所述数据上附带的所述元数据、或者所述元数据中的与根据所述讲话内容得到的标签的内容一致的属性的所述数据;使用所述检索结果来表示图表的图像;以及作为参照将意思内容与负责人建立了对应关系的对应信息而得到的结果的、与由所述讲话内容解释部解释后的使用者的讲话内容对应的负责人相关的信息。
在上述(1)的方案的响应装置的基础上,(7)的方案设计成,所述检索部或所述响应部成为能够进行分散处理的结构,所述响应部针对所述使用者的一次讲话,不同步地执行使所述输出部输出如下内容的处理,其中,所述内容是:所述数据库中的与所述标签建立对应关系的原样数据;与根据所述使用者的所述讲话内容得到的标签对应的所述数据上附带的所述元数据、或者所述元数据中的与根据所述讲话内容得到的标签的内容一致的属性的所述数据;使用所述检索结果来表示图表的图像;以及作为参照将意思内容与负责人建立了对应关系的对应信息而得到的结果的、与由所述讲话内容解释部解释后的使用者的讲话内容对应的负责人相关的信思。
在上述(1)~(7)中任一方案的响应装置的基础上,(8)的方案设计成,在存储装置中存储有履历信息,其中,所述履历信息是在所述使用者的讲话内容由所述讲话内容解释部进行了解释的情况下包含所述讲话内容和所述检索部的检索结果的信息,所述响应部针对所述使用者的讲话,使所述输出部输出基于从所述存储装置读出的履历信息得到的所述检索结果。
在上述(1)~(8)中任一方案的响应装置的基础上,(9)的方案设计成,所述讲话内容解释部对以自然语言的形式输入的所述使用者的讲话的内容进行解释。
(10)本发明的另一方案的响应方法使计算机进行如下处理:取得附带有元数据的数据;基于所述元数据来生成标签;将生成的所述标签以与附带有所述元数据的数据建立对应关系的方式登记在数据库中;对使用者的讲话内容进行解释;在对检索所述数据的意思进行了解释的情况下,使用所述讲话内容所包含的标签来检索所述数据库;以及使输出部输出基于检索结果得到的信息。
(11)本发明的又一方案的存储介质中存储有程序,所述程序使计算机进行如下处理:取得附带有元数据的数据;基于所述元数据来生成标签;将生成的所述标签以与附带有所述元数据的数据建立对应关系的方式登记在数据库中;对使用者的讲话内容进行解释;在对检索所述数据的意思进行了解释的情况下,使用所述讲话内容所包含的标签来检索所述数据库;以及使输出部输出基于检索结果得到的信息。
[发明效果]
根据(1)~(11),能够通过对话来让使用者容易地检索到数据。
根据(2)~(4),能够利用适合的输出形式来将数据提供给使用者。
根据(5),能够将熟悉数据的负责人的信息提供给使用者。
根据(6),能够基于一次讲话来将多个输出形式的数据提供给使用者。
根据(7),能够将多个数据快速地提供给使用者。
根据(8),能够快速地进行根据对话来检索数据的处理。
附图说明
图1是用于说明响应装置的概要的图。
图2是表示响应装置的结构的一例的图。
图3是表示对应信息的内容的一例的图。
图4是表示元数据的内容的一例的图。
图5是表示保存在数据库中的资源数据的内容的一例的图。
图6是表示将资源数据直接向HMI输出的情况下的响应画面IM1的一例的图。
图7是表示将与两个以上的数据标签建立对应关系的资源数据输出的情况下的响应画面IM2的一例的图。
图8是示出将表示确定的资源数据的图表输出的情况下的响应画面IM3的一例的图。
图9是表示将负责人的联络方式输出的情况下的响应画面IM3-1的一例的图。
图10是表示向数据库登记资源数据的处理的一系列流程的流程图。
图11是表示检索资源数据的处理的一系列流程的流程图。
图12是表示决定资源数据的输出形式的处理的一系列流程的流程图。
图13是表示选择资源数据的输出形式的情况下的响应画面IM4的一例的图。
图14是表示变形例中的决定资源数据的输出形式的处理的一系列流程的流程图。
具体实施方式
<实施方式>
以下,参照附图来对本发明的响应装置、响应方法及存储介质的实施方式进行说明。
[响应装置100的概要]
图1是用于说明响应装置100的概要的图。响应装置100从数据的持有者取得要保存于数据库200的数据和数据上附带的元数据并将它们保存(登记)在数据库200中。以下,将从数据的持有者取得的信息即附带有元数据的数据记载为资源数据。
响应装置100从要检索保存于数据库200的资源数据的使用者取得表示检索资源数据这个意思的讲话,并在数据库200中检索与讲话对应的资源数据。响应装置100以对讲话进行响应的方式将检索到的资源数据利用各种各样的形式提供给使用者。
[响应装置100的结构]
图2是表示响应装置100的结构的一例的图。在响应装置100连接有收集使用者的讲话的声音的话筒和HMI(Human machine Interface)。HMI向使用者提示各种信息并接受基于使用者进行的输入操作。HMI包括各种显示装置、扬声器、蜂鸣器、触摸面板、开关、按键等。响应装置100可以通过使用者对HMI的手动操作来接受指示,也可以通过识别对话筒讲话了的使用者的声音来接受来自使用者的指示。
响应装置100具备控制部110和存储部120。控制部110例如具备数据取得部111、数据库登记部112、讲话内容解释部113、检索部114和响应部115。上述的构成要素例如通过CPU(Central Processing Unit)等处理器执行存储于存储部120的程序(软件)来实现。上述的构成要素中的一部分或全部可以通过LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable GateArray)、GPU(Graphics Processing Unit)等硬件(包括电路部:circuitry)来实现,也可以通过软件与硬件的协同配合来实现。
存储部120可以通过HDD(Hard Disk Drive)、闪存器等存储装置(具备非暂时性的存储介质的存储装置)来实现,也可以通过DVD、CD-ROM等能够装拆的存储介质(非暂时性的存储介质)来实现,还可以是装配于驱动装置的存储介质。存储部120的一部分或全部也可以是NAS、外部的存储服务器等能够供响应装置100访问的外部装置。在存储部120中例如除了程序以外还存储有对应信息122。
图3是表示对应信息122的内容的一例的图。对应信息122例如是将表示资源数据的领域的信息、表示领域的负责人的信息和表示负责人的联络方式的信息彼此建立了对应关系的信息。领域例如是表示资源数据的特征、属性的信息,是“意思内容”的一例。如图3所示,可以将负责人与一个以上的领域建立对应关系。负责人是运营数据库200的运营者、由资源数据持有者等预先确定的精通该领域的人、或者进行该领域的询问的应对的人。表示负责人的联络方式的信息例如是负责人的联络地址(邮箱地址、电话号码、SNS(SocialNetworking Service)的账户等)。
返回到图2,数据取得部111经由互联网从资源数据持有者的终端装置取得数据和数据上附带的元数据(即资源数据)。互联网包括蜂窝网、Wi-Fi网、网络、WAN(Wide AreaNetwork)、LAN(Local Area Network)、公共线路、供应商装置、专用线路、无线基站等。上述的构成要素也可以彼此不经由互联网NW而直接进行无线通信。图4是表示元数据的内容的一例的图。元数据例如是将数据的标题、数据的制作者、数据的制作日期和时刻等建立了对应关系的信息。
元数据的项目仅是一例,并不局限于此。元数据的项目例如也可以基于元数据模式来预先定义。数据取得部111在数据上没有附带元数据的情况下(即,取得的信息是“数据”,但不是“资源数据”的情况下),也可以向数据的持有者要求附带元数据。
返回到图2,数据库登记部112基于由数据取得部111取得的资源数据上附带的元数据来生成标签。以下,将由数据库登记部112生成的标签记载为“数据标签”。数据标签例如表示数据的属性。数据库登记部112将生成的数据标签以与资源数据建立对应关系的方式登记在数据库200中。数据库登记部112例如基于资源数据的内容、资源数据的属性、资源数据所包含的元数据等来生成数据标签。例如,在资源数据是“2018年度的机动车的每月销售台数”的情况下,与该资源数据建立对应关系的数据标签是销售了机动车的“销售公司”、被销售的机动车的“车型”、被销售的机动车的“销售台数”等规定的关键词。优选数据库登记部112针对资源数据生成多个(例如两个以上的)适当的数据标签。
数据库登记部112也可以基于数据标签信息来生成数据标签并将其与资源数据建立对应关系。数据标签信息例如是将表示资源数据的属性的信息和表示与该属性的资源数据建立对应关系的优选的一个以上的数据标签的信息建立了对应关系的信息。数据库登记部112也可以向数据标签的生成应用提供资源数据并将得到的数据标签与资源数据建立对应关系。
图5是表示保存在数据库200中的资源数据的内容的一例的图。在图5中,资源数据例如是将机动车的销售公司、机动车的车型和销售台数建立了对应关系的每年度的信息。以下,设在数据库200中保存的资源数据中的至少一部分包含图5所示的资源数据来进行说明。
讲话内容解释部113基于通过使用者的手动操作向HMI输入的文本来解释文本所表示的使用者的讲话内容。使用者将自然语言的文本向HMI输入来作为讲话内容。讲话内容解释部113例如进行文本的词素解析和依存解析。依存解析例如通过在Shift-reduce法、生成树的方法、块识别的阶段适用方法中使用SVM(Support Vector Machines)来进行。讲话内容解释部113通过解析来分析出文本是表示检索登记在数据库200中的资源数据这样的意思的文本以及表示检索对象的资源数据的语句。以下,将表示检索对象的资源数据的语句记载为“讲话标签”。讲话标签例如是表示资源数据的属性的关键词(查询)、资源数据所包含的语句等。
讲话内容解释部113也可以基于由话筒取得的使用者的讲话来解释使用者的讲话的内容。这种情况下,使用者对着话筒用自然语言进行讲话。然后,讲话内容解释部113进行讲话内容的词素解析和依存解析。
检索部114在文本被讲话内容解释部113解释为是表示检索资源数据这个意思的讲话的情况下,将讲话标签作为检索关键词来检索数据库200。检索部114将登记于数据库200的资源数据中的与和讲话标签一致或者一致的程度高的数据标签建立了对应关系的资源数据确定为是检索对象的数据。检索部114在文本中包含多个讲话标签的情况下,将与和多个讲话标签分别一致或者一致的程度高的多个数据标签建立了对应关系的资源数据、与和多个讲话标签中的一部分的讲话标签一致或者一致的程度高的一个以上的数据标签建立了对应关系的资源数据确定为是检索对象的数据。
响应部115使HMI输出由讲话内容解释部113解释后的文本、基于检索部114的检索结果得到的信息。HMI是“输出部”的一例,HMI所具备的显示装置是“显示部”的一例。响应部115例如在每次由讲话内容解释部113解释文本时,生成包含表示文本的讲话图像CV在内的响应画面IM并使其显示于HMI。响应部115在每次响应使用者时,生成包含表示对使用者的响应的响应图像RP在内的响应画面IM并使其显示于HMI。
响应部115生成包含响应图像RP的响应画面IM并将其显示于HMI,其中,响应图像RP是向使用者询问由检索部114确定了的资源数据的输出形式的图像。响应部115在获得了使用者对输出形式的同意的情况下,利用询问过的输出形式将资源数据输出。以下,对由响应部115询问的资源数据的输出形式进行说明。
[资源数据的输出形式(其一)]
图6是表示将资源数据直接向HMI输出的情况下的响应画面IM1的一例的图。在响应画面IM1中,例如按照对话的顺序包含表示响应部115对使用者的响应的一个以上的响应图像RP(图中为响应图像RP1-1~RP1-3)和表示文本的一个以上的讲话图像CV(图中为讲话图像CV1-1~CV1-2)。
在图6中,讲话内容解释部113对讲话图像CV1-1所示的文本进行解释,仅将“销售台数”解释为讲话标签。这里,在文本所包含的讲话标签比规定的基准少(例如一个~两个这种程度)的情况下,检索部114仅是确定与和讲话标签对应的数据标签建立了对应关系的资源数据,但难以进行更为符合使用者的要求的资源数据的筛选。这种情况下,由于与资源数据建立了对应关系的数据标签比规定的基准少(即,文本所包含的讲话标签比规定的基准少)(这种情况下为一个讲话标签),因此,响应部115将询问使用者是否原样输出确定的资源数据的响应图像RP1-2包含在响应画面IM1中而显示于HMI。
并且,响应部115在针对响应图像RP1-2所示的资源数据的输出形式进行响应的文本被讲话内容解释部113解释为同意输出形式的意思的情况下,将表示利用询问过的输出形式来提供资源数据的响应图像RP1-3和图标图像ICN(图中为图标图像ICN1~ICN3)包含在响应画面IM1中而显示于HMI。图标图像ICN是与确定的一个以上的资源数据分别对应的图标图像ICN,是与数据库200中的资源数据的保存部位建立对应关系的图像。由此,响应部115能够通过使使用者在HMI的触摸面板上进行指定图标图像ICN1~ICN3中的与所期望的资源数据对应的图标图像ICN的操作来向使用者提供资源数据。
[资源数据的输出形式(其二)]
图7是表示将与两个以上的数据标签建立对应关系的资源数据输出的情况下的响应画面IM2的一例的图。在响应画面IM2中,与响应画面IM1同样地按照对话的顺序包含一个以上的响应图像RP(图中为响应图像RP2-1~RP2-3)和一个以上的讲话图像CV(图中为讲话图像CV2-1~CV2-2)。
在图7中,讲话内容解释部113对讲话图像CV2-1所示的文本进行解释,将“○○机动车”和“车型”这两个解释为讲话标签。因此,在讲话图像CV2-1所示的文本中包含比讲话图像CV1-1所示的文本多的讲话标签。这里,在文本所包含的讲话标签为规定的基准(例如两个以上)的情况下,检索部114能够对确定的资源数据中的与和任一讲话标签都一致或者一致的程度高的数据标签建立了对应关系的资源数据进行筛选。这种情况下,由于与资源数据建立了对应关系的数据标签为规定的基准以上(这种情况下为两个),因此,响应部115将询问使用者是否输出根据规定的基准以上的数据标签筛选出的结果的一览(栏)的响应图像RP2-2包含在响应画面IM2中而显示于HMI。
并且,响应部115在针对响应图像RP2-2所示的资源数据的输出形式进行响应的文本被讲话内容解释部113解释为同意输出形式的意思的情况下,将表示利用询问过的输出形式来提供资源数据的响应图像RP2-3和表示栏的栏图像IMc包含在响应画面IM2中而显示于HMI。在这一例中,栏图像IMc是从图5所示的资源数据中提取出“车型”这一栏所记载的信息的图像。由此,响应部115能够利用适合的形式将资源数据提供给使用有。
[资源数据的输出形式(其三)]
图8是示出将表示确定的资源数据的图表输出的情况下的响应画面IM3的一例的图。在响应画面IM3中,与响应画面IM1~IM2同样地按照对话的顺序包含一个以上的响应图像RP(图中为响应图像RP3-1~RP3-3)和一个以上的讲话图像CV(图中为讲话图像CV3-1~CV3-2)。
在图8中,讲话内容解释部113对讲话图像CV3-1所示的文本进行解释,将“○○机动车”、“车型”和“销售台数”这三个解释为讲话标签。因此,在讲话图像CV3-1所示的文本中包含比讲话图像CV1-1、讲话图像CV2-1所示的文本多的讲话标签。在与检索部114的检索中使用的讲话标签对应的数据标签是表示数量的时间变化、大小关系、比例等的属性的情况下,与该数据标签建立了对应关系的资源数据的内容是数量的时间变化、大小关系、比例等能够进行比较的内容,因此有时能够将它们的关系在视觉上表现出来。响应部115在由检索部114确定的资源数据的内容是数量的时间变化、大小关系、比例等能够进行比较的内容(这种情况下为“销售台数”)的情况下,将询问使用者是否输出使用了确定的资源数据的图表的响应图像RP3-2包含在响应画面IM3中而显示于HMI。
并且,响应部115在针对响应图像RP3-2所示的资源数据的输出形式进行响应的文本被讲话内容解释部113解释为同意输出形式的意思的情况下,将表示利用询问过的输出形式来提供资源数据的响应图像RP3-3和表示图表的图表图像IMg包含在响应画面IM3中而显示于HMI。在这一例中,图表图像IMg是表示如下那样的图表的图像,该图表通过从图5所示的资源数据中提取出“车型”和与该“车型”建立了对应关系的“销售台数”并且将“车型”作为横轴且将与“车型”建立了对应关系的“销售台数”作为纵轴来制成。由此,响应部115能够利用适当的形式来将资源数据提供给使用者。
[关于负责人的联络地址的输出]
以上,针对响应部115以响应画面IM1~IM3的输出形式来输出资源数据的方案进行了说明,但并不局限于此。响应部115也可以向使用者提供由检索部114确定的资源数据的负责人的联络方式。图9是表示将负责人的联络方式输出的情况下的响应画面IM3-1的一例的图。响应部115例如将检索部114进行检索所使用的讲话标签或者与作为检索结果的资源数据建立对应关系的数据标签作为检索关键词来检索对应信息122,从而确定与该讲话标签或者该数据标签建立对应关系的负责人。并且,响应部115将表示要提供确定的负责人的联络方式的响应图像RP3-4和表示负责人的联络方式的联络方式图像IMr包含在响应画面IM3-1中而显示于HMI。由此,响应部115能够向使用者提供熟悉数据的负责人的信息。
[动作流程]
图10是表示向数据库200登记资源数据的处理的一系列流程的流程图。首先,数据取得部111从资源数据持有者取得资源数据(步骤S100)。数据库登记部112基于由数据取得部111取得的资源数据的内容、资源数据的属性、资源数据所包含的元数据等来生成数据标签(步骤S102)。数据库登记部112将生成的数据标签以与取得的资源数据建立对应关系的方式登记在数据库200中(步骤S104)。
图11是表示检索资源数据的处理的一系列流程的流程图。首先,讲话内容解释部113判定使用者是否讲话(步骤S200)。讲话包括向HMI输入文本、对着话筒讲出自然语言。讲话内容解释部113在使用者讲话之前的期间进行待机。讲话内容解释部113在判定为使用者讲话了的情况下,基于向HMI输入的文本或者由话筒取得的使用者的讲话来解释使用者的讲话的内容(步骤S202)。以下,对使用者通过向HMI输入文本来讲话的情况进行说明。讲话内容解释部113判定解释后的文本是否表示检索资源数据的意思(步骤S204)。讲话内容解释部113在判定为解释后的文本表示检索资源数据的意思的情况下,对文本所包含的讲话标签进行解析(步骤S206)。检索部114基于由讲话内容解释部113解析出的讲话标签来检索数据库200,确定与和讲话标签一致或者一致的程度高的数据标签建立了对应关系的资源数据(步骤S208)。
图12是表示决定资源数据的输出形式的处理的一系列流程的流程图。首先,响应部115判定由检索部114确定的资源数据是否与规定的基准以上的数据标签建立对应关系(步骤S300)。响应部115在判定为资源数据没有与规定的基准以上的数据标签建立对应关系的情况下,询问使用者是否将由检索部114确定的资源数据原样输出(步骤S302)。
响应部115在判定为资源数据与规定的基准以上的数据标签建立了对应关系的情况下,判定由检索部114确定的资源数据的内容是否是数量的时间变化、大小关系、比例等能够进行比较的内容(即,是否是能够作为图表来表现的资源数据)(步骤S304)。响应部115在判定为确定的资源数据的内容不是数量的时间变化、大小关系、比例等能够进行比较的内容的情况下,询问使用者是否输出根据规定的基准以上的数据标签筛选出的结果的一览(栏)(步骤S306)。
响应部115在判定为由检索部114确定的资源数据的内容是数量的时间变化、大小关系、比例等能够进行比较的内容的情况下,询问使用者是否输出使用了确定的资源数据的图表(步骤S308)。响应部115判定针对询问进行响应的文本是否被讲话内容解释部113解释为同意输出形式的意思(步骤S310)。响应部115在判定为文本被讲话内容解释部113解释为同意输出形式的意思的情况下,利用建议过的输出形式将资源数据向HMI输出(步骤S312)。
以上,针对响应部115在获得了使用者对输出形式的询问的同意的情况下提供资源数据的方案进行了说明,但并不局限于此。响应部115也可以根据与资源数据建立了对应关系的数据标签、确定的资源数据的内容来决定输出形式,并且在没有使用者的同意的情况下利用决定好的输出形式将资源数据提供给使用者。由此,响应装置100能够减少使用者说同意所花费的工夫。
如以上所说明的那样,本实施方式的响应装置100通过对使用者的询问进行响应并基于该讲话内容来检索数据库200内的资源数据,由此能够让使用者容易地检索数据。
[变形例]
以下,对上述的实施方式的变形例进行说明。在实施方式中,说明了如下方案:在能够提供资源数据的图表的情况下利用图表来向使用者提供资源数据,在能够提供栏的情况下利用栏来向使用者提供资源数据,但并不局限于此。在变形例中,对根据使用者的选择来决定资源数据的输出形式的方案进行说明。针对与上述的实施方式同样的结构标注同一符号并省略说明。
图13是表示选择资源数据的输出形式的情况下的响应画面IM4的一例的图。响应部115例如将询问使用者是否原样输出确定的资源数据的响应图像RP1-2、响应图像RP2-2和响应图像RP3-2包含在响应画面IM4中而显示于HMI。响应图像RP2-2是用于询问使用者是否输出根据规定的基准以上的数据标签筛选出的结果的栏的图像。响应图像RP3-2是用于在由检索部114确定的资源数据的内容是数量的时间变化、大小关系、比例等能够进行比较的内容的情况下询问使用者是否输出使用了确定的资源数据的图表的图像。
并且,响应部115基于针对响应图像RP1-2、响应图像RP2-2及响应图像RP3-2所示的资源数据的输出形式进行响应的文本来决定资源数据的输出形式。响应部115例如在文本被讲话内容解释部113解释为选择将资源数据原样输出的输出形式的意思的情况下,使图标图像ICN包含在响应画面IM4中而显示于HMI。响应部115在文本被讲话内容解释部113解释为选择将资源数据用栏输出的输出形式的意思的情况下,使栏图像IMc包含在响应画面IM4中而显示于HMI。响应部115在文本被讲话内容解释部113解释为选择将资源数据用图表输出的输出形式的意思的情况下,使图表图像IMg包含在响应画面IM4中而显示于HMI。
如图13中的讲话图像CV3-2所示那样,讲话内容解释部113将文本解释为选择将资源数据用图表输出的输出形式的意思。因此,响应部115使表示利用图表来提供资源数据的响应图像RP3-3以及表示图表的图表图像IMg包含在响应画面IM3中而显示于HMI。由此,响应部115能够利用使用者所期望的输出形式将资源数据提供给使用者。
也可以是,响应部115在文本被讲话内容解释部113解释为选择多个输出形式的意思的情况下,利用选择出的一个以上的输出形式将资源数据提供给使用者。由此,响应部115能够基于使用者的一次讲话来将多个输出形式的数据提供给使用者。
[动作流程]
图14是表示决定变形例的资源数据的输出形式的处理的一系列流程的流程图。首先,响应部115判定由检索部114确定的资源数据是否与规定的基准以上的数据标签建立对应关系(步骤S400)。响应部115在判定为资源数据没有与规定的基准以上的数据标签建立对应关系的情况下,进行用于将由检索部114确定的资源数据原样输出的准备处理(步骤S402)。例如,响应部115生成确定的资源数据的图标图像ICN。
响应部115在判定为资源数据与规定的基准以上的数据标签建立了对应关系的情况下,判定由检索部114确定的资源数据的内容是否是数量的时间变化、大小关系、比例等能够进行比较的内容(即,是否是能够作为图表来表现的资源数据)(步骤S404)。响应部115在判定为确定的资源数据的内容不是数量的时间变化、大小关系、比例等能够进行比较的内容的情况下,进行用于将上述的资源数据原样输出的准备处理和用于将根据规定的基准以上的数据标签筛选出的结果的一览(栏)输出的准备处理(步骤S406)。例如,响应部115生成确定的资源数据的图标图像ICN和栏图像IMc。
响应部115在判定为由检索部114确定的资源数据的内容是数量的时间变化、大小关系、比例等能够进行比较的内容的情况下,进行用于将上述的资源数据原样输出的准备处理、用于将上述的栏输出的准备处理以及用于将使用了确定的资源数据的图表输出的准备处理(步骤S408)。例如,响应部115生成确定的资源数据的图标图像ICN、栏图像IMc和图表图像IMg。响应部115询问使用者是否利用进行了准备处理的输出形式来输出资源数据(步骤S410)。响应部115判定由讲话内容解释部113解释后的文本是否是选择输出形式的意思(即,是否接受了选择)(步骤S412)。响应部115基于由讲话内容解释部113解释后的使用者的输出形式的选择来将在准备处理中准备好的资源数据向HMI输出(步骤S414)。
这里,变形例的响应装置100构成为能够在步骤S406、步骤S408中将用于使确定的资源数据进行一次以上的输出的准备处理分散处理为各输出形式的资源数据的准备处理,使各种处理不同步地执行。能够进行分散处理的结构例如是:控制部110被划分为多个分区,由一个以上的CPU、一个以上的FPGA(或者LSI、ASIC、GPU)或者它们的组合构成。由此,变形例的响应装置100能够基于一次对话来将多个数据提供给使用者,能够尽快地将多个数据提供给使用者。
[响应部115的输出形式的决定处理的其它方案]
以上,针对响应部115将使用由讲话内容解释部113解释后的文本所包含的讲话标签而获得的资源数据提供给使用者的方案进行了说明,但并不局限于此。也可以是,响应部115例如基于将文本的履历与检索部114的检索结果(即,确定的资源数据)彼此建立了对应关系的履历信息来输出向使用者提供的资源数据。这种情况下,履历信息存储于存储部120,响应装置100具备在每次响应装置100被使用者使用时更新履历信息的更新功能部。
[元数据库]
以上,针对在数据库200中保存有资源数据且检索部114使用讲话标签来检索与资源数据建立了对应关系的数据标签以确定资源数据的方案进行了说明,但并不局限于此。例如,也可以将仅保存资源数据中的元数据的元数据库与资源数据的数据库200分开设置。这种情况下,将一个以上的附加信息与元数据建立对应关系,并在元数据库中与元数据一起存储附加信息。检索部114可以基于由讲话内容解释部113解释后的文本(或者使用者的讲话内容)来检索元数据库内的附加信息,从而检索并确定元数据。
以上,使用实施方式对用于实施本发明的方案进行了说明,但本发明丝毫不限定于这样的实施方式,可以在不脱离本发明的主旨的范围内施加各种变形及置换。

Claims (10)

1.一种响应装置,其特征在于,具备:
数据取得部,其取得附带有元数据的数据;
数据库登记部,其基于所述元数据来生成标签,并将生成的所述标签以与附带有所述元数据的数据建立对应关系的方式登记在数据库中;
讲话内容解释部,其对使用者的讲话内容进行解释;
检索部,其在检索所述数据的意思由所述讲话内容解释部进行了解释的情况下,使用所述讲话内容所包含的标签来检索所述数据库;以及
响应部,其使输出部输出基于所述检索部的检索结果得到的信息,
所述响应部针对所述使用者的一次讲话,使所述输出部输出如下内容:
所述数据库中的与所述标签建立对应关系的原样数据;
与根据所述使用者的所述讲话内容得到的标签对应的所述数据上附带的所述元数据、或者所述元数据中的与根据所述讲话内容得到的标签的内容一致的属性的所述数据;
使用所述检索结果来表示图表的图像;以及
作为参照将意思内容与负责人建立了对应关系的对应信息而得到的结果的、与由所述讲话内容解释部解释后的使用者的讲话内容对应的负责人相关的信息。
2.根据权利要求1所述的响应装置,其中,
所述响应部使所述输出部将所述数据库中的与所述标签建立对应关系的数据原样输出。
3.根据权利要求2所述的响应装置,其中,
所述数据库是将两个以上的标签与数据建立了对应关系的数据库,
所述响应部使所述输出部输出与根据所述使用者的所述讲话内容得到的标签对应的所述数据上附带的所述元数据、或者所述元数据中的与根据所述讲话内容得到的标签的内容一致的属性的所述数据。
4.根据权利要求1~3中任一项所述的响应装置,其中,
所述响应部生成使用所述检索结果来表示图表的图像,并使作为显示部的所述输出部输出生成的所述图像。
5.根据权利要求1~3中任一项所述的响应装置,其中,
所述响应部参照将意思内容与负责人建立了对应关系的对应信息,使所述输出部输出与由所述讲话内容解释部解释后的使用者的讲话内容对应的负责人相关的信息。
6.根据权利要求1所述的响应装置,其中,
所述检索部或所述响应部成为能够进行分散处理的结构,
所述响应部针对所述使用者的一次讲话,不同步地执行使所述输出部输出如下内容的处理,其中,所述内容是:
所述数据库中的与所述标签建立对应关系的原样数据;
与根据所述使用者的所述讲话内容得到的标签对应的所述数据上附带的所述元数据、或者所述元数据中的与根据所述讲话内容得到的标签的内容一致的属性的所述数据;
使用所述检索结果来表示图表的图像;以及
作为参照将意思内容与负责人建立了对应关系的对应信息而得到的结果的、与由所述讲话内容解释部解释后的使用者的讲话内容对应的负责人相关的信息。
7.根据权利要求1~3中任一项所述的响应装置,其中,
在存储装置中存储有履历信息,所述履历信息是包含所述检索部的检索结果和通过所述讲话内容解释部对所述使用者的讲话内容进行解释而得到的所述讲话内容的信息,
所述响应部针对所述使用者的讲话,使所述输出部输出基于所述存储装置的履历信息得到的所述检索结果。
8.根据权利要求1~3中任一项所述的响应装置,其中,
所述讲话内容解释部对以自然语言的形式输入的所述使用者的讲话的内容进行解释。
9.一种响应方法,其特征在于,
所述响应方法使计算机进行如下处理:
取得附带有元数据的数据;
基于所述元数据来生成标签;
将生成的所述标签以与附带有所述元数据的数据建立对应关系的方式登记在数据库中;
对使用者的讲话内容进行解释;
在对检索所述数据的意思进行了解释的情况下,使用所述讲话内容所包含的标签来检索所述数据库;以及
使输出部输出基于检索结果得到的信息,
针对所述使用者的一次讲话,使所述输出部输出如下内容:
所述数据库中的与所述标签建立对应关系的原样数据;
与根据所述使用者的所述讲话内容得到的标签对应的所述数据上附带的所述元数据、或者所述元数据中的与根据所述讲话内容得到的标签的内容一致的属性的所述数据;
使用所述检索结果来表示图表的图像;以及
作为参照将意思内容与负责人建立了对应关系的对应信息而得到的结果的、与解释后的使用者的讲话内容对应的负责人相关的信息。
10.一种存储介质,其特征在于,其存储有程序,所述程序使计算机进行如下处理:
取得附带有元数据的数据;
基于所述元数据来生成标签;
将生成的所述标签以与附带有所述元数据的数据建立对应关系的方式登记在数据库中;
对使用者的讲话内容进行解释;
在对检索所述数据的意思进行了解释的情况下,使用所述讲话内容所包含的标签来检索所述数据库;以及
使输出部输出基于检索结果得到的信息,
针对所述使用者的一次讲话,使所述输出部输出如下内容:
所述数据库中的与所述标签建立对应关系的原样数据;
与根据所述使用者的所述讲话内容得到的标签对应的所述数据上附带的所述元数据、或者所述元数据中的与根据所述讲话内容得到的标签的内容一致的属性的所述数据;
使用所述检索结果来表示图表的图像;以及
作为参照将意思内容与负责人建立了对应关系的对应信息而得到的结果的、与解释后的使用者的讲话内容对应的负责人相关的信息。
CN202010551144.1A 2019-06-20 2020-06-16 响应装置、响应方法及存储介质 Active CN112115157B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-114909 2019-06-20
JP2019114909A JP7026659B2 (ja) 2019-06-20 2019-06-20 応答装置、応答方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN112115157A CN112115157A (zh) 2020-12-22
CN112115157B true CN112115157B (zh) 2023-12-19

Family

ID=73799663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010551144.1A Active CN112115157B (zh) 2019-06-20 2020-06-16 响应装置、响应方法及存储介质

Country Status (3)

Country Link
US (1) US11495225B2 (zh)
JP (1) JP7026659B2 (zh)
CN (1) CN112115157B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7026659B2 (ja) * 2019-06-20 2022-02-28 本田技研工業株式会社 応答装置、応答方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104584010A (zh) * 2012-09-19 2015-04-29 苹果公司 基于语音的媒体搜索
CN105447073A (zh) * 2014-09-18 2016-03-30 株式会社东芝 标签赋予装置及方法
CN109493850A (zh) * 2017-09-13 2019-03-19 株式会社日立制作所 成长型对话装置
US11494421B1 (en) * 2014-12-22 2022-11-08 Entefy Inc. System and method of encrypted information retrieval through a context-aware ai engine

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3451646B2 (ja) * 1993-02-16 2003-09-29 富士ゼロックス株式会社 検索装置および検索方法
JP3318485B2 (ja) * 1996-05-08 2002-08-26 株式会社日立製作所 商品情報の提供方法
US7885963B2 (en) 2003-03-24 2011-02-08 Microsoft Corporation Free text and attribute searching of electronic program guide (EPG) data
JP2008165303A (ja) 2006-12-27 2008-07-17 Fujifilm Corp コンテンツ登録装置、及びコンテンツ登録方法、及びコンテンツ登録プログラム
JP2007226843A (ja) 2007-06-14 2007-09-06 Hitachi Ltd 文書管理システム及び文書管理方法
JP5199939B2 (ja) 2009-04-15 2013-05-15 ヤフー株式会社 画像検索装置、画像検索方法及びプログラム
AU2014233672B2 (en) 2013-03-15 2018-03-01 Ab Initio Technology Llc System for metadata management
US10217462B2 (en) * 2016-08-31 2019-02-26 Microsoft Technology Licensing, Llc Automating natural language task/dialog authoring by leveraging existing content
US20180089241A1 (en) 2016-09-29 2018-03-29 Intel Corporation Context enhanced indexing
WO2018180201A1 (ja) 2017-03-29 2018-10-04 株式会社日立国際電気 類似顔画像検索システム
US10984041B2 (en) * 2017-05-11 2021-04-20 Commvault Systems, Inc. Natural language processing integrated with database and data storage management
US11157564B2 (en) * 2018-03-02 2021-10-26 Thoughtspot, Inc. Natural language question answering systems
JP7026659B2 (ja) * 2019-06-20 2022-02-28 本田技研工業株式会社 応答装置、応答方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104584010A (zh) * 2012-09-19 2015-04-29 苹果公司 基于语音的媒体搜索
CN105447073A (zh) * 2014-09-18 2016-03-30 株式会社东芝 标签赋予装置及方法
US11494421B1 (en) * 2014-12-22 2022-11-08 Entefy Inc. System and method of encrypted information retrieval through a context-aware ai engine
CN109493850A (zh) * 2017-09-13 2019-03-19 株式会社日立制作所 成长型对话装置

Also Published As

Publication number Publication date
JP7026659B2 (ja) 2022-02-28
JP2021002165A (ja) 2021-01-07
US11495225B2 (en) 2022-11-08
US20200402506A1 (en) 2020-12-24
CN112115157A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN107430626B (zh) 提供建议的基于话音的动作查询
CN104272302B (zh) 交互式查询完成模板
CN110110038B (zh) 话务预测方法、装置、服务器及存储介质
US20130103397A1 (en) Systems, devices and methods for list display and management
US20150169525A1 (en) Augmented reality image annotation
CN101986293A (zh) 用于在搜索界面中呈现搜索答案信息的方法及设备
CN107430853A (zh) 将用于具有选择性离线能力的话音动作的数据本地保存在支持话音的电子装置中
JP6064629B2 (ja) 音声入出力データベース検索方法、プログラム、及び装置
EP2889788A1 (en) Accessing information content in a database platform using metadata
JP6442807B1 (ja) 対話サーバ、対話方法及び対話プログラム
CN112115157B (zh) 响应装置、响应方法及存储介质
JP5242726B2 (ja) 外国語接客支援装置、外国語接客方法及びプログラム
CN117216212A (zh) 对话处理方法、对话模型训练方法、装置、设备及介质
JP6025487B2 (ja) フォレンジック分析システムおよびフォレンジック分析方法並びにフォレンジック分析プログラム
US20080040113A1 (en) Computer product, operator supporting apparatus, and operator supporting method
JPH07129597A (ja) データベース検索装置
JP7336872B2 (ja) 作業支援システムおよび作業支援方法ならびに作業支援装置
JP7098502B2 (ja) 報告書作成装置、方法、およびプログラム
US20230305527A1 (en) Method and apparatus for determining product manufacturing program, device and storage medium
JP2009277071A (ja) 情報検索装置及びプログラム
CN115858742A (zh) 问题文本扩充方法、装置、设备及存储介质
WO2005052819A1 (ja) 材料名設定支援装置、材料名設定支援プログラムおよび材料名設定支援方法
CN105988992A (zh) 图标推送方法及装置
CN111046151B (zh) 一种消息处理方法及装置
JP2017134761A (ja) 情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant