CN112313137B - 行驶信息处理装置和处理方法 - Google Patents

行驶信息处理装置和处理方法 Download PDF

Info

Publication number
CN112313137B
CN112313137B CN201880094814.2A CN201880094814A CN112313137B CN 112313137 B CN112313137 B CN 112313137B CN 201880094814 A CN201880094814 A CN 201880094814A CN 112313137 B CN112313137 B CN 112313137B
Authority
CN
China
Prior art keywords
travel
vehicle
data
information processing
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880094814.2A
Other languages
English (en)
Other versions
CN112313137A (zh
Inventor
井上裕史
西山乘
寺口刚仁
志小田雄宇
大久保翔太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN112313137A publication Critical patent/CN112313137A/zh
Application granted granted Critical
Publication of CN112313137B publication Critical patent/CN112313137B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/215—Selection or confirmation of options
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明具备：声音输入部(11)，其被输入用户的声音数据；输出部(12、16、17、18)，其基于从所述声音数据中提取出的、表示行驶路径周围的物体的单词和表示物体的位置的单词，来确定根据所述声音数据估计出的物体，输出表示所确定的物体的图像数据或者声音数据；以及行驶信息处理部(19)，其基于所确定的所述物体来变更本车辆的行驶动作。

Description

行驶信息处理装置和处理方法
技术领域
本发明涉及一种行驶信息处理装置和处理方法。
背景技术
已知有以下驾驶辅助装置：为了驾驶员直观且简便地对车辆指示特定的驾驶操作，在显示器中输出包括表示本车的本车物体和多条车道的图像，当接收使显示在显示器中的图像内的本车物体从第一车道移动到第二车道的用户的操作时，向自动驾驶的控制部输出将本车的行车道从第一车道变更为第二车道的命令(专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2017-030572号公报
发明内容
发明要解决的问题
然而，如上述现有技术那样，在通过显示器的触摸操作进行命令输入的情况下，虽然能够指定本车的变更目的地的位置，但不能指定未显示在显示器中的场所，存在不能指示本车的变更目的地的位置以外的、例如右左转或停车等行驶路径这样的问题。
本发明要解决的问题在于提供一种用户能够直观且简便地对车辆指示特定的驾驶操作的行驶信息处理装置和处理方法。
用于解决问题的方案
在本发明中，输入用户的声音数据，基于从所述声音数据中提取出的、表示在行驶路径周围成为用于变更本车辆的行驶动作的目标的物体的单词、表示物体的位置关系的单词以及与对本车辆的行驶指示有关的单词，来确定根据所述声音数据估计出的物体，使用与从所述声音数据中提取出的表示行驶路径周围的物体的单词不同的信息或者更详细的信息，输出对用于变更本车辆的行驶动作的位置和行驶动作进行说明的图像数据或者声音数据，基于所述图像数据或者所述声音数据来变更本车辆的行驶路径，由此解决上述问题。
发明的效果
根据本发明，确定根据声音数据估计出的物体，并输出表示所确定的物体的图像数据或声音数据，因此，用户能够通过收看所输出的图像数据或声音数据来确认与自己期望的物体的一致性或准确性。由此，能够提供一种用户能够直观且简便地对车辆指示特定的驾驶操作的行驶信息处理装置和处理方法。
附图说明
图1是示出本发明所涉及的行驶信息处理装置的一个实施方式的框图。
图2是在图1的声音识别部12中使用的识别关键词的一例。
图3是示出图1的行驶信息处理装置的基本的处理过程的流程图。
图4是示出图1的行驶信息处理装置的具体的处理过程的流程图。
图5是示出图1的行驶信息处理装置的另一具体的处理过程的流程图。
图6是示出在图5的处理中显示在显示器中的图像数据的一例的图。
图7是示出在图5的处理中显示在显示器中的图像数据的另一例的图。
图8是示出在图5的处理中显示在显示器中的图像数据的另一例的图。
具体实施方式
以下，基于附图来说明本发明的实施方式。图1是示出本发明所涉及的行驶信息处理装置1的一个实施方式的框图。本实施方式的行驶信息处理装置1也使用了本发明所涉及的行驶信息处理方法。而且，本实施方式的行驶信息处理装置1将目的地预先输入到车载导航装置等中，以正在在由此设定的行驶路径中行驶的情况为前提，输入乘员等用户的声音数据，基于从该声音数据中提取出的、表示行驶路径周围的物体的单词和表示物体的位置关系的单词，来确定根据声音数据估计出的物体，输出表示所确定的物体的图像数据或声音数据，基于该图像数据或该声音数据，变更本车辆的行驶路径。
因此，如图1所示，本实施方式的行驶信息处理装置1具备：车内声音收集麦克风11、声音识别部12、车外摄像照相机13、车载传感器14、地图数据库15、物体识别部16、指示物体估计部17、物体特征估计部18以及路径变更辨识部19。
车内声音收集麦克风11收集驾驶员或作为领航员的同乘者等用户发出的声音，将声音数据向声音识别部12输出。车内声音收集麦克风11被设置在车厢内的用户的声音容易输入的位置。如果是驾驶席则在转向柱盖上表面或仪表板，如果是副驾驶席则在仪表板，如果是后部座位则在控制台盒的后部或前部座位的背面等适当部分设置一个或多个传声器(microphone)即可。
声音识别部12根据输入到车内声音收集麦克风11的声音数据，使用统计方法等公知的方法来执行声音识别处理，从识别出的语言(字符串数据)中提取表示行驶路径周围的物体的单词和表示物体的位置关系的单词，并将这些向指示物体估计部17输出。图2是在声音识别部12中使用的识别关键词的一例。在此，行驶路径周围的物体是指除了车辆、摩托车、自行车、行人以外还存在于道路的周围且在路径的说明中经常使用的信号灯、路口、人行横道、林荫树、便利店、加油站、大楼等店铺、建筑物(地图上的地点POI＝Point ofInterest，兴趣点)或其招牌等。另外，表示物体的位置关系的单词是指表示上述物体的具体位置、上位概念性的位置、相对性的位置、向特定方向的顺序的单词，是指在路径的说明中经常使用的“前方100m”等与本车辆的距离、“接下来的第二个信号”等向前进方向的顺序、“本车辆的前、后、右、左”等上位概念性或相对性的位置。
顺便地，在图2所示的识别关键词中，除了上述的表示行驶路径周围的物体的单词和表示物体的位置关系的单词以外，还存在表示本车辆的行动(即本车辆的行驶控制)的单词和表示物体的修饰语的单词，由声音识别部12识别出的语言(字符串数据)被向后述的路径变更辨识部19输出。表示本车辆行动的单词是指“向左转弯”、“停车”、“加油/充电”、“向右车道移动”、“上高速”、“超车”、“追踪”等行驶控制特别是指与转向操作相关的单词，这些表示本车辆的行动的单词从声音数据中抽取。另外，物体的修饰语是指表示特定的物体的颜色、形状、大小、规格等的单词，能够例示“红色的车”、“圆的大楼”、“大的路口”、“出租车”、“箱式车”等。这些表示本车辆的行动的单词(字符串数据)和与物体的修饰词有关的语言(字符串数据)被用于路径变更辨识部19。
车外摄像照相机13是对驾驶员或同乘者所看到的本车辆周围的视野进行拍摄的照相机，例如如果是对前方视野进行拍摄的照相机，则设置在室内镜的附近即可，如果是对后方视野进行拍摄的照相机，则设置在后窗的室内上部即可，如果是对侧方视野进行拍摄的照相机，则设置在车门后视镜等即可。由车外摄像照相机13拍摄出的图像数据被向物体识别部16输出。
车载传感器14包括搭载于自动驾驶车辆等的激光器或雷达传感器立体照相机等能够识别直到物体为止的距离的传感器。由车载传感器14检测出的直到特定的物体为止的距离被向物体识别部16输出。地图数据库15是存储有地图数据的存储装置，存储在地图数据库15中的地图数据被向物体识别部16输出。
物体识别部16基于由车外摄像照相机13拍摄出的图像数据、由车载传感器14检测出的到特定的物体的距离、以及存储在地图数据库15中的地图数据，执行特定的物体的识别处理。即，物体识别部16使用利用了深层学习法的深层神经网络DNN等公知的方法，识别存在于道路的周围且在路径的说明中经常使用的车辆、摩托车、自行车、行人、信号灯、路口、人行横道、林荫树、便利店、加油站、大楼等店铺、建筑物或其招牌等各种物体，在分别识别出的区域中提取特征量(颜色、大小、距离、车型、车辆类型等)。
指示物体估计部17估计用户通过发声而期望的物体，并将其向物体特征估计部18输出。即，指示物体估计部17根据由声音识别部12识别出的语言(字符串数据)和由物体识别部16识别出的物体或其特征量来估计用户通过发声而期望的物体，并将该物体数据向物体特征估计部18输出。例如，在由声音识别部12提取出的表示行驶路径周围的物体的单词和表示物体的位置关系的单词是“前方100米的出租车”的情况下，指示物体估计部17从由物体识别部16识别出的物体中根据图像数据识别“前方100米”的“出租车”。对于该“前方100米”的识别，使用车载传感器14，另外，出租车的车牌为绿色，在车顶上装配有标记灯(所谓顶灯)，因此，对于“出租车”的识别，使用颜色或车辆类型等特征量。
物体特征估计部18为了确认由指示物体估计部17估计出的物体是否是用户通过发声而期望的物体，选择与由用户的声音数据确定的特征不同或详细的特征量，并将其向路径变更辨识部19输出。例如，在由声音识别部12提取出的表示行驶路径周围的物体的单词和表示物体的位置关系的单词、即用户通过声音数据确定的物体的特征是“前方100米的出租车”的情况下，不选择“是前方100米的出租车吧”照话学话的特征量，而是选择“白色日产风雅出租车”更详细或不同的特征量。
路径变更辨识部19使用由物体特征估计部18选择出的特征量来使用户确认该用户期望的路径的变更位置是否正确，在正确的情况下将当前设定的行驶路径变更为该行驶路径。路径变更辨识部19通过图像数据或声音数据向用户出示由物体特征估计部18选择出的特征量。因此，路径变更辨识部19包括显示图像数据的显示器或输出声音数据的扬声器。在将图像数据显示在显示器中或从扬声器输出声音数据的情况下，将与由声音识别部12提取出的与车辆的转向操作有关的转向操作信息同图像数据或声音数据一起输出。在将图像数据显示在显示器中的情况下，路径变更辨识部19也可以显示以将表示转向操作信息的图标叠加于本车辆的周边的道路信息的方式包括道路信息和图标的图像数据。另外，在将图像数据显示在显示器中的情况下，路径变更辨识部19也可以显示对本车辆的周边的道路信息标记所确定的物体的位置而得到的图像数据。
接着，说明本实施方式的行驶信息处理装置1的基本的处理过程。图3是示出本实施方式的行驶信息处理装置1的基本的处理过程的流程图。本实施方式的行驶信息处理装置1在步骤S1中从车内声音收集麦克风11输入用户发出的声音数据。接着，在步骤S2中，通过声音识别部12提取图2所示的规定的关键词。接着，在步骤S3中，使用来自车外摄像照相机13、车载传感器14、地图数据库15的检测数据，通过物体识别部16识别物体，并且，通过指示物体估计部17根据该识别出的物体和由声音识别部提取出的语言(字符串数据)来估计物体。接着，在步骤S4中，通过物体特征估计部18选择特征量，通过路径变更辨识部19将该特征量以图像数据或声音数据向用户出示，确认估计出的物体。接着，在步骤S5中，使用户确认和同意通过路径变更辨识部19向用户以图像数据或声音数据出示的该特征量。最后，在步骤S6中，在用户确认的结果是同意了所出示的图像数据或声音数据正确的情况下，变更当前设定的行驶路径。
图4是示出本实施方式的行驶信息处理装置1的更具体的处理过程的流程图。该处理以规定时间间隔反复执行，另外作为开始该处理的前提，向该车辆的导航装置输入目的地，设定了朝向该目的地的行驶路径。在该情况下，可以是手动驾驶，也可以是对加减速控制和/或转向控制进行自动控制的自动驾驶。首先，在步骤S11～S13之前，将驾驶员或同乘者等用户的声音总是输入到车内声音收集麦克风11中，在声音识别部12中总是执行声音数据的识别处理。本实施方式的行驶信息处理装置1是使用扬声器等通过声音数据向用户出示或获得回答的例子。
在步骤S11～S13中，分别判断在由声音识别部12识别出的语言(字符串数据)中是否存在表示图2所示的行动(行驶控制)的语言(步骤S11)，是否存在表示物体的位置关系的语言(步骤S12)，是否存在表示物体的语言(步骤S13)。然后，在存在表示行动的语言、表示物体的位置关系的语言以及表示物体的语言中的任一个语言的情况下，向步骤S14前进，开始用户期望的物体的估计。另一方面，在表示行动的语言、表示物体的位置关系的语言以及表示物体的语言中的任一个语言均不存在的情况下，向步骤S11返回。此外，也可以省略步骤S11而仅设置步骤S12和S13。
与步骤S11～S13的处理并行地，在步骤S14中，使用车外摄像照相机13、车载传感器14以及地图数据库15，基于图像数据、距离以及位置，物体识别部16总是识别本车辆的周围的物体。在步骤S15中，判断在由声音识别部12识别出的语言中是否存在表示物体的细节的语言(图2的物体的修饰语)。在步骤S15中存在表示物体的细节的语言的情况下，向步骤S16前进，估计在步骤S14中识别出的各物体的详细信息。在步骤S15中不存在表示物体的细节的语言的情况下，不进行详细信息的估计而向步骤S17前进。在步骤S14或S16中识别出的物体是存在于本车辆的周围的物体，并且是用户期望的物体的候选。
在步骤S17中，指示物体估计部17将在步骤S11～S13中识别出的表示行动的语言、表示物体的位置关系的语言以及表示物体的语言、即用户通过声音而期望的物体与在步骤S14～S16中识别出的物体进行比较，判断是否存在一致的物体。该情况下的一致度可以设定规定的阈值而包括类似的物体。例如，是因为物体的颜色、形状或位置关系等是发出由用户的主观认知的结果的语言。另外，即使说是“红色的车”，也存在明亮度不同的红色。而且，根据车外摄像照相机13等的性能，也可能存在拍摄出的图像被拍摄为与实际的物体不同的形状或颜色的情况。在步骤S17中，由物体识别部16识别出的物体中存在与由声音识别部12识别出的物体一致的物体的情况下，向步骤S18前进，在不存在一致的物体的情况下向步骤S21前进。在步骤S21中判断为在由物体识别部16识别出的物体中不存在与由声音识别部12识别出的物体一致的物体，因此，指示物体估计部17通过扬声器向用户请求“请再一次说明”等再次说明。
在步骤S17中，由物体识别部16识别出的物体中存在与由声音识别部12识别出的物体一致的物体的情况下，向步骤S18前进，在步骤S18中，为了使用户确认所估计的物体的位置和行动是否正确，则物体特征估计部18通过扬声器向用户说明估计出的物体。根据该物体特征估计部18的说明内容使用与用户通过声音确定的物体的说明不同的详细信息、例如物体的颜色、大小、车型、车辆类别、所记述的文字等，不会成为用户的照话学话。
(1)在例如识别出“请在红色的车的后面停车”这样的用户的声音的情况下，进行：“在红外的皮卡的后面停车”的通知。在该情况下，物体特征估计部18通过图像识别来确定红色的车，使用识别到该红色的车是皮卡的结果来说明物体，向用户通知。
(2)另外，通过由物体特征估计部18识别出的、用户的声音中并未包括的物体或场所来确定用户的声音所包括的物体的位置关系，由此也可以进行通知，以更详细说明物体。在例如识别出“请在红色的车的后面停车”这样的用户的声音的情况下，通知“在通过下一个路口的前方的红色的皮卡后面停车”。在该情况下，物体特征估计部18通过图像识别来识别红色的车，作为识别出在进一步确定的红色的车与本车辆之间存在路口的结果，将路口确定为用于说明声音所包括的物体的相对性的位置关系的另一物体，在包括说明在确定的路口前方存在红色的车的内容的基础上，向用户通知。
(3)另外，该说明也可以使用与用户通过声音而确定的物体不同的物体来说明行动的位置和行动内容。在例如识别出“请在红色的车的后面停车”这样的用户的声音的情况下，通知“在下一个加油站之前停车”。在该情况下，物体特征估计部18通过图像识别确定红色的车，使用识别出该红色的车在加油站之前停车的结果作为表示行动的位置的语言，来代替使用作为用户发出的物体的红色的车，通过图像识别确定作为更醒目的建筑物的加油站，将该加油站用作说明行动的位置的语言。
(4)另外，也可以在地图上的地点POI那样的物体的情况下，根据地图信息，对于用户的“便利店”的声音数据而使用便利店的品牌信息(社名等)，或者对于“拐角的店”的声音数据而根据地图信息使用其店铺名或“蛋糕店”等属性信息。在例如识别出“请在下一个便利店停车”这样的用户的声音的情况下，根据地图信息确定处于前进方向的前方的最近的便利店及其店铺名，通知“在下一个AA商店(店铺名)停车”。
在步骤S19中，用户通过路径变更辨识部19进行所说明的估计物体是否是自己期望的物体的回答。具体地说，如果通过扬声器说明了估计物体，则用声音回答“是的”、“不是的”。在步骤S19中，所估计的物体是用户期望的物体的情况下，向步骤S20前进，路径变更辨识部19将在该步骤S20中这之前设定的行驶路径变更为基于用户期望的行动(行驶控制)的行驶路径。在例如用户发声“在前方100米的出租车跟前的胡同左转”的情况下，即使预先设定的行驶路径是直行的，也变更为在前方100米的出租车跟前的胡同左转的行驶路径。
在步骤S19中，所估计的物体不是用户期望的物体的情况下，向步骤S22前进，路径变更辨识部19通过扬声器向用户请求“请再一次详细说明”等再次说明或追加说明。在没有用户对此进行再次说明或追加的情况下，向步骤S21前进，在有再次说明或追加说明的情况下，向步骤S23前进。在步骤S23中，声音识别部12识别用户的再次或追加的声音数据，基于提取出的物体的特征量再次估计物体，并通过扬声器向用户说明，返回到步骤S18。步骤S18以后的处理如上述那样。
图5是示出本实施方式的行驶信息处理装置1的更具体的另一处理过程的流程图。该处理以规定时间间隔反复执行，另外作为开始该处理的前提，向该车辆的导航装置输入目的地，设定了朝向该目的地的行驶路径。在该情况下，可以是手动驾驶，也可以是对加减速控制和/或转向控制进行自动控制的自动驾驶。首先，在步骤S11～S13之前，将驾驶员或同乘者等用户的声音总是输入到车内声音收集麦克风11中，在语音识别部12中总是执行声音数据的识别处理。本实施方式的行驶信息处理装置1是使用便携式终端或导航装置的显示器等通过图像数据向用户出示或获得回答的例子。图6～图8是示出显示在显示器中的图像数据的一例的图。
步骤S31～S37的处理与图4的步骤S11～S17的处理相同。即，在步骤S31～S33中，分别判断在由声音识别部12识别出的语言(字符串数据)中是否存在表示图2所示的行动(行驶控制)的语言(步骤S31)，是否存在表示物体的位置关系的语言(步骤S32)，是否存在表示物体的语言(步骤S33)。然后，在存在表示行动的语言、表示物体的位置关系的语言以及表示物体的语言中的任一个语言的情况下，向步骤S34前进，开始用户期望的物体的估计。另一方面，在表示行动的语言、表示物体的位置关系的语言以及表示物体的语言中的任一个语言均不存在的情况下，向步骤S31返回。此外，也可以省略步骤S31而仅采用步骤S32和S33。
与步骤S31～S33的处理并行地，在步骤S34中，物体识别部16使用车外摄像照相机13、车载传感器14以及地图数据库15，基于图像数据、距离以及位置，总是识别本车辆的周围的物体。在步骤S35中，判断在由声音识别部12识别出的语言中是否存在表示物体的细节的语言(图2的物体的修饰语)。在步骤S35中存在表示物体的细节的语言的情况下，向步骤S36前进，估计在步骤S34中识别出的各物体的详细信息。在步骤S35中不存在表示物体的细节的语言的情况下，不进行详细信息的估计而向步骤S37前进。在步骤S34或S36中识别出的物体是存在于本车辆的周围的物体，并且是用户期望的物体的候选。
在步骤S37中，指示物体估计部17将在步骤S31～S33中识别出的表示行动的语言、表示物体的位置关系的语言以及表示物体的语言、即用户通过声音而期望的物体与在步骤S34～S36中识别出的物体进行比较，判断是否存在一致的物体。该情况下的一致度可以设定规定的阈值而包括类似的物体。是因为：即使说是“红色的车”，也存在明亮度不同的红色。在步骤S37中，由物体识别部16识别出的物体中存在与由声音识别部12识别出的物体一致的物体的情况下，向步骤S38前进，在不存在一致的物体的情况下向步骤S42前进。
在步骤S37中，由物体识别部16识别出的物体中存在与由声音识别部12识别出的物体一致的物体的情况下，向步骤S38前进，在步骤S38中，为了使用户确认所估计的物体的位置和行动是否正确，则物体特征估计部18制作估计出的物体的图像数据，通过显示器向用户出示。图6是示出物体特征估计部18制作而显示在显示器中的图像数据的一例的图。例如示出了用户发声“在前方奔驰的车跟前的胡同左转”的情况下的一例。设为本车辆V0、在前方奔驰的车辆V1、V2、从表示行动(行驶控制)的语言(字符串数据)中提取出的与本车辆的转向操作有关的操作操作信息R1、处于胡同的拐角的便利店C1。相对于用户的“在前方奔驰的车跟前的胡同左转”这样的声音数据，物体识别部16识别出的物体为车辆V1，根据表示行动的语言识别出的转向操作信息是表示左转的箭头R1，因此用实线表示它们，用虚线表示另一车辆V2或拐角的便利店C1。
图7是示出物体特征估计部18制作而显示在显示器中的图像数据的另一例的图。也可以在图6所示的图像数据中追加车辆V1、V2的图像数据，或者追加拐角的便利店C1的图像数据。图8是示出物体特征估计部18制作而显示在显示器中的图像数据的又一例的图。在图8的情况下，对于用户“在出租车跟前左转”这样的发声，直接显示由车外摄像照相机13拍摄出的图像数据，以与该图像数据叠加的方式显示将作为估计物体的出租车V1包围的实线、表示左转的箭头显示R1、以及将识别出的其它车辆V2、V3、V4包围的虚线。
该物体特征估计部18的出示内容显示与用户通过声音确定的物体的说明不同的详细信息、例如如图6所示那样估计的物体V1以外的物体V2、C1等，或者以图像数据显示所估计的物体V1的颜色、大小、车型、车辆类别、所记述的文字等，由此在用户的说明中不是始终的。
在步骤S39中，用户通过路径变更辨识部19进行所出示的估计物体是否是自己期望的物体的回答。具体地说，在显示器中显示的估计物体正确的情况下，按下“是”的触摸按钮，或者触摸显示的估计物体本身。在步骤S39中，所估计的物体是用户期望的物体的情况下，向步骤S40前进，路径变更辨识部19将在该步骤S40中这之前设定的行驶路径变更为基于用户期望的行动(行驶控制)的行驶路径。在例如用户发声“在出租车跟前的胡同左转”的情况下，即使预先设定的行驶路径是直行，也变更为在所估计的出租车跟前的胡同左转的行驶路径。
在步骤S39中，所估计的物体不是用户期望的物体的情况下向步骤S41前进，路径变更辨识部19判断用户是否选择了显示在显示器中的其它物体。在例如在图8中估计出的物体不是车辆V1而是车辆V2的情况下、用户触摸车辆V2来选择的情况下，判断为该车辆V2是用户期望的车辆(出租车)，向步骤S38返回，重新制作用实线包围车辆V2的图像数据并显示在显示器中。
在步骤S41中，用户未选择不同的车辆的情况下，向步骤S42前进，将图6所示那样的、用户开始了发声时的影像显示在显示器中，路径变更辨识部19通过显示器或扬声器向用户请求“请再一次说明”等再次说明或追加说明。用户对此的再次说明或追加能够通过触摸图像数据上的物体等来进行。
在步骤S43中，由于在步骤S42进行的用户的再次说明或追加说明时存在用户通过期望的地点的可能性，所以判断为了变更为该路径是否需要使本车辆掉头，在不需要掉头的情况下向步骤S40前进，变更行驶路径。另外，在需要掉头的情况下向步骤44前进，在探索返回到相同的地点的行驶路径并设定之后，变更为用户期望的行驶路径。
如以上那样，根据本实施方式的行驶信息处理装置1和方法，基于从用户的声音数据中提取出的、表示行驶路径周围的物体的单词和表示物体的位置关系的单词，确定根据声音数据估计出的物体，并输出表示所确定的物体的图像数据或声音数据，因此，用户能够通过收看所输出的图像数据或声音数据来确认与自己期望的物体的一致性或准确性。由此，能够提供一种用户能够直观且简便地对车辆指示特定的驾驶操作的行驶信息处理装置和处理方法。
另外，根据本实施方式的行驶信息处理装置1和方法，输入用户针对从输出部输出的图像数据或声音数据的确认数据，基于该用户的确认数据来变更本车辆的行驶路径，因此能够担保所估计的物体与用户期望的物体的一致性或准确性。
另外，根据本实施方式的行驶信息处理装置1和方法，输出具有与从声音数据中提取出的表示行驶路径周围的物体的单词不同的信息或者更详细的信息的图像数据或者声音数据，因此用户能够以与自己的说明不同的特征进行确认，而不是照话学话，能够进行更加准确的物体的辨别。
另外，根据本实施方式的行驶信息处理装置1和方法，基于从声音数据中提取出的与车辆的转向操作有关的单词来将与车辆的转向操作有关的转向操作信息同图像数据或声音数据一起输出，因此，不仅对于物体的位置的辨别，而且对于车辆的行动即右左转或停车等行驶控制，也能够辨别为用户期望的内容。
另外，根据本实施方式的行驶信息处理装置1和方法，输出以将表示转向操作信息的图标叠加于本车辆的周边的道路信息的方式包括道路信息和图标的图像数据，因此除了确定的物体之外还能够以容易可视的图标表示本车辆的下一行动(行驶控制)，能够更直观地确认接下来进行怎样的行动。
另外，根据本实施方式的行驶信息处理装置1和方法，由于基于地图数据和从车载传感器中输出的信息来确定根据声音数据推定出的物体，所以能够一边共享与用户的视野相同的状况，一边识别与本车辆的位置的关系性。例如，能够基于同一车道或相邻的车道等与本车辆的位置关系或能够实际上视觉的所有物体，进行用户期望的物体的辨识。另外，通过使用地图数据，来能够除了属性之外还对用户期望的物体进行说明。例如，相对于用户发声“拐角的店”，而能够通过“蛋糕店的拐角吧”等更详细的信息来辨别。
另外，根据本实施方式的行驶信息处理装置1和方法，由于使用从摄像装置输出的图像数据来生成图像数据，所以便于与用户的物体确认。
另外，根据本实施方式的行驶信息处理装置1和方法，由于使用地图数据来生成图像数据，所以便于与用户的物体确认。
另外，根据本实施方式的行驶信息处理装置1和方法，输出对本车辆的周边的道路信息标记了所确定的物体的位置而得到的图像数据，因此，容易可视本车辆与所确定的物体之间的位置关系，便于与用户的物体确认。
上述车内声音收集麦克风11相当于本发明所涉及的声音输入部，上述声音识别部12、物体识别部16、指示物体估计部17以及物体特征估计部18相当于本发明所涉及的输出部，上述路径变更辨识部19相当于本发明所涉及的行驶信息处理部和确认数据输入部，上述车外摄像照相机13相当于本发明所涉及的摄像装置，上述车载传感器14相当于本发明所涉及的车载传感器，上述地图数据库15相当于本发明所涉及的存储部。
附图标记说明
1：行驶信息处理装置；11：车内声音收集麦克风；12：声音识别部；13：车外摄像照相机；14：车载传感器；15：地图数据库；16：物体识别部；17：指示物体估计部；18：物体特征估计部；19：路径变更辨识部。

Claims (10)

1.一种行驶信息处理装置，具备：
声音输入部，其被输入用户的声音数据；
指示物体估计部，其基于从所述声音数据中提取出的、表示在行驶路径周围成为用于变更本车辆的行驶动作的目标的物体的单词、表示物体的位置关系的单词以及与对本车辆的行驶指示有关的单词，来确定根据所述声音数据估计出的物体，并基于所述声音数据来确定所述物体的一个以上的特征；
物体特征估计部，其选择与基于所述声音数据所确定的所述特征不同或者比基于所述声音数据所确定的所述特征更详细的所述物体的追加的特征；
输出部，其输出表示所述物体并对用于变更所述本车辆的行驶动作的位置和行驶动作进行说明的图像数据或者声音数据，所述图像数据或者所述声音数据包括表示所述追加的特征的信息；以及
行驶信息处理部，其基于所述物体来变更本车辆的行驶动作。
2.根据权利要求1所述的行驶信息处理装置，其中，
所述声音数据包括与对本车辆的行驶指示有关的单词，
所述行驶信息处理部基于所述物体和所述行驶指示，来确定用于变更本车辆的行驶动作的位置和行驶动作，从而变更本车辆的行驶动作。
3.根据权利要求1或2所述的行驶信息处理装置，其中，
还具备确认数据输入部，所述确认数据输入部被输入所述用户针对从所述输出部输出的所述图像数据或者所述声音数据进行确认的确认数据，
所述行驶信息处理部基于所述确认数据来变更所述本车辆的行驶动作。
4.根据权利要求1或2所述的行驶信息处理装置，其中，
所述输出部基于从所述声音数据中提取出的与车辆的转向操作有关的单词，来将与车辆的转向操作有关的转向操作信息同所述图像数据或者所述声音数据一起输出。
5.根据权利要求4所述的行驶信息处理装置，其中，
所述输出部输出以将表示所述转向操作信息的图标叠加于所述本车辆的周边的道路信息的方式包含所述道路信息和所述图标的图像数据。
6.根据权利要求1或2所述的行驶信息处理装置，其中，
还具备车载传感器和存储有地图数据的存储部，
所述输出部基于所述地图数据和从所述车载传感器输出的信息来确定根据所述声音数据估计出的物体。
7.根据权利要求6所述的行驶信息处理装置，其中，
还具备摄像装置，所述摄像装置拍摄所述本车辆的周围，
所述图像数据是使用从所述摄像装置输出的图像数据生成的。
8.根据权利要求6所述的行驶信息处理装置，其中，
所述图像数据是使用所述地图数据生成的。
9.根据权利要求1或2所述的行驶信息处理装置，其中，
所述输出部输出对所述本车辆的周边的道路信息标记了所述物体的位置而得到的图像数据。
10.一种行驶信息处理方法，使用通过程序进行动作的计算机来处理行驶信息，其中，
所述计算机进行以下处理：
输入用户的声音数据；
基于从所述声音数据中提取出的、表示在行驶路径周围成为用于变更本车辆的行驶动作的目标的物体的单词、表示物体的位置关系的单词以及与对本车辆的行驶指示有关的单词，来确定根据所述声音数据估计出的物体，并基于所述声音数据来确定所述物体的一个以上的特征；
选择与基于所述声音数据所确定的所述特征不同或者比基于所述声音数据所确定的所述特征更详细的所述物体的追加的特征；
输出表示所述物体并对用于变更所述本车辆的行驶动作的位置和行驶动作进行说明的图像数据或者声音数据，所述图像数据或者所述声音数据包括表示所述追加的特征的信息；以及
基于所述物体来变更本车辆的行驶动作。
CN201880094814.2A 2018-06-19 2018-06-19 行驶信息处理装置和处理方法 Active CN112313137B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/023274 WO2019244239A1 (ja) 2018-06-19 2018-06-19 走行情報処理装置及び処理方法

Publications (2)

Publication Number Publication Date
CN112313137A CN112313137A (zh) 2021-02-02
CN112313137B true CN112313137B (zh) 2024-06-04

Family

ID=68983899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880094814.2A Active CN112313137B (zh) 2018-06-19 2018-06-19 行驶信息处理装置和处理方法

Country Status (5)

Country Link
US (1) US11912295B2 (zh)
EP (1) EP3812231B1 (zh)
JP (1) JP6992893B2 (zh)
CN (1) CN112313137B (zh)
WO (1) WO2019244239A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11447127B2 (en) * 2019-06-10 2022-09-20 Honda Motor Co., Ltd. Methods and apparatuses for operating a self-driving vehicle
US12108172B2 (en) 2020-02-14 2024-10-01 Sony Group Corporation Vehicle control system using imaging device capable of object detection
JP6888851B1 (ja) * 2020-04-06 2021-06-16 山内　和博 自動運転車
US20220122456A1 (en) * 2020-10-20 2022-04-21 Here Global B.V. Explanation of erratic driving behavior
US12008816B2 (en) * 2020-12-03 2024-06-11 Hl Klemove Corp. Method and system for real time object detection
CN115628756B (zh) * 2022-10-14 2024-07-26 西安中科华芯测控有限公司 一种光纤陀螺标度因数自适应补偿方法
CN116386626A (zh) * 2023-03-20 2023-07-04 合众新能源汽车股份有限公司 基于智能座舱的感知交互方法及感知交互装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202999A (ja) * 1995-01-25 1996-08-09 Honda Motor Co Ltd 車両用周囲状況監視装置
JPH0942987A (ja) * 1995-07-28 1997-02-14 Mazda Motor Corp 車載用地図表示装置
CN1864046A (zh) * 2003-09-25 2006-11-15 松下电器产业株式会社 车载通信装置
JP2007065998A (ja) * 2005-08-31 2007-03-15 Denso Corp 運転支援装置
CN103921727A (zh) * 2013-01-11 2014-07-16 歌乐株式会社 信息处理装置及其语音操作方法、语音操作系统
CN104412323A (zh) * 2012-06-25 2015-03-11 三菱电机株式会社 车载信息装置
DE102014222195A1 (de) * 2014-10-30 2016-05-04 Bayerische Motoren Werke Aktiengesellschaft Fahrzeugbedienung abhängig vom Fahrmodus
JP2017032543A (ja) * 2016-05-31 2017-02-09 パナソニックＩｐマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP2017136968A (ja) * 2016-02-04 2017-08-10 日立オートモティブシステムズ株式会社 車両制御装置
JP2017175621A (ja) * 2016-03-24 2017-09-28 トヨタ自動車株式会社 音声コマンドに対応した視覚コンテキストを表示する三次元ヘッドアップディスプレイ装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9085303B2 (en) * 2012-11-15 2015-07-21 Sri International Vehicle personal assistant
US9747898B2 (en) * 2013-03-15 2017-08-29 Honda Motor Co., Ltd. Interpretation of ambiguous vehicle instructions
JP6346281B2 (ja) 2014-07-04 2018-06-20 クラリオン株式会社 車載対話型システム、及び車載情報機器
JP5945999B1 (ja) 2015-07-31 2016-07-05 パナソニックＩｐマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP6645779B2 (ja) * 2015-09-11 2020-02-14 株式会社Ｎｔｔドコモ 対話装置および対話プログラム
CN108698550B (zh) * 2016-02-26 2021-03-12 三菱电机株式会社 停车辅助装置
DE102016211646A1 (de) * 2016-06-28 2017-12-28 Bayerische Motoren Werke Aktiengesellschaft System zur automatisierten Fahrzeugführung mit fahrerseitiger Fahrmanöverauswahl in einer Sonder-Fahrsituation
JP6575451B2 (ja) * 2016-07-20 2019-09-18 株式会社デンソー 運転支援装置及び運転支援プログラム
US10372132B2 (en) * 2016-12-12 2019-08-06 Apple Inc. Guidance of autonomous vehicles in destination vicinities using intent signals
US10496362B2 (en) * 2017-05-20 2019-12-03 Chian Chiu Li Autonomous driving under user instructions
US10627815B2 (en) * 2017-08-22 2020-04-21 Waymo Llc Context aware stopping for autonomous vehicles
KR101930462B1 (ko) * 2017-09-25 2018-12-17 엘지전자 주식회사 차량 제어 장치 및 그것을 포함하는 차량

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202999A (ja) * 1995-01-25 1996-08-09 Honda Motor Co Ltd 車両用周囲状況監視装置
JPH0942987A (ja) * 1995-07-28 1997-02-14 Mazda Motor Corp 車載用地図表示装置
CN1864046A (zh) * 2003-09-25 2006-11-15 松下电器产业株式会社 车载通信装置
JP2007065998A (ja) * 2005-08-31 2007-03-15 Denso Corp 運転支援装置
CN104412323A (zh) * 2012-06-25 2015-03-11 三菱电机株式会社 车载信息装置
CN103921727A (zh) * 2013-01-11 2014-07-16 歌乐株式会社 信息处理装置及其语音操作方法、语音操作系统
DE102014222195A1 (de) * 2014-10-30 2016-05-04 Bayerische Motoren Werke Aktiengesellschaft Fahrzeugbedienung abhängig vom Fahrmodus
JP2017136968A (ja) * 2016-02-04 2017-08-10 日立オートモティブシステムズ株式会社 車両制御装置
JP2017175621A (ja) * 2016-03-24 2017-09-28 トヨタ自動車株式会社 音声コマンドに対応した視覚コンテキストを表示する三次元ヘッドアップディスプレイ装置
JP2017032543A (ja) * 2016-05-31 2017-02-09 パナソニックＩｐマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
车辆导航系统语音路径引导模块的实现;何兆成, 刘绪启, 洪波, 李军, 黄忠洲, 余志;交通运输工程学报;20031230(04);全文 *

Also Published As

Publication number Publication date
EP3812231A1 (en) 2021-04-28
WO2019244239A1 (ja) 2019-12-26
EP3812231A4 (en) 2021-05-05
JP6992893B2 (ja) 2022-01-18
CN112313137A (zh) 2021-02-02
EP3812231B1 (en) 2024-10-23
JPWO2019244239A1 (ja) 2021-06-17
US20210261146A1 (en) 2021-08-26
US11912295B2 (en) 2024-02-27

Similar Documents

Publication Publication Date Title
CN112313137B (zh) 行驶信息处理装置和处理方法
CN109791738B (zh) 行驶辅助装置以及计算机程序
CN113196357B (zh) 响应于检测和分析陌生交通标志来控制自主车辆的方法和系统
CN112334908B (zh) 用于自主车辆的短语识别模型
WO2019097763A1 (ja) 重畳画像表示装置及びコンピュータプログラム
JP5729176B2 (ja) 移動案内システム、移動案内装置、移動案内方法及びコンピュータプログラム
US11525694B2 (en) Superimposed-image display device and computer program
US9726512B2 (en) Method for operating a navigation system, navigation system and motor vehicle
EP3627110B1 (en) Method for planning trajectory of vehicle
EP3994426A1 (en) Method and system for scene-aware interaction
JP2018173862A (ja) 走行支援装置及びコンピュータプログラム
US11493357B2 (en) Superimposed image display device, superimposed image drawing method, and computer program
JP2018173860A (ja) 走行支援装置及びコンピュータプログラム
JP6435798B2 (ja) 車両情報案内システム、車両情報案内方法及びコンピュータプログラム
JP2008139157A (ja) 車載用ナビゲーション装置
JP2020095659A (ja) 車両の制御装置、制御システム、及び制御プログラム
TWI798022B (zh) 一種道路指示物件的提醒方法及其系統
JP2020106997A (ja) 車載装置、通信システム
JP2020139802A (ja) 重畳画像表示装置及びコンピュータプログラム
JP2023045586A (ja) 周囲監視装置、周囲監視方法、および周囲監視プログラム
JP2023008462A (ja) 重畳画像表示装置
JP2023131981A (ja) 重畳画像表示装置
JP2024018405A (ja) 重畳画像表示装置
JP2024033759A (ja) 重畳画像表示装置
CN116954224A (zh) 车辆的自动驾驶处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant