CN108885117A - 语音引导装置和语音引导方法 - Google Patents

语音引导装置和语音引导方法 Download PDF

Info

Publication number
CN108885117A
CN108885117A CN201680084021.3A CN201680084021A CN108885117A CN 108885117 A CN108885117 A CN 108885117A CN 201680084021 A CN201680084021 A CN 201680084021A CN 108885117 A CN108885117 A CN 108885117A
Authority
CN
China
Prior art keywords
attribute
visual
induction
information
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680084021.3A
Other languages
English (en)
Inventor
内出隼人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN108885117A publication Critical patent/CN108885117A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3629—Guidance using speech or audio output, e.g. text-to-speech
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B60K35/285—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver for improving awareness by directing driver's gaze direction or eye points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3658—Lane guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)

Abstract

语音引导装置具有：诱导对象决定部，其输出诱导对象，该诱导对象是诱导用户的视线的目标；目视对象检测部，其根据表示用户的视线方向的信息，检测用户正在目视的目视对象；差异检测部，其检测目视对象的属性与诱导对象的属性之间的差异；生成部，其生成包含诱导对象的属性的指引句；以及合成部，其在指引句中包含的诱导对象的属性与目视对象的属性之间存在差异的情况下，合成并输出对存在差异的属性的词进行强调的指引句的语音，因此，在用户的目视对象与诱导对象不同的情况下，能够以容易理解的方式对用户通知用户的目视对象与诱导对象不同。

Description

语音引导装置和语音引导方法
技术领域
本发明涉及利用语音向用户提供信息的语音引导装置。
背景技术
近年来，广泛使用车辆用的路径诱导装置。路径诱导装置也被称为导航装置。从用户输入目的地后，路径诱导装置设定从当前地到目的地的最佳路径，通过沿着所设定的最佳路径进行引导，将用户诱导到目的地。并且，外部的信息中心能够经由互联网向路径诱导装置发布地图信息和关联信息。因此，路径诱导装置能够使用最新的地图信息和关联信息进行路径诱导。
公开了具有如下目视诱导装置的路径诱导装置：使用安装在车辆的驾驶席前方的视线记录仪检测驾驶员的视线方向和注视对象，判定驾驶员的视线方向和注视对象相对于路径是否正确，在正确的情况下进行肯定的语音向导，在不正确的情况下，诱导驾驶员的视线。在驾驶员的视线方向和注视对象相对于路径不正确的情况下，目视诱导装置进行以驾驶员正在目视的对象物为基准向应该进行路径诱导的分支路诱导驾驶员的视线的语音向导(参照下述专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2004-37151号公报
发明内容
发明要解决的课题
在专利文献1中，在驾驶员的视线方向和注视对象相对于路径不正确的情况下，进行以驾驶员正在目视的对象物为基准向应该进行路径诱导的分支路诱导驾驶员的视线的语音向导。但是，语音向导是通常的朗读语音，因此，存在驾驶员很难注意到正在目视与应该进行路径诱导的分支路不同的对象物这样的问题。
本发明是为了解决上述问题而完成的，其目的在于，得到如下语音引导装置：在用户的目视对象与诱导对象不同的情况下，以容易理解的方式对用户通知用户的目视对象与诱导对象不同。
用于解决课题的手段
语音引导装置具有：诱导对象决定部，其输出诱导对象，该诱导对象是诱导用户的视线的目标；目视对象检测部，其根据表示用户的视线方向的信息，检测用户正在目视的目视对象；差异检测部，其检测目视对象的属性与诱导对象的属性之间的差异；生成部，其生成包含诱导对象的属性的指引句；以及合成部，其在指引句中包含的诱导对象的属性与目视对象的属性之间存在差异的情况下，合成并输出对存在差异的属性的词进行强调的指引句的语音。
发明效果
根据本发明，在用户的目视对象与诱导对象不同的情况下，能够以容易理解的方式对用户通知用户的目视对象与诱导对象不同。
附图说明
图1是示出包含实施方式1的语音引导装置的路径诱导装置的功能结构的一例的框图。
图2是示出实施方式1的属性信息保存部保持的属性信息的一例的表。
图3是示出实施方式1的语音引导装置的硬件结构的一例的框图。
图4是示出实施方式1的语音引导装置的处理的流程图。
图5是示出实施方式1的诱导对象决定部的处理的流程图。
图6是示出实施方式1的目视对象检测部的处理的流程图。
图7是示出实施方式1的差异检测部的处理的流程图。
图8是示出实施方式1的诱导对象的属性信息的一例的表。
图9是示出实施方式1的生成部生成的向导的固定表达式的一例的示意图。
图10是示出实施方式1的生成部的处理的流程图。
图11是示出实施方式1的合成部的处理的流程图。
图12是示出实施方式1的语音引导装置诱导的路径的地图的一例的示意图。
图13是示出实施方式1的交叉路口B的属性信息的表。
图14是示出实施方式1的交叉路口A的属性信息的表。
图15是示出实施方式1的差异信息的表。
图16是示出实施方式1的合成部生成的指引句的一例的示意图。
图17是示出包含实施方式2的语音引导装置的路径诱导装置的功能结构的一例的框图。
图18是示出实施方式3的语音引导装置的功能结构的一例的框图。
图19是示出实施方式3的配电盘的盘面的一例的示意图。
图20是示出实施方式3的开关的属性信息的表。
图21是示出实施方式3的开关的属性信息的表。
图22是示出实施方式3的合成部生成的指引句的一例的示意图。
具体实施方式
下面，参照附图对本发明的实施方式进行说明。另外，在参照的附图中，对相同或相当的部分标注相同标号。
实施方式1
在本实施方式中，使用在搭载于车辆上的路径诱导装置中应用本发明的语音引导装置的例子进行说明。
图1是示出实施方式1的语音引导装置1的功能结构的一例的框图。在图1中，还示出包含语音引导装置1的路径诱导装置2的功能结构的一例。语音引导装置1具有诱导对象决定部11、目视对象检测部12、差异检测部13、生成部14、合成部15和属性信息保存部16。语音引导装置1从视线记录仪3和GPS接收机4进行输入，将合成后的语音输出到扬声器5。
路径诱导装置2具有语音引导装置1、路径搜索部21、路径诱导部22、显示部23和地图信息保存部24。当用户输入目的地后，路径搜索部21从GPS接收机4取得本车辆的当前位置信息。路径搜索部21参照地图信息保存部24保存的地图信息，搜索从当前位置到目的地的路径。路径搜索部21将路径输出到诱导对象决定部11和路径诱导部22。路径诱导部22从GPS接收机4取得本车辆的当前位置信息，根据位置信息的变化将要诱导的路径的信息输出到显示部23。显示部23生成表示要诱导的路径的图像，将其输出到显示器6。
视线记录仪3拍摄用户的眼睛的运动，将表示用户的视线方向的角度信息输出到目视对象检测部12。为了检测用户的视线方向，利用现有技术即可。例如，存在EOG(Electro-oculogram)法、光电元件式EOG(P-EOG(photo-electricoculography)法、角膜反射法、第一/第四浦肯野像检测法、隐形眼镜法、探索线圈法、红外线眼底照相机法这样的各种技术。
GPS(Global Positioning System)接收机4检测用户乘坐的车辆的当前位置，将检测到的当前位置信息输出到语音引导装置1的目视对象检测部12以及路径诱导装置2的路径搜索部21和路径诱导部22。
从路径搜索部21对语音引导装置1的诱导对象决定部11输入到目的地的路径。诱导对象决定部11决定诱导对象，该诱导对象是诱导用户的视线的目标。在本实施方式中，诱导对象成为路径上的标记。诱导对象例如是位于到目的地的路径上的分支地点即交叉路口附近的建筑物。诱导对象决定部11将诱导对象输出到差异检测部13。并且，诱导对象决定部11向目视对象检测部12通知决定了诱导对象。
目视对象检测部12在从诱导对象决定部11通知决定了诱导对象后，根据表示用户的视线方向的信息，检测用户正在目视的目视对象。从视线记录仪3对目视对象检测部12输入表示用户的视线的角度信息，从GPS接收机4对目视对象检测部12输入本车辆的当前位置信息。目视对象检测部12使用角度信息、位置信息和地图信息保存部24中保存的地图信息来检测目视对象，将目视对象输出到差异检测部13。
差异检测部13从诱导对象决定部11输入诱导对象，从目视对象检测部12输入目视对象。差异检测部13参照属性信息保存部16中保存的属性信息，取得诱导对象的属性信息和目视对象的属性信息。属性信息是表示对象物的特征的信息。差异检测部13检测目视对象与诱导对象的属性信息的各属性的差异。如果存在差异，则差异检测部13将表示目视对象与诱导对象的属性信息中存在差异的属性的差异信息输出到生成部14。并且，差异检测部13将诱导对象的属性信息输出到生成部14。
生成部14使用诱导对象的属性信息生成指引句。生成部14预先保持具有填空部位的表达式作为指引句的固定表达式。生成部14将所生成的指引句和差异信息输出到合成部15。
合成部15合成从生成部14输入的指引句的语音。并且，合成部15合成对由差异信息表示的属性的词进行强调的朗读语音，输出所合成的语音。
在本实施方式中，属性信息保存部16保持将交叉路口和位于其周边的建筑物对应起来的属性信息。
图2是示出实施方式1的属性信息保存部16保持的属性信息31的一例的表。属性信息31由交叉路口名、交叉路口的道路形状、位于交叉路口周边的周边建筑物名和位置构成。周边建筑物名是位于交叉路口周边且成为交叉路口的标记的建筑物。位置是二维坐标数据。例如，关于交叉路口A的属性信息，交叉路口名为交叉路口A，交叉路口A的道路形状为Y字路，周边建筑物名为消防局，交叉路口A的位置为经度x1、纬度y1。
图3是示出实施方式1的语音引导装置1的硬件结构的一例的框图。语音引导装置1具有存储器101、处理器102和语音输出接口103。
存储器101存储用于实现诱导对象决定部11、目视对象检测部12、差异检测部13、生成部14、合成部15和属性信息保存部16的各功能的程序和数据。存储器101例如由ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、SSD(SolidState Drive)构成。
处理器102读出存储器101中存储的程序和数据，实现诱导对象决定部11、目视对象检测部12、差异检测部13、生成部14和合成部15的各功能。处理器102通过执行存储器101中存储的程序的CPU、系统LSI(Large Scale Integration)等处理电路实现。
另外，也可以构成为，多个处理电路协作执行诱导对象决定部11、目视对象检测部12、差异检测部13、生成部14和合成部15的功能。
语音输出接口103实现合成部15的功能。
接着，对动作进行说明。
图4是示出实施方式1的语音引导装置1的处理的流程图。
语音引导装置1在从路径诱导装置2对诱导对象决定部11输入路径后，开始进行处理。诱导对象决定部11决定位于从路径诱导装置2输入的到目的地的路径上的分支地点即交叉路口周边的建筑物作为诱导对象，将诱导对象输出到差异检测部13(步骤S11)。接着，目视对象检测部12使用从视线记录仪3输入的表示用户的视线方向的角度信息来检测目视对象，将目视对象输出到差异检测部13(步骤S12)。
接着，差异检测部13参照属性信息保存部16，检索目视对象和诱导对象的属性信息。差异检测部13将诱导对象的属性信息输出到生成部14。并且，差异检测部13检测目视对象与诱导对象的属性信息之间的差异。如果存在差异，则将差异信息输出到生成部14(步骤S13)。接着，生成部14使用诱导对象的属性信息生成指引句，将其输出到合成部15。生成部14在从差异检测部13输入了差异信息的情况下，还将差异信息输出到合成部15(步骤S14)。接着，合成部15合成从生成部14输入的指引句的语音。合成部15根据差异信息合成对目视对象与诱导对象的属性存在差异的词进行强调的朗读语音，输出所合成的语音。语音引导装置1结束处理(步骤S15)。
接着，对图4的步骤S11～S15的各步骤进行详细说明。
首先，使用图5对图4的步骤S11进行详细说明。
图5是示出实施方式1的诱导对象决定部11的处理的流程图。
诱导对象决定部11在从路径搜索部21输入由路径搜索部21搜索到的路径后，开始进行处理。诱导对象决定部11从GPS接收机4取得本车辆的当前位置信息和行进方向(步骤S21)。接着，诱导对象决定部11从路径中选择最接近本车辆的当前位置的分支地点即交叉路口，取得交叉路口的位置信息(步骤S22)。
接着，诱导对象决定部11参照地图信息保存部24的地图信息，决定位于分支地点即交叉路口的周边的建筑物作为诱导对象(步骤S23)。接着，诱导对象决定部11计算从本车辆的当前位置到诱导对象的距离以及表示诱导对象在行进方向上位于道路的左右哪边的方向(步骤S24)。接着，诱导对象决定部11将诱导对象的信息输出到差异检测部13。诱导对象的信息例如是建筑物名、建筑物的位置信息、从当前地起的距离和方向(步骤S25)。接着，诱导对象决定部11向目视对象检测部12通知决定了诱导对象，结束处理(步骤S26)。
接着，使用图6对图4的步骤S12进行详细说明。
图6是示出实施方式1的目视对象检测部12的处理的流程图。
目视对象检测部12在从诱导对象决定部11通知决定了诱导对象后，开始进行处理。目视对象检测部12从GPS接收机4取得本车辆的当前位置信息和行进方向(步骤S31)。从视线记录仪3对目视对象检测部12输入表示用户的视线方向的角度信息。目视对象检测部12根据位置信息、角度信息和地图信息保存部24的地图信息，检测位于用户的视线方向上的建筑物作为目视对象(步骤S32)。接着，目视对象检测部12计算从本车辆的当前位置到目视对象的距离以及表示目视对象在行进方向上位于道路的左右哪边的方向(步骤S33)。接着，目视对象检测部12将目视对象的信息输出到差异检测部13，结束处理。目视对象的信息例如是建筑物名、建筑物的位置信息、从当前地起的距离和方向(步骤S34)。
接着，使用图7～8对图4的步骤S13进行详细说明。
图7是示出实施方式1的差异检测部13的处理的流程图。
差异检测部13在从诱导对象决定部11输入诱导对象的信息、从目视对象检测部12输入目视对象的信息后，开始进行处理。差异检测部13参照属性信息保存部16保存的属性信息，读出诱导对象的属性信息和目视对象的属性信息的属性(步骤S41)。接着，差异检测部13检测诱导对象的属性信息与目视对象的属性信息的差异。此时，差异检测部13还针对从诱导对象决定部11输入的从当前位置到诱导对象的距离和方向以及从目视对象检测部12输入的从当前位置到目视对象的距离和方向，检测差异作为属性信息(步骤S42)。如果存在差异，则差异检测部13将差异信息输出到生成部14。差异信息是表示与目视对象的属性的值存在差异的诱导对象的属性的值的信息(步骤S43)。接着，差异检测部13将诱导对象的属性信息输出到生成部14，结束处理。诱导对象的属性信息是在从属性信息保存部16读出的属性信息中追加距当前地的距离而得到的(步骤S44)。
图8是示出实施方式1的诱导对象的属性信息32的一例的表。属性信息32包含交叉路口名、道路形状、周边建筑物名、位置、距离和方向作为属性。
接着，使用图9～10对图4的步骤S14进行详细说明。
图9是示出实施方式1的生成部14生成的向导的固定表达式41的一例的示意图。生成部14预先保持设定了填空部位的固定表达式41作为作为指引句。生成部14在固定表达式41的填空部位设定属性的值。[距离]、[方向]、[周边建筑物名]和[交叉路口名]分别表示属性信息的属性。生成部14例如在固定表达式41的[距离]中设定诱导对象的属性信息的距离的值“前方200m”。另外，向导的固定表达式41的“右转”的部分根据被诱导的路径而变更。
图10是示出实施方式1的生成部14的处理的流程图。
生成部14在输入诱导对象的属性信息后，开始进行处理。生成部14读出向导的固定表达式41，在填空部分设定诱导对象的属性信息(步骤S51)。接着，生成部14在从差异检测部13输入了差异信息的情况下，将差异信息所表示的属性决定为强调部位(步骤S52)。生成部14将所生成的指引句和差异信息输出到合成部15，结束处理(步骤S53)。
接着，使用图11对图4的步骤S15进行详细说明。
图11是示出实施方式1的合成部15的处理的流程图。
合成部15在从生成部14输入指引句后，开始进行处理。首先，合成部15进行指引句的语言处理。在语言处理中，进行词素分析、语法分析、语义分析、上下文分析这样的处理(步骤S61)。接着，合成部15判定是否从生成部14输入了属性信息的差异信息(步骤S62)。在从生成部14输入了属性信息的差异信息的情况下，合成部15对差异信息所表示的词进行强调语音的韵律生成，其他词进行通常的韵律生成(步骤S63)。在未从生成部14输入属性信息的差异信息的情况下，合成部15进行通常的韵律生成(步骤S64)。接着，合成部15根据韵律生成的结果生成语音波形，将合成语音的波形数据输出到扬声器5，结束处理(步骤S65)。
接着，使用具体例对语音引导装置1的动作进行说明。
图12是示出实施方式1的语音引导装置1诱导的路径的地图的一例的示意图。用户A正在从图中的下方朝向上方利用车辆在被路径诱导装置2诱导的道路上行驶。在较短距离之间存在交叉路口A和交叉路口B。用户A的视线A朝向分支路A的“派出所”的方向。路径诱导装置2在行进方向中设定在交叉路口B右转的分支路B(右转道路)作为朝向目的地的路径。在交叉路口B的近前存在交叉路口A，在与分支路B相同的方向上存在分支路A，因此，处于用户A难以分辨分支路B的状况。
首先，诱导对象决定部11决定“消防局”作为诱导对象。并且，诱导对象决定部11计算从当前地到诱导对象的距离和方向，将距离“前方100m”和方向“右方向”输出到差异检测部13。接着，目视对象检测部12使用视线记录仪3检测用户A正在目视的对象物。用户A如视线A所示正在目视“派出所”，目视对象检测部12检测到“派出所”作为目视对象。从诱导对象决定部11对差异检测部13输入“消防局”作为诱导对象，从目视对象检测部12对差异检测部13输入“派出所”作为目视对象。接着，差异检测部13从属性信息保存部16读出“派出所”和“消防局”的属性信息。
图13是示出实施方式1的“消防局”的属性信息33的表。
图14是示出实施方式1的“派出所”的属性信息34的表。
属性信息33、34在从属性信息保存部16读出的属性中追加距离和方向。
图15是示出实施方式1的差异信息39的示意图。
差异检测部13对诱导对象即“消防局”的属性信息33和目视对象即“派出所”的属性信息34进行比较，检测差异。差异是交叉路口名、周边建筑物名、位置和距离。
差异检测部13将差异信息39输出到生成部14。并且，差异检测部13将诱导对象的属性信息33输出到生成部14。
生成部14在图9所示的向导的固定表达式41的填空部位设定诱导对象的属性信息34的属性。生成部14将填空后的指引句和差异信息39输出到合成部15。合成部15生成对差异信息39所表示的交叉路口名“交叉路口B”、周边建筑物名“消防局”和距离“前方100m”进行强调的合成语音。由于差异信息39中不存在方向，因此，合成部15不对方向“右方向”进行强调，合成如通常那样朗读的语音。合成部15将所合成的语音输出到扬声器。
图16是示出实施方式1的合成部15生成的指引句42的一例的示意图。由[]和<>包围的词表示向导的固定表达式41的填空部位。合成部15生成对由<>包围的词进行强调朗读的语音。
听到指引句的用户使视线从图12中视线A向视线B的方向移动，能够识别“消防局”。
另外，在本实施方式中，诱导对象决定部11计算从当前地到诱导对象的距离，但是，属性信息保存部16也可以预先保持从建筑物到交叉路口的距离作为交叉路口的属性信息，诱导对象决定部11不计算从当前地到诱导对象的距离。使指引句成为“建筑物的前方○○m的交叉路口”即可。
并且，在本实施方式中，诱导对象决定部11根据所输入的路径，将位于路径的分支地点即交叉路口的周边的建筑物决定为诱导对象，但是，也可以将输入到诱导对象决定部11的对象物决定为诱导对象。
并且，在本实施方式中，说明了从路径搜索部21对诱导对象决定部11输入路径时的语音引导装置1的动作，但是，在本车辆在路径上行进而通过了分支点的情况下，针对下一个分支点，诱导对象决定部11决定诱导对象，语音引导装置1进行语音引导即可。
并且，在本实施方式中，目视对象检测部12使用表示用户的视线的角度信息、本车辆的当前位置信息和地图信息检测目视对象，但是，也可以从车辆拍摄外部的景色，使用所拍摄的图像、表示用户的视线的角度信息和地图信息检测目视对象。
并且，在本实施方式中，属性信息使用交叉路口和周边建筑物一对一对应的情况，但是，也可以针对交叉路口而对应有多个周边建筑物。
并且，在本实施方式中，作为指引句的填空，使用交叉路口名，但是，也可以使用道路形状或其他属性，还可以使用多个属性。
并且，在本实施方式中，合成部15将所合成的语音输出到扬声器5，但是，也可以将合成语音数据转换为模拟信号后输出到扬声器5。并且，也可以将所生成的合成语音波形数据作为文件或流数据输出到存储器进行写入。
并且，在本实施方式中，说明了合成部15根据指引句合成语音，但是，合成部15也可以具有多个功能部。在根据文本合成语音的情况下，例如如日本特许第5393546号记载的那样，合成部可以具有语言处理部、韵律生成部和语音波形生成部。
如上所述，在本实施方式中，具有：诱导对象决定部11，其输出诱导对象，该诱导对象是诱导用户的视线的目标；目视对象检测部12，其根据表示用户的视线方向的信息，检测用户正在目视的目视对象；差异检测部13，其检测目视对象的属性与诱导对象的属性之间的差异；生成部14，其生成包含诱导对象的属性的指引句；以及合成部15，其在指引句中包含的诱导对象的属性与目视对象的属性之间存在差异的情况下，合成并输出对存在差异的属性的词进行强调的指引句的语音，因此，在用户的目视对象与诱导对象不同的情况下，能够以容易理解的方式对用户通知用户的目视对象与诱导对象不同。用户能够根据指引句的韵律的差别而直观地注意到目视对象与诱导对象不同。由此，能够减少用户误识别诱导对象的情况。
实施方式2
在以上的实施方式1中，语音引导装置1输出对目视对象与诱导对象的属性的差异进行强调朗读的指引句，但是，在本实施方式中，示出根据属性中包含的词的亲密度对指引句的结构进行变更的实施方式。
另外，在本实施方式中，除了生成部14和亲密度信息保存部17以外，与实施方式1相同，因此省略说明。
图17是示出包含实施方式2的语音引导装置1在内的路径诱导装置2的功能结构的一例的框图。与实施方式1的图1的不同之处在于追加了亲密度信息保存部17。亲密度信息保存部17预先保存表示词的亲密度的亲密度信息。亲密度是在语言处理的领域中表示人对某个单词以何种程度感觉熟悉的指标。值较高表示人感觉熟悉。亲密度信息保存部17保持的亲密度信息是预先设定的信息。用于实现亲密度信息保存部17的功能的程序和数据存储在存储器101中。
生成部14读出向导的固定表达式，在填空部分设定诱导对象的属性信息，生成指引句“<前方100m>、<存在消防局的>、<交叉路口B>右转。”。此时，生成部14参照亲密度信息保存部17读出各词的亲密度。设“消防局”是亲密度低于预先确定的阈值的单词。生成部14将“存在消防局”移动到指引句的开头，输出“<存在消防局的>、[前方100m]、[交叉路口B]右转。”。由[]和<>包围的词是向导的固定表达式41的填空部位。由<>包围的词是通过合成部15输出被强调的语音的词。
并且，生成部14也可以将亲密度较低的词作为不耳熟的词而不包含在指引句中。生成部14从指引句中删除“存在消防局的”，输出“<前方100m>、<交叉路口B>为[右方向]。”作为指引句。一般而言，多数情况下亲密度较低的单词对用户来说不耳熟，即使朗读也大多不容易明白。通过不将亲密度较低的单词包含在指引句中，用户更容易理解指引句，容易发现诱导对象。
在预先设定亲密度时，例如，可以将红色、黄色这样表示颜色的词的亲密度设定为较高值(100)，例如将建筑物名这样的固有名词的亲密度设定为较低值(0)。
如上所述，在本实施方式中，具有亲密度信息保存部17，该亲密度信息保存部17保存针对多个词分别设定了表示用户熟悉程度的亲密度的亲密度信息，生成部根据指引句中包含的词的亲密度的值对指引句进行变更，因此，能够以更加容易理解的方式对用户通知用户的目视对象与诱导对象不同。用户更容易发现诱导对象。
并且，生成部在指引句中包含的词的亲密度的值低于预先确定的阈值的情况下，将词移动到指引句的开头，因此，能够在更早的时间向用户提示属性的差异。由此，用户能够立即将视线移动到诱导对象。
并且，生成部在指引句中包含的词的亲密度的值低于预先确定的阈值的情况下，从指引句中删除词，因此，不提示不容易明白的信息，不会使用户厌烦。由此，用户容易理解指引句。
实施方式3
在以上的实施方式1中，在搭载于车辆上的路径诱导装置2中应用语音引导装置1，但是，在本实施方式中，示出在配电盘的检查业务中应用语音引导装置1的实施方式。
另外，在本实施方式中，除了诱导对象决定部11、目视对象检测部12和操作信息保存部18以外，与实施方式1相同，因此省略说明。
以配电盘的检查业务为例进行说明。
图18是示出实施方式3的语音引导装置1的功能结构的一例的框图。与实施方式1的语音引导装置1的不同之处在于，从眼镜型的可穿戴器件7对目视对象检测部12输入表示用户的视线的角度信息、以及诱导对象决定部11和目视对象检测部12参照操作信息保存部25保持的操作信息。
操作信息保存部25保持配置在配电盘的盘面上的开关的配置信息、检查业务中的操作步骤。操作步骤是检查业务中的开关的操作步骤。
图19是示出实施方式3的配电盘51的盘面的一例的示意图。在配电盘51的盘面的左上侧配置有开关52a～d。在配电盘51的盘面的右上侧配置有开关52e～h。在配电盘51的盘面的下侧配置有开关52i～j。
使用图4的流程图对语音引导装置1的动作进行说明。
当从用户进行表示进行检查业务X的意思的输入后，诱导对象决定部11开始进行处理。诱导对象决定部11参照操作信息保存部25，读出与检查业务X对应的操作步骤。在与最初的步骤对应的开关为开关52i的情况下，诱导对象决定部11将开关52i决定为诱导对象。诱导对象决定部11向目视对象检测部12通知决定了诱导对象(步骤S11)。接着，目视对象检测部12根据从可穿戴器件7输入的表示用户的视线的角度信息和操作信息保存部25保持的开关的配置信息，检测用户的目视对象。设检测到的目视对象为开关52b(步骤S12)。接着，差异检测部13参照属性信息保存部16保持的属性信息，检测目视对象与诱导对象的属性信息的差异(步骤S13)。
图20是示出实施方式3的开关52b的属性信息35的表。
图21是示出实施方式3的开关52i的属性信息36的表。
图22是示出实施方式3的合成部15生成的指引句43的一例的示意图。
如果目视对象与诱导对象的属性信息存在差异，则将差异信息输出到生成部14。开关名和位置的属性不同(步骤S14)。接着，生成部14使用诱导对象的属性信息生成指引句43，将其输出到合成部15。接着，合成部15合成从生成部14输入的指引句43的语音。合成部15在输入了差异信息的情况下，合成对由差异信息表示的属性的词进行强调的朗读语音，输出所合成的语音。语音引导装置1结束处理(步骤S16)。
另外，在本实施方式中，说明了在配电盘的检查业务中应用语音引导装置1的例子，但是，在对家电的遥控器进行操作时，也能够应用语音引导装置1。操作信息保存部25保持家电的操作步骤和配置在遥控器的盘面上的按钮的位置信息即可。
标号说明
1：语音引导装置；2：路径诱导装置；3：视线记录仪；4：GPS接收机；5：扬声器；6：显示器；7：可穿戴器件；11：诱导对象决定部；12：目视对象检测部；13：差异检测部；14：生成部；15：合成部；16：属性信息保存部；17：亲密度信息保存部；21：路径搜索部；22：路径诱导部；23：显示部；24：地图信息保存部；25：操作信息保存部；31、32、33、34、35、36：属性信息；39：差异信息；41：指引句的固定表达式；42、43：指引句；51：配电盘；52a～j：开关；101：存储器；102：处理器；103：语音输出接口。

Claims (7)

1.一种语音引导装置，其特征在于，所述语音引导装置具有：
诱导对象决定部，其输出诱导对象，该诱导对象是诱导用户的视线的目标；
目视对象检测部，其根据表示用户的视线方向的信息，检测用户正在目视的目视对象；
差异检测部，其检测所述目视对象的属性与所述诱导对象的属性之间的差异；
生成部，其生成包含所述诱导对象的属性的指引句；以及
合成部，其在所述指引句中包含的所述诱导对象的属性与所述目视对象的属性之间存在差异的情况下，合成并输出对存在差异的属性的词进行强调的所述指引句的语音。
2.根据权利要求1所述的语音引导装置，其特征在于，
所述语音引导装置具有保存亲密度信息的亲密度信息保存部，在该亲密度信息中针对多个词分别设定了表示用户熟悉程度的亲密度，
所述生成部根据所述指引句中包含的词的亲密度的值对所述指引句进行变更。
3.根据权利要求2所述的语音引导装置，其特征在于，
所述生成部在所述指引句中包含的词的亲密度的值低于预先确定的阈值的情况下，将所述词移动到所述指引句的开头。
4.根据权利要求2所述的语音引导装置，其特征在于，
所述生成部在所述指引句中包含的词的亲密度的值低于预先确定的阈值的情况下，从所述指引句中删除所述词。
5.根据权利要求2～4中的任意一项所述的语音引导装置，其特征在于，
所述亲密度信息保存部保持对表示颜色的词设定了较高值的亲密度信息。
6.根据权利要求2～5中的任意一项所述的语音引导装置，其特征在于，
所述亲密度信息保存部保持对表示固有名词的词设定了较低值的亲密度信息。
7.一种语音引导方法，所述语音引导方法具有以下步骤：
诱导对象决定步骤，输出诱导对象，该诱导对象是诱导用户的视线的目标；
目视对象检测步骤，根据表示用户的视线方向的信息，检测用户正在目视的目视对象；
差异检测步骤，检测所述目视对象的属性与所述诱导对象的属性之间的差异；
生成步骤，生成包含所述诱导对象的属性的指引句；以及
合成步骤，在所述指引句中包含的所述诱导对象的属性与所述目视对象的属性之间存在差异的情况下，合成并输出对存在差异的属性的词进行强调的所述指引句的语音。
CN201680084021.3A 2016-03-29 2016-03-29 语音引导装置和语音引导方法 Pending CN108885117A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/060026 WO2017168543A1 (ja) 2016-03-29 2016-03-29 音声案内装置及び音声案内方法

Publications (1)

Publication Number Publication Date
CN108885117A true CN108885117A (zh) 2018-11-23

Family

ID=59962695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680084021.3A Pending CN108885117A (zh) 2016-03-29 2016-03-29 语音引导装置和语音引导方法

Country Status (5)

Country Link
US (1) US10571293B2 (zh)
JP (1) JP6272594B1 (zh)
CN (1) CN108885117A (zh)
DE (1) DE112016006504B4 (zh)
WO (1) WO2017168543A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019079144A (ja) * 2017-10-20 2019-05-23 オリンパス株式会社 作業支援システム，撮像装置，ウェアラブル装置，作業支援方法
EP3940627A4 (en) * 2019-03-14 2022-03-23 NEC Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD AND RECORDING MEDIA

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0712581A (ja) * 1993-06-25 1995-01-17 Aqueous Res:Kk 車輌用音声出力装置
JP2004037151A (ja) * 2002-07-01 2004-02-05 Mazda Motor Corp 経路誘導装置、経路誘導方法、及び、経路誘導用プログラム
JP2007155392A (ja) * 2005-12-01 2007-06-21 Xanavi Informatics Corp 地図表示装置、ナビゲーションシステム及び地図表示方法
CN102144249A (zh) * 2008-09-03 2011-08-03 弗莱克斯电子有限责任公司 用于连接和操作机动车中的便携式使能全球定位系统的装置的系统和方法
CN103033193A (zh) * 2011-09-29 2013-04-10 北京四维图新科技股份有限公司 一种语音导航方法及语音导航装置
CN103063224A (zh) * 2011-10-18 2013-04-24 罗伯特·博世有限公司 用于操作导航系统的方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NZ186049A (en) 1977-01-21 1981-02-11 Otis Elevator Co Group supervision of elevator system
US5729109A (en) * 1995-07-19 1998-03-17 Matsushita Electric Industrial Co., Ltd. Navigation system and intersection guidance method
JP3919855B2 (ja) * 1996-10-17 2007-05-30 株式会社ザナヴィ・インフォマティクス ナビゲーション装置
EP1378724B1 (en) * 2002-07-01 2006-03-29 Mazda Motor Corporation Route guidance system based on visual activity of the driver
JP4684583B2 (ja) * 2004-07-08 2011-05-18 三菱電機株式会社 対話装置
JP4315211B2 (ja) * 2007-05-01 2009-08-19 ソニー株式会社 携帯情報端末及び制御方法、並びにプログラム
JP2011174723A (ja) * 2010-02-23 2011-09-08 Pioneer Electronic Corp 案内誘導装置及び案内誘導方法
JP5393546B2 (ja) 2010-03-15 2014-01-22 三菱電機株式会社 韻律作成装置及び韻律作成方法
US8958982B2 (en) * 2010-06-14 2015-02-17 Mitsubishi Electric Corporation Navigation device
JP5569365B2 (ja) * 2010-11-30 2014-08-13 アイシン・エィ・ダブリュ株式会社 案内装置、案内方法、及び案内プログラム
DE112011105833B4 (de) * 2011-11-10 2019-07-04 Mitsubishi Electric Corp. Navigationsvorrichtung, Navigationsverfahren und Navigationsprogramm
US10082401B2 (en) 2013-10-25 2018-09-25 Mitsubishi Electric Corporation Movement support apparatus and movement support method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0712581A (ja) * 1993-06-25 1995-01-17 Aqueous Res:Kk 車輌用音声出力装置
JP2004037151A (ja) * 2002-07-01 2004-02-05 Mazda Motor Corp 経路誘導装置、経路誘導方法、及び、経路誘導用プログラム
JP2007155392A (ja) * 2005-12-01 2007-06-21 Xanavi Informatics Corp 地図表示装置、ナビゲーションシステム及び地図表示方法
CN102144249A (zh) * 2008-09-03 2011-08-03 弗莱克斯电子有限责任公司 用于连接和操作机动车中的便携式使能全球定位系统的装置的系统和方法
CN103033193A (zh) * 2011-09-29 2013-04-10 北京四维图新科技股份有限公司 一种语音导航方法及语音导航装置
CN103063224A (zh) * 2011-10-18 2013-04-24 罗伯特·博世有限公司 用于操作导航系统的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李涛: "基于视线角度的人眼视线检测研究", 《计算机技术与发展》 *

Also Published As

Publication number Publication date
US20180356246A1 (en) 2018-12-13
DE112016006504B4 (de) 2021-02-04
DE112016006504T5 (de) 2019-01-03
JPWO2017168543A1 (ja) 2018-04-05
US10571293B2 (en) 2020-02-25
JP6272594B1 (ja) 2018-01-31
WO2017168543A1 (ja) 2017-10-05

Similar Documents

Publication Publication Date Title
Mascetti et al. Sonification of guidance data during road crossing for people with visual impairments or blindness
WO2016157936A1 (ja) 情報処理装置、情報処理方法、およびプログラム
Chanana et al. Assistive technology solutions for aiding travel of pedestrians with visual impairment
JP4537901B2 (ja) 視線測定装置および視線測定プログラム、ならびに、視線校正データ生成プログラム
Heuten et al. Interactive 3D sonification for the exploration of city maps
Ahmetovic et al. Sonification of rotation instructions to support navigation of people with visual impairment
US10430572B2 (en) Information processing system that recognizes a user, storage medium, and information processing method
Sodnik et al. Spatial auditory human-computer interfaces
Stearns et al. Evaluating haptic and auditory directional guidance to assist blind people in reading printed text using finger-mounted cameras
CN108885117A (zh) 语音引导装置和语音引导方法
JP5506949B2 (ja) 音により移動する方向をマッピングする方法、装置及びコンピュータプログラム
JP2011198304A (ja) ヘッドマウントディスプレイ
Kaul et al. Mobile recognition and tracking of objects in the environment through augmented reality and 3D audio cues for people with visual impairments
Ahmetovic et al. Sonification of navigation instructions for people with visual impairment
JP5807451B2 (ja) 音声処理装置、音声処理方法、プログラムおよび誘導案内システム
CN116312620A (zh) 音频处理方法、头戴显示设备和计算机可读存储介质
Di Chiara et al. The framy user interface for visually-impaired users
KR20180045874A (ko) 탑승 정보 안내 시스템 및 방법
Scalvini et al. Visual-auditory substitution device for indoor navigation based on fast visual marker detection
KR101914471B1 (ko) 스마트폰과 연동되는 가상현실 기반 정보안내 단말 시스템 및 그 제어 방법
JP2015203934A (ja) 制御方法、制御プログラム、制御装置、文字または音声メッセージの処理方法、文字または音声メッセージの処理プログラム、および文字または音声メッセージの処理装置
KR101027148B1 (ko) 핸드라이팅 피오아이를 이용한 안내 방법 및 시스템
KR20160053472A (ko) 글라스형 웨어러블 디바이스를 이용한 이벤트정보 제공서비스 시스템, 방법 및 글라스형 웨어러블 디바이스용 어플리케이션
Mone Feeling sounds, hearing sights
KR20140102792A (ko) 이동단말기를 이용한 공간 지각 확장용 길 안내 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20220325