CN110637334B - 行动辅助系统、行动辅助装置、行动辅助方法以及存储介质 - Google Patents

行动辅助系统、行动辅助装置、行动辅助方法以及存储介质 Download PDF

Info

Publication number
CN110637334B
CN110637334B CN201780089187.9A CN201780089187A CN110637334B CN 110637334 B CN110637334 B CN 110637334B CN 201780089187 A CN201780089187 A CN 201780089187A CN 110637334 B CN110637334 B CN 110637334B
Authority
CN
China
Prior art keywords
information
passenger
analysis
rider
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780089187.9A
Other languages
English (en)
Other versions
CN110637334A (zh
Inventor
伊藤淳
松井康真
中内洪太
手冢康瑛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN110637334A publication Critical patent/CN110637334A/zh
Application granted granted Critical
Publication of CN110637334B publication Critical patent/CN110637334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供对考虑了在车辆中获取的流动性信息的行动进行辅助的行动辅助系统。获取并解析车辆的乘客的流动性信息。基于其解析结果，获取用于辅助乘客的行动的辅助信息，并输出所获取的辅助信息。

Description

行动辅助系统、行动辅助装置、行动辅助方法以及存储介质
技术领域
本发明涉及辅助乘客的行动的行动辅助系统、行动辅助装置、行动辅助方法以及存储介质。
背景技术
近年来，出现辅助用户的行动的装置。在专利文献1中记载有如下内容：预先输入用户的属性信息、行动预定信息，在启动预定的行动的时间前，进行辅助用户的行动的例如网页的显示。另外，在专利文献2中记载有在车辆内实现具有符合用户的喜好的模拟人格的智能体的装置。
现有技术文献
专利文献
专利文献1：日本特开2003-308407号公报
专利文献2：日本特开2001-056225号公报
发明内容
发明所要解决的问题
存在相对于单一的车辆而存在多个乘客的情况、虽然车辆不同但各车辆的乘客彼此进行对话等的情况。在该情况下，对话、行为等在车辆中获取的信息与乘客单一的情况相比变得更具有流动性。关于考虑了在车辆中获取的流动性信息的行动辅助，在专利文献1以及专利文献2中未做考虑。
本发明的目的在于，提供实现考虑了在车辆中获取的流动性信息的行动辅助的行动辅助系统、行动辅助装置、行动辅助方法以及程序。
用于解决问题的方法
本发明所涉及的行动辅助系统是对跨骑型车辆的乘客中的至少一人的行动进行辅助的行动辅助系统，其特征在于，行动辅助系统具备：获取第一乘客和第二乘客的流动性信息的第一获取单元，该流动性信息至少包括所述乘客之间的对话；解析由所述第一获取单元获取的所述流动性信息的第一解析单元；基于所述第一解析单元的解析结果，获取用于辅助所述乘客的行动的辅助信息的第二获取单元；以及根据所述第一解析单元的解析结果将由所述第二获取单元获取的所述辅助信息选择性地输出给所述第一乘客和所述第二乘客中的至少任一者的头盔的输出单元，所述第二获取单元基于从所述第二乘客获取到的所述对话中的词，获取对于所述第二乘客而言为与该词相关的新信息作为所述辅助信息，所述输出单元为了使所述第一乘客向所述第二乘客提供所述新信息而将该辅助信息输出给所述第一乘客。
另外，本发明所涉及的行动辅助装置是对跨骑型车辆的乘客中的至少一人的行动进行辅助的行动辅助装置，其特征在于，行动辅助装置具备：获取第一乘客和第二乘客的流动性信息的第一获取单元，该流动性信息至少包括所述乘客之间的对话；解析由所述第一获取单元获取的所述流动性信息的第一解析单元；基于所述第一解析单元的解析结果，获取用于辅助所述乘客的行动的辅助信息的第二获取单元；以及根据所述解析单元的解析结果将由所述第二获取单元获取的所述辅助信息选择性地输出给所述第一乘客和所述第二乘客中的至少任一者的头盔的输出单元，所述第二获取单元基于从所述第二乘客获取到的所述对话中的词，获取对于所述第二乘客而言为与该词相关的新信息作为所述辅助信息，所述输出单元为了使所述第一乘客向所述第二乘客提供所述新信息而将该辅助信息输出给所述第一乘客。
另外，本发明所涉及的行动辅助方法是对跨骑型车辆的乘客中的至少一人的行动进行辅助的行动辅助方法，其特征在于，行动辅助方法包括：获取第一乘客和第二乘客的流动性信息的第一获取步骤，该流动性信息至少包括所述乘客之间的对话；解析在所述第一获取步骤获取的所述流动性信息的第一解析步骤；基于所述第一解析步骤中的解析结果，获取用于辅助所述乘客的行动的辅助信息的第二获取步骤；以及根据所述解析步骤中的解析结果将在所述第二获取步骤中获取的所述辅助信息选择性地输出给所述第一乘客和所述第二乘客中的至少任一者的头盔的输出步骤，在所述第二获取步骤中，基于从所述第二乘客获取到的所述对话中的词，获取对于所述第二乘客而言为与该词相关的新信息作为所述辅助信息，在所述输出步骤中，为了使所述第一乘客向所述第二乘客提供所述新信息而将该辅助信息输出给所述第一乘客。
另外，本发明所涉及的程序使计算机执行如下步骤：获取跨骑型车辆的第一乘客和第二乘客的流动性信息的第一获取步骤，该流动性信息至少包括所述乘客之间的对话；解析在所述第一获取步骤中获取的所述流动性信息的第一解析步骤；基于所述第一解析步骤中的解析结果，获取用于辅助所述乘客的行动的辅助信息的第二获取步骤；以及根据所述解析步骤中的解析结果将在所述第二获取步骤中获取的所述辅助信息选择性地输出给所述第一乘客和所述第二乘客中的至少任一者的头盔的输出步骤，在所述第二获取步骤中，基于从所述第二乘客获取到的所述对话中的词，获取对于所述第二乘客而言为与该词相关的新信息作为所述辅助信息，在所述输出步骤中，为了使所述第一乘客向所述第二乘客提供所述新信息而将该辅助信息输出给所述第一乘客。
发明效果
根据本发明，能够实现考虑了在车辆中获取的流动性信息的行动辅助。
附图说明
图1是示出辅助系统的整体结构的图。
图2是示出辅助系统中的通信网的图。
图3是示出头盔的功能块结构的图。
图4是示出控制器的功能块结构的图。
图5是示出无线通信装置的功能块结构的图。
图6是示出服务器的功能块结构的图。
图7是示出辅助系统的处理定序的图。
图8是示出在输出固定信息之前的处理的流程图。
图9是示出在输出固定信息之前的处理的流程图。
图10是示出在输出固定信息之前的处理的流程图。
图11是示出辅助系统的处理定序的图。
图12是示出在输出固定信息之前的处理的流程图。
图13是示出控制器的功能块结构的图。
图14是示出辅助系统的处理定序的图。
图15是示出在输出固定信息之前的处理的流程图。
图16是示出储存于DB的数据的图。
具体实施方式
[第一实施方式]
图1是示出本实施方式中的行动辅助系统的整体结构的图。本实施方式中的行动辅助系统能够基于从移动中的车辆的乘客(骑手、司机、同乘者)得到的流动性信息来辅助乘客的行动。如图1所示，行动辅助系统100包括摩托车101、无线通信装置102、网络103、服务器104、网络通信以及运算装置109。在本实施方式中，摩托车101是所谓的跨骑型车辆，除二轮车辆以外，还包括三轮车辆等。在摩托车101与无线通信装置102之间进行无线通信，在无线通信装置102与服务器104之间进行经由网络103的通信。网络103例如是因特网、专用通信网，另外，一部分也可以包括移动电话等的电话通信网。无线通信装置102例如设置于信号机等公共施设，另外，有时构成为移动电话通信网的无线基站。无线通信装置102例如构成为规定的区域单位。在本实施方式中，如图1所示，假定骑手2人(以下，作为司机的骑手A、作为同乘者的骑手B)乘坐于摩托车101。各骑手佩戴头盔105、头盔106。在本实施方式中，头盔105以及106作为接收并输出从行动辅助系统100提供的信息的辅助信息接收部而发挥功能。以下，由于说明乘客为骑手的情况，因此作为头盔而进行说明。然而，辅助信息接收部并不局限于头盔。在本实施方式中，在代替摩托车101而使用4轮机动车的情况下，辅助信息接收部例如成为车内的显示器(显示部)、扬声器或者对该显示器、扬声器进行控制的控制基板。另外，在摩托车101搭载有用于实现行动辅助系统100的动作的信息传递部107，信息传递部107在头盔105以及106与无线通信装置102之间进行通信。
服务器104与网络103连接，且包括信息蓄积部108。信息蓄积部108对后述的因特网信息、个人数据库(DB)、云信息等进行存储。网络通信以及运算装置109进行经由网络103的通信控制，另外，能够执行作为AI(Artificial Intelligence)而使用的算法。
图1仅示出一台摩托车101，但也可以是多台摩托车101与无线通信装置102对应。另外，图1仅示出一个无线通信装置102，但能够构成有多台无线通信装置102而与多个区域对应。另外，图1仅示出一个服务器104、一个网络通信以及一个运算装置109，但也可以由多个装置构成。另外，服务器104也可以构成为云服务器。
在网络103包括移动电话等的电话通信网的情况下，摩托车101的信息传递部107能够作为便携终端进行动作。在该情况下，信息传递部107也可以通过来自骑手A的经由用户接口画面的设定，例如将骑手A的便携终端的签约人ID等与本装置对应。根据上述那样的结构，服务器104也能够利用由移动电话系统管理的骑手A的个人信息、服务信息。
图2是示出行动辅助系统100中的通信网的图。行动辅助系统100中的通信包括声音通信和数据通信这两种。图2示意性地示出包括声音通信网和数据通信网的情况，并非表示两者为分开的通信网，例如，有时将两者实现为相同的分组通信网。
在行动辅助系统100中，在头盔105与头盔106之间进行声音通信201。通过声音通信201，能够实现骑手A以及B之间的对话。另外，佩戴头盔105的骑手A的声音信号通过声音通信202而发送给信息传递部107，佩戴头盔106的骑手B的声音信号通过声音通信203而发送给信息传递部107。另外，信息传递部107将语音指导发送给头盔105和头盔106中的任一者或者两者。信息传递部107通过数据通信204从头盔105获取传感器信号、摄像机的拍摄数据。另外，信息传递部107通过数据通信205从头盔106获取传感器信号、摄像机的拍摄数据。
信息传递部107通过声音通信206将从头盔105以及头盔106发送来的声音信号发送给无线通信装置102。无线通信装置102通过声音通信208将从信息传递部107发送来的声音信号发送给服务器104。另外，服务器104通过声音通信208将语音指导发送给无线通信装置102，无线通信装置102通过声音通信206将该语音指导发送给信息传递部107。
信息传递部107通过数据通信207将从设于头盔105以及106、摩托车101的传感器以及摄像机获取的传感器信号以及拍摄数据发送给无线通信装置102。无线通信装置102通过数据通信209将从信息传递部107发送来的传感器信号、拍摄数据发送给服务器104。
在图1以及图2所示的行动辅助系统100中，基于摩托车101的骑手A与骑手B之间的声音通话(对话)或者表示骑手A、骑手B的行为的信息、生物体信息，将适当的语音指导发送给骑手A以及B中的至少任一者。在此，表示骑手的行为的信息、骑手的生物体信息被获取为传感器信息。表示骑手的行为的信息是指，例如骑手的视线、眨眼、哈欠。另外，骑手的生物体信息是指，例如心跳数、体温。
换句话说，根据行动辅助系统100，例如，基于骑手彼此的对话、骑手的身体状态等瞬间流动的流动性信息，作为语音指导而提供对话的题材、建议信息等。其结果是，实现考虑了骑手的流动性信息的适当地辅助骑手的行动的行动辅助系统。需要说明的是，在上述说明中，说明了提供语音指导的情况，有时也在设于摩托车101的显示面板显示指导信息。
图3是示出头盔105以及106的功能块结构的一例的图。在头盔105以及106构成有用于获取表示骑手的行为的信息、生物体信息的传感器、摄像机。摄像机305是设于头盔内侧且骑手的视线的斜上部分且用于通过图像来检测骑手的视线、眨眼的摄像机。另外，传感器组304包括用于检测骑手的心跳数、体温的传感器。传感器组304以容易与骑手的皮肤接触的方式设于例如头盔内侧的骑手的脸颊部分。用于获取表示骑手的行为的信息、生物体信息的传感器组304、摄像机305并不局限于上述的结构，也可以使用其它结构。例如，也可以不利用摄像机来检测骑手的视线，而是利用感知眼肌的电阻值的变化的眼动追踪传感器来检测骑手的视线。另外，不仅是心跳数、体温，也可以使用能分析汗成分的传感器来构成检测骑手的出汗状态的传感器。
在本实施方式中，在代替摩托车101而使用4轮机动车的情况下，也可以利用摄像机、麦克风等器件来获取表示乘客的行为的信息、生物体信息。在该情况下，用于获取表示行为的信息、生物体信息的器件例如设于车内的仪表板、支柱、车顶。
骑手经由声音通信接口(I/F)309并借助扬声器307，能够听到来自乘坐摩托车101的骑手B的声音、从信息传递部107传来的语音指导。作为扬声器307，在与骑手的双耳对应的位置分别构成有再生部311、312。而且，从一方的再生部311传来其他骑手的声音，从另一方的再生部312传来来自信息传递部107的语音指导。另外，骑手能够经由麦克风306以及声音通信I/F309而与其它骑手对话。麦克风306以及扬声器307例如构成为耳麦。
控制器I/F308作为用于进行与信息传递部107之间的通信的接口进行动作，例如，将来自摄像机305的拍摄数据、来自传感器组304的传感器信号发送给信息传递部107。需要说明的是，经由控制器I/F308的与信息传递部107之间的通信可以通过无线来进行，也可以通过有线来进行。
控制基板300例如构成于头盔105以及106的内部。在控制基板300上构成有处理器301、存储器302、存储部303、控制器I/F308、声音通信I/F309，且经由总线310而能相互通信地连接。处理器301在存储器302读取并执行存储部303所存储的程序，能够统括地控制图3的各功能块。
图4是示出信息传递部107的功能块结构的一例的图。信息传递部107例如可以构成为与包括摩托车101的ECU的控制器分开设置，也可以构成为该控制器的一部分。传感器组404例如是分散设置于摩托车101的座位上且用于检测骑手的动作的压力传感器。另外，传感器组404也可以包括构成为能够从摩托车101的把手部分检测骑手的心跳数、体温的传感器。摄像机405例如构成于把手附近，且拍摄骑手的人脸图像。显示部406例如是显示面板，且显示映射信息、导航画面等。扬声器407传出语音指导。语音指导能够选择性地从头盔105以及106的扬声器307和摩托车101的扬声器407中的任一者传出。用于此的设定可以在显示于显示部406的设定画面中进行，也可以构成为通过硬件开关来切换。GPS(GlobalPositioning System)408是GPS振荡器，用于获取摩托车101的位置信息。
控制器I/F409作为用于进行与头盔105以及106之间的通信的接口而进行动作。声音通信I/F410作为用于进行与头盔105以及106之间的声音通信的接口而进行动作。I/F411作为用于进行与无线通信装置102之间的通信的接口而进行动作。
图4的信息传递部107所示的各功能块构成为包括处理器401、存储器402、存储部403，且经由总线412而能相互通信地连接。处理器401在存储器402中读取并执行存储部403所存储的程序，且能够统括地对控制基板上的各功能块进行控制。例如，处理器401通过与摩托车101的ECU进行协作来对控制基板上的各功能块进行控制。另外，处理器401能够执行被用作AI(Artificial Intelligence)的算法。在以下的说明中，类推处理等能使用AI的算法的处理可以由处理器401实现，也可以由网络通信以及运算装置109实现。
图5是示出无线通信装置102的功能块结构的一例的图。I/F504作为用于进行与信息传递部107之间的通信的接口而进行动作。网络(NW)I/F505作为经由网络103用于进行与服务器104的通信的接口而进行动作。
图5所示的各功能块构成为包括处理器501、存储器502、存储部503，且能经由总线506而相互通信地连接。处理器501在存储器502中读取并执行存储部503所存储的程序，且统括地控制无线通信装置102。处理器501例如对与信息传递部107之间的通信步骤和与服务器104之间的通信步骤进行变换。
图6是示出服务器104的功能块结构的一例的图。NWI/F604作为经由网络103用于进行与无线通信装置102的通信的接口而进行动作。数据库(DB)605是与图1的信息蓄积部108对应且存储与能享受行动辅助系统100的服务的个人对应的个人属性信息的数据库。在本实施方式中，与骑手A以及B分别对应。关于DB605在后面进行说明。
图6所示的各功能块构成为包括处理器601、存储器602、存储部603，且经由总线606而能相互通信地连接。处理器601在存储器602中读取并执行存储部603所存储的程序，且统括地控制服务器104。另外，处理器601能够执行作为AI而使用的算法。
对本实施方式中的DB605的一例进行说明。图16的中段是示出DB605的一例的图。DB605不仅用于保持各骑手的性别、年龄、姓名等用户固有的固定信息，还能够导出表示喜好、兴趣志向的变动信息。在此，表示喜好、兴趣志向的信息并不局限于骑手自身设定的内容，还包括通过从日常发生的信息类推而获取的数据。
例如，DB605构成为能够与蓄积个人从便携终端、PC等在因特网上检索过的词的数据库协作。服务器104的处理器601从该数据库依次获取用户的检索词、检索信息等并对它们进行分类。分类例如是对通过检索词检索出的新闻等进行分析而设定类别。例如，对将“京都”作为检索词而参照的新闻(例如，温泉地信息、豆腐)进行分析的结果是，作为该新闻的类别而设定“旅行”、“美食”。类别并不是固定的，在每次蓄积新的检索词时，从新闻的分析结果提取出新的类别。
服务器104的处理器601根据那样的类别结果，能够执行各种类推、学习。例如，根据“旅行”、“运动”、“美食”这样的检索数多的类别及其检索信息的分析，类推出与该数据库对应的个人的兴趣志向，例如“虽然是活跃的，但喜好清淡的美食，总体上为健康志向”。其结果是，有时能够导出个人自身都没有注意的兴趣志向等。
如图16所示，在DB605构筑与个人对应的大数据库。在本实施方式中，行动辅助系统100基于骑手A与骑手B之间的对话的高频词而参照DB605，并学习各骑手的中意信息。例如，在对话的高频词为“电影”的情况下，参照DB605而学习为检索次数最多的“电影XYZ”为中意信息。然后，行动辅助系统100基于该中意信息，向骑手A以及B提供指导信息。
这样，处理器601使用DB605，能够学习并获取表示该个人的喜好、兴趣志向的信息。另外，处理器601也可以使用储存于DB605的其它信息来学习该个人的倾向。例如，处理器601也可以使用检索词附带的日期时间信息等来学习睡眠时间等生活方式等。另外，若DB605能够与移动电话系统的数据库协作，则也可以根据个人的博客信息等来学习生活方式。
另外，在各类别之间，能够根据所包含的检索词的数量来决定相关关系的程度。如图16所示，也可以是，在各检索词示出“该类别中的检索数/总检索数”，基于总检索数来决定类别间的相关关系的程度。处理器601也可以使用上述那样的相关关系来学习个人的喜好、兴趣志向的倾向。
使用图16来说明DB605的一例，但只要能学习个人的喜好、兴趣志向等，也可以不使用图16那样的结构而使用其它结构。例如，获取源并不局限于上述那样的检索词，也可以基于骑手预先向服务器104输入的设定数据来进行上述的学习。
另外，用户(骑手)的属性信息所包含的日常发生的信息也可以从因特网检索信息等用户有意输入的信息以外获取。通过那样的信息的获取，用户的例如具有IoT(Internetof Things)功能的周边的产品全部成为信息源，作为用户的个人属性信息而蓄积于DB605。例如，通过获取来自用户所有的具有IoT功能的电视机的信息，能够类推用户因前夜观看深夜节目而处于睡眠不足状态。另外，通过获取来自具有IoT功能的体温计、血压计的信息，能够类推出用户处于健康不令人满意的状态。另外，通过获取来自具有IoT功能的冰箱的信息，能够类推出用户喜好的饮品、美食。上述那样的具有IoT功能的产品优选一并具有人脸识别、声音、指纹等能够自动地确定使用者的功能。本实施方式的用户使用上述那样的能够确定使用者的IoT产品，由此获取以下那样的信息作为个人属性信息，由此能够实现指导信息的精度提高、内容的多样化。
·使用产品的用户的使用方式、性格、癖好等。
·使用产品的用户的健康状态等。
·使用产品的用户的感情、心理、嗜好等。
·使用产品的用户的身体能力、车辆的驾驶技术等。
图7是示出本实施方式中的行动辅助系统100的处理定序的图。在此，骑手A以及B乘坐摩托车101，设为能够享受行动辅助系统100的服务的状态。例如，当骑手A以及B接通头盔105以及106的电源时，信息传递部107将头盔105以及106的起动信息以及摩托车101的驱动信息经由无线通信装置102而发送给服务器104。服务器104在接收这些信息时，开始对摩托车101提供行动辅助系统100的服务。
骑手A以及B能够通过麦克风306以及扬声器307来相互进行声音通话。设为骑手A佩戴头盔105，骑手B佩戴头盔106。需要说明的是，在图7中，省略起到对数据进行中继的作用的无线通信装置102的图示。
首先，在步骤S701(以下，省略“步骤”)中，从头盔105以及106传来的信息发送给信息传递部107。在S701发送的流动性信息包括骑手A以及B的声音信号、来自摄像机305的拍摄数据、来自传感器组304的传感器信号。在S702中，信息传递部107将流动性信息发送给服务器104。在S702中发送的流动性信息除了包括从头盔105以及106发送来的流动性信息外，还包括来自摩托车101的摄像机405的拍摄数据、来自传感器组404的传感器信号。另外，在S702中发送的流动性信息还包括摩托车101的驱动信息。驱动信息例如是摩托车101的速度信息。
在S703中，服务器104对从信息传递部107发送来的流动性信息进行解析。服务器104例如解析规定的时间例如在30分钟内接收到的声音信号，并提取出高频词。在此，将来自骑手A以及B的声音信号整体的高频词设为“电影”。
高频词的提取也可以通过各种方法来实现。例如，不仅是出现频率高，也可以将解析声音信号的波谱的结果为包含规定区域的高频成分的声音词设为高频词。另外，也可以将解析声音信号的振幅的结果为规定的振幅以上的声音词设为高频词。另外，也可以解析声音信号的节奏，在成为规定的速度以上的期间，进行高频词的提取。根据上述那样的结构，能够考虑骑手A与B的对话兴奋时的音量、音色、节奏，能够提高将两者可能关心的词提取为高频词的精度。
在S704中，服务器104分析骑手A以及B各自的DB605的数据，学习“电影”这样的类别中的骑手A以及B各自的中意信息。例如，在图16的例子的情况下，在高频词“电影”这样的类别之中，显现电影名，学习检索次数最多的“电影XYZ”作为中意信息。然后，服务器104确定骑手A以及B的共用的中意信息。在本实施方式中，将所确定的共用的中意信息设为个人属性信息，在此，将该个人属性信息设为“电影XYZ”。
在S705中，服务器104获取与“电影XYZ”相关的固定信息。行动辅助系统100中的固定信息成为用于辅助乘客的行动的辅助信息。与“电影XYZ”相关的固定信息是指，例如与“电影XYZ”相关的续编信息。上述那样的固定信息例如也可以是服务器104关于“电影XYZ”而在因特网中的检索结果中靠前的信息。或者，服务器104也可以确定因特网的检索结果中的、未被骑手A以及B的DB605保持的类别的信息，将获取该信息作为固定信息。由此，能够提供骑手A以及B可能在当前时点尚未识别的信息。在此，将在S704中确定的固定信息设为“电影XYZ2”及其上映日期。
在S706中，服务器104将所获取的固定信息发送给摩托车101的信息传递部107。在此，固定信息例如也可以是用于显示于摩托车101的显示部406的数据。在该情况下，在S708中，信息传递部107也可以在显示部406显示“说起来，关于新上映的“电影XYZ2”，上映预定日为···”这样的消息。
或者，在S706中发送的固定信息也可以是声音数据。在该情况下，在S707中，信息传递部107将从服务器104接收到的声音数据变换为能够由头盔105以及106的扬声器307再生的声音信号而发送给头盔105以及106。然后，在S709中，头盔105以及106在扬声器307将上述的消息再生为语音指导。另外，在S706中发送的固定信息为声音数据的情况下，也可以由信息传递部107的扬声器407进行再生。在上述说明中，虽然将固定信息作为语音指导而输出给头盔105以及106的扬声器307，但也可以在头盔105以及106的护罩部分显示固定信息。另外，也可以利用其它输出方法来输出固定信息。例如，也可以在头盔105以及106内设有喷射包含预先确定的成分的气体的喷射孔，以便朝向骑手喷射该气体。例如，在输出固定信息时，通过从喷射孔喷射优选的香味，能够进一步辅助骑手间的交流。
另外，在本实施方式中，在代替摩托车101而使用4轮机动车的情况下，也可以由车内的扬声器进行再生。在该情况下，作为扬声器，也可以使用能够对处于狭小的范围内的人选择性地传递声音的参数扬声器，向想要再生指导的人选择性地传递声音。另外，也可以利用其它输出方法来输出固定信息。例如，也可以在车身的前窗显示固定信息。另外，也可以将喷射包括预先确定的成分的气体的喷射孔设于车辆，并朝向乘客喷射该气体。例如，在输出固定信息时，通过从喷射孔喷射优选的香味，能够进一步辅助乘客间的交流。
服务器104的处理器601也可以基于S703中的骑手A以及B的声音信号的解析结果例如音调、节奏来制作上述那样的消息。例如，也可以根据对话的节奏变更向对话的插入方的消息。
图8是示出在输出固定信息之前的处理的流程图。图8的处理与图7的S703～S705对应。图7对S703～705的处理在服务器104中执行的情况进行了说明。在该情况下，由于在摩托车101的信息传递部107侧不执行大数据库的分析、学习等复杂算法亦可，因此减轻了信息传递部107的处理负担。然而，如以下说明的那样，也可以在摩托车101侧进行S703～705的处理的至少一部分。
在S801中，处理器401解析流动性信息。处理器401例如解析从头盔105以及106发送来的声音信号并提取高频词。
在S802中，处理器401访问与骑手A以及B分别对应的DB605。在此，DB605设为构成为云的服务器104的DB605。需要说明的是，在服务器104中，处理器601不与摩托车101的信息传递部107的处理同步地预先将DB605的数据样本化直至成为图16的中段所示的数据。例如，服务器104的处理器601也可以定期地保持进行了数据的分析以及学习的结果作为样本化后的数据。根据上述那样的结构，信息传递部107的处理器401虽然得不到实时的学习结果，但能够提高对骑手A以及B的响应性。
处理器401从DB605获取该样本化后的数据，并基于在S801中提取出的高频词来获取各骑手的中意信息。在S803中，处理器401学习骑手A以及B的中意信息，确定共用的中意信息作为个人属性信息。在此，“电影XYZ”被确定为共用的个人属性信息。
在S804中，处理器401获取与“电影XYZ”相关的固定信息。固定信息通过在图7中说明过的方法获取。在S805中，处理器401将所获取的固定信息发送给信息传递部107的扬声器407或显示部406或者头盔105以及106的扬声器307。
在S805中的输出固定信息时，处理器401通过在图7中说明过那样的方法来制作消息。在图7中，虽然对根据声音信号的解析结果来制作消息的情况进行了说明，但也可以不仅仅考虑声音信号，还考虑其它流动性信息来制作消息。例如，处理器401进行来自骑手A以及B佩戴的头盔105以及106的摄像机305的人脸图像的表情判断。处理器401基于该判断结果例如笑脸判断的结果来类推出人的感情，并制作消息。
如图8那样，在摩托车101侧进行流动性信息的解析，此外，信息传递部107获取DB605的数据的分析以及学习已经完成且样本化后的数据，由此能够提高对骑手A以及B的响应性。另外，在信息传递部107获取样本化后的数据之后，即便在信息传递部107与服务器104之间的通信因何种原因被切断的情况下，信息传递部107的处理器401也能够基于所获取的数据，进行共用的个人属性信息的确定和固定信息的获取。
如以上那样，根据本实施方式，基于骑手A以及B的对话，向骑手A以及B提供适当的指导信息。另外，该指导信息成为与骑手A以及B的共用的中意信息相关的发展性的信息，因此能够进一步发展骑手A以及B的对话。
[第二实施方式]
在第一实施方式中，对基于骑手A以及B的对话而将适当的指导信息作为声音或显示数据提供给骑手A以及B的行动辅助系统100进行了说明。在本实施方式中，针对与第一实施方式的不同点，对在判断为解析了骑手A以及B的对话的结果是沉默状态的情况下将适当的指导信息作为声音或显示数据提供给骑手A以及B的行动辅助系统100进行说明。
参照图7，对本实施方式进行说明。S701以及S702与第一实施方式中的说明相同。在S703中，服务器104对从信息传递部107发送来的流动性信息进行解析。在本实施方式中，服务器104从所接收的骑手A以及B的声音信号提取出无声期间。然后，服务器104判断是否存在满足规定的条件的无声期间。在此，规定的条件是指，例如2分钟的无声期间。然后，服务器104基于其它流动性信息例如骑手A以及B的人脸图像、视线等，类推出该规定时间的无声期间的原因是否为沉默状态。需要说明的是，在此的沉默状态是指，因没有继续对话的沉默状态。
服务器104在类推出无声期间的原因为沉默状态的情况下，在S704中，分析骑手A以及B各自的DB605的数据，并学习骑手A以及B各自的中意信息。然后，服务器104确定骑手A以及B的共用的中意信息。在本实施方式中，将确定的共用的中意信息(个人属性信息)设为“电影XYZ”。在此，例如确定对于骑手A以及B均为检索数比较靠前那样的共用的中意信息“电影XYZ”。
在S705中，服务器104与第一实施方式相同地，获取与“电影XYZ”相关的固定信息。关于S706之后，与第一实施方式中的说明相同。
即便根据骑手A以及B的声音信号判断为存在例如2分钟的无声期间的情况下，作为该无声期间的原因，考虑有各种理由。例如，骑手B睡着了的情况也被认为是原因。
在本实施方式中，服务器104基于从信息传递部107发送来的流动性信息，类推出无声期间的原因是否为沉默状态。例如，作为类推的基准，服务器104分析骑手B的人脸图像以及视线。例如，若分析的结果是检测到骑手B的眼睛闭上一定时间，则服务器104类推出无声期间的原因为骑手B睡着了。另外，若分析的结果是检测到骑手B打哈欠以及视线朝向斜下方偏离一定时间等，则服务器104类推出无声期间的原因为沉默状态。
另外，如上所述，服务器104并不仅是根据固定的基准类推出是否为沉默状态，也可以进行与多个基准各自的权重相应的评分，并基于得分类推是否为沉默状态。例如，作为多个基准，也可以使用“骑手B的人脸图像的分析信息”、“骑手B的生物体信息”。在此，骑手B的人脸图像的分析信息例如包含嘴角、视线等信息，针对这些设置各权重，基于人脸图像的一定状态、视线信息的一定状态等而进行表示沉默的程度的评分。另外，骑手B的生物体信息例如包含发汗状态、体温、心跳数，针对这些设置各权重，基于这些信息处于一定状态等而进行表示沉默的程度的评分。另外，服务器104也可以通过分析DB605的数据来依次变更上述的各权重。例如，服务器104在通过分析骑手B的DB605的数据例如类别而类推出骑手B喜好户外这样的倾向的情况下，认为骑手B更善于以表情表达感情的倾向强，提高骑手B的人脸图像的分析信息的权重。
图9是示出本实施方式中的在输出固定信息之前的处理的流程图。图9的处理与本实施方式中的图7的S703～S705对应。在本实施方式中，如以下说明的那样，也可以在摩托车101侧进行S703～S705的处理的至少一部分。
在S901中，处理器401解析流动性信息并检测无声期间。例如，处理器401基于从头盔105以及106发送来的声音信号来检测满足规定的条件的无声期间。在S902中，处理器401基于从头盔105以及106、传感器组404以及摄像机405发送来的流动性信息来类推无声期间的原因是否为沉默状态。
在S902中没有类推出无声期间的原因为沉默状态的情况下，进入到S903。S903、S904、S907、S908的处理与图8的S802、S803、S804、S805中的说明相同。
在S902中类推出无声期间的原因为沉默状态的情况下，进入到S905。在S905中，处理器401访问与骑手A以及B分别对应的DB605。在此，DB605设为构成为云的服务器104的DB605。需要说明的是，在服务器104中，处理器601与摩托车101的信息传递部107的处理非同步地预先将DB605的数据样本化直至成为图16的中段所示的数据。例如，服务器104的处理器601也可以定期地保持进行了数据的分析以及学习的结果作为样本化后的数据。根据上述那样的结构，信息传递部107的处理器401虽然不能得到实时的学习结果，但能够提高对骑手A以及B的响应性。
在S906中，处理器401从DB605获取该样本化后的数据，学习骑手A以及B的中意信息，并确定共用的中意信息作为个人属性信息。在此，将“电影XYZ”确定为共用的个人属性信息。在S906之后，进入到S907。S907以及S908的处理与图8的S804、S805中的说明相同。
如以上那样，根据本实施方式，当检测到骑手A以及B的对话的沉默状态时，适当的指导信息被提供给骑手A以及B。另外，该指导信息成为与骑手A以及B的共用的中意信息相关的发展性的信息，因此能够向骑手A以及B提供发展性的对话的题材。
[第三实施方式]
在第一实施方式中，对基于骑手A以及B的对话而将适当的指导信息作为声音或显示数据而提供给骑手A以及B的行动辅助系统100进行了说明。另外，在第二实施方式中，对检测骑手A以及B的对话的沉默状态并向骑手A以及B提供发展性的对话的题材的行动辅助系统100进行了说明。在本实施方式中，针对与第一实施方式以及第二实施方式的不同点，对将解析骑手A以及B的对话的结果是虽然为骑手B的中意信息但在当前时点尚未识别到的信息提供给骑手A的行动辅助系统100进行说明。
参照图7，对本实施方式进行说明。S701～S703与第一实施方式中的说明相同。在此，S703中的来自骑手A以及B的声音信号整体的高频词设为“电影”。
在S704中，服务器104分析骑手B的DB605的数据，并学习“电影”这样的类别中的骑手B的中意信息。然后，服务器104关于骑手B的中意信息例如“电影XYZ”而确定不位于骑手B的DB605而位于骑手A的DB605的信息。例如，服务器104确定如下的词，该词是不位于骑手B的DB605而位于骑手A的DB605的类别所包含的词，并且是因“电影XYZ”而出现在因特网上的检索新闻中的词。例如，服务器104将“电影XYZ”的拍摄地“EFG街”确定为个人属性信息。
在上述说明中，虽然从在S703中的骑手A以及B的声音信号整体提取出高频词“电影”，但也可以从骑手A以及B的问答提取电影名“XYZ”。例如，在相对于骑手A的“最近，看过什么电影吗？”这样的询问而骑手B回答到“看了电影XYZ。”这样的情况下，将包含“电影XYZ”的类别中的、被包含于不位于骑手B的DB605而位于骑手A的DB605的类别且因“电影XYZ”而出现在因特网上的检索新闻中的词确定为个人属性信息。
在S704中确定的个人属性信息并不局限于在骑手A的DB605中检索次数多的中意信息。例如，在上述的例子中，“EFG街”对于骑手A而言可能与“电影XYZ”无关而恰巧是因工作到访的地点。然而，通过以上述的条件确定个人属性信息，能够将对于骑手A而言是有记忆的信息且对于骑手B而言有可能成为中意信息但尚未识别的信息即新鲜的信息提供给骑手A。另外，通过仅提供给骑手A，能够使骑手B识别为“从骑手A带来的新鲜的信息”。
在S705中，与第一实施方式相同地，服务器104获取与拍摄地“EFG街”相关的固定信息。例如，服务器104获取“电影XYZ”的拍摄地和位置信息作为与“EFG街”相关的固定信息。
在如上述例那样获取了固定信息的情况下，在S706中，服务器104也可以根据摩托车101的当前位置和“EFG街”的位置信息，将导航信息与语音指导一并作为显示数据而发送给信息传递部107。语音指导例如成为“前面，···km处有电影XYZ的拍摄地EFG街”。另外，在S708中，信息传递部107基于显示数据而在显示部406显示导航信息。
在S707中，信息传递部107将从服务器104接收到的声音数据变换为能够由骑手A的头盔105的扬声器307再生的声音信号而发送给头盔105。然后，在S709中，头盔105在扬声器307将上述的消息再生为语音指导。另外，在本实施方式中，在代替摩托车101而使用4轮机动车的情况下，也可以由车内的扬声器进行再生。在该情况下，作为扬声器，通过使用能够向位于狭小的范围内的人选择性地传递声音的参数扬声器，由此能够向想要再生指导的人选择性地传递声音。
在本实施方式中，这样，仅向骑手A通知指导信息。根据上述那样的结构，能够使骑手B意识到从骑手A接受到新鲜的信息。另外，相对于骑手A而言，能够将骑手A自身未识别的能够成为骑手B的中意信息的信息不经意地提供给骑手B。
图10是示出本实施方式中的在输出固定信息之前的处理的流程图。图10的处理与本实施方式中的图7的S703～S705对应。在本实施方式中，如以下说明的那样，也可以在摩托车101侧进行S703～S705的处理的至少一部分。
S1001以及S1002与图8的S801以及S802中的说明相同。在此，DB605设为构成为云的服务器104的DB605。需要说明的是，在服务器104中，处理器601与摩托车101的信息传递部107的处理非同步地预先将DB605的数据样本化直至成为图16的中段所示的数据。例如，服务器104的处理器601也可以定期地保持进行了数据的分析以及学习的结果作为样本化后的数据。根据上述那样的结构，信息传递部107的处理器401虽然得不到实时的学习结果，但能够提高对骑手A以及B的响应性。
在S1003中，处理器401学习骑手B的中意信息，并确定如上述那样满足条件的个人属性信息。S1004以及S1005的处理与图8的S804以及S805中的说明相同，但在语音指导仅向骑手A的头盔105的扬声器307传递这点与图8的说明不同。
如以上那样，根据本实施方式，仅向骑手A通知指导信息。根据上述那样的结构，能够使骑手B识别为从骑手A接受到新鲜的信息。
[第四实施方式]
在第一实施方式中，对基于骑手A以及B的对话而将适当的指导信息作为声音或显示数据而提供给骑手A以及B的行动辅助系统100进行了说明。另外，在第二实施方式中，对检测骑手A以及B的对话的沉默状态并向骑手A以及B提供发展性的对话的题材的行动辅助系统100进行了说明。另外，在第三实施方式中，对将解析骑手A以及B的对话的结果是在当前时点骑手B未识别的信息提供给骑手A的行动辅助系统100进行了说明。在本实施方式中，针对与第一实施方式～第三实施方式的不同点，对将骑手B身体状况不佳等不便说明的情况作为指导信息而提供给骑手A的行动辅助系统100进行说明。
图11是示出本实施方式中的行动辅助系统100的处理定序的图。在S1101中，从头盔105以及106传来的信息被发送给信息传递部107。在S1101中发送的流动性信息包括骑手A以及B的声音信号、来自摄像机305的拍摄数据、来自传感器组304的传感器信号。在S1102中，信息传递部107将流动性信息发送给服务器104。在S1102中发送的流动性信息除了包括从头盔105以及106发送来的流动性信息以外，还包括来自摩托车101的摄像机405的拍摄数据、来自传感器组404的传感器信号。另外，在S1102中发送的流动性信息包括摩托车101的驱动信息。驱动信息例如是摩托车101的速度信息。在S1103中，服务器104解析从信息传递部107发送来的流动性信息，在S1104中，基于解析结果而类推骑手B的身体状况状态。在S1103中，服务器104收集关于骑手B的流动性信息，例如声音信号、人脸图像、发汗信息、体温、心跳数。在此，类推出骑手B处于有尿意的状态。
在S1105中，服务器104获取与在S1104中类推出的骑手B的身体状况状态相应的固定信息。例如，与有尿意的状态相应的固定信息例如是附近的服务区域的位置信息。位置信息例如基于摩托车101的GPS位置信息来获取。
如上述例那样，在服务区域的位置信息被获取为固定信息的情况下，在S1106中，服务器104根据摩托车101的当前位置和服务区域的位置信息，将导航信息与语音指导一并作为显示数据而发送给信息传递部107。语音指导成为例如“前方有能够休息的场所。需要靠近吗？”。另外，在S1108中，信息传递部107基于显示数据而在显示部406显示导航信息。
在S1107中，信息传递部107将从服务器104接收到的声音数据变换为能够由骑手A的头盔105的扬声器307再生的声音信号而发送给头盔105。然后，在S1109中，头盔105在扬声器307将上述的消息再生为语音指导。另外，在本实施方式中，在代替摩托车101而使用4轮机动车的情况下，也可以由车内的扬声器进行再生。在该情况下，作为扬声器，通过使用能够向位于狭小的范围内的人选择性地传递声音的参数扬声器，由此能够向想要再生指导的人选择性地传递声音。
在本实施方式中，这样，仅向骑手A通知指导信息。根据上述那样的结构，能够不使骑手B觉察地使骑手A识别骑手B不便说明的情况。
在本例中，为了类推骑手B身体状况不佳，例如，使用以下那样的方法。服务器104根据例如骑手B的发汗信息、体温、心跳数等生物体信息的变化，来检测骑手B的身体状况不正常的情况。然后，基于声音信号、人脸图像等其它流动性信息，类推骑手B的生物体信息的变化的原因。
例如，服务器104根据最近停在服务区域的信息、时刻信息，类推骑手B的生物体信息的变化的原因为骑手B有尿意。另外，也可以是，在骑手B乘坐的后部座位上分散设置压力传感器，基于上述的信息和骑手B的身体的紧张状态的变化，类推骑手B的生物体信息的变化的原因为骑手B有尿意。或者，也可以是，服务器104预先将骑手B的Line、博客的信息获取到DB605中，基于上述的信息和骑手B的饮食信息，类推骑手B的生物体信息的变化的原因为骑手B有尿意。
除了类推为有尿意的状态以外，通过声音信号的解析，在检测到“心情差”等直接表示身体状况不佳的术语的情况下，服务器104也可以优先地类推为骑手B身体状况不佳。另外，即便在没有检测到那样的术语的情况下，也可以基于骑手B的声音的音调以及节奏的变化、人脸图像的变化，类推为上述的生物体信息的变化的原因是骑手B的身体状况不佳，从而获取附近的服务区域的位置信息。
图12是示出本实施方式中的在输出固定信息之前的处理的流程图。图12的处理与图11的S1103～S1105对应。在本实施方式中，如以下说明的那样，也可以在摩托车101侧进行S1103～S1105的处理的至少一部分。
在S1201中，处理器401解析从头盔105以及106和摩托车101发送来的流动性信息。然后，在S1202中，处理器401基于解析结果来类推骑手B的身体状况状态。在此，类推为骑手B处于有尿意的状态。
在S1203中，处理器401获取与在S1202中类推出的骑手B的身体状况状态相应的固定信息。例如，与身体状况状态相应的固定信息例如是服务区域的位置信息。位置信息例如也可以基于摩托车101的GPS位置信息来获取。在S1204中，处理器401将所获取的固定信息再生于显示部406以及头盔105的扬声器307。
如以上那样，根据本实施方式，能够不使骑手B觉察地使骑手A识别骑手B身体状况不佳等不便说明的情况。
[第五实施方式]
在第一实施方式～第四实施方式中，以骑手A以及B乘坐摩托车101为例进行了说明。在本实施方式中，对图4的信息传递部107、传感器组404、摄像机405、显示部406、扬声器407构成于机动车的方式进行说明。图13是示出本实施方式中的信息传递部1302的功能块结构的图。信息传递部1302与图4的信息传递部107对应。另外，处理器1303～扬声器1309分别与图4的处理器401～扬声器407对应。另外，GPS1311～总线1315分别与图4的GPS408～总线412对应。另外，在本实施方式中，还构成为在机动车1301的车内设有麦克风1310，从而能够获取车内的声音信号。传感器组1306例如是感知车内的温度的传感器。摄像机1307构成为能够获取车内的司机、同乘者的人脸图像。传感器组1306、摄像机1307、扬声器1309、麦克风1310例如设于车内的仪表板、支柱、车顶。
行动辅助系统100的结构除了使用图13的结构和不具有头盔105以及106以外，其余与第一实施方式～第四实施方式中的说明相同。以下，对与第一实施方式～第四实施方式的不同点进行说明。需要说明的是，以下，对司机A(父亲)、同乘者B(母亲)、同乘者C(孩子)进行乘车的情况进行说明。
图14是示出本实施方式中的行动辅助系统100的处理定序的图。在S1401中，来自传感器组1306、摄像机1307、麦克风1310的流动性信息被发送给信息传递部1302。在此的流动性信息例如是声音信号、温度、人脸图像。在S1402中，信息传递部1302将在S1401中发送来的流动性信息发送给服务器104。
在S1403中，服务器104解析从信息传递部1302发送来的流动性信息。首先，服务器104根据发送来的图像的特征量和保持于DB605的司机A、同乘者B以及C的性别、年龄等个人属性信息，来识别当前的解析对象的图像是谁。在此，识别出当前的解析对象的图像为同乘者C。
接下来，服务器104通过图像的特征量的解析来分析与该图像对应的人物的行动。例如，服务器104基于人脸的要素、罐这样的对象的动作来检测“喝果汁”这样的行动。此外，服务器104分析该行动。例如，服务器104根据喝果汁这样的行动的检测次数以及检测进度和个人属性信息来评价“喝果汁”这样的行动的适当性。在此，服务器104根据同乘者C的性别、年龄等个人属性信息和“喝果汁”这样的行动的检测次数以及检测进度，评价为喝果汁过多(即，行动不适当)。
将与图像对应的人物的行动不适当的评价作为触发，在S1404中，服务器104基于DB605所保持的司机A、同乘者B以及C的个人属性信息，来决定司机A、同乘者B以及C应采取的行动。由此，通过使司机A、同乘者B以及C进行该决定的行动，能够使同乘者C的当前的不适当的行动中止。
服务器104参照司机A、同乘者B以及C的个人属性信息，来决定司机A、同乘者B以及C的满足度变高那样的行动。此时参照的个人属性信息例如是同乘者B喜欢的美食、同乘者C的生活节奏、当前的时刻、当前的机动车1301的位置信息、附近的信息等。
例如，服务器104从DB605所保持的个人属性信息获取(1)同乘者B喜欢西餐、(2)同乘者C一天内上厕所的次数多这样的信息，并决定“在餐厅休息”这样的行动。在S1405中，服务器104获取与在S1405中决定的行动相关的固定信息。在此的获取信息例如是附近的餐厅的位置信息以及导航信息。在S1406中，服务器104将所获取的固定信息发送给信息传递部1302。
如上述例子那样，在餐厅的位置信息被获取为固定信息的情况下，在S1406中，服务器104根据机动车1301的当前位置和餐厅的位置信息，将导航信息与语音指导一并作为显示数据而发送给信息传递部1302。语音指导例如是“前面有美味的餐厅。推荐休息”。另外，在S1407中，信息传递部107基于显示数据而在显示部406显示导航信息。另外，信息传递部1302将从服务器104接收到的声音数据变换为能够由扬声器1309再生的声音信号，并在扬声器1309将上述的消息再生为语音指导。
图15是示出本实施方式中的在输出固定信息之前的处理的流程图。图15的处理与图14的S1403～S1405对应。在本实施方式中，如以下说明的那样，也可以在机动车1301侧进行S1403～S1405的处理的至少一部分。
在S1501中，处理器1303解析从车内发送来的流动性信息。在此的流动性信息是来自传感器组1306、摄像机1307、麦克风1310的声音信号、温度、人脸图像。在S1502中，处理器1303基于流动性信息的解析结果来决定司机A、同乘者B以及C应采取的行动。
在S1502中，处理器1303访问与骑手A以及B分别对应的DB605。在此，DB605设为构成为云的服务器104的DB605。需要说明的是，在服务器104中，处理器601与摩托车101的控制器1302的处理非同步地，预先将DB605的数据样本化直至成为图16的中段所示的数据。例如，服务器104的处理器601也可以定期地保持进行了数据的分析以及学习的结果作为样本化后的数据。根据上述那样的结构，控制器1302的处理器1303虽然不能得到实时的学习结果，但能够提高对司机A、同乘者B以及C的响应性。在S1502中，作为应采取的行动而决定了“在餐厅休息”。
在S1503中，处理器1303获取与所决定的行动相关的固定信息。在此，获取了附近的餐厅的位置信息以及导航信息。在S1504中，处理器1303基于所获取的固定信息，在显示部1308显示导航信息，并在扬声器1309再生语音指导。
如以上那样，根据本实施方式，能够根据车内的对话来决定接下来应采取的行动，并作为指导信息进行提供。
另外，在上述的说明中，在S1502中，将同乘者C的行动不适当的情况作为触发，来决定乘客(司机A、同乘者B以及C)的行动。然而，作为决定乘客的行动时的触发，并不局限于同乘者C的行动不适当的情况。例如，也可以基于车内的对话和时刻信息来决定乘客的行动。在该情况下，例如，只要是车内的对话中的高频词为“休息”、“肚子饿”等词且时刻信息为白天时段，则也可以将其作为触发而决定“在餐厅进行休息”这样的行动。
＜实施方式的总结＞
上述各实施方式的行动辅助系统是对车辆(101)的乘客中的至少一人的行动进行辅助的行动辅助系统(100)，其特征在于，所述行动辅助系统具备：获取所述乘客的流动性信息的第一获取单元(S702)；解析由所述第一获取单元获取的所述流动性信息的第一解析单元(S703)；基于所述第一解析单元的解析结果而获取用于辅助所述乘客的行动的辅助信息的第二获取单元(S705)；以及输出由所述第二获取单元获取的所述辅助信息的输出单元(S708、S709)。
根据上述那样的结构，例如，能够实现考虑了从车辆的乘客(骑手、驾驶手、同乘者)获取的流动性信息的行动辅助。
另外，其特征在于，所述流动性信息包括所述乘客之间的对话。根据上述那样的结构，例如，能够实现考虑了乘客之间的对话的行动辅助。
另外，其特征在于，所述流动性信息包括与所述乘客之间的对话中的音量、音色、节奏中的至少任一者有关的信息。根据上述那样的结构，能够实现考虑了与乘客之间的对话中的音量、音色、节奏中的至少任一者有关的信息的行动辅助。
另外，其特征在于，所述流动性信息包括所述乘客的行为的信息。另外，其特征在于，所述行为的信息包括表情、视线中的至少任一者。根据上述那样的结构，例如，能够实现考虑了表情、视线等乘客的行为的行动辅助。
另外，其特征在于，所述流动性信息包括所述乘客的生物体信息。另外，其特征在于，所述生物体信息包括体温、心跳数中的至少任一者。根据上述那样的结构，例如，能够实现考虑了体温、心跳数等生物体信息的行动辅助。
另外，其特征在于，所述第二获取单元从因特网获取所述辅助信息。根据上述那样的结构，例如能够实现使用了从因特网获取到的辅助信息的行动辅助。
另外，其特征在于，所述第二获取单元基于所述乘客的属性信息来获取所述辅助信息。另外，其特征在于，所述属性信息包括表示所述乘客的喜好、兴趣志向的信息。根据上述那样的结构，例如能够实现使用了基于喜好、兴趣志向等属性信息而获取到的辅助信息的行动辅助。
另外，其特征在于，所述行动辅助系统包括所述车辆和服务器，所述服务器具备存储所述属性信息的数据库(605)。根据上述那样的结构，例如能够由摩托车、机动车等车辆和构成为云且具备存储属性信息的数据库的服务器来实现行动辅助系统。
另外，其特征在于，所述服务器还具备第二解析单元，该第二解析单元解析以所述乘客为起因的大数据，并将作为该解析的结果而得到的所述属性信息存储于所述数据库，所述车辆基于作为所述第二解析单元的解析的结果而得到的所述属性信息，进行所述第二获取单元对所述辅助信息的获取。根据上述那样的结构，例如能够通过对骑手在因特网上的检索信息进行解析来生成属性信息。另外，通过在服务器进行大数据的解析，能够减轻车辆中的处理负担。
另外，其特征在于，所述车辆进行所述第二获取单元对所述辅助信息的获取。根据上述那样的结构，例如摩托车、机动车等车辆能够获取辅助信息，即便切断摩托车、机动车等与服务器之间的通信，也能够进行对乘客的行动辅助。
另外，其特征在于，所述输出单元将由所述第二获取单元获取的所述辅助信息输出给所述乘客中的至少一人的头盔(105、106)。根据上述那样的结构，例如能够将所获取的辅助信息输出给乘客中的至少一人的头盔的扬声器。
另外，其特征在于，所述头盔具备扬声器，该扬声器具有在所述输出单元的输出中使用的再生部(312)和在所述乘客之间的对话中使用的再生部(311)。根据上述那样的结构，例如，能够利用与在乘客之间的对话中使用的再生部不同的再生部来再生辅助信息，从而能够以不引起其他乘客注意的方式输出辅助信息。
上述各实施方式的行动辅助系统是对车辆(101)的乘客中的至少一人的行动进行辅助的行动辅助装置(101、104)，其特征在于，行动辅助系统具备：获取以所述乘客的生物体为起因的流动性信息的第一获取单元；解析由所述获取单元获取到的所述流动性信息的解析单元；基于所述解析单元的解析结果而获取用于辅助所述乘客的行动的辅助信息的第二获取单元；以及输出由所述第二获取单元获取的所述辅助信息的输出单元。其特征在于，所述行动辅助装置为所述车辆，所述车辆包括跨骑型车辆、机动车中的至少任一者。
根据上述那样的结构，例如，在摩托车、机动车等车辆中，能够实现考虑了流动性信息的行动辅助。
附图标记说明：
100：行动辅助系统；104：服务器；105、106：辅助信息接收部。

Claims (17)

1.一种行动辅助系统，其对跨骑型车辆的乘客中的至少一人的行动进行辅助，
其特征在于，
所述行动辅助系统具备：
第一获取单元，其获取第一乘客和第二乘客的流动性信息，该流动性信息至少包括所述乘客之间的对话；
第一解析单元，其解析由所述第一获取单元获取的所述流动性信息；
第二获取单元，其基于所述第一解析单元的解析结果，获取用于辅助所述乘客的行动的辅助信息；以及
输出单元，其根据所述第一解析单元的解析结果，将由所述第二获取单元获取的所述辅助信息选择性地输出给所述第一乘客和所述第二乘客中的至少任一者的头盔，
以基于从所述第二乘客获取到的所述对话中的词、所述第一乘客的属性信息、所述第二乘客的属性信息的所述第一解析单元的解析结果为基础，由所述第二获取单元获取到的所述辅助信息是对于所述第二乘客而言为与该词相关的新信息的情况下，所述输出单元为了使所述第一乘客向所述第二乘客提供所述新信息而将该辅助信息不输出给所述第二乘客而是输出给所述第一乘客。
2.根据权利要求1所述的行动辅助系统，其特征在于，
所述第二获取单元根据基于所述第一解析单元的解析结果而类推出的乘客的状态来获取所述辅助信息。
3.根据权利要求1或2所述的行动辅助系统，其特征在于，
所述属性信息包括表示所述乘客的喜好、兴趣志向的信息。
4.根据权利要求1或2所述的行动辅助系统，其特征在于，
所述行动辅助系统包括所述跨骑型车辆和服务器，
所述服务器具备存储所述属性信息的数据库。
5.根据权利要求4所述的行动辅助系统，其特征在于，
所述服务器还具备第二解析单元，该第二解析单元解析以所述乘客为起因的大数据，并将作为该解析的结果而得到的所述属性信息存储于所述数据库中，
所述跨骑型车辆基于作为所述第二解析单元的解析的结果而得到的所述属性信息，进行所述第二获取单元对所述辅助信息的获取。
6.根据权利要求5所述的行动辅助系统，其特征在于，
所述第二获取单元还基于从以所述第二乘客为起因的大数据类推的所述第二乘客的生物体信息来获取所述辅助信息，
所述输出单元将该辅助信息向所述第一乘客输出。
7.根据权利要求1或2所述的行动辅助系统，其特征在于，
所述第二获取单元在所述乘客之间的沉默状态下，基于所述第一乘客的属性信息和所述第二乘客的属性信息而获取所述辅助信息。
8.根据权利要求1或2所述的行动辅助系统，其特征在于，
所述流动性信息包括与所述乘客之间的对话中的音量、音色、节奏中的至少任一者有关的信息。
9.根据权利要求1或2所述的行动辅助系统，其特征在于，
所述流动性信息包括所述乘客的行为的信息。
10.根据权利要求9所述的行动辅助系统，其特征在于，
所述行为的信息包括表情、视线中的至少任一者。
11.根据权利要求1或2所述的行动辅助系统，其特征在于，
所述流动性信息包括所述乘客的生物体信息。
12.根据权利要求11所述的行动辅助系统，其特征在于，
所述生物体信息包括体温、心跳数中的至少任一者。
13.根据权利要求1或2所述的行动辅助系统，其特征在于，
所述第二获取单元从因特网获取所述辅助信息。
14.根据权利要求1或2所述的行动辅助系统，其特征在于，
所述头盔具备扬声器，该扬声器具有在所述输出单元的输出中使用的再生部和在所述乘客之间的对话中使用的再生部。
15.一种行动辅助装置，其对跨骑型车辆的乘客中的至少一人的行动进行辅助，
其特征在于，
所述行动辅助装置具备：
第一获取单元，其获取第一乘客和第二乘客的流动性信息，该流动性信息至少包括所述乘客之间的对话；
解析单元，其解析由所述第一获取单元获取到的所述流动性信息；
第二获取单元，其基于所述解析单元的解析结果，获取用于辅助所述乘客的行动的辅助信息；以及
输出单元，其根据所述解析单元的解析结果，将由所述第二获取单元获取的所述辅助信息选择性地输出给所述第一乘客和所述第二乘客中的至少任一者的头盔，
以基于从所述第二乘客获取到的所述对话中的词、所述第一乘客的属性信息、所述第二乘客的属性信息的所述解析单元的解析结果为基础，由所述第二获取单元获取到的所述辅助信息是对于所述第二乘客而言为与该词相关的新信息的情况下，所述输出单元为了使所述第一乘客向所述第二乘客提供所述新信息而将该辅助信息不输出给所述第二乘客而是输出给所述第一乘客。
16.一种行动辅助方法，其对跨骑型车辆的乘客中的至少一人的行动进行辅助，
其特征在于，
所述行动辅助方法包括：
第一获取步骤，在该第一获取步骤中，获取第一乘客和第二乘客的流动性信息，该流动性信息至少包括所述乘客之间的对话；
解析步骤，在该解析步骤中，解析在所述第一获取步骤中获取到的所述流动性信息；
第二获取步骤，在该第二获取步骤中，基于所述解析步骤中的解析结果来获取用于辅助所述乘客的行动的辅助信息；以及
输出步骤，在该输出步骤中，根据所述解析步骤中的解析结果，将在所述第二获取步骤中获取到的所述辅助信息选择性地输出给所述第一乘客和所述第二乘客中的至少任一者的头盔，
以基于从所述第二乘客获取到的所述对话中的词、所述第一乘客的属性信息、所述第二乘客的属性信息的所述解析步骤中的解析结果为基础，在所述第二获取步骤中获取到的所述辅助信息是对于所述第二乘客而言为与该词相关的新信息的情况下，在所述输出步骤中，为了使所述第一乘客向所述第二乘客提供所述新信息而将该辅助信息不输出给所述第二乘客而是输出给所述第一乘客。
17.一种存储介质，其特征在于，
所述存储介质存储有使计算机执行如下步骤的程序：
第一获取步骤，在该第一获取步骤中，获取跨骑型车辆的第一乘客和第二乘客的流动性信息，该流动性信息至少包括所述乘客之间的对话；
解析步骤，在该解析步骤中，解析在所述第一获取步骤中获取到的所述流动性信息；
第二获取步骤，在该第二获取步骤中，基于所述解析步骤中的解析结果来获取用于辅助所述乘客的行动的辅助信息；以及
输出步骤，在该输出步骤中，根据所述解析步骤中的解析结果，将在所述第二获取步骤中获取到的所述辅助信息选择性地输出给所述第一乘客和所述第二乘客中的至少任一者的头盔，
以基于从所述第二乘客获取到的所述对话中的词、所述第一乘客的属性信息、所述第二乘客的属性信息的所述解析步骤中的解析结果为基础，在所述第二获取步骤中获取到的所述辅助信息是对于所述第二乘客而言为与该词相关的新信息的情况下，在所述输出步骤中，为了使所述第一乘客向所述第二乘客提供所述新信息而将该辅助信息不输出给所述第二乘客而是输出给所述第一乘客。
CN201780089187.9A 2017-03-31 2017-03-31 行动辅助系统、行动辅助装置、行动辅助方法以及存储介质 Active CN110637334B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/013591 WO2018179331A1 (ja) 2017-03-31 2017-03-31 行動支援システム、行動支援装置、行動支援方法およびプログラム

Publications (2)

Publication Number Publication Date
CN110637334A CN110637334A (zh) 2019-12-31
CN110637334B true CN110637334B (zh) 2022-02-01

Family

ID=63674404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780089187.9A Active CN110637334B (zh) 2017-03-31 2017-03-31 行动辅助系统、行动辅助装置、行动辅助方法以及存储介质

Country Status (4)

Country Link
US (1) US11250875B2 (zh)
JP (1) JP6722347B2 (zh)
CN (1) CN110637334B (zh)
WO (1) WO2018179331A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6722347B2 (ja) 2017-03-31 2020-07-15 本田技研工業株式会社 行動支援システム、行動支援装置、行動支援方法およびプログラム
CN114255757A (zh) * 2020-09-22 2022-03-29 阿尔卑斯阿尔派株式会社 语音信息处理装置及语音信息处理方法
US11908478B2 (en) 2021-08-04 2024-02-20 Q (Cue) Ltd. Determining speech from facial skin movements using a housing supported by ear or associated with an earphone
WO2024018400A2 (en) * 2022-07-20 2024-01-25 Q (Cue) Ltd. Detecting and utilizing facial micromovements

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5243659A (en) * 1992-02-19 1993-09-07 John J. Lazzeroni Motorcycle stereo audio system with vox intercom
US5647011A (en) * 1995-03-24 1997-07-08 Garvis; Andrew W. Headphone sound system
JP2000118260A (ja) * 1998-10-09 2000-04-25 Honda Motor Co Ltd 車両用乗員対話装置
JP4193300B2 (ja) 1999-08-17 2008-12-10 株式会社エクォス・リサーチ エージェント装置
JP2001280982A (ja) * 2000-03-31 2001-10-10 Toshiba Corp 自動２輪車の情報提供装置
JP4502237B2 (ja) * 2000-11-06 2010-07-14 本田技研工業株式会社 乗員用通信装置
US20030053650A1 (en) * 2001-09-20 2003-03-20 Kuo-Shou Wang Earphone device for motorcycle rider and passenger
JP3910455B2 (ja) * 2002-01-28 2007-04-25 松下電器産業株式会社 ハンズフリー通話装置及びそのスピーカの制御方法
US7356360B2 (en) * 2002-02-05 2008-04-08 Honda Giken Kogyo Kabushiki Kaisha Radio communication system
US6732381B1 (en) * 2002-02-08 2004-05-11 Sanjiv K. Lal Sports helmet
JP2003308407A (ja) 2002-04-15 2003-10-31 Matsushita Electric Ind Co Ltd 行動支援装置および行動支援方法
DE102006051922A1 (de) * 2006-11-03 2008-05-08 Robert Bosch Gmbh Fahrerinformations- und -dialogsystem
US8457595B2 (en) * 2007-07-20 2013-06-04 Broadcom Corporation Method and system for processing information based on detected biometric event data
JP2009098964A (ja) * 2007-10-17 2009-05-07 Oki Telecommunication Systems Co Ltd ネットワークサービスシステム、サーバ、方法及びプログラム
KR20090054171A (ko) * 2007-11-26 2009-05-29 한국전자통신연구원 차량 및 운전자 정보 관리 시스템 및 그 방법
JP2009177440A (ja) * 2008-01-24 2009-08-06 Nec Corp 携帯電話装置及びその制御方法
US20110319142A1 (en) * 2008-04-01 2011-12-29 Jian-Ming Chen Helmet communication device
US9727790B1 (en) * 2010-06-04 2017-08-08 Masoud Vaziri Method and apparatus for a wearable computer with natural user interface
EP2619911A4 (en) * 2010-09-21 2015-05-06 Cellepathy Ltd SYSTEM AND METHOD FOR DETERMINING, BASED ON SENSORS, THE USER, POSITION AND / OR STATUS ROLE OF ONE OR MORE MOBILE DEVICES ON BOARD AND IMPLEMENTING THEIR USE
US9507413B2 (en) * 2010-12-03 2016-11-29 Continental Automotive Systems, Inc. Tailoring vehicle human machine interface
US20130038437A1 (en) * 2011-08-08 2013-02-14 Panasonic Corporation System for task and notification handling in a connected car
US9071892B2 (en) * 2012-05-14 2015-06-30 General Motors Llc Switching between acoustic parameters in a convertible vehicle
JP2013242763A (ja) * 2012-05-22 2013-12-05 Clarion Co Ltd 対話装置、対話システム、および対話制御方法
US9502050B2 (en) * 2012-06-10 2016-11-22 Nuance Communications, Inc. Noise dependent signal processing for in-car communication systems with multiple acoustic zones
AU2013323782A1 (en) * 2012-09-25 2015-04-16 Scoot Rides, Inc. Systems and methods for regulating vehicle access
DE102012220131A1 (de) * 2012-11-06 2014-05-08 Robert Bosch Gmbh Verfahren zum Aktivieren einer Sprachinteraktion mit einem Insassen eines Fahrzeugs und Sprachinteraktionssystem für ein Fahrzeug
WO2014124126A1 (en) * 2013-02-07 2014-08-14 Northeastern University Cyclist monitoring and recommender system
US9319019B2 (en) * 2013-02-11 2016-04-19 Symphonic Audio Technologies Corp. Method for augmenting a listening experience
JP2014167438A (ja) * 2013-02-28 2014-09-11 Denso Corp 情報通知装置
US20150285376A1 (en) * 2014-04-03 2015-10-08 Colleen M. Hageman Bicycle gear shift indicator and display
WO2016004425A1 (en) * 2014-07-04 2016-01-07 Intelligent Digital Avatars, Inc. Systems and methods for assessing, verifying and adjusting the affective state of a user
EP3224971A4 (en) * 2014-11-28 2018-07-11 Eric S. Tammam Augmented audio enhanced perception system
US10302444B2 (en) 2015-01-30 2019-05-28 Sony Corporation Information processing system and control method
US10137902B2 (en) * 2015-02-12 2018-11-27 Harman International Industries, Incorporated Adaptive interactive voice system
JP6202041B2 (ja) * 2015-04-24 2017-09-27 マツダ株式会社 車両用音声対話システム
US9815371B2 (en) * 2015-06-23 2017-11-14 Yazaki Corporation Information providing apparatus for vehicle
US9829338B2 (en) * 2015-11-21 2017-11-28 Ryan Thomas Ward System and method for providing directions haptically
US9961496B2 (en) * 2016-06-17 2018-05-01 Qualcomm Incorporated Methods and systems for context based anomaly monitoring
CN106490750A (zh) * 2016-07-12 2017-03-15 上海宏镜科技有限公司 一种多功能智能骑行安全头盔及其工作方法
CN106230460B (zh) * 2016-08-15 2019-03-15 广东远峰电子科技股份有限公司 无线遥控蓝牙耳机的通信方法、通信系统及头盔交互系统
US9955319B2 (en) * 2016-09-12 2018-04-24 Zendrive, Inc. Method for mobile device-based cooperative data capture
US9919648B1 (en) * 2016-09-27 2018-03-20 Robert D. Pedersen Motor vehicle artificial intelligence expert system dangerous driving warning and control system and method
US10423991B1 (en) * 2016-11-30 2019-09-24 Uber Technologies, Inc. Implementing and optimizing safety interventions
JP6722347B2 (ja) 2017-03-31 2020-07-15 本田技研工業株式会社 行動支援システム、行動支援装置、行動支援方法およびプログラム

Also Published As

Publication number Publication date
JP6722347B2 (ja) 2020-07-15
WO2018179331A1 (ja) 2018-10-04
CN110637334A (zh) 2019-12-31
JPWO2018179331A1 (ja) 2020-02-20
US20200020352A1 (en) 2020-01-16
US11250875B2 (en) 2022-02-15

Similar Documents

Publication Publication Date Title
CN110637334B (zh) 行动辅助系统、行动辅助装置、行动辅助方法以及存储介质
JP6575934B2 (ja) 車両運転支援システム及び車両運転支援方法
US9711056B1 (en) Apparatus, method, and system of building and processing personal emotion-based computer readable cognitive sensory memory and cognitive insights for enhancing memorization and decision making skills
JP6558719B2 (ja) 車両運転支援システム及び車両運転支援方法
CN109000635B (zh) 信息提供装置及信息提供方法
JP6575932B2 (ja) 車両運転支援システム
JP5045302B2 (ja) 自動車用情報提供装置
JP2018169706A (ja) 車両運転支援システム
EP3882097A1 (en) Techniques for separating driving emotion from media induced emotion in a driver monitoring system
JP2014052518A (ja) 広告配信システムおよび広告配信方法
CN105955490A (zh) 一种基于增强现实的信息处理方法、装置和移动终端
JP6575933B2 (ja) 車両運転支援システム
JP6555645B2 (ja) 車両運転支援システム及び車両運転支援方法
JPWO2017168465A1 (ja) 鞍乗型車両用処理装置
JP2018167648A (ja) 車両運転支援システム及び車両運転支援方法
JP4586443B2 (ja) 情報提供装置
KR102516751B1 (ko) 처리 장치, 처리 방법, 데이터 처리 장치, 데이터 처리 시스템, 데이터 처리 방법 및 프로그램
CN114286151A (zh) 视频编辑装置
JP2018169702A (ja) 車両運転支援システム
JP2018169700A (ja) 車両運転支援システム
JP2020169956A (ja) 車両の行先提案システム
CN111783550B (zh) 驾驶人情绪的监控调节方法及系统
US20210082392A1 (en) Information processing device, information processing method, and program
CN117688159A (zh) 信息搜索方法、装置、计算机设备及存储介质
JP2018169701A (ja) 車両運転支援システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant