CN115147788A - 信息处理装置、移动体、它们的控制方法以及存储介质 - Google Patents

信息处理装置、移动体、它们的控制方法以及存储介质 Download PDF

Info

Publication number
CN115147788A
CN115147788A CN202210285709.5A CN202210285709A CN115147788A CN 115147788 A CN115147788 A CN 115147788A CN 202210285709 A CN202210285709 A CN 202210285709A CN 115147788 A CN115147788 A CN 115147788A
Authority
CN
China
Prior art keywords
user
information
communication device
acquired
utterance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210285709.5A
Other languages
English (en)
Inventor
阿尼鲁德雷迪康达帕利
山田健太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN115147788A publication Critical patent/CN115147788A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0025Planning or execution of driving tasks specially adapted for specific operations
    • B60W60/00253Taxi operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/16Speech classification or search using artificial neural networks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/021Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00Indexing codes relating to the type of vehicle
    • B60W2300/34Compact city vehicles, e.g., microcars or kei cars
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/041Potential occupants
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本发明涉及信息处理装置、移动体、它们的控制方法以及存储介质。本发明目的在于更好地推定用户。另外,作为其他目的,在于调整推定出的用户和移动体之间的汇合位置。本信息处理装置具备:第一获取机构,其从用户的通信装置获取该用户的发言信息以及该通信装置的位置信息的至少一方;确定机构,其根据所述发言信息所包含的目标来确定预定区域;设定机构,其从获取到的所述发言信息以及由所述用户的通信装置获取到的位置信息的至少一方,获取所述用户的移动方向,基于获取到的所述用户的移动方向,针对所述预定区域设定所述用户存在的概率分布;以及推定机构,其基于设定的所述概率分布,推定所述用户。

Description

信息处理装置、移动体、它们的控制方法以及存储介质
技术领域
本发明涉及信息处理装置、移动体、它们的控制方法以及存储介质。
背景技术
近年来,公知有被称为超小型移动体(也被称为微型移动体)、乘车定员为一到两名左右的电动车辆(移动体),期待作为简单的移动机构而普及。
提出了对上述那样的超小型移动体进行共享地使用的汽车共享系统(专利文献1)。在该汽车共享系统中,车辆管理服务器从用户的通信装置接收包括成为汽车共享的对象的车辆(移动体)的开始使用时刻、出借场所在内的申请使用消息。而且,基于申请使用消息的内容和运输车辆的当前位置,确定至开始使用时刻为止能够到达出借场所的运输车辆,使确定出的运输车辆将共享汽车运输至出借场所。当用户在指定的开始使用时间到访出借场所则能够使用共享汽车。
现有技术文献
专利文献
专利文献1:日本特开2020-77035号公报
发明内容
发明所要解决的问题
然而,在用户使用超小型移动体的情况下,考虑用户不到访超小型移动体所停车的出借场所,而使超小型移动体和用户一边分别移动一边动态地调整汇合位置那样的使用情况。上述那样的使用情况,在因拥挤等而难以在预先指定的位置进行汇合的情况下、在用户在最初指定大致的地域、建筑物等并在相互到达附近的阶段调整具体的汇合位置的情况等下是有效的。
本发明鉴于上述问题而完成,目的在于更好地推定用户。另外,作为其他目的,在于调整推定出的用户和移动体之间的汇合位置。
用于解决问题的手段
根据本发明,是一种信息处理装置,其特征在于,所述信息处理装置具备:第一获取机构,其从用户的通信装置获取该用户的发言信息以及该通信装置的位置信息的至少一方;确定机构,其根据所述发言信息所包含的目标来确定预定区域;设定机构,其从获取到的所述发言信息以及由所述用户的通信装置获取到的位置信息的至少一方,获取所述用户的移动方向,基于获取到的所述用户的移动方向,针对所述预定区域设定所述用户存在的概率分布;以及推定机构,其基于设定的所述概率分布,推定所述用户。
另外,根据本发明,是一种信息处理装置的控制方法,其特征在于,所述控制方法具备:第一获取步骤,在所述第一获取步骤中,从用户的通信装置获取该用户的发言信息以及该通信装置的位置信息的至少一方;确定步骤,在所述确定步骤中,根据所述发言信息所包含的目标来确定预定区域;设定步骤,在所述设定步骤中,从获取到的所述发言信息以及由所述用户的通信装置获取到的位置信息的至少一方,获取所述用户的移动方向,基于获取到的所述用户的移动方向,针对所述预定区域的划分区域设定所述用户存在的概率分布;以及推定步骤,在所述推定步骤中,基于设定的所述概率分布,推定所述用户。
另外,根据本发明,提供一种存储介质,所述存储介质存储有使计算机作为如下机构而发挥功能的程序:
第一获取机构,其从用户的通信装置获取该用户的发言信息以及该通信装置的位置信息的至少一方;
确定机构,其根据所述发言信息所包含的目标来确定预定区域;
设定机构,其从获取到的所述发言信息以及由所述用户的通信装置获取到的位置信息的至少一方,获取所述用户的移动方向,基于获取到的所述用户的移动方向,针对所述预定区域设定所述用户存在的概率分布;以及
推定机构,其基于设定的所述概率分布,推定所述用户。
另外,根据本发明,是一种移动体,其特征在于,所述移动体具备:通信机构,其与用户的通信装置进行通信;拍摄机构,其拍摄移动体的周围;第一获取机构,其通过所述通信机构从用户的通信装置获取该用户的发言信息以及该通信装置的位置信息的至少一方;确定机构,其根据所述发言信息所包含的目标来确定预定区域;设定机构,其从获取到的所述发言信息以及由所述用户的通信装置获取到的位置信息的至少一方,获取所述用户的移动方向,基于获取到的所述用户的移动方向,针对所述预定区域的划分区域设定所述用户存在的概率分布;以及推定机构,其基于设定的所述概率分布,推定所述用户。
另外,根据本发明,其是一种移动体的控制方法,所述移动体具备:通信机构,其与用户的通信装置进行通信;以及拍摄机构,其拍摄移动体的周围,其特征在于,
所述控制方法包括:
第一获取步骤,在所述第一获取步骤中,通过所述通信机构从用户的通信装置获取该用户的发言信息以及该通信装置的位置信息的至少一方;
确定步骤,在所述确定步骤中,根据所述发言信息所包含的目标来确定预定区域;
设定步骤,在所述设定步骤中,从获取到的所述发言信息以及由所述用户的通信装置获取到的位置信息的至少一方,获取所述用户的移动方向,基于获取到的所述用户的移动方向,针对所述预定区域的划分区域设定所述用户存在的概率分布;以及
推定步骤,在所述推定步骤中,基于设定的所述概率分布,推定所述用户。
发明效果
根据本发明,能够较好地推定用户。另外,在于调整推定出的用户和移动体之间的汇合位置。
附图说明
图1是表示本发明的实施方式所涉及的信息处理系统的一个例子的图。
图2是表示本实施方式所涉及的移动体的硬件的结构例的框图。
图3是表示本实施方式所涉及的移动体的功能结构例的框图。
图4是表示本实施方式所涉及的服务器和通信装置的结构例的框图。
图5是用于对本实施方式所涉及的、使用了发言和图像的汇合位置的推定进行说明的图。
图6是表示本实施方式所涉及的、汇合位置的调整处理的一系列的动作的流程图。
图7是用于对本实施方式所涉及的、基于概率分布的用户的推定进行说明的图。
图8是表示本实施方式所涉及的、基于概率分布的用户的推定处理的一系列的动作的流程图。
图9是表示本实施方式所涉及的、使用了发言和图像的用户的推定处理的一系列的动作的流程图。
图10是对本实施方式所涉及的、使用了发言和图像的用户的推定进行说明的图。
图11是表示本实施方式所涉及的对推定出的用户和移动体的位置关系进行显示的画面例的图。
图12是表示其他实施方式所涉及的信息处理系统的一个例子的图。
附图标记说明
100:车辆;110:服务器;120:通信装置;404:控制单元;413:用户数据获取部;414:声音信息处理部;415:图像信息处理部;416:汇合位置推定部;417:用户推定部。
具体实施方式
以下,参照附图对实施方式进行详细说明。此外,以下的实施方式并非对技术方案所涉及的发明进行限定,另外,在实施方式中说明的特征的组合未必全部都是发明所必须的。也可以对实施方式中说明的多个特征中的两个以上的特征任意地进行组合。另外,对相同或者同样的构成标注相同的附图标记,并省略重复的说明。此外,在以下的实施方式中,以移动体为车辆来进行说明,移动体不限于车辆而可以是飞行体、机器人等。
<信息处理系统的结构>
参照图1对本实施方式所涉及的信息处理系统1的结构进行说明。信息处理系统1包括车辆(移动体)100、服务器110和通信装置(通信终端)120。在本实施方式中,服务器110使用用户130的发言信息和车辆100的周围的拍摄图像来推定用户,进而推定汇合位置并使其与车辆100汇合。用户经由在所保持的通信装置120上启动的预定的应用程序而与服务器110进行交互,一边通过发言来提供自身的位置等,一边向自身指定的汇合位置(例如,成为附近的目标的红色邮筒)移动。服务器110一边推定用户、汇合位置,一边控制车辆100使其向推定出的汇合位置移动。以下,对各结构进行详细说明。
车辆100搭载有电池,例如是主要通过马达的动力而移动的超小型移动体。所谓超小型移动体,是比一般的汽车紧凑、乘车定员为一或两名左右的超小型车辆。在本实施方式中,以将车辆100设为超小型移动体的例子进行说明,但并不意图限定本发明,例如也可以是四轮车辆、跨骑型车辆。另外,本发明的车辆不限于交通工具,也可以是装载货物而与人的步行并行的车辆、引导人的车辆。进一步而言,在本发明中,不限于四轮、两轮等车辆,也能够应用能够自主移动的步行型机器人等。即,本发明能够应用于这些车辆、步行型机器人等移动体,车辆100是移动体的一例。
车辆100例如经由Wi-Fi、第五代移动体通信等无线通信而与网络140连接。车辆100能够通过各种传感器(车辆的位置、行驶状态、周围的物体的目标物等)测量车辆内外的状态,并将测量出的数据发送至服务器110。这样收集并发送的数据一般也被称为浮动数据、探测数据、交通信息等。与车辆相关的信息以一定的间隔或者根据发生了特定的事件的情况而被发送至服务器110。车辆100即使在用户130未乘车的情况下也能够通过自动驾驶来行驶。车辆100接收从服务器110提供的控制指令等信息,或者使用由本车测量到的数据来控制车辆的动作。
服务器110是信息处理装置的一例,由一个以上的服务器装置构成,能够经由网络140获取从车辆100发送的与车辆有关的信息、从通信装置120发送的发言信息以及位置信息,控制车辆100的行驶。车辆100的行驶控制包括后述的用户130与车辆100的汇合位置的调整处理。
通信装置120例如是智能手机,但不限于此,也可以是耳机型的通信终端,还可以是个人计算机、平板终端、游戏机等。通信装置120例如经由Wi-Fi、第五代移动体通信等无线通信而与网络140连接。
网络140例如包括因特网、移动电话网等通信网,传送服务器110与车辆100、通信装置120之间的信息。在该信息处理系统1中,在位于远离的场所的用户130与车辆100接近到能够通过视觉确认(成为视觉上的目标的)目标物等的程度的情况下,使用发言信息和由车辆100拍摄到的图像信息来调整汇合位置。此外,在本实施方式中,对拍摄车辆100的周围的摄像机设置于车辆自身的例子进行说明,但不一定必须在车辆100设置摄像机等。例如,可以利用使用已经设置在车辆100周围的监视摄像机等拍摄的图像,也可以利用这两者。由此,在确定用户的位置时,能够利用以更为最佳的角度拍摄到的图像。例如,在用户对一个目标通过发言而发言了自身相对于该目标处于怎样的位置关系时,通过解析由与预测为该目标的位置接近的摄像机拍摄到的图像,能够更准确地确定请求与超小型移动体的汇合的用户。
在用户130与车辆100接近到能够通过视觉确认目标物等的程度之前,首先,服务器110使车辆100移动至包含用户的当前位置或者用户的预测位置的大致的区域。然后,当车辆100到达大致的区域时,服务器110向通信装置120发送询问与视觉上的目标相关的场所的声音信息(例如“附近有店吗?”、“在行进方向上能够看到什么?”)等。与视觉上的目标相关的场所例如包含地图信息所包含的场所的名称。在此,视觉上的目标表示用户能够视觉确认的物理上的对象,例如包括建筑物、信号机、河川、山、铜像、招牌等各种对象。服务器110从通信装置120接受包含与视觉上的目标相关的场所的用户的发言信息(例如“有某某咖啡店的建筑物”)。然后,服务器110从地图信息获取相应的场所的位置并使车辆100移动至该场所的周边(即,接近于车辆和用户能够通过视觉确认目标物等的程度)。此外,在无法根据地图信息确定位置的情况下,例如在存在多个候选位置的情况下,也能够进行追加的询问来缩减候选位置。
<移动体的结构>
接下来,参照图2,对作为本实施方式所涉及的移动体的一个示例的车辆100的结构进行说明。图2中的(A)表示本实施方式的车辆100的侧面,图2中的(B)表示车辆100的内部结构。图中箭头X表示车辆100的前后方向,F表示前,R表示后。箭头Y、Z表示车辆100的宽度方向(左右方向)、上下方向。
车辆100是具备行驶单元12并将电池13作为主电源的电动自主式车辆。电池13例如是锂离子电池等充电电池,通过从电池13供给的电力,车辆100通过行驶单元12自主行驶。行驶单元12是具备左右一对前轮20和左右一对后轮21的四轮车。行驶单元12也可以是三轮车的形态等其他形态。车辆100具备单人用或双人用的座席14。
行驶单元12具备转向机构22。转向机构22是将马达22a作为驱动源而使一对前轮20的转向角变化的机构。通过使一对前轮20的转向角变化,能够变更车辆100的行进方向。行驶单元12还具备驱动机构23。驱动机构23是以马达23a为驱动源来使一对后轮21旋转的机构。通过使一对后轮21旋转,能够使车辆100前进或后退。
车辆100具备对车辆100的周围的目标物进行检测的检测单元15~17。检测单元15~17是监视车辆100的周边的外界传感器组,在本实施方式的情况下,均是拍摄车辆100的周围的图像的拍摄装置,例如具备透镜等光学系统和图像传感器。但是,也可以代替拍摄装置或者在拍摄装置的基础上,采用雷达、光学雷达(Light Detection and Ranging:光学检测与测距)。
检测单元15在车辆100的前部沿Y方向分离地配置有两个,主要检测车辆100的前方的目标物。检测单元16分别配置于车辆100的左侧部以及右侧部,主要检测车辆100的侧方的目标物。检测单元17配置于车辆100的后部,主要检测车辆100的后方的目标物。
<移动体的控制结构>
图3是作为移动体的车辆100的控制系统的框图。在此,主要对实施本发明所需的结构进行说明。因此,除了以下说明的结构以外,还可以包含其他结构。车辆100具备控制单元(ECU)30。控制单元30包括以CPU为代表的处理器、半导体存储器等存储设备、与外部设备的接口等。在存储设备中存储处理器执行的程序、处理器在处理中使用的数据等。处理器、存储设备、接口也可以按车辆100的功能设置多组而构成为能够相互通信。
控制单元30获取检测单元15~17的检测结果、操作面板31的输入信息、从声音输入装置33输入的声音信息、来自服务器110的控制指令(例如,拍摄图像、当前位置的发送等)等,执行对应的处理。控制单元30进行马达22a、23a的控制(行驶单元12的行驶控制)、操作面板31的显示控制、基于声音的向车辆100的乘员的报告、信息的输出。
声音输入装置33对车辆100的乘员的声音进行拾音。控制单元30能够识别所输入的声音,执行对应的处理。GNSS(Global Navigation Satellite system:全球导航卫星系统)传感器34接收GNSS信号来检测车辆100的当前位置。存储装置35是存储包含车辆100能够行驶的行驶道路、建筑物等地标、门店等信息的地图数据等的大容量存储设备。在存储装置35中也可以保存处理器执行的程序、处理器在处理中使用的数据等。存储装置35也可以保存由控制单元30执行的声音识别、图像识别用的机器学习模型的各种参数(例如深度神经网络的学习完毕参数、超参数等)。通信单元36例如是能够经由Wi-Fi、第五代移动体通信等无线通信而与网络140连接的通信装置。
<服务器和通信装置的结构>
接下来,将参照图4对作为本实施例所涉及的信息处理装置的示例的服务器110和通信装置120的结构例进行说明。
(服务器的结构)
首先,对服务器110的结构例进行说明。在此,主要对实施本发明所需的结构进行说明。因此,除了以下说明的结构以外,还可以包含其他结构。控制单元404包括以CPU为代表的处理器、半导体存储器等存储设备、与外部设备的接口等。在存储设备中存储处理器执行的程序、处理器在处理中使用的数据等。处理器、存储设备、接口也可以按服务器110的功能设置多组而构成为能够相互通信。控制单元404通过执行程序来执行服务器110的各种动作、后述的汇合位置的调整处理等。控制单元404除了CPU以外,还可以包括GPU或者神经网络等适合于机器学习模型的处理的执行的专用的硬件。
用户数据获取部413获取从车辆100发送的图像、位置的信息。另外,用户数据获取部413获取从通信装置120发送的用户130的发言信息以及通信装置120的位置信息中的至少一方。用户数据获取部413可以将所获取的图像和位置信息存储在存储部403中。用户数据获取部413获取的图像、发言的信息为了得到推论结果而被输入到推论阶段的学习完毕模型,但也可以用作用于学习由服务器110执行的机器学习模型的学习数据。
声音信息处理部414包含处理声音信息的机器学习模型,执行该机器学习模型的学习阶段的处理、推论阶段的处理。声音信息处理部414的机器学习模型例如进行使用了深度神经网络(DNN)的深度学习算法的运算,识别发言信息所包含的场所名、建筑物等地标名、门店名、目标物的名称等。目标物可以包括发言信息所包含的通行人、招牌、标识、自动售货机等设置于野外的设备、窗、入口等建筑物的构成要素、道路、车辆、两轮车等。DNN通过进行学习阶段的处理而成为学习完毕的状态,通过将新的发言信息输入到学习完毕的DNN,能够进行针对新的发言信息的识别处理(推论阶段的处理)。此外,在本实施方式中,以服务器110执行声音识别处理的情况为例进行说明,但也可以在车辆、通信装置中执行声音识别处理,并将识别结果发送至服务器110。
图像信息处理部415包含处理图像信息的机器学习模型,执行该机器学习模型的学习阶段的处理、推论阶段的处理。图像信息处理部415的机器学习模型例如进行使用了深度神经网络(DNN)的深度学习算法的运算,进行识别图像信息所包含的目标物的处理。目标物可以包括图像内所包含的通行人、招牌、标识、自动售货机等设置于野外的设备、窗、入口等建筑物的构成要素、道路、车辆、两轮车等。
汇合位置推定部416执行后述的汇合位置的调整处理。关于汇合位置的调整处理在后面叙述。用户推定部417执行后述的用户的推定处理。在此,用户的推定是指推定请求与车辆100汇合的用户的推定,从预定区域内的一个以上的人中确定该请求用户的位置来推定用户。关于详细的处理将在后面叙述。
此外,服务器110一般能够使用比车辆100等丰富的计算资源。另外,通过接收、蓄积由各种车辆拍摄到的图像数据,能够收集多种多用的状况下的学习数据,能够进行与更多的状况对应的学习。
通信单元401例如是包括通信用电路等的通信装置,与车辆100、通信装置120等外部装置进行通信。通信单元401除了接收来自车辆100的图像信息、位置信息、来自通信装置120的发言信息以及位置信息中的至少一方之外,还发送向车辆100的控制指令、向通信装置120的发言信息。电源单元402向服务器110内的各部供给电力。存储部403是硬盘、半导体存储器等非易失性存储器。
(通信装置的结构)
接下来,对通信装置120的结构进行说明。通信装置120表示用户130持有的智能手机等便携设备。在此,主要对实施本发明所需的结构进行说明。因此,除了以下说明的结构以外,还可以包含其他结构。通信装置120具备控制单元501、存储部502、外部通信设备503、显示操作部504、麦克风507、扬声器508以及速度传感器509。外部通信设备503包括GPS505和通信单元506。
控制单元501包括以CPU为代表的处理器。在存储部502中存储处理器执行的程序、处理器在处理中使用的数据等。此外,存储部502也可以组装于控制单元501的内部。控制单元501通过总线等信号线与其他组件502、503、504、508、509连接,能够收发信号,控制通信装置120的整体。
控制单元501能够使用外部通信设备503的通信单元506经由网络140而与服务器110的通信单元401进行通信。另外,控制单元501经由GPS505获取各种信息。GPS505获取通信装置120的当前位置。由此,例如,能够将位置信息与用户的发言信息一起提供给服务器110。另外,在本发明中,GPS505不是必须的结构,在本发明中提供一种在无法获取GPS505的位置信息的、室内等设施内也能够利用的系统。因此,基于GPS505的位置信息作为推定用户时的补充性的信息来处理。
显示操作部504例如是触摸面板式的液晶显示器,能够进行各种显示,并且受理用户操作。在显示操作部504显示来自服务器110的询问内容、与车辆100的汇合位置等信息。此外,在从服务器110有询问的情况下,通过操作可选择地显示的麦克风按钮,能够使通信装置120的麦克风507获取用户的发言。麦克风507获取用户的发言作为声音信息。麦克风例如也可以通过按下在操作画面中显示的麦克风按钮而转移到启动状态,获取用户的发言。扬声器508在按照来自服务器110的指示向用户进行询问时,输出基于声音的消息(例如,“穿着什么颜色的衣服?”等)。如果是基于声音的询问,则即使是例如通信装置120不具有显示画面的头戴式受话器等简单的结构,也能够与用户进行交互。另外,即使在用户没有手持通信装置120的情况下,用户也能够从例如耳机等听到服务器110的询问。
速度传感器509是检测通信装置120的前后方向、左右方向、上下方向的加速度的加速度传感器。表示从速度传感器509输出的加速度的输出值被存储在存储单元502的环形缓冲器中,并且从最早记录开始被重写。服务器110也可以获取这些数据,用于检测用户的移动方向。
<使用了发言和图像的汇合位置推定的概要>
参照图5,对在服务器110中执行的、使用了发言和图像的汇合位置推定的概要进行说明。如上所述,本处理是在位于远离的场所的用户130与车辆100接近到能够通过视觉确认(成为视觉上的目标的)目标物等的程度之后执行的处理。图5表示使用用户的发言信息和由车辆100拍摄到的图像信息来理解用户与车辆的相对位置关系的情形。
首先,在S501中,用户130对通信装置120进行表示汇合位置的发言(例如,“邮筒的前面哦!”)。通信装置120通过麦克风507获取用户的发言,并且将所获取的发言信息发送到服务器110。在S502中,服务器110进行用户的发言信息的声音识别,在S503中从发言信息提取与用户的位置有关的信息。在此,作为与用户的位置相关的信息,提取表示上述的用户能够视觉确认的物理对象的名称、且表示建筑物等目标的名称的信息。
另一方面,在S511中,车辆100与用户130的距离在某种程度上接近,因此通过作为拍摄装置的检测单元15~17对车辆100的周围进行拍摄,将一个以上的拍摄数据作为图像信息向服务器110发送。此外,在此向服务器110发送的拍摄数据不限于由车辆100拍摄到的数据,也可以发送由设置于其他车辆的摄像机、设置于周边的监视摄像机拍摄到的数据。在S512中,服务器110进行接收到的一个以上的拍摄数据的图像识别(图像解析),在S513中从图像的识别结果中提取在S503中提取出的目标名。在此,以目标名的提取为例,但并不意图将本发明限定于这样的控制,例如也可以是基于图像识别的结果而识别的建筑物等对象。之后,在S514中,服务器110使用S503、S513的结果来理解用户与车辆的位置关系,推定用户,进而推定成为汇合位置的目标位置。
<汇合位置的调整处理的一系列动作>
接着,参照图6,对本实施方式所涉及的服务器110中的汇合位置的调整处理的一系列动作进行说明。此外,本处理通过控制单元404执行程序来实现。此外,在以下的说明中,为了简化说明,设为控制单元404执行各处理来进行说明,但通过(图4中上述的)控制单元404的各部来执行对应的处理。此外,在此,对用户与车辆最终汇合的流程进行说明,但本发明的特征性结构是与用户的推定相关的结构,推定汇合位置的结构不是必须的结构。即,以下,对还包括与汇合位置的推定相关的控制的处理步骤进行说明,但也可以进行仅进行与用户的推定相关的处理步骤那样的控制。
在S601中,控制单元404从通信装置120接收用于开始与车辆100的汇合的请求(汇合请求)。在S602中,控制单元404从通信装置120获取用户的位置信息。用户的位置信息是由通信装置120的GPS505获取的位置信息。在S603中,控制单元404基于在S602中获取的用户的位置,确定要汇合的大致的区域(也简称为汇合区域、预定区域)。汇合区域例如是以用户130(通信装置120)的当前位置为中心的半径为规定距离(例如数百米)的区域。
在S604中,控制单元404例如基于从车辆100定期发送的位置信息来追踪车辆100朝向汇合区域的移动。此外,控制单元404例如能够从位于用户130的当前位置(或者规定的时间后的到达地点)的周边的多个车辆中选择最接近该当前位置的车辆作为与用户130汇合的车辆100。或者,控制单元404也可以在指定特定的车辆100的信息包含于汇合请求的情况下,将该车辆100选择为与用户130汇合的车辆100。
在S605中,控制单元404判定车辆100是否已到达汇合区域。控制单元404例如在车辆100与通信装置120之间的距离为汇合区域的半径以内的情况下,判定为车辆100已到达汇合区域,使处理进入S606。否则,服务器110使处理返回S605,等待车辆100到达汇合区域。
在S606中,控制单元404设定用于使用发言来推定用户的概率分布,进行拍摄图像内的用户的推定。对使用在此的用户的发言的用户推定处理的细节在后面叙述。接着,在S607中,控制单元404基于在S606中推定出的用户,进一步推定汇合位置。例如,通过推定拍摄图像内的用户,在用户说出“附近的红色邮筒”等作为汇合位置的情况下,通过搜索与推定出的用户接近的红色邮筒,能够更准确地推定汇合位置。之后,在S608中,控制单元404将汇合位置的位置信息向车辆发送。即,控制单元404将在S607的处理中推定出的汇合位置向车辆100发送,由此使车辆100向汇合位置移动。控制单元404若将汇合位置向车辆100发送,则之后结束一系列的动作。
<概率分布的设定>
接着,参照图7说明根据用户的发言信息和位置信息中的至少一方设定预定区域中的用户存在的概率分布来推定用户的例子。在此,用户的推定基本上表示推定在对预定区域的周边进行拍摄而得到的拍摄图像中检测到的人中的哪一个是用户。
图7中的(a)表示用户说出“刚刚通过了P”的情况下的概率分布。“P”表示特定的商业设施等目标,服务器110基于大致的用户的位置信息,在地图上检索从发言信息提取出的“P”。大致的用户的位置信息根据从发言信息提取出的特定的地域、从用户所持的通信装置120的GPS505获取的位置信息等来确定。
在根据发言信息来确定大致的用户的位置信息的情况下,例如在用户说出“刚刚通过了P”之前,进一步进行了与其他的目标有关的发言的情况下,也可以基于这两个发言来确定P。例如,在用户说出“刚刚通过了P”之前,说出“现在在Q之前”的情况下,在地图上检索“Q”存在于规定范围内的“P”。“Q”与“P”同样,表示特定的商业设施等目标。这样,即使在无法利用从GPS505获取的位置信息的情况下等,也能够确定目标P。当在地图上检索到“P”时,服务器110将以“P”为中心的预定区域700划分为多个区域,分别设定表示用户存在的概率的概率分布。
在此,对各划分区域设定用户存在的概率,但按照用户的发言信息预先准备了多个模式。基本上判断用户相对于目标P的移动方向来设定概率。在此,用户的移动方向是包括各种移动方向的概念,例如,也包括表示地图上的方位(东西南北)的移动方向、用户是正接近还是正远离目标P等相对于目标的移动方向,根据从用户的发言信息以及位置信息中的至少一方得到的信息来推定。例如,在图7中的(a)中,用户130说出“越过了目标P”,能够判断为正远离目标P。因此,如图7中的(a)所示,服务器110将人正远离目标P的区域的概率设定得相对较高(概率“高”),将其周边的区域设定得次高(概率“中”),将除此以外的区域设定得相对较低(概率“低”)。此外,在决定概率“高”的区域时,能够根据用户相对于目标P的大致的位置信息以及发言信息中的至少一方来推定用户的移动方向,并根据推定出的移动方向来决定相对于目标P将哪个区域的概率设定得较高。在图7的中的(a)的例子中,能够推定为用户的移动方向是从北侧朝向南侧的方向,因此与目标P的南侧对应的区域的概率被设定得较高。
基于发言信息和从GPS505获取的位置信息中的至少一个来推定用户的移动方向。在根据发言信息进行用户的移动方向的推定的情况下,可以基于说出“越过了目标P”以前的发言信息进行推定。例如,在用户说出“越过了目标P”之前,进行了表示位于比目标P靠北侧的目标Q的附近的发言的情况下,能够推定为用户的移动方向是从北侧朝向南侧的方向。
之后,服务器110进行由车辆100的检测单元15~17拍摄到的拍摄图像的图像识别,检测存在于该预定区域的一个以上的人。在此,不仅能够利用车辆100拍摄到的图像,也能够利用由其他拍摄装置拍摄到的图像数据。服务器110通过图像解析来判断检测到的人各自的移动方向,对进行与从用户的发言信息和位置信息中的至少一方获取的用户的移动方向一致的动作的用户设定高概率。在图7中的(a)中,用“1”、“2”、“3”表示检测到的人,并且用箭头表示这些人的移动方向。因此,由于由用户说出“越过了目标P”,所以越过P的“2”的概率被设定为最高,接下来当前正越过的“3”被设定为高,关于接近目标“P”的“1”被设定为最低的概率。因此,以“2”>“3”>“1”的关系,对检测到的各个人设定概率。进而,服务器110获取对赋予给人的概率和对该人所在的区域设定的概率进行合成而得到的合成概率,将最高概率的人推定为用户。在图7中的(a)的例子中,“2”的人物被推定为用户。
图7中的(b)表示用户说出“现在正接近P”的情况下的概率分布。服务器110与在图7中的(a)中说明了“P”的情况同样地,在地图上进行检索。当在地图上检索到“P”时,服务器110将以“P”为中心的预定区域710划分为多个区域,分别设定表示用户存在的概率的概率分布。
在图7中的(b)中,用户130说出“正在接近目标P”,能够判断为正在接近目标P。因此,如图7中的(b)所示,服务器110将人正接近目标P的区域的概率设定得相对较高(概率“高”),将其周边的区域设定得次高(概率“中”),将除此以外的区域设定得相对较低(概率“低”)。此外,在决定概率“高”的区域时,能够根据用户相对于目标P的大致的位置信息,决定相对于目标P将哪个区域的概率设定得较高。在图7的中的(b)的例子中,由于之前的用户的位置能够大致识别为目标P的北侧,因此将对应的区域的概率设定得较高。
之后,服务器110进行由车辆100的检测单元15~17拍摄到的拍摄图像的图像识别,检测存在于该预定区域的一个以上的人。在此,不仅能够利用车辆100拍摄到的图像,也能够利用由其他拍摄装置拍摄到的图像数据。服务器110通过图像解析来判断检测到的人各自的移动方向,对进行与从用户的发言信息和位置信息中的至少一方获取的用户的移动方向一致的动作的用户设定高概率。在图7中的(b)中,用“1”、“2”、“3”表示检测到的人,并且用箭头表示这些人的移动方向。因此,由于用户说出“正靠近目标P”,因此正靠近目标P的“1”的概率被设定为最高,正远离目标“P”的“2”、“3”被设定为较低的概率。因此,以“1”>“2”=“3”的关系,对检测到的各个人设定概率。进而,服务器110获取对赋予给人的概率和对该人所在的区域设定的概率进行合成而得到的合成概率,将最高概率的人推定为用户。在图7中的(b)的例子中,“1”的人物被推定为用户。
<使用了发言的用户的推定处理的一系列操作>
接着,参照图8,对服务器110中的使用了发言的用户的推定处理(S606)的一系列动作进行说明。此外,本处理与图6所示的处理同样,通过控制单元404执行程序来实现。
在S801中,控制单元404向通信装置120发送询问“与视觉上的目标相关的场所”的声音信息。关于与视觉上的目标相关的场所进行询问的声音信息例如包括“附近有店吗?”这样的声音。关于与视觉上的目标相关的场所进行询问的声音信息可以是预先规定并存储于存储部403的信息。
在S802中,控制单元404从通信装置120接收用户的发言信息,识别发言内容,确定以发言内容所包含的目标为中心的预定区域。此时,用户的发言信息如“有某某咖啡店的建筑物”那样,包含与视觉上的目标相关的场所的信息。进而,在S803中,控制单元404如使用图7所述的那样,根据发言信息和用户的大致的位置,获取用户的移动方向,划分所确定的预定区域来设定概率分布。
接着,在S804中,控制单元404从车辆100等获取对在S802中确定的预定区域进行拍摄而得到的图像并进行解析。具体而言,控制单元404对所获取的拍摄图像进行解析,检测位于预定区域内的一个以上的人(候选用户)。进而,控制单元404针对检测到的各个人,根据其朝向、姿态来推定移动方向(一个以上的人的移动方向)。此外,控制单元404也能够获取时间序列的图像数据,也可以根据时间上的位置的差异来确定移动方向。进一步而言,在S805中,控制单元404对从候选用户的移动方向分别检测到的人赋予是请求与车辆汇合的用户的概率。这里的处理如使用图7说明的那样,控制单元404根据用户的发言信息赋予其概率。
在S806中,控制单元404使用发言信息、位置信息以及图像信息来推定用户,并结束本处理。关于详细的处理,使用图9在后面叙述。此外,如果在S805之前的处理中已经设定了能够确定用户的概率分布,则在S806中将具有最高概率或者预定值以上的概率的人确定为用户。另一方面,在无法确定为一个用户的情况下,如使用图9说明的那样,进一步与用户进行会话而缩减候选用户。
参照图9,对S806的详细的处理进行说明。此外,本处理与图6所示的处理同样,通过控制单元404执行程序来实现。
在S901中,控制单元404计算将在图8的流程图中设定的预定区域中的各划分区域和对检测到的一个以上的人赋予的概率合成后的合成概率,判断是否存在多个该合成概率高的候选用户。例如,合成概率的计算方法是通过将对候选用户赋予的概率和对与该候选用户的位置对应的划分区域设定的概率进行合成来计算的。在存在多个的情况下进入S902,否则进入S905。在S905中,控制单元404将具有最高合成概率的候选用户指定为用户,并且结束处理。
另一方面,在存在多个候选用户的情况下,由于不能指定用户,因此在S902中,控制单元404进一步解析通过拍摄预定区域而获得的图像,并且进一步提取所检测到的人的特征。这里的特征是指用户身上穿着的衣服的帽子、眼镜等特征、包等所持的特征等特征,例如表示它们的颜色、形状、数量等。
在S903中,控制单元404根据在S902中提取的特征,向通信装置120发送询问用户的特征的追加的声音信息(例如,“穿着什么颜色的衣服?”)。在此,发送的声音信息例如在存在多个候选用户的情况下,优选各个候选用户询问成为不同特征的事项。由此,能够更高效地确定用户。例如,在这些候选用户分别穿着的衣服的颜色不同的情况下,优选通过“穿着什么颜色的衣服?”等声音信息向用户询问。
之后,在S904中,控制单元404从通信装置120接收用户的发言信息,修正概率分布。另外,在此也可以一并接收通信装置120的位置信息,用于概率分布的修正。在此,控制单元能够在发言信息的内容中选择对人赋予的概率和对划分区域设定的概率中的至少一方作为修正的概率。在修正概率分布之后,处理返回到S901,并且控制单元404再次判断是否还存在多个候选用户。控制单元404重复执行S902至S904的处理,直到候选用户被缩减到一个人为止。
<通信装置中的显示例>
图10表示对使用了发言和图像的用户的推定过程进行表示的通信装置120的显示部的一例。图10所示的显示画面1000按照从服务器110提供的画面信息显示于通信装置120的显示操作部504,表示在车辆与用户的汇合位置的调整中进行用户的推定的情形。因此,通信装置120的显示操作单元504可以用作作为网页服务器的服务器110的网页浏览器。
显示1001表示通信装置120获取用户的发言并且以字符串显示所获取的内容的状态。例如,用户可以通过在一边按下麦克风按钮1006一边向通信装置120发出发言来向通信装置120提供其自身的发言。由于需要对要显示的字符串进行语言解析,因此优选不通过通信装置120进行语言解析,而从服务器110接收发言信息的解析结果并进行显示。由此,能够减轻通信装置120中的处理负荷,并且不需要对通信装置120安装语言解析模块。在图8中说明的针对预定区域的概率分布的设定的结果是在图9的S901中存在多个候选用户的情况下显示显示1002,包含在用户可能存在的相应区域中存在多个候选用户的意思的消息。
显示1003表示从服务器110向用户的询问,将从服务器110向通信装置120发送的声音信息以消息(例如,“穿着什么颜色的衣服?”)显示。此时,通信装置120也可以经由扬声器508输出按照消息的声音。之后,用户一边按下麦克风按钮1006,一边向通信装置120的麦克风507发出针对询问的回答。显示1004表示用户的回答,用消息显示由服务器110解析出的发言信息。在显示1004中,显示由服务器110解析的用户的发言(例如,“穿着红色衣服”)。之后,当服务器110将候选用户缩减到一个人而确定用户时,对显示1005的消息(“推定了用户”)进行显示。
在显示画面1000上,还可以以可操作的方式显示地图显示按钮1007。当对该地图显示按钮1007进行操作时,转移到后述的地图显示画面1100。地图显示按钮1007可以在推定出用户的阶段以可操作的方式显示。
图11表示显示推定出的用户与车辆的位置关系的地图显示画面1100。地图显示画面1100显示于通信装置120的显示操作部504,显示预定区域周边的地图。
地图上的显示1101表示在S606中推定出的用户。另外,显示1002表示与用户130汇合的车辆100。显示1103表示在S802中根据用户的发言信息确定的目标的位置。显示1104表示在S607中根据用户的发言信息推定出的汇合位置。这样,在地图显示画面1100中,将推定出的用户、目标、汇合位置等显示在预定区域的地图上来表示它们的位置关系。此外,用户能够确认这些位置关系,再次调整汇合位置。按钮1105是用于向发言画面转移的按钮,若被操作则向显示画面1000转移。用户操作按钮1105返回到显示画面1000,能够通过发言向服务器110请求汇合位置的再调整等。
此外,在此,对在推定出用户的阶段显示的地图显示画面的例子进行说明,但并不意图限定本发明。例如,也可以在显示了多个候选用户的阶段,进行地图显示,将多个候选用户以可选择的方式显示在表示预定区域的地图上,使用户选择表示自身的候选用户。或者,也可以提供能够在该拍摄图像上选择在拍摄图像上检测到的多个候选用户的显示画面。在该情况下,例如也可以将检测到的人以线等包围,用户通过选择其内部来选择用户。这样,通过使用户选择自身,能够更高效且准确地确定用户。另外,也可以不进行推定出的汇合位置的显示,也可以原本就不进行汇合位置的推定。在该情况下,例如可以以接近推定出的用户的方式控制车辆100,也可以要求用户重新指定汇合位置。另外,也可以从车辆100向用户提议汇合位置。
<变形例>
以下,对本发明的变形例进行说明。在上述实施方式中,对在服务器110中执行汇合位置的调整处理的例子进行了说明。但是,上述的汇合位置的调整处理也能够在车辆侧执行。在该情况下,如图12所示,信息处理系统1200由车辆1210和通信装置120构成。用户的发言信息从通信装置120向车辆1210发送。由车辆1210拍摄到的图像信息代替经由网络发送,而由车辆内的控制单元处理。车辆1210的结构除了控制单元30能够执行汇合位置的调整处理这一点之外,可以是与车辆100相同的结构。车辆1210的控制单元30作为车辆1210中的控制装置进行动作,通过执行所存储的程序来执行上述的汇合位置的调整处理。图6、图8以及图9所示的一系列的动作中的服务器与车辆之间的交互只要在车辆的内部(例如在控制单元30的内部、或者控制单元30与检测单元15之间)进行即可。关于其他处理,能够与服务器同样地执行。
这样,在调整用于使用户与车辆汇合的汇合位置的车辆的控制装置中,从通信装置获取包含视觉上的目标的、与汇合位置有关的发言信息以及位置信息中的至少一方。然后,确定上述发言信息中包含的视觉上的目标,从发言信息和位置信息中的至少一方获取用户的移动方向,基于获取的用户的移动方向来推定拍摄图像内的用户。进一步,基于推定出的用户来推定汇合位置。
<实施方式的总结>
1.上述实施方式的信息处理装置(例如,110)具备:
第一获取机构(401、413),其从用户的通信装置获取该用户的发言信息以及该通信装置的位置信息的至少一方;
确定机构(417),其根据所述发言信息所包含的目标来确定预定区域;
设定机构(417、S801~S805),其从获取到的所述发言信息以及由所述用户的通信装置获取到的位置信息的至少一方,获取所述用户的移动方向,基于获取到的所述用户的移动方向,针对所述预定区域设定所述用户存在的概率分布;以及
推定机构(417、S806),其基于设定的所述概率分布,推定所述用户。
根据该实施方式,能够较好地推定用户。
2.在上述实施方式的信息处理装置的基础上,所述信息处理装置还具备第二获取机构(401),该第二获取机构获取在确定出的所述预定区域的周围拍摄到的拍摄图像,所述设定机构在由所述第二获取机构获取到的所述拍摄图像中检测一个以上的人(S804)。
根据该实施方式,能够从基于用户的发言信息而确定出的预定区域周边的拍摄图像中所检测出的人中确定用户,并能够更准确地进行用户的推定。
3.在上述实施方式的信息处理装置的基础上,所述推定机构根据所述拍摄图像来解析所述一个以上的人相对于所述目标的移动方向,基于由所述设定机构设定的所述概率分布、解析出的所述一个以上的人的移动方向,来推定所述用户(S805)。
根据该实施方式,在推定用户时,通过在各个移动方向解析检测到的人,能够更加准确地确定用户。
4.在上述实施方式的信息处理装置的基础上,所述推定机构对解析出的所述一个以上的人的移动方向中的、与所述用户的移动方向一致的移动方向的人,赋予比不一致的移动方向的人高的概率(S805)。
根据该实施方式,在推定用户时,通过在各个移动方向解析检测到的人,并与用户的发言信息进行组合,能够更加准确地确定用户。
5.在上述实施方式的信息处理装置的基础上,所述推定机构基于由所述设定机构设定的所述概率分布、赋予所述一个以上的人的概率两者的合成概率来推定所述用户(S901、S905)。另外,所述推定机构将所对应的所述合成概率为最高的人或预定值以上的人推定为所述用户。
根据该实施方式,在推定用户时,通过在各个移动方向解析检测到的人,并与用户的发言信息进行组合,能够更加准确地确定用户。
6.在上述实施方式的信息处理装置的基础上,在无法确定为一个用户的情况下,所述推定机构通过所述第一获取机构进一步获取所述用户的发言信息,根据获取到的所述发言信息以及拍摄图像来更新所述合成概率并推定所述用户(S902~S904)。
根据该实施方式,通过进行向用户的追加的询问,能够缩减候选用户,并能够更准确地确定用户。
7.在上述实施方式的信息处理装置的基础上,所述第一获取机构基于由位于用户的周边的移动体拍摄到的拍摄图像的解析来对所述用户进行询问,从所述通信装置获取所述用户的发言信息作为该询问的响应(S902、S903)。
根据该实施方式,的通过进行基于图像解析向用户的追加的询问,能够缩减候选用户,并能够更准确地确定用户。
8.在上述实施方式的信息处理装置的基础上,所述第二获取机构获取由位于用户的周边的移动体拍摄到的拍摄图像、以及由位于所述移动体的周围的拍摄机构拍摄到的拍摄图像的至少一方。
根据该实施方式,不仅能够利用设置于移动体的拍摄机构,也能够利用其他移动体的拍摄机构、周围的监视摄像机的拍摄图像,从而更加准确地进行用户的推定、推定汇合位置。
9.在上述实施方式的信息处理装置的基础上,所述信息处理装置还具备提供机构,该提供机构向所述通信装置提供如下画面信息,该画面信息显示对由所述第一获取机构获取到的发言信息进行语言解析后的结果(图10)。
根据该实施方式,能够向用户通知系统侧怎样识别用户的发言信息,从而能够防止基于误解的解析而进行的推定。
10.在上述实施方式的信息处理装置的基础上,所述提供机构还向所述通信装置提供如下画面信息,该画面信息以可选择的方式显示由所述第二获取机构获取到的拍摄图像中检测出的一个以上的人中的多个候选用户。
11.在上述实施方式的信息处理装置的基础上,所述推定机构按照推定出的所述用户,进一步推定用户和车辆的汇合位置(S607)。
根据该实施方式,能够较好地推定用户,并调整想要汇合的用户和车辆之间的汇合位置。
根据该实施方式,能够使用户从多个候选用户中选择自身,并能够更准确地确定用户。

Claims (17)

1.一种信息处理装置,其特征在于,
所述信息处理装置具备:
第一获取机构,其从用户的通信装置获取该用户的发言信息以及该通信装置的位置信息的至少一方;
确定机构,其根据所述发言信息所包含的目标来确定预定区域;
设定机构,其从获取到的所述发言信息以及由所述用户的通信装置获取到的位置信息的至少一方,获取所述用户的移动方向,基于获取到的所述用户的移动方向,针对所述预定区域设定所述用户存在的概率分布;以及
推定机构,其基于设定的所述概率分布,推定所述用户。
2.根据权利要求1所述的信息处理装置,其特征在于,
所述信息处理装置还具备第二获取机构,该第二获取机构获取在确定出的所述预定区域的周围拍摄到的拍摄图像,
所述设定机构在由所述第二获取机构获取到的所述拍摄图像中检测一个以上的人。
3.根据权利要求2所述的信息处理装置,其特征在于,所述推定机构根据所述拍摄图像来解析所述一个以上的人相对于所述目标的移动方向,基于由所述设定机构设定的所述概率分布、解析出的所述一个以上的人的移动方向,来推定所述用户。
4.根据权利要求3所述的信息处理装置,其特征在于,所述推定机构对解析出的所述一个以上的人的移动方向中的、与所述用户的移动方向一致的移动方向的人,赋予比不一致的移动方向的人高的概率。
5.根据权利要求4所述的信息处理装置,其特征在于,所述推定机构基于由所述设定机构设定的所述概率分布、赋予所述一个以上的人的概率两者的合成概率来推定所述用户。
6.根据权利要求5所述的信息处理装置,其特征在于,所述推定机构将所对应的所述合成概率为最高的人推定为所述用户。
7.根据权利要求5所述的信息处理装置,其特征在于,所述推定机构将所对应的所述合成概率为预定值以上的人推定为所述用户。
8.根据权利要求5所述的信息处理装置,其特征在于,在无法确定为一个用户的情况下,所述推定机构通过所述第一获取机构进一步获取所述用户的发言信息,根据获取到的所述发言信息以及拍摄图像来更新所述合成概率并推定所述用户。
9.根据权利要求8所述的信息处理装置,其特征在于,所述第一获取机构基于由位于用户的周边的移动体拍摄到的拍摄图像的解析来对所述用户进行询问,从所述通信装置获取所述用户的发言信息作为该询问的响应。
10.根据权利要求2所述的信息处理装置,其特征在于,所述第二获取机构获取由位于用户的周边的移动体拍摄到的拍摄图像、以及由位于所述移动体的周围的拍摄机构拍摄到的拍摄图像的至少一方。
11.根据权利要求2所述的信息处理装置,其特征在于,所述信息处理装置还具备提供机构,该提供机构向所述通信装置提供如下画面信息,该画面信息显示对由所述第一获取机构获取到的发言信息进行语言解析后的结果。
12.根据权利要求11所述的信息处理装置,其特征在于,所述提供机构还向所述通信装置提供如下画面信息,该画面信息以可选择的方式显示由所述第二获取机构获取到的拍摄图像中检测出的一个以上的人中的多个候选用户。
13.根据权利要求1所述的信息处理装置,其特征在于,所述推定机构按照推定出的所述用户,进一步推定用户和移动体的汇合位置。
14.一种信息处理装置的控制方法,其特征在于,
所述控制方法具备:
第一获取步骤,在所述第一获取步骤中,从用户的通信装置获取该用户的发言信息以及该通信装置的位置信息的至少一方;
确定步骤,在所述确定步骤中,根据所述发言信息所包含的目标来确定预定区域;
设定步骤,在所述设定步骤中,从获取到的所述发言信息以及由所述用户的通信装置获取到的位置信息的至少一方,获取所述用户的移动方向,基于获取到的所述用户的移动方向,针对所述预定区域的划分区域设定所述用户存在的概率分布;以及
推定步骤,在所述推定步骤中,基于设定的所述概率分布,推定所述用户。
15.一种存储介质,其特征在于,
所述存储介质存储有用于使计算机作为如下机构而发挥功能的程序:
第一获取机构,其从用户的通信装置获取该用户的发言信息以及该通信装置的位置信息的至少一方;
确定机构,其根据所述发言信息所包含的目标来确定预定区域;
设定机构,其从获取到的所述发言信息以及由所述用户的通信装置获取到的位置信息的至少一方,获取所述用户的移动方向,基于获取到的所述用户的移动方向,针对所述预定区域设定所述用户存在的概率分布;以及
推定机构,其基于设定的所述概率分布,推定所述用户。
16.一种移动体,其特征在于,
所述移动体具备:
通信机构,其与用户的通信装置进行通信;
拍摄机构,其拍摄移动体的周围,
第一获取机构,其通过所述通信机构从用户的通信装置获取该用户的发言信息以及该通信装置的位置信息的至少一方;
确定机构,其根据所述发言信息所包含的目标来确定预定区域;
设定机构,其从获取到的所述发言信息以及由所述用户的通信装置获取到的位置信息的至少一方,获取所述用户的移动方向,基于获取到的所述用户的移动方向,针对所述预定区域的划分区域设定所述用户存在的概率分布;以及
推定机构,其基于设定的所述概率分布,推定所述用户。
17.一种移动体的控制方法,所述移动体具备:通信机构,其与用户的通信装置进行通信;以及拍摄机构,其拍摄移动体的周围,其特征在于,
所述控制方法包括:
第一获取步骤,在所述第一获取步骤中,通过所述通信机构从用户的通信装置获取该用户的发言信息以及该通信装置的位置信息的至少一方;
确定步骤,在所述确定步骤中,根据所述发言信息所包含的目标来确定预定区域;
设定步骤,在所述设定步骤中,从获取到的所述发言信息以及由所述用户的通信装置获取到的位置信息的至少一方,获取所述用户的移动方向,基于获取到的所述用户的移动方向,针对所述预定区域的划分区域设定所述用户存在的概率分布;以及
推定步骤,在所述推定步骤中,基于设定的所述概率分布,推定所述用户。
CN202210285709.5A 2021-03-31 2022-03-22 信息处理装置、移动体、它们的控制方法以及存储介质 Pending CN115147788A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-061595 2021-03-31
JP2021061595A JP2022157401A (ja) 2021-03-31 2021-03-31 情報処理装置、移動体、それらの制御方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN115147788A true CN115147788A (zh) 2022-10-04

Family

ID=83405014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210285709.5A Pending CN115147788A (zh) 2021-03-31 2022-03-22 信息处理装置、移动体、它们的控制方法以及存储介质

Country Status (3)

Country Link
US (1) US20220315063A1 (zh)
JP (1) JP2022157401A (zh)
CN (1) CN115147788A (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020135113A (ja) * 2019-02-14 2020-08-31 トヨタ自動車株式会社 走行制御装置および走行制御方法
WO2021100190A1 (ja) * 2019-11-22 2021-05-27 三菱電機株式会社 合流支援装置、合流支援システム、及び、合流支援方法

Also Published As

Publication number Publication date
US20220315063A1 (en) 2022-10-06
JP2022157401A (ja) 2022-10-14

Similar Documents

Publication Publication Date Title
AU2021203701B2 (en) Recognizing assigned passengers for autonomous vehicles
US10496889B2 (en) Information presentation control apparatus, autonomous vehicle, and autonomous-vehicle driving support system
US20180224858A1 (en) Autonomous driving device and autonomous driving method
JP2017140890A (ja) 情報処理装置、情報処理方法、及び、プログラム
KR20170010645A (ko) 자율 주행 차량 및 이를 구비하는 자율 주행 차량 시스템
US20220315062A1 (en) Information processing apparatus, control apparatus for moving body, method of controlling information processing apparatus, and method of controlling moving body
WO2019188391A1 (ja) 制御装置、制御方法、並びにプログラム
KR20210082448A (ko) 정보 처리 장치, 정보 처리 방법 및 정보 처리 프로그램
CN114115204A (zh) 管理装置、管理系统、管理方法及存储介质
US20230111327A1 (en) Techniques for finding and accessing vehicles
US11904893B2 (en) Operating a vehicle
US20220277556A1 (en) Information processing device, information processing method, and program
KR20160144643A (ko) 어라운드 뷰 제공장치 및 이를 구비한 차량
CN115147788A (zh) 信息处理装置、移动体、它们的控制方法以及存储介质
KR20160064762A (ko) 차량용 디스플레이 장치 및 이를 구비한 차량
CN114207685B (zh) 自主车辆交互系统
JP2021193583A (ja) 運転評価モデル適合装置、端末装置、制御方法、プログラム及び記憶媒体
US20230298340A1 (en) Information processing apparatus, mobile object, control method thereof, and storage medium
JP2020106997A (ja) 車載装置、通信システム
WO2023187890A1 (ja) 移動体の制御装置、移動体の制御方法、移動体、情報処理方法及びプログラム
US20230294739A1 (en) Mobile body control device, mobile body control method, mobile body, information processing method, and storage medium
US20230128104A1 (en) Accessibility system for assisting a user in interacting with a vehicle
KR20210098180A (ko) 하차 위치 알림 방법 및 그 알림을 위한 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination