CN115209046B - 信息处理设备，非暂时性存储介质和信息处理方法 - Google Patents

信息处理设备，非暂时性存储介质和信息处理方法 Download PDF

Info

Publication number
CN115209046B
CN115209046B CN202210381327.2A CN202210381327A CN115209046B CN 115209046 B CN115209046 B CN 115209046B CN 202210381327 A CN202210381327 A CN 202210381327A CN 115209046 B CN115209046 B CN 115209046B
Authority
CN
China
Prior art keywords
specific
destination
time
vehicle
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210381327.2A
Other languages
English (en)
Other versions
CN115209046A (zh
Inventor
中岛丰和
釜贺隆市
三浦光博
马场康宽
真屋朋和
小林亮介
久野玄史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN115209046A publication Critical patent/CN115209046A/zh
Application granted granted Critical
Publication of CN115209046B publication Critical patent/CN115209046B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Navigation (AREA)

Abstract

本发明涉及信息处理设备，非暂时性存储介质和信息处理方法。一种可与车辆通信的信息处理设备包括控制器。控制器被配置成与日期时间相关联地存储车辆中用户的行为信息，当检测到特定时间的行为信息与比特定时间更晚的时间的行为信息之间的差异时，经由车辆的成像单元获取图像，与日期时间以及行为信息相关联地存储图像。

Description

信息处理设备，非暂时性存储介质和信息处理方法
技术领域
本公开涉及信息处理设备、非暂时性存储介质和信息处理方法。
背景技术
在现有技术中，已知一种技术，其中，当车辆经过用户指定的位置时，由车内相机捕获图像，并将捕获的图像作为记忆存储(例如，日本未审查专利申请公开No.2019-086372(JP 2019-086372A))。
发明内容
在上述技术中，用户需要指定位置。在捕获图像的数量大且没有指定位置的情况下，难以提取与特定记忆相关的图像。
本公开提供了一种信息处理设备、非暂时性存储介质和信息处理方法，利用其可以自动存储图像。
本公开的第一方面涉及一种可与车辆进行通信的信息处理设备。该信息处理设备包括控制器。控制器被配置成与日期时间相关联地存储车辆中的用户的行为信息，当检测到特定时间的行为信息与比特定时间更晚的时间的行为信息之间的差异时，经由车辆的成像单元获取图像，并且与日期时间以及行为信息相关联地存储图像。
在根据本公开的第一方面的信息处理设备中，行为信息可以包括车辆的驾驶信息。
在根据本公开的第一方面的信息处理设备中，驾驶信息可以包括目的地、访问特定目的地的频率和到特定目的地的移动路线中的至少一个。
在根据本公开的第一方面的信息处理设备中，行为信息可以包括用户的动作信息。
在根据本公开的第一方面的信息处理设备中，动作信息可以包括关于表示用户情感的动作的信息。
在根据本公开的第一方面的信息处理设备中，控制器还可以被配置为：当检测到差异时经由车辆的语音输入单元获取用户的语音。
在根据本公开的第一方面的信息处理设备中，控制器还可以被配置为：当检测到差异时将差异之前的图像和差异之后的图像输出到车辆的输出单元。
车辆可以包括根据本公开的第一方面的信息处理设备。
本公开的第二方面涉及一种存储指令的非暂时性存储介质，该指令可由一个或多个处理器执行，并且使得一个或多个处理器执行功能，包括：与日期时间相关联地存储车辆中的用户的行为信息；当检测到特定时间的行为信息与比特定时间更晚的时间的行为信息之间的差异时，经由车辆的成像单元获取图像；以及与日期时间以及行为信息相关联地存储图像。
在根据本公开的第二方面的非暂时性存储介质中，行为信息可以包括车辆的驾驶信息。
在根据本公开的第二方面的非暂时性存储介质中，驾驶信息可以包括目的地、访问特定目的地的频率和到特定目的地的移动路线中的至少一个。
在根据本公开的第二方面的非暂时性存储介质中，行为信息可以包括用户的动作信息。
在根据本公开的第二方面的非暂时性存储介质中，动作信息可以包括关于表示用户情感的动作的信息。
在根据本公开的第二方面的非暂时性存储介质中，功能还可以包括：当检测到差异时，经由车辆的语音输入单元获取用户的语音。
本公开的第三方面涉及一种由可与车辆进行通信的信息处理设备执行的信息处理方法。该信息处理方法包括：与日期时间相关联地存储车辆中的用户的行为信息；当检测到特定时间的行为信息与比特定时间更晚的时间的行为信息之间的差异时，通过车辆的成像单元获取图像；以及与日期时间以及行为信息相关联地存储图像。
在根据第三方面的信息处理方法中，行为信息可以包括车辆的驾驶信息。
在根据第三方面的信息处理方法中，驾驶信息可以包括目的地、访问特定目的地的频率和到特定目的地的移动路线中的至少一个。
在根据第三方面的信息处理方法中，行为信息可以包括用户的动作信息。
在根据第三方面的信息处理方法中，动作信息可以包括关于表示用户情感的动作的信息。
根据第三方面的信息处理方法还可以包括：当检测到差异时，经由车辆的语音输入单元获取用户的语音。
利用根据本公开各方面的信息处理设备、非暂时性存储介质和信息处理方法，可以自动存储图像。
附图说明
下面将参照附图描述本发明的示例性实施例的特征、优点以及技术和工业意义，其中相同的附图标记表示相同的元件，并且其中：
图1是信息处理系统的示意图；
图2是示出信息处理设备的配置的框图；
图3是示出车辆的配置的框图；
图4是示出目的地数据库(DB)的数据结构的表；
图5是示出动作DB的数据结构的表；
图6是示出运动图像的示例的图；
图7是示出运动图像的另一示例的示意图；以及
图8是示出信息处理设备的操作的流程图。
具体实施方式
图1是本实施例的信息处理系统S的示意图。信息处理系统S包括能够经由网络NW彼此通信的信息处理设备1和车辆2。网络NW的示例包括移动通信网络和因特网。
在图1中，为了说明的简单起见，示出了一个信息处理设备1和一个车辆2。然而，信息处理设备1的数量和车辆2的数量不限于此。例如，由本实施例中的信息处理设备1执行的处理可以由以分散方式布置的多个信息处理设备1执行。用户U01可以操作多个车辆2。
将描述由本实施例的信息处理设备1执行的处理的概要。信息处理设备1的控制器11与日期时间相关联地存储车辆2中的用户U01的行为信息，并且当检测到特定时间的行为信息与比特定时间更晚的时间的行为信息之间的差异时，经由车辆2的成像单元获取图像。控制器11与日期时间以及行为信息相关联地存储图像。利用这样的配置，当用户的行为发生变化时，信息处理设备1能够自动存储图像。因此，利用信息处理设备1，用户U01可以稍后提取与特定记忆相关联的图像。
信息处理设备1安装在诸如数据中心的设施中。信息处理设备1是诸如属于云计算系统或其他计算系统的服务器的计算机。作为替代示例，信息处理设备1可以安装在车辆中。
参照图2，详细说明信息处理设备1的内部配置。
信息处理设备1包括控制器11、通信单元12和存储单元13。信息处理设备1的组件彼此连接，使得组件可以经由例如专用线路彼此通信。
控制器11包括一个或多个通用处理器，例如，包括中央处理单元(CPU)或微处理单元(MPU)。控制器11可以包括专门用于特定处理的一个或多个专用处理器。代替包括处理器控制器11可以包括一个或多个专用电路。专用电路可以是例如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。控制器11可以包括电子控制单元(ECU)。控制器11经由通信单元12发送和接收任何信息。
通信单元12包括符合用于连接到网络NW的一个或多个有线或无线局域网(LAN)标准的通信模块。通信单元12可以包括符合包括长期演进(LTE)、第四代(4G)和第五代(5G)的一个或多个移动通信标准的模块。通信单元12可以包括符合包括蓝牙(注册商标)、AirDrop(注册商标)、IrDA、ZigBee(注册商标)、FeliCa(注册商标)和RFID的一个或多个短距离通信标准或规范的通信模块等。通信单元12经由网络NW发送和接收任何信息。
存储单元13包括例如半导体存储器、磁存储器、光存储器或者半导体存储器、磁存储器和光存储器中的至少两者的组合。然而，本公开不限于此。半导体存储器例如是RAM或ROM。RAM例如是SRAM或DRAM。例如，ROM是EEPROM。存储单元13例如可以用作主存储装置、辅助存储装置或高速缓冲存储器。存储单元13可以存储关于由控制器11执行的分析或处理结果的信息。存储单元13可以存储与信息处理设备1的操作或控制有关的各种信息项等。存储单元13可以存储系统程序、应用程序、嵌入式软件等。存储单元13包括稍后将描述的目的地DB和动作DB。
车辆2的示例包括任何类型的机动车辆，例如微移动性装置、汽油车、柴油车、HEV、PHEV、BEV和FCEV。车辆2的组件彼此连接，使得组件可以经由诸如控制器区域网络(CAN)或专用线路的车载网络彼此通信。“HEV”是“混合动力电动车辆(hybrid electric vehicle)”的缩写。“PHEV”是“插电式混合动力电动车辆(plug-in hybrid electric vehicle)”的缩写。“BEV”是“电池电动车辆(battery electric vehicle)”的缩写。“FCEV”是“燃料电池电动车辆(fuel cell electric vehicle)”的缩写。本实施例的车辆2由驾驶员驾驶。作为替代示例，车辆2的驾驶可以在任何级别上自动化。例如，自动化的级别是SAE级别分类中的第1级到第5级中的任何一个。“SAE”是“汽车工程师协会(society of automotiveengineers)”的缩写。车辆2可以是专用于MaaS的车辆。“MaaS”是“移动即服务(mobility-as-a-service)”的缩写。车辆2可以是例如自行车、电动自行车或摩托车。
参照图3，将详细描述车辆2的内部配置。
车辆2包括控制器21、通信单元22、存储单元23、成像单元24、语音输入单元25、输出单元26和位置测量单元27。车辆2的组件彼此连接，使得组件可以经由例如专用线路彼此通信。
车辆2的控制器21、通信单元22和存储单元23的硬件配置可以与信息处理设备1的控制器11、通信单元12和存储单元13的硬件配置相同。这里，将省略其描述。
成像单元24包括相机。成像单元24可以对成像单元24的周边进行成像。成像单元24可以将捕获的图像记录在存储单元23中，或者将捕获的图像发送到控制器21以进行图像分析。图像的示例包括静止图像和运动图像。
语音输入单元25包括接收语音输入的麦克风。语音输入单元25收集车辆2内部或外部的声音。具有麦克风功能的电子装置，诸如由车辆2的驾驶员使用的智能手机，可以用作语音输入单元25。代替设置在车辆2中，语音输入单元25可以作为外部输出装置连接到车辆2。作为连接方法，例如，可以使用诸如USB、HDMI(注册商标)或蓝牙(注册商标)的任何方法。“USB”是“通用串行总线(universal serial bus)”的缩写。“HDMI(注册商标)”是“高清多媒体接口(high-definition interface)”的缩写。
输出单元26包括至少一个输出接口。输出接口例如是显示器或扬声器。该显示器例如是LCD或有机EL显示器。“LCD”是“液晶显示器(liquid crystal display)”的缩写。“EL”是“电致发光(electroluminescence)”的缩写。输出单元26输出通过车辆2的操作获得的图像或语音。图像或语音可以在预定的时间段内输出。代替设置在车辆2中，输出单元26可以作为外部输出装置连接到车辆2。作为连接方法，例如，可以使用诸如USB、HDMI(注册商标)或蓝牙(注册商标)的任何方法。
位置测量单元27包括至少一个GNSS接收器。“GNSS”是“全球导航卫星系统(globalnavigation satellite system)”的缩写。GNSS包括例如GPS、QZSS、北斗、GLONASS和伽利略中的至少任一个。“GPS”是“全球定位系统(Global Positioning System)”的缩写。“QZSS”是“准天顶卫星系统(quasi-zenith satellite system)”的缩写。QZSS卫星被称为“准天顶卫星(quasi-zenith satellite)”。“GLONASS”是“全球导航卫星系统(global navigationsatellite system)”的缩写。位置测量单元27测量车辆2的位置。由控制器21获取测量结果作为车辆2的位置信息。“位置信息”是可以用来指定车辆2的位置的信息。位置信息包括例如地址、纬度、经度或海拔。
以下，将详细描述由本实施例的信息处理系统S执行的处理。
与目的地相关的存储处理
车辆2由用户U01驾驶并访问一个或多个目的地。车辆2通过使用由位置测量单元27执行的位置测量结果来确定目的地。如图4所示，信息处理设备1将关于目的地的信息与关于车辆2已经访问目的地的日期时间的信息相关联地存储在存储单元13的目的地DB中。关于目的地的信息是包括在用户U01的行为信息中的驾驶信息的示例。如图4所示，用户U01在2020年3月1日进行的访问内容如下。
9:00:用户U01从家里通过移动路线B01访问了工作场所B
17:00:用户U01从工作场所B通过移动路线A01访问了学校A
访问学校A的原因是去接放学回家的孩子。
这里将描述用户U01重复访问的情况，其中从3月2日(即3月1日之后的第二天)到3月31日，内容与2020年3月1日的上述访问的内容相同。
车辆2的控制器21通过使用位置测量的结果来确定到每个目的地的移动路线。控制器21向信息处理设备1发送关于移动路线的信息。关于移动路线的信息是包括在行为信息中的驾驶信息的示例。如图4所示，信息处理设备1将关于移动路线的信息与日期时间相关联地存储在目的地DB中。
控制器21可以在车辆2向每个目的地移动期间借助于成像单元24对车辆2的附近进行成像或对用户U01进行成像。
每次车辆2向目的地移动时，可以在车辆2移动期间对车辆2的附近或用户U01进行成像。当车辆2向目的地移动时，在车辆2移动期间捕获并存储图4所示的图像D01至D04中的每一个。然而，每次车辆2向目的地移动时，不必须在车辆2移动期间对车辆2的附近或用户U01进行成像。即，不必须捕获图像D01至D04。在捕获图像D01～D04的情况下，可以将图像D01～D04用作稍后描述的检测到差异之前的图像。
在图像是静止图像的情况下，在车辆2移动期间捕获至少一个图像。在图像是运动图像的情况下，可以在整个移动中捕获图像，并且可以在移动的至少一部分上捕获图像。车辆2的附近包括例如车辆2前方的空间，车辆2的附近还可以包括车辆2旁边的空间和车辆2后方的空间。控制器21将捕获的图像发送到信息处理设备1。如图4所示，信息处理设备1将图像与日期时间相关联地存储在存储单元13的目的地DB中。
控制器21可以在向每个目的地移动期间借助于语音输入单元25获取车辆2内部或外部的语音。与图像的捕获一样，每次车辆2向目的地移动时，可以在车辆2移动期间获取语音。当车辆2向目的地移动时，在车辆2移动期间获取图4所示的语音D01至D04中的每一个。语音D01到D04的获取是可选的。控制器21将获取的语音的数据发送到信息处理设备1。如图4所示，信息处理设备1将语音存储在存储单元13中。
与目的地相关的检测处理
如图4所示，自2020年4月1日起，用户U01不访问学校A。即，特定时间(此处为2020年3月)的目的地与比特定时间更晚的时间(此处为2020年4月)的目的地彼此不同。在这种情况下，控制器11检测到行为信息的差异。检测到差异的定时例如如下所示。
·在比特定时间更晚的时间用户U01将作为用户U01要访问的新目的地的目的地设定为汽车导航系统等的目的地以便访问该目的地时(例如：在用户U01在2020年4月1日将超市C设定为汽车导航系统的目的地以便从工作场所B移动到超市C时)。
·在比特定时间更晚的时间用户U01正访问作为用户U01要访问的新目的地的目的地、用户U01停留在该目的地、或用户U01从该目的地返回的同时，根据车辆2的位置信息确定新移动路线不同于特定时间的移动路线时(例如：在用户U01在2020年4月1日从工作场所B移动到超市C的同时，根据车辆2停止时的位置信息等确定当前移动路线不同于2020年3月的移动路线时)。
特定时间可以是特定时间点或特定时间段。
当控制器11检测到差异时，控制器11经由成像单元24获取图像。具体地，例如，当控制器11在上述定时检测到行为信息的差异时，控制器11请求车辆2的成像单元24捕获图像。例如，当车辆2向超市C移动时，控制器11经由车辆2的成像单元24获取图像或语音D06。控制器11将图像或语音D06存储在目的地DB中。类似地，当控制器11在2020年4月2日也检测到差异时，控制器11获取图像或语音D08。
这里，控制器11在每次车辆2向目的地移动时获取车辆2移动期间的图像或语音。具体地，控制器11获取图像或语音D05、D07。图像或语音D05、D07的获取是可选的。
在上述示例中，在向作为比特定时间更晚的时间访问的新目的地的目的地(这里是超市C)移动期间获取图像或语音。作为替代示例，所获取的图像或语音可以是与比特定时间更晚的时间的行为信息相关的图像或语音，并且可以是与作为比特定时间更晚的时间要访问的新目的地的目的地相关的图像或语音。例如，图像或语音可以在用户停留在新目的地时获取，并且可以在用户从新目的地返回时获取。
当车辆2的控制器21接收到来自用户U01的输出请求时，控制器21从目的地DB获取用户U01请求的图像或语音，并将图像或语音输出到输出单元26。这里，将描述请求当用户U01访问学校A时存储的图像或语音D02的情况。如图6所示，控制器21将图像或语音D02输出到输出单元26。
作为替代示例，当在特定时间对特定目的地的访问频率在比特定时间更晚的时间增加或减少时，控制器11可以检测到行为信息的差异。访问频率是驾驶信息的示例。例如，当对特定目的地的访问频率从每天一次减少到每周一次时，控制器11检测到行为信息的差异。当控制器11检测到行为信息的差异时，控制器11经由车辆2的成像单元24获取图像。控制器11还可以经由车辆2的语音输入单元25获取用户U01的语音。控制器11可以从目的地DB获取频率增加或减少之前的图像或语音以及频率增加或减少之后的图像或语音中的至少一个，并将该图像或语音输出到输出单元26。频率增加或减少之前的图像或语音以及频率增加或减少之后的图像或语音可以通过输出单元26的同一画面输出。
如图4所示，自2020年4月1日起，到工作场所B的移动路线由移动路线B01改变为移动路线B02。即，在特定时间(此处为2020年3月)移动路线和在比特定时间更晚的时间(此处为2020年4月)的移动路线彼此不同。在这种情况下，控制器11检测到行为信息的差异。当控制器11检测到行为信息的差异时，控制器11请求车辆2的成像单元24捕获图像。控制器11经由车辆2的成像单元24获取图像D05。控制器11将图像D05存储在目的地DB中。控制器11还可以经由车辆2的语音输入单元25获取用户U01的语音D05。控制器11将语音D05存储在目的地DB中。
当车辆2的控制器21接收到来自用户U01的输出请求时，控制器21从目的地DB获取用户U01请求的图像或语音，并将图像或语音输出到输出单元26。例如，如图7所示，控制器21可以使移动路线改变之前的图像或语音D01(对应于画面71)和移动路线改变之后的图像或语音D05(对应于画面72)通过同一画面输出。
与动作相关的存储处理
控制器21使成像单元24周期性地或非周期性地对用户U01成像。控制器21将捕获的图像发送到信息处理设备1。控制器21使语音输入单元25周期性或非周期性地获取车辆2内部的用户U01的语音。控制器21将获取的语音的数据发送到信息处理设备1。
信息处理设备1的控制器11将用户U01的图像和语音存储在存储单元13中。控制器11分析用户U01的图像和语音，以检测表示用户U01情感的动作。表示情感的动作信息是包括在行为信息中的用户U01的动作信息的示例。动作的示例包括咂嘴的动作、皱眉的动作、打哈欠的动作、微笑的动作、叹气的动作和睁大眼睛的动作。咂嘴的动作和皱眉的动作表示不高兴或不满意。打呵欠的动作表示困倦。微笑的动作表示高兴。叹息的动作表示焦虑或不满意。睁大眼睛的动作表示惊讶或好奇。
控制器21可以借助于成像单元24对车辆2的附近进行成像或对用户U01进行成像。当检测到上述差异时，可以对车辆2的附近或用户U01进行成像，并且可以周期性地进行成像。控制器21将捕获的图像发送到信息处理设备1。如图5所示，信息处理设备1将图像存储在存储单元13中。
控制器21可以借助于语音输入单元25获取车辆2内部或外部的语音。语音可以在检测到上述差异时获取，并且可以周期性地获取。控制器21将获取的语音的数据发送到信息处理设备1。如图5所示，信息处理设备1将语音存储在存储单元13中。
与动作相关的检测处理
如图5所示，2020年3月2日9:00，检测到表示不高兴的咂嘴的动作。当日18:00，检测到表示困倦的打呵欠的动作。即，特定时间(此处为2020年3月2日9:00)的情绪与比特定时间更晚的时间(此处为3月2日18:00)的情绪彼此不同。在这种情况下，控制器11检测到行为信息的差异。
当控制器11检测到行为信息的差异时，控制器11请求车辆2的成像单元24捕获车辆2的附近或用户U01的图像。控制器11经由车辆2的成像单元24获取图像。这里，获取在检测到打呵欠的动作时的图像D10。控制器11将图像存储在动作DB中。控制器11还可以经由车辆2的语音输入单元25获取用户U01的语音D10。控制器11将语音存储在动作DB中。
当车辆2的控制器21接收到来自用户U01的输出请求时，控制器21从动作DB获取用户U01请求的图像或语音，并将图像或语音输出到输出单元26。这里，请求并输出用户U01打呵欠动作时的图像或语音D10。
流程图
将参考图8描述由本实施例的信息处理设备1执行的信息处理方法。该信息处理方法可以周期性地执行。
在步骤S1中，信息处理设备1的控制器11经由通信单元12从车辆2获取行为信息，并将行为信息存储在存储单元13中。
在步骤S2中，控制器11确定是否检测到在特定时间的行为信息与在比特定时间更晚的时间的行为信息之间的差异。
在步骤S2中的确定结果为是的情况下，在步骤S3中，控制器11使车辆2的成像单元24捕获车辆2的附近或用户U01的图像。在步骤S4中，控制器11将从车辆2获取的捕获图像存储在存储单元13中。
在步骤S2中的确定结果为否的情况下，控制器11终止流程而不进行步骤S3和步骤S4。
如上文所描述，根据本实施例，信息处理设备1的控制器11与日期时间相关联地存储车辆2中的用户U01的行为信息，并且当检测到特定时间的行为信息与比特定时间更晚的时间的行为信息之间的差异时，经由车辆2的成像单元获取图像。控制器11与日期时间以及行为信息相关联地存储图像。利用这样的配置，当用户的行为存在变化时，信息处理设备1能够自动存储图像。因此，利用信息处理设备1，用户U01可以稍后提取与特定记忆相关联的图像。
另外，根据本实施例，行为信息包括车辆2的驾驶信息。驾驶信息包括目的地、访问特定目的地的频率和到特定目的地的移动路线中的至少一个。利用具有这样的配置的信息处理设备1，用户U01可以稍后提取与驾驶期间的记忆相关联的图像。
另外，根据本实施例，行为信息包括用户U01的动作信息。动作信息包括关于表示用户U01情感的动作的信息。利用具有这样的配置的信息处理设备1，用户U01可以提取与用户U01的情感表达时的记忆相关的图像。
此外，根据本实施例，当检测到差异时，控制器11还经由车辆2的语音输入单元25获取用户U01的语音。利用具有这样的配置的信息处理设备1，用户U01可以稍后提取与特定记忆相关联的语音。
另外，根据本实施例，当检测到差异时，控制器11向车辆2的输出单元26输出差异之前的图像和差异之后的图像。利用具有这样的配置的信息处理设备1，用户U01可以比较差异之前的图像与差异之后的图像。
尽管已经参考附图和示例描述了本公开，但应当注意，本领域技术人员可以基于本公开进行各种改变和修改。在不偏离本公开范围的情况下，也可以进行其他修改。例如，包括在每个装置或每个步骤中的功能等可以在没有逻辑不一致的情况下重新排列，并且多个装置或步骤可以相互组合或划分。
例如，在上述实施例中，用于信息处理设备1的全部或部分功能或处理的程序可以记录在计算机可读记录介质上。计算机可读记录介质的示例是非暂时性计算机可读介质。例如，计算机可读记录介质是磁记录器、光盘、磁光记录介质或半导体存储器。例如，通过出售、移交或租用诸如记录程序的数字通用盘(DVD)或光盘只读存储器(CD-ROM)的便携式记录介质来执行程序的分发。此外，可以通过将程序存储在任何服务器的存储装置中和将程序从服务器发送到另一计算机来执行程序的分发。该程序也可以作为程序产品提供。本公开还可以实现为可由处理器执行的程序。注意，作为另一实施例，还可以提供存储指令的非暂时性存储介质，该指令使一个或多个处理器实现信息处理设备1的全部或部分功能或处理。
例如，计算机将记录在便携式记录介质上的程序或从服务器转移的程序临时存储在主存储装置中。然后，计算机借助于处理器读取存储在主存储装置中的程序，并借助于处理器根据读取的程序执行处理。计算机可以直接从便携式记录介质读取程序，并根据程序执行处理。每当程序从服务器转移到计算机时，计算机可以根据接收到的程序顺序地执行处理。该处理可以通过所谓的ASP类型服务来执行，该服务借助于执行指令和获取结果来实现功能，而无需将程序从服务器转移到计算机。“ASP”是“应用服务提供商(applicationservice provider)”的缩写。该程序包括提供用于计算机执行的处理的信息，并且与该程序等效。例如，不是相对于计算机的直接命令但具有限定计算机处理的属性的数据对应于“与程序等效的信息”。

Claims (14)

1.一种能够与车辆进行通信的信息处理设备，所述信息处理设备的特征在于，包括控制器，
其中，所述控制器被配置成：
与日期时间相关联地存储所述车辆中的用户的行为信息，
当检测到特定时间的行为信息与比所述特定时间更晚的时间的行为信息之间的差异时，经由所述车辆的成像单元获取所述车辆附近的图像，以及
与所述日期时间以及所述行为信息相关联地存储所述图像，
其中，所述行为信息包括所述车辆的驾驶信息，所述驾驶信息包括目的地、访问特定目的地的频率和到特定目的地的移动路线，
其中，所述控制器被配置成：
确定是否检测到在特定时间的目的地与比所述特定时间更晚的时间的目的地之间的差异，当检测到在特定时间的目的地与比所述特定时间更晚的时间的目的地之间的差异时，获取所述车辆附近的图像，当未检测到在特定时间的目的地与比所述特定时间更晚的时间的目的地之间的差异时，不获取所述车辆附近的图像，
确定是否检测到在特定时间访问特定目的地的频率与比所述特定时间更晚的时间访问特定目的地的频率之间的差异，当检测到在特定时间访问特定目的地的频率与比所述特定时间更晚的时间访问特定目的地的频率之间的差异时，获取所述车辆附近的图像，当未检测到在特定时间访问特定目的地的频率与比所述特定时间更晚的时间访问特定目的地的频率之间的差异时，不获取所述车辆附近的图像，以及
确定是否检测到在特定时间到特定目的地的移动路线与比所述特定时间更晚的时间到特定目的地的移动路线之间的差异，当检测到在特定时间到特定目的地的移动路线与比所述特定时间更晚的时间到特定目的地的移动路线之间的差异时，获取所述车辆附近的图像，当未检测到在特定时间到特定目的地的移动路线与比所述特定时间更晚的时间到特定目的地的移动路线之间的差异时，不获取所述车辆附近的图像。
2.根据权利要求1所述的信息处理设备，其特征在于，所述行为信息包括所述用户的动作信息。
3.根据权利要求2所述的信息处理设备，其特征在于，所述动作信息包括关于表示所述用户情感的动作的信息。
4.根据权利要求1至3中任一项所述的信息处理设备，其特征在于，所述控制器还被配置为：当检测到所述差异时，经由所述车辆的语音输入单元获取所述用户的语音。
5.根据权利要求1至3中任一项所述的信息处理设备，其特征在于，所述控制器还被配置为：当检测到所述差异时，将所述差异之前的图像和所述差异之后的图像输出到所述车辆的输出单元。
6.一种车辆，其特征在于，包括根据权利要求1至5中任一项所述的信息处理设备。
7.一种存储指令的非暂时性存储介质，所述指令能够由一个或多个处理器执行，并且使得所述一个或多个处理器执行功能，所述功能包括：
与日期时间相关联地存储车辆中的用户的行为信息；
当检测到特定时间的行为信息与比所述特定时间更晚的时间的行为信息之间的差异时，经由所述车辆的成像单元获取所述车辆附近的图像；以及
与所述日期时间以及所述行为信息相关联地存储所述图像，其中，所述行为信息包括所述车辆的驾驶信息，所述驾驶信息包括目的地、访问特定目的地的频率和到特定目的地的移动路线，
其中，所述功能包括：
确定是否检测到在特定时间的目的地与比所述特定时间更晚的时间的目的地之间的差异，当检测到在特定时间的目的地与比所述特定时间更晚的时间的目的地之间的差异时，获取所述车辆附近的图像，当未检测到在特定时间的目的地与比所述特定时间更晚的时间的目的地之间的差异时，不获取所述车辆附近的图像，
确定是否检测到在特定时间访问特定目的地的频率与比所述特定时间更晚的时间访问特定目的地的频率之间的差异，当检测到在特定时间访问特定目的地的频率与比所述特定时间更晚的时间访问特定目的地的频率之间的差异时，获取所述车辆附近的图像，当未检测到在特定时间访问特定目的地的频率与比所述特定时间更晚的时间访问特定目的地的频率之间的差异时，不获取所述车辆附近的图像，以及
确定是否检测到在特定时间到特定目的地的移动路线与比所述特定时间更晚的时间到特定目的地的移动路线之间的差异，当检测到在特定时间到特定目的地的移动路线与比所述特定时间更晚的时间到特定目的地的移动路线之间的差异时，获取所述车辆附近的图像，当未检测到在特定时间到特定目的地的移动路线与比所述特定时间更晚的时间到特定目的地的移动路线之间的差异时，不获取所述车辆附近的图像。
8.根据权利要求7所述的非暂时性存储介质，其特征在于，所述行为信息包括所述用户的动作信息。
9.根据权利要求8所述的非暂时性存储介质，其特征在于，所述动作信息包括关于表示所述用户情感的动作的信息。
10.根据权利要求7至9中任一项所述的非暂时性存储介质，其特征在于，所述功能还包括：当检测到所述差异时，经由所述车辆的语音输入单元获取所述用户的语音。
11.一种由能够与车辆进行通信的信息处理设备执行的信息处理方法，所述信息处理方法的特征在于，包括：
与日期时间相关联地存储所述车辆中的用户的行为信息；
当检测到特定时间的行为信息与比所述特定时间更晚的时间的行为信息之间的差异时，经由所述车辆的成像单元获取所述车辆附近的图像；以及
与所述日期时间以及所述行为信息相关联地存储所述图像，其中，所述行为信息包括所述车辆的驾驶信息，所述驾驶信息包括目的地、访问特定目的地的频率和到特定目的地的移动路线，
其中，所述信息处理方法包括：
确定是否检测到在特定时间的目的地与比所述特定时间更晚的时间的目的地之间的差异，当检测到在特定时间的目的地与比所述特定时间更晚的时间的目的地之间的差异时，获取所述车辆附近的图像，当未检测到在特定时间的目的地与比所述特定时间更晚的时间的目的地之间的差异时，不获取所述车辆附近的图像，
确定是否检测到在特定时间访问特定目的地的频率与比所述特定时间更晚的时间访问特定目的地的频率之间的差异，当检测到在特定时间访问特定目的地的频率与比所述特定时间更晚的时间访问特定目的地的频率之间的差异时，获取所述车辆附近的图像，当未检测到在特定时间访问特定目的地的频率与比所述特定时间更晚的时间访问特定目的地的频率之间的差异时，不获取所述车辆附近的图像，以及
确定是否检测到在特定时间到特定目的地的移动路线与比所述特定时间更晚的时间到特定目的地的移动路线之间的差异，当检测到在特定时间到特定目的地的移动路线与比所述特定时间更晚的时间到特定目的地的移动路线之间的差异时，获取所述车辆附近的图像，当未检测到在特定时间到特定目的地的移动路线与比所述特定时间更晚的时间到特定目的地的移动路线之间的差异时，不获取所述车辆附近的图像。
12.根据权利要求11所述的信息处理方法，其特征在于，所述行为信息包括所述用户的动作信息。
13.根据权利要求12所述的信息处理方法，其特征在于，所述动作信息包括关于表示所述用户情感的动作的信息。
14.根据权利要求11至13中任一项所述的信息处理方法，其特征在于，还包括：当检测到所述差异时，经由所述车辆的语音输入单元获取所述用户的语音。
CN202210381327.2A 2021-04-14 2022-04-12 信息处理设备，非暂时性存储介质和信息处理方法 Active CN115209046B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021068548A JP7484802B2 (ja) 2021-04-14 2021-04-14 情報処理装置、プログラム及び情報処理方法
JP2021-068548 2021-04-14

Publications (2)

Publication Number Publication Date
CN115209046A CN115209046A (zh) 2022-10-18
CN115209046B true CN115209046B (zh) 2024-05-28

Family

ID=83574712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210381327.2A Active CN115209046B (zh) 2021-04-14 2022-04-12 信息处理设备，非暂时性存储介质和信息处理方法

Country Status (5)

Country Link
US (1) US11993271B2 (zh)
JP (1) JP7484802B2 (zh)
KR (1) KR20220142361A (zh)
CN (1) CN115209046B (zh)
CA (1) CA3155713A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008076362A (ja) * 2006-09-25 2008-04-03 Matsushita Electric Ind Co Ltd ナビゲーション装置、ナビゲーション方法、及びナビゲーションプログラム
JP2012220440A (ja) * 2011-04-13 2012-11-12 Fujitsu Ten Ltd 情報提供装置、方法およびプログラム
KR20150061245A (ko) * 2013-11-27 2015-06-04 (주)위니테크놀러지 차량용 영상 저장 장치 및 경로 정보 제공 방법
KR20160148394A (ko) * 2015-06-16 2016-12-26 엘지전자 주식회사 자율 주행 차량
CN107478241A (zh) * 2017-08-24 2017-12-15 戴姆勒股份公司 基于用户出行需求的日程规划和路线导航的方法
CN108171176A (zh) * 2017-12-29 2018-06-15 中车工业研究院有限公司 一种基于深度学习的地铁司机情绪辨识方法及装置
CN112581750A (zh) * 2019-09-29 2021-03-30 北京地平线机器人技术研发有限公司 车辆行驶控制方法、装置、可读存储介质及电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108140311B (zh) * 2015-10-22 2021-08-24 日产自动车株式会社 停车辅助信息的显示方法及停车辅助装置
JP6657415B2 (ja) 2016-09-30 2020-03-04 本田技研工業株式会社 情報提供装置、及び移動体
US10209718B2 (en) * 2017-03-14 2019-02-19 Starsky Robotics, Inc. Vehicle sensor system and method of use
JP7028608B2 (ja) 2017-11-06 2022-03-02 トヨタ自動車株式会社 情報処理装置、情報処理方法、及びプログラム
JP7124510B2 (ja) 2018-07-20 2022-08-24 株式会社Ｊｖｃケンウッド 記録制御装置、記録制御方法および記録制御プログラム
JP7171349B2 (ja) 2018-09-28 2022-11-15 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP7140692B2 (ja) 2019-02-06 2022-09-21 本田技研工業株式会社 画像取得システム、画像取得方法、およびプログラム
KR20190084916A (ko) * 2019-06-28 2019-07-17 엘지전자 주식회사 주차 위치 알림 장치 및 방법
JP7156208B2 (ja) * 2019-08-08 2022-10-19 トヨタ自動車株式会社 車両遠隔指示システム及び遠隔指示装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008076362A (ja) * 2006-09-25 2008-04-03 Matsushita Electric Ind Co Ltd ナビゲーション装置、ナビゲーション方法、及びナビゲーションプログラム
JP2012220440A (ja) * 2011-04-13 2012-11-12 Fujitsu Ten Ltd 情報提供装置、方法およびプログラム
KR20150061245A (ko) * 2013-11-27 2015-06-04 (주)위니테크놀러지 차량용 영상 저장 장치 및 경로 정보 제공 방법
KR20160148394A (ko) * 2015-06-16 2016-12-26 엘지전자 주식회사 자율 주행 차량
CN107478241A (zh) * 2017-08-24 2017-12-15 戴姆勒股份公司 基于用户出行需求的日程规划和路线导航的方法
CN108171176A (zh) * 2017-12-29 2018-06-15 中车工业研究院有限公司 一种基于深度学习的地铁司机情绪辨识方法及装置
CN112581750A (zh) * 2019-09-29 2021-03-30 北京地平线机器人技术研发有限公司 车辆行驶控制方法、装置、可读存储介质及电子设备

Also Published As

Publication number Publication date
JP7484802B2 (ja) 2024-05-16
KR20220142361A (ko) 2022-10-21
US20220332326A1 (en) 2022-10-20
CN115209046A (zh) 2022-10-18
JP2022163545A (ja) 2022-10-26
US11993271B2 (en) 2024-05-28
CA3155713A1 (en) 2022-10-14

Similar Documents

Publication Publication Date Title
US20240127386A1 (en) Control device, program, and control method
JP7028237B2 (ja) 情報処理装置、情報処理システム、プログラム、情報処理方法及びナビゲーション装置
US20200272951A1 (en) Operation support device, vehicle, operation management device, and operation support method
CN115209046B (zh) 信息处理设备，非暂时性存储介质和信息处理方法
US20200111202A1 (en) Image processing apparatus, image processing method, and non-transitory readable recording medium storing program
US11889231B2 (en) Information processing apparatus, non-transitory computer readable medium, and information processing method for processing images captured from vehicle
JP7559681B2 (ja) 情報処理装置、プログラム及び情報処理方法
JP7548108B2 (ja) 情報処理装置、プログラム及び情報処理方法
US20230274211A1 (en) Control apparatus, control method, and non-transitory computer readable medium
US20220049966A1 (en) Control apparatus, service facility, server apparatus, system, and content output method
US20220406173A1 (en) Information processing apparatus, program, and information processing method
US11644329B2 (en) Information processing apparatus, non-transitory computer readable medium, and information processing method
US20210182910A1 (en) Control device, system, non-transitory storage medium, and control method
US20220067615A1 (en) Information providing apparatus, vehicle, information providing system, non-transitory computer readable medium, and information providing method
JP7468398B2 (ja) 情報処理装置、プログラム及び情報処理方法
JP2024147434A (ja) 情報処理方法
JP2023058379A (ja) 車両
JP2022012573A (ja) 情報処理方法、プログラム、車載装置、車両、情報処理装置及び情報処理システム
JP2024054004A (ja) 情報処理装置
JP2022070763A (ja) センターサーバ
JP2022172713A (ja) 情報処理装置、プログラム及び情報処理方法
CN114581074A (zh) 信息处理装置及方法、非临时性的计算机可读取的介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant