CN113841187A - 信号处理设备、信号处理方法、程序和成像设备 - Google Patents

信号处理设备、信号处理方法、程序和成像设备 Download PDF

Info

Publication number
CN113841187A
CN113841187A CN202080037215.4A CN202080037215A CN113841187A CN 113841187 A CN113841187 A CN 113841187A CN 202080037215 A CN202080037215 A CN 202080037215A CN 113841187 A CN113841187 A CN 113841187A
Authority
CN
China
Prior art keywords
unit
text information
vehicle
signal processing
abnormality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080037215.4A
Other languages
English (en)
Inventor
星野和弘
加藤康之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Sony Group Corp
Original Assignee
Sony Semiconductor Solutions Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp, Sony Group Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN113841187A publication Critical patent/CN113841187A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/016—Personal emergency signalling and security systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本技术涉及能够迅速进行诸如事故之类的异常的通知的信号处理设备、信号处理方法、程序和成像设备。一种信号处理设备包括：识别单元，识别由成像单元成像的所捕获图像的内容；文本信息生成单元，生成文本信息，所述文本信息包括以字符表示识别到的所捕获图像的内容的数据；以及发送控制单元，控制所述文本信息的发送。本技术可以应用于例如进行车辆的异常的通知的系统。

Description

信号处理设备、信号处理方法、程序和成像设备
技术领域
本技术涉及信号处理设备、信号处理方法、程序和成像设备，并且更具体地，涉及能够迅速进行异常通知的信号处理设备、信号处理方法、程序和成像设备。
背景技术
近年来，通过行车记录仪或监视摄像头对事故现场的情形进行成像和记录，并使用所记录的图像分析事故原因等。
此外，常规地，已经提出了在具有矩形框的图像中显示包括物体的区域，并且在指定了该区域的情况下，提取物体的特征点数据，基于该特征点数据来搜索信息数据库，并显示所获得的该物体的相关信息(例如，参见专利文献1)。
引用列表
专利文献
专利文献1：日本专利申请公开No.2017-90220
发明内容
本发明要解决的问题
然而，在行车记录仪或监视摄像头记录事故现场的图像时，它并不将事故的发生或情形通知给警察部门、医院等。此外，例如，虽然可设想到将所捕获图像发送到警察部门、医院等，但需要分析图像，并且事故的情形或发生的传达延迟。
同时，在专利文献1中公开的发明并没有考虑通知事故的情形或发生。
本技术是鉴于这种情形而想到的，其目的是迅速进行诸如事故之类的异常的通知。
问题的解决方案
根据本技术的一方面的一种信号处理设备包括：识别单元，识别由成像单元成像的所捕获图像的内容；文本信息生成单元，生成文本信息，所述文本信息包括以字符表示识别到的所捕获图像的内容的数据；以及发送控制单元，控制所述文本信息的发送。
根据本技术的一方面的一种信号处理方法包括：识别由成像单元成像的所捕获图像的内容；生成文本信息，所述文本信息包括以字符表示识别到的所捕获图像的内容的数据；以及控制所述文本信息的发送。
根据本技术的一方面的一种程序使计算机执行包括以下步骤的处理：识别由成像单元成像的所捕获图像的内容；生成文本信息，所述文本信息包括以字符表示识别到的所捕获图像的内容的数据；以及控制所述文本信息的发送。
根据本技术的一方面，识别由成像单元成像的所捕获图像的内容，生成包括以字符表示识别到的所捕获图像的内容的数据的文本信息，并控制文本信息的发送。
附图说明
图1是图示了应用本技术的车辆控制系统的示例性配置的框图。
图2是图示了信号处理系统的第一实施例的框图。
图3是用于说明异常通知处理的第一实施例的流程图。
图4是图示了信号处理系统的第二实施例的框图。
图5是用于说明异常通知处理的第二实施例的流程图。
图6是图示了计算机的示例性配置的示图。
具体实施方式
下文中，将描述用于实现本技术的实施例。将按以下顺序给出描述。
1.车辆控制系统的示例性配置
2.第一实施例
3.第二实施例
4.变形例
5.其他
<<1.车辆控制系统的示例性配置>>
图1是图示了作为可以应用本技术的移动体控制系统的示例的车辆控制系统100的示意示例性功能配置的框图。
注意的是，下文中，设置有车辆控制系统100的车辆10在与另一车辆区分的情况下将被称为主车辆。
车辆控制系统100包括输入单元101、数据获取单元102、通信单元103、车内装置104、输出控制单元105、输出单元106、驱动系统控制单元107、驱动系统108、主体系统控制单元109、主体系统110、存储单元111和自动驾驶控制单元112。输入单元101、数据获取单元102、通信单元103、输出控制单元105、驱动系统控制单元107、主体系统控制单元109、存储单元111和自动驾驶控制单元112经由通信网络121彼此连接。通信网络121包括例如符合诸如FlexRay(注册商标)之类的任何标准的控制器区域网络(CAN)、本地互连网络(LIN)、本地区域网络(LAN)或车内通信网络、总线等。注意的是，车辆控制系统100的各单元可以在没有通信网络121的情况下直接连接。
注意的是，下文中，在车辆控制系统100的各单元经由通信网络121执行通信的情况下，将省略对通信网络121的描述。例如，在输入单元101和自动驾驶控制单元112经由通信网络121彼此通信的情况下，简单地描述了输入单元101与自动驾驶控制单元112彼此通信。
输入单元101包括供乘员用来输入各种类型的数据、指令等的设备。例如，输入单元101包括诸如触摸面板、按钮、麦克风、开关和操纵杆之类的操作设备，通过除了手动操作之外的诸如语音和手势之类的方法可以输入的操作设备等。此外，例如，输入单元101可以是使用红外线或其他无线电波的遥控设备或者与车辆控制系统100的操作兼容的诸如移动装置或可穿戴装置之类的外部连接装置。输入单元101基于乘员输入的数据、指令等来生成输入信号，并将它们供应到车辆控制系统100的各单元。
数据获取单元102包括获得将用于车辆控制系统100的处理的数据并将所获得的数据供应到车辆控制系统100的各单元的各种传感器等。
例如，数据获取单元102包括用于检测主车辆状态等的各种传感器。具体地，例如，数据获取单元102包括陀螺仪传感器、加速度传感器、惯性测量单元(IMU)、用于检测例如加速踏板的操作量、制动踏板的操作量、方向盘的转向角、引擎速度、马达速度、车轮旋转速度等的传感器等。
此外，例如，数据获取单元102包括用于检测与主车辆外部相关联的信息的各种传感器。具体地，例如，数据获取单元102包括诸如飞行时间(ToF)照相机、立体照相机、单眼照相机、红外照相机和其他照相机之类的成像设备。此外，例如，数据获取单元102包括用于检测天气、气象现象等的环境传感器、以及用于检测主车辆周围物体的周围信息检测传感器。环境传感器包括例如雨滴传感器、雾传感器、日照传感器、雪传感器等。周围信息检测传感器包括例如超声波传感器、雷达、光检测和测距/激光成像检测和测距(LiDAR)、声纳等。
此外，例如，数据获取单元102包括用于检测主车辆当前位置的各种传感器。具体地，例如，数据获取单元102包括从全球导航卫星系统(GNSS)卫星接收GNSS信号的GNSS接收器等。
此外，例如，数据获取单元102包括用于检测车内信息的各种传感器。具体地，例如，数据获取单元102包括对驾驶员进行成像的成像设备、检测驾驶员的生物信息的生物传感器、收集车辆内部的声音的麦克风等。例如，生物传感器被设置在座椅表面、方向盘等上，并检测坐在座椅上的乘员或握住方向盘的驾驶员的生物信息。
通信单元103与车内装置104和车辆外部的各种装置、服务器、基站等通信，发送从车辆控制系统100的各单元供应的数据，并将接收到的数据供应到车辆控制系统100的各单元。注意的是，通信单元103支持的通信协议不受特别限制，并且通信单元103能支持多种类型的通信协议。
例如，通信单元103使用无线LAN、蓝牙(注册商标)、近场通信(NFC)、无线通用串行总线(WUSB)等与车内装置104进行无线通信。此外，例如，通信单元103经由连接端子(如有必要，还有电缆)(未图示)使用通用串行总线(USB)、高清多媒体接口(HDMI)(注册商标)、移动高清链接(MHL)等与车内装置104执行有线通信。
此外，例如，通信单元103经由基站或接入点与存在于外部网络(例如，因特网、云网络或公司专用网络)上的装置(例如，应用服务器或控制服务器)通信。此外，例如，通信单元103使用对等(P2P)技术与存在于主车辆附近的终端(例如，行人或商店的终端、或机器类型通信(MTC)终端)通信。此外，例如，通信单元103执行诸如车辆到车辆通信、车辆到基础设施通信、车辆到家庭通信以及车辆到行人通信之类的车辆对一切(V2X)通信。此外，例如，通信单元103包括信标接收单元，接收从安装在道路上的无线站等发送的无线电波或电磁波，并获得诸如当前位置、拥堵、交通管制或所需时间之类的信息。
车内装置104包括例如乘员拥有的移动装置或可穿戴装置、携带在主车辆中或附接到主车辆的信息装置、搜索通向任意目的地的路线的导航设备等。
输出控制单元105控制被导向主车辆的乘员或主车辆的外部的各种类型的信息的输出。例如，输出控制单元105生成包括视觉信息(例如，图像数据)或听觉信息(例如，语音数据)中的至少一个的输出信号，并将它们供应到输出单元106，由此控制来自输出单元106的视觉信息和听觉信息的输出。具体地，例如，输出控制单元105合成由数据获取单元102的不同成像设备成像的图像数据，以生成俯视图像、全景图像等，并将包括所生成图像的输出信号输出到输出单元106。此外，例如，输出控制单元105生成包括针对诸如碰撞、接触或进入危险地带之类的危险的警告声音、警告消息等的语音数据，并将包括所生成的语音数据的输出信号供应到输出单元106。
输出单元106包括能够将视觉信息或听觉信息输出到主车辆的乘员或主车辆外部的设备。例如，输出单元106包括显示设备、仪表板、音频扬声器、耳机、供乘员穿戴的诸如眼镜型显示器之类的可穿戴设备、投影仪、灯等。除了具有正常显示器的设备之外，输出单元106中包括的显示设备还可以是例如在驾驶员的视野中显示视觉信息的诸如平视显示器(head-up display)、透过型显示器(transmissive display)或具有增强现实(AR)显示功能的设备之类的设备。
驱动系统控制单元107生成各种控制信号并将它们供应到驱动系统108，由此控制驱动系统108。此外，驱动系统控制单元107在必要时向驱动系统108的各单元供应控制信号和错误信号，由此进行对驱动系统108的控制状态和异常的通知等。
驱动系统108包括与主车辆的驱动系统相关的各种设备。例如，驱动系统108包括：诸如内燃机或驱动马达之类的用于产生驱动力的驱动力产生设备、用于将驱动力传输到车轮的驱动力传输机构、用于调整转向角的转向机构、用于产生制动力的制动设备、防抱死制动系统(ABS)、电子稳定性控制(ESC)、电动转向设备等。
主体系统控制单元109生成各种控制信号，并将它们供应到主体系统110，由此控制主体系统110。此外，主体系统控制单元109在必要时向主体系统110的各单元供应控制信号和错误信号，由此进行对主体系统110的控制状态和异常的通知等。
主体系统110包括安装在车辆主体上的主体系统的各种设备。例如，主体系统110包括无钥匙进入系统、智能钥匙系统、电动窗设备、电动座椅、方向盘、空调、气囊、安全带、各种灯(例如，前灯、后灯、制动灯、闪光信号灯、雾灯等)等。
例如，存储单元111包括只读存储器(ROM)、随机存取存储器(RAM)、诸如硬盘驱动器(HDD)之类的磁存储设备、半导体存储设备、光存储设备、磁光存储设备等。存储单元111存储将供车辆控制系统100的各单元使用的各种程序、数据等。例如，存储单元111存储诸如三维高精度地图(诸如，动态地图)、精度比高精度地图的精度低并覆盖较广区域的全局地图以及包括主车辆周围的信息的本地地图之类的地图数据。
自动驾驶控制单元112执行与诸如自主行驶或驾驶支持之类的自动驾驶相关的控制。具体地，例如，自动驾驶控制单元112执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协作控制，ADAS功能包括主车辆的碰撞避免或冲击减轻、基于车辆间距离的跟随行驶、车速保持行驶、主车辆碰撞警告、针对主车辆的车道偏离警告等。此外，例如，自动驾驶控制单元112执行旨在不依赖于驾驶员的操作进行自主行驶的自动驾驶等的协作控制。自动驾驶控制单元112包括检测单元131、自身位置估计单元132、情形分析单元133、计划单元134和操作控制单元135。
检测单元131检测控制自动驾驶所需的各种类型的信息。检测单元131包括车辆外部信息检测单元141、车内信息检测单元142和车辆状态检测单元143。
车辆外部信息检测单元141基于来自车辆控制系统100的各单元的数据或信号来检测主车辆外部的信息。例如，车辆外部信息检测单元141对主车辆周围的物体执行检测处理、识别处理和跟踪处理以及与物体的距离的检测处理。待检测的物体的示例包括车辆、人、障碍物、结构物、道路、交通灯、交通标志和道路标志。此外，例如，车辆外部信息检测单元141检测主车辆周围的环境。待检测的周围环境的示例包括天气、环境温度、湿度、亮度和路面状态。车辆外部信息检测单元141将指示检测处理结果的数据供应到自身位置估计单元132、情形分析单元133的地图分析单元151、交通规则识别单元152和情形识别单元153、操作控制单元135的紧急情况避免单元171等。
车内信息检测单元142基于来自车辆控制系统100的各单元的数据或信号来检测车内信息。例如，车内信息检测单元142执行驾驶员的认证处理和识别处理、驾驶员状态的检测处理、乘员的检测处理、车内环境的检测处理等。待检测的驾驶员状态的示例包括身体状况、清醒水平、专注水平、疲劳水平、视线方向和醉酒水平。待检测的车内环境的示例包括环境温度、湿度、亮度和气味。车内信息检测单元142将指示检测处理结果的数据供应到情形分析单元133的情形识别单元153、操作控制单元135的紧急情况避免单元171等。
车辆状态检测单元143基于来自车辆控制系统100的各单元的数据或信号来检测主车辆状态。待检测的主车辆状态的示例包括速度、加速度水平、转向角、异常的存在/不存在和异常的内容、驾驶操作状态、电动座椅的位置和倾斜度、门锁状态、气囊状态、来自外部的冲击的幅度和其他车载装置的状态。车辆状态检测单元143将指示检测处理结果的数据供应到情形分析单元133的情形识别单元153、操作控制单元135的紧急情况避免单元171等。
自身位置估计单元132基于来自诸如车辆外部信息检测单元141和情形分析单元133的情形识别单元153之类的车辆控制系统100的各单元的数据或信号来估计主车辆的位置、姿态等。此外，自身位置估计单元132在必要时生成将用于估计自身位置的局部地图(下文中，被称为自身位置估计地图)。自身位置估计地图例如是使用诸如同时定位和地图构建(SLAM)之类的技术的高精度地图。自身位置估计单元132将指示估计处理结果的数据供应到情形分析单元133的地图分析单元151、交通规则识别单元152和情形识别单元153等。此外，自身位置估计单元132使存储单元111存储自身位置估计地图。
情形分析单元133执行主车辆和周围情形的分析处理。情形分析单元133包括地图分析单元151、交通规则识别单元152、情形识别单元153和情形预测单元154。
地图分析单元151在必要时使用来自诸如自身位置估计单元132和车辆外部信息检测单元141之类的车辆控制系统100的各单元的数据或信号来分析存储在存储单元111中的各种地图，并构建包括处理自动驾驶所需的信息的地图。地图分析单元151将所构建的地图供应到交通规则识别单元152、情形识别单元153、情形预测单元154以及计划单元134的路线计划单元161、动作计划单元162和操作计划单元163等。
交通规则识别单元152基于来自诸如自身位置估计单元132、车辆外部信息检测单元141和地图分析单元151之类的车辆控制系统100的各单元的数据或信号来识别主车辆周围的交通规则。根据该识别处理，例如，识别主车辆周围的信号的位置和状态、主车辆周围的交通管制的内容、车辆可以在其上行驶的车道等。交通规则识别单元152将指示识别处理结果的数据供应到情形预测单元154等。
情形识别单元153基于来自诸如自身位置估计单元132、车辆外部信息检测单元141、车内信息检测单元142、车辆状态检测单元143和地图分析单元151之类的车辆控制系统100的各单元的数据或信号来识别与主车辆相关的情形。例如，情形识别单元153识别主车辆的情形、主车辆周围的情形、主车辆驾驶员的情形等。此外，情形识别单元153在必要时生成将用于识别主车辆周围的情形的局部地图(下文中，被称为情形识别地图)。情形识别地图是例如占据栅格地图。
待识别的主车辆情形的示例包括主车辆的位置、姿态和移动(例如，速度、加速度水平、移动方向等)以及异常的存在/不存在和异常的内容。待识别的主车辆周围的情形的示例包括：周围静止物体的类型和位置、周围移动物体的类型、位置和移动(例如，速度、加速度水平、移动方向等)、周围道路的构造和路面的状态以及周围的天气、环境温度、湿度和亮度。待识别的驾驶员状态的示例包括身体状况、清醒水平、专注水平、疲劳水平、视线的移动和驾驶操作。
情形识别单元153将指示识别处理结果的数据(在必要时，包括情形识别地图)供应到自身位置估计单元132、情形预测单元154等。此外，情形识别单元153使存储单元111存储情形识别地图。
情形预测单元154基于来自诸如地图分析单元151、交通规则识别单元152和情形识别单元153之类的车辆控制系统100的各单元的数据或信号来预测与主车辆相关的情形。例如，情形预测单元154预测主车辆的情形、主车辆周围的情形、驾驶员的情形等。
待预测的主车辆情形的示例包括主车辆的行为、异常的发生和可行驶距离。待预测的主车辆周围的情形的示例包括主车辆周围的移动物体的行为、信号状态中的改变以及诸如天气之类的环境中的改变。待预测的驾驶员情形的示例包括驾驶员的行为和身体状况。
情形预测单元154将指示预测处理结果的数据连同来自交通规则识别单元152和情形识别单元153的数据一起供应到计划单元134的路线计划单元161、动作计划单元162和操作计划单元163等。
路线计划单元161基于来自诸如地图分析单元151和情形预测单元154之类的车辆控制系统100的各单元的数据或信号来计划通向目的地的路线。例如，路线计划单元161基于全局地图来设置从当前位置到指定目的地的路线。此外，例如，路线计划单元161基于诸如拥堵、事故、交通管制和构造之类的情形、驾驶员的身体状况等来适当地改变路线。路线计划单元161将指示计划路线的数据供应到动作计划单元162等。
动作计划单元162基于来自诸如地图分析单元151和情形预测单元154之类的车辆控制系统100的各单元的数据或信号来计划主车辆按路线计划单元161计划的路线在计划时间内安全行驶的动作。例如，动作计划单元162计划启动、停止、行驶方向(例如，向前移动、向后移动、左转、右转、方向改变等)、行驶车道、行驶速度、超车等。动作计划单元162将指示主车辆的计划动作的数据供应到操作计划单元163等。
操作计划单元163基于来自诸如地图分析单元151和情形预测单元154之类的车辆控制系统100的各单元的数据或信号来计划主车辆实现动作计划单元162计划的动作的操作。例如，操作计划单元163计划加速、减速、行驶轨迹等。操作计划单元163将指示主车辆的计划操作的数据供应到操作控制单元135的加速/减速控制单元172和方向控制单元173等。
操作控制单元135控制主车辆的操作。操作控制单元135包括紧急情况避免单元171、加速/减速控制单元172和方向控制单元173。
紧急情况避免单元171基于车辆外部信息检测单元141、车内信息检测单元142和车辆状态检测单元143的检测结果来检测诸如碰撞、接触、进入危险地带、驾驶员的异常或车辆的异常之类的紧急情况。在紧急情况避免单元171已经检测到发生紧急情况的情况下，它计划主车辆的操作以避免诸如突然停车或突然转弯之类的紧急情况。紧急情况避免单元171将指示主车辆的计划操作的数据供应到加速/减速控制单元172、方向控制单元173等。
加速/减速控制单元172执行加速/减速控制，以实现由操作计划单元163或紧急情况避免单元171计划的主车辆的操作。例如，加速/减速控制单元172计算驱动力产生设备或制动设备的控制目标值以实现所计划的加速、减速或突然停车，并将指示计算出的控制目标值的控制命令供应到驱动系统控制单元107。
方向控制单元173执行方向控制，以实现操作计划单元163或紧急情况避免单元171计划的主车辆的操作。例如，方向控制单元173计算转向机构的控制目标值，以实现操作计划单元163或紧急情况避免单元171计划的行驶轨迹或突然转弯，并将指示计算出的控制目标值的控制命令供应到驱动系统控制单元107。
<<2.第一实施例>>
接下来，将参考图2和图3描述本技术的第一实施例。
<信号处理系统201的示例性配置>
图2图示了应用本技术的信号处理系统201的示例性配置。
信号处理系统201是识别所捕获图像的内容，基于识别结果等来检测异常，并在已经检测到异常的情况下将包括以字符表示识别结果等的数据(下文中，被称为字符数据)的文本信息发送到预定通知目的地的系统。
注意的是，除了所谓的文本数据之外，字符数据还包括例如通过用字符等表示的成像数据获得的数据。
此外，图2图示了其中信号处理系统201设置在车辆10中并检测车辆10或车辆10的周围中的至少一个的异常(例如，事故、驾驶员的异常等)的示例性情况。
信号处理系统201包括成像单元211、接收单元212、信号处理单元213、发送单元214和存储单元215。
成像单元211例如对车辆10的周围或内部中的至少一个进行成像。成像单元211将包括已经捕获的图像(下文中，被称为所捕获图像)的图像数据供应到信号处理单元213，并使存储单元215存储图像数据。例如，成像单元211构成车辆控制系统100的数据获取单元102的部分。
接收单元212经由通信网络121从车辆外部和车辆内部接收用于异常检测和文本信息生成的数据，并将接收到的数据供应到信号处理单元213。例如，接收单元212构成车辆控制系统100的通信单元103的部分和自动驾驶控制单元112的通信单元(未图示)的部分。
信号处理单元213基于图像数据和接收到的数据来检测异常，并且在已经检测到异常的情况下，生成文本信息以将其供应到发送单元214。信号处理单元213例如构成车辆控制系统100的自动驾驶控制单元112的检测单元131和情形识别单元153的部分，并包括识别单元221、文本信息生成单元222、异常检测单元223和发送控制单元224。
识别单元221识别所捕获图像的内容，并将指示识别结果的识别数据供应到文本信息生成单元222和异常检测单元223。例如，识别单元221使用通过诸如深度学习之类的机器学习构建的识别模型。
文本信息生成单元222生成包括表示所捕获图像的内容(识别数据)和接收到的数据的内容的字符数据的文本信息，并使存储单元215存储它。
异常检测单元223基于识别数据和接收到的数据来检测异常，并将指示检测结果的数据供应到发送控制单元224。
发送控制单元224基于异常检测结果来控制发送单元214的文本信息的发送。
发送单元214在发送控制单元224的控制下将文本信息发送到车辆外部的预定通知目的地。注意的是，发送单元214的通信方法不受特别限制。例如，发送单元214构成车辆控制系统100的通信单元103的部分。
存储单元215构成车辆控制系统100的存储单元111的部分。
<异常通知处理>
接下来，将参考图3的流程图来描述将由信号处理系统201执行的异常通知处理。
该处理例如在信号处理系统201的电力接通时开始，而在电力断开时结束。
在步骤S1中，成像单元211开始成像处理。具体地，成像单元211开始成像以将包括所获得的所捕获图像的图像数据供应到识别单元221，并还开始使存储单元215存储图像数据的处理。注意的是，存储在存储单元215中的图像数据例如在预定时间(例如，一小时)之后被擦除。
在步骤S2中，识别单元221开始识别处理。具体地，识别单元221识别所捕获图像的内容，并开始将指示识别结果的识别数据供应到文本信息生成单元222和异常检测单元223的处理。
待识别的所捕获图像的内容的示例包括与将由异常检测单元223检测的异常相关联的信息(例如，将用于异常的检测和分析的信息)。
例如，在所捕获图像是通过对车辆10的周围进行成像而获得的图像的情况下，将识别周围车辆的特性和状态、周围车辆的驾驶员的特性、周围行人(包括两轮车辆)的特性和位置、周围情形等。
周围车辆的特性的示例包括车辆类型、颜色和车辆号牌的内容。
周围车辆的状态的示例包括速度和行驶方向。
周围车辆的驾驶员和行人的特性的示例包括性别、年龄、体型、发型、肤色、衣服和配饰(例如，帽子、眼镜等)。注意的是，例如，可以包括通过基于所捕获图像进行面部识别等而获得的个人信息。
周围情形的示例包括天气、路面状态、障碍物的存在/不存在、事故发生的存在/不存在以及事故的情形。事故情形的示例包括事故的类型(例如，单一事故、财产损失事故、身体伤害事故等)、受伤人员的存在/不存在、车辆损坏情形以及火灾发生的存在/不存在。
此外，例如，在所捕获图像是通过对车辆10的内部进行成像而获得的图像的情况下，将识别车辆10的驾驶员的特性、状态等。
例如，车辆10的驾驶员的特性类似于上述车辆10的周围车辆的驾驶员的特性。
车辆10的驾驶员的状态的示例包括身体状况、清醒水平(例如，打瞌睡的存在/不存在)、专注水平、疲劳水平、视线方向、醉酒水平(例如，饮酒的可能性)以及是否系上了安全带。注意的是，例如，通过驾驶员监视系统(DMS)等识别驾驶员的状态。例如，可以通过瞳孔扫视等来识别饮酒的可能性。
在步骤S3中，接收单元212开始数据接收。具体地，接收单元212开始经由通信网络121从车辆外部和车辆内部接收数据并将其供应到文本信息生成单元222和异常检测单元223的处理。
接收到的数据的示例包括与将由异常检测单元223检测的异常相关联的信息(例如，将用于异常的检测和分析的信息)。例如，从车辆外部接收的数据包括通信单元103从车内装置104、存在于外部网络上的装置、存在于车辆10附近的终端和基站、另一车辆、行人、道路附带设备、家庭等接收的数据。从车辆内部接收的数据的示例包括指示由上述车辆外部信息检测单元141、车内信息检测单元142和车辆状态检测单元143进行的检测处理的结果的数据以及由输入单元101中包括的麦克风获得的车辆10内部的语音数据。
在步骤S4中，异常检测单元223基于识别数据和接收到的数据开始检测异常。
例如，异常检测单元223基于车辆10的气囊的状态、来自外部的对车辆10的冲击的幅度等来检测涉及车辆10的事故。此外，例如，异常检测单元223基于与车辆10的周围情形相关联的信息来检测车辆10周围的事故。注意的是，车辆10周围的事故不一定涉及车辆10，并可以包括其他车辆间的事故。此外，例如，异常检测单元223基于与驾驶员的状态相关联的信息开始检测驾驶员的异常。待检测的驾驶员异常的示例包括打瞌睡、醉酒状态、晕厥、抽筋和出血。
在步骤S5中，文本信息生成单元222开始生成文本信息。具体地，文本信息生成单元222开始生成包括表示所捕获图像的内容(识别数据)、从车辆外部接收的数据的内容或从车辆内部接收的数据的内容中的至少一个的字符数据的文本信息并使存储单元215存储文本信息的处理。用该布置，连续地生成文本信息，而不被异常检测结果改变。注意的是，存储在存储单元215中的文本信息例如在预定时间(例如，一分钟)之后被擦除。
文本信息的示例包括与将由异常检测单元223检测的异常相关联的信息。
与异常相关联的信息的示例包括指示异常内容的信息、指示异常风险的信息以及将用于分析异常的信息。
具体地，例如，文本信息包括表示上述车辆10的周围车辆的特性和状态、周围车辆的驾驶员的特性、周围行人的特性和位置、周围情形以及车辆10的驾驶员的特性和状态的字符数据。
注意的是，例如，在发生事故的情况下，文本信息还可以包括表示与除了已经造成事故的车辆之外的、不同于该车辆的周围车辆相关联的信息(例如，车辆号牌的内容)的字符数据。用该布置，例如，变得可以随后从周围车辆的驾驶员等收集事故的目击者信息。
例如，文本信息包括与车辆10相关联的信息，该信息例如是表示车辆10的特性和状态的字符数据。例如，车辆10的特性和状态类似于上述车辆10的周围车辆的特性和状态。
例如，在发生事故的情况下，文本信息包括表示与事故的情形相关联的信息的字符数据。事故情形的示例包括发生时间、发生地点、事故类型、受伤人员的存在/不存在、车辆损坏情形以及火灾发生的存在/不存在。
例如，文本信息包括通过对车辆10的内部的语音数据执行语音识别而获得的内容(即，语音的内容)的字符数据。
在步骤S6中，异常检测单元223基于异常检测处理的结果来确定是否检测到异常。重复执行步骤S6的确定处理，直到确定检测到异常为止。然后，在确定检测到异常的情况下，处理前进至步骤S7。
在步骤S7中，信号处理系统201开始文本信息的发送。具体地，异常检测单元223将异常的发生通知给发送控制单元224。
发送控制单元224从存储单元215读取在从检测到异常之前的预定时间(例如，之前10秒)的时间到检测到异常的时间的时间段期间生成的文本信息，并经由发送单元214将其发送到预定通知目的地。此外，发送控制单元224开始从存储单元215读取由文本信息生成单元222生成的最新文本信息并将其发送到预定通知目的地的处理。
例如，通知目的地被设置为预定中心。然后，例如，文本信息从该中心传送到诸如警察部门、医院、保险公司和保安公司之类的各种相关场所，或者在必要时进行基于文本信息的通知。注意的是，例如，通知目的地可以直接被设置为各相关场所。
在步骤S8中，异常检测单元223基于异常检测处理的结果来确定异常是否已经结束。重复执行步骤S8的确定处理，直到确定异常已经结束，并且在确定异常已经结束的情况下，处理前进至步骤S9。
在步骤S9中，信号处理系统201停止发送文本信息。具体地，异常检测单元223将异常的结束通知给发送控制单元224。
发送控制单元224停止文本信息的发送。
注意的是，例如，发送控制单元224可以在确定异常已经结束之后将文本信息的发送继续预定时间。
此后，处理返回到步骤S6，执行步骤S6的处理和后续处理。
如上所述，在发生事故、驾驶员的异常等的情况下，包括表示与所发生的异常相关联的信息的字符数据的文本信息被发送到预定通知目的地。
用该布置，变得可以在通知目的地和传送目的地使用文本信息而不分析图像等。结果，迅速掌握异常的发生和情形，以执行针对异常的动作。例如，在存在受伤人员的情况下，救护车可以立即前往事故地点。例如，在发生火灾的情况下，消防车可以立即前往事故地点。例如，在事故车辆已经逃逸的情况下，警察可以立即执行跟踪或强制措施。
<<3.第二实施例>>
接下来，将参考图4和图5来描述本技术的第二实施例。
在第二实施例中，在必要时开始或停止文本信息的生成。
<信号处理系统301的示例性配置>
图4图示了应用本技术的信号处理系统301的示例性配置。注意的是，以与图2类似的方式，图4图示了其中信号处理系统301设置在车辆10中并检测车辆10或车辆10的周围中的至少一个的异常(例如，事故、驾驶员的异常等)的示例性情况。此外，在该图中，与图2的信号处理系统201的部分对应的部分被用相同的参考符号表示，并且将酌情地省略对其的描述。
与信号处理系统201相比，信号处理系统301的相同之处在于包括成像单元211、接收单元212、发送单元214和存储单元215，而不同之处在于包括信号处理单元311而非信号处理单元213。与信号处理单元213相比，信号处理单元311的相同之处在于包括识别单元221，而不同之处在于包括异常检测单元321、文本信息生成单元322和发送控制单元323而非异常检测单元223、文本信息生成单元222和发送控制单元224。
与信号处理系统201的异常检测单元321相比，异常检测单元321的相同之处在于基于识别数据和接收到的数据来检测异常，而不同之处在于进一步检测异常的迹象。异常检测单元321将指示检测结果的数据供应到文本信息生成单元322。
以与文本信息生成单元222类似的方式，文本信息生成单元322基于识别数据和接收到的数据来生成文本信息。然而，与文本信息生成单元222不同，文本信息生成单元322基于异常的迹象和异常的检测结果来开始或停止文本信息的生成。文本信息生成单元322将所生成的文本信息供应到发送控制单元323，并使存储单元215存储文本信息。
在发送控制单元323从文本信息生成单元322获得文本信息的情况下，它经由发送单元214将所获得的文本信息发送到预定的通知目的地。
<异常通知处理>
接下来，将参考图5的流程图来描述将由信号处理系统301执行的异常通知处理。
该处理例如在信号处理系统301的电力接通时开始，而在电力断开时结束。
在步骤S101至S103中，执行与图3的步骤S1至S3中的处理类似的处理。
在步骤S104中，异常检测单元321开始检测异常。具体地，以与图3中的步骤S7的异常检测单元223的处理类似的方式，异常检测单元321开始检测异常，并还开始检测异常的迹象。
待检测的异常的迹象的示例包括导致事故的危险因素以及避免事故的操作。导致事故的危险因素的示例包括车辆10和周围车辆的不安全驾驶、危险行人(包括两轮车辆)、驾驶员的异常和周围的不安全情形。
车辆10和周围车辆的不安全驾驶的示例包括疲劳驾驶、酒后驾驶、无照明驾驶、注意力不集中驾驶、曲折驾驶、错误道路驾驶、无视信号、尾随、超速、打滑、突然启动、突然加速、突然制动和突然转向。
危险行人的示例包括正在跑出(可能跑出)的行人、在车辆10的驾驶员的盲区里的行人、无视交通灯的行人、在车辆道路上的行人以及漫步的行人。
周围不安全情形的示例包括地震、浓雾、洪水、风暴、暴风雪、火灾、岩石坠落、障碍物、道路崩塌和道路冻结。
避免事故的操作的示例包括突然制动和突然转向。
在步骤S105中，异常检测单元321确定是否检测到异常的迹象。在确定未检测到异常的迹象情况下，处理前进至步骤S106。
在步骤S106中，以与图3中的步骤S6的处理类似的方式，确定是否检测到异常。在确定未检测到异常的情况下，处理返回到步骤S105。
此后，重复执行步骤S105和S106的处理，直到在步骤S105中确定检测到异常的迹象或者在步骤S106中确定检测到异常为止。
另一方面，在步骤S105中确定检测到异常的迹象的情况下，也就是说，在异常发生的风险增加的情况下，跳过步骤S106的处理，处理前进至步骤S107。
此外，在步骤S106中确定检测到异常的情况下，处理前进至步骤S107。这是未检测到异常的迹象但突然检测到异常的情况。
在步骤S107中，信号处理系统301开始文本信息的生成和发送。具体地，异常检测单元321将检测到异常的迹象或检测到异常的事实通知给文本信息生成单元322。
以与图3中的步骤S5的文本信息生成单元222的处理类似的方式，文本信息生成单元322开始生成文本信息。此外，文本信息生成单元322开始将所生成的文本信息供应到发送控制单元323并使存储单元215存储文本信息的处理。注意的是，存储在存储单元215中的文本信息例如在预定时间(例如，一分钟)之后被擦除。
注意的是，在检测到异常的迹象的情况下，文本信息包括例如表示与异常的迹象相关联的信息的字符数据。与异常的迹象相关联的信息的示例包括异常的迹象的内容、和异常的迹象的发生时间和发生地点。
例如，用文本信息中包括的与作为异常的迹象之一的不安全驾驶相关联信息，在发生事故的情况下提高事故分析准确度，由此变得可以准确地识别事故的原因等。
发送控制单元323开始经由发送单元214将从文本信息生成单元322获得的文本信息发送到预定的通知目的地的处理。
在步骤S108中，异常检测单元321确定异常的迹象或异常是否已经结束。重复执行该确定处理，直到确定异常的迹象或异常已经结束为止。然后，在确定异常的迹象或异常已经结束的情况下，处理前进至步骤S109。这包括：在检测到异常的迹象之后检测到异常，并在此后接着未检测到异常的情况；在检测到异常的迹象之后，未检测到异常的迹象并且未检测到异常的情况；以及未检测到异常的迹象但检测到异常，并在此后接着未检测到异常的情况。
在步骤S109中，信号处理系统301停止文本信息的生成和发送。具体地，异常检测单元321将异常的迹象或异常已经结束的事实通知给文本信息生成单元322。
文本信息生成单元322停止生成文本信息。发送控制单元323停止发送文本信息的处理。
注意的是，例如，文本信息生成单元322和发送控制单元323可以在确定异常的迹象或异常已经结束之后将文本信息的生成和发送继续预定时间。
此后，处理返回到步骤S105，执行步骤S105的处理和后续处理。
如上所述，检测异常的迹象，并且在异常发生的风险增加之后生成文本信息，由此可以减少信号处理系统301的处理。
此外，除了检测到异常的情况之外，还在检测到异常的迹象的情况下，生成并发送文本信息。用该布置，变得可以在文本信息的通知目的地预先为异常的发生做好准备，由此变得可以迅速响应异常的发生。此外，变得可以更准确地详细分析异常。
<<4.变形例>>
下文中，将描述根据上述本技术的实施例的变形例。
信号处理系统201和信号处理系统301可以包括例如一个半导体芯片或多个半导体芯片。
例如，信号处理系统201的成像单元211可以设置在图像传感器中，并且其他单元可以设置在其他半导体芯片(例如，用于ADAS的半导体芯片)中。例如，成像单元211和信号处理单元213的部分(例如，识别单元221)或全部可以设置在图像传感器中，并且其他单元可以设置在其他半导体芯片(例如，用于ADAS的半导体芯片)中。例如，信号处理系统201可以包括一个图像传感器。
类似地，例如，信号处理系统301的成像单元211可以设置在图像传感器中，并且其他单元可以设置在其他半导体芯片(例如，用于ADAS的半导体芯片)中。例如，成像单元211和信号处理单元311的部分(例如，识别单元221)或全部可以设置在图像传感器中，并且其他单元可以设置在其他半导体芯片(例如，用于ADAS的半导体芯片)中。例如，信号处理系统301可以包括一个图像传感器。
此外，例如，信号处理系统201和信号处理系统301可以包括一个设备，或者可以包括具有不同壳体的多个设备。
例如，信号处理系统201可以包括一个成像设备。例如，信号处理系统201的成像单元211可以设置在成像设备中，并且其他单元可以设置在用于车辆的ADAS的电子控制单元(ECU)中。
类似地，例如，信号处理系统301可以包括一个成像设备。例如，信号处理系统301的成像单元211可以设置在成像设备中，并且其他单元可以设置在用于车辆的ADAS的ECU中。
此外，例如，在第一实施例中，以与第二实施例类似的方式，在检测到异常的迹象的情况下开始生成文本信息，并且在异常的迹象或异常已经结束的情况下停止生成文本信息。
此外，例如，在第二实施例中，以与第一实施例类似的方式，在检测到异常的情况下开始发送文本信息。此外，例如，以与第一实施例类似的方式，可以发送在从检测到异常之前的预定时间的时间到检测到异常的时间的时间段期间生成的文本信息。
此外，例如，在检测到异常之后文本信息被发送预定时间之后，可以不管异常是否已经结束都停止发送文本信息。
此外，例如，在车辆10由于故障等而不能将文本信息发送到通知目的地的情况下，如果有可能通过短距离通信与周围车辆进行通信，则文本信息可以被发送到周围车辆，并且周围车辆可以代表车辆10将文本信息发送到通知目的地。
此外，例如，信号处理系统201和信号处理系统301可以被安装在固定场所，并且可以被用于监视预定监视区域中的诸如交通事故之类的异常。目标监视区域的假定示例包括十字路口、高速公路和铁路道口。
在这种情况下，文本信息包括例如表示与监视区域的情形相关联的信息的字符数据。与监视区域的情形相关联的信息的示例包括车辆、驾驶员、行人、天气、路面状态、障碍物的存在/不存在、事故发生的存在/不存在、以及监视区域中的事故情形和监视区域中语音数据的语音识别的内容。
此外，信号处理系统201和信号处理系统301可以设置在除了车辆之外的移动体中，并可以用于通知移动体的各种类型的异常。目标移动体的假定示例包括摩托车、自行车、个人移动装置、飞机、船舶、施工机械和农业机械(农用拖拉机)。此外，例如，还包括诸如无人机或机器人之类的在没有搭乘用户的情况下会被远程驱动(操作)的移动体。待通知的异常的假定示例包括事故、坠落、破坏和故障。
在这种情况下，例如，文本信息包括表示与移动体、移动体的驾驶员(在存在驾驶员的情况下)和异常(例如，事故等)的情形相关联的信息的字符数据以及表示移动体中语音数据的语音识别的内容的字符数据。此外，在发生涉及移动体的事故并且存在事故的相对方的情况下，文本信息包括例如表示与事故的相对方相关联的信息的字符数据。
此外，信号处理系统201和信号处理系统301可以设置在预定的监视区域中，并可以用于犯罪预防、灾难预防等。目标监测区域的假定示例包括各种设施(例如，商店、公司、学校、工厂、车站、机场、仓库等)、营业场所、街道、停车场、住宅和假定发生自然灾害的场所。待通知的异常的假定示例包括可疑人员的进入、盗窃、破坏、可疑行为、火情和自然灾害(例如，洪水、海啸、火山喷发等)。
在这种情况下，文本信息包括例如表示与监视区域的情形相关联的信息的字符数据。与监视区域的情形相关联的信息的示例包括人、物体、天气、异常发生的存在/不存在、以及监视区域中的异常情形和监视区域中语音数据的语音识别的内容。
此外，例如，可以根据情形来改变文本信息的内容。此外，例如，文本信息可以被多次发送。
此外，例如，可以仅使用图像数据而不使用接收到的数据来施行上述处理。
此外，文本信息可以用于例如供自动驾驶使用的动态地图。动态地图例如包括诸如路面、车道和结构物之类的时间上变化很小的静态信息、诸如管理交通管制时间表和道路施工时间表之类的准静态信息、诸如事故和拥堵之类的准动态信息、以及诸如周围车辆和信号信息之类的动态信息。然后，例如，使用文本信息来更新通知目的地的中心中的准动态信息等。
<<5.其他>>
<示例性计算机配置>
上述的一系列处理可以由硬件或软件执行。在由软件执行该一系列处理的情况下，软件中包括的程序被安装在计算机中。这里，计算机的示例包括被装配在专用硬件中的计算机、能够通过安装各种程序来执行各种功能的通用个人计算机等。
图6是图示了使用程序来执行上述一系列处理的计算机的示例性硬件配置的框图。
在计算机1000中，中央处理单元(CPU)1001、只读存储器(ROM)1002和随机存取存储器(RAM)1003经由总线1004彼此联接。
输入/输出接口1005进一步连接到总线1004。输入单元1006、输出单元1007、记录单元1008、通信单元1009和驱动1010连接到输入/输出接口1005。
输入单元1006包括输入开关、按钮、麦克风、图像拾取设备等。输出单元1007包括显示器、扬声器等。记录单元1008包括硬盘、非易失性存储器等。通信单元1009包括网络接口等。驱动1010驱动诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除介质1011。
在如上所述配置的计算机1000中，例如，CPU 1001经由输入/输出接口1005和总线1004将存储在记录单元1008中的程序加载到RAM1003中并执行程序，由此执行上述一系列处理。
将由计算机1000(CPU 1001)执行的程序可以通过例如记录在作为封装介质的可移除介质1011等中来提供。此外，该程序可以通过诸如局域网、互联网和数字卫星广播之类的有线或无线传输介质来提供。
在计算机1000中，通过将可移除介质1011附接到驱动1010，可以将该程序经由输入/输出接口1005安装在记录单元1008中。此外，该程序可以经由有线或无线传输介质由通信单元1009接收并被安装在记录单元1008中。另外，该程序可以预先被安装在ROM 1002或记录单元1008中。
注意的是，将由计算机执行的程序可以是根据本说明书中描述的顺序按时序方式执行处理的程序，或者可以是并行地或者在诸如进行调用时之类的必要定时执行处理的程序。
此外，在本说明书中，系统指示多个构成元件(器件、模块(部件)等)的集合，并且所有构成元件是否在同一外壳中并不要紧。因此，容纳在单独外壳中并通过网络连接的多个设备以及其中多个模块被容纳在一个外壳中的一个设备都是系统。
此外，本技术的实施例不限于上述实施例，并且可以在不脱离本技术的主旨的情况下进行各种修改。
例如，本技术可以采用云计算的配置，在该配置中一个功能经由网络由多个设备共享和联合处理。
此外，上述流程图中描述的各步骤可以由一个设备执行或者由多个设备共享。
此外，在一个步骤中包括多个处理的情况下，这个步骤中包括的这多个处理可以由一个设备执行或者由多个设备共享。
<示例性配置组合>
本技术还可以采用以下配置。
(1)一种信号处理设备，包括：
识别单元，识别由成像单元成像的所捕获图像的内容；
文本信息生成单元，生成文本信息，所述文本信息包括以字符表示识别到的所捕获图像的内容的数据；以及
发送控制单元，控制所述文本信息的发送。
(2)根据上述(1)所述的信号处理设备，其中，
所述信号处理设备设置在车辆中，并且
所述文本信息生成单元基于识别到的所捕获图像的内容和从所述车辆的内部或所述车辆的外部中的至少一个接收到的数据的内容来生成所述文本信息。
(3)根据上述(2)所述的信号处理设备，其中，
所述文本信息包括以字符表示与所述车辆或所述车辆的周围中的至少一个的异常相关联的信息的数据。
(4)根据上述(3)所述的信号处理设备，其中，
与所述异常相关联的信息包括所述车辆周围的另一车辆的特性、所述另一车辆的状态、所述另一车辆的驾驶员的特性、事故的情形、所述车辆的特性、所述车辆的状态、所述车辆的驾驶员的特性或所述车辆的驾驶员的状态中的至少一个。
(5)根据上述(4)所述的信号处理设备，其中，
所述另一车辆的特性包括所述另一车辆的车辆号牌的内容。
(6)根据上述(1)至(5)中任一项所述的信号处理设备，还包括：
异常检测单元，基于识别到的所捕获图像的内容来检测异常，其中，
所述发送控制单元基于所述异常的检测结果来控制所述文本信息的发送。
(7)根据上述(6)所述的信号处理设备，其中，
所述发送控制单元在检测到所述异常的情况下开始所述文本信息的发送。
(8)根据上述(7)所述的信号处理设备，其中，
所述文本信息生成单元不管所述异常的检测结果如何都连续生成所述文本信息，并且
在检测到所述异常的情况下，所述发送控制单元开始所述文本信息的发送，并在从预定时间前直到检测到所述异常为止的时段期间发送所述文本信息。
(9)根据上述(7)所述的信号处理设备，其中，
所述文本信息生成单元在检测到所述异常的迹象的情况下开始所述文本信息的生成。
(10)根据上述(6)所述的信号处理设备，其中，
所述文本信息生成单元在检测到所述异常的迹象的情况下开始所述文本信息的生成，并且
所述发送控制单元在检测到所述异常的迹象的情况下开始所述文本信息的发送。
(11)根据上述(10)所述的信号处理设备，其中，
所述文本信息包括以字符表示与所述异常的迹象相关联的信息的数据。
(12)根据上述(10)所述的信号处理设备，其中，
所述信号处理设备设置在车辆中，并且
所述异常的迹象包括所述车辆的事故的危险因素或所述车辆为避免所述事故的操作中的至少一个。
(13)根据上述(6)至(12)中任一项所述的信号处理设备，其中，
所述文本信息包括以字符表示与所述异常相关联的信息的数据。
(14)根据上述(6)至(13)中任一项所述的信号处理设备，还包括：
接收单元，接收包括与所述异常相关联的信息的数据，其中，
所述文本信息还包括以字符表示接收到的所述数据的内容的数据。
(15)根据上述(14)所述的信号处理设备，其中，
所述异常检测单元还基于接收到的所述数据来检测所述异常。
(16)根据上述(14)或(15)所述的信号处理设备，其中，
接收到的所述数据包括语音数据，并且
所述文本信息包括以字符表示所述语音数据的语音识别的内容的数据。
(17)根据上述(1)所述的信号处理设备，其中，
所述成像单元对预定监视区域进行成像，并且
所述文本信息包括以字符表示与所述监视区域的情形相关联的信息的数据。
(18)根据上述(1)至(17)中任一项所述的信号处理设备，还包括：
所述成像单元。
(19)根据上述(18)所述的信号处理设备，还包括：
图像传感器，包括所述成像单元和所述识别单元。
(20)一种信号处理方法，包括：
识别由成像单元成像的所捕获图像的内容；
生成文本信息，所述文本信息包括以字符表示识别到的所捕获图像的内容的数据；以及
控制所述文本信息的发送。
(21)一种使计算机执行包括以下步骤的处理的程序：
识别由成像单元成像的所捕获图像的内容；
生成文本信息，所述文本信息包括以字符表示识别到的所捕获图像的内容的数据；以及
控制所述文本信息的发送。
(22)一种成像设备，包括：
成像单元；
识别单元，识别由所述成像单元成像的所捕获图像的内容；
文本信息生成单元，生成文本信息，所述文本信息包括以字符表示识别到的所捕获图像的内容的数据；以及
发送控制单元，控制所述文本信息的发送。
注意的是，本文中描述的效果仅仅是示例而非限制，并且可以包括附加效果。
参考符号列表
10 车辆
100 车辆控制系统
101 输入单元
102 数据获取单元
103 通信单元
141 车辆外部信息检测单元
142 车内信息检测单元
143 车辆状态检测单元
153 情形识别单元
201 信号处理系统
211 成像单元
212 接收单元
213 信号处理单元
214 发送单元
221 识别单元
222 文本信息生成单元
223 异常检测单元
224 发送控制单元
301 信号处理系统
311 信号处理单元
321 异常检测单元
322 文本信息生成单元
323 发送控制单元

Claims (22)

1.一种信号处理设备，包括：
识别单元，识别由成像单元成像的所捕获图像的内容；
文本信息生成单元，生成文本信息，所述文本信息包括以字符表示识别到的所捕获图像的内容的数据；以及
发送控制单元，控制所述文本信息的发送。
2.根据权利要求1所述的信号处理设备，其中，
所述信号处理设备设置在车辆中，并且
所述文本信息生成单元基于识别到的所捕获图像的内容和从所述车辆的内部或所述车辆的外部中的至少一个接收到的数据的内容来生成所述文本信息。
3.根据权利要求2所述的信号处理设备，其中，
所述文本信息包括以字符表示与所述车辆或所述车辆的周围中的至少一个的异常相关联的信息的数据。
4.根据权利要求3所述的信号处理设备，其中，
与所述异常相关联的信息包括所述车辆周围的另一车辆的特性、所述另一车辆的状态、所述另一车辆的驾驶员的特性、事故的情形、所述车辆的特性、所述车辆的状态、所述车辆的驾驶员的特性或所述车辆的驾驶员的状态中的至少一个。
5.根据权利要求4所述的信号处理设备，其中，
所述另一车辆的特性包括所述另一车辆的车辆号牌的内容。
6.根据权利要求1所述的信号处理设备，还包括：
异常检测单元，基于识别到的所捕获图像的内容来检测异常，其中，
所述发送控制单元基于所述异常的检测结果来控制所述文本信息的发送。
7.根据权利要求6所述的信号处理设备，其中，
所述发送控制单元在检测到所述异常的情况下开始所述文本信息的发送。
8.根据权利要求7所述的信号处理设备，其中，
所述文本信息生成单元不管所述异常的检测结果如何都连续生成所述文本信息，并且
在检测到所述异常的情况下，所述发送控制单元开始所述文本信息的发送，并在从预定时间前直到检测到所述异常为止的时段期间发送所述文本信息。
9.根据权利要求7所述的信号处理设备，其中，
所述文本信息生成单元在检测到所述异常的迹象的情况下开始所述文本信息的生成。
10.根据权利要求6所述的信号处理设备，其中，
所述文本信息生成单元在检测到所述异常的迹象的情况下开始所述文本信息的生成，并且
所述发送控制单元在检测到所述异常的迹象的情况下开始所述文本信息的发送。
11.根据权利要求10所述的信号处理设备，其中，
所述文本信息包括以字符表示与所述异常的迹象相关联的信息的数据。
12.根据权利要求10所述的信号处理设备，其中，
所述信号处理设备设置在车辆中，并且
所述异常的迹象包括所述车辆的事故的危险因素或所述车辆为避免所述事故的操作中的至少一个。
13.根据权利要求6所述的信号处理设备，其中，
所述文本信息包括以字符表示与所述异常相关联的信息的数据。
14.根据权利要求6所述的信号处理设备，还包括：
接收单元，接收包括与所述异常相关联的信息的数据，其中，
所述文本信息还包括以字符表示接收到的所述数据的内容的数据。
15.根据权利要求14所述的信号处理设备，其中，
所述异常检测单元还基于接收到的所述数据来检测所述异常。
16.根据权利要求14所述的信号处理设备，其中，
接收到的所述数据包括语音数据，并且
所述文本信息包括以字符表示所述语音数据的语音识别的内容的数据。
17.根据权利要求1所述的信号处理设备，其中，
所述成像单元对预定监视区域进行成像，并且
所述文本信息包括以字符表示与所述监视区域的情形相关联的信息的数据。
18.根据权利要求1所述的信号处理设备，还包括：
所述成像单元。
19.根据权利要求18所述的信号处理设备，还包括：
图像传感器，包括所述成像单元和所述识别单元。
20.一种信号处理方法，包括：
识别由成像单元成像的所捕获图像的内容；
生成文本信息，所述文本信息包括以字符表示识别到的所捕获图像的内容的数据；以及
控制所述文本信息的发送。
21.一种使计算机执行包括以下步骤的处理的程序：
识别由成像单元成像的所捕获图像的内容；
生成文本信息，所述文本信息包括以字符表示识别到的所捕获图像的内容的数据；以及
控制所述文本信息的发送。
22.一种成像设备，包括：
成像单元；
识别单元，识别由所述成像单元成像的所捕获图像的内容；
文本信息生成单元，生成文本信息，所述文本信息包括以字符表示识别到的所捕获图像的内容的数据；以及
发送控制单元，控制所述文本信息的发送。
CN202080037215.4A 2019-05-28 2020-05-15 信号处理设备、信号处理方法、程序和成像设备 Pending CN113841187A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-099011 2019-05-28
JP2019099011 2019-05-28
PCT/JP2020/019373 WO2020241292A1 (ja) 2019-05-28 2020-05-15 信号処理装置、信号処理方法、プログラム、及び、撮像装置

Publications (1)

Publication Number Publication Date
CN113841187A true CN113841187A (zh) 2021-12-24

Family

ID=73553442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080037215.4A Pending CN113841187A (zh) 2019-05-28 2020-05-15 信号处理设备、信号处理方法、程序和成像设备

Country Status (5)

Country Link
US (1) US20220309848A1 (zh)
JP (1) JP7367014B2 (zh)
CN (1) CN113841187A (zh)
DE (1) DE112020002741T5 (zh)
WO (1) WO2020241292A1 (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020115423A1 (en) * 2001-02-19 2002-08-22 Yasuhiko Hatae Emergency information notifying system, and apparatus, method and moving object utilizing the emergency information notifying system
JP2004217188A (ja) * 2003-01-17 2004-08-05 Matsushita Electric Ind Co Ltd 車載表示装置および表示方法
JP2005338934A (ja) * 2004-05-24 2005-12-08 Nissan Motor Co Ltd 車両内コミュニケーション装置
JP2007172483A (ja) * 2005-12-26 2007-07-05 Kayaba Ind Co Ltd ドライブレコーダ
KR20090081459A (ko) * 2008-01-24 2009-07-29 주식회사 토페스 교통 상황 정보 제공 시스템
JP2011079350A (ja) * 2009-10-02 2011-04-21 Toyota Motor Corp 車両用故障検出装置、電子制御ユニット、車両用故障検出方法
JP2012095040A (ja) * 2010-10-26 2012-05-17 Nippon Seiki Co Ltd 撮像装置
JP2014123303A (ja) * 2012-12-21 2014-07-03 Secom Co Ltd 監視システム
JP2015207049A (ja) * 2014-04-17 2015-11-19 株式会社デンソー 車両事故状況予測装置及び車両事故状況予測システム、車両事故通報装置
CN107161097A (zh) * 2017-04-06 2017-09-15 南京航空航天大学 基于北斗导航系统的车辆行驶智能安全系统
CN207022040U (zh) * 2015-12-29 2018-02-16 昶洧新能源汽车发展有限公司 车载设备和服务提供商计算机
CN207097257U (zh) * 2015-12-29 2018-03-13 昶洧新能源汽车发展有限公司 车载系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006120137A (ja) * 2001-02-19 2006-05-11 Hitachi Kokusai Electric Inc 画像情報通報システム
JP2017090220A (ja) 2015-11-09 2017-05-25 トヨタ自動車株式会社 レーダ装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020115423A1 (en) * 2001-02-19 2002-08-22 Yasuhiko Hatae Emergency information notifying system, and apparatus, method and moving object utilizing the emergency information notifying system
JP2004217188A (ja) * 2003-01-17 2004-08-05 Matsushita Electric Ind Co Ltd 車載表示装置および表示方法
JP2005338934A (ja) * 2004-05-24 2005-12-08 Nissan Motor Co Ltd 車両内コミュニケーション装置
JP2007172483A (ja) * 2005-12-26 2007-07-05 Kayaba Ind Co Ltd ドライブレコーダ
KR20090081459A (ko) * 2008-01-24 2009-07-29 주식회사 토페스 교통 상황 정보 제공 시스템
JP2011079350A (ja) * 2009-10-02 2011-04-21 Toyota Motor Corp 車両用故障検出装置、電子制御ユニット、車両用故障検出方法
JP2012095040A (ja) * 2010-10-26 2012-05-17 Nippon Seiki Co Ltd 撮像装置
JP2014123303A (ja) * 2012-12-21 2014-07-03 Secom Co Ltd 監視システム
JP2015207049A (ja) * 2014-04-17 2015-11-19 株式会社デンソー 車両事故状況予測装置及び車両事故状況予測システム、車両事故通報装置
CN207022040U (zh) * 2015-12-29 2018-02-16 昶洧新能源汽车发展有限公司 车载设备和服务提供商计算机
CN207097257U (zh) * 2015-12-29 2018-03-13 昶洧新能源汽车发展有限公司 车载系统
CN107161097A (zh) * 2017-04-06 2017-09-15 南京航空航天大学 基于北斗导航系统的车辆行驶智能安全系统

Also Published As

Publication number Publication date
JP7367014B2 (ja) 2023-10-23
WO2020241292A1 (ja) 2020-12-03
US20220309848A1 (en) 2022-09-29
DE112020002741T5 (de) 2022-03-03
JPWO2020241292A1 (zh) 2020-12-03

Similar Documents

Publication Publication Date Title
US20210387640A1 (en) Information processing apparatus, information processing method, and program
US11873007B2 (en) Information processing apparatus, information processing method, and program
CN112534487B (zh) 信息处理设备、移动体、信息处理方法和程序
US11815887B2 (en) Vehicle control device, vehicle control method, vehicle, information processing device, information processing method, and program
EP3900994A1 (en) Vehicle control device, vehicle control method, program, and vehicle
JPWO2019039281A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JPWO2020009060A1 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置
WO2021065559A1 (ja) 情報処理システム、および情報処理方法、並びに情報処理装置
JP7192771B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
US20220277556A1 (en) Information processing device, information processing method, and program
WO2020129810A1 (en) Information processing apparatus, information processing method, and program
WO2022024803A1 (ja) 学習モデルの生成方法、情報処理装置、情報処理システム
JP7367014B2 (ja) 信号処理装置、信号処理方法、プログラム、及び、撮像装置
JP7451423B2 (ja) 画像処理装置、画像処理方法および画像処理システム
WO2020129689A1 (ja) 移動体制御装置、移動体制御方法、移動体、情報処理装置、情報処理方法、及び、プログラム
WO2024048180A1 (ja) 情報処理装置、情報処理方法および車両制御システム
WO2022014327A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2023171401A1 (ja) 信号処理装置、信号処理方法、および記録媒体
WO2023068116A1 (ja) 車載通信装置、端末装置、通信方法、情報処理方法及び通信システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination