CN110997415A - 控制车辆的操作的电子设备和方法 - Google Patents

Abstract

提供了控制车辆操作的电子设备和方法。该方法包括从安装在车辆上的摄像机获得包括多个帧的视频序列；从多个帧中检测包括在多个帧中的对象；获得关于对象相对于多个帧中的每个帧的位置信息；通过分析对象在多个帧中的位置的时间序列变化来确定与车辆驾驶相关的事件是否已经发生；基于确定的结果生成关于事件的通知消息；以及输出所生成的通知消息，其中使用多个学习模型来执行对象的检测、位置信息的获得、事件是否已经发生的确定以及通知消息的生成。

Description

控制车辆的操作的电子设备和方法

技术领域

本公开涉及控制车辆操作的电子设备和方法，例如涉及提供通知消息的电子设备和方法，该通知消息根据对象在多个帧(frame)中的位置通知与车辆驾驶相关的事件的发生。

背景技术

随着多媒体技术和网络技术的发展，用户可以使用电子设备接收各种服务。随着应用于车辆的技术的发展，正在开发识别与车辆的驾驶相关的事件是否已经发生的各种方法。

另一方面，在需要快速和准确认知功能的自主驾驶技术中，对用于在有限的数据量的情况下更准确地确定与车辆驾驶相关的事件是否已经发生并经由通知消息通知用户的技术的需求正在增加。

发明内容

附图说明

结合附图，从下面的详细描述中，本公开的某些实施例的上述和其他方面、特征和益处将变得更加明显，其中：

图1是示出根据实施例的电子设备控制车辆操作的示例的图；

图2是示出根据实施例的电子设备向用户提供通知消息的方法的流程图；

图3是示出根据实施例的电子设备通过使用学习模型向用户提供通知消息的方法的流程图；

图4是示出根据实施例的使用学习模型生成通知消息的示例的图；

图5是示出根据实施例的如何确定通知消息的内容的表格；

图6是示出根据实施例的输出通知消息的示例的图；

图7是示出根据实施例的输出通知消息的示例的图；

图8和图9是示出根据一些实施例的电子设备的框图；

图10是示出根据实施例的处理器的框图；

图11是示出根据实施例的数据学习器的框图；

图12是示出根据实施例的数据识别器的框图；以及

图13是示出根据实施例的当电子设备结合服务器操作时学习和识别数据的示例的图。

实施本发明的最佳模式

提供了使用多个学习模型基于对象在多个帧中的位置来提供关于与车辆驾驶相关的事件的发生的通知消息的电子设备和方法。

根据本公开的方面，提供了用于控制车辆操作的电子设备，该电子设备包括被配置为存储至少一个程序的存储器；以及被配置为通过执行该至少一个程序来提供通知消息的至少一个处理器，其中至少一个程序包括指令，当该指令被处理器执行时，该指令使得电子设备执行操作，该操作包括：从安装在车辆上的摄像机获得包括多个帧的视频序列；从多个帧中检测包括在多个帧中的对象；获得关于对象相对于多个帧中的每个帧的位置信息；通过分析对象在多个帧中的位置的时间序列变化来确定与车辆驾驶相关的事件是否已经发生；基于确定的结果生成关于事件的通知消息；以及输出所生成的通知消息，其中使用多个学习模型来执行对象的检测、位置信息的获得、事件是否已经发生的确定以及通知消息的生成。

根据本公开的另一方面，提供了一种控制车辆操作的方法，该方法包括从安装在车辆上的摄像机获得包括多个帧的视频序列；从多个帧中检测包括在多个帧中的对象；获得关于对象相对于多个帧中的每个帧的位置信息；通过分析对象在多个帧中的位置的时间序列变化来确定与车辆驾驶相关的事件是否已经发生；基于确定的结果生成关于事件的通知消息；以及输出所生成的通知消息，其中使用多个学习模型来执行对象的检测、位置信息的获得、事件是否已经发生的确定以及通知消息的生成。

根据本公开的另一方面，提供了一种其上记录有用于实现上述方法的计算机程序的非暂时性计算机可读记录介质。

具体实施方式

现在将更详细地参考各种示例实施例，其示例在附图中示出，其中同样的附图标记始终指同样的元件。在这点上，本实施例可以具有不同的形式，并且不应该被理解为限于这里阐述的描述。因此，下面仅通过参考附图来描述实施例以解释多个方面。如这里所使用的，术语“和/或”包括一个或多个相关联的列出项目的任何和所有组合。在元素列表之前使用诸如“至少一个”等表达时，会修改整个元素列表，而不会修改列表中的单个元素。

在下文中，将参考附图更全面地描述各种示例实施例。然而，这些实施例可以以许多不同的形式实施，并且不应该被理解为限于这里阐述的实施例。相反，提供实施例是为了使本公开彻底和完整，并且将本公开的范围完全地传达给本领域技术人员。在附图中，为了清楚起见，可以省略某些元件，并且在整个公开中，同样的元件表示同样的附图标记。

在整个公开内容中，应当理解，当一部分被称为“连接到”另一部分时，该一部分可以“直接连接到”另一部分或者经由另一元件“电连接到”另一部分。此外，还将理解，这里使用的术语“包括”指定所述的特征或组件的存在，但不排除一个或多个其他特征或组件的存在或添加。

在下文中，将参考附图更详细地描述实施例。

图1是示出根据实施例的电子设备1000控制车辆操作的示例的图。

参考图1，电子设备1000可以是安装在车辆上的设备，并且该电子设备1000可以从安装在车辆上的摄像机接收视频序列，并且向用户发送指示各种事件的发生的通知消息。

尽管上面描述了电子设备1000从安装在车辆上的摄像机接收视频序列，但是本公开不限于此，并且电子设备1000可以从能够拍摄车辆周边的摄像机接收视频序列。例如，车辆周边可以包括但不限于，车辆前方、侧方和后方的区域等。

根据实施例，电子设备1000可以取决于事件类型和驾驶风险水平提供包括不同内容的通知消息。例如，当确定期望提供对应于事件的行动指南而不是简单地基于事件类型和驾驶风险水平通知事件时，可以向用户提供包括关于事件的信息和对应于事件的行动指南的通知消息。例如，对应于事件的行动指南可以包括降低驾驶风险水平的方法。

根据实施例，当电子设备1000基于事件类型和驾驶风险水平确定期望控制安装在车辆上的模块的操作时，电子设备1000可以向安装在车辆上的模块发送用于控制安装在车辆上的模块的操作的命令。例如，电子设备1000可以基于事件类型和驾驶风险水平，输出通知消息并且同时控制安装在车辆上的模块的操作。当在电子设备1000输出通知消息之后的某时间段内没有接收到用于控制安装在车辆上的模块的操作的用户输入时，电子设备1000可以向安装在车辆上的模块发送用于控制安装在车辆上的模块的操作的命令。电子设备1000可以基于事件类型和驾驶风险水平来控制安装在车辆上的模块的操作，而不输出通知消息。

例如，电子设备1000可以是但不限于、车辆中的头部单元、嵌入式板、智能电话、平板PC、PC、智能TV、移动电话、个人数字助理(personal digital assistant，PDA)、膝上型计算机、车辆、媒体播放器、微服务器、全球定位系统(global positioning system，GPS)设备、电子书终端、数字广播终端、导航设备、信息亭(kiosk)、MP3播放器、数码相机、消费者电子设备以及其他移动或非移动计算设备等中的一个或多个，但电子设备1000不限于此。此外，电子设备1000可以是具有通信功能和数据处理功能等的可佩戴电子设备(例如，诸如但不限于手表、眼镜、发带和戒指)，但电子设备1000不限于此。电子设备1000可以包括能够从摄像机获得图像(例如，视频和静止图像)并且基于获得的图像向用户提供通知消息的任何类型的设备。

根据实施例，例如，电子设备1000可以包括安装在车辆上的模块，可以控制车辆操作，并且可以经由某网络与安装在车辆上的其他模块通信。

根据实施例，例如，电子设备1000可以包括与车辆分离的设备(诸如智能电话等)，但电子设备1000不限于此。在这种情况下，电子设备1000可以使用电子设备1000的摄像机获得视频序列，或者可以经由某网络从能够拍摄车辆周边的摄像机接收视频序列。此外，当电子设备1000是与车辆分离的设备时，电子设备1000可以与安装在车辆上的模块通信，以控制车辆操作。

例如，车辆可以是但不限于具有通信功能、数据处理功能和运输功能的运输工具(例如汽车、公共汽车、卡车、学习(a learn)、自行车、摩托车等)，但车辆不限于此。

此外，电子设备1000可以经由某网络与服务器2000或另一电子设备(未示出)通信，例如，以但不限于接收视频序列、发送通知消息、以及发送用于控制另一电子设备的操作的命令等。在这种情况下，例如，某网络可以包括允许网络组件彼此平滑通信的通用数据通信网络，并且包括局域网(local area network，LAN)、广域网(wide area network，WAN)、增值网络(value added network，VAN)、移动无线电通信网络、卫星通信网络及其相互的组合，并且可以包括有线互联网、无线互联网和无线通信网络等，但某网络不限于此。无线通信网络可以包括但不限于Wi-Fi、蓝牙、蓝牙低能量(Bluetooth low energy，BLE)、ZigBee、Wi-Fi直连(Wi-Fi Direct，WFD)、超宽带(ultra wideband，UWB)、红外数据标准协会(infrared data association，IrDA)和近场通信(Near Field Communication，NFC)。

图2是示出根据实施例的电子设备1000向用户提供通知消息的示例方法的流程图。

在操作S210中，电子设备1000可以从安装在车辆上的摄像机获得包括多个帧的视频序列。根据实施例，电子设备1000可以通过经由某网络与安装在车辆上的摄像机通信来接收视频序列。例如，视频序列可以是车辆的黑匣子图像或者从车辆的立体摄像机接收的图像。根据实施例，电子设备1000可以包括摄像机，并且可以从包括在电子设备1000中的摄像机获得视频序列。

视频序列可以包括一系列静止图像。每个静止图像可以被称为图片或帧。

在操作S220中，电子设备1000可以从包括在视频序列中的多个帧中检测包括在多个帧中的对象。根据实施例，电子设备1000可以从包括在视频序列中的一帧中检测到一个或多个对象。从一帧中检测到的一个或多个对象可以在包括在相同视频序列中的另一帧中被检测到。从一帧中检测到的一个或多个对象可能在包括在相同视频序列中的另一帧中检测不到。例如，可以从视频序列的第一帧中检测到道路、人行道、第一车辆、第二车辆、第三车辆和交通标志，而从相同视频序列的第二帧可以仅检测到道路、人行道、第一车辆和第三车辆，并且从第二帧中检测不到第二车辆和交通标志。此外，未被从第一帧中检测到的摩托车可以从第二帧中被检测到。

根据实施例，电子设备1000可以确定对象的类型。

例如，对象的类型可以包括但不限于，道路、人行道、建筑物、墙壁、栅栏、杆(pole)、交通灯、交通标志、植被(vegetation)、地形(terrain)、天空、人、骑手、汽车、卡车、公共汽车、学习机(a learn)、摩托车、自行车等。

例如，电子设备1000可以从一帧中检测到多个对象，并且确定多个对象的相应的类型。此外，即使当多个对象中的一些是相同类型的对象时，电子设备1000也可以区分相同类型的对象。例如，当在一帧中检测到三个车辆时，电子设备1000可以将这三个车辆彼此区分为第一车辆、第二车辆和第三车辆。

根据实施例，电子设备1000可以使用第一学习模型来检测包括在帧中的对象。当从视频序列获得的多个帧被输入到第一学习模型时，可以从第一学习模型输出关于从帧中检测到的对象的信息。下面将参考图3描述使用第一学习模型检测对象的操作。

在操作S230中，电子设备1000可以获得关于包括在视频序列中的多个帧中的每个帧的对象的位置信息。

根据实施例，电子设备1000可以确定对象在多个帧中的相应的位置，以获得关于对象的位置信息。例如，电子设备1000可以确定对象在一帧中的位置。例如，电子设备1000可以确定对象在另一帧中的位置。此外，例如，电子设备1000可以确定多个对象在一帧中的位置。例如，电子设备1000可以确定多个对象在另一帧中的位置。因此，电子设备1000可以确定多个对象在多个帧的每个帧中的位置。

根据实施例，电子设备1000可以在逐个像素的基础上确定对象的位置。例如，电子设备1000可以从帧的像素中确定指示对象的像素。例如，当一帧包括多个对象时，电子设备1000可以确定代表多个对象中的每个的像素。例如，电子设备1000可以从帧的像素中确定由一个或多个任意像素指示的检测到的对象。

电子设备1000在逐个像素的基础上、而不是在边界框(bounding box)上精确获得关于对象的位置信息的方法可以被应用于要求准确认知功能的技术领域。例如，电子设备1000可以在逐个像素的基础上获得关于对象的位置信息，从而以时间序列的方式分析对象的位置的变化。因此，电子设备1000可以被应用于要求快速和准确认知功能的自主驾驶技术。

根据实施例，电子设备1000可以使用第一学习模型来获得关于对象的位置信息。当多个帧被输入到第一学习模型时，可以从第一学习模型输出像素信息。像素信息可以是关于分别由帧的像素组指示的对象的信息。尽管已经在上面将操作S220和操作S230描述为分离的操作，但是本公开不限于此。例如，当多个帧被输入到第一学习模型时，可以一起输出关于从多个帧中检测到的对象的信息和像素信息。例如，仅可以输出像素信息。下面将参考图3描述使用第一学习模型获得关于对象的位置信息的操作。

在操作S240中，电子设备1000可以通过分析对象在多个帧中的位置的时间序列变化来确定与车辆驾驶相关的事件是否已经发生。

根据实施例，电子设备1000可以根据视频序列的显示顺序来分析对象从前一帧到下一帧的位置变化。例如，电子设备1000可以将关于包括在第一帧中的对象的位置信息与关于包括在第二帧中的相同对象的位置信息进行比较，该对象的位置信息在第一帧之后再现，从而分析对象的位置变化。例如，电子设备1000可以通过根据时间的流逝分析多个对象的相应的位置变化来确定事件是否已经发生。因此，电子设备1000可以在逐个像素的基础上、而不是跟踪关于感兴趣的区域(region of interest，ROI)的边界框，基于多个对象的位置的变化的复合识别来更准确地确定事件是否已经发生。例如，当第一车辆和第二车辆停止前进，并且第三车辆、第四车辆和第五车辆相继向右变化车道时，电子设备1000可以确定涉及前方车辆之间的事故的事件已经发生。此外，由于前方有发生事故的车辆，因此可以对应于该事件确定指示期望向右变化车道的行动指南。

根据实施例，电子设备1000可以通过分析多个帧中对象位置的时间序列变化来确定事件类型。

与车辆驾驶相关的事件类型可以包括但不限于交通信号变化、可能的事故、道路情况变化和地形变化等。交通信号变化的示例可以是交通灯从绿色变为红色或者从红色变为绿色。可能的事故的多个示例可以包括到前方车辆和/或后方车辆的安全距离不足、意外人员的出现等。道路情况变化的示例可以是由于前方的事故车辆而堵塞了道路。地形变化的示例可以包括前方蜿蜒(winding)的道路、前方的小山等。

根据实施例，电子设备1000可以通过分析多个帧中对象位置的时间序列变化来确定驾驶风险水平。

例如，驾驶风险水平可以由数值来指示。数值越高，驾驶风险水平可能就越高。例如，驾驶风险水平可以由1到100之间的整数来指示，并且电子设备1000可以被配置为当驾驶风险水平等于或大于临界值时，在通知消息中包括驾驶风险水平。此外，例如，可以指示驾驶风险水平为高、中和低。

根据实施例，电子设备1000可以使用第二学习模型来确定事件何时发生。当从第一学习模型输出的像素信息被输入到第二学习模型时，可以输出指示事件是否已经发生的信息。下面将参考图3描述使用第二学习模型确定事件是否已经发生的操作。

在操作S250中，电子设备1000可以基于事件的发生的确定来生成关于事件的通知消息。

根据实施例，取决于包括对象的类型、对象位置的时间序列变化和事件的发生的因素，可以生成不同的通知消息。

当在操作S240中确定事件已经发生时，在操作S250中，电子设备1000可以生成关于事件的通知消息。此外，当在操作S240中确定没有事件已经发生时，在操作S250中，电子设备1000可以不生成关于事件的通知消息。根据实施例，当电子设备1000决定不生成关于事件的通知消息时，电子设备1000可以不生成通知消息或者可以生成不包括事件通知的预设通知消息。例如，电子设备1000可以生成包括当前温度、车辆每分钟转数(revolutionsper minute，rpm)、车辆的移动方向、交通情况和驾驶风险水平中的至少一个的通知消息。根据实施例，可以在电子设备1000中设置不包括事件通知的通知消息为默认值。

根据实施例，电子设备1000可以基于事件类型和驾驶风险水平生成通知消息。下面将参考图5描述电子设备1000基于事件类型和驾驶风险水平来确定通知消息的内容的方法。

根据实施例的通知消息可以被生成为文本消息或语音消息等，但不限于此。此外，例如，以文本消息的形式生成的通知消息可以进行文本到语音(Text-to-Speech)转换，从而获得语音通知消息。

当从第一学习模型输出的像素信息被输入到第二学习模型时，可以输出通知消息。尽管操作S240和操作S250在上面被描述为分离的操作，但是本公开不限于此。例如，当像素信息被输入到第一学习模型时，可以一起输出指示事件是否已经发生的信息和通知消息。仅可以输出通知消息。下面将参考图3描述使用第二学习模型生成通知消息的操作。

根据实施例，可以使用多个学习模型来执行用于检测对象的操作、用于获得关于对象的位置信息的操作、用于确定事件是否已经发生的操作以及用于生成通知消息的操作。

在操作S260中，电子设备1000可以输出生成的通知消息。

根据实施例，通知消息可以以声音、文本、图像和/或振动等形式输出，但不限于此。

根据实施例，电子设备1000可以在车辆的平视显示器(head-up display，HUD)或仪表盘等上显示通知消息，但不限于此。

根据实施例，当通知消息是语音形式时，电子设备1000可以通过车辆的扬声器输出通知消息。例如，电子设备1000可以发送用于控制车辆的扬声器的命令，以向车辆的扬声器输出语音形式的通知消息。

根据实施例，基于事件类型和驾驶风险水平，用于控制安装在车辆上的模块的操作的命令可以被发送到对应的模块。当电子设备1000基于事件类型和驾驶风险水平确定期望控制安装在车辆上的模块的操作时，电子设备1000可以向安装在车辆上的模块发送用于控制安装在车辆上的模块的操作的命令。例如，电子设备1000可以基于事件类型和驾驶风险水平，输出通知消息并且同时控制安装在车辆上的模块的操作。当在输出通知消息之后的某时间段内没有接收到用于控制安装在车辆上的模块的操作的用户输入时，电子设备1000可以向安装在车辆上的模块发送用于控制安装在车辆上的模块的操作的命令。电子设备1000可以基于事件类型和驾驶风险水平，向安装在车辆上的模块发送用于控制安装在车辆上的模块的操作的命令，而不输出通知消息。

根据实施例的用户输入可以包括但不限于踩下(step-on)输入、转向(steering)输入、语音输入、按键输入、触摸输入、弯曲(bending)输入和多模式输入等中的至少一个。踩下输入可以指当用户踩下刹车以控制车辆的刹车时所应用的输入。转向输入可以指当用户旋转方向盘以控制车辆的转向时所应用的输入。

图3是示出根据实施例的电子设备1000使用学习模型向用户提供通知消息的示例方法的流程图。

在操作S310中，电子设备1000可以将滤波器应用于多个帧，以平坦化多个帧的浅化程度(lightening degrees)，用于将多个帧输入到第一学习模型。

例如，可以但不限于通过使用全卷积网络(fully convolutional network，FCN)学习用于确定对象的类型的标准和学习用于确定对象在多个帧中的位置的标准来生成第一学习模型。

根据实施例，电子设备1000可以将帧的RGB通道转换成照度-色度(luminance-chromatic，Lab)通道。转换后的Lab通道的L值是图像的照度值，该照度值指示除颜色信息之外的图像的亮度。电子设备1000可以执行预处理，以在把多个帧输入到第一学习模型之前，将用于对包括在视频序列中的多个帧的L值进行平坦化的中值(median)滤波器应用到多个帧。通过执行预处理，即使在天黑或下雨时，也可以更容易地检测到对象，并且多个对象可以被彼此区分。

在操作S320中，电子设备1000可以使用第一学习模型来确定包括在多个帧中的对象的类型。

例如，电子设备1000可以从一帧中检测到多个对象，并且使用第一学习模型来确定多个对象中的每个的类型。例如，当一帧被输入到第一学习模型时，取决于包括在该帧中的对象的类型，可以输出不同的值。例如，在第一学习模型中，可以设置天空为值12，可以设置植物为值10，可以设置道路为值4，可以设置人行道为值3，可以设置车辆为值6，可以设置人为值8。例如，当输入帧包括植物、道路、车辆、车辆和人时，第一学习模型的输出可以包括值4、6、8和10。因此，可以使用第一学习模型来检测包括在帧中的对象。此外，例如，当帧被输入到第一学习模型时，可以不输出与对象的类型相对应的值，并且可以输出关于由帧的像素组指示的相应的对象的像素信息。像素信息可以是矩阵，其中与对象的类型相对应的值与对象在帧中的位置相匹配。

在操作S330中，电子设备1000可以使用第一学习模型来确定对象在多个帧中的相应的位置。

根据实施例，电子设备1000不仅可以使用第一学习模型来确定对象的类型，还可以确定对象在多个帧中的位置。例如，电子设备1000可以使用第一学习模型在逐个像素的基础上确定对象的位置。例如，由于电子设备1000可以确定指示相应的对象的帧的某些像素，所以当帧被输入到第一学习模型时，其中与对象的类型相对应的值与帧中对象的位置相匹配的矩阵可以被输出。由于对象的位置是在逐个像素的基础上确定的，所以例如，当帧的大小是512x256时，矩阵的大小也可以是512x256。换句话说，作为与帧的输入相对应的第一学习模型的输出，可以获得包括关于对象的类型的信息和关于对象的位置信息的矩阵。

在操作S340中，电子设备1000可以降低第一学习模型的输出的维度，以将其输入到第二学习模型。

可以通过使用例如但不限于循环神经网络(recurrent neural network，RNN)分析对象在多个帧中的位置的时间序列变化，通过学习用于确定与车辆驾驶相关的事件是否已经发生的标准和学习用于确定通知消息的内容的标准来生成第二学习模型。

根据实施例，第一学习模型的输出可以用作第二学习模型的输入。根据另一实施例，电子设备1000可以使用通过降低从第一学习模型输出的矩阵的维度而获得的矩阵作为第二学习模型的输入，用于降低确定事件是否已经发生并且生成通知消息的第二学习模型的计算量。例如，并且不限于此，为了降低矩阵的维度，可以使用扩张(dilated)卷积。

此外，根据实施例，为了降低第一学习模型的计算量，例如，电子设备1000可以对包括在第一学习模型中的层的输出执行1x1卷积滤波，从而匹配包括在第一学习模型中的层之间的维度。

在操作S350中，电子设备1000可以使用第二学习模型来确定何时发生了与车辆驾驶相关的事件。

根据实施例，当第一车辆和第二车辆停止前进并且第三车辆、第四车辆和第五车辆相继向右变化车道时，电子设备1000可以确定与前方事故车辆相对应的事件已经发生。此外，因为前方有事故车辆，所以可以对应于该事件来确定指示期望向右变化车道的行动指南。

如上所述，由于电子设备1000可以使用第一学习模型以小的计算量获得关于类型对象的信息和关于整个屏幕图像中的对象的位置信息，所以与跟踪对象的方法不同，可以快速和准确地分析对象位置的时间序列变化，而无需设置感兴趣区域(ROI)。

因此，除了与车辆驾驶相关联的事件之外，电子设备1000可以使用第二学习模型来确定可以通过分析对象的时间序列位置变化来检测的事件的发生。例如，电子设备1000可以使用第二学习模型在电影的再现期间实时生成字幕。

在操作S360中，电子设备1000可以使用第二学习模型生成通知消息。

根据实施例，当处理第一学习模型的输出以降低计算量并且第一学习模型的输出被输入到第二学习模型时，可以输出通知消息。可以输出对应于事件的控制操作，或者可以与通知消息一起输出对应于事件的控制操作。

根据实施例，使用第二学习模型生成的通知消息可以取决于事件类型和驾驶风险而不同。例如，取决于事件类型和驾驶风险，包括在通知消息中的内容可能会有所不同。例如，包括在通知消息中的内容可以包括事件的通知、对应于该事件的行动指南、警报声音等。例如，当前方有事故车辆时，电子设备1000可以在通知消息中包括事件的通知和对应于该事件的行动指南，从而生成通知消息“前方有事故车辆，因此请向右变化车道”。

下面将参考图5更详细地描述包括在通知消息中的内容。

图4是示出根据实施例的通过使用学习模型生成通知消息的示例的图。

例如，卷积神经网络(Convolutional Neural Network，CNN)在后层包括全连接层，以对图像数据的类别进行分类。当输入图像穿过全连接层时，关于包括在输入图像中的对象的位置信息消失。为了解决这个问题，全卷积网络(FCN)将CNN的全连接层视为1x1卷积，从而保留包括在输入图像中的对象的位置信息。

根据实施例，电子设备1000可以将亮度均衡(level)的预处理的视频序列410输入到第一学习模型。因为第一学习模型使用FCN，所以当视频序列410被输入到第一学习模型时，可以输出包括关于对象的类型的信息和关于对象的位置信息的一系列矩阵。根据实施例，已经被预处理以输入到第一学习模型的视频序列410可以按照它们再现顺序被输入到第一学习模型。从第一学习模型输出矩阵的输出可以与视频序列410被输入到第一学习模型的顺序相同。

当从第一学习模型输出的一系列矩阵被成像时，可以获得根据包括在视频序列410中的对象的类型、由不同颜色指示的视频序列420。当在通过将视频序列420划分成像素而获得的视频序列430中执行扩张卷积时，可以获得矩阵440，该矩阵440具有从第一学习模型输出的矩阵的维度降低的维度。扩张卷积是仅使用包括在视频序列430中的像素中的一些来执行卷积的方法。例如，通过跳过(skipping)一个或多个像素并且执行卷积，矩阵的大小和计算量可以通过扩展接收域(receptive field，RF)的大小来降低。

根据实施例，当矩阵440被输入到第二学习模型时，可以输出通知消息460。例如，第二学习模型是基于循环神经网络(RNN)的，其中在不同时间区间中的节点之间具有循环连接的神经网络被称为RNN。根据实施例RNN可以识别顺序的数据。顺序的数据是具有时态性(temporality)的数据或序列(诸如语音数据、图像数据、生物计量(biometric)数据和手写数据)。例如，RNN的识别模型可以识别输入图像数据根据其变化的模式。

可以通过监督学习来学习RNN，其中学习数据和与其相对应的输出数据被一起输入到神经网络，并且连接神经元的连接权重被更新，以便输出与学习数据相对应的输出数据。例如，RNN可以基于增量(delta)规则和反向传播学习来更新神经元之间的连接权重。

RNN可以是包括长短期存储器(long short-term memory，LSTM)网络450的结构。LSTM网络450是一种支持长期依赖(dependency)学习的RNN。在不包括LSTM网络450的RNN中，关于先前任务的信息可以被连接到当前任务，但是难以将与远离当前时间点的时间点相对应的关于先前任务的信息连接到当前任务。LSTM网络450可以是被设计为避免这种长期依赖问题的结构。因为LSTM网络450可以从输入数据中提取根据时间的流逝而变化的相对变化量作为特征值，所以可以通过分析对象位置的时间序列变化来确定事件是否已经发生。

因为第二学习模型使用包括LSTM网络450的RNN，所以对于所有的先前时间步长、当前时间步长和下一时间步长的结构可以被用于学习，并且关于当前阶段的信息可以被转发到下一阶段并且影响输出值。

根据实施例，通过降低第一学习模型的输出的维度而获得的矩阵440可以以矩阵440从第一学习模型被输出的顺序、被输入到第二学习模型。第二学习模型可以通过考虑事件的发生、事件类型和驾驶风险水平来生成通知消息。

为了便于解释，已经分离地描述了第一学习模型和第二学习模型。然而，根据它们的功能和角色，第一学习模型和第二学习模型可以作为多个学习模型或单个集成学习模型存在。

图5是示出根据实施例的如何确定通知消息的内容的表格。

参考图5，表格500指示如何根据事件类型和驾驶风险水平来确定通知消息的内容。根据实施例的表格500仅是示例，并且多个学习模型可以被连续地更新。因此，可以连续地更新根据多个学习模型的输入值的输出值。电子设备1000可以取决于事件类型和驾驶风险使用第二学习模型来输出不同的通知消息。例如，如图5所示，当事件类型是由于到前方车辆的安全距离不足而可能发生的事故并且驾驶风险水平高时，电子设备1000可以生成包括警报声音和对应于该事件的行动指南“请立即踩下刹车”的通知消息。此外，根据实施例，电子设备1000可以基于事件类型和驾驶风险水平来确定可以接收用于执行行动指南的用户输入的时间段。例如，可以基于驾驶风险水平来确定可以接收用户输入的时间段。此外，例如，可以基于根据预设标准的学习来设置和改变用于确定可以接收用户输入的时间段的数据。例如，当确定驾驶风险水平高并且在某时间段内没有接收到用于控制安装在车辆上的模块的操作的用户输入时，电子设备1000可以向安装在车辆上的模块发送用于控制安装在车辆上的模块的操作的命令。

例如，当事件类型是地形变化到前方的弯曲路径并且驾驶风险水平是中等时，电子设备1000可以生成包括事件的通知和对应于该事件的行动指南的通知消息“前方有弯曲道路，所以请注意”。

例如，当事件类型是由于前方事故车辆引起的道路情况的变化并且驾驶风险水平低时，电子设备1000可以生成包括事件的通知和对应于该事件的行动指南的通知消息“前方有事故车辆，所以请向右变化车道”。

例如，当事件类型是交通灯从绿色变为红色并且驾驶风险水平高时，电子设备1000可以生成包括事件的通知和对应于该事件的行动指南的通知消息“交通灯变化了，所以请停止”。

例如，当事件类型是交通灯从红色变为绿色并且驾驶风险水平低时，电子设备1000可以生成包括事件的通知和对应于该事件的行动指南的通知消息“交通灯变化了，所以请驾驶”。

图6是示出根据实施例的输出通知消息的示例的图。

根据实施例，例如，电子设备1000可以在车辆的平视显示器(HUD)上显示通知消息。

例如，当电子设备1000确定由于到前方车辆610的安全距离不足而预计发生事故的事件已经发生并且驾驶风险水平630为35时，电子设备1000可以显示包括驾驶风险水平630和用于在车辆的HUD上建立安全距离的虚拟图像620的通知消息。此外，电子设备1000可以以语音形式输出包括警报声音和对应于该事件的行动指南“请立即踩下刹车”的通知消息。此外，例如，当在输出通知消息之后的某时间段内没有从用户接收到用于踩下刹车的踩下输入时，电子设备1000可以向刹车发送用于控制刹车的操作的命令。例如，某时间段可以基于学习来设置，并且可以取决于驾驶风险水平630而变化。例如，驾驶风险水平630越高，可以设置的某时间段越小。例如，当前方的车辆610和用户的车辆之间的距离太小并且在不立即踩下刹车的情况下预计会发生事故时，可以在输出通知消息的同时将用于控制刹车的操作的命令发送到刹车。

图7是示出根据实施例的输出通知消息的示例的图。

根据实施例，电子设备1000可以向安装在车辆上的模块发送用于控制安装在车辆上的模块的操作的命令。

例如，当电子设备1000确定与道路情况变化相关的事件已经发生，由于前方车辆处于事故中，该事件使得沿着某车道行驶是不可能的，电子设备1000可以在车辆的HUD上显示预设通知消息，而不通知该事件。例如，电子设备1000可以在HUD上显示包括当前温度、车辆每分钟转数、车辆的移动方向、交通情况和驾驶风险水平中的至少一个的通知消息。此外，电子设备1000可以以语音形式输出通知消息“前方有事故车辆，所以请向右变化车道”。此外，例如，当在以语音形式输出通知消息之后的某时间段内没有从用户接收到用于旋转方向盘710的转向输入时，用于旋转方向盘710的命令可以被发送到方向盘710。因此，电子设备1000可以通过指导用户调整方向盘710或将用于调整方向盘710的命令发送到方向盘710来自主地调整驾驶路径。

图8和图9是示出根据一些实施例的电子设备1000的示例的框图。

如图8所示，根据实施例的电子设备1000可以包括处理器(例如，包括处理电路)1300、通信器(例如，包括通信电路)1500和存储器1700。然而，并非图8所示的所有组件都是电子设备1000的必需的组件。电子设备1000可以由比图8所示的组件更多的组件来实现。电子设备1000也可以由比图8所示的组件更少的组件来实现。

例如，如图9所示，除了处理器1300、通信器(通信单元)1500和存储器1700，根据实施例的电子设备1000还可以包括输入单元(例如，包括输入电路)1100、输出单元(例如，包括输出电路)1200、感测单元(例如，包括感测电路)1400和音频/视频(audio/video，A/V)输入单元(例如，包括A/V输入电路)1600。

例如，根据实施例的电子设备1000可以是包括处理器1300、通信器1500和存储器1700的车辆仪表盘。根据实施例的电子设备1000可以是除处理器1300、通信器(通信单元)1500和存储器1700之外，还包括输入单元1100、输出单元1200、感测单元1400和A/V输入单元1600中的至少一个的车辆。

例如，输入单元1100可以指包括各种输入电路的单元，用户利用这些输入电路输入用于控制电子设备1000的数据。例如，输入单元1100可以包括各种输入电路，诸如，例如但不限于键盘、圆顶开关、触摸板(接触电容(contact capacitance)型、耐压(pressureresistive)型、红外线检测(infrared ray detecting)型、表面声波传播(surfaceacoustic wave propagating)型、整体张力测量(integral tension measuring)型、压电效应(piezo-effect)型等)、拨轮(jog wheel)和拨动开关(jog switch)等，但不限于此。

输入单元1100可以接收用于控制安装在车辆上的模块的操作的用户输入。

输出单元1200可以包括可以输出音频信号、视频信号或振动信号等的各种输出电路，并且例如，输出单元1200可以包括但不限于显示器1210、声频(例如声音)输出单元1220和振动马达1230等。根据实施例，输出单元1200可以以音频、视频和/或振动的形式输出通知消息。

例如，显示单元1210可以包括显示由电子设备1000处理的信息的显示器。例如，显示器1210可以在车辆的平视显示器(HUD)中显示通知消息。

声频(声音)输出单元1220可以包括输出从通信器(通信单元)1500接收的或存储在存储器1700中的音频数据的各种电路。声频输出单元1220也输出与由电子设备1000执行的功能相关联的声频信号(例如，呼叫信号接收音、消息接收音、通知音等)。例如，声频输出单元1220可以输出警报声音以通知事件已经发生。

处理器1300可以包括各种处理电路，并且通常控制电子设备1000的整体操作。例如，处理器1300可以通过执行存储在存储器1700中的程序来控制输入单元1100、输出单元1200、感测单元1400、通信单元1500和A/V输入单元的整体操作。此外，处理器1300可以通过执行存储在存储器1700中的程序来执行以上参考图1至图13描述的电子设备1000的功能。处理器1300可以包括各种处理电路(诸如，例如但不限于至少一个处理器)。处理器1300可以包括多个处理器，或可以包括一个集成处理器，这取决于处理器1300的功能和角色。根据实施例，处理器1300可以包括至少一个处理器，用于通过执行存储在存储器1700中的至少一个程序来提供通知消息。

根据实施例，处理器1300可以通过通信器1500从安装在车辆上的摄像机获得包括多个帧的视频序列。根据实施例，处理器1300可以基于事件类型和驾驶风险水平，通过通信单元1500将用于控制安装在车辆上的模块的操作的命令发送到安装在车辆上的模块。

根据实施例，处理器1300可以检测包括在多个帧中的对象。根据实施例，处理器1300可以获得关于多个帧中的每个帧的对象的位置信息。处理器1300可以在逐个像素的基础上确定对象的位置。根据实施例，处理器1300可以通过分析对象在多个帧中的位置的时间序列变化来确定与车辆驾驶相关的事件是否已经发生。根据实施例，处理器1300可以通过分析对象在多个帧中的位置的时间序列变化来确定事件类型和驾驶风险水平。根据实施例，处理器1300可以基于事件是否已经发生的确定来生成通知事件的通知消息。根据实施例，处理器1300可以生成通知消息，该通知消息基于事件类型和驾驶风险水平来通知事件。根据实施例，处理器1300可以控制通过输出单元1200输出生成的通知消息。根据实施例，处理器1300可以控制经由显示单元1210显示生成的通知消息。根据实施例，处理器1300可以使用不同的学习模型来执行对象的检测、关于对象的位置信息的获得、事件是否已经发生的确定以及通知消息的生成。

根据实施例，例如，可以通过使用全卷积网络(FCN)学习用于确定对象的类型的标准和学习用于确定对象在多个帧中的位置的标准来生成第一学习模型。处理器1300可以通过使用第一学习模型来确定对象的类型并且确定对象在多个帧中的位置。

根据实施例，例如，可以通过使用循环神经网络(RNN)分析对象在多个帧中的位置的时间序列变化，通过学习用于确定与车辆驾驶相关的事件是否已经发生的标准和学习用于来确定通知消息的内容的标准来生成第二学习模型。处理器1300可以通过使用第二学习模型来确定与车辆驾驶相关的事件是否已经发生，并且确定通知消息的内容。

根据实施例，处理器1300可以将滤波器应用于多个帧，以平坦化多个帧的浅化程度，以将多个帧输入到第一学习模型，并且降低第一学习模型的输出的维度，以将该输出输入到第二学习模型。

感测单元1400可以包括各种传感器(感测电路)，以感测电子设备1000的状态、用户的状态或电子设备1000周围的状态，并将感测到的信息发送到处理器1300。

例如，感测单元1400可以包括但不限于磁传感器1410、加速度传感器1420、温度/湿度传感器1430、红外传感器1440、陀螺仪传感器1450、位置传感器(例如，GPS)1460、大气传感器1470、接近传感器1480和RGB传感器1490中的至少一个。本领域普通技术人员可以从每个传感器的名称中直观地推断出每个传感器的功能，因此这里将不提供对其的详细描述。

通信单元1500可以包括各种通信电路，其包括使电子设备1000能够与另一电子设备(未示出)和服务器2000进行通信的一个或多个组件。另一电子设备(未示出)可以是但不限于计算设备或感测设备。此外，例如，其他电子设备可以是像电子设备1000一样包括在车辆中的模块。例如，通信单元1500可以包括短程通信单元1510、移动通信单元1520和广播接收单元1530。

例如，短程通信单元1510可以是但不限于蓝牙通信器、蓝牙低能量(BLE)通信器、近场通信器/RF识别(RF identification，RFID)通信器、WLAN(Wi-Fi)通信器(未示出)、Zigbee通信器、红外数据标准协会(IrDA)通信器、Wi-Fi直连(Wi-Fi Direct，WFD)通信器、超宽带(UWB)通信器和Ant+通信器。

移动通信单元1520可以包括向移动通信网络上的基站、外部终端和服务器中的至少一个发送无线信号和从其接收无线信号的各种移动通信电路。这里，无线信号可以包括与语音呼叫信号、视频呼叫信号或文本/多媒体消息的传输/接收相关联的各种类型的数据。

广播接收单元1530可以包括通过广播信道从外部接收广播信号和/或广播相关的信息的各种广播接收电路。广播信道可以包括卫星信道和地面信道。根据一些实施例，电子设备1000可以不包括广播接收单元1530。

根据实施例，通信单元1500可以从安装在车辆上的摄像机接收包括多个帧的视频序列。根据实施例，通信单元1500可以向安装在车辆上的模块发送用于控制安装在车辆上的模块的操作的命令。

A/V输入单元1600是用于输入音频信号或视频信号的单元，并且可以包括各种A/V输入电路(诸如，例如但不限于摄像机1610和麦克风1620)。摄像机1610可以在视频呼叫模式或拍摄模式下通过图像传感器获得图像帧(诸如静止图像或移动图像)。通过图像传感器捕获的图像可以由处理器1300或分离的图像处理器(未示出)处理。例如，由摄像机1610捕获的图像可以被用作用于确定事件是否已经发生的信息。

麦克风1620可以接收外部声频信号，并且将外部声频信号处理成电语音数据。例如，麦克风1620可以从外部电子设备或用户接收声频信号。麦克风1620可以使用各种降噪算法来去除外部声频信号被输入时生成的噪声。

存储器1700可以存储用于处理器1300的数据处理和控制的程序，并且可以存储输入到电子设备1000或从电子设备1000输出的数据。

存储器1700可以包括闪存、硬盘、多媒体微型卡、卡型存储器(例如，SD存储器或XD存储器)、随机存取存储器(random access memory，RAM)、静态随机存取存储器(staticrandom access memory，SRAM)、只读存储器(read-only memory，ROM)、电可擦除可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、可编程只读存储器(programmable read-only memory，PROM)、磁存储器、磁盘和光盘等中的至少一种，但不限于此。

可以根据存储在存储器1700中的程序的功能，将它们分类成多个模块。例如，存储在存储器1700中的程序可以被分类为UI模块1710、触摸屏模块1720、通知模块1730。

UI模块1710可以为每个应用提供与电子设备1000相关联的专用UI或专用GUI。触摸屏模块1720可以感测用户触摸屏上的触摸手势，并且将关于该触摸手势的信息发送到处理器1300。根据实施例的触摸屏模块1720可以识别和分析触摸代码。触摸屏模块1720也可以被配置为包括处理器的分离的硬件。

通知模块1730可以生成用于通知事件的发生的信号。通知模块1730可以通过显示器1210输出视频信号形式的通知信号，可以通过声频输出单元1220输出音频信号形式的通知信号，或者可以通过振动马达1230输出振动信号形式的通知信号。

图10是示出根据实施例的处理器1300的框图。

参考图10，根据实施例的处理器1300可以包括数据学习器(例如，包括处理电路和/或程序元件)1310和数据识别器(例如，包括处理电路和/或程序元件)1320。

数据学习器1310可以包括各种处理电路和/或程序元件，其学习用于获得像素信息和生成通知消息的标准。数据学习器1310可以学习关于使用哪些数据来获得像素数据和生成通知消息的标准，并且还可以学习关于如何通过使用数据来获得像素信息和生成通知消息的标准。数据学习器1310可以获得要被用于学习的数据，并且将所获得的数据应用于下面将要描述的数据识别模型，从而学习用于获得像素信息和生成通知消息的标准。

尽管上面已经参考图1至图9描述了用于检测对象的操作、用于获得关于对象的位置信息的操作、用于确定对象的类型的操作、用于确定对象的位置的操作、用于确定事件是否已经发生的操作、用于确定事件类型的操作、用于确定驾驶风险水平的操作、用于生成通知消息的操作，和用于将通知消息的内容确定为独立操作的操作，但是本公开不限于此。用于检测对象的操作、用于获得关于对象的位置信息的操作、用于确定对象的类型的操作、用于确定对象的位置的操作、用于确定事件是否已经发生的操作、用于确定事件类型的操作、用于确定驾驶风险水平的操作、用于生成通知消息的操作和用于确定通知消息内容的操作中的至少两个可以基于根据预设标准的学习来执行。

数据识别器1320可以包括各种处理电路和/或程序元件，其基于数据获得像素信息并且生成通知消息。数据识别器1320可以使用学习的数据识别模型从某些数据中识别像素信息和通知消息。数据识别器1320可以根据基于学习的预设标准获得某些数据，并且利用使用所获得的数据作为其输入值的数据识别模型，从而基于某些数据确定如何获得像素信息以及如何生成通知消息。此外，通过使用所获得的数据作为输入值的数据识别模型输出的结果值可以被用于更新数据识别模型。

例如，数据读取器1310和数据识别器1320中的至少一个可以但不限于以至少一个硬件芯片的形式制造并且安装在电子设备上。例如，数据学习器1310和数据识别器1320中的至少一个可以以用于人工智能(artificial intelligence，AI)的专用硬件芯片的形式制造，或者可以作为通用处理器(例如，CPU或应用处理器)或纯图形(graphics-only)处理器(例如，GPU)的部分制造，并且可以安装在如上所述的各种电子设备上。

在这种情况下，数据学习器1310和数据识别器1320可以安装在一个电子设备或分离的电子设备上。例如，数据学习器1310和数据识别器1320之一可以包括在电子设备中，而另一个可以包括在服务器中。此外，数据学习器1310和数据识别器1320可以经由有线或无线彼此连接，并且因此数据学习器1310可以向数据识别器1320提供由数据学习器1310构建的模型信息，并且向数据识别器1320输入的数据可以作为额外的学习数据被提供给数据学习器1310。

同时，数据读取器1310和数据识别器1320中的至少一个可以实现为包括程序元件的软件模块。当数据学习器1310和数据识别器1320中的至少一个被实现为软件模块(或包括指令的程序模块)时，软件模块可以存储在非暂时性计算机可读介质中。此外，在这种情况下，至少一个软件模块可以由操作系统(operating system，OS)提供或者由某个应用程序提供。至少一个软件模块中的一些可以由OS提供，并且至少一个软件模块的剩余部分可以由某个应用程序提供。

图11是示出根据实施例的数据学习器1310的框图。

参考图11，例如，根据一些实施例的数据学习器1310可以包括数据获得器(例如，包括处理电路和/或程序元件)1310-1、预处理器(例如，包括处理电路和/或程序元件)1310-2、学习数据选择器(例如，包括处理电路和/或程序元件)1310-3、模型学习器(例如，包括处理电路和/或程序元件)1310-4和模块评估器(例如，包括处理电路和/或程序元件)1310-5。

数据获得器1310-1可以获得用于确定如何获得像素信息以及如何生成通知消息的所需的数据。数据获得器1310-1可以获得用于学习确定如何获得像素信息以及如何生成通知消息的所需的数据。

例如，数据获得器1310-1可以获得语音数据、图像数据、文本数据或生物计量信号数据。例如，数据获得器1310-1可以经由电子设备1000的输入设备(例如，麦克风、摄像机、传感器等)接收数据。数据获得器1310-1可以经由与电子设备1000通信的另一电子设备获得数据。可替代地，数据获得器1310-1可以经由与电子设备1000通信的服务器获得数据。

例如，数据获得器1310-1可以从安装在车辆上的摄像机接收视频序列。此外，例如，数据获得器1310-1可以从能够拍摄车辆周边的摄像机接收视频序列。此外，例如，数据获得器1310-1可以从电子设备1000中提供的摄像机获得视频序列。

预处理器1310-2可以预处理获得的数据，使得获得的数据可以被用于学习确定如何获得像素信息以及如何生成通知消息。预处理器1310-2可以将获得的数据处理成预设格式，使得获得的数据可以被用于学习确定如何获得像素信息以及如何生成通知消息。例如，预处理器1310-2可以执行预处理，以将用于平坦化包括在视频序列中的多个帧的浅化程度的滤波器应用于多个帧。

学习数据选择器1310-3可以从预处理的数据中选择学习所需的数据。所选择的数据可以被提供给模型学习器1310-4。学习数据选择器1310-3可以根据用于确定如何获得像素信息以及如何生成通知消息的某标准，从预处理的数据中选择用于学习所需的数据。此外，学习数据选择器1310-3可以根据基于模型学习器1310-4的学习而预设的某标准来选择数据，这将在下面描述。

模型学习器1310-4可以基于学习数据学习关于如何获得像素信息以及如何生成通知消息的标准。此外，模型学习器1310-4可以学习选择要使用的用于确定如何获得像素信息以及如何生成通知消息的学习数据的标准。

此外，模型学习器1310-4可以通过使用学习数据，基于学习数据来学习用于确定如何获得像素信息以及如何生成通知消息的数据识别模型。在这种情况下，数据识别模型可以是预先构建的模型。例如，数据识别模型可以是基于基本学习数据(例如，车辆的黑匣子图像)预先构建的模型。

例如，数据识别模型可以但不限于通过考虑数据识别模型的应用领域、学习的目的或设备的计算性能来构建。例如，数据识别模型可以是基于神经网络的模型。例如，模型(诸如，例如但不限于深度神经网络(deep neural network，DNN)、循环神经网络(RNN)、全卷积网络(FCN)和/或双向循环深度神经网络(bidirectional recurrent deep neuralnetwork，BRDNN)等)可以被用作数据识别模型，但是本公开不限于此。

根据各种实施例，当存在多个预先构建的数据识别模型时，模型学习器1310-4可以确定其输入学习数据与基本学习数据高度相关的数据识别模型作为要学习的数据识别模型。在这种情况下，可以根据数据类型对基本学习数据进行预分类，并且可以根据数据类型预构建数据识别模型。例如，可以根据各种标准对基本学习数据进行预分类(诸如生成基本学习数据的区域、生成基本学习数据的时间点、基本学习数据的大小、基本学习数据的类别以及基本学习数据的创建者)。

例如，模型学习器1310-4也可以使用包括误差反向传播或梯度下降的学习算法来学习数据识别模型。

例如，模型学习器1310-4可以通过使用学习数据作为输入值的监督学习来学习数据识别模型。此外，模型学习器1310-4可以通过无监督学习来学习数据识别模型，用于通过学习基于学习数据确定如何获得像素信息以及如何生成通知消息所需的数据类型，来确定用于确定如何获得像素信息以及如何生成通知消息的标准。此外，模型学习器1310-4可以通过使用关于基于学习数据确定如何获得像素信息以及如何生成通知消息的结果是否正确的反馈的强化学习来学习数据识别模型。

此外，当学习数据识别模型时，模型学习器1310-4可以存储所学习的数据识别模型。在这种情况下，模型学习器1310-4可以将学习的数据识别模型存储在包括数据识别器1320的电子设备1000的存储器中。模型学习器1310-4可以将学习的数据识别模型存储在经由有线网络或无线网络连接到电子设备1000的服务器的存储器中。

在这种情况下，例如，存储所学习的数据识别模型的存储器也可以存储与电子设备1000的至少一个其他组件相关的命令或数据。此外，存储器可以存储软件和/或程序。例如，程序可以包括但不限于，内核、中间件、应用编程接口(application programminginterface，API)和/或应用程序(或“应用”)等。

模块评估器1310-5向数据识别模型输入评估数据，并且当基于评估数据的识别结果不满足某标准时，模块评估器1310-5可以使模型学习器1310-4重新学习数据识别模型。在这种情况下，评估数据可以是用于评估数据识别模型的预设数据。

例如，当学习的数据识别模型的识别结果中对应于不准确识别结果的评估数据相对于评估数据的数量或比率超过预设临界值时，模块评估器1310可以评估不满足某标准。例如，当某标准被定义为2％的比率，并且学习数据识别模型对于总共1000个评估数据中超过20个的评估数据输出不正确的识别结果时，模块评估器1310-5可以评估该学习数据识别模型不合适。

另一方面，当存在多个学习数据识别模型时，模块评估器1310-5可以评估每个学习数据识别模型是否满足某标准，并且将满足某标准的学习数据识别模型确定为最终数据识别模型。在这种情况下，当有多个模型满足某标准时，模块评估器1310-5可以确定以评估分数的降序预设的任何一个或某些数量的模型作为最终数据识别模型。

同时，数据学习器1310中的数据获得器1310-1、预处理器1310-2、学习数据选择器1310-3、模型学习器1310-4和模块评估器1310-4中的至少一个可以以至少一个硬件芯片的形式制造并且安装在电子设备上。例如，数据获得器1310-1、预处理器1310-2、学习数据选择器1310-3、模型学习器1310-4和模块评估器1310-5中的至少一个可以被制造为用于人工智能(AI)的专用硬件芯片或者通用处理器(例如，CPU或应用处理器)或图形专用处理器(例如，GPU)的一部分，并且如上所述地安装在各种电子设备上。

此外，数据获得器1310-1、预处理器1310-2、学习数据选择器1310-3、模型学习器1310-4和模块评估器1310-5可以安装在单个电子设备上，或者可以分别安装在分离的电子设备上。例如，数据获得器1310-1、预处理器1310-2、学习数据选择器1310-3、模型学习器1310-4和模块评估器1310-5中的一些可以包括在电子设备中，并且其余的可以包括在服务器中。

数据获得器1310-1、预处理器1310-2、学习数据选择器1310-3、模型学习器1310-4和模块评估器1310-5中的至少一个可以实现为软件模块。当数据获得器1310-1、预处理器1310-2、学习数据选择器1310-3、模型学习器1310-4和模块评估器1310-5中的至少一个被实现为软件模块(或包括指令的程序模块)时，软件模块可以存储在非暂时性计算机可读介质中。此外，在这种情况下，至少一个软件模块可以由OS提供或者由某个应用程序提供。可替代地，至少一个软件模块中的一些可以由OS提供，并且至少一个软件模块的其余部分可以由某个应用提供。

图12是示出根据实施例的数据识别器1320的框图。

参考图12，根据实施例的数据识别器1320可以包括数据获得器(例如，包括处理电路和/或程序元件)1320-1、预处理器(例如，包括处理电路和/或程序元件)1320-2、识别数据选择器(例如，包括处理电路和/或程序元件)1320-3、识别结果提供器(例如，包括处理电路和/或程序元件)1320-4和模型更新器(例如，包括处理电路和/或程序元件)1320-5。

数据获得器1320-1可以基于学习数据获得确定如何获得像素信息以及如何生成通知消息所需的数据，并且预处理器1320-2可以对获得的数据进行预处理，使得所获得的数据可以被用于确定如何获得像素信息以及如何生成通知消息。预处理器1320-2可以将所获得的数据处理成预设格式，使得所获得的数据可以被识别结果提供器1320-4用来确定如何获得像素信息以及如何生成通知消息。

识别数据选择器1320-3可以选择确定如何获得像素信息以及如何从预处理的数据生成通知消息所需的数据。所选择的数据可以被提供给识别结果提供器1320-4。识别数据选择器1320-3可以根据关于如何获得像素信息的预设标准和关于如何生成通知消息的某标准来选择一些或全部预处理的数据。此外，识别数据选择器1320-3可以根据基于模型学习器1310-4的学习而设置的预设标准来选择数据，这将在下面描述。

识别结果提供器1320-4可以将选择的数据应用于数据识别模型，并且确定如何获得像素信息以及如何生成通知消息。识别结果提供器1320-4可以根据数据识别的目的提供识别结果。识别结果提供器1320-4可以使用由识别数据选择器1320-3选择的数据作为输入值，从而将选择的数据应用于数据识别模型。此外，识别结果可以由数据识别模型确定。

模型更新器1320-5可以基于由识别结果提供器1320-4提供的识别结果的评估来更新数据识别模型。例如，模型更新器1320-5可以向模型读取器1310-4提供由识别结果提供器1320-4提供的识别结果，以便模型学习器1310-4更新数据识别模型。

同时，数据识别器1320中的数据获得器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型更新器1320-4可以以至少一个硬件芯片的形式制造并且安装在电子设备上。例如，数据获得器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型更新器1320-5中的至少一个可以被制造为用于人工智能(AI)的专用硬件芯片或者通用处理器(例如，CPU或应用处理器)或图形专用处理器(例如，GPU)的一部分，并且如上所述地安装在各种电子设备上。

此外，数据获得器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型更新器1320-5可以安装在单个电子设备上，或者可以分别安装在分离的电子设备上。例如，数据获得器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型更新器1320-5中的一些可以包括在电子设备中，其余的可以包括在服务器中。

此外，数据获得器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型更新器1320-5中的至少一个可以实现为软件模块。当数据获得器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型更新器1320-5中的至少一个被实现为软件模块(或包括指令的程序模块)时，软件模块可以存储在非暂时性计算机可读介质中。此外，在这种情况下，至少一个软件模块可以由OS提供或者由某个应用程序提供。可替代地，至少一个软件模块中的一些可以由OS提供，并且至少一个软件模块的其余部分可以由某个应用提供。

图13是示出根据实施例的当电子设备1000结合服务器2000操作时学习和识别数据的示例的图。

参考图13，服务器2000可以学习关于如何获得像素信息以及如何生成通知消息的标准。电子设备1000可以基于服务器2000的学习结果来确定如何获得像素信息以及如何生成通知消息。服务器可以包括上面参考图11描述的数据学习器1310的功能，并且例如，包括数据获得器2310、预处理器2320、学习数据选择器2330、模型学习器2340和模型评估器2350，例如，它们对应于图11的类似命名的元件，因此这里不再重复其详细描述。

在这种情况下，服务器2000的数据学习器2300可以执行图11所示的数据学习器1310的功能。服务器2000的数据学习器2300可以学习关于如何获得像素信息、使用哪些数据来确定如何生成通知消息、如何通过使用某些数据来获得像素信息以及如何生成通知消息的标准。数据学习器2300可以获得用于学习的数据，并且将获得的数据应用于下面将要描述的数据识别模型，从而学习关于如何获得像素信息以及如何生成通知消息的标准。

此外，电子设备1000的识别结果提供器1320-4可以将识别数据选择器1320-3选择的数据应用于由服务器2000生成的数据识别模型，以确定如何获得像素信息以及如何生成通知消息。例如，识别结果提供器1320-4可以将识别数据选择器1320-3选择的数据发送到服务器2000，并请求服务器2000将识别数据选择器1320-3选择的数据应用到数据识别模型，并且确定如何获得像素信息以及如何生成通知消息。此外，识别结果提供器1320-4可以从服务器2000接收关于如何获得像素信息以及如何生成由服务器2000确定的通知消息的信息。

电子设备1000的识别结果提供器1320-4可以从服务器2000接收由服务器2000生成的数据识别模型，并且确定如何获得像素信息以及如何使用所接收的数据识别模型生成通知消息。在这种情况下，电子设备1000的识别结果提供器1320-4可以将识别数据选择器1320-3选择的数据应用于从服务器2000接收的数据识别模型，从而确定如何获得像素信息以及如何生成通知消息。

一些实施例也可以以包括可由计算机执行的指令(诸如由计算机执行的程序模块)的记录介质的形式实现。计算机可读介质可以是可由计算机访问的任何可用介质，并且包括易失性和非易失性介质以及可移动和不可移动介质。此外，计算机可读介质也可以包括计算机存储介质。计算机存储介质可以包括易失性和非易失性介质以及可移动和不可移动介质，可移动和不可移动介质以用于信息的存储的任何方法或技术(诸如计算机可读指令、数据结构、程序模块或其他数据)实现。

此外，在本说明书中，术语“器”、“者”或“单元”可以是硬件组件(诸如处理器或电路)，和/或由硬件组件执行的软件组件(比如处理器)。

虽然已经参考本公开的各种示例实施例对本公开进行了说明和描述，但是本领域普通技术人员将理解，在不脱离由所附权利要求限定的本公开的精神和范围的情况下，可以在形式和细节上做出各种变化。因此，应当理解，上述示例实施例仅是说明性的，并不限制本公开的范围。例如，以单个类型描述的每个组件可以以分布式方式执行，并且所描述的分布式组件也可以以集成的形式执行。

应当理解，权利要求以及从权利要求的概念中得出的所有修改或修改形式都包括在本公开的范围内。

Claims (20)

1.一种被配置为控制车辆操作的电子设备，所述电子设备包括：

存储器，被配置为存储至少一个程序；以及

至少一个处理器，被配置为通过执行所述至少一个程序来提供通知消息，

其中所述至少一个程序包括指令，当所述指令被所述处理器执行时，使得所述电子设备执行至少一个操作，所述操作包括：

从安装在车辆上的摄像机获得包括多个帧的视频序列；

从所述多个帧中检测包括在所述多个帧中的对象；

获得关于所述对象相对于所述多个帧中的每个帧的位置信息；

通过分析所述对象在所述多个帧中的位置的时间序列变化来确定与车辆驾驶相关的事件是否已经发生；

基于所述确定的结果生成关于所述事件的通知消息；以及

输出所生成的通知消息，

其中使用多个学习模型来执行所述对象的检测、所述位置信息的获得、事件是否已经发生的确定以及所述通知消息的生成。

2.根据权利要求1所述的电子设备，其中，使用第一学习模型来执行所述对象的检测和所述位置信息的获得，以及

使用第二学习模型来执行事件是否已经发生的确定和所述通知消息的生成。

3.根据权利要求1所述的电子设备，其中，所述确定事件是否已经发生包括：

确定事件类型；以及

确定驾驶风险水平，以及

所述通知消息的生成包括基于所述事件类型和所述驾驶风险水平生成所述通知消息。

4.根据权利要求3所述的电子设备，其中，基于所述事件类型和所述驾驶风险水平，将用于控制安装在车辆上的模块的操作的命令发送到安装在车辆上的模块。

5.根据权利要求1所述的电子设备，其中，所述通知消息的输出包括在车辆的平视显示器(HUD)上显示所述通知消息。

6.根据权利要求1所述的电子设备，其中获得关于所述对象的位置信息包括在逐个像素的基础上确定所述对象在所述多个帧中的位置。

7.根据权利要求2所述的电子设备，其中，通过学习用于确定所述对象的类型的标准和学习用于确定所述对象在所述多个帧中的位置的标准，使用全卷积网络(FCN)来生成第一学习模型，

在所述对象的检测中使用所述第一学习模型来确定所述对象的类型，以及

在获得关于所述对象的位置信息中，使用所述第一学习模型相对于所述多个帧确定所述对象在所述多个帧中的位置。

8.根据权利要求2所述的电子设备，其中，通过降低所述第一学习模型的输出的维度来获得所述第二学习模型的输入。

9.根据权利要求2所述的电子设备，其中，通过学习用于确定与车辆驾驶相关的事件是否已经发生的标准和学习用于确定所述通知消息的内容的标准，使用循环神经网络(RNN)来生成所述第二学习模型，

确定所述事件是否已经发生包括，使用所述第二学习模型确定与车辆驾驶相关的事件是否已经发生，以及，

所述通知消息的生成包括使用所述第二学习模型确定所述通知消息的内容。

10.根据权利要求2所述的电子设备，其中，所述至少一个程序还包括用于将滤波器应用于所述多个帧的指令，所述滤波器用于平坦化所述多个帧的浅化程度，以将所述多个帧输入到所述第一学习模型。

11.一种控制车辆操作的方法，所述方法包括：

从安装在车辆上的摄像机获得包括多个帧的视频序列；

从所述多个帧中检测包括在所述多个帧中的对象；

获得关于所述对象相对于所述多个帧中的每个帧的位置信息；

通过分析所述对象在所述多个帧中的位置的时间序列变化来确定与车辆驾驶相关的事件是否已经发生；

基于所述确定的结果生成关于所述事件的通知消息；以及

输出所生成的通知消息，

其中使用多个学习模型来执行所述对象的检测、所述位置信息的获得、事件是否已经发生的确定以及所述通知消息的生成。

12.根据权利要求11所述的方法，其中，使用第一学习模型来执行所述对象的检测和所述位置信息的获得，以及

使用第二学习模型来执行事件是否已经发生的确定和所述通知消息的生成。

13.根据权利要求11所述的方法，其中确定事件是否已经发生包括：

确定事件类型；以及

确定驾驶风险水平，以及

所述通知消息的生成包括基于所述事件类型和所述驾驶风险水平生成所述通知消息。

14.根据权利要求13所述的方法，其中，基于所述事件类型和所述驾驶风险水平，将用于控制安装在车辆上的模块的操作的命令发送到安装在车辆上的模块。

15.根据权利要求11所述的方法，其中获得关于所述对象的位置信息包括在逐个像素的基础上确定所述对象在所述多个帧中的位置。

16.根据权利要求12所述的方法，其中，通过学习用于确定所述对象的类型的标准和学习用于确定所述对象在所述多个帧中的位置的标准，使用全卷积网络(FCN)来生成所述第一学习模型，

在所述对象的检测中使用所述第一学习模型来确定所述对象的类型，以及

在获得关于所述对象的位置信息中，使用所述第一学习模型相对于所述多个帧确定所述对象在所述多个帧中的位置。

17.根据权利要求12所述的方法，其中，通过降低所述第一学习模型的输出的维度来获得所述第二学习模型的输入。

18.根据权利要求12所述的方法，其中，通过学习用于确定与车辆驾驶相关的事件是否已经发生的标准和学习用于确定所述通知消息的内容的标准，使用循环神经网络(RNN)来生成所述第二学习模型，

确定所述事件是否已经发生包括，使用所述第二学习模型确定与车辆驾驶相关的事件是否已经发生，以及，

所述通知消息的生成包括使用所述第二学习模型确定所述通知消息的内容。

19.根据权利要求12所述的方法，还包括：

将用于平坦化所述多个帧的浅化程度的滤波器应用于所述多个帧，以将所述多个帧输入到所述第一学习模型。

20.一种非暂时性计算机可读记录介质，其上已经记录有用于实现权利要求11所述方法的计算机程序。

Images