CN110892451A - 检测车辆的驾驶事件的电子装置和方法 - Google Patents

检测车辆的驾驶事件的电子装置和方法 Download PDF

Info

Publication number
CN110892451A
CN110892451A CN201880046552.2A CN201880046552A CN110892451A CN 110892451 A CN110892451 A CN 110892451A CN 201880046552 A CN201880046552 A CN 201880046552A CN 110892451 A CN110892451 A CN 110892451A
Authority
CN
China
Prior art keywords
electronic device
vehicle
driving
data
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880046552.2A
Other languages
English (en)
Inventor
张瑞祐
潘大铉
朴彦奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2018/005524 external-priority patent/WO2018212538A1/en
Publication of CN110892451A publication Critical patent/CN110892451A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B60W2050/0088—Adaptive recalibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Abstract

提供了一种用于使用多个训练模型来基于多个帧中的对象的位置而确定是否发生车辆的驾驶事件的方法和电子装置。

Description

检测车辆的驾驶事件的电子装置和方法
技术领域
本公开涉及一种被配置为使用例如深度学习等机器学习算法来模拟例如辨识、确定等人类智能的功能的人工智能(AI)系统，以及所述AI系统的应用，且本公开例如涉及一种使用AI系统来基于对象在驾驶车辆时的位置而确定发生的事件的方法和装置。
背景技术
随着多媒体技术和网络技术的发展，用户已经能够使用电子装置来接收各种服务。随着应用于车辆的技术的发展，已经开发出辨识是否发生车辆的驾驶事件的各种方法。
同时，需要大量的驾驶数据以便辨识是否发生车辆的驾驶事件，且因此，对被配置为以很少费用有效地获得驾驶数据的技术的需求已经增加。
人工智能(AI)系统是一种能够模拟人类智能的计算机系统。与先前基于规则的智能系统不同，AI系统执行自我学习和确定，由此变得更加智能。AI系统使用得越多，AI系统的辨识率就越高，且用户的品味变得被更加准确理解。因此，先前基于规则的智能系统已逐渐被基于深度学习的AI系统取代。
AI技术包括机器学习(深度学习)和利用机器学习的元素技术。
机器学习可以是对输入数据的特征进行自行分类和学习的算法技术。元素技术可以是被配置为使用例如深度学习等机器学习算法来模拟人脑的功能(例如辨识、确定等)的技术，并且包括语言理解、视觉理解、推断/预测、知识表达、操作控制等。
AI技术被应用于的各种领域可以包括例如以下各项。语言理解可以指辨识和应用/处理人类的语言/字符的技术，并且包括自然语言处理、机器翻译、对话系统、问题和应答、语音辨识/合成等。视觉理解可以指如同人类视觉地辨识和处理对象的技术，并且包括对象辨识、对象跟踪、图像搜索、人物辨识、场景理解、空间理解、图像改进等。推断/预测可以指确定信息并对其进行逻辑推断和预测的技术，并且包括基于知识/概率的推断、优化的预测、基于偏好的规划、推荐等。知识表达可以指执行自动化以将人类的经验信息自动转化为知识数据的技术，并且包括知识建构(数据生成/分类)、知识管理(数据利用)等。操作控制可以指控制车辆的自主驾驶和机器人运动的技术，并且包括运动控制(导航方法、碰撞、驾驶)、操纵控制(行为控制)等。
发明内容
问题的解决方案
提供了一种用于使用多个训练模型来基于多个帧中的对象的位置而确定是否发生车辆的驾驶事件的方法和电子装置。
附图说明
本公开的某些实施例的以上和其它方面、特征和优点将从结合附图进行的以下描述变得更明显，其中：
图1是说明根据实施例的电子装置检测车辆前方的对象并确定是否发生事件的示例的图；
图2是说明根据实施例的经由电子装置确定是否发生事件的方法的流程图；
图3是说明根据实施例的生成被配置为确定车辆的是否发生驾驶事件的训练模型的操作的图；
图4是说明根据实施例的使用第一训练模型来检测对象的示例的图；
图5是说明根据实施例的基于检测到的对象与车辆之间的距离而确定检测到的对象是噪声还是对象的操作的图；
图6是说明根据实施例的使用第二训练模型来基于对象的依序移动而确定是否发生事件的示例的图；
图7是说明根据实施例的从多个数据帧当中获得在车辆前方检测到的对象的帧以便根据时间而检测发生事件的示例的图；
图8是说明根据实施例的使用训练模型来经由序列帧分析检测是否发生事件的示例的图；
图9是说明根据实施例的使用虚拟现实来获得车辆的驾驶数据的示例的图；
图10是说明根据实施例的基于事件的类型而确定通知消息和用于控制车辆的命令的示例的图式；
图11是说明根据实施例的在车辆的平视显示器(HUD)上输出通知消息的示例的图；
图12是说明根据实施例的在车辆中输出通知消息的示例的图；
图13是说明根据实施例的电子装置的部件的框图；
图14是说明根据实施例的电子装置的部件的框图；
图15是说明根据实施例的处理器的框图；
图16是说明根据实施例的数据学习器的框图；
图17是说明根据实施例的数据辨识器的框图；以及
图18是说明根据实施例的电子装置与服务器彼此同步以学习并辨识数据的示例的图。
具体实施方式
提供了一种用于使用多个训练模型来基于多个帧中的对象的位置而确定是否发生车辆的驾驶事件的方法和电子装置。
附加方面将部分地在以下的描述中阐述，并且部分地将从描述中显而易见。
根据本公开的一方面，一种电子装置包括：处理器；以及存储器，其用于存储可以由所述处理器执行的指令，其中所述处理器被配置为执行所述指令以使所述电子装置：从车辆获得视频序列，所述视频序列包括在驾驶所述车辆时捕获的多个帧，辨识包括于所述多个帧中的对象的位置，分析关于在所述多个帧中所述对象的位置的依序改变，以及确定是否发生所述车辆的驾驶事件。
根据本公开的另一方面，一种方法包括：从车辆获得视频序列，所述视频序列包括在驾驶所述车辆时捕获的多个帧，辨识包括于所述多个帧中的对象的位置，分析关于在所述多个帧中所述对象的位置的依序改变，以及确定是否发生所述车辆的驾驶事件。
根据本公开的另一方面，一种计算机程序产品包括非暂时性计算机可读记录介质，所述非暂时性计算机可读记录介质包括指令，所述指令在由处理器执行时使电子装置：从车辆获得视频序列，所述视频序列包括在驾驶所述车辆时从所述车辆捕获的多个帧；辨识包括于所述多个帧中的至少一个中的对象的位置；分析关于在所述多个帧中所述对象的位置的依序改变；以及确定是否发生所述车辆的驾驶事件。
发明模式
在下文中，将参考附图更详细地描述本公开的各种示例实施例，以将本公开的概念传达给本领域普通技术人员。然而，本公开可以许多不同形式实施，并且不应被解释为限于本文所阐述的实施例。而且，为了清楚地描述本公开，在附图中可以省略可能使本公开的要点模糊的功能或配置，且在整个公开中相同的附图标记是指相同的元件。如本文中所使用，术语“和/或”包括相关联的所列项目中的一个或多个的任何和所有组合。例如“...中的至少一个”等表达，当在元件列表之后时，修饰整个元件列表而不修饰列表中的各个元件。
在整个本公开中，应理解，当一个元件被称作“连接”到另一元件时，它可以“直接连接”到另一元件或“电连接”到另一元件，在其之间插入有中间元件。还应理解，当部件“包括”或“包含”元件时，除非另外定义，否则所述部件可以还包括其他元件，而不排除其他元件。
在下文中，将参考附图更详细地描述实施例。
图1是说明根据实施例的电子装置1000检测车辆前方的对象并确定是否发生事件的示例的图；
参考图1，电子装置1000可以是安装于车辆100中的装置。电子装置1000可以包括被配置为从安装于车辆100中的相机接收视频序列并确定发生各种事件的各种电路和部件。此外，电子装置1000可以基于事件的发生而向用户提供通知消息。
根据实施例，电子装置1000可以是使用虚拟环境来安装于驾驶设备中的设备，例如模拟驾驶设备、驾驶游戏机等，但不限于此。电子装置1000可以接收具有良好图形性能的虚拟环境数据，并确定车辆100的各种事件的发生。尽管描述了电子装置1000从安装于车辆100中的相机接收视频序列，但是其不限于此。电子装置1000可以从被配置为捕获车辆100的周围环境的相机接收视频序列。车辆100的周围环境可以包括例如前侧、侧面和后侧。
根据实施例，电子装置1000可以使用坐标信息来检测事件，并且因此可以基于对象的位置而不同地辨识对象的类型的重要程度，由此基于对象的位置而确定是否发生事件。
根据实施例，电子装置1000可以从多个视频序列检测包括对象的至少一个视频序列103。电子装置1000可以例如而非限制地通过分析至少一个视频序列103来检测包括固定模式的道路102和根据时间移动的另一车辆101。根据实施例，电子装置1000可以通过分析至少一个视频序列103中的另一车辆101的坐标来分析另一车辆101的位置，来基于另一车辆101而确定事件的发生。
电子装置1000可以包括各种电路，包括但不限于车辆中的头单元或嵌入式板、智能电话、平板个人计算机(PC)、PC、智能电视(TV)、蜂窝电话、个人数字助理(PDA)、笔记本电脑、车辆、媒体播放器、微型服务器、全球定位系统(GPS)设备、电子书终端、数字广播终端、导航装置、信息亭、MP3播放器、数码相机、家用电器以及其他移动或非移动计算装置等，但不限于此。而且，电子装置1000可以包括具有通信功能和数据处理功能的可穿戴式装置，例如手表、眼镜、发带、戒指等。然而，电子装置1000不限于此，并且可以包括被配置为从相机获得图像(例如，视频和静止图像)并基于获得的图像而向用户提供通知消息的所有类型的装置。
根据实施例，电子装置1000可以是安装于包括各种电路和部件的车辆中的模块。电子装置1000可以被配置为控制车辆的操作并且经由某一网络与安装于车辆中的其他模块通信。
根据实施例，电子装置1000可以是与车辆不同的装置，例如智能电话等，但不限于此。在此情况下，电子装置1000可以使用电子装置1000的相机来获得视频序列，并且可以经由某一网络从被配置为捕获车辆的周围环境的相机接收视频序列。电子装置1000可以与包括于车辆中的模块通信。例如，电子装置1000可以使用电子装置1000的相机来获得视频序列，并且可以从被配置为捕获车辆的周围环境的相机接收视频序列。而且，当电子装置1000是与车辆不同的装置时，电子装置1000可以与安装于车辆中的模块通信以控制车辆的操作。
根据实施例，车辆可以包括提供通信功能、数据处理功能和/或运输功能的任何交通工具，例如但不限于汽车、公共汽车、卡车、火车、自行车、摩托车等。
根据实施例，车辆可以包括例如但不限于驾驶模拟器系统，其被配置为使用虚拟现实和实时车辆分析程序来检测车辆的事件。根据实施例，模拟器可以被配置为在制造真实或虚拟移动系统模型之后经由计算机程序测试并评估真实或虚拟移动系统模型，并因此可以用以基于虚拟现实中的车辆的移动而有效地获得驾驶数据。
而且，电子装置1000可以经由某一网络与服务器2000(参见例如图18)和另一电子装置(未显示)通信，以便接收视频序列，发送通知消息，并发送用于控制另一电子装置的操作的命令。在此情况下，网络可以包括但不限于例如局域网(LAN)、广域网(WAN)、增值网络(VAN)、移动无线电通信网络、卫星通信网络等和其任何组合。网络可以是被配置为使包括于网络中的部件能够彼此平滑地通信的综合数据通信网络，并且可以包括有线互联网、无线互联网和移动无线通信网络。无线通信可以包括但不限于例如无线LAN(Wi-fi)、蓝牙、低功耗蓝牙、Zigbee、Wi-fi直连(WFD)、超宽带(UWB)、红外数据协会(IrDA)、近场通信(NFC)等，但不限于此。
图2是说明根据实施例的经由电子装置1000确定是否发生事件的方法的流程图。
在操作210中，电子装置1000可以从例如安装于车辆中的相机获得包括多个帧的视频序列。根据实施例，电子装置1000可以通过经由某一网络与安装于车辆中的相机通信接收视频序列。例如，视频序列可以是车辆的黑匣子图像或从车辆的立体相机接收的图像。根据实施例，电子装置1000可以包括相机，且可以从包括于电子装置1000中的相机获得视频序列。
视频序列可以包括一系列静止图像。每个静止图像可以称为图片或帧。
在操作220中，电子装置1000可以辨识包括于多个帧中的对象的位置。根据实施例，电子装置1000可以从视频序列中包括的一个帧中检测一个或多个对象。从帧中检测到的一个或多个对象可以从相同视频序列中包括的另一帧中检测到。从帧中检测到的一个或多个对象可以不从相同视频序列中包括的另一帧中检测到。例如，可以从第一帧检测到道路、人行道、第一车辆、第二车辆、第三车辆和交通标志，同时从与第一帧相同的视频序列中包括的第二帧中仅可以检测到道路、人行道、第一车辆和第三车辆，且可能无法检测到第二车辆和交通标志。而且，可以从第二帧检测到未从第一帧检测到的摩托车。
根据实施例，电子装置1000可以使用例如人工智能(AI)学习模型来获得对象的位置信息。例如，电子装置1000可以基于第一帧中的第一车辆的坐标信息而辨识第一车辆在第一帧中的定位。而且，电子装置1000可以使用第一帧中的第一车辆的位置和第三车辆的位置来辨识第一车辆与第三车辆之间的距离。而且，电子装置1000可以使用第三帧中的第一车辆的位置和第三车辆的位置来辨识第三帧中的第一车辆与第三车辆之间的距离的改变量。
根据实施例，电子装置1000可以确定对象的类型。基于关于辨识对象的位置中的对象的类型的可用大小的信息，电子装置1000可以确定对象是否是噪声。根据实施例，电子装置1000可以通过比较关于对象的类型在对象的辨识位置中的参考大小的信息与关于对象在对象的辨识位置中的大小的信息来确定对象是否是噪声。
根据实施例，关于对象的类型的可用大小的信息可以包括根据基于对象的类型的预定形状而设定的大小信息。根据实施例，大小信息可以包括基于车辆与对象之间的距离而预定义对象将占据的帧的区域的范围的信息。
根据实施例，大小信息可以包括关于对象将占据的帧的区域的范围的信息。根据实施例，随着车辆与对象之间的距离减小，帧中的将由对象占据的区域可以增大，且随着车辆与对象之间的距离增大，帧中的将由对象占据的区域可以减小。根据实施例，可以基于对象的类型来预先确定大小信息。根据实施例，AI可以基于对象的类型而学习大小信息。
根据实施例，电子装置1000可以确定对象的类型。
对象的类型可以包括例如但不限于道路、人行道、建筑物、墙壁、栅栏、电线杆、交通信号、交通标志、植被、地形、天空、人、骑手、汽车、卡车、公共汽车、火车、摩托车、自行车等。
例如，电子装置1000可以从一个帧检测多个对象，并且可以确定多个对象中的每一个的类型。而且，即使多个对象中的一些是相同类型，但电子装置1000也可以将相同类型的对象彼此区分开。例如，当在一个帧中检测到三个车辆时，电子装置1000可以将三个车辆区分为第一车辆、第二车辆与第三车辆。
根据实施例，电子装置1000可以使用第一训练模型以检测包括于帧中的对象和对象的位置。根据实施例，可以基于学习对象的位置的结果而获得第一训练模型，所述位置通过在包括在车辆的驾驶期间捕获的多个帧的视频序列中检测对象来对应于对象在多个帧中的坐标，并同时将坐标信息映射到对象。
因此，当在第一训练模型中输入从视频序列获得的帧时，可以从第一训练模型中输出从帧中检测到的对象的位置信息。
根据实施例，关于一个帧，电子装置1000可以确定对象在帧中定位于何处。例如，电子装置1000可以确定对象在另一帧中定位于何处。而且，例如，电子装置1000可以确定多个对象在一个帧中定位于何处。例如，电子装置1000可以确定多个对象在另一个帧中定位于何处。也就是说，电子装置1000可以确定多个对象定位于每个帧中的哪些坐标处。根据实施例，坐标可以表示XY坐标，且对象的位置值可以被输出为矩阵值。
根据实施例，电子装置1000可以经由像素单元确定对象的位置。例如，电子装置1000可以从包括于帧中的像素当中确定指示对象的像素。例如，当一个帧包括多个对象时，电子装置1000可以确定分别指示多个对象的像素。例如，电子装置1000可以确定帧中包括的某一像素指示哪一个检测到的对象。
由电子装置1000执行以准确获得像素单元中的对象的位置信息而使不用边界框的方法可以应用于需要精确辨识功能的技术领域。例如，由于电子装置1000可以经由像素单元获得对象的位置信息，因此电子装置1000可以分析对象的位置的依序改变，并将分析结果用于需要快速且准确的辨识的自主驾驶技术。
根据实施例，电子装置1000可以使用第一训练模型来获得关于对象的位置的信息。当在第一训练模型中输入多个帧时，可以输出像素信息。像素信息可以是关于包括于多个帧中的每一个像素指示哪一对象的信息。
上文描述操作210和220是单独的操作。然而，本公开不限于此。例如，当在第一训练模型中输入多个帧和对应于多个帧的坐标信息时，可以一起输出关于从多个帧中检测到的对象的信息和对象的坐标信息。作为另一示例，可以仅输出关于对象的像素信息。
根据实施例，在操作230中，电子装置1000可以通过分析多个帧中对象的位置的依序改变来确定是否发生车辆的驾驶事件。
根据实施例，电子装置1000可以基于视频序列的显示次序而分析对象在前一帧与下一帧之间的位置的改变。例如，通过比较第一个帧中包括的对象的位置信息(首先显示)与第二帧中包括的相同对象的位置信息(接下来显示)，电子装置1000可以分析对象的位置的改变。例如，电子装置1000可以通过根据时间分析多个对象中的每一个的位置的改变来确定是否发生事件。也即，电子装置1000可以经由对象的坐标的改变以复杂方式辨识多个对象的位置的改变，而不是相对于所关注区域(ROI)跟踪边界框。因此，电子装置1000可以更准确地确定是否发生事件。例如，当第一车辆和第二车辆在前方停车且第三车辆、第四车辆和第五车辆连续地改变车道至右侧时，电子装置1000可以确定发生前方车辆遭遇事故的事件。而且，由于存在发生事故的前方车辆，因此电子装置1000可以确定其最好将车道改变为右侧的行动指南，所述行动指南对应于事件。
根据实施例，电子装置1000可以通过分析多个帧中对象的位置的依序改变来确定事件的类型。
车辆的驾驶事件的类型可以包括但不限于交通信号的改变、事故的预测、道路状况的改变、地形的改变等。交通信号的改变的示例可以包括交通从绿色变为红色或者从红色变为绿色。事故预测的示例可以包括无法确保相对于前方车辆和/或后方车辆的安全距离，出现未预测的外形等。道路状况改变的示例可以包括归因于前方事故车辆的交通拥堵。地形改变的示例可以包括前方蜿蜒的道路、前方的山丘等。
根据实施例，电子装置1000可以通过分析多个帧中对象的位置的依序改变来确定驾驶的风险等级。
例如，可以经由数字值指示驾驶的风险等级，其中随着数字值增大，风险等级也可以增大。例如，风险等级可以被指示为等于或大于1的值与等于或小于100的值之间的整数。当风险等级等于或大于临界值时，可以在电子装置1000中将其设定为在通知消息中包括驾驶的风险等级。而且，例如，驾驶的风险等级可以被指示为高、中和低。
根据实施例，电子装置1000可以使用第二训练模型以确定是否发生事件。当在第二训练模型中输入与从第一训练模型输出的对象有关的输出值时，可以输出是否发生事件。
根据实施例，可以使用多个训练模型来执行检测对象的操作、获得关于对象的位置的信息的操作以及确定是否发生事件的操作。
图3是说明根据实施例的生成被配置为确定车辆的是否发生驾驶事件的训练模型的操作的图。
根据实施例，通过使用坐标信息303和包括序列信息303的视频序列304来训练第一训练模型(例如，包括处理电路和/或程序元件)301和第二训练模型(例如，包括处理电路和/或程序元件)302，可以生成被配置为基于对象的位置而检测车辆的驾驶事件的事件检测模型(例如，包括处理电路和/或程序元件)305。
根据实施例，第一训练模型301可以包括各种处理电路和/或程序元件，并且通过使用例如但不限于全卷积网络(FCN)等来学习用于确定对象的类型的参考和用于确定对象在多个帧中的每一个中的位置的参考而生成。
根据实施例，电子装置1000可以将包括帧(其包括RGB信道)的视频序列304连同坐标信息303一起输入第一训练模型301。根据实施例，第一训练模型301可以包括各种处理电路和/或程序元件，并且被训练以使用在被配置为使用编码器和解码器来学习的先前模型中明确输入的坐标信息303来辨识对象在视频序列304中的多个帧中的位置。
根据实施例，电子装置1000可以将包括RGB信道的帧转换为亮度-色度(Lab)信道。除了颜色信息以外，转换后的Lab信道的L值是图像的指示图像的亮度的亮度值。电子装置1000可以执行预处理，由此在将多个帧输入到第一训练模型之前，将用于平坦化多个帧的L值的中值滤波器应用于视频序列304中包括的多个帧。经由预处理，可以容易地检测到对象且可以彼此区分多个对象，无论是黑天还是下雨。
根据实施例，电子装置1000可以使用第一训练模型301来确定包括于多个帧中的对象的类型。例如，电子装置1000可以使用第一训练模型301来从一个帧检测多个对象并确定多个对象的类型。例如，当在第一训练模型301中输入一个帧时，可以基于帧中包括的对象的类型而输出不同值。例如，可以在第一训练模型301中将天空设定为12，植物为10，道路为4，人行道为3，车辆为6，人为8，等等。例如，当植物、道路、车辆和人包括于第一训练模型301中输入的帧时，第一训练模型301的输出可以包括4、6、8和10。因此，可以使用第一训练模型301来检测在帧中包括哪些对象。而且，例如，当在第一训练模型301中输入帧时，可以输出关于帧中包括的每一个像素指示哪一个对象的像素信息，而不是对应于对象的类型的值。像素信息可以是对应于对象的类型的值与对象在帧中的位置匹配的矩阵。
根据实施例，电子装置1000可以减小第一训练模型301的输出的大小，以便将输出输入到第二训练模型302。
根据实施例，通过使用例如不限于递归神经网络(RNN)等来分析对象在多个帧中的位置的依序改变来学习用于确定车辆的是否发生驾驶事件的参考，可以生成第二训练模型302。
根据实施例，第一训练模型301的输出可以用作第二训练模型302的输入。根据另一实施例，电子装置1000可以将通过减小从第一训练模型输出的矩阵的大小而生成的矩阵用作第二训练模型的输入，以便减少被配置为确定是否发生事件的第二训练模型302的操作量。例如，可以使用膨胀卷积等来减小矩阵的尺寸。
而且，根据实施例，为了减少第一训练模型301的操作量，电子装置1000可以对包括于第一训练模型301中的层的输出执行1×1卷积滤波以匹配包括于第一训练模型301中的各层中的尺寸。
根据实施例，当第一车辆和第二车辆在前方停止，且第三至第五车辆连续地改变车道至右侧时，电子装置1000可以确定发生前方车辆卷入事故的事件。而且，由于存在发生事故的前方车辆，因此电子装置1000可以确定其最好将车道改变为右侧的行动指南，所述行动指南对应于事件。
如上所述，电子装置1000可以经由输入坐标信息303的第一训练模型301使用少量操作来获得关于对象的类型的信息和关于整个屏幕的对象的位置的信息。因此，电子装置1000可以快速且准确地分析对象的位置的依序改变而无需设定ROI(如跟踪对象的方法那样)。
因此，电子装置1000可以使用输入到事件检测模型305的第二训练模型302来确定可以通过分析对象的位置的依序改变检测到的事件发生，以及车辆的驾驶事件。
图4是说明根据实施例的使用第一训练模型1010来检测对象的示例的图。
根据实施例，电子装置1000可以使用将包括在车辆的驾驶期间获得的多个帧的视频序列402用作输入值来学习的第一训练模型(例如，包括处理电路和/或程序元件)1010来检测帧中的对象并辨识对象的位置。
根据实施例，坐标信息可以表示(x，y)的二维坐标。例如，可以使用从第一训练模型1010输出的帧中的对象的坐标信息来辨识对象的位置。例如，当植物、道路、车辆和人包括于第一训练模型1010中输入的帧时，第一训练模型1010的输出可以包括4(1,4)、6(3,4)、8(10,23)和10(15,11)。因此，可以使用第一训练模型1010来检测某一对象在帧中定位于何处。根据实施例，可以输出关于使用第一训练模型1010来学习的多个对象的信息作为矩阵值。
根据实施例，例如，电子装置1000可以使用第一训练模型1010以像素为单位确定对象的位置。例如，电子装置1000可以确定帧中包括的像素指示哪些对象，且因此，当在第一训练模型1010中输入包括对象的帧时，可以输出对应于对象的类型的值与对象在帧中的位置匹配的矩阵。以像素为单位确定对象的位置，且因此，当例如帧的大小是512×256时，矩阵的大小也可以是512×256。也即，作为关于帧的输入的第一训练模型的输出，可以获得包括关于对象的类型的信息和关于对象的位置的信息的矩阵。
根据实施例，由于第一训练模型1010使用FCN，因此当电子装置1000在第一训练模型1010中输入视频序列402时，可以输出对象的类型和对象的位置。根据实施例，基于第一训练模型1010中明确输入的坐标信息，第一训练模型1010可以通过学习检测对象并同时辨识对象的位置来使用少量操作来检测对象的位置。
根据实施例，当从第一训练模型1010输出的一系列矩阵被生成为图像时，可以获得视频序列405，其中基于对象类型而以不同颜色指示包括于视频序列405中的对象。例如，可以以不同颜色指示形成恒定模式的道路和作为移动对象的车辆。根据实施例，电子装置1000可以检测对象的类型和对象辨识的准确度。例如，电子装置1000可以确定从第一训练模型1010输出的视频序列405中的第一对象403和第二对象404的类型和位置。
根据实施例，电子装置1000可以使用关于第一对象403的形状和位置的信息来以75％的准确度辨识第一对象403是公共汽车，并且使用关于第二对象404的形状和位置的信息来以97％的准确度辨识第二对象404是汽车。
图5是说明根据实施例的基于检测到的对象与车辆之间的距离而确定检测到的对象是对象还是噪声的操作的图。
根据实施例，电子装置1000可以检测第一对象501、第二对象502和第三对象503，并辨识其在使用例如第一训练模型1010输出的视频序列505中的位置。电子装置1000可以确定驾驶车辆与第三对象503之间的距离相比于驾驶车辆与第一对象501之间的距离以及驾驶车辆与第二对象502之间的距离更大。电子装置1000可以相对于相对远离距离驾驶车辆定位的第三对象503确定事件发生的低重要程度。
根据实施例，电子装置1000可以确定第一对象501和第二对象502的类型。根据实施例，电子装置1000可以将第一对象501和第二对象502的类型确定为人类，且因此可以在视频序列505中以相同颜色显示第一对象501和第二对象502。根据实施例，电子装置1000可以基于第一对象501和第二对象502的位置坐标来检测噪声。例如，第二对象502的位置类似于第一对象501的位置，且因此，电子装置1000可以确定第一对象501与驾驶车辆之间的距离和第二对象502与驾驶车辆之间的距离彼此相似。然而，电子装置1000可以确定第二对象502的大小显著小于第一对象501的大小。根据实施例，电子装置1000可以基于关于在第二对象502的位置中辨识出的人的大小的信息而确定第二对象502是噪声信息而不是人类。因此，电子装置1000可以以与第一对象501不同的颜色显示第二对象502。
图6是说明根据实施例的使用第二训练模型1020来基于对象的依序移动而确定是否发生事件的示例的图。
根据实施例，当在第二训练模型1020中输入从第一训练模型1010输出的包含包括位置信息的对象的帧时，可以确定是否发生与对象有关的事件。
根据实施例，第二训练模型1020可以使用例如但不限于RNN，其可以例如指节点在不同时间分区中彼此循环地连接的神经网络。根据实施例的RNN可以辨识依序数据。依序数据是具有时间特性或次序的数据，例如语音数据、图像数据、生物数据、笔迹数据等。例如，RNN的辨识模型可以基于输入的哪些图像数据改变而辨识模式。
可以经由监督学习训练RNN，其中在神经网络中输入学习数据和与其对应的输出数据，且修改并改进连接线的连接权重，以使得输出对应于学习数据的输出数据。例如，RNN可以基于增量规则和反向传播学习而修改并改进神经元之间的连接权重。
根据实施例，第二训练模型1020可以包括各种处理电路和/或程序元件，并且使用包括长短期存储器(LSTM)网络的RNN。因此，第二训练模型1020可以使用与学习的先前步骤、当前步骤和下一步骤中的全部有关的结构，且可以将当前步骤的信息发送到下一步骤以影响输出值。因此，电子装置1000可以基于用于理解车辆的驾驶图像的上下文的学习结果而确定驾驶车辆可能发生的事件。
例如，第二训练模型1020可以辨识在下一帧中比在前一帧中更靠近驾驶车辆定位的对象601，并且可以确定在对象601与驾驶车辆之间发生了碰撞。
根据实施例，第二训练模型1020可以通过分析对象的位置的依序改变来基于对象而预测发生事件的概率。例如，第二训练模型1020可以基于对象601与车辆之间的距离来确定发生事故的概率，所述距离是基于对象601的位置而确定的。根据实施例，当第二训练模型1020确定对象601与车辆之间的距离较大时，第二训练模型1020可以确定事故发生的概率为10％，如操作602中描述。当第二训练模型1020确定车辆与对象601之间的距离随着车辆和对象601根据时间的移动而减小时，第二训练模型1020可以确定发生事故的概率为64％，如操作603中描述。根据实施例，第二训练模型1020可以学习基于车辆与对象601的根据时间的移动的发生事故的概率。
为了便于解释，通过分离第一训练模型1010与第二训练模型1020来给出描述。然而，第一训练模型1010和第二训练模型1020可以包括基于其功能的多个训练模型，或者一个集成训练模型。
图7是说明根据实施例的从多个帧当中获得在车辆前方检测到的对象的帧以便根据时间而检测是否发生事件的示例的图。
根据实施例，电子装置1000可以使用包括多个帧701的视频序列来对包括对象的帧702进行分段。根据实施例，电子装置1000可以在包括FCN与卷积神经网络(CNN)的组合的第一训练模型中输入多个帧701，并且可以在辨识对象的位置的同时输出包括对象的分段帧702。接下来，电子装置1000可以在包括LSTM网络的第二训练模型中输入包括对象的分段帧702，以便确定是否在包括对象的帧702中发生事件。
根据实施例，电子装置1000可以使用第一训练模型和第二训练模型来辨识对象的依序运动，并且可以基于对象而确定各种事件的发生。
图8是说明根据实施例的使用训练模型来经由序列帧分析检测是否发生事件的示例的图。
CNN在后部的层中包括一个完全连接的层，以便对图像数据的类别进行分类。在此处，当对象在输入图像中的位置信息通过完全连接层时，位置信息丢失。为了关于此问题进行改进，FCN可以将CNN的完全连接层视为1×1卷积，以使得可以维持位置信息。
根据实施例，第一训练模型使用FCN，且因此，当在第一训练模型中输入视频序列810时，电子装置1000可以输出一系列矩阵，包括关于对象的类型和位置的信息。根据实施例，可以基于显示次序而在第一训练模型中输入被执行预处理以便在第一训练模型中输入的视频序列810。从第一训练模型输出的矩阵的输出次序可以与在第一训练模型中输入的视频序列810的输入次序相同。
当从第一训练模型输出的一系列矩阵被制作为图像时，可以获得视频序列820，其中基于其类型而以不同颜色显示包括于视频序列810中的对象。在此处，可以经由包括于从第一训练模型输出的视频序列810中的对象的坐标信息而辨识对象的位置。根据实施例，当对通过以像素为单位划分视频序列820而生成的视频序列830执行扩张卷积时，可以获得矩阵840，在所述矩阵840中减小从第一训练模型输出的矩阵的尺寸。扩张卷积是仅使用包括于视频序列830中的一些像素来执行卷积的方法。例如，通过跳过一个或多个像素单元来执行卷积，由此扩张接收场(RF)的大小并减小矩阵的尺寸和以及操作量。
根据实施例，当在第二训练模型中输入矩阵840时，可以检测到基于对象的事件860。第二种训练模型使用RNN，RNN是节点在不同时间分区中彼此循环地连接的神经网络。根据实施例的RNN可以辨识依序数据。依序数据是具有时间特性或次序的数据，例如语音数据、图像数据、生物数据、笔迹数据等。例如，RNN的辨识模型可以基于输入的哪些图像数据改变而辨识模式。
可以经由监督学习训练RNN，其中在神经网络中输入学习数据和与其对应的输出数据，且修改并改进连接线的连接权重，以使得输出对应于学习数据的输出数据。例如，RNN可以基于增量规则和反向传播学习而修改并改进神经元之间的连接权重。
RNN可以是包括LSTM网络850的结构。LSTM网络850可以是能够执行长期依赖性学习的RNN的类型。不包括LSTM网络850的RNN可以将先前信息连接到当前操作，但是可能难以将过去操作的信息连接到当前操作。LSTM网络850可以是被设计为避免此长期依赖性问题的结构。LSTM网络850可以提取输入数据中的根据时间而改变的相对改变量作为特性值，并且因此，可以分析对象的位置的依序改变以便确定是否发生事件。
第二训练模型可以使用包括LSTM网络850的RNN，并且因此可以使用与学习的先前步骤、当前步骤和下一步骤中的全部有关的结构，且可以将当前步骤的信息发送到下一步骤并且会影响输出值。
根据实施例，可以基于从第一训练模型输出的次序而在第二训练模型中输入第一训练模型的输出的尺寸减小的矩阵840。第二训练模型可以通过考虑是否发生事件、事件的类型、驾驶的风险等级等来生成通知消息或命令以控制驾驶车辆。
为了便于解释，通过分离第一训练模型与第二训练模型来给出描述。然而，第一训练模型和第二训练模型可以包括基于其功能的多个训练模型，或者一个集成训练模型。
图9是说明根据实施例的使用虚拟现实来获得车辆驾驶数据的示例的图。
根据实施例，电子装置1000可以是驾驶模拟器系统，其被配置为使用虚拟现实和实时车辆分析程序来检测车辆的事件。根据实施例，电子装置1000可以使用虚拟环境来有效地获得在现实生活中难以预测的数据，例如事故。
根据实施例，使用驾驶模拟装置900，电子装置1000可以通过检测具有一致模式的对象(例如道路、建筑物等)以及具有不一致模式的对象(例如驾驶车辆的速度、驾驶车辆与另一车辆之间的距离等)来有效地获得驾驶数据。
根据实施例，电子装置1000可以使用驾驶模拟装置900来获得驾驶员的视野中的车辆的驾驶数据。根据实施例，从驾驶模拟装置900获得的驾驶员的视野中的车辆的驾驶数据可以被发送到CREST UDP发送器901和HDMI分离器902。
根据实施例，CREST UDP发送器901还可以使用用户数据报协议(UDP)来将驾驶员的视野中的车辆的驾驶数据发送到驾驶数据爬虫器905。
根据实施例，HDMI分离器902可以将驾驶员的视野中的车辆的驾驶数据分布到图像捕获卡903，且图像捕获卡903可以捕获(904)包括于车辆的驾驶数据中的帧图像。
根据实施例，在操作906中，电子装置1000可以将来自驾驶数据爬虫器905的驾驶数据与从图像捕获卡903接收到的捕获图像同步，并且接着在操作907中可以将同步的驾驶数据与捕获图像存储于数据库中。根据实施例，电子装置1000可以将驾驶数据图像存储于数据库中并管理数据库。
根据实施例，在操作908中，电子装置1000可以从存储于数据库中的驾驶数据检测事件。根据实施例，电子装置1000可以通过使用车辆数据分析器918分析驾驶数据来检测在车辆的驾驶期间发生的事件。
根据实施例，电子装置1000可以通过对在操作908中检测到的事件的类型进行分类来生成标签。根据实施例，电子装置1000可以将所生成标签分配为事件的标签。
结果，在操作909中，电子装置1000可以获得基于事件的类型、准确性等而分类的多个事件。
因此，在具有某一模式的虚拟驾驶环境中考虑到驾驶车辆的状态和其他车辆的状态，电子装置1000可以有效地获得包括现实中难以获得的多个事件的驾驶数据。
图10是说明根据实施例的基于事件的类型而确定通知消息和车辆控制命令的示例的图。
根据实施例，当电子装置1000处理第一训练模型的输出使得操作量减少并且在第二训练模型中输入处理后的输出时，可以输出通知消息。替代性地，可以输出对应于事件的控制操作，或者可以输出对应于事件的控制操作以及通知消息。
电子装置1000可以基于对是否发生事件的确定来生成通知事件的通知消息。
根据实施例，可以基于对象的类型、对象的位置的依序改变、是否发生事件等而生成不同的通知消息。
当确定发生事件时，电子装置1000可以生成通知事件的通知消息。而且，当确定没有发生事件时，电子装置1000可以不生成通知事件的通知消息。根据实施例，当电子装置1000确定不生成通知事件的通知消息时，电子装置1000可以完全不生成通知消息，或者可以生成不包括事件通知的预设通知消息。例如，电子装置1000可以生成包括当前温度、车辆的rpm值、车辆的前进方向、交通状况以及驾驶风险等级中的至少一个的通知消息。根据实施例，可以在电子装置1000中将不包括事件通知的通知消息设定为默认值。
根据实施例，电子装置1000可以基于事件的类型和驾驶风险等级而生成通知消息。根据实施例的通知消息可以被生成为文本消息或语音消息，但不限于此。而且，例如，可以经由文本到语音(TSS)将生成为文本的消息转换为语音，以获得具有语音格式的通知消息。
电子装置1000可以输出所生成通知消息。根据实施例，通知消息可以被输出为声音、文本、图像和/或振动。根据实施例，电子装置1000可以在平视显示器(HUD)或仪表板上显示通知消息。根据实施例，当通知消息具有语音格式时，电子装置1000可以通过车辆的扬声器表现该通知消息。例如，电子装置1000可以向车辆的扬声器发送命令以控制车辆的扬声器来输出具有语音格式的通知消息。
根据实施例，可以基于事件的类型和驾驶的风险等级而将控制安装于车辆中的模块的操作的命令发送到模块。当电子装置1000基于事件的类型和驾驶的风险等级而确定其更好控制安装于车辆中的模块的操作时，电子装置1000可以向安装于车辆中的模块发送控制安装于车辆中的模块的操作的命令。例如，电子装置1000可以基于事件的类型和驾驶的风险等级而输出通知消息，并且同时控制安装于车辆中的模块的操作。替代性地，当在输出通知消息之后的预设时间段内未接收到用于控制安装于车辆中的模块的操作的用户输入时，电子装置1000可以向安装于车辆中的模块发送用于控制安装于车辆中的模块的操作的命令。替代性地，电子装置1000可以不输出通知消息，并且可以基于事件的类型和驾驶的风险等级而向安装于车辆中的模块发送用于控制安装于车辆中的模块的操作的命令。
根据实施例的用户输入可以包括踩踏输入(step on input)、转向输入、语音输入、键输入、触摸输入、弯曲输入和多模态输入中的至少一个，但不限于此。踩踏输入可以表示踩踏车辆的制动器以控制制动器的用户输入。转向输入可以表示旋转车辆的方向盘以控制方向盘的用户输入。
根据实施例，使用第二训练模型生成的通知消息可以基于事件的类型和驾驶的风险等级而改变。例如，通知消息中包括的内容可以基于事件的类型和驾驶的风险等级而改变。例如，包括于通知消息中的内容可以包括事件的通知、对应于事件的动作指南、警报声等。
图10是说明如何基于事件的类型和驾驶的风险等级而确定通知消息的内容和车辆控制命令的内容的示例的表格。根据实施例的表格仅仅是示例，并且可以连续地修改并改进多个训练模型。因此，可以连续地修改并改进基于多个训练模型中的输入值的输出值。电子装置1000可以使用第二训练模型来基于事件的类型和驾驶的风险等级来输出不同通知消息和不同车辆控制命令。
根据实施例，如图10中所示，例如，当事件的类型是归因于未能确保相对于前方车辆的安全距离的预计事故且驾驶的风险等级很高时，电子装置1000可以生成包括内容“立即踩踏刹车”的通知消息以及警报声，所述内容是对应于事件的动作指南。而且，电子装置1000可以通过向制动器施加一定的力来操作车辆的制动器以生成命令以控制车辆的速度。
而且，根据实施例，电子装置1000可以基于事件的类型和驾驶的风险等级来确定将接收用于执行动作指南的用户输入的时间。例如，可以基于驾驶的风险等级而确定将接收用户输入的时间。而且，例如，基于根据预设参考的学习，可以设定并改变关于将使用哪些数据以便确定将接收用户输入的时间的确定。例如，当确定驾驶风险等级较高并且在预设时间内未接收到用于控制安装于车辆中的模块的操作的用户输入时，电子装置1000可以向安装于车辆中的模块发送用于控制安装于车辆中的模块的操作的命令。
例如，当事件的类型是地形改变以包括前方的弯曲道路且驾驶的风险等级为中时，电子装置1000可以生成包括内容“警告，前方道路弯曲”的通知消息，以使得对应于事件的动作指南与事件的通知一起包括于通知消息中。而且，电子装置1000可以成一定角度控制方向盘，由此生成控制命令以改变车辆的移动方向。
例如，当事件的类型是车辆在前方卷入事故的道路状况改变且驾驶的风险等级为低时，电子装置1000可以生成包括内容“前方有车辆卷入事故，将车道改变为右侧”的通知消息，以使得对应于事件的动作指南与事件的通知一起包括于通知消息中。而且，电子装置1000可以生成控制命令以改变方向盘的方向，以便避免车辆卷入事故中。
例如，当事件的类型是交通信号从绿色变为红色且驾驶的风险等级为高时，电子装置1000可以生成包括内容“交通信号改变，请停车”的通知消息，以使得对应于事件的动作指南与事件的通知一起包括于通知消息中。而且，电子装置1000可以逐渐地操作制动器，由此生成控制命令以在停止线处停止车辆。
例如，当事件的类型是交通信号从红色变为绿色且驾驶的风险等级为低时，电子装置1000可以生成包括内容“交通信号改变，请起动”的通知消息，以使得对应于事件的动作指南与事件的通知一起包括于通知消息中。而且，电子装置1000可以逐渐地操作加速器，由此生成控制命令以起动车辆。
图11是说明根据实施例的在车辆的HUD上显示通知消息的示例的图。
根据实施例，电子装置1000可以在车辆的HUD上显示通知消息。
例如，当电子装置1000确定由于未能确保相对于前方的车辆1101的安全距离而发生预测事故的事件且驾驶的风险等级1103为35时，电子装置1000可以控制车辆的HUD以显示通知消息，包括驾驶的风险等级1103和用于确保安全距离的虚拟图像1104。而且，电子装置1000可以将包括内容“请立即踩刹车”(这是对应于事件的动作指南)的通知消息与警报声一起输出为语音。而且，例如，当在输出通知消息之后的预设时间段内未接收到用户踩踏制动器的踩踏输入时，电子装置1000可以向制动器发送控制制动器的操作的命令。例如，预设时间段可以基于学习而设定，并且可以基于驾驶的风险等级1103而改变。例如，随着驾驶风险的等级1103增加，预设时间段可以减少。例如，当由于用户的车辆与前方车辆1101之间的距离太小而预计除非立即踩下制动器，否则会发生事故时，可以输出通知消息，并且同时可以向制动器发送控制制动器的操作的命令。
图12是说明根据实施例的在车辆中显示通知消息的示例的图。
根据实施例，电子装置1000可以向安装于车辆中的模块发送用于控制安装于车辆中的模块的操作的命令。
例如，当电子装置1000确定发生与交通状况改变有关的事件，以使得由于前方车辆卷入事故而无法在相应车道上驾驶时，电子装置1000可以控制车辆的HUD以显示不包括事件通知的预设通知消息。例如，电子装置1000可以在HUD上显示包括当前温度、车辆的rpm值、车辆的前进方向、交通状况以及驾驶风险等级中的至少一个的通知消息。而且，电子装置1000可以输出作为语音格式的通知消息“前方车辆卷入事故，将车道改变为右侧”。而且，例如，当在输出具有语音格式的通知消息之后的预设时间段内未从用户接收到旋转方向盘1210的用户的转向输入时，可以向方向盘1210发送旋转方向盘1210的命令。因此，电子装置1000可以促使用户控制方向盘1210，或者可以向方向盘1210发送用于控制方向盘1210的命令，以便自主地控制驾驶路径。
图13是说明根据实施例的电子装置1000的部件的框图
图14是说明根据实施例的电子装置1000的部件的框图。
如图13中说明，根据实施例的电子装置1000可以包括处理器(例如，包括处理电路)1300、通信接口(例如，包括通信电路)1500和存储器1700。然而，图13中说明的并非所有部件都是电子装置1000的必要部件。可以通过包括多于或少于图13中说明的部件来实施电子装置1000。
例如，如图14中说明，根据实施例的电子装置1000可以进一步包括输入接口(例如，包括输入电路)1100、输出接口(例如，包括输出电路)1200、传感器1400和音频/视频(A/V)输入接口(例如，包括A/V输入电路)1600、以及处理器1300、通信接口1500和存储器1700。
例如，根据实施例的电子装置1000可以是包括处理器1300、通信接口1500和存储器1700的车辆板，且根据实施例的电子装置1000可以是还包括以下各项中的至少一个的车辆：输入接口1100、输出接口1200、传感器1400和A/V输入接口1600、以及处理器1300、通信接口1500和存储器1700。
输入接口1100是指包括各种输入电路的装置，用户可以经由所述输入电路输入用于控制电子装置1000的数据。例如，输入接口1100可以包括各种输入电路，例如但不限于小键盘、圆顶开关，触摸板(使用触摸电容法、耐压法、红外感测法、表面超声波传导法、积分张力测量法、压电效应法等)、滚轮、滚轮开关等，但不限于此。
输入接口1100可以接收用于控制安装于车辆中的模块的操作的输入。
输出接口1200可以包括用于输出音频信号、视频信号和/或振动信号的各种电路，并且可以包括显示器1210、声音输出接口(例如，包括声音输出电路)1220以及振动马达1230。根据实施例，输出接口1200可以将通知消息输出为音频、视频和/或振动。
显示器1210可以显示并输出在电子装置1000中处理的信息。例如，电子装置1210可以在车辆的平视显示器(HUD)上显示通知消息。
声音输出接口1220可以包括各种电路，以输出从通信接口1500接收或存储于存储器1700中的音频数据。而且，声音输出接口1220可以输出与在电子装置1000中执行的功能有关的声音信号(例如，呼叫信号接收声音、消息接收声音、通知声音)。例如，声音输出接口1220可以输出用于通知事件发生的警报声。
处理器1300可以包括各种处理电路，并且总体上控制电子装置1000的操作。例如，处理器1300可以通常通过执行存储于存储器1700中的程序来控制用户输入接口1100、输出接口1200、传感器1400、通信接口1500、A/V输入接口1600等等。而且，处理器1300可以通过使用存储于存储器1700中的不同程序来控制电子装置1000的功能。处理器1300可以包括至少一个处理器。处理器1300可以基于其功能和操作而包括多个处理器或一个集成处理器。根据实施例，处理器1300可以包括至少一个处理器，其被配置为执行存储于存储器1700中的至少一个程序以提供通知消息。
根据实施例，处理器1300可以经由通信接口1500从安装于车辆中的相机获得包括多个帧的视频序列。根据实施例，经由通信接口1500，基于事件的类型和驾驶车辆的风险等级，处理器1300可以将被配置为控制安装于车辆中的模块的操作的命令发送到安装于车辆中的模块。
根据实施例，处理器1300可以从多个帧检测包括在多个帧中的对象。根据实施例，处理器1300可以使用坐标信息来关于多个帧中的每一个辨识关于对象的位置的信息。处理器1300可以以像素为单位确定对象的位置。根据实施例，处理器1300可以通过分析关于多个帧中对象的位置的依序改变来确定是否发生车辆的驾驶事件。根据实施例，处理器1300可以通过分析关于多个帧中对象的位置的依序改变来确定事件的类型和驾驶车辆的风险等级。根据实施例，处理器1300可以基于对是否发生事件的确定而生成用于通知事件的通知消息。根据实施例，处理器1300可以基于事件的类型和驾驶车辆的风险等级而生成用于通知事件的通知消息。根据实施例，处理器1300可以控制输出接口1200以输出所生成的通知消息。根据实施例，处理器1300可以控制显示器1210以显示所生成的通知消息。根据实施例，使用不同训练模型，处理器1300可以检测对象，获得关于对象的位置的信息，确定是否发生事件并生成通知消息。
根据实施例，通过将坐标信息添加到FCN，相对于多个帧中的每一个，可以通过学习用于确定对象的类型的参考和用于确定对象在多个帧中的位置的参考来生成第一训练模型。处理器1300可以使用第一训练模型来确定对象的类型，并且确定对象在多个帧中的位置。
根据实施例，使用RNN，通过学习用于通过分析相对于多个帧中对象的位置的依序改变来确定是否发生车辆的驾驶事件的参考，可以生成第二训练模型。处理器1300可以使用第二训练模型来确定是否发生与车辆的驾驶有关的事件，并确定通知消息的内容。
根据实施例，处理器1300可以将用于平坦化多个帧的量度的滤波器应用于多个帧，以便将多个帧输入到第一训练模型，并且可以减小第一训练模型的输出的尺寸，以将多个帧输入到第二训练模型。
传感器1400可以包括各种传感器和感测电路，以感测电子装置1000的状态、用户的状态或者电子装置1000周围的状态，并且可以将感测到的信息发送到处理器1300。
传感器1400可以包括各种感测电路，例如且不限于以下各项中的至少一个：磁传感器1410、加速度传感器1420、温度/湿度传感器1430、红外传感器1440、陀螺仪传感器1450、位置传感器(例如，全球定位系统(GPS))1460、大气压力传感器1470、接近传感器1480和RGB传感器1490，但不限于此。每个传感器的功能可以由本领域普通技术人员从其名称直观地推断，且因此将省略其详细描述。
通信接口1500可以包括各种通信电路，包括被配置为使电子装置1000能够与另一电子装置(未示出)和服务器2000通信的至少一个部件。另一电子装置可以是计算装置或传感器，但不限于此。而且，例如，另一个电子装置可以是与电子装置1000一起包括在车辆中的模块。例如，通信接口1500可以包括短程无线通信接口1510、移动通信接口1520和广播接收接口1530。
短程无线通信接口1510可以包括蓝牙通信接口、蓝牙低功耗通信接口、近场通信接口(NFC/RFID)、WLAN(Wi-Fi)通信接口、Zigbee通信接口、红外数据协会(IrDA)通信接口(未示出)、Wi-Fi直连(WFD)通信接口、超宽带(UWB)通信接口、Ant+通信接口等，但不限于此。
移动通信接口1520可以包括各种移动通信电路，以在移动通信网络中将无线信号发送到以下各项中的至少一个或从以下各项中的至少一个接收无线信号：基站、外部终端和服务器。在此处，无线信号可以包括语音呼叫信号、视频电话呼叫信号或基于文本/多媒体消息的交换的各种类型的数据。
广播接收接口1530可以包括各种广播接收电路，以经由广播信道从外部接收与广播有关的广播信号和/或信息。广播信道可以包括卫星信道和地波信道。根据实施例，电子装置1000可以不包括广播接收接口1530。
根据实施例，通信接口1500可以从安装于车辆中的相机接收包括多个帧的视频序列。根据实施例，通信接口1500可以向安装于车辆中的模块发送用于控制安装于车辆中的模块的操作的命令。
A/V输入接口1600可以包括各种A/V接口电路且被配置为输入音频信号或视频信号，并且可以包括相机1610、麦克风1620等。相机1610可以在视频电话模式或拍摄模式下经由图像传感器获得例如静止图像或视频等图像帧。通过图像传感器捕获的图像可以由处理器1300或附加图像处理器(未示出)处理。例如，由相机1610捕获的图像可以用作用于确定是否发生事件的信息。
麦克风1620可以接收外部声音信号，并且将外部声音信号处理为电声音数据。例如，麦克风1620可以从外部装置或用户接收声音信号。麦克风1620可以使用各种噪声消除算法来消除在接收外部声音信号的过程期间生成的噪声。
存储器1700可以存储用于处理和控制处理器1300的程序，并且可以存储输入到电子装置1000和/或从电子装置1000输出的数据。
存储器1700可以包括来自以下各项当中的至少一种的存储介质：快闪存储器型存储器、硬盘型存储器、多媒体卡微型存储器、卡型存储器(例如，SD或XD存储器)、随机存取存储器(RAM)、静态RAM(SRAM)、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、可编程ROM(PROM)、磁存储器、磁盘和光盘。
可以基于其功能而将存储于存储器1700中的程序划分为多个模块。例如，程序可以被分为用户界面(UI)模块1710、触摸屏模块1720和通知模块1730。
UI模块1710可以为每个应用提供与电子装置1000同步的专用UI、图形用户界面(GUI)等。触摸屏模块1720可以经由用户感测触摸屏上的触摸手势，并且将关于触摸手势的信息发送到处理器1300。根据实施例的触摸屏模块1720可以辨识并分析触摸代码。触摸屏模块1720可以被实施为包括处理器的附加硬件。
通知模块1730可以生成信号以通知事件的发生。通知模块1730可经由显示器1210将通知信号作为视频信号输出，经由声音输出接口1220将通知信号作为音频信号输出，或经由振动马达1230将通知信号作为振动信号输出。
图15是说明根据实施例的处理器1300的部件的框图。
参考图15，处理器1300可以包括数据学习器(例如，包括处理电路和/或程序元件)1310和数据辨识器(例如，包括处理电路和/或程序元件)1320。
数据学习器1310可以包括各种处理电路和/或程序元件，并且使用坐标信息来学习用于辨识对象的位置的参考。数据学习器1310可以使用坐标信息来学习关于使用哪些数据来辨识对象的位置的参考、如何使用数据来获得位置信息、以及如何确定是否发生事件。通过获得待用于学习的数据并将所获得数据应用于将下文描述的数据辨识模型，数据学习器1310可以学习使用坐标信息来辨识对象的位置的参考。
根据实施例，检测对象，辨识对象的位置信息，确定对象的类型，确定对象的位置，确定是否发生事件，确定事件的类型，确定驾驶车辆的风险等级，生成通知消息，生成车辆控制命令等的操作可以被执行为单独操作。然而，实施例不限于此。检测对象，辨识对象的位置信息，确定对象的类型，确定对象的位置，确定是否发生事件，确定事件的类型，确定驾驶车辆的风险等级，生成通知消息，生成车辆控制命令等的操作中的至少两个可以基于根据预设参考的学习来执行。
数据辨识器1320可以包括各种处理电路和/或程序元件，并且基于数据辨识对象的位置信息，并且基于位置信息的辨识来确定是否发生事件。数据辨识器1320可以使用习得的数据辨识模型来基于某些数据而辨识对象的位置信息。数据辨识器1320可以基于根据学习的预设参考来获得特定数据，并且将具有所获得数据的数据辨识模型用作输入值，以便基于特定数据而确定如何获得对象的位置信息，并基于是否发生事件而确定如何生成通知消息和车辆控制命令。而且，由将所获得数据用作输入值的数据辨识模型输出的结果值可以用以修改并改进数据辨识模型。
数据学习器1310和数据辨识器1320中的至少一个可以被制造为至少一个硬件芯片，并且可以安装于电子装置中。例如，数据学习器1310和数据辨识器1320中的至少一个可以被制造为用于AI的专用硬件芯片，或者被制造为现有通用处理器(例如，中央处理单元(CPU)或应用处理器)或图形专用处理器(例如，图形处理单元(GPU))的一部分，并且可以安装于上文描述的各种电子装置中。
在此情况下，数据学习器1310和数据辨识器1320可以安装于同一电子装置中，或者各自可以安装于不同电子装置中。例如，数据学习器1310和数据辨识器1320中的一个可以包括在一个电子装置1000中，而另一个可以包括在服务器2000中(参见例如图18)。而且，数据学习器1310与数据辨识器1320可以以有线或无线方式彼此连接，以使得可以将由数据学习器1310建立的模型信息提供给数据辨识器1320，或者可以将输入到数据辨识器1320的数据作为附加学习数据提供给数据学习器1310。
同时，数据学习器1310和数据辨识器1320中的至少一个可以被实现为包括各种程序元件的软件模块。当数据学习器1310和数据辨识器1320中的至少一个被实施为软件模块(或包括指令的程序模块)时，软件模块可以存储于非暂时性计算机可读记录介质中。而且，在此情况下，一个或多个软件模块可以由操作系统(OS)或者预定应用提供。一个或多个软件模块中的一些可以由OS提供，而其他的可以由预定应用提供。
图16是说明根据实施例的数据学习器1310的框图。
参考图16，根据实施例的数据学习器1310可以包括数据获得器(例如，包括处理电路和/或程序元件)1310-1、预处理器(例如，包括处理电路和/或程序元件)1310-2、学习数据选择器(例如，包括处理电路和/或程序元件)1310-3、模型学习器(例如，包括处理电路和/或程序元件)1310-4和模型评估器(例如，包括处理电路和/或程序元件)1310-5。
数据获得器1310-1可以包括各种处理电路和/或程序元件，并且获得对于确定如何使用坐标信息来获得对象的位置信息以及如何确定是否发生事件所必需的数据。数据获得器1310-1可以获得对于被配置为确定如何使用坐标信息来获得对象的位置信息以及如何确定是否发生事件的学习有必要的数据。
例如，数据获得器1310-1可以获得语音数据、图像数据、文本数据或生物信号数据。例如，数据获得器1310-1可以经由电子装置1000的输入装置(例如，麦克风、相机、传感器等)接收数据。替代性地，数据获得器1310-1可以经由与电子装置1000通信的另一电子装置获得数据。替代性地，数据获得器1310-1可以经由与电子装置1000通信的服务器2000获得数据。
例如，数据获得器1310-1可以从安装于车辆中的相机接收视频序列。而且，例如，数据获得器1310-1可以从被配置为捕获车辆周围环境的相机接收视频序列。而且，例如，数据获得器1310-1可以从包括在电子装置1000中的相机获得视频序列。
预处理器1310-2可以包括各种处理电路和/或程序元件，并且预处理所获得数据，以使得所获得数据可以在学习操作中用于确定如何获得像素信息以及如何生成通知消息。预处理器1310-2可以以预设格式处理所获得数据，以使得所获得数据可以在学习操作中用于确定如何获得像素信息以及如何生成通知消息。例如，预处理器1310-2可以执行预处理，由此将被配置为平坦化使视频序列中包括的多个帧的亮度的滤波器应用于多个帧。
学习数据选择器1310-3可以包括各种处理电路和/或程序元件，并且从预处理的数据选择对于学习有必要的数据。选择数据可以被提供给模型学习器1310-4。学习数据选择器1310-3可以基于用于确定如何获得像素信息以及如何生成通知消息的预定参考而从预处理的数据选择对于学习有必要的数据。而且，学习数据选择器1310-3可以基于参考(这是基于模型学习器1310-4的学习而预定的)而选择数据。
模型学习器1310-4可以包括各种处理电路和/或程序元件，并且学习关于如何基于学习数据而获得对象的位置信息以及如何确定是否发生事件的参考。而且，模型学习器1310-4可以学习关于如何使用坐标信息来获得对象的位置信息以及将使用哪些学习数据以确定是否发生事件的参考。
而且，模型学习器1310-4可以训练数据辨识模型，其用以基于学习数据来使用坐标信息来确定如何获得对象的位置信息以及如何确定是否发生事件。在此情况下，数据辨识模型可以是预建立的模型。例如，数据辨识模型可以是通过接收基本学习数据(例如，车辆的黑匣子图像等)而预建立的模型。
可以通过考虑实施数据辨识模型的领域、学习的目的、装置的计算性能等来建立数据辨识模型。数据辨识模型可以包括例如基于神经网络的模型。例如，诸如深度神经网络(DNN)、RNN或双向递归深度神经网络(BRDNN)等模型可以用作数据辨识模型，但本公开不限于此。
根据各种实施例，当存在多个预先建立的数据辨识模型时，模型学习器1310-4可以确定其基本学习数据与所输入学习数据具有高度相关性的数据辨识模型作为数据辨识模型以供学习。在此情况下，可以基于数据的类型对基本学习数据进行预分类，并且可以基于数据的类型而预建立数据辨识模型。例如，可以基于各种参考来对基本学习数据进行预分类，例如生成学习数据的区域、生成学习数据的时间、学习数据的量、学习数据的类型、学习数据的生成器等。
而且，模型学习器1310-4可以例如使用诸如误差反向传播或梯度下降等学习算法来训练数据辨识模型。
而且，模型学习器1310-4可以例如经由以学习数据为输入的监督学习训练数据辨识模型。而且，在没有指令的情况下，模型学习器1310-4可以例如经由无监督学习训练数据辨识模型，在无监督学习中，通过学习其自身的数据类型来发现用于基于学习数据使用坐标信息来确定如何获得对象的位置信息的参考以及如何确定是否发生事件的参考，这些数据类型对于基于学习数据使用坐标信息来确定如何获得对象的位置信息的参考以及如何确定是否发生事件是必要的。而且，使用关于基于学习数据而使用坐标信息来确定如何获得对象的位置信息的结果和基于学习而确定如何确定是否发生事件的结果是否是正确的反馈，模型学习器1310-4可以例如经由强化学习训练数据辨识模型。
而且，当学习数据辨识模型时，模型学习器1310-4可以存储习得的数据辨识模型。在此情况下，模型学习器1310-4可以将习得的数据辨识模型存储于包括数据辨识器1320的电子装置1000的存储器中。替代性地，模型学习器1310-4可以将学得的数据辨识模型存储于经由有线或无线网络与电子装置1000连接的服务器2000的存储器中。
在此情况下，例如，存储有习得的数据辨识模型的存储器还可以存储与电子装置1000的至少一个另一部件相关联的命令或数据。而且，存储器可以存储软件和/或程序。程序可以包括例如内核、中间件、应用编程接口(API)和/或应用程序(或“应用”)。
模型评估器1310-5可以包括各种处理电路和/或程序元件并且向数据辨识模型输入评估数据，并且在从评估数据输出的辨识的结果不满足预定参考时，可以允许模型学习器1310-4再次学习。在此情况下，评估数据可以是被预定用于评估数据辨识模型的数据。
例如，当从关于评估数据的习得的数据辨识模型的辨识结果当中，关于其辨识结果不正确的评估数据的片段的数量或比率大于预定阈值时，模型评估器1310-5可以评估不满足预定参考标准的情况。例如，当预定阈值被定义为2％的比率时，且当习得的数据辨识模型在总共1000个评估数据片段当中输出多于20个评估数据片段的错误辨识结果时，模型评估器1310-5可以评估习得的数据辨识模型不合适。
同时，当存在多个习得的数据辨识模型时，模型评估器1310-5可以评估每个习得的数据辨识模型是否满足预定参考标准，并且可以将满足预定参考标准的习得的数据辨识模型确定为最终数据辨识模型。在此情况下，当存在满足预定参考标准的多个习得的数据辨识模型时，模型评估器1310-5可以以评估得分的降序确定任意一个或预定数量的习得的数据辨识模型作为最终数据辨识模型。
同时，数据学习器1310中的数据获得器1310-1、预处理器1310-2、学习数据选择器1310-3、模型学习器1310-4和模型评估器1310-5中的至少一个可以被制造为至少一个硬件芯片，并且可以安装于电子装置1000上。例如，数据获得器1310-1、预处理器1310-2、学习数据选择器1310-3、模型学习器1310-4和模型评估器1310-5中的至少一个可以被制造为用于AI的专用硬件芯片，或者被制造为现有通用处理器(例如，CPU或应用处理器)或图形专用处理器(例如，GPU)的一部分，并且可以安装于上文描述的各种电子装置中。
而且，数据获得器1310-1、预处理器1310-2、学习数据选择器1310-3、模型学习器1310-4和模型评估器1310-5可以安装于一个电子装置中，或者各自可以安装于不同电子装置中。例如，数据获得器1310-1、预处理器1310-2、学习数据选择器1310-3、模型学习器1310-4和模型评估器1310-5中的一些可以包括在电子装置1000中，且其他可以包括于服务器2000中。
而且，数据获得器1310-1、预处理器1310-2、学习数据选择器1310-3、模型学习器1310-4和模型评估器1310-5中的至少一个可以被实施为软件模块。当数据获得器1310-1、预处理器1310-2、学习数据选择器1310-3、模型学习器1310-4和模型评估器1310-5中的至少一个被实施为软件模块(或包括指令的程序模块)时，软件模块可以存储于非暂时性计算机可读记录介质中。而且，在此情况下，一个或多个软件模块可以由OS或者预定应用提供。替代性地，一个或多个软件模块中的一些可以由OS提供，而其他的可以由预定应用程序提供。
图17是说明根据实施例的数据辨识器1320的框图。
参考图17，根据实施例的数据辨识器1320可以包括数据获得器(例如，包括处理电路和/或程序元件)1320-1、预处理器(例如，包括处理电路和/或程序元件)1320-2、辨识数据选择器(例如，包括处理电路和/或程序元件)1320-3、辨识结果提供器(例如，包括处理电路和/或程序元件)1320-4、和模型修改器(例如，包括处理电路和/或程序元件)1320-5。
数据获得器1320-1可以包括各种处理电路和/或程序元件，并且获得对于确定如何基于学习数据而获得对象的位置信息以及如何确定是否发生事件所必需的数据。
预处理器1320-2可以包括各种处理电路和/或程序元件，并且预处理所获得数据，以使得所获得数据可以用以确定基于学习数据如何获得对象的位置信息以及如何确定是否发生事件。预处理器1320-2可以以预定格式处理所获得数据，以使得将在下文描述的辨识结果提供器1320-4可以使用所获得数据，以确定基于学习数据如何获得对象的位置信息以及如何确定是否发生事件。
辨识数据选择器1320-3可以包括各种处理电路和/或程序元件，并且从预处理的数据选择确定如何基于学习数据而获得对象的位置信息以及如何确定是否发生事件所必需的数据。选择的数据可以被提供给辨识结果提供器1320-4。基于用于确定如何基于学习数据而获得对象的位置信息以及如何确定是否发生事件的预定参考，辨识数据选择器1320-3可以选择预处理数据的部分或全部。而且，辨识数据选择器1320-3可以基于根据上文描述的模型学习器1310-4的学习而预定的参考而选择数据。
辨识结果提供器1320-4可以包括各种处理电路和/或程序元件，并且将选择的数据应用于数据辨识模型，以便确定如何获得像素信息以及如何生成通知消息。辨识结果提供器1320-4可以基于数据辨识目的而提供辨识结果。辨识结果提供器1320-4可以将由辨识数据选择器1320-3选择的数据用作输入来将选择的数据应用于数据辨识模型。而且，辨识结果可以由数据辨识模型确定。
模型修改器1320-5可以包括各种处理电路和/或程序元件，并且基于对由辨识结果提供器1320-4提供的辨识结果的评估而允许修改并改进数据辨识模型。例如，模型修改器1320-5可以将由辨识结果提供器1320-4提供的辨识结果提供给模型学习器1310-4，以使得模型学习器1310-4可以修改并改进数据辨识模型。
同时，数据辨识器1320中的数据获得器1320-1、预处理器1320-2、辨识数据选择器1320-3、辨识结果提供器1320-4和模型修改器1320-5中的至少一个可以被制造为至少一个硬件芯片，并且可以安装于电子装置1000上。例如，数据获得器1320-1、预处理器1320-2、辨识数据选择器1320-3、辨识结果提供器1320-4和模型修改器1320-5中的至少一个可以被制造为用于AI的专用硬件芯片，或者被制造为现有通用处理器(例如，CPU或应用处理器)或图形专用处理器(例如，GPU)的一部分，并且可以安装于上文描述的各种电子装置中。
而且，数据获得器1320-1、预处理器1320-2、辨识数据选择器1320-3、辨识结果提供器1320-4和模型修改器1320-5可以安装于一个电子装置中，或者各自可以安装于不同电子装置中。例如，数据获得器1320-1、预处理器1320-2、辨识数据选择器1320-3、辨识结果提供器1320-4和模型修改器1320-5中的一些可以包括在电子装置1000中，且其他可以包括于服务器2000中。
而且，数据获得器1320-1、预处理器1320-2、辨识数据选择器1320-3、辨识结果提供器1320-4和模型修改器1320-5中的至少一个可以被实施为软件模块。当数据获得器1320-1、预处理器1320-2、辨识数据选择器1320-3、辨识结果提供器1320-4和模型修改器1320-5中的至少一个被实施为软件模块(或包括指令的程序模块)时，软件模块可以存储于非暂时性计算机可读记录介质中。而且，在此情况下，一个或多个软件模块可以由OS或者预定应用提供。替代性地，一个或多个软件模块中的一些可以由OS提供，而其他的可以由预定应用提供。
图18是说明根据实施例的电子装置1000与服务器2000彼此同步以学习并辨识数据的示例的图。
参考图18，服务器2000可以学习用于确定如何获得对象的位置信息以及如何确定是否发生事件的参考。电子装置1000可以基于服务器2000的学习的结果而确定如何获得对象的位置信息以及如何确定是否发生事件。
在此情况下，服务器2000的模型学习器2340可以包括各种处理电路和/或程序元件，并且执行图16中说明的数据学习器1310的功能。服务器2000的模型学习器2340可以学习关于将使用哪些数据以确定如何获得对象的位置信息以及如何确定是否发生事件的参考，以及使用数据来确定如何获得对象的位置信息以及如何确定是否发生事件的参考。通过获得待用于学习的数据并将所获得数据应用于数据辨识模型，模型学习器2340可以学习用于确定如何获得对象的位置信息以及如何确定是否发生事件的参考。
而且，电子装置1000的辨识结果提供器1320-4可以包括各种处理电路和/或程序元件，并且将由辨识数据选择器1320-3选择的数据应用于由服务器2000生成的数据辨识模型，以便确定如何获得对象的位置信息以及如何确定是否发生事件。例如，辨识结果提供器1320-4可以包括各种处理电路和/或程序元件并且将由辨识数据选择器1320-3选择的数据发送到服务器2000，并且可以请求服务器2000将由辨识数据选择器1320-3选择的数据应用于数据辨识模型，以便确定如何获得像素信息以及如何生成通知消息。而且，辨识结果提供器1320-4可以包括各种处理电路和/或程序元件，并且从服务器2000接收关于经由服务器2000的确定的信息，所述确定是关于如何获得对象的位置信息以及如何确定是否发生事件的确定。
电子装置1000的辨识结果提供器1320-4可以从服务器2000接收由服务器2000生成的数据辨识模型，并且可以使用接收到的数据辨识模型来确定如何获得对象的位置信息以及如何确定是否发生事件。在此情况下，通过将由辨识数据选择器1320-3选择的数据应用于从服务器2000接收的数据辨识模型，电子装置1000的辨识结果提供器1320-4可以确定如何获得对象的位置信息以及如何确定是否发生事件。
一些实施例可以经由包括计算机可执行指令的记录介质来实现，例如由计算机执行的程序模块。计算机可读记录介质可以是可由计算机访问的任意可用介质，且其示例包括所有易失性和非易失性介质以及可分离和非可分离介质。此外，计算机可读介质的示例可以包括计算机存储介质和通信介质。计算机存储介质的示例包括已通过任何方法或技术实施的所有易失性和非易失性介质以及可分离和非分离介质，来存储信息，例如计算机可读指令、数据结构、程序模块或其他数据。
而且，在本公开中，“接口”可以包括例如处理器或电路等硬件部件，和/或由例如处理器等硬件部件执行的软件部件。
虽然已参考本公开的各种示例实施例说明并描述本公开，但是本领域普通技术人员将理解，在不脱离如由以下权利要求限定的本公开的精神和范围的情况下，可以在其中对形式和细节进行各种改变。因此，应理解，上述实施例不限制本公开的范围。例如，以单一类型描述的每个部件可以以分布式方式执行，并且分布形式描述的部件也可以以集成形式执行。
本公开的范围由权利要求而不是由本公开的详细描述指示，且应理解，权利要求以及从权利要求的概念得出的所有修改或修改形式都包括于本公开的范围中。

Claims (15)

1.一种电子装置，包括：
处理器；和
存储器，用于存储可以由所述处理器执行的指令，
其中所述处理器被配置为执行所述指令以使所述电子装置：
从车辆获得视频序列，所述视频序列包括在驾驶所述车辆时捕获的多个帧，
辨识对象在所述多个帧中的至少一个中的位置，
分析关于在所述多个帧中所述对象的位置的依序改变，以及
确定是否发生所述车辆的驾驶事件。
2.如权利要求1所述的电子装置，其中：
所述处理器被进一步配置为执行所述指令以使所述电子装置：
确定所述对象的类型，以及
通过比较关于所述对象的类型在所述对象的辨识位置中的参考大小的信息与关于所述对象的类型在所述对象的辨识位置中的大小的信息来确定所述对象是否是噪声。
3.如权利要求2所述的电子装置，其中，关于所述大小的信息包括以下信息：基于所述车辆与所述对象之间的距离而预定义所述对象将在所述多个帧中占据的区域的范围。
4.如权利要求1所述的电子装置，其中：
所述处理器被进一步配置为执行所述指令以使所述电子装置：
从包括在驾驶学习车辆时捕获的多个学习帧的视频序列检测学习对象，并基于学习所述学习对象的位置的结果而将坐标信息同时映射到所述学习对象以获得第一训练模型，所述位置对应于所述多个学习帧中的学习对象的坐标信息，并使用所获得的第一训练模型来辨识所述对象在所述多个帧中的至少一个中的所述位置。
5.如权利要求1所述的电子装置，其中，所述电子装置被配置为通过学习参考来生成所述第一训练模型，所述参考用于使用被添加到全卷积网络(FCN)的坐标信息来基于学习对象在多个学习帧中的至少一个中的位置而确定重要程度。
6.如权利要求1所述的电子装置，其中，所述处理器被进一步配置为执行指令以使所述电子装置：
以像素为单位辨识所述对象在所述多个帧中的位置。
7.如权利要求4所述的电子装置，其中，所述处理器被进一步配置为执行指令以使所述电子装置：
将滤波器应用于所述多个帧，所述滤波器被配置为平坦化所述多个帧的亮度以将所述多个帧输入到所述第一训练模型。
8.如权利要求1所述的电子装置，其中，所述处理器被进一步配置为执行指令以使所述电子装置：
基于关于在所述多个帧中所述对象的位置的依序改变而确定所述对象的移动速度和移动方向，以及
基于所述对象的移动速度和移动方向而确定所述车辆的驾驶事件的类型和驾驶所述车辆的风险等级。
9.如权利要求8所述的电子装置，其中，所述处理器被进一步配置为执行指令以使所述电子装置：
基于所述车辆的驾驶事件的所确定类型和驾驶所述车辆的所确定风险等级而生成命令以控制所述车辆的驾驶。
10.如权利要求1所述的电子装置，其中，所述处理器被进一步配置为执行指令以使所述电子装置：
在所述多个帧中检测到的对象包括多个对象时，将发生所述车辆的驾驶事件的可能性确定为数值，所述驾驶事件基于所述多个对象中的每一个。
11.如权利要求1所述的电子装置，其中，所述处理器被进一步配置为执行指令以使所述电子装置：
使用循环神经网络(RNN)来基于关于学习对象在多个学习帧中的位置的依序改变而学习是否发生学习车辆的驾驶事件，以基于学习的结果获得第二训练模型，以及
使用所获得的第二训练模型来确定是否发生所述车辆的关于所述对象的驾驶事件。
12.如权利要求1所述的电子装置，其中，所述处理器被进一步配置为执行指令以使所述电子装置：
从包括虚拟模拟电路的虚拟模拟装置获得学习车辆的驾驶数据，其中所述学习车辆的驾驶数据包括以下各项中的至少一个：在驾驶所述学习车辆时捕获的驾驶图像、关于所述虚拟模拟装置的信息、关于所述学习车辆的状态的信息、关于所述学习车辆的驾驶的信息、关于其他车辆的驾驶的信息以及关于周围环境的信息。
13.如权利要求12所述的电子装置，其中，所述学习车辆的驾驶数据包括通过在虚拟驾驶环境中驾驶所述学习车辆来获得的驾驶数据，在所述虚拟驾驶环境中将包括不一致模式的驾驶环境添加到包括一致模式的驾驶环境。
14.一种方法，包括：
从车辆获得视频序列，所述视频序列包括在驾驶所述车辆时捕获的多个帧，
辨识包括于所述多个帧中的至少一个中的对象的位置，
分析关于在所述多个帧中所述对象的位置的依序改变，以及
确定是否发生所述车辆的驾驶事件。
15.一种包括非暂时性计算机可读记录介质的计算机程序产品，在其上存储有指令，所述指令在由处理器执行时引起电子装置用于：
从车辆获得视频序列，所述视频序列包括在驾驶所述车辆时捕获的多个帧；
辨识对象在所述多个帧中的至少一个中的位置；
分析关于在所述多个帧中所述对象的位置的依序改变；以及
确定是否发生所述车辆的驾驶事件。
CN201880046552.2A 2017-05-16 2018-05-15 检测车辆的驾驶事件的电子装置和方法 Pending CN110892451A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762506712P 2017-05-16 2017-05-16
US62/506,712 2017-05-16
KR10-2018-0049405 2018-04-27
KR1020180049405A KR102060662B1 (ko) 2017-05-16 2018-04-27 차량의 주행 이벤트를 검출하는 전자 장치 및 방법
PCT/KR2018/005524 WO2018212538A1 (en) 2017-05-16 2018-05-15 Electronic device and method of detecting driving event of vehicle

Publications (1)

Publication Number Publication Date
CN110892451A true CN110892451A (zh) 2020-03-17

Family

ID=64602944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880046552.2A Pending CN110892451A (zh) 2017-05-16 2018-05-15 检测车辆的驾驶事件的电子装置和方法

Country Status (3)

Country Link
EP (1) EP3602497A4 (zh)
KR (1) KR102060662B1 (zh)
CN (1) CN110892451A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3901822A1 (en) * 2020-04-24 2021-10-27 Stradvision, Inc. Method and device for on-vehicle active learning to be used for training perception network of autonomous vehicle

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102052534B1 (ko) * 2018-12-05 2019-12-06 주식회사 비욘드테크 딥 러닝 기반의 객체 인식을 이용한 불법복제 영상 판단 장치 및 그 방법
US11150664B2 (en) * 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
KR102190527B1 (ko) * 2019-02-28 2020-12-14 현대모비스 주식회사 자동 영상 합성 장치 및 방법
WO2020242179A1 (ko) * 2019-05-29 2020-12-03 (주) 애니펜 콘텐츠를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR102322815B1 (ko) 2019-09-11 2021-11-10 한국도로공사 카메라 기반의 도로이벤트 점유차로 검출 장치 및 그 방법
KR102255178B1 (ko) * 2019-11-20 2021-05-24 주식회사 엠씨넥스 프리즘 구동형 듀얼 카메라 장치
KR102334388B1 (ko) * 2019-12-16 2021-12-01 연세대학교 산학협력단 순차적 특징 데이터 이용한 행동 인식 방법 및 그를 위한 장치
KR102498615B1 (ko) * 2020-04-24 2023-02-14 군산대학교산학협력단 인공지능 기반의 나이트비전 시스템
KR102189262B1 (ko) * 2020-04-29 2020-12-11 주식회사 글로벌브릿지 엣지 컴퓨팅을 이용한 교통 정보 수집 장치 및 방법
KR102311245B1 (ko) * 2020-07-15 2021-10-08 한국로봇융합연구원 해상 환경에서 다종 카메라 영상을 기초로 심층신경망을 이용하여 목표 대상물과 항해장치 간 헤딩각도 차이와 상대거리를 추정하여 복수의 스러스터를 제어하기 위한 방법
KR102244380B1 (ko) 2020-07-29 2021-04-26 고려대학교 산학협력단 자율 주행 환경에서 큐잉 기반 모델 선택과 광학 흐름을 이용한 사물 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
KR102454281B1 (ko) * 2020-11-10 2022-10-14 연세대학교 산학협력단 다중 객체의 박스-레벨 위치 정보만을 이용한 박스-레벨 다중 객체 동선 예측 장치
KR102585258B1 (ko) * 2020-12-07 2023-10-05 부경대학교 산학협력단 실시간 다중 객체 검출 장치 및 방법
KR102286272B1 (ko) * 2021-02-02 2021-08-06 주식회사 파트리지시스템즈 이벤트 검출 장치 및 그 방법
KR102408481B1 (ko) * 2022-01-11 2022-06-13 주식회사 다리소프트 도로 상의 위험물 정보를 수집하기 위한 정보 수집 단말 장치 및 그 동작 방법
KR102594804B1 (ko) * 2022-09-27 2023-10-30 (주)에이아이매틱스 메모리 연동 가능한 계층적 구조 기반의 이벤트 검출 방법 및 장치
KR102634365B1 (ko) * 2022-10-21 2024-02-06 주식회사세오 안전 목적의 분산 처리 기반의 돌발 상황 인식 방법 및 장치

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1097700A (ja) * 1996-09-20 1998-04-14 Oki Electric Ind Co Ltd 情報提供装置
US20020183929A1 (en) * 2001-03-30 2002-12-05 Honda Giken Kogyo Kabushiki Kaisha Vehicle environment monitoring system
US20050083211A1 (en) * 2003-10-15 2005-04-21 Michael Shafir Road safety warning system and method
US20070073463A1 (en) * 2005-03-23 2007-03-29 Rini Sherony Crash prediction network with graded warning for vehicle
WO2012145819A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Image processing method for detecting objects using relative motion
US20130293395A1 (en) * 2010-11-30 2013-11-07 Toyota Jidosha Kabushiki Kaisha Mobile object target state determination device and program
CN103996178A (zh) * 2014-05-30 2014-08-20 天津大学 一种沙尘天气彩色图像增强方法
US20160101779A1 (en) * 2013-05-31 2016-04-14 Toyota Jidosha Kabushiki Kaisha Movement trajectory predicting device and movement trajectory predicting method
CN105976400A (zh) * 2016-05-10 2016-09-28 北京旷视科技有限公司 基于神经网络模型的目标跟踪方法及装置
US20160358477A1 (en) * 2015-06-05 2016-12-08 Arafat M.A. ANSARI Smart vehicle
CN106250863A (zh) * 2016-08-09 2016-12-21 北京旷视科技有限公司 对象追踪方法和装置
CN106326837A (zh) * 2016-08-09 2017-01-11 北京旷视科技有限公司 对象追踪方法和装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1097700A (ja) * 1996-09-20 1998-04-14 Oki Electric Ind Co Ltd 情報提供装置
US20020183929A1 (en) * 2001-03-30 2002-12-05 Honda Giken Kogyo Kabushiki Kaisha Vehicle environment monitoring system
US20050083211A1 (en) * 2003-10-15 2005-04-21 Michael Shafir Road safety warning system and method
US20070073463A1 (en) * 2005-03-23 2007-03-29 Rini Sherony Crash prediction network with graded warning for vehicle
US20130293395A1 (en) * 2010-11-30 2013-11-07 Toyota Jidosha Kabushiki Kaisha Mobile object target state determination device and program
WO2012145819A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Image processing method for detecting objects using relative motion
US20160101779A1 (en) * 2013-05-31 2016-04-14 Toyota Jidosha Kabushiki Kaisha Movement trajectory predicting device and movement trajectory predicting method
CN103996178A (zh) * 2014-05-30 2014-08-20 天津大学 一种沙尘天气彩色图像增强方法
US20160358477A1 (en) * 2015-06-05 2016-12-08 Arafat M.A. ANSARI Smart vehicle
CN105976400A (zh) * 2016-05-10 2016-09-28 北京旷视科技有限公司 基于神经网络模型的目标跟踪方法及装置
CN106250863A (zh) * 2016-08-09 2016-12-21 北京旷视科技有限公司 对象追踪方法和装置
CN106326837A (zh) * 2016-08-09 2017-01-11 北京旷视科技有限公司 对象追踪方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BICHEN WU等: "SqueezeDet: Unified, Small, Low Power Fully Convolutional Neural Networks for Real-Time Object Detection for Autonomous Driving", pages 1 - 12 *
WEIMING HU等: "Traffic Accident Prediction Using 3-D Model-Based Vehicle Tracking", IEEE TRANSACTIONS ON VEHICULAR TECHNOLOGY, vol. 53, no. 03, pages 677 - 694, XP011113311, DOI: 10.1109/TVT.2004.825772 *
YONGYONG-HO JOO等: "Classifications of Driving Patterns Using a Supervised Learning", pages 1 - 6 *
ZDENEK KALAL等: "Tracking-Learning-Detection", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 34, no. 07, pages 1409 - 1422, XP011444701, DOI: 10.1109/TPAMI.2011.239 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3901822A1 (en) * 2020-04-24 2021-10-27 Stradvision, Inc. Method and device for on-vehicle active learning to be used for training perception network of autonomous vehicle
KR20210152025A (ko) * 2020-04-24 2021-12-14 주식회사 스트라드비젼 자율주행 자동차의 퍼셉션 네트워크를 학습시키기 위한 온-비히클 액티브 러닝 방법 및 장치
KR102589764B1 (ko) 2020-04-24 2023-10-17 주식회사 스트라드비젼 자율주행 자동차의 퍼셉션 네트워크를 학습시키기 위한 온-비히클 액티브 러닝 방법 및 장치

Also Published As

Publication number Publication date
KR102060662B1 (ko) 2019-12-30
KR20180125885A (ko) 2018-11-26
EP3602497A1 (en) 2020-02-05
EP3602497A4 (en) 2020-05-13

Similar Documents

Publication Publication Date Title
US10803323B2 (en) Electronic device and method of detecting driving event of vehicle
KR102060662B1 (ko) 차량의 주행 이벤트를 검출하는 전자 장치 및 방법
US20200369271A1 (en) Electronic apparatus for determining a dangerous situation of a vehicle and method of operating the same
US11055544B2 (en) Electronic device and control method thereof
US10769453B2 (en) Electronic device and method of controlling operation of vehicle
US11047698B2 (en) Autonomous driving apparatus and method thereof
US11176387B2 (en) Device and method for recognizing object included in input image
KR102298541B1 (ko) 이미지 데이터에서 사용자를 인식하는 인공 지능 장치 및 그 방법
US11436744B2 (en) Method for estimating lane information, and electronic device
US11688195B2 (en) Electronic device and method for assisting with driving of vehicle
EP3706442A1 (en) Method and apparatus for sound object following
US20210390673A1 (en) Image-capturing device and method for controlling same
US20200066158A1 (en) Electronic device, warning message providing method therefor, and non-transitory computer-readable recording medium
US20180239975A1 (en) Method and system for monitoring driving behaviors
CN110998601A (zh) 用于识别对象的方法和装置
US20200012873A1 (en) Driving guide method and apparatus for vehicle
KR102360181B1 (ko) 차량의 동작을 제어하는 전자 장치 및 방법
US11592825B2 (en) Electronic device and operation method therefor
US20210319311A1 (en) Artificial intelligence apparatus using a plurality of output layers and method for same
US20190371002A1 (en) Artificial intelligence device capable of being controlled according to user's gaze and method of operating the same
KR20190078222A (ko) 패션 상품을 추천하는 전자 장치, 서버 및 그 동작 방법
US11445265B2 (en) Artificial intelligence device
US20190371268A1 (en) Electronic device and control method thereof
KR20200084395A (ko) 영상에서 오브젝트를 인식하는 전자 장치 및 그 동작 방법
US11205248B2 (en) Mobile terminal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination