CN112965502B - 视觉跟踪确认方法、装置、设备及存储介质 - Google Patents

视觉跟踪确认方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112965502B
CN112965502B CN202110487434.9A CN202110487434A CN112965502B CN 112965502 B CN112965502 B CN 112965502B CN 202110487434 A CN202110487434 A CN 202110487434A CN 112965502 B CN112965502 B CN 112965502B
Authority
CN
China
Prior art keywords
target
monitoring
driving
remote
eyeball
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110487434.9A
Other languages
English (en)
Other versions
CN112965502A (zh
Inventor
熊禹
周君武
梁国全
罗文�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongfeng Liuzhou Motor Co Ltd
Original Assignee
Dongfeng Liuzhou Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongfeng Liuzhou Motor Co Ltd filed Critical Dongfeng Liuzhou Motor Co Ltd
Publication of CN112965502A publication Critical patent/CN112965502A/zh
Application granted granted Critical
Publication of CN112965502B publication Critical patent/CN112965502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明属于无人驾驶技术领域，公开了一种视觉跟踪确认方法、装置、设备及存储介质。该方法包括远程控制平台在远程监控APP模式下，判断是否满足视觉跟踪安全监控的要求，远程监控APP模式为无人驾驶汽车根据车辆驾驶监测数据判定当前所要执行的是第二驾驶动作时，接收远程控制平台发送的驾驶操作指令进入远程监控APP模式；若不满足，远程控制平台发送停车指令至无人驾驶汽车，以使无人驾驶汽车根据停车指令执行停车操作。通过上述方式，根据视觉跟踪安全监控确保远程人员对车辆状态进行了监控，在未监控时，控制无人驾驶车辆停车。避免了车辆处于远程驾驶模式但远程人员未监控自动驾驶车辆运行状态，提升了汽车行驶安全。

Description

视觉跟踪确认方法、装置、设备及存储介质
本发明要求于2020年05月15日提交中国专利局、申请号为202010416571.9、发明名称为“无人驾驶汽车的控制方法、汽车和存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本发明中。
技术领域
本发明涉及无人驾驶技术领域，尤其涉及一种视觉跟踪确认方法、装置、设备及存储介质。
背景技术
目前，自动驾驶车辆在请求远程控制时，远程人员在非实车的环境中，根据实车反馈的路况和车辆的行驶状态进行远程控制，从而提升无人驾驶汽车驾驶的控制安全性，现有的远程监控系统运行在手机APP上时，面临着严峻的安全问题，可能存在车辆处于远程驾驶模式但远程人员未监控自动驾驶车辆运行状态的情况，极易影响汽车行驶安全甚至危及公共安全。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种视觉跟踪确认方法、装置、设备及存储介质，旨在解决如何避免车辆处于远程驾驶模式但远程人员未监控自动驾驶车辆运行状态，以提升汽车行驶安全的技术问题。
为实现上述目的，本发明提供了一种视觉跟踪确认方法，所述方法包括以下步骤：
远程控制平台在远程监控APP模式下，判断是否满足视觉跟踪安全监控的要求，所述远程监控APP模式为无人驾驶汽车获取车辆驾驶监测数据，根据车辆驾驶监测数据判断当前所要执行的驾驶动作；若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作；若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作，以通过远程驾驶控制操作进入远程监控APP模式；
若不满足，所述远程控制平台运用5G发送停车指令至无人驾驶汽车，以使无人驾驶汽车根据所述停车指令，执行无人驾驶汽车的停车操作。
可选地，所述远程控制平台在远程监控APP模式下，判断是否满足视觉跟踪安全监控的要求，包括：
远程控制平台在远程监控APP模式下，确定当前监控区域中的目标眼球；
基于视频数据对所述目标眼球进行跟踪，根据跟踪结果确定当前监控区域中的目标视觉信息；
对当前屏幕范围内的触碰物体进行检测，根据检测结果确定当前屏幕范围内的目标触碰信息；
根据所述目标视觉信息以及所述目标触碰信息判断是否满足视觉跟踪安全监控的要求。
可选地，所述基于视频数据对所述目标眼球进行跟踪，包括：
基于视频数据确定第一帧视频数据以及第二帧视频数据；
根据第一帧视频数据提取所述目标眼球的第一位置信息；
根据第二帧视频数据提取所述目标眼球的第二位置信息；
根据所述第一位置信息以及第二位置信息预测所述目标眼球的移动范围；
根据所述移动范围划分所述视频数据对应的目标区域，对所述目标区域进行眼球搜索，以实现对所述目标眼球进行跟踪。
可选地，所述根据跟踪结果确定当前监控区域中的目标视觉信息，包括：
根据跟踪结果确定目标眼球的注视方向、未跟踪到眼球的时间以及眼球与屏幕之间的距离；
根据所述目标眼球的注视方向以及所述眼球与屏幕之间的距离确定目标眼球的注视区域；
确定所述注视区域与当前屏幕之间的重合区域；
将所述重合区域、所述未跟踪到眼球的时间以及所述眼球与屏幕之间的距离作为当前监控区域中的目标视觉信息。
可选地，所述对当前屏幕范围内的触碰物体进行检测，根据检测结果确定当前屏幕范围内的目标触碰信息，包括：
对当前屏幕范围内的触碰物体进行检测，以得到触碰物体的持续触碰时间以及未触碰时间；
根据所述持续触碰时间以及所述未触碰时间确定当前屏幕范围内的目标触碰信息。
可选地，所述根据所述目标视觉信息以及所述目标触碰信息判断是否满足视觉跟踪安全监控的要求，包括：
根据所述重合区域、所述未跟踪到眼球的时间以及所述眼球与屏幕之间的距离确定当前监控区域中是否存在持续注视的眼球；
根据所述持续触碰时间以及所述未触碰时间确定当前屏幕上是否存在持续触碰的物体，以判断是否满足视觉跟踪安全监控的要求。
可选地，所述根据所述重合区域、所述未跟踪到眼球的时间以及所述眼球与屏幕之间的距离确定当前监控区域中是否存在持续注视的眼球，包括：
在所述重合区域与所述注视区域之间的比例大于预设比例、所述未跟踪到眼球的时间小于预设眨眼时间以及所述眼球与屏幕之间的距离小于预设距离时，确定当前监控区域中存在持续注视的眼球；
所述根据所述持续触碰时间以及所述未触碰时间确定当前屏幕上是否存在持续触碰的物体，以判断是否满足视觉跟踪安全监控的要求，包括：
在所述持续触碰时间对应的占比大于预设触碰占比以及所述未触碰时间小于预设时间时，确定当前屏幕上存在持续触碰的物体；
在所述当前监控区域中存在持续注视的眼球且当前屏幕上存在持续触碰的物体时，判定满足视觉跟踪安全监控的要求。
此外，为实现上述目的，本发明还提出一种视觉跟踪确认装置，所述视觉跟踪确认装置包括：
判断模块，用于在远程监控APP模式下，判断是否满足视觉跟踪安全监控的要求，所述远程监控APP模式为无人驾驶汽车获取车辆驾驶监测数据，根据车辆驾驶监测数据判断当前所要执行的驾驶动作；若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作；若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作，以通过远程驾驶控制操作进入远程监控APP模式；
指令发送模块，用于若不满足，运用5G发送停车指令至无人驾驶汽车，以使无人驾驶汽车根据所述停车指令，执行无人驾驶汽车的停车操作。
此外，为实现上述目的，本发明还提出一种视觉跟踪确认设备，所述视觉跟踪确认设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视觉跟踪确认程序，所述视觉跟踪确认程序配置为实现如上文所述的视觉跟踪确认方法。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有视觉跟踪确认程序，所述视觉跟踪确认程序被处理器执行时实现如上文所述的视觉跟踪确认方法。
本发明通过远程控制平台在远程监控APP模式下，判断是否满足视觉跟踪安全监控的要求，远程监控APP模式为无人驾驶汽车获取车辆驾驶监测数据，根据车辆驾驶监测数据判断当前所要执行的驾驶动作；若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据驾驶操作指令执行无人驾驶汽车的自动驾驶操作；若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作，以通过远程驾驶控制操作进入远程监控APP模式；若不满足，远程控制平台运用5G发送停车指令至无人驾驶汽车，以使无人驾驶汽车根据停车指令，执行无人驾驶汽车的停车操作。通过上述方式，根据视觉跟踪安全监控确保远程人员在远程监控APP模式下对车辆状态进行了监控，在检测到不满足视觉跟踪安全监控的要求时，判定为远程人员未监控，发送停车指令控制无人驾驶车辆停车。避免发生车辆处于远程驾驶模式但远程人员未监控自动驾驶车辆运行状态的情况，提升了汽车行驶安全，避免无人驾驶车辆失去控制危及公共安全。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的视觉跟踪确认设备的结构示意图；
图2为本发明视觉跟踪确认方法第一实施例的流程示意图；
图3为本发明视觉跟踪确认方法第二实施例的流程示意图；
图4为本发明视觉跟踪确认装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的视觉跟踪确认设备结构示意图。
如图1所示，该视觉跟踪确认设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对视觉跟踪确认设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及视觉跟踪确认程序。
在图1所示的视觉跟踪确认设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明视觉跟踪确认设备中的处理器1001、存储器1005可以设置在视觉跟踪确认设备中，所述视觉跟踪确认设备通过处理器1001调用存储器1005中存储的视觉跟踪确认程序，并执行本发明实施例提供的视觉跟踪确认方法。
本发明实施例提供了一种视觉跟踪确认方法，参照图2，图2为本发明视觉跟踪确认方法第一实施例的流程示意图。
本实施例中，所述视觉跟踪确认方法包括以下步骤：
步骤S10：远程控制平台在远程监控APP模式下，判断是否满足视觉跟踪安全监控的要求，所述远程监控APP模式为无人驾驶汽车获取车辆驾驶监测数据，根据车辆驾驶监测数据判断当前所要执行的驾驶动作；若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作；若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作，以通过远程驾驶控制操作进入远程监控APP模式。
需要说明的是，本实施例的执行主体是视觉跟踪确认设备，其中，视觉跟踪确认设备可为安装有远程控制平台的计算机、手机等设备，还可为其他可实现相同或相似功能的设备，本实施例对此不加以限制。本实施例以安装有远程控制平台的手机为例进行说明。
可以理解的是，远程监控APP模式为手机APP模式，在具体实现中，开发远程控制平台时，开发有在计算机、服务器等设备上安装的客户端，也开发有在手机上运行的远程监控APP，通过当前在线的与无人驾驶汽车连接的远程监控平台对应的标识信息确定当前的远程控制模式，远程控制平台有两种模式，第一模式可以指远程监控平台客户端模式；第二模式可以指远程监控APP模式(手机APP模式)，在远程监控APP模式下，根据自身开发的眼球追踪系统对视觉信息进行检测，并且对当前界面上的触碰信息进行检测，从而确定是否有远程人员处于监控状态。
在具体实现中，对视觉信息进行检测的过程可以是：通过视频数据确定存在的目标眼球，通过多帧对眼球的位置进行预测，对预测的区域进行重点关注，从而实现对眼球进行跟踪，通过跟踪过程中获取到的相关信息确定是否存在持续注视的眼球；对触碰信息进行检测的过程可以是：通过屏幕感应确定物体触碰相关信息，根据物体触碰相关信息确定是否存在持续触碰的物体。在存在持续注视的眼球且存在持续触碰的物体时，判定满足视觉跟踪安全监控的要求；在不存在持续注视的眼球或不存在持续触碰的物体时，判定不满足视觉跟踪安全监控的要求。
需要说明的是，该远程监控平台客户端模式为无人驾驶汽车获取车辆驾驶监测数据，根据车辆驾驶监测数据判断当前所要执行的驾驶动作；若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作；若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作，以通过远程驾驶控制操作进入远程监控平台客户端模式；其中，在无人驾驶汽车的自动驾驶功能启动时，获取无人驾驶汽车的车辆驾驶监测数据，根据车辆驾驶监测数据判断当前所要执行的驾驶动作。车辆驾驶监测数据可以包括：通信条件、路况信息、驾驶车速等；所述通信条件包括5G通信、GPS或者北斗卫星信号等；所述路况信息包括车道线、交通标志、交通参与物及障碍物等信息；所述驾驶车速是指车辆设定的驾驶速度，如车辆自动驾驶时的时速不高于10km/h；转弯时时速不高于5km/h。
应当靠理解的是，在启动无人驾驶功能后，通过车载感知系统获取无人驾驶汽车当前驾驶的环境状态，并将所述获取的数据通过车载以太网等通信方式发送至车载定位规划决策控制系统，其中，车载单元之间的通信方式除车载以太网外，还可以采用LVDS、USB、CAN总线、WIFI、5G等通信方式；通过车载定位规划决策控制系统中的决策单元根据接收到的视觉目标信号、雷达信号、定位信号、路线规划、远程监视及控制系统的控制命令等，进行自动驾驶的决策逻辑判断，判断出当前无人驾驶汽车所要执行的驾驶动作，例如：根据接收到的信息判断出当前所要执行的动作是前行、左转、右转、换道或者停车等。
具体地，车载感知系统可以由视觉感知处理系统及超声波雷达处理系统组成。视觉感知处理系统由N个高清鱼眼广角摄像头组成的全景环视系统、M个高清前视摄像头及视觉处理控制器组成。全景环视系统及高清前视摄像头拍摄的高清视频图像传输给视觉处理控制器，由视觉处理器将所有图像进行处理，形成行驶车辆的前方(Q度视角范围)、前向S范围、侧向W范围、后向L范围内的清晰视图，并通过5G传输给远端后台。视觉处理器对视频图像进行数据处理，将目标级信息输出给车载定位及规划决策控制系统，其中，视觉处理器具备车道线识别、交通标志识别、交通参与物及障碍物识别等功能。超声波雷达处理系统由12个超声波雷达及雷达控制器组成，采集行驶车辆的障碍物距离信息，处理后将目标物的距离位置信息输出给车载定位规划决策控制系统。
若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作。在本实施例中，所述第一驾驶动作是指精确驾驶动作，如方向盘、油门和刹车等动作。当通过决策单元判断出当前所要执行的是精确驾驶动作，则自动接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作。例如，当前所要执行的是刹车动作，接收车载定位规划决策控制系统自动发送的刹车驾驶操作指令，无人驾驶汽车根据所述刹车驾驶操作指令执行刹车操作。其中，所述车载定位规划决策控制系统主要由定位模块、规划决策模块组成；所述定位模块接收高清地图定位信号，作为主定位信息，并接5G基站的定位信号、视觉处理系统的周边环境信号，进行综合辅助定位校正。
进一步地，若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作还包括：根据所述第一驾驶操作生成对应的控制命令；响应控制命令，执行无人驾驶汽车的自动驾驶操作。在本实施例中，通过决策单元判断出当前所要执行的是精确驾驶动作，根据所述精确驾驶动作生成对应的控制指令；通过车载执行系统响应该控制命令，执行无人驾驶汽车的自动驾驶操作。具体地，执行系统接收到车载定位规划决策控制系统所发出的目标车速、目标驱动扭矩、目标制动扭矩、目标档位、目标转向角及转向角速度等控制命令，实时响应其控制命令，并回传相关的控制结果。例如：当前所要执行的是降速操作，由车载定位规划决策控制系统发出将车速降至9km/h的控制命令，以使无人驾驶汽车调整当前的车速为9km/h。其中，所述执行系统由车辆的动力输出及传动控制系统、制动控制系统、转向控制系统等组成。
若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作。在本实施例中，所述第二驾驶动作是指非精确驾驶动作，如开、停等动作，其中，所述开、停等动作除了可以由无人驾驶汽车端根据所述驾驶监测数据确定外；还可以通过远程控制平台的远程控制平台客户端或者手机APP等监测当前无人驾驶汽车是否出现危险情况，当出现危险情况时，则生成对应的非精确驾驶动作，例如：当远程控制平台的用户通过手机APP监测到当前无人驾驶汽车的正前方突然出现换道车辆，则需要执行紧急停车操作；又或者是在通过十字路口时，左侧出现闯红灯的车辆，则需要执行紧急停车操作。
由于所述非精确驾驶动作完全由无人驾驶汽车端执行会存在一定的操作难度，且安全性不高；其次，需要在无人驾驶汽车端设置一些高规格和精度的传感器等，使得增加了无人驾驶汽车的成本。因此，当要执行停车等非精确驾驶动作时，则自动接收远程控制平台通过5G发送的驾驶停车操作指令，通过远程控制平台的驾驶人员自身的视觉观测，节约激光雷达等高规格、高精度传感器的使用，避免了完全采用自动驾驶而导致汽车成本过高；无人驾驶汽车根据所述停车操作指令，执行停车操作。其中，远程控制平台对车辆的停止命令具有最高优先级。
进一步地，若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作还包括：接收远程控制平台运用5G发送的第二驾驶动作的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作；发送第二驾驶动作的执行结果反馈信息至远程控制平台，以使远程控制平台根据所述执行结果反馈信息确定无人驾驶汽车是否完成所述驾驶操作指令。在本实施例中，所述远程控制平台主要由车载5G通信模块、5G基站、5G核心网及区域网、远程监控与云计算平台、手机及APP等组成。当远程控制平台监测到当前无人驾驶汽车需要执行非精确驾驶动作时，如停车操作，则由远程控制平台的驾驶人员运用5G发送停车驾驶操作指令至无人驾驶汽车端；无人驾驶汽车根据所述停车操作指令执行停车操作，并将执行结果的反馈信息发送至远程控制平台；远程控制平台的驾驶人员根据所述执行结果的反馈信息判断当前无人驾驶汽车是否完成了停车驾驶操作指令，若没有完成，则重新发送停车指令至无人驾驶汽车端。
步骤S20：若不满足，所述远程控制平台运用5G发送停车指令至无人驾驶汽车，以使无人驾驶汽车根据所述停车指令，执行无人驾驶汽车的停车操作。
需要说明的是，远程控制平台运用5G发送的停车指令至无人驾驶汽车，该停车指令是远程控制平台在第一模式或第二模式任一种模式下，判断无人驾驶汽车不满足安全行驶环境或安全行驶状态，或者远程控制平台不满足安全监控的要求时发送的。其中，第一模式可以指远程监控平台客户端模式；第二模式可以指手机APP模式。具体地，本实施例以远程控制平台在远程监控APP模式(手机APP模式)下，判断是否满足视觉跟踪安全监控的要求，若不满足，远程控制平台运用5G发送停车指令至无人驾驶汽车，以使无人驾驶汽车根据所述停车指令，执行无人驾驶汽车的停车操作进行说明。
易于理解的是，远端人员可以分别通过远程监控平台客户端或者手机APP中的视频监控模块对车辆的行驶环境和行驶状态进行视觉监控。可以在远程监控客户端上进行远程遥控驾驶，也可以在手机APP上通过手机屏幕进行远程控制发送放行，停车指令。通过手机APP远程遥控监视时，需在手机APP上需开发眼球追踪系统，在使用手机APP远程监控车辆运行状态时，必须全程眼睛监视手机屏幕的无人驾驶汽车的驾驶状态，并且手指必须持续接触手机屏幕，视线离开或者手指离开屏幕，任一条件满足，则APP发送远程停车命令至无人驾驶汽车；通过远程监控客户端进行远程遥控驾驶时，也需在远程监控平台开发视线追踪系统，以及远程停车或行驶按钮，远程停车按键按下时允许车辆自动驾驶，按键松开时车辆立即停止。其中，在远程监视及控制系统中，手机APP模式优先，手机APP模式不工作时，切换至远程监控客户端模式；两者必须有一种模式工作，否则自动驾驶汽车处于停止状态。其次，在远程控制平台不满足安全监控的要求时会自动发送停车指令至无人驾驶汽车端，以使无人驾驶汽车根据所述停车指令执行停车操作。
本实施例通过远程控制平台在远程监控APP模式下，判断是否满足视觉跟踪安全监控的要求，远程监控APP模式为无人驾驶汽车获取车辆驾驶监测数据，根据车辆驾驶监测数据判断当前所要执行的驾驶动作；若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据驾驶操作指令执行无人驾驶汽车的自动驾驶操作；若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作，以通过远程驾驶控制操作进入远程监控APP模式；若不满足，远程控制平台运用5G发送停车指令至无人驾驶汽车，以使无人驾驶汽车根据停车指令，执行无人驾驶汽车的停车操作。通过上述方式，根据视觉跟踪安全监控确保远程人员在远程监控APP模式下对车辆状态进行了监控，在检测到不满足视觉跟踪安全监控的要求时，判定为远程人员未监控，发送停车指令控制无人驾驶车辆停车。避免发生车辆处于远程驾驶模式但远程人员未监控自动驾驶车辆运行状态的情况，提升了汽车行驶安全，避免无人驾驶车辆失去控制危及公共安全。
参考图3，图3为本发明视觉跟踪确认方法第二实施例的流程示意图。
基于上述第一实施例，本实施例视觉跟踪确认方法的所述远程控制平台在远程监控APP模式下，判断是否满足视觉跟踪安全监控的要求，包括：
步骤S101：远程控制平台在远程监控APP模式下，确定当前监控区域中的目标眼球，所述远程监控APP模式为无人驾驶汽车获取车辆驾驶监测数据，根据车辆驾驶监测数据判断当前所要执行的驾驶动作；若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作；若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作，以通过远程驾驶控制操作进入远程监控APP模式。
可以理解的是，在远程人员通过安装有远程监控APP的手机注视屏幕时，手机上开发的眼球追踪系统根据手机摄像头采集的视频数据对眼球进行跟踪，目标眼球可以是屏幕中唯一的眼球，也可以为多个眼球，例如，人的双眼。当前监测区域可以为手机摄像头所能拍摄到的区域，也可以为按照预设划分策略在手机摄像头采集的视频图像上划分的区域，例如，在远程人员眼球处于视频图像左下角或者右下角时，远程人员无法注视到无人驾驶汽车的驾驶状况，因此，预先将即使眼球存在也无法对视频数据进行监控的区域从眼球跟踪参考图像中去除，从而确定当前监控区域。确定当前监控区域中的目标眼球的过程可以是，确定视频数据对应的第一帧数据，检测其中存在的眼球作为目标眼球，或者按照时间对多帧视频数据进行检测，确定第一个出现的眼球，将其锁定为目标眼球，或者将每帧数据中存在的眼球都作为目标眼球。
步骤S102：基于视频数据对所述目标眼球进行跟踪，根据跟踪结果确定当前监控区域中的目标视觉信息。
可以理解的是，依据视频数据确定各帧数据，通过各帧数据对眼球进行检测分析，通过前两帧数据判断下一帧眼球所在的候选区域，在下一帧图像时，通过确认是否在候选区域对前面的算法进行验证，并且基于这一帧图像中眼球的位置，提取出眼球所处的候选区域，从而根据相对位置的变化，预测出眼球在多帧中的移动变化位置，以实现对目标眼球的跟踪。
需要说明的是，在眼球跟踪的过程中，根据跟踪结果确定目标视觉信息，可以包括根据跟踪得到的相关信息确定是否存在持续注视的眼球。
具体地，所述基于视频数据对所述目标眼球进行跟踪，包括：基于视频数据确定第一帧视频数据以及第二帧视频数据；根据第一帧视频数据提取所述目标眼球的第一位置信息；根据第二帧视频数据提取所述目标眼球的第二位置信息；根据所述第一位置信息以及第二位置信息预测所述目标眼球的移动范围；根据所述移动范围划分所述视频数据对应的目标区域，对所述目标区域进行眼球搜索，以实现对所述目标眼球进行跟踪。
可以理解的是，通过对目标眼球的移动范围进行预测，从而减小下一帧眼球的搜索范围，提升眼球的跟踪效率。第一位置信息以及第二位置信息可以为第一帧视频数据以及第二帧视频数据中的瞳孔中心坐标。
需要说明的是，在通过两帧数据进行移动位置预测后，处理器在对第三帧进行检测时，只需检测目标区域，基于第三帧的数据对预测算法进行验证，并且通过在目标区域搜索的目标眼球数据对下一帧数据中目标眼球可能存在的区域进行预测，从而实现对多帧视频数据中目标眼球的跟踪，并且通过位置预测减小了搜索范围，提升了跟踪效率。
具体地，所述根据跟踪结果确定当前监控区域中的目标视觉信息，包括：根据跟踪结果确定目标眼球的注视方向、未跟踪到眼球的时间以及眼球与屏幕之间的距离；根据所述目标眼球的注视方向以及所述眼球与屏幕之间的距离确定目标眼球的注视区域；确定所述注视区域与当前屏幕之间的重合区域；将所述重合区域、所述未跟踪到眼球的时间以及所述眼球与屏幕之间的距离作为当前监控区域中的目标视觉信息。
需要说明的是，根据对视频数据中的目标眼球图像进行检测，基于角膜反射向量法，利用瞳孔中心坐标构建视觉向量坐标，延长即得到目标眼球的注视方向；未跟踪到眼球的时间为持续未检测到目标眼球对应的时间，可以依据视频数据中未检测到眼球的帧数确定，在具体实现中，在上一帧数据中检测到目标眼球，本帧没有检测到目标眼球，此时，触发未跟踪到眼球的时间记录程序，记录开始未检测到目标眼球的时间，以及持续未检测到目标眼球的时间，在未跟踪到眼球的时间没有达到预设眨眼时间的情况下，若再次检测到目标眼球，则对记录的未跟踪到眼球的时间进行清空，直到下一次未检测到目标眼球；眼球与屏幕之间的距离通过将眼球大小与预设标准眼球大小进行对比，根据预设标准眼球大小对应的距离确定当前帧数眼球与屏幕之间的距离。
可以理解的是，在确定了目标眼球的注视方向以及眼球与屏幕之间的距离后，对眼球注视屏幕的动作进行模拟，从而确定目标眼球的注视区域，注视区域可以由视觉向量坐标指向的注视点，依据所述注视点扩散得到的注视区域，扩散大小依据眼球与屏幕之间的距离确定，眼球与屏幕之间的距离越大，注视区域越大，眼球与屏幕之间的距离越小，注视区域越小，在具体实现中，基于预设映射表查找当前距离对应的区域半径，根据注视点和区域半径确定注视区域。
步骤S103：对当前屏幕范围内的触碰物体进行检测，根据检测结果确定当前屏幕范围内的目标触碰信息。
需要说明的是，触碰物体可以是手指，也可以是触控笔，还可以为其他可通过屏幕发送指令的物体。
具体地，所述步骤S103，包括：对当前屏幕范围内的触碰物体进行检测，以得到触碰物体的持续触碰时间以及未触碰时间；根据所述持续触碰时间以及所述未触碰时间确定当前屏幕范围内的目标触碰信息。
应当理解的是，持续触碰时间是指触碰物体连续触碰屏幕对应的时间，未触碰时间是指屏幕上持续未检测触碰物体对应的时间，在某时刻没有检测到有触碰物体，触发未触碰时间记录程序，记录开始未检测到触碰物体的时间。在未触碰时间没有达到预设时间的情况下，若再次检测到屏幕上存在触碰物体，则对记录的未触碰时间进行清空，直到下一次未检测到触碰物体。
在具体实现中，为了对远程监控人员是否处于监控进行更准确的检测，在进行当前屏幕范围内的触碰物体检测时，如果没有检测到触碰物体，通过传感器或者摄像头检测当前屏幕上方是否存在悬浮的触碰物体，如果不存在悬浮的触碰物体，触发未触碰时间记录程序，记录开始未检测到触碰物体的时间。如果存在悬浮的触碰物体，触发悬浮时间记录程序，记录触碰物体悬浮时间，在触碰物体悬浮时间超过预设悬浮时间时，判定当前没有检测到有触碰物体，触发未触碰时间记录程序，记录开始未检测到触碰物体的时间。
步骤S104：根据所述目标视觉信息以及所述目标触碰信息判断是否满足视觉跟踪安全监控的要求。
需要说明的是，根据目标视觉信息确定当前监控区域中是否存在持续注视的眼球，根据目标触碰信息确定当前屏幕上是否存在持续触碰的物体，在当前监控区域中不存在持续注视的眼球或者当前屏幕上不存在持续触碰的物体时，判定不满足视觉跟踪安全监控的要求。
具体地，所述步骤S104，包括：根据所述重合区域、所述未跟踪到眼球的时间以及所述眼球与屏幕之间的距离确定当前监控区域中是否存在持续注视的眼球；根据所述持续触碰时间以及所述未触碰时间确定当前屏幕上是否存在持续触碰的物体，以判断是否满足视觉跟踪安全监控的要求。
具体地，所述根据所述重合区域、所述未跟踪到眼球的时间以及所述眼球与屏幕之间的距离确定当前监控区域中是否存在持续注视的眼球，包括：在所述重合区域与所述注视区域之间的比例大于预设比例、所述未跟踪到眼球的时间小于预设眨眼时间以及所述眼球与屏幕之间的距离小于预设距离时，确定当前监控区域中存在持续注视的眼球；
所述根据所述持续触碰时间以及所述未触碰时间确定当前屏幕上是否存在持续触碰的物体，以判断是否满足视觉跟踪安全监控的要求，包括：在所述持续触碰时间对应的占比大于预设触碰占比以及所述未触碰时间小于预设时间时，确定当前屏幕上存在持续触碰的物体；在所述当前监控区域中存在持续注视的眼球且当前屏幕上存在持续触碰的物体时，判定满足视觉跟踪安全监控的要求。
可以理解的是，为了避免误监测，并且提升监测精度，本实施例通过设置预设比例、预设眨眼时间以及预设距离，对监测持续注视的眼球提供冗余方案，在远程人员注视时出现眨眼情况，本实施例对这种情况进行监测，在未跟踪到眼球的时间小于预设眨眼时间时，仍然判定为符合要求；对远程人员虽然在屏幕前，但是注视其他物体的情况进行监测，在重合区域与注视区域之间的比例小于预设比例时，监测到远程人员注视别的位置，判定不符合要求；对屏幕前的人员距离过远无法及时对无人驾驶汽车驾驶状态进行监测且发送相关指令的情况进行监测，在眼球与屏幕之间的距离大于预设距离时，判定不符合要求。预设比例、预设眨眼时间以及预设距离根据实际情况确定，例如，预设比例为60％，预设眨眼时间为0.5秒，预设距离为5米，在当前检测到的重合区域与注视区域之间的比例大于60％、未跟踪到眼球的时间小于0.5秒并且眼球与屏幕之间的距离小于5米时，确定当前监控区域中存在持续注视的眼球，如果检测到重合区域与注视区域之间的比例小于60％或者未跟踪到眼球的时间大于0.5秒或者眼球与屏幕之间的距离小于5，则确定当前监控区域中不存在持续注视的眼球。
需要说明的是，持续触碰时间对应的占比为持续触碰时间占远程监控APP模式开启总时间的比例，预设触碰占比以及预设时间根据实际情况确定，例如，预设触碰占比为95％，预设时间为5秒，在当前检测到的持续触碰时间对应的占比大于95％以及未触碰时间小于5秒时，确定当前屏幕上存在持续触碰的物体，在当前检测到的持续触碰时间对应的占比小于95％以及未触碰时间大于5秒时，确定当前屏幕上不存在持续触碰的物体。在所述当前监控区域中不存在持续注视的眼球或者当前屏幕上不存在持续触碰的物体时，判定不满足视觉跟踪安全监控的要求，执行步骤S20。
本实施例通过远程控制平台在远程监控APP模式下，确定当前监控区域中的目标眼球；基于视频数据对目标眼球进行跟踪，根据跟踪结果确定当前监控区域中的目标视觉信息；对当前屏幕范围内的触碰物体进行检测，根据检测结果确定当前屏幕范围内的目标触碰信息；根据目标视觉信息以及目标触碰信息判断是否满足视觉跟踪安全监控的要求；若不满足，远程控制平台运用5G发送停车指令至无人驾驶汽车，以使无人驾驶汽车根据停车指令，执行无人驾驶汽车的停车操作。通过上述方式，根据视觉跟踪安全监控确保远程人员在远程监控APP模式下对车辆状态进行了监控，在考虑眼球的视觉信息的情况下，还考虑了用户对应屏幕的触碰信息，根据视觉信息和触碰信息确定是否满足视觉跟踪安全监控的要求，在不满足视觉跟踪安全监控的要求时，判定为远程人员未监控，发送停车指令控制无人驾驶车辆停车。避免发生车辆处于远程驾驶模式但远程人员未监控自动驾驶车辆运行状态的情况，提升了汽车行驶安全，避免无人驾驶车辆失去控制危及公共安全。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有视觉跟踪确认程序，所述视觉跟踪确认程序被处理器执行时实现如上文所述的视觉跟踪确认方法。
参照图4，图4为本发明视觉跟踪确认装置第一实施例的结构框图。
如图4所示，本发明实施例提出的视觉跟踪确认装置包括：
判断模块10，用于在远程监控APP模式下，判断是否满足视觉跟踪安全监控的要求，所述远程监控APP模式为无人驾驶汽车获取车辆驾驶监测数据，根据车辆驾驶监测数据判断当前所要执行的驾驶动作；若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作；若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作，以通过远程驾驶控制操作进入远程监控APP模式。
指令发送模块20，用于若不满足，运用5G发送停车指令至无人驾驶汽车，以使无人驾驶汽车根据所述停车指令，执行无人驾驶汽车的停车操作。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
本实施例通过远程控制平台在远程监控APP模式下，判断是否满足视觉跟踪安全监控的要求，远程监控APP模式为无人驾驶汽车获取车辆驾驶监测数据，根据车辆驾驶监测数据判断当前所要执行的驾驶动作；若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据驾驶操作指令执行无人驾驶汽车的自动驾驶操作；若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作，以通过远程驾驶控制操作进入远程监控APP模式；若不满足，远程控制平台运用5G发送停车指令至无人驾驶汽车，以使无人驾驶汽车根据停车指令，执行无人驾驶汽车的停车操作。通过上述方式，根据视觉跟踪安全监控确保远程人员在远程监控APP模式下对车辆状态进行了监控，在检测到不满足视觉跟踪安全监控的要求时，判定为远程人员未监控，发送停车指令控制无人驾驶车辆停车。避免发生车辆处于远程驾驶模式但远程人员未监控自动驾驶车辆运行状态的情况，提升了汽车行驶安全，避免无人驾驶车辆失去控制危及公共安全。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的视觉跟踪确认方法，此处不再赘述。
在一实施例中，所述判断模块10，还用于远程控制平台在远程监控APP模式下，确定当前监控区域中的目标眼球，基于视频数据对所述目标眼球进行跟踪，根据跟踪结果确定当前监控区域中的目标视觉信息，对当前屏幕范围内的触碰物体进行检测，根据检测结果确定当前屏幕范围内的目标触碰信息，根据所述目标视觉信息以及所述目标触碰信息判断是否满足视觉跟踪安全监控的要求。
在一实施例中，所述判断模块10，还用于基于视频数据确定第一帧视频数据以及第二帧视频数据，根据第一帧视频数据提取所述目标眼球的第一位置信息，根据第二帧视频数据提取所述目标眼球的第二位置信息，根据所述第一位置信息以及第二位置信息预测所述目标眼球的移动范围，根据所述移动范围划分所述视频数据对应的目标区域，对所述目标区域进行眼球搜索，以实现对所述目标眼球进行跟踪。
在一实施例中，所述判断模块10，还用于根据跟踪结果确定目标眼球的注视方向、未跟踪到眼球的时间以及眼球与屏幕之间的距离，根据所述目标眼球的注视方向以及所述眼球与屏幕之间的距离确定目标眼球的注视区域，确定所述注视区域与当前屏幕之间的重合区域，将所述重合区域、所述未跟踪到眼球的时间以及所述眼球与屏幕之间的距离作为当前监控区域中的目标视觉信息。
在一实施例中，所述判断模块10，还用于对当前屏幕范围内的触碰物体进行检测，以得到触碰物体的持续触碰时间以及未触碰时间，根据所述持续触碰时间以及所述未触碰时间确定当前屏幕范围内的目标触碰信息。
在一实施例中，所述判断模块10，还用于根据所述重合区域、所述未跟踪到眼球的时间以及所述眼球与屏幕之间的距离确定当前监控区域中是否存在持续注视的眼球，根据所述持续触碰时间以及所述未触碰时间确定当前屏幕上是否存在持续触碰的物体，以判断是否满足视觉跟踪安全监控的要求。
在一实施例中，所述判断模块10，还用于在所述重合区域与所述注视区域之间的比例大于预设比例、所述未跟踪到眼球的时间小于预设眨眼时间以及所述眼球与屏幕之间的距离小于预设距离时，确定当前监控区域中存在持续注视的眼球，在所述持续触碰时间对应的占比大于预设触碰占比以及所述未触碰时间小于预设时间时，确定当前屏幕上存在持续触碰的物体，在所述当前监控区域中存在持续注视的眼球且当前屏幕上存在持续触碰的物体时，判定满足视觉跟踪安全监控的要求。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种视觉跟踪确认方法，其特征在于，所述视觉跟踪确认方法包括：
远程控制平台在远程监控APP模式下，判断是否满足视觉跟踪安全监控的要求，所述远程监控APP模式为无人驾驶汽车获取车辆驾驶监测数据，根据车辆驾驶监测数据判断当前所要执行的驾驶动作；若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作；若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作，以通过远程驾驶控制操作进入远程监控APP模式；
若不满足，所述远程控制平台运用5G发送停车指令至无人驾驶汽车，以使无人驾驶汽车根据所述停车指令，执行无人驾驶汽车的停车操作；
其中，所述远程控制平台在远程监控APP模式下，判断是否满足视觉跟踪安全监控的要求，包括：
远程控制平台在远程监控APP模式下，确定当前监控区域中的目标眼球；
基于视频数据对所述目标眼球进行跟踪，根据跟踪结果确定当前监控区域中的目标视觉信息；
对当前屏幕范围内的触碰物体进行检测，根据检测结果确定当前屏幕范围内的目标触碰信息；
根据所述目标视觉信息以及所述目标触碰信息判断是否满足视觉跟踪安全监控的要求，具体包括：根据目标视觉信息确定当前监控区域中是否存在持续注视的眼球，根据目标触碰信息确定当前屏幕上是否存在持续触碰的物体。
2.如权利要求1所述的视觉跟踪确认方法，其特征在于，所述基于视频数据对所述目标眼球进行跟踪，包括：
基于视频数据确定第一帧视频数据以及第二帧视频数据；
根据第一帧视频数据提取所述目标眼球的第一位置信息；
根据第二帧视频数据提取所述目标眼球的第二位置信息；
根据所述第一位置信息以及第二位置信息预测所述目标眼球的移动范围；
根据所述移动范围划分所述视频数据对应的目标区域，对所述目标区域进行眼球搜索，以实现对所述目标眼球进行跟踪。
3.如权利要求1所述的视觉跟踪确认方法，其特征在于，所述根据跟踪结果确定当前监控区域中的目标视觉信息，包括：
根据跟踪结果确定目标眼球的注视方向、未跟踪到眼球的时间以及眼球与屏幕之间的距离；
根据所述目标眼球的注视方向以及所述眼球与屏幕之间的距离确定目标眼球的注视区域；
确定所述注视区域与当前屏幕之间的重合区域；
将所述重合区域、所述未跟踪到眼球的时间以及所述眼球与屏幕之间的距离作为当前监控区域中的目标视觉信息。
4.如权利要求3所述的视觉跟踪确认方法，其特征在于，所述对当前屏幕范围内的触碰物体进行检测，根据检测结果确定当前屏幕范围内的目标触碰信息，包括：
对当前屏幕范围内的触碰物体进行检测，以得到触碰物体的持续触碰时间以及未触碰时间；
根据所述持续触碰时间以及所述未触碰时间确定当前屏幕范围内的目标触碰信息。
5.如权利要求4所述的视觉跟踪确认方法，其特征在于，所述根据所述目标视觉信息以及所述目标触碰信息判断是否满足视觉跟踪安全监控的要求，包括：
根据所述重合区域、所述未跟踪到眼球的时间以及所述眼球与屏幕之间的距离确定当前监控区域中是否存在持续注视的眼球；
根据所述持续触碰时间以及所述未触碰时间确定当前屏幕上是否存在持续触碰的物体，以判断是否满足视觉跟踪安全监控的要求。
6.如权利要求5所述的视觉跟踪确认方法，其特征在于，所述根据所述重合区域、所述未跟踪到眼球的时间以及所述眼球与屏幕之间的距离确定当前监控区域中是否存在持续注视的眼球，包括：
在所述重合区域与所述注视区域之间的比例大于预设比例、所述未跟踪到眼球的时间小于预设眨眼时间以及所述眼球与屏幕之间的距离小于预设距离时，确定当前监控区域中存在持续注视的眼球；
所述根据所述持续触碰时间以及所述未触碰时间确定当前屏幕上是否存在持续触碰的物体，以判断是否满足视觉跟踪安全监控的要求，包括：
在所述持续触碰时间对应的占比大于预设触碰占比以及所述未触碰时间小于预设时间时，确定当前屏幕上存在持续触碰的物体；
在所述当前监控区域中存在持续注视的眼球且当前屏幕上存在持续触碰的物体时，判定满足视觉跟踪安全监控的要求。
7.一种视觉跟踪确认装置，其特征在于，所述视觉跟踪确认装置包括：
判断模块，用于在远程监控APP模式下，判断是否满足视觉跟踪安全监控的要求，所述远程监控APP模式为无人驾驶汽车获取车辆驾驶监测数据，根据车辆驾驶监测数据判断当前所要执行的驾驶动作；若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作；若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作，以通过远程驾驶控制操作进入远程监控APP模式；
指令发送模块，用于若不满足，运用5G发送停车指令至无人驾驶汽车，以使无人驾驶汽车根据所述停车指令，执行无人驾驶汽车的停车操作；
其中，所述判断模块，还用于在远程监控APP模式下，确定当前监控区域中的目标眼球；基于视频数据对所述目标眼球进行跟踪，根据跟踪结果确定当前监控区域中的目标视觉信息；对当前屏幕范围内的触碰物体进行检测，根据检测结果确定当前屏幕范围内的目标触碰信息；根据所述目标视觉信息以及所述目标触碰信息判断是否满足视觉跟踪安全监控的要求，具体包括：根据目标视觉信息确定当前监控区域中是否存在持续注视的眼球，根据目标触碰信息确定当前屏幕上是否存在持续触碰的物体。
8.一种视觉跟踪确认设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视觉跟踪确认程序，所述视觉跟踪确认程序配置为实现如权利要求1至7中任一项所述的视觉跟踪确认方法。
9.一种存储介质，其特征在于，所述存储介质上存储有视觉跟踪确认程序，所述视觉跟踪确认程序被处理器执行时实现如权利要求1至7任一项所述的视觉跟踪确认方法。
CN202110487434.9A 2020-05-15 2021-04-30 视觉跟踪确认方法、装置、设备及存储介质 Active CN112965502B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010416571.9A CN111580522A (zh) 2020-05-15 2020-05-15 无人驾驶汽车的控制方法、汽车和存储介质
CN2020104165719 2020-05-15

Publications (2)

Publication Number Publication Date
CN112965502A CN112965502A (zh) 2021-06-15
CN112965502B true CN112965502B (zh) 2023-03-10

Family

ID=72112845

Family Applications (7)

Application Number Title Priority Date Filing Date
CN202010416571.9A Pending CN111580522A (zh) 2020-05-15 2020-05-15 无人驾驶汽车的控制方法、汽车和存储介质
CN202210628630.8A Pending CN114911242A (zh) 2020-05-15 2021-04-30 无人驾驶汽车的控制方法、汽车和存储介质
CN202110487435.3A Active CN112965503B (zh) 2020-05-15 2021-04-30 多路摄像头融合拼接方法、装置、设备及存储介质
CN202110487466.9A Active CN113031626B (zh) 2020-05-15 2021-04-30 基于自动驾驶的安全认证方法、装置、设备及存储介质
CN202110487556.8A Active CN112987759B (zh) 2020-05-15 2021-04-30 基于自动驾驶的图像处理方法、装置、设备及存储介质
CN202110487434.9A Active CN112965502B (zh) 2020-05-15 2021-04-30 视觉跟踪确认方法、装置、设备及存储介质
CN202110487438.7A Active CN112965504B (zh) 2020-05-15 2021-04-30 基于自动驾驶的远程确认方法、装置、设备及存储介质

Family Applications Before (5)

Application Number Title Priority Date Filing Date
CN202010416571.9A Pending CN111580522A (zh) 2020-05-15 2020-05-15 无人驾驶汽车的控制方法、汽车和存储介质
CN202210628630.8A Pending CN114911242A (zh) 2020-05-15 2021-04-30 无人驾驶汽车的控制方法、汽车和存储介质
CN202110487435.3A Active CN112965503B (zh) 2020-05-15 2021-04-30 多路摄像头融合拼接方法、装置、设备及存储介质
CN202110487466.9A Active CN113031626B (zh) 2020-05-15 2021-04-30 基于自动驾驶的安全认证方法、装置、设备及存储介质
CN202110487556.8A Active CN112987759B (zh) 2020-05-15 2021-04-30 基于自动驾驶的图像处理方法、装置、设备及存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110487438.7A Active CN112965504B (zh) 2020-05-15 2021-04-30 基于自动驾驶的远程确认方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (7) CN111580522A (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037553B (zh) * 2020-08-31 2023-09-08 腾讯科技（深圳）有限公司 远程驾驶方法、装置、系统、设备及介质
CN112305573A (zh) * 2020-10-23 2021-02-02 上海伯镭智能科技有限公司 一种基于北斗的无人驾驶汽车路线选择系统
CN112613482A (zh) * 2021-01-04 2021-04-06 深圳裹动智驾科技有限公司 无人驾驶车辆的监控方法及系统、以及计算机设备
CN112896193B (zh) * 2021-03-16 2022-06-24 四川骏驰智行科技有限公司 一种汽车远程辅助驾驶系统及方法
CN113189989B (zh) * 2021-04-21 2022-07-01 东风柳州汽车有限公司 车辆意图预测方法、装置、设备及存储介质
CN113538311B (zh) * 2021-07-22 2024-01-23 浙江赫千电子科技有限公司 基于人眼主观视觉效果车载冗余摄像头的图像融合方法
CN113467431A (zh) * 2021-08-03 2021-10-01 上海智能新能源汽车科创功能平台有限公司 一种基于5g通讯的远程监控与应急干预管理系统
CN113320548A (zh) * 2021-08-04 2021-08-31 新石器慧通（北京）科技有限公司 车辆控制方法、装置、电子设备和存储介质
CN113837027A (zh) * 2021-09-03 2021-12-24 东风柳州汽车有限公司 辅助驾驶的感知方法、装置、设备及存储介质
CN113938617A (zh) * 2021-09-06 2022-01-14 杭州联吉技术有限公司 一种多路视频显示方法、设备、网络摄像机及存储介质
CN113867360A (zh) * 2021-10-19 2021-12-31 北京三快在线科技有限公司 一种基于远程油门控制无人驾驶设备的方法及装置
CN114115206A (zh) * 2021-10-22 2022-03-01 湖南大学无锡智能控制研究院 一种安全的远程驾驶系统
CN114162130B (zh) * 2021-10-26 2023-06-20 东风柳州汽车有限公司 驾驶辅助模式切换方法、装置、设备及存储介质
CN114115207A (zh) * 2021-11-23 2022-03-01 广州小鹏自动驾驶科技有限公司 远程驾驶控制方法、设备及系统
CN114153227B (zh) * 2021-11-30 2024-02-20 重庆大学 一种基于gps信号的无人机机群密钥提取与安全认证方法
CN113928283B (zh) * 2021-11-30 2023-08-25 广州文远知行科技有限公司 一种车辆碰撞控制方法、装置、设备和介质
CN114545812A (zh) * 2021-12-15 2022-05-27 株式会社Iat 一种远程驾驶车辆方法以及系统
CN114750806A (zh) * 2022-05-11 2022-07-15 南京北路智控科技股份有限公司 一种单轨吊远程驾驶方法及系统
CN115390484A (zh) * 2022-06-27 2022-11-25 武汉路特斯科技有限公司 一种车辆远程控制方法、装置、电子设备及存储介质
CN115497318A (zh) * 2022-09-28 2022-12-20 东风悦享科技有限公司 一种适用于公开道路远程驾驶的辅助驾驶平台
CN116916172B (zh) * 2023-09-11 2024-01-09 腾讯科技（深圳）有限公司 一种远程控制方法和相关装置
CN116931498B (zh) * 2023-09-15 2023-11-21 北京易控智驾科技有限公司 一种人机共驾系统、方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004081264A (ja) * 2002-08-23 2004-03-18 Hitachi Medical Corp 遠隔医療システム及び制御モダリティーの遠隔操作装置
CN102867395A (zh) * 2012-10-11 2013-01-09 南京艾酷派物联网有限公司 驾驶员疲劳远程实时监控装置
CN103594003A (zh) * 2013-11-13 2014-02-19 安徽三联交通应用技术股份有限公司 一种用于驾驶人的远程监控与异常预警的系统及方法
US9452528B1 (en) * 2012-03-05 2016-09-27 Vecna Technologies, Inc. Controller device and method
CN110070641A (zh) * 2018-01-22 2019-07-30 江苏迪纳数字科技股份有限公司 一种无屏幕的智能行车记录仪

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003088055A1 (fr) * 2002-04-02 2003-10-23 Sony Corporation Procede de traitement de donnees de contenu, dispositif d'enregistrement et dispositif de reproduction
US7200868B2 (en) * 2002-09-12 2007-04-03 Scientific-Atlanta, Inc. Apparatus for encryption key management
US8146145B2 (en) * 2004-09-30 2012-03-27 Rockstar Bidco Lp Method and apparatus for enabling enhanced control of traffic propagation through a network firewall
JP4971917B2 (ja) * 2007-09-11 2012-07-11 日本放送協会 署名生成装置、署名検証装置、グループ管理装置、およびそれらのプログラム
US8126642B2 (en) * 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
CN101520832A (zh) * 2008-12-22 2009-09-02 康佳集团股份有限公司 一种文件代码签名验证系统及其方法
KR20120072020A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 자율주행 시스템의 주행정보 인식 방법 및 장치
CN106452786A (zh) * 2013-09-30 2017-02-22 华为技术有限公司 加解密处理方法、装置和设备
US9988047B2 (en) * 2013-12-12 2018-06-05 Magna Electronics Inc. Vehicle control system with traffic driving control
US10613627B2 (en) * 2014-05-12 2020-04-07 Immersion Corporation Systems and methods for providing haptic feedback for remote interactions
CN104202541A (zh) * 2014-09-26 2014-12-10 北京华建纵横科技有限公司 一种图像合成器
CN105791258A (zh) * 2014-12-26 2016-07-20 中国移动通信集团上海有限公司 一种数据传输方法、终端及开放平台
CN105049213A (zh) * 2015-07-27 2015-11-11 小米科技有限责任公司 文件签名方法及装置
US9632502B1 (en) * 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
CN105979517B (zh) * 2015-11-10 2020-01-03 法法汽车(中国)有限公司 一种基于车辆的网络数据传输方法和装置
JP2019518642A (ja) * 2016-04-14 2019-07-04 ロンバス システムズ グループ， インコーポレイテッドＲｈｏｍｂｕｓ Ｓｙｓｔｅｍｓ Ｇｒｏｕｐ， Ｉｎｃ． 無人航空機の完全性を検証するためのシステム
CN105704164B (zh) * 2016-04-26 2018-12-07 威马汽车科技集团有限公司 汽车安全监测方法
CN105812129B (zh) * 2016-05-10 2018-12-18 威马汽车科技集团有限公司 车辆运行状态监控方法
CN106056100B (zh) * 2016-06-28 2019-03-08 重庆邮电大学 一种基于车道检测与目标跟踪的车辆辅助定位方法
CN106157304A (zh) * 2016-07-01 2016-11-23 成都通甲优博科技有限责任公司 一种基于多个相机的全景图拼接方法及系统
US10268844B2 (en) * 2016-08-08 2019-04-23 Data I/O Corporation Embedding foundational root of trust using security algorithms
JP6260067B1 (ja) * 2016-08-09 2018-01-17 Kddi株式会社 管理システム、鍵生成装置、車載コンピュータ、管理方法、及びコンピュータプログラム
EP3523785A4 (en) * 2016-10-07 2020-05-27 Cyber Physical Systems, Inc. SYSTEM AND METHOD FOR DETECTING AND NOTIFYING DRIVING CONDITIONS
CN106394545A (zh) * 2016-10-09 2017-02-15 北京汽车集团有限公司 驾驶系统、无人驾驶车辆及车辆远程控制端
KR102535540B1 (ko) * 2017-01-12 2023-05-23 모빌아이 비젼 테크놀로지스 엘티디. 차량 움직임에 기반한 항법
US20180205729A1 (en) * 2017-01-13 2018-07-19 GM Global Technology Operations LLC Method and apparatus for encryption, decryption and authentication
JP6938177B2 (ja) * 2017-03-14 2021-09-22 パイオニア株式会社 制御装置、制御方法、及び、プログラム
US10268191B1 (en) * 2017-07-07 2019-04-23 Zoox, Inc. Predictive teleoperator situational awareness
US10564638B1 (en) * 2017-07-07 2020-02-18 Zoox, Inc. Teleoperator situational awareness
CN107465673A (zh) * 2017-07-27 2017-12-12 深圳市易成自动驾驶技术有限公司 车辆的身份认证方法、装置及计算机可读存储介质
US10289114B2 (en) * 2017-08-08 2019-05-14 The Boeing Company Safety controls for network connected autonomous vehicle
TW201911255A (zh) * 2017-08-08 2019-03-16 洪奇麟 一種能增加行車安全或增加行車之方便的方法及其運用與裝置３
US10437247B2 (en) * 2017-08-10 2019-10-08 Udelv Inc. Multi-stage operation of autonomous vehicles
CN109409172B (zh) * 2017-08-18 2021-08-13 安徽三联交通应用技术股份有限公司 驾驶员视线检测方法、系统、介质及设备
CN107360413A (zh) * 2017-08-25 2017-11-17 秦山 一种多目立体图像信号传输方法和系统
KR101842009B1 (ko) * 2017-08-31 2018-05-14 영남대학교 산학협력단 자동차 원격 키 시스템 및 자동차 원격 키 시스템에서의 스마트키 인증 방법
JP2019043496A (ja) * 2017-09-07 2019-03-22 株式会社デンソー 自動運転調整装置、自動運転調整システム、及び自動運転調整方法
CN107589745B (zh) * 2017-09-22 2021-04-16 京东方科技集团股份有限公司 驾驶方法、车载驾驶端、远程驾驶端、设备和存储介质
KR102201757B1 (ko) * 2017-10-12 2021-01-12 엘지전자 주식회사 자율주행 차량 및 그 제어 방법
KR101852791B1 (ko) * 2017-10-16 2018-04-27 (주)케이스마텍 모바일 단말기를 이용한 공인인증서 로그인 서비스 시스템 및 방법
CN108111604B (zh) * 2017-12-21 2020-08-14 广州广电运通金融电子股份有限公司 区块链共识方法、装置和系统、标识信息处理方法和装置
DE102018202738A1 (de) * 2018-02-23 2019-08-29 Bayerische Motoren Werke Aktiengesellschaft Fernbedienbares Parkassistenzsystem mit selbstständiger Entscheidung über das Vorliegen einer Ein- oder Ausparksituation und entsprechendes Parkverfahren
CN108428357B (zh) * 2018-03-22 2020-08-18 青岛慧拓智能机器有限公司 一种用于智能网联车的平行遥控驾驶系统
CN110549990A (zh) * 2018-05-30 2019-12-10 郑州宇通客车股份有限公司 一种无人驾驶车辆远程启动控制方法和系统
CN110780665B (zh) * 2018-07-26 2022-02-08 比亚迪股份有限公司 车辆无人驾驶控制方法及装置
CN109188932A (zh) * 2018-08-22 2019-01-11 吉林大学 一种面向智能驾驶的多摄像头在环仿真测试方法及系统
CN110874945A (zh) * 2018-08-31 2020-03-10 百度在线网络技术（北京）有限公司 基于车路协同的路侧感知系统及其车辆控制方法
CN110969592B (zh) * 2018-09-29 2024-03-29 北京嘀嘀无限科技发展有限公司 图像融合方法、自动驾驶控制方法、装置和设备
US20200041995A1 (en) * 2018-10-10 2020-02-06 Waymo Llc Method for realtime remote-operation of self-driving cars by forward scene prediction.
CN109345836A (zh) * 2018-10-26 2019-02-15 北理慧动（常熟）车辆科技有限公司 一种多模式无人车远程操控系统及方法
CN109598244B (zh) * 2018-12-07 2023-08-22 吉林大学 一种交通信号灯识别系统及其识别方法
CN109711349B (zh) * 2018-12-28 2022-06-28 百度在线网络技术（北京）有限公司 用于生成控制指令的方法和装置
CN109808709B (zh) * 2019-01-15 2021-08-03 北京百度网讯科技有限公司 车辆行驶保障方法、装置、设备及可读存储介质
CN109992953A (zh) * 2019-02-18 2019-07-09 深圳壹账通智能科技有限公司 区块链上的数字证书签发、验证方法、设备、系统及介质
CN110032176A (zh) * 2019-05-16 2019-07-19 广州文远知行科技有限公司 无人驾驶汽车的远程接管方法、装置、设备和存储介质
CN110103221A (zh) * 2019-05-21 2019-08-09 深圳市超时空机器人有限公司 一种远程驾驶方法、设备及其系统
CN210405369U (zh) * 2019-05-28 2020-04-24 长安大学 自动驾驶车辆控制器
CN110443111A (zh) * 2019-06-13 2019-11-12 东风柳州汽车有限公司 自动驾驶目标识别方法
CN110303884B (zh) * 2019-07-10 2020-11-06 初速度（苏州）科技有限公司 一种防疲劳驾驶方法、系统及装置
CN110557738B (zh) * 2019-07-12 2022-06-07 安徽中科美络信息技术有限公司 一种车辆监测信息安全传输方法及系统
CN110300285B (zh) * 2019-07-17 2021-09-10 北京智行者科技有限公司 基于无人驾驶平台的全景视频采集方法及系统
CN110796763A (zh) * 2019-09-24 2020-02-14 北京汽车集团有限公司 车辆状态数据的处理方法、装置和系统
CN110912690A (zh) * 2019-11-01 2020-03-24 中国第一汽车股份有限公司 一种数据加密和解密方法、车辆和存储介质
CN110884428B (zh) * 2019-11-11 2022-10-11 长春理工大学 一种基于折反射全景相机的车载全景驾驶辅助装置及方法
CN110850855A (zh) * 2019-11-26 2020-02-28 奇瑞汽车股份有限公司 一种无线网络远程控车系统和方法
CN111098863B (zh) * 2019-12-12 2022-03-29 长城汽车股份有限公司 自动驾驶车辆的远程驾驶请求方法、装置及用户终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004081264A (ja) * 2002-08-23 2004-03-18 Hitachi Medical Corp 遠隔医療システム及び制御モダリティーの遠隔操作装置
US9452528B1 (en) * 2012-03-05 2016-09-27 Vecna Technologies, Inc. Controller device and method
CN102867395A (zh) * 2012-10-11 2013-01-09 南京艾酷派物联网有限公司 驾驶员疲劳远程实时监控装置
CN103594003A (zh) * 2013-11-13 2014-02-19 安徽三联交通应用技术股份有限公司 一种用于驾驶人的远程监控与异常预警的系统及方法
CN110070641A (zh) * 2018-01-22 2019-07-30 江苏迪纳数字科技股份有限公司 一种无屏幕的智能行车记录仪

Also Published As

Publication number Publication date
CN112965503B (zh) 2022-09-16
CN112987759A (zh) 2021-06-18
CN113031626A (zh) 2021-06-25
CN112965502A (zh) 2021-06-15
CN112965504B (zh) 2022-08-09
CN114911242A (zh) 2022-08-16
CN112965504A (zh) 2021-06-15
CN112987759B (zh) 2023-06-30
CN113031626B (zh) 2022-09-06
CN111580522A (zh) 2020-08-25
CN112965503A (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN112965502B (zh) 视觉跟踪确认方法、装置、设备及存储介质
EP3735365B1 (en) Primary preview region and gaze based driver distraction detection
EP3655834B1 (en) Vehicle control device and vehicle control method
WO2020100539A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
CN110419211B (zh) 信息处理装置、信息处理方法和计算机可读的存储介质
US9977243B2 (en) Method for executing vehicle function using wearable device and vehicle for carrying out the same
CN109345829B (zh) 无人车的监控方法、装置、设备及存储介质
US20210380115A1 (en) Devices and methods for predicting collisions and/or intersection violations
KR20200086268A (ko) 정보 처리 장치 및 정보 처리 방법
KR20200113202A (ko) 정보 처리 장치, 이동 장치, 및 방법, 그리고 프로그램
JP6907920B2 (ja) 自動運転支援装置
JP2014181020A (ja) 走行制御装置
CN110641366A (zh) 行车时的障碍物追踪方法、系统、电子设备和存储介质
WO2018150676A1 (ja) 運転切替支援装置、及び運転切替支援方法
US20210312193A1 (en) Devices and methods for predicting intersection violations and/or collisions
WO2022110737A1 (zh) 车辆防撞预警方法、装置、车载终端设备和存储介质
CN114340970A (zh) 信息处理设备、移动设备、信息处理系统、方法和程序
CN107117099A (zh) 一种车辆碰撞提示方法及车辆
JP2017129973A (ja) 運転支援装置および運転支援方法
US20230128580A1 (en) Method for Carrying Out a Remote-Controlled Parking Maneuver with a Vehicle Using a Mobile Terminal, and System
JP5013175B2 (ja) 走行制御装置および方法、プログラム、並びに記録媒体
JP7136538B2 (ja) 電子装置
CN115100863B (zh) 道路监控方法、装置、设备及存储介质
CN111169483A (zh) 一种辅助驾驶方法、电子设备和具有存储功能的装置
US20210309221A1 (en) Devices and methods for determining region of interest for object detection in camera images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant