CN111731311A - 车机行驶的安全控制方法、装置、设备以及存储介质 - Google Patents

车机行驶的安全控制方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN111731311A
CN111731311A CN202010479381.1A CN202010479381A CN111731311A CN 111731311 A CN111731311 A CN 111731311A CN 202010479381 A CN202010479381 A CN 202010479381A CN 111731311 A CN111731311 A CN 111731311A
Authority
CN
China
Prior art keywords
driver
eyeball
display screen
distance
detecting whether
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010479381.1A
Other languages
English (en)
Other versions
CN111731311B (zh
Inventor
于盛进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010479381.1A priority Critical patent/CN111731311B/zh
Publication of CN111731311A publication Critical patent/CN111731311A/zh
Application granted granted Critical
Publication of CN111731311B publication Critical patent/CN111731311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Transportation (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本申请公开了一种车机行驶的安全控制方法、装置、设备以及存储介质，涉及智能交通领域。具体实现方案为：通过追踪驾驶员的眼球，检测所述驾驶员的眼睛是否在斜视显示屏；若是，进一步检测所述驾驶员的眼球在当前位置的停留时长是否超过预设时长阈值；若是，执行安全控制操作。本申请，能够弥补现有技术的不足，可以在车机行驶过程中，打开车机上的显示屏，投放视频，并在投放视频过程中，通过追踪驾驶员的眼球，检测驾驶员是否斜视显示屏，并在检测到驾驶员在斜视显示屏时，执行安全控制操作，能够有效地保证行车安全。

Description

车机行驶的安全控制方法、装置、设备以及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及智能交通领域，具体涉及一种车机行驶的安全控制方法、装置、设备以及存储介质。
背景技术
随着汽车互联网化，车机也变得越来越智能，传统的车机仅仅停留在音乐、收音机的功能使用层面，很大程度上限制了车机的应用。为了丰富车机的功能，还可以在车机上设置用于投放视频显示屏，以在候车时，投放一些视频，打发乘客的无聊时间。为了保证全车的乘客都可以看到显示屏上投放的视频，通常将显示屏设置在司机的一侧。
但是，现有技术中，为了保证行驶的安全性，防止行驶过程中司机看显示屏，可以通过实时监测汽车行驶速度，当速度超过5KM/H时强行停止视频投放，灵活性非常差。因此，亟需提供一种在车机行驶过程中投放视频时，能够保证行驶安全的安全控制方案。
发明内容
为了解决上述技术问题，本申请提供了一种车机行驶的安全控制方法、装置、设备以及存储介质。
根据第一方面，提供了一种车机行驶的安全控制方法，包括：
通过追踪驾驶员的眼球，检测所述驾驶员的眼睛是否在斜视显示屏；
若是，进一步检测所述驾驶员的眼球在当前位置的停留时长是否超过预设时长阈值；
若是，执行安全控制操作。
根据第二方面，提供了一种车机行驶的安全控制装置，包括：
斜视检测模块，用于通过追踪驾驶员的眼球，检测所述驾驶员的眼睛是否在斜视显示屏；
时长检测模块，用于若所述驾驶员的眼睛是在斜视显示屏，进一步检测所述驾驶员的眼球在当前位置的停留时长是否超过预设时长阈值；
安全控制模块，用于若所述停留时长超过所述预设时长阈值，执行安全控制操作。
根据第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。
根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的方法。
根据本申请实施例的技术方案，通过追踪驾驶员的眼球，检测驾驶员的眼睛是否在斜视显示屏；若是，进一步检测驾驶员的眼球在当前位置的停留时长是否超过预设时长阈值；若是，执行安全控制操作。本申请，能够弥补现有技术的不足，可以在车机行驶过程中，打开车机上的显示屏，投放视频，并在投放视频过程中，通过追踪驾驶员的眼球，检测驾驶员是否斜视显示屏，并在检测到驾驶员在斜视显示屏时，执行安全控制操作，能够有效地保证行车安全。
通过采用本申请的技术方案做支撑，车机可以在行驶过程中，无论车速高低，都通过显示屏投放视频，为旅行的乘坐消遣。因此，本申请的技术方案，还能够有效地提高车机中的视频投放的灵活性，而且也能够保证视频投放过程中驾驶员的安全驾驶，实用性非常强。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的示意图；
图2是根据本申请第二实施例的示意图；
图3是根据本申请第三实施例的示意图；
图4是根据本申请第四实施例的示意图；
图5是用来实现本申请实施例的车机行驶的安全控制方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本申请第一实施例的示意图；本实施例的车机行驶的安全控制方法，具体可以包括如下步骤：
S101、通过追踪驾驶员的眼球，检测驾驶员的眼睛是否在斜视显示屏；若是，执行步骤S102；若不是，继续检测。
S102、进一步检测驾驶员的眼球在当前位置的停留时长是否超过预设时长阈值；若是，执行步骤S103；若不是，继续检测。
S103、执行安全控制操作。
本实施例的车机行驶的安全控制方法的执行主体可以为车机行驶的安全控制装置，该装置可以设置在车机系统中，用于控制车机的安全行驶。本实施例的应用场景为：驾驶员正在驾驶车机前行，车机中的显示屏正在投放视频。
具体地，本实施例中，具体可以采用摄像头追踪驾驶员的眼球，进一步基于跟踪结果，检测驾驶员的眼睛是否在斜视显示屏。若检测到驾驶员的眼睛在斜视显示屏，可以认为该司机目前正在疑似看显示屏上的视频。可选地，由于眼球移动距离较小，为了提供检测精度，本实施例的摄像头可以为高精度摄像头。
需要说明的是，对于司机座为左驾的情况，该显示屏可以设置在司机座的右前侧。对司机座为右驾的情况，该显示屏可以设置在司机座的左前侧。对于左驾，驾驶员斜视显示屏时为眼球向右斜视。对于右驾，驾驶员斜视显示屏时为左眼斜视。本实施例的斜视显示屏，是相对于驾驶员上车校准时眼睛正视正前方而言，属于眼睛倾斜看向显示屏所在的一侧。
若检测到驾驶员的眼睛在斜视显示屏时，需要进一步获取到眼球在当前位置的停留时长。该停留时长可以通过跟踪眼球，检测眼球在每个停留位置的时间长度来得到。然后检测眼球在当前位置的停留时长是否超过预设时长阈值，若超过，则可以认为驾驶员目前可能就是看显示屏中投放的视频，此时需要执行安全控制操作，以防止驾驶员继续看显示屏，进而保证车机的安全行驶。
本实施例中的预设时长阈值可以根据经验来设置，例如可以设置为1.5s或者其他时间长度。在实际应用中，驾驶员在驾驶前行的过程中，眼睛基本注视的是前方，观看前方的路况。而在需要转弯、超车等场景下，需要看左右后视镜，但是驾驶员看左右后视镜的时间非常短暂，可能一扫而过，而不会超过该预设时长阈值。因此本实施例可以通过设置该预设时长阈值，来分析驾驶员是否在斜视显示屏。若驾驶员仅仅是看后视镜，时长不会超过该预设时长阈值。若在检测到驾驶员的眼睛在斜视显示屏，且停留时长超过该预设时长阈值，则认为驾驶员在观看显示屏上投放的视频，此时非常不安全，必须执行安全控制操作。
本实施例的车机行驶的安全控制方法，通过追踪驾驶员的眼球，检测驾驶员的眼睛是否在斜视显示屏；若是，进一步检测驾驶员的眼球在当前位置的停留时长是否超过预设时长阈值；若是，执行安全控制操作。本实施例，能够弥补现有技术的不足，可以在车机行驶过程中，打开车机上的显示屏，投放视频，并在投放视频过程中，通过追踪驾驶员的眼球，检测驾驶员是否斜视显示屏，并在检测到驾驶员在斜视显示屏时，执行安全控制操作，能够有效地保证行车安全。
通过采用本实施例的技术方案做支撑，车机可以在行驶过程中，无论车速高低，都通过显示屏投放视频，为旅行的乘坐消遣。因此，本实施例的技术方案，还能够有效地提高车机中的视频投放的灵活性，而且也能够保证视频投放过程中驾驶员的安全驾驶，实用性非常强。
图2是根据本申请第二实施例的示意图；本实施例的车机行驶的安全控制方法，在上述图1所示实施例的技术方案的基础上，进一步更加详细地介绍本申请的技术方案。如图2所示，本实施例的车机行驶的安全控制方法，具体可以包括如下步骤：
S201、通过跟踪驾驶员的眼球，检测驾驶员的眼球是否偏向于显示屏侧；若是，执行步骤S202；若不是，继续检测。
例如，本实施例中，每一个驾驶员上车之后，出发之前，可以启动该车机行驶的安全控制装置。并打开该装置中的摄像头，由该摄像头采集驾驶员目视正前方时眼球所在的位置，作为眼球的参考位置，该过程即为对眼球的初始定位。其中左驾的场景中，可以以右眼球为参考对象来采集。右驾的场景中，可以以左眼球为参考对象来采集。
可选地，该采集过程中，还能检测到眼球距离眼睛左右角的距离。在该参考位置，可以认为是眼睛看正前方时眼球的位置，该参考位置与左右眼角的距离此时可以检测并确定。若眼球在眼睛中，相对于参考位置，向左眼角方向移动，则认为眼睛偏向于左，在斜视左侧；若眼球向右眼角方向移动，则认为眼睛偏向于右，在斜视右侧。本实施例中，对于左驾，显示屏在右侧，若检测到眼球偏向于右，则认为眼球偏向于显示屏侧。对于右驾，显示屏在左侧，若检测到眼球偏向于左，则认为眼球偏向于显示屏侧。
且在该过程中，不考虑头部的移动，因为驾驶员在驾驶过程头部移动的距离较小，相对于头部距离显示屏的距离，可以暂且忽略。
或者可选地，本实施例中跟踪驾驶员的眼球的摄像头的位置是固定的，在打开该摄像头时，该摄像头的采集范围便固定，此时可建立该摄像头的成像空间坐标系，眼球的参考位置可以为该眼球在该成像空间坐标系中的一个点的位置。在车机行驶过程中，该摄像头可以追踪驾驶员的眼球，若追踪的某个点的位置在成像空间坐标系中，在参考位置的、偏向于显示屏一侧，则认为该驾驶员眼球偏向于显示屏侧。当然，实际应用中，也可以通过跟踪驾驶员的眼球，采用其他方式检测驾驶员的眼球是否偏向于显示屏侧，在此不再一一举例赘述。
S202、获取驾驶员的眼球移动的绝对距离；
进一步可选地，该步骤S202可以包括驾驶员的头部移动和驾驶员的头部未移动两种情况。具体地，该步骤S202在实施时，具体可以包括如下步骤：
(1)检测驾驶员的头部是否移动；若未移动，执行步骤(2)；若移动，执行步骤(3)；
由于驾驶员是一个活体人，驾驶员在驾驶过程中，头部难免会左右移动。因此，此处需要先检测驾驶员的头部是否发生移动。本实施例中，驾驶员在驾驶过程中，座椅已经固定好了，所以驾驶员的头部上下通常不会移动。而且头部上下移动，对驾驶员是否斜视显示屏没有影响，本实施例的场景中也不考虑。所以，本实施例中所述的头部的移动主要指的是头部的左右移动。
可选地，本实施例中检测驾驶员的头部是否移动，可以通过检测驾驶员的头部上预设参考点的位置是否发生变化。该头部上的预设参考点可以为鼻子、鼻梁、眉毛连线与鼻梁延长线的中心点、或者睫毛连线与鼻梁延长线的中心点或者其他脸上有痣的可以为痣作为预设参考点、或者还可以采用脸部的其他位任意一处、与头部能够相对固定的位置点作为预设参考点。由于眼球是可以移动的，所以眼球不适合作为头部的预设参考点。例如，在摄像头的成像空间坐标系中，可以检测该预设参考点的位置有没有发生变化，若变化，则说明头部发生移动；反之头部未发生移动。
(2)获取驾驶员的眼球的当前位置到初始定位时所在的参考位置之间的距离作为眼球移动的绝对距离。
对于驾驶员的头部未移动时，眼球的当前位置到初始定位时所在的参考位置之间的距离便是眼球移动的绝对距离，可以参考摄像头的成像空间坐标系来获取该绝对距离。
(3)根据头部移动的距离和方向、以及眼球相对于参考位置移动的相对距离和方向，获取眼球移动的绝对距离。
对于驾驶员的头部移动时，头部移动的距离可以通过头部上、与整体头部固定的预设参考点的移动距离来获取。同理，可以参考摄像头的成像空间坐标系来获取头部移动的距离。眼球相对于参考位置移动的相对距离也等于眼球的当前位置到初始定位时所在的参考位置之间的距离。然后根据头部移动的距离和眼球移动的相对距离，获取眼球移动的绝对距离。例如头部向右移动2mm，眼球向右移动1mm，则认为眼球向右移动的绝对距离为3mm。若头部向左移动2mm，眼球向右移动3mm，则认为眼球向右移动的绝对距离为1mm。按照类似的方式，依次类推，可以根据任意场景下头部移动的距离和方向、以及眼球相对于参考位置移动的相对距离和方向，获取眼球移动的绝对距离。
S203、判断绝对距离是否超出预设的距离阈值；若是，执行步骤S204；否则，继续检测。
本实施例中，可以设置有预设的距离阈值。对于同一种车型的车机，可以设置相同的距离阈值。具体地，该距离阈值为根据经验，经过多次测试得到的。具体测试时，可以让无数个驾驶员依次坐在同一车机的驾驶座上，斜视显示屏，检测眼球移动的距离。通过无数次测试，可以得到一个眼睛斜视显示屏时可移动的最小距离，作为该预设的距离阈值。这样，在实际应用场景中，只要检测到驾驶员的眼球移动的绝对距离超出该预设的距离阈值，便认为该驾驶员眼睛在斜视显示屏。
S204、确定驾驶员的眼睛在斜视显示屏；
S205、进一步检测驾驶员的眼球在当前位置的停留时长是否超过预设时长阈值；若是，执行步骤S206；若不是，继续检测。
S206、检测预设时间长度内的安全警告次数是否超出预设次数阈值；若是，执行步骤S207；否则，执行步骤S208；
本实施例的预设次数阈值，可以根据实际需求设置1次、2次或者3次，不宜设置过大，以提高行驶的安全性。
S207、向车机的中控设备发送停止视频投放的请求，以供车机的中控设备停止显示屏上的视频投放，结束。
S208、继续发出安全警告，结束。
需要说明的是，本实施例中，发出安全警告可以通过车机的中控设备控制车载音响发出安全警告。例如发出的安全警告可以为“驾驶员，请注意，不要看显示屏”，或者其他意思相似之类的警告，在此不再赘述。或者也可以直接发出滴滴滴之类的警告声，以警告驾驶员专心安全驾驶。
或者可选地，本实施例中，也可以在步骤S204之后，直接执行步骤S207，即不需要经过安全警告，可以直接停止显示屏上的视频投放，以提高行驶的安全性。
本实施例的车机行驶的安全控制方法，可以通过获取驾驶员的眼球移动的绝对距离，判断绝对距离是否超出预设的距离阈值，来检测驾驶员的眼睛是否在斜视显示屏，该检测方式客观、合理，能够有效地保证本实施例的车机行驶的安全控制方案的有效性和合理性。而且，本实施例中，在执行安全控制操作时，可以发出安全警告，以警告驾驶员专心安全驾驶。或者还可以向车机的中控设备发送停止视频投放的请求，以供车机的中控设备停止显示屏上的视频投放，以强迫驾驶员专心安全驾驶，都很能够有效地提高车机行驶的安全性。
进一步地，本实施例中，获取驾驶员的眼球移动的绝对距离的过程中，还可以参考检测驾驶员的头部是否移动来获取，并在头部未移动时，获取驾驶员的眼球的当前位置到初始定位时所在的参考位置之间的距离作为眼球移动的绝对距离，并在头部移动时，根据头部移动的距离和方向、以及眼球相对于参考位置移动的相对距离和方向，获取眼球移动的绝对距离，能够有效地保证眼球移动的绝对距离获取的准确性，进而能够有效地保证检测驾驶员的眼睛是否在斜视显示屏的检测的准确性，能够有效地提高本实施例技术方案的客观性以及合理性。
通过采用本实施例的技术方案做支撑，车机可以在行驶过程中，无论车速高低，都通过显示屏投放视频，为旅行的乘坐消遣。因此，本实施例的技术方案，还能够有效地提高车机中的视频投放的灵活性，而且也能够保证视频投放过程中驾驶员的安全驾驶，实用性非常强。
图3是根据本申请第三实施例的示意图；本实施例的车机行驶的安全控制装置300，包括：
斜视检测模块301，用于通过追踪驾驶员的眼球，检测驾驶员的眼睛是否在斜视显示屏；
时长检测模块302，用于若驾驶员的眼睛是在斜视显示屏，进一步检测驾驶员的眼球在当前位置的停留时长是否超过预设时长阈值；
安全控制模块303，用于若停留时长超过预设时长阈值，执行安全控制操作。
本实施例的车机行驶的安全控制装置300，通过采用上述模块实现车机行驶的安全控制的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。
图4是根据本申请第四实施例的示意图；本实施例的车机行驶的安全控制装置300，在上述图3所示实施例的技术方案的基础上，进一步更加详细地介绍本发明的技术方案。
如图4所示，本实施例的车机行驶的安全控制装置300中，斜视检测模块301，包括：：
眼球检测单元3011，用于通过跟踪驾驶员的眼球，检测驾驶员的眼球是否偏向于显示屏侧；
距离获取单元3012，用于若驾驶员的眼球偏向于显示屏侧，获取驾驶员的眼球移动的绝对距离；
距离检测单元3013，用于判断绝对距离是否超出预设的距离阈值；
确定单元3014，用于若绝对距离超出预设的距离阈值，确定驾驶员的眼睛在斜视显示屏。
进一步可选地，距离获取单元3012，用于若驾驶员的头部未移动，获取驾驶员的眼球的当前位置到初始定位时所在的参考位置之间的距离作为眼球移动的绝对距离。
进一步可选地，如图4所示，本实施例的车机行驶的安全控制装置300中，还包括：
位置获取模块304，用于获取驾驶员目视正前方时眼球所在的位置，作为参考位置。
进一步可选地，距离获取单元3012，还用于若驾驶员的头部移动时，根据头部移动的距离和方向、以及眼球相对于参考位置移动的相对距离和方向，获取眼球移动的绝对距离。
进一步可选地，如图4所示，本实施例的车机行驶的安全控制装置300中，还包括：
头部检测模块305，用于通过检测驾驶员的头部上预设参考点的位置是否发生变化，检测驾驶员的头部是否移动。
进一步可选地，安全控制模块303，用于：
发出安全警告；
向车机的中控设备发送停止视频投放的请求，以供车机的中控设备停止显示屏上的视频投放；或者
检测预设时间长度内的安全警告次数是否超出预设次数阈值，若是，向车机的中控设备发送停止视频投放的请求，以供车机的中控设备停止显示屏上的视频投放。
进一步可选地，安全控制模块303，用于若预设时间长度内的安全警告次数未超出预设次数阈值，继续发出安全警告。
进一步可选地，安全控制模块303，用于通过车机的中控设备控制车载音响发出安全警告。
本实施例的车机行驶的安全控制装置300，通过采用上述模块实现车机行驶的安全控制的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图5所示，是根据本申请实施例的实现车机行驶的安全控制方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器501为例。
存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的车机行驶的安全控制方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的车机行驶的安全控制方法。
存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的车机行驶的安全控制方法对应的程序指令/模块(例如，附图4所示的相关模块)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的车机行驶的安全控制方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储实现车机行驶的安全控制方法的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至实现车机行驶的安全控制方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现车机行驶的安全控制方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。
输入装置503可接收输入的数字或字符信息，以及产生与实现车机行驶的安全控制方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过追踪驾驶员的眼球，检测驾驶员的眼睛是否在斜视显示屏；若是，进一步检测驾驶员的眼球在当前位置的停留时长是否超过预设时长阈值；若是，执行安全控制操作。本申请，能够弥补现有技术的不足，可以在车机行驶过程中，打开车机上的显示屏，投放视频，并在投放视频过程中，通过追踪驾驶员的眼球，检测驾驶员是否斜视显示屏，并在检测到驾驶员在斜视显示屏时，执行安全控制操作，能够有效地保证行车安全。
通过采用本申请的技术方案做支撑，车机可以在行驶过程中，无论车速高低，都通过显示屏投放视频，为旅行的乘坐消遣。因此，本申请的技术方案，还能够有效地提高车机中的视频投放的灵活性，而且也能够保证视频投放过程中驾驶员的安全驾驶，实用性非常强。
根据本申请实施例的技术方案，可以通过获取驾驶员的眼球移动的绝对距离，判断绝对距离是否超出预设的距离阈值，来检测驾驶员的眼睛是否在斜视显示屏，该检测方式客观、合理，能够有效地保证本实施例的车机行驶的安全控制方案的有效性和合理性。而且，本申请中，在执行安全控制操作时，可以发出安全警告，以警告驾驶员专心安全驾驶。或者还可以向车机的中控设备发送停止视频投放的请求，以供车机的中控设备停止显示屏上的视频投放，以强迫驾驶员专心安全驾驶，都很能够有效地提高车机行驶的安全性。
进一步地，本申请中，获取驾驶员的眼球移动的绝对距离的过程中，还可以参考检测驾驶员的头部是否移动来获取，并在头部未移动时，获取驾驶员的眼球的当前位置到初始定位时所在的参考位置之间的距离作为眼球移动的绝对距离，并在头部移动时，根据头部移动的距离和方向、以及眼球相对于参考位置移动的相对距离和方向，获取眼球移动的绝对距离，能够有效地保证眼球移动的绝对距离获取的准确性，进而能够有效地保证检测驾驶员的眼睛是否在斜视显示屏的检测的准确性，能够有效地提高本实施例技术方案的客观性以及合理性。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (20)

1.一种车机行驶的安全控制方法，其特征在于，包括：
通过追踪驾驶员的眼球，检测所述驾驶员的眼睛是否在斜视显示屏；
若是，进一步检测所述驾驶员的眼球在当前位置的停留时长是否超过预设时长阈值；
若是，执行安全控制操作。
2.根据权利要求1所述的方法，其特征在于，通过追踪驾驶员的眼球，检测所述驾驶员的眼睛是否在斜视显示屏，包括：
通过跟踪所述驾驶员的眼球，检测所述驾驶员的眼球是否偏向于所述显示屏侧；
若是，获取所述驾驶员的眼球移动的绝对距离；
判断所述绝对距离是否超出预设的距离阈值；
若是，确定所述驾驶员的眼睛在斜视显示屏。
3.根据权利要求2所述的方法，其特征在于，获取所述驾驶员的眼球移动的绝对距离，包括：
若所述驾驶员的头部未移动，获取所述驾驶员的眼球的当前位置到初始定位时所在的参考位置之间的距离作为所述眼球移动的绝对距离。
4.根据权利要求3所述的方法，其特征在于，通过追踪驾驶员的眼球，检测所述驾驶员的眼睛是否在斜视显示屏之前，还包括：
获取所述驾驶员目视正前方时眼球所在的位置，作为所述参考位置。
5.根据权利要求2所述的方法，其特征在于，获取所述驾驶员的眼球移动的绝对距离，包括：
若所述驾驶员的头部移动，根据头部移动的距离和方向、以及所述眼球相对于所述参考位置移动的相对距离和方向，获取所述眼球移动的绝对距离。
6.根据权利要求3-5任一所述的方法，其特征在于，获取所述驾驶员的眼球移动的绝对距离之前，所述方法还包括：
通过检测所述驾驶员的头部上预设参考点的位置是否发生变化，检测所述驾驶员的头部是否移动。
7.根据权利要求1-5任一所述的方法，其特征在于，执行安全控制操作，包括：
发出安全警告；
向车机的中控设备发送停止视频投放的请求，以供所述车机的中控设备停止所述显示屏上的视频投放；或者
检测预设时间长度内的安全警告次数是否超出预设次数阈值，若是，向车机的中控设备发送停止视频投放的请求，以供所述车机的中控设备停止所述显示屏上的视频投放。
8.根据权利要求7所述的方法，其特征在于，若所述预设时间长度内的安全警告次数未超出所述预设次数阈值，继续发出安全警告。
9.根据权利要求7或者8所述的方法，其特征在于，发出安全警告，包括：通过车机的中控设备控制车载音响发出安全警告。
10.一种车机行驶的安全控制装置，其特征在于，包括：
斜视检测模块，用于通过追踪驾驶员的眼球，检测所述驾驶员的眼睛是否在斜视显示屏；
时长检测模块，用于若所述驾驶员的眼睛是在斜视显示屏，进一步检测所述驾驶员的眼球在当前位置的停留时长是否超过预设时长阈值；
安全控制模块，用于若所述停留时长超过所述预设时长阈值，执行安全控制操作。
11.根据权利要求10所述的装置，其特征在于，所述斜视检测模块，包括：：
眼球检测单元，用于通过跟踪所述驾驶员的眼球，检测所述驾驶员的眼球是否偏向于所述显示屏侧；
距离获取单元，用于若所述驾驶员的眼球偏向于所述显示屏侧，获取所述驾驶员的眼球移动的绝对距离；
距离检测单元，用于判断所述绝对距离是否超出预设的距离阈值；
确定单元，用于若所述绝对距离超出所述预设的距离阈值，确定所述驾驶员的眼睛在斜视显示屏。
12.根据权利要求11所述的装置，其特征在于，所述距离获取单元，用于若所述驾驶员的头部未移动，获取所述驾驶员的眼球的当前位置到初始定位时所在的参考位置之间的距离作为所述眼球移动的绝对距离。
13.根据权利要求12所述的装置，其特征在于，还包括：
位置获取模块，用于获取所述驾驶员目视正前方时眼球所在的位置，作为所述参考位置。
14.根据权利要求11所述的装置，其特征在于，所述距离获取单元，还用于若所述驾驶员的头部移动时，根据头部移动的距离和方向、以及所述眼球相对于所述参考位置移动的相对距离和方向，获取所述眼球移动的绝对距离。
15.根据权利要求12-14任一所述的装置，其特征在于，还包括：
头部检测模块，用于通过检测所述驾驶员的头部上预设参考点的位置是否发生变化，检测所述驾驶员的头部是否移动。
16.根据权利要求10-14任一所述的装置，其特征在于，所述安全控制模块，用于：
发出安全警告；
向车机的中控设备发送停止视频投放的请求，以供所述车机的中控设备停止所述显示屏上的视频投放；或者
检测预设时间长度内的安全警告次数是否超出预设次数阈值，若是，向车机的中控设备发送停止视频投放的请求，以供所述车机的中控设备停止所述显示屏上的视频投放。
17.根据权利要求16所述的装置，其特征在于，所述安全控制模块，用于若所述预设时间长度内的安全警告次数未超出所述预设次数阈值，继续发出安全警告。
18.根据权利要求16或者17所述的装置，其特征在于，所述安全控制模块，用于通过车机的中控设备控制车载音响发出安全警告。
19.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的方法。
CN202010479381.1A 2020-05-29 2020-05-29 车机行驶的安全控制方法、装置、设备以及存储介质 Active CN111731311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010479381.1A CN111731311B (zh) 2020-05-29 2020-05-29 车机行驶的安全控制方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010479381.1A CN111731311B (zh) 2020-05-29 2020-05-29 车机行驶的安全控制方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
CN111731311A true CN111731311A (zh) 2020-10-02
CN111731311B CN111731311B (zh) 2023-04-07

Family

ID=72646587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010479381.1A Active CN111731311B (zh) 2020-05-29 2020-05-29 车机行驶的安全控制方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN111731311B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112793481A (zh) * 2021-01-11 2021-05-14 宁波均联智行科技股份有限公司 一种座舱主动安全方法及系统
CN114360275A (zh) * 2021-12-21 2022-04-15 深圳市七曜智造科技有限公司 一种车载显示屏的控制方法、系统、设备及可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106372568A (zh) * 2015-07-22 2017-02-01 罗伯特·博世有限公司 用于对车辆乘客的视线进行预测的方法和装置
CN108162983A (zh) * 2016-12-07 2018-06-15 法乐第(北京)网络科技有限公司 一种车机视频播放控制方法和装置及移动终端
CN109359512A (zh) * 2018-08-28 2019-02-19 深圳壹账通智能科技有限公司 眼球位置追踪方法、装置、终端及计算机可读存储介质
CN109758167A (zh) * 2017-11-09 2019-05-17 丰田自动车株式会社 驾驶员状态检测装置
CN110254442A (zh) * 2019-07-03 2019-09-20 北京百度网讯科技有限公司 用于控制车辆显示的方法和装置
CN110550042A (zh) * 2018-06-01 2019-12-10 沃尔沃汽车公司 用于辅助驾驶员预防性驾驶的方法和系统
CN110682912A (zh) * 2018-06-19 2020-01-14 阿里巴巴集团控股有限公司 一种数据处理方法、装置和机器可读介质
WO2020061650A1 (en) * 2018-09-28 2020-04-02 Seeing Machines Limited Driver attention state estimation

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106372568A (zh) * 2015-07-22 2017-02-01 罗伯特·博世有限公司 用于对车辆乘客的视线进行预测的方法和装置
CN108162983A (zh) * 2016-12-07 2018-06-15 法乐第(北京)网络科技有限公司 一种车机视频播放控制方法和装置及移动终端
CN109758167A (zh) * 2017-11-09 2019-05-17 丰田自动车株式会社 驾驶员状态检测装置
CN110550042A (zh) * 2018-06-01 2019-12-10 沃尔沃汽车公司 用于辅助驾驶员预防性驾驶的方法和系统
CN110682912A (zh) * 2018-06-19 2020-01-14 阿里巴巴集团控股有限公司 一种数据处理方法、装置和机器可读介质
CN109359512A (zh) * 2018-08-28 2019-02-19 深圳壹账通智能科技有限公司 眼球位置追踪方法、装置、终端及计算机可读存储介质
WO2020061650A1 (en) * 2018-09-28 2020-04-02 Seeing Machines Limited Driver attention state estimation
CN110254442A (zh) * 2019-07-03 2019-09-20 北京百度网讯科技有限公司 用于控制车辆显示的方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112793481A (zh) * 2021-01-11 2021-05-14 宁波均联智行科技股份有限公司 一种座舱主动安全方法及系统
CN112793481B (zh) * 2021-01-11 2021-10-15 宁波均联智行科技股份有限公司 一种座舱主动安全方法及系统
CN114360275A (zh) * 2021-12-21 2022-04-15 深圳市七曜智造科技有限公司 一种车载显示屏的控制方法、系统、设备及可读存储介质

Also Published As

Publication number Publication date
CN111731311B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
US11977675B2 (en) Primary preview region and gaze based driver distraction detection
CN112965502B (zh) 视觉跟踪确认方法、装置、设备及存储介质
JP6343808B2 (ja) 視野算出装置および視野算出方法
CN111731311B (zh) 车机行驶的安全控制方法、装置、设备以及存储介质
EP3577606B1 (en) Maintaining occupant awareness in vehicles
CN112572462B (zh) 自动驾驶的控制方法、装置、电子设备及存储介质
CN111273268B (zh) 自动驾驶障碍物类型的识别方法、装置及电子设备
CN108549880B (zh) 碰撞控制方法及装置、电子设备和存储介质
US20210380115A1 (en) Devices and methods for predicting collisions and/or intersection violations
US20180307834A1 (en) Method and apparatus for anti hacker's hijacking of autonomous vehicle, device and storage medium
WO2018144537A1 (en) Machine learning based driver assistance
CN111611901A (zh) 车辆逆行检测方法、装置、设备以及存储介质
CN105488957A (zh) 疲劳驾驶检测方法及装置
WO2017044525A1 (en) Intention recognition
US10394321B2 (en) Information acquiring method, information acquiring apparatus, and user equipment
CN113370911A (zh) 车载传感器的位姿调整方法、装置、设备和介质
CN110502018B (zh) 确定车辆安全区域的方法、装置、电子设备及存储介质
CN111693062B (zh) 环岛路线导航的方法、装置、电子设备及存储介质
CN112477878A (zh) 自动驾驶车辆的驾驶决策共享方法、装置、设备和介质
KR20140070861A (ko) 멀티 모달 ｈｍｉ 제어 장치 및 방법
CN112287795A (zh) 异常驾驶姿态检测方法、装置、设备、车辆和介质
JP2021140785A (ja) 注意に基づいた通知
CN110764509A (zh) 任务调度方法、装置、设备及计算机可读存储介质
CN111693038B (zh) 路线导航方法及装置
CN106394407B (zh) 一种车载智能后视镜系统及其控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211018

Address after: 100176 101, floor 1, building 1, yard 7, Ruihe West 2nd Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant after: Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd.

Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085

Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant