CN101030316B - 一种汽车安全驾驶监控系统和方法 - Google Patents
一种汽车安全驾驶监控系统和方法 Download PDFInfo
- Publication number
- CN101030316B CN101030316B CN2007100984123A CN200710098412A CN101030316B CN 101030316 B CN101030316 B CN 101030316B CN 2007100984123 A CN2007100984123 A CN 2007100984123A CN 200710098412 A CN200710098412 A CN 200710098412A CN 101030316 B CN101030316 B CN 101030316B
- Authority
- CN
- China
- Prior art keywords
- driver
- vehicle
- people
- module
- car
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 76
- 230000014509 gene expression Effects 0.000 claims abstract description 27
- 238000012360 testing method Methods 0.000 claims description 15
- 238000009434 installation Methods 0.000 claims description 13
- 210000000744 eyelid Anatomy 0.000 claims description 9
- 230000036651 mood Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 4
- 206010016256 fatigue Diseases 0.000 description 11
- 238000010586 diagram Methods 0.000 description 5
- 230000002996 emotional effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 206010022998 Irritability Diseases 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种汽车安全驾驶监控系统和方法，用以提高汽车驾驶的安全性。本发明技术方案中，不仅关心汽车驾驶员的疲劳程度，还关心汽车驾驶员的情绪因素，较好地保证了汽车行驶安全。另外，本发明技术方案中，还同时关心本车外的客观因素，具体地，采用人脸检测和/或人体检测和/或汽车检测方法检测图像采集设备摄取到的本车之外的图像中包含的人和/或车辆的大小，根据检测出的所述人和/或车辆的大小以及该图像采集设备的安装位置，确定所述人和/或车辆对本车的危险程度，以及根据该确定出的危险程度判断是否需要提醒汽车驾驶员，从而进一步保障了汽车驾驶的安全性。采用本发明技术方案，可以提高汽车驾驶的安全性。
Description
技术领域
本发明涉及一种汽车安全驾驶监控系统和方法。
背景技术
目前，交通事故是现代社会威胁人类生命的重要因素之一，因此，汽车行驶安全位于客户对汽车性能要求的核心，消费者普遍认为，汽车的安全性比汽车的动力性、舒适性、经济性更加重要，汽车安全需求是汽车领域增长最强劲的需求之一。
汽车行驶不安全的因素主要包括两个方面，一方面是汽车驾驶员的主观因素，如暴躁等不良的驾驶情绪或者疲惫的精神状态等；另一方面是来自本车外的客观因素，如周围的车辆、行人状态等。
而发明人研究发现，现有汽车安全驾驶监控系统割裂了上述影响汽车行驶安全的两大因素：驾驶员主观因素和本车外的客观因素之间的关系，只关注驾驶员状态，或者只关心汽车周围环境。
并且，在现有汽车安全监控系统中，对驾驶员状态的关注只根据眼睛是否常常闭合判定汽车驾驶员疲劳状态，而没有关注汽车驾驶员的情绪因素。
发明内容
本发明提供一种汽车安全驾驶监控系统和方法，用以提高汽车驾驶的安全性。
为了解决上述问题，本发明提供了一种汽车安全驾驶监控系统，包括：第一图像采集模块，用于摄取汽车驾驶员的图像并输出给第一检测模块和第二检测模块；第一检测模块，用于检测汽车驾驶员的表情；第二检测模块，用于检测所述汽车驾驶员的眼睛开闭状态，对于第一图像采集模块采集得到的汽车驾驶员的每帧图像，采用主动形状模型ASM定位上眼睑和下眼睑上特征点，计算所述定位出的上眼睑上特征点和下眼睑上特征点之间的距离，当所述距离小于第一阈值时，确定驾驶员的眼睛处于闭合状态；并统计单位时间内驾驶员的眼睛处于闭合状态的帧数，当所述帧数大于第二阈值时，确定驾驶员处于闭眼状态；第一判断模块，用于判断所述第一检测模块和/或第二检测模块的检测结果是否为不适于驾驶；提示模块，用于在所述第一判断模块判断出所述检测结果为不适于驾驶时提醒所述汽车驾驶员；第二图像采集模块，用于摄取本车之外的图像并输出给第三检测模块；第三检测模块，用于采用人脸检测和/或人体检测和/或汽车检测方法检测第二图像采集模块摄取到的本车之外的图像中包含的人和/或车辆的大小，根据检测出的所述人和/或车辆的大小以及该第二图像采集模块的安装位置，确定所述人和/或车辆对本车的危险程度；第二判断模块，用于判断所述危险程度是否高于第一设定阈值，并在判断出所述危险程度高于第一设定阈值时指示所述提示模块提醒所述汽车驾驶员。
进一步地，所述第二判断模块还包括：排序模块，用于在多个人和/或车辆对本车的危险程度都高于第一设定阈值时，根据各所述人和/或车辆对本车的危险程度确定提醒所述汽车驾驶员的优先级。进一步地，所述第三检测模块包括：第一检测单元，用于检测第二图像采集模块摄取到的本车之外的图像中包含的人和/或车辆的大小，根据检测出的所述人和/或车辆的大小以及该第二图像采集模块的安装位置，确定所述人和/或车辆与本车之间的距离，并根据所述距离确定所述危险程度。进一步地，所述第三检测模块还包括：第二检测单元，用于检测第二图像采集模块摄取到的本车之外的图像中包含的人和/或车辆的大小，根据检测出的所述人和/或车辆的大小以及该第二图像采集模块的安装位置，确定所述人和/或车辆与本车之间的距离和方位，并根据所述距离和方位确定所述危险程度。进一步地，所述系统还包括：速度检测模块，用于检测所述人和/或车辆与本车之间的相对速度；阈值设定模块，用于根据所述相对速度确定所述危险程度的第一设定阈值并通知所述第二判断模块。进一步地，所述系统还包括：强制处理模块，用于在所述第一判断模块判断出的不适于驾驶的程度超过第二设定阈值时，强制要求所述汽车驾驶员停止所述汽车。进一步地，所述系统包括：记录模块，用于记录所述第一图像采集模块和第二图像采集模块摄取的部分或者全部图像。
本发明还提供了一种汽车安全驾驶监控方法，包括：根据第一图像采集模块摄取到的汽车驾驶员的图像，检测汽车驾驶员的表情以及眼睛开闭状态，其中所述检测汽车驾驶员的眼睛开闭状态具体为，对于第一图像采集模块摄取到的汽车驾驶员的每帧图像，采用ASM定位上眼睑和下眼睑上特征点；计算所述定位出的上眼睑上特征点和下眼睑上特征点之间的距离，当所述距离小于第一阈值时，确定驾驶员的眼睛处于闭合状态；并统计单位时间内驾驶员的眼睛处于闭合状态的帧数，当所述帧数大于第二阈值时，确定驾驶员处于闭眼状态；判断所述检测的结果是否为不适于驾驶，并判断出不适于驾驶时提醒所述汽车驾驶员；采用人脸检测和/或人体检测和/或汽车检测方法检测第二图像采集模块摄取到的本车之外的图像中包含的人和/或车辆的大小，根据检测出的人和/或车辆的大小以及该第二图像采集模块的安装位置，确定所述人和/或车辆对本车的危险程度；判断所述危险程度是否高于第一设定阈值，并在判断出所述危险程度高于第一设定阈值时提醒所述汽车驾驶员。
进一步地，所述检测汽车驾驶员的表情以及眼睛开闭状态具体包括：采用人脸检测、人脸跟踪、脸部特征点定位、脸部特征点跟踪中的任意一种或者几种算法对所述汽车驾驶员的脸部特征点进行定位或者跟踪。进一步地，判断所述检测结果是否为不适于驾驶的具体方法包括：在确定驾驶员处于闭眼状态时，判定所述汽车驾驶员不适于驾驶。进一步地，判断所述检测结果是否为不适于驾驶的具体方法包括：判断所述汽车驾驶员的表情是否满足设定的不适于驾驶的情绪，并在满足时判断所述汽车驾驶员不适于驾驶。进一步地，在多个所述人和/或车辆对本车的危险程度都高于第一设定阈值时，根据各所述人和/或车辆对本车的危险程度确定提醒所述汽车驾驶员的优先级。进一步地，确定所述危险程度的具体方法包括：根据检测出的人和/或车辆的大小以及该第二图像采集模块的安装位置，确定所述人和/或车辆与本车之间的距离，并根据所述距离确定所述危险程度。进一步地，确定所述危险程度的具体方法包括：根据检测出的人和/或车辆的大小以及该第二图像采集模块的安装位置，确定所述人和/或车辆与本车之间的距离和方位，并根据所述距离和方位确定所述危险程度。进一步地，确定所述危险程度的设定阈值的具体方法包括：确定所述危险程度的第一设定阈值的具体方法包括：检测所述人和/或车辆与本车之间的相对速度；并根据所述相对速度确定所述危险程度的第一设定阈值。进一步地，在判断出所述不适于驾驶的程度超过第二设定阈值时，强制要求所述汽车驾驶员停止所述汽车。
采用本发明技术方案，不仅检测汽车驾驶员眼睛开闭状态，还检测汽车驾驶员的表情，从而全面地获知了汽车驾驶员的主观因素，并根据汽车驾驶员的主观因素是否适于驾驶来进行后续处理，从而提高了汽车驾驶的安全性。
另外，本发明技术方案中，还同时关心驾驶员主观因素和本车外的客观因素，进一步保障了汽车驾驶的安全性。
附图说明
图1为本发明实施例一中汽车安全驾驶监控流程图；
图2为本发明实施例一的一个实例中获得表情识别模型的流程图；
图3为本发明实施例二中汽车安全驾驶监控流程图；
图4为本发明实施例三中汽车安全驾驶监控系统框图；
图5为本发明实施例四中汽车安全驾驶监控系统框图。
具体实施方式
本发明中，检测汽车驾驶员的表情以及眼睛开闭状态；判断该检测结果是否为不适于驾驶，并判断出不适于驾驶时提醒该汽车驾驶员。从而不仅关心汽车驾驶员的疲劳程度，还关心汽车驾驶员的情绪因素，更好地保证了汽车行驶安全。
另外，本发明实施例中，还检测本车之外的危险因素的危险程度；并且判断该危险程度是否高于设定阈值，并在判断出该危险程度高于设定阈值时提醒汽车驾驶员。从而不仅关心了汽车驾驶员的主观因素，还关心了本车外的客观因素，进一步地保证了汽车行驶安全。
下面结合附图对本发明实施例做进一步地描述。
实施例一
在实施例一中，在汽车驾驶员的前方布置监控摄像头并进行视频图像采集，根据采集得到的图像进行汽车安全驾驶监控，并且不仅关心汽车驾驶员的疲劳程度，还关心汽车驾驶员的情绪因素。其具体方法如图1所示，包括以下步骤：
步骤S101，采集汽车驾驶员的视频图像；
步骤S102，根据该视频图像检测汽车驾驶员的表情以及眼睛开闭状态；
在本步骤中，可以采用人脸检测、人脸跟踪、脸部特征点定位、脸部特征点跟踪中的任意一种或者几种算法对汽车驾驶员的脸部特征点进行定位或者跟踪。上述提到的脸部特征点可以包括眼睛中心、眼角点、嘴巴中心、嘴角点、眉毛等对表情识别、眼睛开闭状态判定有用的特征点，具体取决于所采用的表情识别、眼睛开闭状态判别算法的需要。
其中，脸部特征点定位可以采用基于ASM(主动形状模型)模型的人脸特征点定位方法，为了加快速度，可以采用块匹配的方法进行特征点跟踪，为了增加鲁棒性，可以采用间隔一定帧数采用ASM模型重新检测矫正跟踪结果的方式。
在检测汽车驾驶员的眼睛开闭状态时，可以在脸部特征点定位跟踪结果基础上，根据眼睛上下眼睑特征点位置、眉毛位置等眼睛相关特征点位置关系来检测并判定眼睛开闭状态。
在检测汽车驾驶员的表情时，具体的人脸表情识别的方法有很多。在实施例一中的一个实例中，本步骤通过表情识别模型来检测汽车驾驶员的表情，而获得表情识别模型的流程如图2所示，包括以下步骤：
步骤1021，采集得到各种不同表情的人脸图像作为训练样本；
步骤1022，采用人脸检测算法和眼睛定位算法获取人脸样本双眼位置，并采用形状和灰度归一化的方法获取人脸区域图像；
步骤1023，对于获取的人脸区域图像，采用ASM器官轮廓特征点定位算法定位其轮廓特征点，并将轮廓特征点归一化从而得到形状无关的人脸图像；
步骤1024，提取形状无关图像的Gabor特征；
步骤1025，采用Adaboost算法挑选Gabor特征中表征能力强的特征；
步骤1026，将挑选得到的特征采用SVM(支持向量机)分类器进行训练得到表情识别模型。
步骤S103，判断该检测结果是否为不适于驾驶，如果是，进行步骤S104；否则，返回步骤S101；
判断该检测结果是否为不适于驾驶的具体方法可以包括：
判断汽车驾驶员的眼睛闭合时长是否超过设定阈值，并在超过该眼睛闭合时长的设定阈值时判断汽车驾驶员不适于驾驶，否则判断汽车驾驶员适于驾驶，该眼睛闭合时长的设定阈值可以为根据统计值估计获得的经验值，并且，该眼睛闭合时长可以是汽车驾驶员单次眼睛闭合的时长，也可以是一段时间内总的眼睛闭合时长；其中，根据获取的人脸特征点判定眼睛开闭状态主要将依据包括眼睛上下眼睑特征点位置、眉毛位置等眼睛相关特征点位置进行判定；
实施例一中的一个实例中，对于采集得到的每帧图像，采用ASM定位上眼睑和下眼睑上特征点，假定坐标分别为(xu，yu)和(xd，yd)，定义之间距离为de，当de小于阈值Te时，认为眼睛处于闭合状态。统计单位时间(如一秒)内眼睛处于闭合的帧数，与设定阈值Tf比较，如果大于Tf，则认为驾驶员过多的处于闭眼状态，认定其过于困乏，不适合驾驶。
判断汽车驾驶员的表情是否满足设定的不适于驾驶的情绪，并在满足时判断汽车驾驶员不适于驾驶，否则判断汽车驾驶员适于驾驶，该不适于驾驶的情绪可以包括愤怒、沮丧等。具体可以采用表情识别算法对人脸表情进行判断，该不适于驾驶的情绪可以根据不同需要进行改变和设定。
实施例一中的一个实例中，将驾驶员的情绪分为中性、开心、生气和惊讶和哀伤。并设定不适合驾驶的表情可以包含：哀伤、悲痛，而此外的中性、开心、惊讶等表情则认为不会影响驾驶。
步骤S104，提醒汽车驾驶员其当前不适于驾驶。
在提醒汽车驾驶员时，可以采用语音和/或画面的形式提醒司机当前自己的状态是否适于驾驶，该提醒可以是同一的不适于驾驶提醒，也可以根据判断结果来提醒，例如：统一通过语音提示‘您当前不适于驾驶’来提醒汽车驾驶员，也可以根据不同的判断结果，通过语音提示‘您当前过于疲惫，不适于驾驶’和‘您当前情绪不佳，不适于驾驶’等来提醒汽车驾驶员。同样，可以更细致地区分汽车驾驶员的疲惫程度和情绪不佳程度，例如，在检测到汽车驾驶员在10分钟内眼睛闭合的时长达到2分钟时，在语音提示‘您当前过于疲惫，不适于驾驶’的同时，画面提示‘您当前的疲惫程度为20’；而在检测到汽车驾驶员在10分钟内眼睛闭合的时长达到3分钟时，在语音提示‘您当前过于疲惫，不适于驾驶’的同时，画面提示‘您当前的疲惫程度为30’；从而更好地令汽车驾驶员掌握自己的疲惫程度和情绪不佳程度，更好地保证驾驶安全。
在实施例一中，还可以判断该不适于驾驶的程度是否超过设定阈值，并在超过设定的不适于驾驶的阈值时强制要求汽车驾驶员停止汽车。
实施例二
在实施例二中，在汽车驾驶员的前方布置监控摄像头进行视频图像采集，并在车辆侧面、尾部、前面等合适位置布置周围环境监控摄像头；从而不仅关心了汽车驾驶员的主观因素，还关心了本车外的客观因素。在布置周围环境监控摄像头时，可以根据需要布置一或多个摄像头，摄像头位置也可以根据布置在任意需要关注的位置，并可以重点监控司机不方便看到的位置。
实施例二中的汽车安全驾驶监控方法，如图3所示，可以包括以下步骤：
步骤S201，采集汽车驾驶员的视频图像和本车外的环境视频图像；
步骤S202，根据汽车驾驶员的视频图像检测汽车驾驶员的状态；
具体检测汽车驾驶员的状态的方法可以参见实施例一中的相应部分。
步骤S203，判断该检测结果是否为不适于驾驶，如果是，进行步骤S206；否则，返回步骤S201；
步骤S204，根据本车外的环境视频图像检测本车之外的危险因素的危险程度；
本步骤中的危险因素可以是行人或者其他车辆。
检测该危险程度的具体方法可以包括：
检测该危险因素与本车之间的距离，并根据该距离确定该危险程度；或者
检测该危险因素与本车之间的距离和方位，并根据该距离和方位确定该危险程度。
当本步骤中的危险因素是行人时，可以通过周围环境监控摄像头采集的视频图像进行人体检测，从而判定是否存在行人、行人大小等信息，并根据摄像头摆放位置和行人大小判定行人距离本车的大概距离和方向。还可以通过周围环境监控摄像头采集的视频图像进行人脸检测，判定是否存在人脸、人脸大小，并根据摄像头摆放位置和人脸大小判定人脸距离本车距离和方向。
由于在进行人脸检测时，检测到的人脸可能是行人的，也可能是车辆里的乘客的，因此，当本步骤中的危险因素是车辆时，同样可以通过人脸检测来进行。
另外，可以周围环境监控摄像头采集的视频图像进行车辆检测，判定是否存在汽车、汽车大小等信息，并根据摄像头摆放位置和汽车大小判定汽车距离本车的大概距离和方向。
上述提及的人脸检测、人体检测、车辆检测均属于物体检测(object detection)领域，采用物体检测技术能获得图像中物体的位置、大小，根据图像采集设备的安装方式以及图像中的物体的大小，可以判定人或者车距离本车的距离是否在满足安全要求的范围。根据图像采集设备安装位置以及采集图像中物体的位置变化，可以估计出人或者其他车辆的速度。
步骤S205，判断该危险程度是否高于设定阈值，如果是，进行步骤S206；否则，返回步骤S201；
在实施例二中，步骤S203和步骤S205没有一定的先后顺序。
在本步骤中，该危险程度的设定阈值可以是根据统计值估计得到的经验值来固定设置的，也可以通过检测该危险因素与本车之间的相对速度；并根据该相对速度确定该危险程度的设定阈值。
步骤S206，提醒汽车驾驶员。
在本步骤中，可以提醒汽车驾驶员其当前不适于驾驶和/或本车之外的危险因素及其危险程度。
在多个危险因素的危险程度都高于设定阈值时，根据各危险因素的危险程度确定其提醒汽车驾驶员的优先级。例如，在实施例二的一个实例中，行人A和车辆B都位于本车的正前方，行人A距离本车2米，与本车的相对速度为0.5米/s，车辆B距离本车3米，与本车的相对速度为5米/s，假设行人A和车辆B与本车的相对速度恒定，则可以知道，本车与行人A相遇的时间为4s后，而与车辆B相遇的时间为0.6m，因此，即使行人A和车辆B的危险程度都达到了相应的危险程度的阈值，但是由于可以认为车辆B的危险程度更高，因此，优先提醒汽车驾驶员车辆B的相关信息。通过设置优先级，可以更好地帮助司机注意危险和做出判断。在根据本车外的危险因素提醒汽车驾驶员时，可以通过播放包括该危险因素的画面和/或语音提示等方法来实现。
另外，可以保存部分或者全部周围环境监控摄像头摄取到的视频图像，这样，一旦发生交通事故，则可以通过保存的视频图像进行现场情况分析，为判定当事人责任提供证据，也为交通事故起因分析提供资料，还可以为司机提供宝贵经验。在保存视频图像时，为了节约存储空间，可以只保存之前十分钟的视频图像，也可以只保存其中一个或者几个周围环境监控摄像头摄取到的视频图像。
本实施例中相同和相应的部分可以参见实施例一中的内容。
实施例三
实施例三中的汽车安全驾驶监控系统，如图4所示，包括：
第一检测模块100，用于检测汽车驾驶员的表情；
第二检测模块110，用于检测汽车驾驶员的眼睛开闭状态；
第一判断模块120，用于判断第一检测模块100和/或第二检测模块110的检测结果是否为不适于驾驶；
提示模块130，用于在第一判断模块120判断出该检测结果为不适于驾驶时提醒汽车驾驶员。
该系统还可以包括强制处理模块140，用于在第一判断模块120判断出的不适于驾驶的程度超过设定阈值时，强制要求汽车驾驶员停止汽车。
采用实施例三中的汽车安全驾驶监控系统，可以同时关注汽车驾驶员的情绪和精神状态，提高驾驶安全性。
实施例四
实施例四中的汽车安全驾驶监控系统，如图5所示，包括第一检测模块100、第二检测模块110、第三检测模块150、第一判断模块120、第二判断模块160和提示模块130，其中：
第一检测模块100，用于检测汽车驾驶员的表情；
第二检测模块110，用于检测汽车驾驶员的眼睛开闭状态；
第一判断模块120，用于判断第一检测模块100和/或第二检测模块110的检测结果是否为不适于驾驶，并在判断出不适于驾驶时指示提示模块130提醒汽车驾驶员；
第三检测模块150，用于检测本车之外的危险因素的危险程度；
第二判断模块160，用于判断第三检测模块150检测到的危险程度是否高于设定阈值，并在判断出该危险程度高于设定阈值时指示提示模块130提醒汽车驾驶员；
提示模块130，用于提醒汽车驾驶员。
该第二判断模块160还可以包括：排序模块，用于在多个危险因素的危险程度都高于设定阈值时，根据各危险因素的危险程度确定其提醒汽车驾驶员的优先级。
该第三检测模块150可以包括第一检测单元，用于检测危险因素与本车之间的距离，并根据该距离确定危险程度。
该第三检测模块150可以包括第二检测单元，用于检测该危险因素与本车之间的距离和方位，并根据该距离和方位确定危险程度。
上述系统还可以包括：
速度检测模块170，用于检测危险因素与本车之间的相对速度；
阈值设定模块180，用于根据该相对速度确定该设定的危险程度阈值并通知第二判断模块160。
上述系统可以包括：
第一图像采集模块190，用于摄取汽车驾驶员的图像并输出给第一检测模块100和第二检测模块110；
第二图像采集模块200，用于摄取本车之外的图像并输出给第三检测模块150和速度检测模块170；
记录模块201，用于记录第一图像采集模块190和第二图像采集模块200摄取的部分或者全部图像。
该系统还可以包括强制处理模块140，用于在第一判断模块120判断出的不适于驾驶的程度超过设定阈值时，强制要求汽车驾驶员停止汽车。
采用实施例四中的汽车安全驾驶监控系统，可以同时关注汽车驾驶员的状态和本车外的环境，更加全面地提高驾驶安全性。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (16)
1.一种汽车安全驾驶监控系统，其特征在于，包括：
第一图像采集模块，用于摄取汽车驾驶员的图像并输出给第一检测模块和第二检测模块；
第一检测模块，用于检测汽车驾驶员的表情；
第二检测模块，用于检测所述汽车驾驶员的眼睛开闭状态，对于第一图像采集模块采集得到的汽车驾驶员的每帧图像，采用主动形状模型ASM定位上眼睑和下眼睑上特征点，计算所述定位出的上眼睑上特征点和下眼睑上特征点之间的距离，当所述距离小于第一阈值时，确定驾驶员的眼睛处于闭合状态；并统计单位时间内驾驶员的眼睛处于闭合状态的帧数，当所述帧数大于第二阈值时，确定驾驶员处于闭眼状态；
第一判断模块，用于判断所述第一检测模块和/或第二检测模块的检测结果是否为不适于驾驶；
提示模块，用于在所述第一判断模块判断出所述检测结果为不适于驾驶时提醒所述汽车驾驶员；
第二图像采集模块，用于摄取本车之外的图像并输出给第三检测模块；
第三检测模块，用于采用人脸检测和/或人体检测和/或汽车检测方法检测第二图像采集模块摄取到的本车之外的图像中包含的人和/或车辆的大小，根据检测出的所述人和/或车辆的大小以及该第二图像采集模块的安装位置，确定所述人和/或车辆对本车的危险程度；
第二判断模块，用于判断所述危险程度是否高于第一设定阈值，并在判断出所述危险程度高于第一设定阈值时指示所述提示模块提醒所述汽车驾驶员。
2.如权利要求1所述的系统，其特征在于，所述第二判断模块还包括：排序模块，用于在多个人和/或车辆对本车的危险程度都高于第一设定阈值时，根据各所述人和/或车辆对本车的危险程度确定提醒所述汽车驾驶员的优先级。
3.如权利要求1所述的系统，其特征在于，所述第三检测模块包括：
第一检测单元，用于检测第二图像采集模块摄取到的本车之外的图像中包含的人和/或车辆的大小，根据检测出的所述人和/或车辆的大小以及该第二图像采集模块的安装位置，确定所述人和/或车辆与本车之间的距离，并根据所述距离确定所述危险程度。
4.如权利要求1所述的系统，其特征在于，所述第三检测模块包括：
第二检测单元，用于检测第二图像采集模块摄取到的本车之外的图像中包含的人和/或车辆的大小，根据检测出的所述人和/或车辆的大小以及该第二图像采集模块的安装位置，确定所述人和/或车辆与本车之间的距离和方位，并根据所述距离和方位确定所述危险程度。
5.如权利要求3或4所述的系统，其特征在于，所述系统还包括：
速度检测模块，用于检测所述人和/或车辆与本车之间的相对速度；
阈值设定模块，用于根据所述相对速度确定所述危险程度的第一设定阈值并通知所述第二判断模块。
6.如权利要求1所述的系统，其特征在于，所述系统还包括：
强制处理模块，用于在所述第一判断模块判断出的不适于驾驶的程度超过第二设定阈值时，强制要求所述汽车驾驶员停止所述汽车。
7.如权利要求1所述的系统，其特征在于，所述系统包括：
记录模块，用于记录所述第一图像采集模块和第二图像采集模块摄取的部分或者全部图像。
8.一种汽车安全驾驶监控方法，其特征在于，包括：
根据第一图像采集模块摄取到的汽车驾驶员的图像，检测汽车驾驶员的表情以及眼睛开闭状态，其中所述检测汽车驾驶员的眼睛开闭状态具体为，对于第一图像采集模块摄取到的汽车驾驶员的每帧图像，采用ASM定位上眼睑和下眼睑上特征点；计算所述定位出的上眼睑上特征点和下眼睑上特征点之间的距离，当所述距离小于第一阈值时，确定驾驶员的眼睛处于闭合状态；并统计单位时间内驾驶员的眼睛处于闭合状态的帧数，当所述帧数大于第二阈值时，确定驾驶员处于闭眼状态；
判断所述检测的结果是否为不适于驾驶，并判断出不适于驾驶时提醒所述汽车驾驶员；
采用人脸检测和/或人体检测和/或汽车检测方法检测第二图像采集模块摄取到的本车之外的图像中包含的人和/或车辆的大小，根据检测出的人和/或车辆的大小以及该第二图像采集模块的安装位置，确定所述人和/或车辆对本车的危险程度；
判断所述危险程度是否高于第一设定阈值，并在判断出所述危险程度高于第一设定阈值时提醒所述汽车驾驶员。
9.如权利要求8所述的方法，其特征在于，所述检测汽车驾驶员的表情以及眼睛开闭状态具体包括：采用人脸检测、人脸跟踪、脸部特征点定位、脸部特征点跟踪中的任意一种或者几种算法对所述汽车驾驶员的脸部特征点进行定位或者跟踪。
10.如权利要求8所述的方法，其特征在于，判断所述检测结果是否为不适于驾驶的具体方法包括：在确定驾驶员处于闭眼状态时，判定所述汽车驾驶员不适于驾驶。
11.如权利要求8或9所述的方法，其特征在于，判断所述检测结果是否为不适于驾驶的具体方法包括：判断所述汽车驾驶员的表情是否满足设定的不适于驾驶的情绪，并在满足时判断所述汽车驾驶员不适于驾驶。
12.如权利要求8所述的方法，其特征在于，在多个所述人和/或车辆对本车的危险程度都高于第一设定阈值时，根据各所述人和/或车辆对本车的危险程度确定提醒所述汽车驾驶员的优先级。
13.如权利要求12所述的方法，其特征在于，确定所述危险程度的具体方法包括：根据检测出的人和/或车辆的大小以及该第二图像采集模块的安装位置，确定所述人和/或车辆与本车之间的距离，并根据所述距离确定所述危险程度。
14.如权利要求12所述的方法，其特征在于，确定所述危险程度的具体方法包括：根据检测出的人和/或车辆的大小以及该第二图像采集模块的安装位置，确定所述人和/或车辆与本车之间的距离和方位，并根据所述距离和方位确定所述危险程度。
15.如权利要求13或14所述的方法，其特征在于，确定所述危险程度的第一设定阈值的具体方法包括：检测所述人和/或车辆与本车之间的相对速度；并根据所述相对速度确定所述危险程度的第一设定阈值。
16.如权利要求8所述的方法，其特征在于，在判断出所述不适于驾驶的程度超过第二设定阈值时，强制要求所述汽车驾驶员停止所述汽车。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2007100984123A CN101030316B (zh) | 2007-04-17 | 2007-04-17 | 一种汽车安全驾驶监控系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2007100984123A CN101030316B (zh) | 2007-04-17 | 2007-04-17 | 一种汽车安全驾驶监控系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101030316A CN101030316A (zh) | 2007-09-05 |
| CN101030316B true CN101030316B (zh) | 2010-04-21 |
Family
ID=38715637
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2007100984123A Active CN101030316B (zh) | 2007-04-17 | 2007-04-17 | 一种汽车安全驾驶监控系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101030316B (zh) |
Families Citing this family (78)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101178769B (zh) * | 2007-12-10 | 2013-03-27 | 北京中星微电子有限公司 | 健康保护装置及其实现方法 |
| CN101470935B (zh) * | 2007-12-26 | 2010-11-03 | 南京理工大学 | 关键岗位职守人员状态监控与信息提示方法及其实现装置 |
| CN101278839B (zh) * | 2008-05-22 | 2010-10-13 | 曹宇 | 夜间驾驶跟踪方法 |
| WO2010092860A1 (ja) * | 2009-02-13 | 2010-08-19 | トヨタ自動車株式会社 | 生体状態推定装置及び車両制御装置 |
| US8489253B2 (en) * | 2009-09-30 | 2013-07-16 | Honda Motor Co., Ltd. | Driver state assessment device |
| EP2564777B1 (en) * | 2011-09-02 | 2017-06-07 | Volvo Car Corporation | Method for classification of eye closures |
| CN102592593B (zh) * | 2012-03-31 | 2014-01-01 | 山东大学 | 一种考虑语音中多线性群组稀疏特性的情绪特征提取方法 |
| CN102647581B (zh) * | 2012-04-27 | 2015-05-20 | 浙江晨鹰科技有限公司 | 一种视频监控方法及系统 |
| CN102647582B (zh) * | 2012-04-27 | 2015-06-03 | 浙江晨鹰科技有限公司 | 一种视频监控方法及系统 |
| CN102874259B (zh) * | 2012-06-15 | 2015-12-09 | 浙江吉利汽车研究院有限公司杭州分公司 | 一种汽车驾驶员情绪监视及车辆控制系统 |
| CN102991507A (zh) * | 2012-11-27 | 2013-03-27 | 杨伟 | 汽车辅助驾驶方法 |
| CN103871200B (zh) * | 2012-12-14 | 2016-06-08 | 深圳市赛格导航科技股份有限公司 | 用于汽车驾驶的安全提醒系统及方法 |
| US9967522B2 (en) * | 2013-02-27 | 2018-05-08 | GM Global Technology Operations LLC | Driver monitoring camera system |
| WO2014168492A1 (en) * | 2013-04-10 | 2014-10-16 | Auckland Uniservices Limited | Head and eye tracking |
| CN104385984B (zh) * | 2013-06-08 | 2016-08-24 | 嘉兴市瑞曼汽车电子科技有限公司 | 汽车驾驶员疲劳状态预判系统 |
| CN103976749A (zh) * | 2013-06-09 | 2014-08-13 | 湖南纽思曼导航定位科技有限公司 | 一种实时疲劳提示的方法及装置 |
| JP6095781B2 (ja) * | 2013-07-18 | 2017-03-15 | 三菱電機株式会社 | 情報提示装置及び情報提示方法 |
| CN103680058A (zh) * | 2013-12-09 | 2014-03-26 | 灏泷智能科技（上海）有限公司 | 一种疲劳驾驶监测提醒系统 |
| CN104794855B (zh) * | 2014-01-22 | 2018-06-22 | 径卫视觉科技（上海）有限公司 | 驾驶员注意力综合评估装置 |
| CN104794856B (zh) * | 2014-01-22 | 2018-06-22 | 径卫视觉科技（上海）有限公司 | 驾驶员注意力综合测评系统 |
| CN103956028B (zh) * | 2014-04-23 | 2016-01-20 | 山东大学 | 一种汽车多元驾驶安全防护方法 |
| CN105292124A (zh) * | 2014-06-19 | 2016-02-03 | 西安中兴新软件有限责任公司 | 一种驾驶监测方法和装置 |
| DE102014108684B4 (de) | 2014-06-20 | 2024-02-22 | Knorr-Bremse Systeme für Nutzfahrzeuge GmbH | Fahrzeug mit Umfeldüberwachungseinrichtung sowie Verfahren zum Betreiben einer solchen Überwachungseinrichtung |
| CN104257392B (zh) * | 2014-09-26 | 2016-06-22 | 马天驰 | 一种疲劳驾驶检测提醒的方法及检测提醒装置 |
| CN105894732A (zh) * | 2014-10-28 | 2016-08-24 | 中国科学院西安光学精密机械研究所 | 一种疲劳驾驶监测系统 |
| CN104573725B (zh) * | 2015-01-09 | 2018-02-23 | 安徽清新互联信息科技有限公司 | 一种基于俯视特征的盲驾检测方法 |
| CN104851435B (zh) * | 2015-06-06 | 2016-11-30 | 未来汽车科技（深圳）有限公司 | 一种基于网络通信的音乐智能化播放方法 |
| CN104835518B (zh) * | 2015-06-06 | 2016-06-15 | 湖南索菱汽车电子科技有限公司 | 基于网络通信的音乐智能化播放系统 |
| CN106327801B (zh) * | 2015-07-07 | 2019-07-26 | 北京易车互联信息技术有限公司 | 疲劳驾驶检测方法和装置 |
| CN105011952B (zh) * | 2015-08-07 | 2018-03-16 | 北京环度智慧智能技术研究所有限公司 | 驾驶员极速测评系统及方法 |
| CN105160913B (zh) * | 2015-08-17 | 2018-02-06 | 上海斐讯数据通信技术有限公司 | 一种规范驾驶人驾驶行为的方法及装置 |
| CN105139584B (zh) * | 2015-09-30 | 2017-12-12 | 宇龙计算机通信科技(深圳)有限公司 | 一种疲劳驾驶处理方法及装置 |
| CN105354986B (zh) * | 2015-11-12 | 2017-12-01 | 熊强 | 汽车司机驾驶状态监测系统及方法 |
| CN106127155A (zh) * | 2016-06-22 | 2016-11-16 | 广东工业大学 | 一种行车危险识别方法和系统 |
| CN106126960A (zh) * | 2016-07-25 | 2016-11-16 | 东软集团股份有限公司 | 驾驶安全评估方法及装置 |
| CN106097657A (zh) * | 2016-08-09 | 2016-11-09 | 乐视控股（北京）有限公司 | 一种提醒方法、装置和车辆 |
| CN106355838A (zh) * | 2016-10-28 | 2017-01-25 | 深圳市美通视讯科技有限公司 | 一种疲劳驾驶检测方法和系统 |
| CN108090393A (zh) * | 2016-11-10 | 2018-05-29 | 厦门雅迅网络股份有限公司 | 基于音视频识别的出租车载客不打表的检测方法及系统 |
| CN106898119A (zh) * | 2017-04-26 | 2017-06-27 | 华迅金安（北京）科技有限公司 | 基于双目摄像头的安全作业智能监控系统及方法 |
| CN107423684A (zh) * | 2017-06-09 | 2017-12-01 | 湖北天业云商网络科技有限公司 | 一种应用于驾驶员疲劳检测的快速人脸定位方法及系统 |
| CN107248310A (zh) * | 2017-06-19 | 2017-10-13 | 深圳市盛路物联通讯技术有限公司 | 一种基于自选车位的停车收费管控方法及系统 |
| CN107452078A (zh) * | 2017-06-19 | 2017-12-08 | 深圳市盛路物联通讯技术有限公司 | 一种停车收费管理方法及系统 |
| CN107464441A (zh) * | 2017-06-21 | 2017-12-12 | 深圳市盛路物联通讯技术有限公司 | 一种报价与抢答相结合的停车引导方法及系统 |
| CN107256640A (zh) * | 2017-06-21 | 2017-10-17 | 深圳市盛路物联通讯技术有限公司 | 一种可自选车位的停车导航路径生成系统及方法 |
| CN107204127A (zh) * | 2017-06-21 | 2017-09-26 | 深圳市盛路物联通讯技术有限公司 | 一种基于自选停车场的停车引导系统及方法 |
| CN107195196A (zh) * | 2017-06-21 | 2017-09-22 | 深圳市盛路物联通讯技术有限公司 | 一种停车诱导方法及系统 |
| CN107301786A (zh) * | 2017-06-21 | 2017-10-27 | 深圳市盛路物联通讯技术有限公司 | 一种停车引导路径的生成方法及系统 |
| CN107248314A (zh) * | 2017-06-21 | 2017-10-13 | 深圳市盛路物联通讯技术有限公司 | 一种基于停车场的停车引导系统及方法 |
| CN107464443A (zh) * | 2017-06-21 | 2017-12-12 | 深圳市盛路物联通讯技术有限公司 | 一种基于时间竞争的停车位预订系统及方法 |
| CN107204123A (zh) * | 2017-06-21 | 2017-09-26 | 深圳市盛路物联通讯技术有限公司 | 一种结合天气信息的车辆停车引导系统及方法 |
| CN107464440B (zh) * | 2017-06-21 | 2020-12-01 | 深圳市盛路物联通讯技术有限公司 | 一种停车位智能引导方法及系统 |
| CN107293148A (zh) * | 2017-06-21 | 2017-10-24 | 深圳市盛路物联通讯技术有限公司 | 一种停车位指引方法及系统 |
| CN107230384B (zh) * | 2017-06-21 | 2020-09-25 | 深圳市盛路物联通讯技术有限公司 | 基于期望停车时长和天气信息的停车引导系统及方法 |
| CN107424434A (zh) * | 2017-06-21 | 2017-12-01 | 深圳市盛路物联通讯技术有限公司 | 一种应用于智慧城市的停车位预约方法及系统 |
| CN107195195A (zh) * | 2017-06-21 | 2017-09-22 | 深圳市盛路物联通讯技术有限公司 | 一种基于车场的停车诱导系统及方法 |
| CN107240292A (zh) * | 2017-06-21 | 2017-10-10 | 深圳市盛路物联通讯技术有限公司 | 一种基于驾驶员自身停车技能的停车诱导方法及系统 |
| CN107464442A (zh) * | 2017-06-21 | 2017-12-12 | 深圳市盛路物联通讯技术有限公司 | 一种基于期望停车时长的停车诱导方法及系统 |
| CN107248315A (zh) * | 2017-06-21 | 2017-10-13 | 深圳市盛路物联通讯技术有限公司 | 一种停车导航路径的推荐系统及方法 |
| CN107424435A (zh) * | 2017-06-21 | 2017-12-01 | 深圳市盛路物联通讯技术有限公司 | 一种城市环境下的停车位预约系统及方法 |
| CN107230383A (zh) * | 2017-06-21 | 2017-10-03 | 深圳市盛路物联通讯技术有限公司 | 一种基于竞价的停车位引导方法及系统 |
| CN107358218A (zh) * | 2017-07-24 | 2017-11-17 | 英锐科技(深圳)有限公司 | 疲劳检测方法和使用该方法的疲劳检测系统 |
| CN109803583A (zh) * | 2017-08-10 | 2019-05-24 | 北京市商汤科技开发有限公司 | 驾驶状态监控方法、装置和电子设备 |
| US10745019B2 (en) | 2017-12-18 | 2020-08-18 | International Business Machines Corporation | Automatic and personalized control of driver assistance components |
| CN108259758B (zh) * | 2018-03-18 | 2020-10-09 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质和电子设备 |
| CN110395260B (zh) * | 2018-04-20 | 2021-12-07 | 比亚迪股份有限公司 | 车辆、安全驾驶方法和装置 |
| WO2019205007A1 (en) | 2018-04-25 | 2019-10-31 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for blink action recognition based on facial feature points |
| CN108615014B (zh) | 2018-04-27 | 2022-06-21 | 京东方科技集团股份有限公司 | 一种眼睛状态的检测方法、装置、设备和介质 |
| CN108921418B (zh) * | 2018-06-26 | 2022-03-25 | 成都爱车保信息技术有限公司 | 一种基于汽车定位及综合信息大数据的驾驶风险评估方法 |
| CN110766912B (zh) * | 2018-07-27 | 2022-03-18 | 长沙智能驾驶研究院有限公司 | 驾驶预警方法、设备及计算机可读存储介质 |
| CN109044380A (zh) * | 2018-09-19 | 2018-12-21 | 西藏帝亚维新能源汽车有限公司 | 一种驾驶员状态检测装置和状态检测方法 |
| FR3090171B1 (fr) * | 2018-12-13 | 2021-01-29 | Continental Automotive France | Procédé de détermination d’un niveau de somnolence d’un conducteur de véhicule |
| CN110001652B (zh) * | 2019-03-26 | 2020-06-23 | 深圳市科思创动科技有限公司 | 驾驶员状态的监测方法、装置及终端设备 |
| CN112084820B (zh) * | 2019-06-14 | 2022-06-24 | 魔门塔(苏州)科技有限公司 | 一种基于头部信息的人员状态检测方法及装置 |
| CN111444755B (zh) * | 2019-11-01 | 2020-11-13 | 爱保科技有限公司 | 基于场景检测大数据的警戒等级升降系统以及相应终端 |
| CN114596687A (zh) * | 2020-12-01 | 2022-06-07 | 咸瑞科技股份有限公司 | 车内驾驶监测系统 |
| CN113276827A (zh) * | 2021-05-26 | 2021-08-20 | 朱芮叶 | 电动汽车能源回收系统控制方法、系统以及汽车 |
| CN113990030A (zh) * | 2021-10-19 | 2022-01-28 | 车泰数据科技(无锡)有限公司 | 一种驾驶员安全监控系统 |
| CN115315047A (zh) * | 2022-09-06 | 2022-11-08 | 中国第一汽车股份有限公司 | 汽车室内灯光亮度调节方法、装置、电子设备以及介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1782668A (zh) * | 2004-12-03 | 2006-06-07 | 曾俊元 | 以视频感知的障碍物防撞方法与装置 |
-
2007
- 2007-04-17 CN CN2007100984123A patent/CN101030316B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1782668A (zh) * | 2004-12-03 | 2006-06-07 | 曾俊元 | 以视频感知的障碍物防撞方法与装置 |
Non-Patent Citations (2)
| Title |
|---|
| 韩相军，关永，王雪立.基于DSP的疲劳驾驶实时监测系统研究.微机发展16 2.2006,16(2),47-49,52. |
| 韩相军，关永，王雪立.基于DSP的疲劳驾驶实时监测系统研究.微机发展16 2.2006,16(2),47-49,52. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101030316A (zh) | 2007-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101030316B (zh) | 一种汽车安全驾驶监控系统和方法 | |
| US11816983B2 (en) | Helmet wearing determination method, helmet wearing determination system, helmet wearing determination apparatus, and program | |
| CN111274881B (zh) | 驾驶安全的监控方法、装置、计算机设备及存储介质 | |
| CN108995654B (zh) | 一种驾驶员状态识别方法及系统 | |
| CN101593425B (zh) | 一种基于机器视觉的疲劳驾驶监控方法及系统 | |
| CN107067718B (zh) | 交通事故责任评估方法、交通事故责任评估装置以及交通事故责任评估系统 | |
| CN104183091A (zh) | 一种自适应调整疲劳驾驶预警系统灵敏度的系统 | |
| CN103871200B (zh) | 用于汽车驾驶的安全提醒系统及方法 | |
| CN101950355B (zh) | 基于数字视频的驾驶员疲劳状态检测方法 | |
| US20120245758A1 (en) | Driving behavior detecting method and apparatus | |
| CN106709420A (zh) | 一种监测营运车辆驾驶人员驾驶行为的方法 | |
| CN109145719B (zh) | 一种驾驶员疲劳状态识别方法及系统 | |
| CN105303830A (zh) | 一种驾驶行为分析系统及分析方法 | |
| CN110765807A (zh) | 驾驶行为分析、处理方法、装置、设备和存储介质 | |
| CN104794855A (zh) | 驾驶员注意力综合评估装置 | |
| CN106080194A (zh) | 防疲劳驾驶的预警方法和系统 | |
| CN103700220A (zh) | 一种疲劳驾驶监控装置 | |
| CN108682119A (zh) | 基于智能手机和智能手表的驾驶员疲劳状态检测方法 | |
| CN105185112A (zh) | 驾驶行为分析识别的方法及系统 | |
| CN112793581B (zh) | 一种方向盘脱手检测方法、系统、计算机设备及存储介质 | |
| CN104239847B (zh) | 行车警示方法及车用电子装置 | |
| CN110751381A (zh) | 一种路怒车辆风险评估和防控方法 | |
| Engelbrecht et al. | Performance comparison of dynamic time warping (DTW) and a maximum likelihood (ML) classifier in measuring driver behavior with smartphones | |
| CN100578148C (zh) | 一种防车侧碰撞警示装置的检测方法 | |
| CN117334047A (zh) | 一种危险驾驶行为检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| ASS | Succession or assignment of patent right |
Owner name: SHANXI ZHONGTIANXIN TECHNOLOGY CO., LTD. Free format text: FORMER OWNER: BEIJING VIMICRO ELECTRONICS CO., LTD. Effective date: 20121211 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: 100083 HAIDIAN, BEIJING TO: 030032 TAIYUAN, SHAANXI PROVINCE |
|
| TR01 | Transfer of patent right |
Effective date of registration: 20121211 Address after: 105, room 3, building 6, Kaiyuan street, Taiyuan economic and Technological Development Zone, Shanxi 030032, China Patentee after: SHANXI VIMICRO TECHNOLOGY CO., LTD. Address before: 100083, Haidian District, Xueyuan Road, Beijing No. 35, Nanjing Ning building, 15 Floor Patentee before: Beijing Vimicro Corporation |