CN101681426A - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN101681426A
CN101681426A CN200880015362A CN200880015362A CN101681426A CN 101681426 A CN101681426 A CN 101681426A CN 200880015362 A CN200880015362 A CN 200880015362A CN 200880015362 A CN200880015362 A CN 200880015362A CN 101681426 A CN101681426 A CN 101681426A
Authority
CN
China
Prior art keywords
processing
priority
image
image processing
unit period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880015362A
Other languages
English (en)
Other versions
CN101681426B (zh
Inventor
田中勇彦
小岛真一
内藤贵志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN101681426A publication Critical patent/CN101681426A/zh
Application granted granted Critical
Publication of CN101681426B publication Critical patent/CN101681426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4812—Task transfer initiation or dispatching by interrupt, e.g. masked
    • G06F9/4831—Task transfer initiation or dispatching by interrupt, e.g. masked with variable priority
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G06F9/4887—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues involving deadlines, e.g. rate based, periodic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一种图像处理设备(1)构造成使得依照为各处理单独设定的优先级为每个单位周期(根据计数器CT的值)设定被执行的处理的组合，并且在由六个单位周期构成的基本周期中执行图像处理。根据从1到6变化的计数器CT的值，有选择地执行面部方向判定处理、视线方向判定处理、眨眼检测处理、打瞌睡判定处理和意识下降级别判定处理。根据图像处理设备(1)，可更有效地执行包括多个处理的图像处理。

Description

图像处理设备和图像处理方法
技术领域
本发明涉及一种图像处理设备和一种图像处理方法。
背景技术
日本专利申请公报No.2003-15816描述了一种面部/视线识别设备，其通过对立体摄像机所拍摄的用户的面部图像数据执行一系列处理，即面部搜索、面部追踪、眨眼检测和视线方向判定，来实时检测用户的面部和视线方向。在此面部/视线识别设备中，减少了导致浪费操作时间的误差以实现高速图像处理。
在一些系统中，例如其中要求实时输出图像处理结果的预碰撞安全系统，必须在预定时间段内完成一系列处理。然而，即使当未出现误差时，图像处理中每个处理的处理时间也不恒定，而是根据例如转移条件和其它中断处理(尤其是多次中断)(参见图8)变化。同时，在许多情况下处理的重要性和要求精度根据处理而变化。因此，还考虑到实时处理和要求精度，难以断言可有效地无区别地执行所有处理。
发明内容
本发明提供一种图像处理设备和一种图像处理方法，其更有效地执行包括多个处理的图像处理。
根据本发明的第一方面的图像处理设备为通过对摄像装置所拍摄的图像数据执行多个处理而在基本周期中执行图像处理的图像处理设备，该设备包括：处理设定装置，其用于依照多个处理中的每一个的优先级为构成基本周期的多个单位周期中的每一个从多个处理中选择被执行的处理并设定所选处理的组合；以及处理装置，其用于依照由处理设定装置所设定的组合执行各个处理。
根据本发明的第一方面的图像处理设备并非构造成使得全部以相同的优先级无区别地执行构成图像处理的多个处理，而是构造成使得依照为各处理单独设定的优先级为每个单位周期设定所执行的处理的组合，并且在由多个单位周期构成的每个基本周期执行图像处理。相应地，可在考虑各处理的优先级的情况下在处理周期(处理时间)的限度内实现最佳处理组合。结果，可有效地执行包括多个处理的图像处理。此图像处理设备能够有效地执行图像处理。因此，当可用资源有限时，例如当用作车载图像处理设备时，该图像处理设备尤其有用，且其可实时获得所需信息。
“处理”的意思是为了从图像数据获得“各种信息片段”而执行的那些。“各种信息片段”包括例如与物体的检测有关的信息、与物体状态的判定有关的信息以及与使用此类信息作出的判定有关的信息。通过设定为了从图像数据获得“各种信息片段”而执行的处理的优先级，并且依照这些优先级为多个单位周期中的每一个设定被执行的处理的组合，可有效地执行图像处理。
处理设定装置可为多个单位周期中的每一个从多个处理中选择被执行的处理并设定所选处理的组合，使得该处理的优先级越高，则该处理在基本周期中的占有率就越高。当以此方式设定在基本周期中的占有率使得该处理的优先级越高，则该处理在基本周期中的占有率就越高时，执行此类处理的次数以及此类处理所用的处理时间增加，这使得可有效地执行图像处理。
处理设定装置可在考虑各个处理的处理时间和要求精度和/或与在基本周期内接收的所拍摄图像的次数相关的执行各处理的要求次数的情况下设定处理的组合。
在具有此结构的情况下，可在考虑每个处理的重要性、更新处理结果的要求频率、处理负荷和要求精度——其为用于设定优先级的标准——的情况下设定各处理的组合，从而可根据各处理的优先级调节每个处理的处理负荷占整个处理负荷的比例。
处理设定装置可设定各处理的组合使得在每个单位周期执行的处理在单个单位周期内完成。
在此情况下，设定各处理的组合使得各处理在一个单位周期内完成，并因此可确保图像处理结果的实时输出。
在此情况下，处理设定装置可设定各处理的组合使得在每个单位周期内执行的各处理的处理时间之和小于单个单位周期的持续时间。
处理设定装置可改变各处理的优先级，并依照所改变的优先级为各个单位周期中从多个处理中选择被执行的处理。当优先级以此方式改变时，可关于取决于条件变化的处理响应于处理的重要性和要求精度而有效地执行图像处理。
图像处理设备还可包括用于检测车辆行驶状态的行驶状态检测装置，摄像装置可安装在车辆内，并且处理设定装置可基于行驶状态检测装置所检测到的车辆行驶状态来设定各个处理的优先级，并依照所设定的优先级为各个单位周期从多个处理中选择被执行的处理。
当对安装在车辆内的摄像装置所拍摄的图像数据执行图像处理时，每个处理的上述优先级和处理负荷受车辆行驶状态例如车辆运动状态和行驶环境的影响。根据依照本发明的第一方面的图像处理设备，基于车辆行驶状态设定各处理的优先级，并且依照所设定的优先级为每个单位周期选择被执行的处理。因此，可根据所拍摄的图像为每个处理设定适当的优先级，并因此可依照这些优先级为每个单位周期选择所执行的处理并设定各处理的组合。结果，可对安装在车辆内的摄像装置所拍摄的图像数据更有效地执行包括多个处理的图像处理。
图像处理设备还可包括用于判定驾驶者状态的驾驶者状态判定装置，摄像装置所拍摄的图像可以是驾驶者的面部图像；并且处理设定装置可基于驾驶者状态判定装置所判定的驾驶者状态来设定每个处理的优先级，并依照所设定的优先级从多个处理中为每个单位周期选择被执行的处理。
当基于驾驶者的面部图像数据执行图像处理时，每个处理的上述优先级和处理负荷都受驾驶者状态例如驾驶者的动作、外部特征和个人特征的影响。根据依照本发明的第一方面的图像处理设备，基于驾驶者状态设定各处理的优先级，并且依照所设定的优先级为每个单位周期选择被执行的处理。因此，可根据驾驶者的面部图像为每个处理设定适当的优先级，并因此可依照这些优先级为每个单位周期选择所执行的处理并设定各处理的组合。结果，可更有效地对驾驶者的面部图像数据执行包括多个处理的图像处理。
处理设定装置在设定每个处理的优先级的过程中还可考虑摄像装置所拍摄的驾驶者面部图像。
当对驾驶者面部图像数据执行图像处理时，每个处理的上述优先级和处理负荷都受到例如驾驶者面部图像——即面部方向——的影响。根据依照本发明的第一方面的图像处理设备，在还考虑驾驶者面部图像数据的情况下设定各处理的优先级，并因此可根据个体面部的图像数据为每个处理设定最佳优先级。结果，可更有效地对驾驶者面部图像数据执行包括多个处理的图像处理。
根据本发明的第一方面，图像处理设备，其通过对所接收的图像数据执行多个处理而在每个基本周期执行图像处理，其构造成使得依照多个处理中的每一个的优先级为构成基本周期的多个单位周期中的每一个从多个处理中选择被执行的处理并设定此类处理的组合。因此，可更有效地执行包括多个处理的图像处理。
在根据本发明的第二方面的图像处理方法中，在基本周期中执行图像处理，其中对摄像装置所拍摄的图像数据执行多个处理。该图像处理方法包括：依照多个处理中的每一个的优先级，为构成基本周期的多个单位周期的每一个从多个处理中选择被执行的处理并设定所选处理的组合；以及依照所设定的处理的组合执行各个处理。
根据本发明的第二方面，图像处理设备，其通过对所接收的图像数据执行多个处理而在每个基本周期执行图像处理，其依照各处理的优先级为构成基本周期的各个单位周期从多个处理中选择被执行的处理并设定此类处理的组合。因此，可更有效地执行包括多个处理的图像处理。
附图说明
从以下参照附图对示例实施方式的描述，本发明的前述及另外的特征和优点将变得显而易见，在附图中用相同的标号代表相同的元件，并且其中：
图1是示出根据第一实施方式的图像处理设备的结构的框图；
图2A和图2B是示出根据第一实施方式的图像处理设备所执行的图像处理(第一图像处理)的处理步骤的流程图；
图3是示出第一图像处理的每个处理的处理正时和处理时间的图；
图4是示出根据第二实施方式的图像处理设备的结构的框图；
图5是示出根据第二实施方式的图像处理设备所执行的图像处理(第二图像处理)的处理步骤的流程图；
图6A至图6D是示出车辆运动状态、行驶环境、驾驶者状态和各处理的优先级的示例的图；
图7是示出第二图像处理的每个处理的处理正时和处理时间的图；以及
图8是示出常规图像处理的每个处理的处理正时和处理时间的图。
具体实施方式
以下将参照附图描述本发明的示例实施方式。在附图中，相同或对应的元件由相同的参考标号标出。例如，将按照根据本发明的实施方式的设备被安装在车辆内并且基于所拍摄的驾驶者面部图像判断驾驶者的睡意的情况进行描述。
首先，将参照图1，描述根据第一实施方式的图像处理设备1的结构。图1是示出图像处理设备1的结构的框图。
图像处理设备1安装在车辆内。图像处理设备1通过对所拍摄的驾驶者面部图像执行图像数据的处理来检测驾驶者面部方向、驾驶者视线方向和驾驶者的眨眼，并基于检测结果判断驾驶者是否打瞌睡以及驾驶者意识下降的级别。为此，图像处理设备1包括用于拍摄驾驶者面部图像的摄像机10，以及图像处理ECU(电子控制单元)40。
摄像机10用来获得包括驾驶者面部的区域的图像。摄像机10安装在仪表板或转向杆中，定向成朝向驾驶者面部。摄像机10每隔预定的时间段(例如1/30秒)拍摄图像，并且将每帧图像数据作为视频信号发送到图像处理ECU40。为了获得清晰的图像，设备可包括LED灯。
图像处理ECU40包括：执行计算的微处理器；储存用于引起微处理器执行各种处理的程序的ROM；储存各种数据如计算结果的RAM；以及通过电池等保持其记忆内容的备份RAM。
图像处理ECU40读取由摄像机10拍摄的驾驶者面部图像数据，并通过在基本周期(例如600ms)内对所读取的数据反复执行图像处理(初始化处理和图像接收处理、过滤处理和特征点检测处理、面部方向判定处理、视线方向判定处理、眨眼检测处理、打瞌睡判定处理、意识下降级别判定处理以及输出处理和诊断处理)来执行驾驶者打瞌睡判定和/或驾驶者意识下降级别判定。应当注意的是，在该基本周期内可多次执行一个处理。
当由图像处理所包括的多个处理(面部方向判定处理、视线方向判定处理、眨眼检测处理、打瞌睡判定处理和意识下降级别判定处理)执行上述处理时，图像处理ECU40依照各处理的优先级为构成基本周期的六个单位周期中的每一个(例如100ms)选择要执行的处理并设定各处理的组合，并根据该组合执行各个处理。图像处理ECU40设定处理的组合使得在每个单位周期内执行的处理在单个单位周期内完成。具体而言，设定各处理的组合使得在每个单位周期内所执行的各处理的处理时间之和小于单个单位周期的持续时间。因此，图像处理ECU40可视为本发明的处理设定装置和处理装置。在每个单位周期执行初始化处理和图像接收处理、过滤处理和特征点检测处理，以及输出处理和诊断处理。
接下来，将参照图2A、图2B和图3描述图像处理设备1的操作。图2A、图2B是示出由图像处理设备1所执行的图像处理(下文称为“第一图像处理”)的处理步骤的流程图。由图像处理ECU40执行的该处理从当图像处理ECU40ECU40开启时到当图像处理ECU40关闭时在预定周期(例如100ms)中被反复执行。图3是示出第一图像处理的每个处理的处理正时和处理时间的图。
在步骤S100中，读取摄像机10所拍摄的驾驶者面部图像数据。随后，在步骤S102中，所读取的面部图像数据经过过滤处理。
随后，在步骤S104中，基于所获得的面部图像数据判定驾驶者的面部位置。通过结合执行边缘检测和图案识别来判定面部位置。
接下来，在步骤S106中，检测在步骤S104中判定其位置的面部中的特征点。面部的特征点是例如定位在皮肤与外眼角中的每一个、内眼角中的每一个、左、右鼻孔中的每一个以及左、右嘴角中的每一个之间的边界上的点，并因而是在图像数据中存在明显差异的点，如亮度和颜色。
随后，在步骤S108中，计数器CT的值以一递增，其值从1到6变化并且被用来执行为每个单位周期所设定的处理。因此，每次执行处理时计数器CT的值以一递增，并且当计数达到6时，将计数器CT的值重设为零(稍后描述的步骤S132)。
在随后的步骤S110中，判定计数器CT的值是否为“1”。当计数器CT的值为“1”时，执行面部方向判定(步骤S122)和视线方向判定(步骤S124)，并且处理随后进行到步骤S134(参见图3中“计数器CT＝1”的情况)。在面部方向判定(步骤S122)中，通过结合使用所建立的方法如边缘检测，来从所获得的图像数据检测面部中心(穿过鼻尖的线)的位置和面部两侧的位置，并且基于面部中心和两侧的位置计算出面部方向。在视线方向判定(步骤S124)中，基于在步骤S106中获得的特征点检测驾驶者的视线。更具体而言，利用眼睛虹膜的中心与位于眼角的特征点之间的相对位置的变化来判定视线。应当注意的是，限定面部方向和视线方向使得与宿主车辆的前进方向一致的方向具有零角、在前进方向右侧的方向具有正角，并且在前进方向左侧的方向具有负角。另一方面，当计数器CT的值不是“1”时，处理进行到步骤S112。
在步骤S112中，判定计数器CT的值是否为“2”。当计数器CT的值为“2”时，执行视线判定(步骤S124)和眨眼检测(步骤S126)，并且处理随后进行到步骤S134(参见图3中“计数器CT＝2”的情况)。视线方向判定如上所述，并因此将省略其描述。在眨眼检测(步骤S126)中，检测在步骤S106中检测到的特征点的变化，这些特征点与眼睛相关，而眼睛由于睡意而发生变化，即眨眼。当计数器CT的值不是“2”时，处理进行到步骤S114。
在步骤S114中，判定计数器CT的值是否为“3”。当计数器CT的值为“3”时，执行面部方向判定(S122)和眨眼检测(步骤S126)，并且处理随后进行到步骤S134(参见图3中“计数器CT＝3”的情况)。面部方向判定和眨眼检测如上所述，并因此将省略其描述。当计数器CT的值不是“3”时，处理进行到步骤S116。
在步骤S116中，判定计数器CT的值是否为“4”。当计数器CT的值为“4”时，执行视线方向判定(步骤S124)、打瞌睡判定(步骤S128)和意识下降级别判定(步骤S130)，并且处理随后进行到步骤S134(参见图3中“计数器CT＝4”的情况)。视线方向判定如上所述，并因此将省略其描述。在打瞌睡判定(步骤S128)中，基于在步骤S124中判定的视线方向和在步骤S126中检测到的眨眼，当例如判定驾驶者的眼睛已闭上超过预定时间段时，判定驾驶者在打瞌睡。在意识下降级别判定(步骤S130)中，基于在步骤S126中检测到的眨眼，判断驾驶者的意识是否下降。更具体而言，将重点放在眨眼上(尤其是连续眨眼：在比正常的眨眼间隔更短的间隔执行的多次眨眼)，并且当检测到连续眨眼时，判定驾驶者的意识下降。当计数器CT的值不是“4”时，处理进行到步骤S118。
在步骤S118中，判断计数器CT的值是否为“5”。当计数器CT的值为“5”时，执行面部方向判定(步骤S122)、视线方向判定(步骤S124)和眨眼检测(步骤S126)，并且处理随后进行到步骤S134(参见图3中“计数器CT＝5”的情况)。面部方向判定、视线方向判定和眨眼检测如上所述，并因此将省略其描述。当计数器CT的值不是“5”时，处理进行到步骤S120。
在步骤S120中，判定计数器CT的值是否为“6”。当计数器CT的值为“6”时，执行眨眼检测(步骤S126)、打瞌睡判定(步骤S128)和意识下降级别判定(步骤S130)，并且然后将计数器CT的值重设为零(参见图3中“计数器CT＝6”的情况)。此后，处理进行到步骤S134。眨眼检测、打瞌睡判定和意识下降级别判定如上所述，并因此将省略其描述。当计数器CT的值不是“6”时，处理进行到步骤S134。
在步骤S134中，执行上述几组处理之一后，输出其结果。然后，在预定单位周期中反复执行处理。
根据此实施方式，如上所述执行每个步骤，使得：在“计数器CT＝1”的情况下执行面部方向判定和视线方向判定；在“计数器CT＝2”的情况下执行视线方向判定和眨眼检测；以及在“计数器CT＝3”的情况下执行面部方向判定和眨眼检测，如图3所示。在“计数器CT＝4”的情况下执行视线方向判定、打瞌睡判定和意识下降级别判定，在“计数器CT＝5”的情况下执行面部方向判定、视线方向判定和眨眼检测，并且在“计数器CT＝6”的情况下执行眨眼检测、打瞌睡判定和意识下降级别判定。
因此，此实施方式并非构造成全部无区别地以相同的优先级执行构成图像处理的多个处理(此实施方式中为五个)，而是构造成依照为各处理单独设定的优先级为每个单位周期(根据计数器CT的值)设定所执行的处理的组合，并且在由六个单位周期构成的每个基本周期执行图像处理。相应地，可在考虑各处理的优先级的情况下在处理周期(处理时间)的限度内获得最佳处理组合。结果，可有效地执行包括多个处理的图像处理。
根据此实施方式，可考虑每个处理的重要性、更新处理结果的要求频率、处理负荷和要求精度——其为用于设定优先级的标准——预先设定各处理的组合，使得可根据各处理的优先级调节每个处理的处理负荷占整个处理负荷的比例。
另外，根据此实施方式，设定各处理的组合使得在每个单位周期中执行的处理在单个单位周期内完成，并因此可确保图像处理结果的实时输出。
虽然在上述第一实施方式中，每个处理的优先级和处理的组合是预定的，但也可采取其中每个处理的优先级和处理的组合依赖于车辆的行驶状态和驾驶者状态而变化的结构。
接下来，将参照图4描述根据第二实施方式的图像处理设备2的结构。图4是示出图像处理设备2的结构的框图。在图4中，与第一实施方式相同或类似的构件将由相同的参考标号标出。
图像处理设备2与上述图像处理设备1的不同之处在于，图像处理设备2还包括检测车辆行驶状态的行驶状态检测装置20和感知车辆行驶于其上的道路的环境的行驶环境感知装置30。
另外，第二实施方式与上述第一实施方式的不同之处在于作为图像处理设备2的构件的图像处理ECU41，，其基于行驶状态检测装置20和/或行驶环境感知装置30检测到的车辆行驶状态而为每个处理设定优先级，以及在于图像处理ECU41依照所设定的优先级为每个单位周期从上述多个处理中选择要执行的处理。其他构件与上述第一实施方式的相应构件相同或类似，并因此将省略其描述。
行驶状态检测装置20包括例如转向角传感器21、加速器踏板操作量传感器22、车速传感器23、横向加速度传感器24和纵向加速度传感器25。转向角传感器21为检测转向轮的转向角并将检测到的值输出到图像处理ECU41的传感器。加速器踏板操作量传感器22为检测加速器踏板的操作量并将检测到的值输出到图像处理ECU41的传感器。车速传感器23为检测车速并将检测到的值输出到图像处理ECU41的传感器。横向加速度传感器24为检测车辆的横向加速度并将检测到的值输出到图像处理ECU41的传感器。
行驶环境感知装置30包括前方车辆速度/距离传感器31和汽车导航系统32。前方车辆速度/距离传感器31基于雷达提供的关于宿主车辆前方区域的雷达数据来感知是否存在前方车辆，并且当存在前方车辆时，前方车辆速度/距离传感器31感知前方车辆的速度和与前方车辆之间的距离并将感知结果信息输出到图像处理ECU41。例如，汽车导航系统32为检测车辆的当前位置和行驶方向并提供到达目的地的路线的引导并将此类数据输出到图像处理ECU41的系统。另外，汽车导航系统32输出关于当前位置周围的道路的信息到图像处理ECU41。道路信息包括例如交通拥堵信息、交通信号信息、十字路口形状和车道数目。如从本说明书可看出，行驶状态检测装置20和行驶环境感知装置30可视为本发明的行驶状态检测装置。
接下来，将参照图5和图6A至图6D描述图像处理设备2的操作。图5是示出图像处理设备2所执行的图像处理(下文称为“第二图像处理”)的处理步骤的流程图。由图像处理ECU41执行的该处理从当图像处理ECU41开启时到当图像处理ECU41关闭时在预定周期(例如100ms)中反复执行。图6A至图6D是示出第二图像处理中每个处理的处理正时和处理时间的图。
由于步骤S200到S206与上述步骤S100到S106相同，所以将省略其描述。
随后，在步骤S208中，读取行驶状态检测装置20和行驶环境感知装置30所获得的显示车辆行驶状态的检测结果。另外，读取驾驶者状态。基于所拍摄的驾驶者图像来判定驾驶者状态。在此情况下，摄像机10和图像处理ECU41可视为本发明的驾驶者状态判定装置。
在随后的步骤S210中，基于在步骤S208中读取的各种数据来判定和分类车辆的运动状态、行驶环境和驾驶者状态。分类的示例在图6A至图6D中示出。如图6A至图6D所示，类别包括“车辆的运动状态”、“行驶环境1”、“行驶环境2”和“驾驶者状态”。在类别“车辆的运动状态”下面有诸如“高速行驶”、“低速行驶”、“横向加速度高”和“纵向加速度高”之类的项目。在类别“行驶环境1”下面有诸如“拥堵道路(无交通信号)”、“拥堵道路(有交通信号)”、“山路”、“直路”“窄路/居住区街道”、“多车道道路”、“在高速公路上行驶”、“在东京首都高速公路上行驶”和“收费道路/机动车道路”之类的项目。在类别“行驶环境2”下面有诸如“日光直射”、“夜间行驶”、“通勤时间”、“宿主车辆周围的车辆”和“步行者”之类的项目。在类别“驾驶者状态”下面有诸如“戴眼镜”、“戴太阳镜”、“眼睛被头发覆盖”、“戴帽”、“习惯行驶的道路”和“初次行驶的道路”之类的项目。
基于车速传感器23的检测结果作出与项目“高速行驶”和“低速行驶”有关的判定，利用横向加速度传感器24作出与项目“横向加速度高”有关的判定，并且基于纵向加速度传感器25和加速器踏板操作量传感器22的检测结果作出与项目“纵向加速度高”有关的判定。基于汽车导航系统32提供的VICS(车辆信息和通讯系统)信息和地图数据作出与项目“拥堵道路(无交通信号)”和“拥堵道路(有交通信号)”有关的判定。基于汽车导航系统32提供的地图数据作出与项目“山路”、“直路”“窄路/居住区街道”、“多车道道路”、“在高速公路上行驶”、“在东京首都高速公路上行驶”和“收费道路/机动车道路”有关的判定。基于面部图像数据的亮度作出与项目“日光直射”有关的判定，基于汽车导航系统32提供的时间数据作出与项目“夜间行驶”和“通勤时间”有关的判定，并且基于前方车辆速度/距离传感器31的检测结果作出与项目“宿主车辆周围的车辆”和“步行者”有关的判定。基于面部图像数据作出与项目“戴眼镜”、“戴太阳镜”、“眼睛被头发覆盖”和“戴帽”有关的判定，并且基于汽车导航系统32提供的车辆路线历史数据作出与项目“习惯行驶的道路”和“初次行驶的道路”有关的判定。
随后，在步骤S212中，执行在每个单位周期内执行的处理的安排。更具体而言，基于例如在步骤S210中判定和分类的车辆运动状态、行驶环境和驾驶者状态来设定每个处理的优先级，并且依照所设定的优先级选择在每个单位周期内执行的处理并设定组合。上述项目与各处理(面部方向判定、视线方向判定、眨眼检测、打瞌睡判定和意识下降级别判定)的优先级之间的关系的示例在图6A至图6D中示出。例如，当判定车辆处于“高速行驶”状态时，面部方向判定、视线方向判定、眨眼检测、打瞌睡判定和意识下降级别判定这些处理的优先级分别为“A”、“B”、“A”、“A”和“B”。在图6A至图6D中，各处理的优先级满足“A”＞“B”＞“C”。
将针对以下情况描述安排各处理的方法，例如，该情况下判定关于车辆运动状态满足“高速行驶”和“横向加速度高”的条件、关于行驶环境1满足“东京首都高速公路”的条件、关于行驶环境2满足“夜间行驶”和“宿主车辆周围的车辆”的条件，以及关于驾驶者状态满足“戴眼镜”的条件。
如上所述，当判定车辆处于“高速行驶”状态时，面部方向判定处理、视线方向判定处理、眨眼检测处理、打瞌睡判定处理和意识下降级别判定处理的优先级分别为“A”、“B”、“A”、“A”和“B”。同样，当判定车辆处于“横向加速度高”状态时，面部方向判定处理、视线方向判定处理、眨眼检测处理、打瞌睡判定处理和意识下降级别判定处理的优先级分别为“B”、“B”、“B”、“C”和“C”。同样，为项目“在东京首都高速公路上行驶”、“夜间行驶”、“宿主车辆周围的车辆”和“戴眼镜”中的每一个读取各处理的优先级。
接下来，判定在满足项目“高速行驶”、“横向加速度高”、“在东京首都高速公路上行驶”、“夜间行驶”、“宿主车辆周围的车辆”和“戴眼镜”的条件的情况下，各处理的优先级。更具体而言，由于对于例如“面部方向判定”，项目“高速行驶”、“横向加速度高”、“在东京首都高速公路上行驶”、“夜间行驶”、“宿主车辆周围的车辆”和“戴眼镜”的优先级分别为“A”、“B”、“A”、“A”、“A”和“A”，其中假设A、B和C的点数分别为4、2和1，所以平均值的计算结果为(4+2+4+4+4+4)/6＝3.7。当假设平均值等于或大于3的处理的优先级为“A”、平均值等于或大于2且小于3的处理的优先级为“B”并且平均值小于2的处理的优先级为“C”时，判定“面部方向判定”处理的优先级为“A”。
同样，对于例如“视线方向判定”，项目“高速行驶”、“横向加速度高”、“在东京首都高速公路上行驶”、“夜间行驶”、“宿主车辆周围的车辆”和“戴眼镜”的优先级分别为“B”、“B”、“A”、“B”、“A”和“B”。因此，平均值为(2+2+4+2+4+2)/6＝2.7。因此，判定“视线方向判定”处理的优先级为“B”。当同样判定各处理的优先级时，“眨眼检测”处理、“打瞌睡判定”处理和“意识下降级别判定”处理的优先级分别为“A”、“B”和“C”。
基于计算出的各处理的优先级执行各处理的安排。将描述安排方法的示例。将上述第一实施方式中采取的各处理的组合(安排)设定为默认值。此外，将根据处理优先级(A、B和C)的分配规则限定如下：当优先级为“A”时在每个基本周期(六个单位周期)中的占有率等于或大于66％，当优先级为“B”时约为50％，并且当优先级为“C”时等于或小于30％。各处理被分配到六个单位周期中的每一个使得具有优先级“A”的处理被执行四次或更多，具有优先级“B”的处理被执行三次，并且具有优先级“C”的处理被执行两次(使得处理的优先级越高，则该处理的占有率就越高)。
在此实施方式中，处理器的计算能力的上限值对于具有优先级“A”的处理为3，而对于具有优先级“B”的处理为2。在此情况下，由于计算结果为3*66(％)+2*50(％)＝3*(4/6)+2*(3/6)＝3，所以各具有优先级“A”、“B”和“C”之一的处理被分配以使得不会超过该值。在此实施方式的情况下，“面部方向判定”处理、“视线方向判定”处理、“眨眼检测”处理、“打瞌睡判定”处理和“意识下降级别判定”处理的优先级分别为“A”、“B”、“A”、“B”和“C”，并且平均值因此计算如下：2*(4/6)+2*(3/6)+1*(2/6)＝2.7。因此，由于该值未超过计算能力的上限值，所以判定计算周期和安排不存在问题。
随后，在步骤S214中，根据在步骤S212中所设定的每个单位周期的处理安排来执行处理。以与第一实施方式的处理(步骤S108至S132)类似的方式执行每个单位周期的每个处理。该方法如上所述，并因此将省略其详细描述。
接下来，在步骤S216中输出处理结果，并且处理暂时退出。然后，在预定的基本周期中反复执行处理。
根据此实施方式，基于车辆运动状态、行驶环境和驾驶者状态设定各处理的优先级，并且依照所设定的优先级为每个单位周期选择被执行的处理，并且然后执行安排。依照处理安排来执行各处理，并且，结果，如图7所示，在“计数器CT＝1”的情况下执行面部方向判定、打瞌睡判定和意识下降级别判定；在“计数器CT＝2”的情况下执行面部方向判定、视线方向判定和眨眼检测；并且在“计数器CT＝3”的情况下执行眨眼检测和打瞌睡判定。在“计数器CT＝4”的情况下执行面部方向判定、视线方向判定和意识下降级别判定，在“计数器CT＝5”的情况下执行面部方向判定和视线方向判定，并且在“计数器CT＝6”的情况下执行面部方向判定、打瞌睡判定和意识下降级别判定。
根据此实施方式，基于车辆运动状态、行驶环境和驾驶者状态设定各处理的优先级，并依照所设定的优先级为每个单位周期选择被执行的处理。因此，可根据所拍摄的图像为每个处理设定适当的优先级，并因此可依照优先级为每个单位周期选择所执行的处理以完成安排。结果，可对安装在车辆内的摄像机10所拍摄的驾驶者面部图像数据更有效地执行包括多个处理的图像处理。
另外，在上述第二实施方式中，可采取这样一种结构，其中通过基于左、右眼之间的眨眼检测的可靠性的差异设定所采用的检测结果的优先级、基于驾驶者面部方向与应对左、右眼进行眨眼检测有关的优先级、以及因此对于上述可靠性低的眼睛或者对于上述优先级低的眼睛跳过下次计算来减小计算负荷。
当在驾驶者面向前方时检测到左、右眼睑的位置时，取决于光线条件，可能出现其中对一个眼睑的检测精度不如对另一个眼睑的检测精度的情况。可采取这样一种构造，其中在此类情况下仅使用有关可靠性较高的眼睑眨眼的数据，并且假设另一个眼睑的眨眼与前一眼睑的相同以跳过计算。
可采取这样一种构造，其中通过当驾驶者面向右方时仅对左眼执行检测、当驾驶者面向左方时仅对右眼进行检测、以及当眼睛闭上时跳过视线方向判定处理并因此不检测眨眼来减小计算负荷。
这样，在同样考虑驾驶者面部图像数据的情况下设定各处理的优先级，并因此可根据个体面部的图像数据为每个处理设定最佳优先级。结果，使得可有效地对驾驶者面部图像数据执行包括多个处理的图像处理。
虽然已描述本发明的各实施方式，但本发明不局限于上述实施方式，并且可作出各种改型。在上述实施方式的描述中，举例描述了其中图像处理设备安装在车辆内并且基于所拍摄的驾驶者面部图像数据判定驾驶者的睡意的情况。然而，毋容置疑，根据本发明的图像处理设备的应用范围不局限于这些实施方式。
构成其中执行图像处理的基本周期的单位周期的数目不局限于六个。此外，各处理的内容和多个处理的分工不局限于上述实施方式中的那些。
作为行驶状态检测装置20和行驶环境感知装置30的构件的各种传感器不局限于上述实施方式中的那些。作为上述传感器的替代或补充，可使用一个或更多不同的传感器。
在上述实施方式中，依照各处理的优先级，该处理的优先级越高，则在每个单位周期中执行该处理的次数(处理时间)就越多。然而，可采取这样一种构造，其中具有较高优先级的处理采用高精度算法执行，而具有较低优先级的处理则采用具有较低精度的算法执行或者跳过。
通过为每个处理准备具有不同处理精度(操作密度)的多个算法，并依照优先级分配处理资源(处理能力)，可依照优先级控制处理负荷。另外，采用精度低的算法意味着采用低负荷算法。
一些算法显示出高精度但完成处理所花费的时间长；同时，其他算法显示出较低精度但完成处理所花费的时间较少。通过基于车辆行驶状态和驾驶者状态设定优先级并依照优先级选择算法，可有效地执行图像处理。

Claims (13)

1.一种图像处理设备，其通过对摄像装置所拍摄的图像的数据执行多个处理而在每个基本周期执行图像处理，所述设备的特征在于包括：
处理设定装置，其用于依照所述多个处理中的每一个的优先级为构成所述基本周期的多个单位周期中的每一个从所述多个处理中选择被执行的处理并设定所选处理的组合；以及
处理装置，其用于依照由所述处理设定装置设定的所述组合来执行每个所述处理。
2.如权利要求1所述的图像处理设备，其中，所述处理设定装置为所述多个单位周期中的每一个从所述多个处理中选择所述被执行的处理并设定所选处理的所述组合，使得所述处理的优先级越高，则所述处理在所述基本周期中的占有率就越高。
3.如权利要求1或2所述的图像处理设备，其中，所述处理设定装置在考虑如下情况下设定所述处理的所述组合：每个所述处理的处理时间和要求精度，和/或相对于在所述基本周期内接收所拍摄的图像的次数而要求执行所述处理的次数。
4.如权利要求1至3中的任一项所述的图像处理设备，其中，所述处理设定装置设定所述处理的所述组合使得在每个单位周期被执行的处理在所述单位周期内完成。
5.如权利要求4所述的图像处理设备，其中，所述处理设定装置设定所述处理的所述组合使得在每个单位周期被执行的处理的处理时间之和小于所述单位周期的持续时间。
6.如权利要求1至5中的任一项所述的图像处理设备，其中，所述处理设定装置改变所述处理的优先级，并且依照所改变的优先级为每个所述单位周期从所述多个处理中选择被执行的处理。
7.如权利要求1至6中的任一项所述的图像处理设备，进一步包括用于检测车辆行驶状态的行驶状态检测装置，其中：
所述摄像装置安装在所述车辆内；并且
所述处理设定装置基于由所述行驶状态检测装置检测到的所述车辆的行驶状态来设定每个所述处理的优先级，并且依照所设定的优先级为每个所述单位周期从所述多个处理中选择被执行的处理。
8.如权利要求1至7中的任一项所述的图像处理设备，进一步包括用于判定驾驶者的状态的驾驶者状态判定装置，其中：
所述摄像装置所拍摄的所述图像为所述驾驶者的面部图像；并且
所述处理设定装置基于由所述驾驶者状态判定装置判定出的所述驾驶者的状态来设定每个所述处理的优先级，并且依照所设定的优先级为每个所述单位周期从所述多个处理中选择被执行的处理。
9.如权利要求8所述的图像处理设备，其中，所述处理设定装置在设定每个所述处理的优先级的过程中还考虑由所述摄像装置拍摄的所述驾驶者的面部图像。
10.如权利要求1至9中的任一项所述的图像处理设备，其中，所述处理设定装置选择要用来执行每个所述处理的算法，使得所述处理的优先级越高，则要用来执行所述处理的算法的精度就越高，而所述处理的优先级越低，则要用来执行所述处理的算法的精度就越低。
11.如权利要求1至10中的任一项所述的图像处理设备，其中，所述多个处理包括面部方向判定处理、视线方向判定处理、眨眼检测处理、打瞌睡判定处理和意识下降级别判定处理中的至少两者。
12.一种图像处理方法，其用于通过对摄像装置所拍摄的图像的数据执行多个处理而在每个基本周期执行图像处理，所述方法的特征在于包括：
依照所述多个处理中的每一个的优先级，为构成所述基本周期的多个单位周期中的每一个从所述多个处理中选择被执行的处理并设定所选处理的组合；以及
依照所设定的所述处理的组合来执行每个所述处理。
13.一种图像处理设备，其通过对摄像装置所拍摄的图像的数据执行多个处理而在每个基本周期执行图像处理，所述设备包括：
处理设定部分，其用于依照所述多个处理中的每一个的优先级为构成所述基本周期的多个单位周期中的每一个从所述多个处理中选择被执行的处理并设定所选处理的组合；以及
处理部分，其用于依照由所述处理设定部分设定的所述组合来执行每个所述处理。
CN2008800153620A 2007-05-09 2008-05-09 图像处理设备和图像处理方法 Active CN101681426B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007124749A JP4372804B2 (ja) 2007-05-09 2007-05-09 画像処理装置
JP124749/2007 2007-05-09
PCT/IB2008/002003 WO2008139328A2 (en) 2007-05-09 2008-05-09 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
CN101681426A true CN101681426A (zh) 2010-03-24
CN101681426B CN101681426B (zh) 2012-09-05

Family

ID=40002707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800153620A Active CN101681426B (zh) 2007-05-09 2008-05-09 图像处理设备和图像处理方法

Country Status (6)

Country Link
US (1) US8199190B2 (zh)
EP (1) EP2150919B1 (zh)
JP (1) JP4372804B2 (zh)
CN (1) CN101681426B (zh)
AT (1) ATE525703T1 (zh)
WO (1) WO2008139328A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111656422A (zh) * 2018-01-31 2020-09-11 株式会社电装 车辆用报警装置

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5141425B2 (ja) * 2008-07-29 2013-02-13 富士通株式会社 データ処理装置およびデータ処理プログラム
CN102439644B (zh) * 2009-06-04 2014-09-03 丰田自动车株式会社 车辆用周边监控装置及车辆用周边监控方法
JP5441626B2 (ja) * 2009-11-06 2014-03-12 日立オートモティブシステムズ株式会社 車載用マルチアプリ実行装置
JP5585648B2 (ja) * 2010-03-23 2014-09-10 アイシン精機株式会社 覚醒度判定装置、覚醒度判定方法及びプログラム
TWI447658B (zh) * 2010-03-24 2014-08-01 Ind Tech Res Inst 人臉影像擷取方法與裝置
JP5618686B2 (ja) * 2010-08-03 2014-11-05 キヤノン株式会社 視線検出装置、視線検出方法及びプログラム
JP5628137B2 (ja) * 2011-11-15 2014-11-19 クラリオン株式会社 車載用環境認識装置
DE102014100364B4 (de) * 2013-01-18 2020-08-13 Carnegie Mellon University Verfahren zum Bestimmen, ob eine Augen-abseits-der-Straße-Bedingung vorliegt
KR101822892B1 (ko) * 2014-12-10 2018-01-29 엘지전자 주식회사 차량 운전 보조 장치 및 차량 운전 보조 장치의 동작 방법
US10367869B2 (en) * 2014-12-30 2019-07-30 Ford Global Technologies, Llc Remote vehicle control and operation
JP6384419B2 (ja) * 2015-07-24 2018-09-05 トヨタ自動車株式会社 動物種類判定装置
JP6838248B2 (ja) 2016-02-22 2021-03-03 日立Astemo株式会社 情報処理装置
JP2017208750A (ja) * 2016-05-20 2017-11-24 ローム株式会社 映像監視装置、映像表示システム、及び車両
JP6749278B2 (ja) * 2017-04-14 2020-09-02 ダイキン工業株式会社 生理状態判定装置
JP7151234B2 (ja) * 2018-07-19 2022-10-12 株式会社デンソー カメラシステムおよびイベント記録システム
WO2020095398A1 (ja) * 2018-11-08 2020-05-14 三菱電機株式会社 情報解析装置及び情報解析方法
EP3882884A4 (en) * 2018-11-13 2022-01-05 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
US11450116B2 (en) * 2020-03-09 2022-09-20 Ford Global Technologies, Llc Systems and methods for sharing camera setting control among multiple image processing components in a vehicle
WO2023062804A1 (ja) * 2021-10-15 2023-04-20 三菱電機株式会社 乗員状態検知装置、乗員状態検知システム、車両制御システム、および乗員状態検知方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69735415T2 (de) * 1996-05-07 2006-09-28 Yamaha Corp., Hamamatsu Verfahren und System zur Übertragung von Audiodaten mit Zeitstempel
JP4387015B2 (ja) 1999-12-08 2009-12-16 名古屋電機工業株式会社 マルチタスクスケジューリングによる画像処理の統合方法
JP2001307076A (ja) 2000-04-24 2001-11-02 Niles Parts Co Ltd 眼の状態検出装置、居眠り検出装置
US7010788B1 (en) * 2000-05-19 2006-03-07 Hewlett-Packard Development Company, L.P. System for computing the optimal static schedule using the stored task execution costs with recent schedule execution costs
AUPQ896000A0 (en) 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
JP2002158982A (ja) 2000-11-20 2002-05-31 Canon Inc 画像処理方法、装置及びコンピュータ可読媒体
JP4898026B2 (ja) 2001-06-29 2012-03-14 本田技研工業株式会社 ステレオカメラを使用した顔・視線認識装置
US7020877B2 (en) 2002-05-20 2006-03-28 Dell Products L.P. Method to distribute periodic task workload
US7559060B2 (en) * 2003-06-10 2009-07-07 National Instruments Corporation Time-bounded program execution
JP3862715B2 (ja) 2004-06-01 2006-12-27 株式会社ソニー・コンピュータエンタテインメント タスク管理方法、タスク管理装置、半導体集積回路、電子装置、およびタスク管理システム
US7646422B2 (en) * 2006-10-04 2010-01-12 Branislav Kisacanin Illumination and imaging system with glare reduction and method therefor
CN100462047C (zh) * 2007-03-21 2009-02-18 汤一平 基于全方位计算机视觉的安全驾驶辅助装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111656422A (zh) * 2018-01-31 2020-09-11 株式会社电装 车辆用报警装置

Also Published As

Publication number Publication date
US20100073503A1 (en) 2010-03-25
WO2008139328A3 (en) 2009-04-30
EP2150919B1 (en) 2011-09-21
US8199190B2 (en) 2012-06-12
JP2008282153A (ja) 2008-11-20
CN101681426B (zh) 2012-09-05
WO2008139328A2 (en) 2008-11-20
JP4372804B2 (ja) 2009-11-25
EP2150919A2 (en) 2010-02-10
ATE525703T1 (de) 2011-10-15

Similar Documents

Publication Publication Date Title
CN101681426B (zh) 图像处理设备和图像处理方法
US11318928B2 (en) Vehicular automated parking system
CN110692094B (zh) 用于自动驾驶车的控制的车辆控制装置及方法
US20160171316A1 (en) Method and system for adaptive ray based scene analysis of semantic traffic spaces and vehicle equipped with such system
CN111033510A (zh) 用于运行驾驶员辅助系统的方法和装置以及驾驶员辅助系统和机动车
US20160101779A1 (en) Movement trajectory predicting device and movement trajectory predicting method
US10430680B2 (en) Image processing algorithm
US20060117297A1 (en) Device and method for controlling at least one system component of an information system
CN110275521A (zh) 车辆控制装置
JP7170637B2 (ja) 車両制御システム、車両制御方法、およびプログラム
CN108932470A (zh) 图像处理系统、图像处理方法、信息处理装置和记录介质
WO2018142853A1 (ja) 運転評価装置、運転評価方法及び運転評価システム
US20220301320A1 (en) Controller, method, and computer program for controlling vehicle
EP2163450A1 (en) Method for allowing of suppressing a request for presenting information to a user
CN102201174B (zh) 行驶道路推测系统
CN110275522A (zh) 车辆控制装置
CN114371707A (zh) 考虑人车交互的行人轨迹预测及主动避撞方法及系统
JP2022036726A (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
CN112714718A (zh) 车辆控制方法及车辆控制装置
CN114049760B (zh) 基于交叉路口的交通控制方法、装置及系统
US20220332313A1 (en) Method for avoiding a collision in road traffic on the basis of adaptively setting potentially occupied areas
JP5018571B2 (ja) 減速指示装置及び減速指示方法
CN111661064A (zh) 车辆控制装置、车辆控制方法、车辆以及存储介质
US11801856B2 (en) Electronic control device and selection method
US20240067165A1 (en) Vehicle controller, method, and computer program for vehicle control

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant