CN111684394A - 视线检测装置、所述视线检测装置的控制方法、角膜反射像位置的检测方法、计算机程序以及存储介质 - Google Patents

视线检测装置、所述视线检测装置的控制方法、角膜反射像位置的检测方法、计算机程序以及存储介质 Download PDF

Info

Publication number
CN111684394A
CN111684394A CN201980011822.0A CN201980011822A CN111684394A CN 111684394 A CN111684394 A CN 111684394A CN 201980011822 A CN201980011822 A CN 201980011822A CN 111684394 A CN111684394 A CN 111684394A
Authority
CN
China
Prior art keywords
line
image
sight
unit
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980011822.0A
Other languages
English (en)
Inventor
向井仁志
山本和夫
诹访正树
木下航一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN111684394A publication Critical patent/CN111684394A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/111—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring interpupillary distance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明的目的在于提供一种视线检测装置，能利用简单的结构来检测视线(起点及视线方向)，所述视线检测装置检测人物的视线，且包括：摄像部10，拍摄人物的脸；投影部20，向所述人物的脸投影规定的图案光；控制部30，控制摄像部10及有无由投影部20进行所述图案光的投影；以及视线检测处理部40，根据由所述摄像部所拍摄的人物的脸的图像来检测视线。

Description

视线检测装置、所述视线检测装置的控制方法、角膜反射像位 置的检测方法、计算机程序以及存储介质
技术领域
本发明涉及一种视线检测装置、所述视线检测装置的控制方法、角膜反射像位置的检测方法、计算机程序以及存储介质，所述视线检测装置例如是搭载于驾驶员监控系统(driver monitoring system)或设置于作业现场等而利用，用于视线检测，而且也可进行前庭眼动反射(Vestibulo-Ocular Reflex，VOR)测定或脸认证。
背景技术
专利文献1中公开了一种视线检测装置，通过检测浦肯野像(Purkinje images，本申请中的角膜反射像)来检测视线方向，
所述视线检测装置包括显示部、广角相机、照明光源、红外相机、输入部、存储介质接入装置、存储部及控制部，
推定从拍摄用户的脸而生成图像的摄像部到用户的脸的距离，根据从所述摄像部到用户的脸的距离相对于所述摄像部与将用户的眼睛照明的光源间的间隔之比，判定是否成为用户的眼睛的整个瞳孔因来自所述光源的光而变亮的亮瞳孔状态，在判定为并未成为亮瞳孔状态的情况下，根据所述图像来检测所述光源的角膜反射像和用户的瞳孔重心，根据所述瞳孔重心与所述角膜反射像的位置关系来检测用户的视线方向或注视位置。
[发明所要解决的问题]
专利文献1所记载的视线检测装置中，为了检测视线方向，将广角相机、红外相机及照明光源作为必需的结构要件，配备有两台相机。因此，存在视线检测装置的制作费变高，而且视线检测装置也大型化等问题。
现有技术文献
专利文献
专利文献1：日本专利特开2014-67102号公报
发明内容
解决问题的技术手段及其效果
本发明是鉴于所述问题而成，其目的在于提供一种视线检测装置、所述视线检测装置的控制方法、角膜反射像位置的检测方法、计算机程序以及存储介质，所述视线检测装置可利用简单的结构来检测视线(起点及视线方向)。
为了达成所述目的，本公开的视线检测装置(1)检测人物的视线，其特征在于构成为包含如下构件：
摄像部，拍摄人物的脸；
投影部，向所述人物的脸投影规定的图案光；
控制部，控制所述摄像部及有无由所述投影部进行所述图案光的投影；以及
视线检测处理部，根据由所述摄像部所拍摄的人物的脸的图像来检测视线。
根据所述视线检测装置(1)，通过一面向所述人物的脸投影所述图案光一面进行拍摄，例如即便为一个摄像部(相当于所述现有例中的相机)，也可实施用于视线检测的拍摄。若为了构成视线检测装置而采用一个所述摄像部便可，则也可实现装置的制作费的削减及装置的小型化。
另外，本公开的视线检测装置(2)是根据所述视线检测装置(1)，其特征在于，
所述视线检测处理部构成为包含如下构件：
第一计算部，使用由所述摄像部所拍摄的未投影有所述图案光的所述脸的图像，计算所述人物的眼睛的瞳孔中心；
第二计算部，使用由所述摄像部所拍摄的投影有所述图案光的所述脸的图像，计算所述人物的眼睛的角膜反射像的位置；以及
第三计算部，使用由所述摄像部所拍摄的投影有所述图案光的所述脸的图像，计算所述脸的规定部位的三维位置矢量。
根据所述视线检测装置(2)，即便摄像部为一个，也可通过所述视线检测处理部来实施瞳孔中心的计算、角膜反射像的位置的计算、所述脸的规定部位的三维位置矢量的计算。若使用这些的计算结果，则可检测视线(起点及视线方向)。
另外，本公开的视线检测装置(3)是根据所述视线检测装置(1)或(2)，其特征在于包括：
第四计算部，检测所述人物的眼睛的瞳孔中心的经时变化而计算眼球运动；以及
第五计算部，根据所述脸的规定部位的三维位置矢量来检测所述脸的表面形状，基于所述脸表面形状的朝向的经时变化来计算所述人物的头部运动，
所述视线检测装置使用所计算的所述眼球运动及所述头部运动来检测VOR。
由头部运动所诱发的VOR为在头部运动时以与其大致相同的速度使眼球反转，抑制网膜像的滑动的不自主的眼球运动。
根据所述视线检测装置(3)，包括计算眼球运动的第四计算部及计算头部运动的第五计算部，因而也可计算VOR，此VOR为在头部运动时以与其大致相同的速度使眼球反转，抑制网膜像的滑动的不自主的眼球运动。
另外，本公开的视线检测装置(4)是根据所述视线检测装置(1)至(3)中的任一个，其特征在于包括：
第六计算部，根据所述人物的脸的规定部位的三维位置矢量来计算所述人物的脸的表面形状，所述视线检测装置使用所计算的所述人物的脸的表面形状来进行脸认证。
根据所述视线检测装置(4)，包括可计算所述人物的脸的表面形状的第六计算部件，因而可基于脸的表面形状进行脸认证。
另外，本公开的视线检测装置(5)是根据所述视线检测装置(1)至(4)中的任一个，其特征在于，
所述图案光的规定的图案成为在每个场所不同的二值花样。
根据所述视线检测装置(5)，所述图案光包含在每个场所不同的例如黑白的二值花样，因而容易确定每个场所的三维位置矢量，可尽快进行检测，能以短时间进行视线的检测、VOR的检测或脸认证。
另外，本公开的视线检测装置(6)是根据所述视线检测装置(1)至(5)中的任一个，其特征在于，
所述投影部通过非可见的规定的波长范围的光来投影所述图案光，
所述摄像部在所述规定的波长范围具有灵敏度，
所述视线检测装置还包括：照明，照射所述规定的波长范围的光。
作为非可见的规定的波长范围的光，例如可举出近红外光。近红外光是指红外线中波长短而为0.7微米～2.5微米左右的光线，可用于暗视相机的照明装置、红外线通信、静脉认证等。
近红外频带的波长不被人眼识别，因而对于人来说不碍事，根据所述视线检测装置(6)，可确保拍摄所需要的近红外光的光量，即便自然光的光量不足，也可高精度地进行视线的检测、VOR的检测或脸认证。
另外，本公开的视线检测装置的控制方法(1)控制所述视线检测装置(1)，其特征在于包括：
将所述投影部点亮，向人物的脸投影图案光的步骤；
利用所述摄像部来拍摄投影有所述图案光的脸的步骤；
将所述步骤中拍摄的拍摄图像输出至所述视线检测处理部的步骤；
将所述投影部熄灭的步骤；
利用所述摄像部来拍摄未投影有所述图案光的脸的步骤；以及
将所述步骤中拍摄的拍摄图像输出至所述视线检测处理部的步骤。
根据所述视线检测装置的控制方法(1)，即便摄像部为一个，也可根据将所述投影部点亮的状态下的拍摄图像，来进行角膜反射像位置的检测及眼睛的三维位置矢量的检测，另一方面，可根据将所述投影部熄灭的状态下的拍摄图像来进行瞳孔中心的检测，可通过容易的控制来实施用于视线检测的拍摄。
另外，本公开的视线检测装置的控制方法(2)控制所述视线检测装置(6)，其特征在于包括：
将所述投影部点亮，将所述照明熄灭的步骤；
利用所述摄像部来拍摄投影有所述图案光的脸的步骤；
将所述步骤中拍摄的拍摄图像输出至所述视线检测处理部的步骤；
将所述投影部熄灭，将所述照明点亮的步骤；
利用所述摄像部来拍摄未投影有所述图案光的脸的步骤；以及
将所述步骤中拍摄的拍摄图像输出至所述视线检测处理部的步骤。
根据所述视线检测装置的控制方法(2)，即便摄像部为一个，也可根据将照射图案光的所述投影部点亮且将不照射图案光的所述照明熄灭的状态下的由所述摄像部所得的拍摄图像，来进行角膜反射像位置的检测及眼睛的三维位置矢量的检测，另一方面，可根据将所述投影部熄灭且将所述照明点亮的状态下的由所述摄像部所得的拍摄图像，来进行瞳孔中心的检测，可通过容易的控制来实施用于视线检测的拍摄。
另外，非可见的规定的波长范围的光不被人眼识别，因而可充分确保拍摄所需要的所述照明的光量，高精度地进行视线的检测、VOR的检测或脸认证。
另外，本公开的角膜反射像位置的检测方法(1)检测角膜反射像位置，所述角膜反射像位置用于使用所述视线检测装置(1)至(6)中的任一个的视线检测，所述角膜反射像位置的检测方法的特征在于包括：
接收拍摄图像和瞳孔中心位置的步骤；
在所述瞳孔中心位置附近设定搜索区域的步骤；
对所述搜索区域中的像素逐一进行扫描的步骤；
判断扫描的结果是否成为亮度的极大值的步骤；
若判断为亮度的动态范围(dynamic range)为阈值以上，则采用所述亮度的值作为极大值的步骤；以及
输出距瞳孔中心的距离最近的显示极大值的像素的位置作为角膜反射像的位置的步骤。
根据所述角膜反射像位置的检测方法(1)，即便所述投影部所投影的光量低，也能确实地进行用于检测视线的角膜反射像位置的检测。
另外，本公开的角膜反射像位置的检测方法(2)是根据所述角膜反射像位置的检测方法(1)，其特征在于，将亮度的最大值与最小值之差设为动态范围。
根据所述角膜反射像位置的检测方法(2)，即便所述投影部所投影的光量低，也能确实地锁定用于检测视线的角膜反射像位置。
另外，本公开的角膜反射像位置的检测方法(3)是根据所述角膜反射像位置的检测方法(1)，其特征在于，将亮度的最大值与中央值之差设为动态范围。
根据所述角膜反射像位置的检测方法(3)，即便所述投影部所投影的光量低，也可使角膜反射像位置的检测相对于噪声(noise)而更强，其中所述角膜反射像位置用于检测视线。
另外，本公开的角膜反射像位置的检测方法(4)是根据所述角膜反射像位置的检测方法(1)至(3)中的任一个，其特征在于包括：
在判断为不存在亮度分布的可采用的极大值的情况下，输出前帧的角膜反射像位置的步骤。
根据所述角膜反射像位置的检测方法(4)，即便在判断为不存在亮度分布的可采用的极大值的情况下，也可不失败地确实地进行用于检测视线的角膜反射像位置的输出。
另外，本公开的角膜反射像位置的检测方法(5)是根据所述角膜反射像位置的检测方法(1)至(3)中的任一个，其特征在于包括：
在判断为不存在亮度分布的可采用的极大值的情况下，输出根据以往的帧所预测的当前的角膜反射像位置的步骤。
所述以往的帧例如也可为以往的数帧。
根据所述角膜反射像位置的检测方法(5)，即便在判断为不存在亮度分布的可采用的极大值，而且人物移动那样的情况下，也可更妥当地进行用于检测视线的角膜反射像位置的输出。
另外，本公开的角膜反射像位置的检测方法(6)是根据所述角膜反射像位置的检测方法(1)至(3)中的任一个，其特征在于包括：
若判断为亮度分布的可采用的极大值为一个，则输出所述极大值的位置作为角膜反射像的位置。
根据所述角膜反射像位置的检测方法(6)，可简化检测处理，减轻软件处理的负担。
另外，本公开的计算机程序(1)用于使至少一个计算机执行角膜反射像的位置的检测处理，所述角膜反射像的位置用于使用所述视线检测装置(1)至(6)中的任一个的视线检测，所述计算机程序的特征在于，
使所述至少一个计算机执行：
接收拍摄图像及瞳孔中心位置的步骤；
在所述瞳孔中心位置附近设定搜索区域的步骤；
对所述搜索区域中的像素逐一进行扫描的步骤；
判断扫描的结果是否成为亮度的极大值的步骤；
若判断为亮度的动态范围为阈值以上，则采用所述亮度的值作为极大值的步骤；以及
输出距瞳孔中心的距离最近的显示极大值的像素的位置作为角膜反射像的位置的步骤。
根据所述计算机程序(1)，即便所述投影部所投影的光量低，也可使所述至少一个计算机确实地进行用于检测视线的角膜反射像的位置的检测。
另外，本公开的计算机可读取的存储介质(1)存储有用于使至少一个计算机执行角膜反射像的位置的检测处理的计算机程序，所述角膜反射像的位置用于使用所述视线检测装置(1)至(6)中的任一个的视线检测，所述计算机可读取的存储介质的特征在于，
存储有用于使所述至少一个计算机执行下述步骤的程序：
接收拍摄图像和瞳孔中心位置的步骤；
在所述瞳孔中心位置附近设定搜索区域的步骤；
对所述搜索区域中的像素逐一进行扫描的步骤；
判断扫描的结果是否成为亮度的极大值的步骤；
若判断为亮度的动态范围为阈值以上，则采用所述亮度的值作为极大值的步骤；以及
输出距瞳孔中心的距离最近的显示极大值的像素的位置作为角膜反射像的位置的步骤。
根据所述计算机可读取的存储介质(1)，通过使所述至少一个计算机读取所述程序并执行所述各步骤，从而即便所述投影部所投影部的光量低，也可使所述至少一个计算机可靠地进行用于检测视线的角膜反射像的位置的检测。
附图说明
图1为表示实施方式的视线检测装置的一例的功能结构框图。
图2为表示实施方式的视线检测装置的一例的相机/投影仪控制部进行的处理动作的流程图。
图3为表示实施方式的视线检测装置的变形结构例的一例的功能结构框图。
图4为表示实施方式的视线检测装置的变形结构例的相机/投影仪控制部进行的处理动作的流程图。
图5为表示实施方式的视线检测装置的视线检测处理部的功能结构的一例的框图。
图6为表示实施方式的视线检测装置的视线检测处理部进行的处理动作的概略的流程图。
图7(a)、(b)为用于对实施方式的视线检测装置的视线检测处理部进行的眼睛的三维位置矢量计算方法进行说明的示意性概略立体图。
图8(a)、(b)为用于对角膜反射像检测的现有方法进行说明的示意性概略图。
图9(a)、(b)为用于对实施方式的视线检测装置的视线检测处理部进行的角膜反射像检测处理进行说明的表示图案光投影状况的示意性概略图。
图10为表示在实施方式的视线检测装置的视线检测处理部进行的处理中，图案光的黑区域与角膜反射像位置重叠的情况下的角膜反射像周边的亮度分布(水平方向)的曲线图。
图11(a)、(b)、(c)为表示在实施方式的视线检测装置的视线检测处理部进行的处理中，图案光的黑区域与角膜反射像位置重叠的情况下的包含角膜反射像且在上下方向稍许偏移的周边的亮度分布(水平方向)的曲线图。
图12为表示实施方式的视线检测装置的视线检测处理部进行的角膜反射像位置检测处理动作的流程图。
具体实施方式
以下，基于附图对本发明的视线检测装置、所述视线检测装置的控制方法、角膜反射像位置的检测方法、计算机程序以及存储介质的实施方式进行说明，所述视线检测装置例如搭载于驾驶员监控系统或设置于作业现场等而利用，用于视线(起点及视线方向)测定，而且也可进行VOR测定或脸认证。
[适用例]
本发明例如适用于视线检测装置。现有的视线检测装置中，为了检测视线方向，将广角相机、红外相机及照明光源作为必需的结构要件，配备有两台相机。因此，视线检测装置的制作费变高，而且视线检测装置也大型化。
本发明的视线检测装置中，通过一面向人物的脸投影图案光一面进行拍摄，即便为一个摄像部(相当于所述现有例中的相机)，也可实施用于视线检测的拍摄，可利用简单的结构来检测视线(起点及视线方向)。
图1为表示实施方式的视线检测装置的一例的功能结构框图。
视线检测装置1例如是组入至用于监控车辆的驾驶员的驾驶动作的驾驶员监控系统(未图示)而配备，且搭载于所述驾驶员监控系统的车载装置侧。
在车载装置，例如配备有检测车辆的惯性力的惯性传感器、作为位置检测部的全球定位系统(Global Positioning System，GPS)接收机、作为声音输出部的扬声器等。此外，也通常配备有通信部、外部接口(外部I/F(Interface))等。
惯性传感器中，包含检测车辆的角速度的角速度传感器而构成。关于角速度传感器，采用至少可检测与绕铅垂轴(偏摆(yaw)方向)的旋转相应的角速度、即与车辆向左右方向的旋转(转弯)相应的角速度数据的传感器，例如陀螺仪传感器(Gyro sensor，也称为偏摆率传感器)。
另外，关于角速度传感器，除了绕铅垂轴的单轴陀螺仪传感器以外，还可采用也检测绕左右方向的水平轴(俯仰(pitch)方向)的角速度的二轴陀螺仪传感器，进而还可采用也检测绕前后方向的水平轴(翻滚(roll)方向)的角速度的三轴陀螺仪传感器。这些陀螺仪传感器中，有振动式陀螺仪传感器，除此以外有光学式、机械式的陀螺仪传感器等。
另外，惯性传感器也可包含检测车辆的加速度的加速度传感器，且角速度传感器和加速度传感器搭载于一个封装(package)。关于加速度传感器，常采用检测XYZ轴三方向的加速度的三轴加速度传感器，但也可为二轴、单轴的加速度传感器。
GPS接收机经由天线以规定周期接收来自人工卫星的GPS信号，检测当前的位置信息(纬度、经度、高度)。由GPS接收机检测的位置信息是与位置检测时刻相对应地存储于位置信息存储部。此外，车辆的检测自车位置的装置不限定于GPS接收机，例如也可为与日本的准天顶卫星、俄罗斯的格洛纳斯(GLONASS)、欧洲的伽利略(Galileo)、中国的北斗卫星(Compass)等其他卫星测位系统对应的测位装置。
通信部包含用于经由通信网络向伺服装置进行数据输出等的通信模块而构成。
外部接口例如包含接口电路或连接用连接器等，用于与拍摄车外的车外相机等车载机器(未图示)之间进行数据或信号的授受而构成。
搭载有车载装置的车辆并无特别限定，本适用例中，经营各种事业的事业人员所管理的车辆可作为对象。例如，运输事业人员所管理的卡车(truck)、公共汽车事业人员所管理的公共汽车、出租车(taxi)事业人员所管理的出租车、汽车共享(car sharing)事业人员所管理的共享车辆、租赁车事业人员所管理的租赁车等可作为对象。
车载装置例如经由通信网络而与伺服装置可通信地连接。关于通信网络，包括含有基站的移动电话网(第三代移动通信技术(3rd-Generation，3G)/第四代移动通信技术(4th-Generation，4G)或无线局域网(Local Area Network，LAN)等无线通信网，也可包括公用电话网等有线通信网、国际互联网(Internet)或专用网等。
另外，管理车辆的事业人员的终端装置(以下称为事业人员终端)经由通信网络而与伺服装置可通信地连接。事业人员终端既可为具备通信功能的个人计算机，也可为移动电话、智能手机(smartphone)或平板终端等便携式信息终端等。
伺服装置进行下述处理等，即：蓄积由车载装置所获取的车辆的驾驶员的脸的朝向和/或视线的朝向等信息(以下也称为朝向信息)，基于所述朝向信息来评价驾驶员的安全确认动作。伺服装置例如进行分别评价交叉点进入时刻之前的规定时间、和交叉点进入时刻之后的规定时间的驾驶员的安全确认动作的处理等，并存储这些评价结果。
而且，在从事业人员终端有要求的情况下，进行将车辆的驾驶员的安全确认动作的评价结果等信息经由通信网络提供给事业人员终端的处理。
[结构例]
如图1所示，实施方式的视线检测装置1例如包含相机部10、照射图案光的投影仪部20、控制相机部10及投影仪部20的相机/投影仪控制部30、执行视线的检测处理的视线检测处理部40、及存储部50而构成。
利用相机部10拍摄驾驶员的脸的图像，所拍摄的脸图像由视线检测处理部40进行处理，检测视线。本实施方式的视线检测装置1中，虽未图示，但除了视线检测以外，也可检测驾驶员的眼球运动及头部运动而计算VOR，也可高精度地计算脸的三维形状而进行脸认证。
相机部10例如包含未图示的透镜部、摄像元件部、接口部、控制这些各部的控制部等而构成。所述摄像元件部例如包含电荷耦合器件(Charge Coupled Device，CCD)、互补式金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)等摄像元件、滤波器、微透镜等而构成。所述摄像元件部除了包含接收可见区域的光而可形成拍摄图像的摄像元件以外，还可为接收紫外线或红外线而可形成拍摄图像的CCD、CMOS或光电二极管(photodiode)等红外线传感器。相机部10包含单眼相机。
相机部10以规定的帧率(例如每秒30帧～60帧)拍摄图像，由相机部10所拍摄的图像的数据经由相机/投影仪控制部30而向视线检测处理部40输出。
投影仪部20包含发光二极管(Light Emitting Diode，LED)等发光元件，而且也可包含近红外LED等，以可不分昼夜地拍摄驾驶员的状态而构成。
另外，投影仪部20中包含图案光照射部(未图示)而构成，以可对驾驶员的脸的表面照射图案光。所述图案光照射部是由来自相机/投影仪控制部30的控制信号进行控制。
此处，图案光照射部所照射的图案光并无特别限定。只要适于测距用，则可为任何图案光。作为特别适于测距的优异的图案光，可举出本案申请人此前提出申请的图案光在每个场所不同的成为黑白的二值花样的日本专利特愿2016-202682号所记载的图案光。
相机/投影仪控制部30例如包含中央处理器(Central Processing Unit，CPU)、存储器等而构成，例如通过读出存储于存储器的规定的程序并由CPU解释执行，而实现后述的作用。相机/投影仪控制部30控制所述摄像元件部或投影仪部20，进行下述控制等，即：从投影仪部20照射图案光(例如近红外线等)，并利用所述摄像元件部拍摄其反射光。
视线检测处理部40例如包含CPU、存储器等而构成，例如通过读出存储于存储器的规定的程序并由CPU解释执行，而实现后述的作用。视线检测处理部40进行下述处理，即：使用由相机部10所拍摄的图像数据进行视线检测处理，将每帧的视线检测结果输出至所述驾驶员监控系统的车载装置侧的控制部，并且输出至存储部50进行存储。另外，视线检测处理部40还进行下述处理，即：读出存储于存储部50的前帧的角膜反射像位置等，视需要进行基于所读出的角膜反射像位置的视线检测处理，将所述视线检测结果输出至所述驾驶员监控系统的车载装置侧的控制部。
存储部50例如包含随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、闪速存储器(flash memory)、固态驱动器(Solid State Drive，SSD)、硬盘驱动器(Hard Disk Drive，HDD)等一个以上的存储装置。另外，存储部50也可包含存储卡等可装卸的存储装置而构成。此外，也可设为使RAM及ROM包含于相机/投影仪控制部30的结构。
图2为表示实施方式的相机/投影仪控制部30的由相机部10进行的拍摄及投影仪部20的点亮、熄灭控制的流程图。
本控制动作例如是在利用相机部10实施拍摄的时机执行。
首先，步骤S1中，将投影仪部20点亮，将图案光照射于驾驶员的脸。接下来，步骤S2中，利用相机部10来进行用于角膜反射像位置检测及眼睛的三维位置矢量计算的照射有图案光的驾驶员的脸的拍摄。
然后，步骤S3中，将由相机部10所拍摄的图像输出至视线检测处理部40，接下来，步骤S4中，将投影仪部20熄灭。
然后，步骤S5中，利用相机部10来进行用于检测瞳孔中心的未照射有图案光的驾驶员的脸的拍摄。
然后，步骤S6中，将由相机部10所拍摄的图像输出至视线检测处理部40后，回到步骤S1，在规定的时机反复执行这些步骤。
[变形结构例]
如图3所示，变形结构例的视线检测装置1A中，例如采用近红外相机部10A来代替视线检测装置1的相机部10，采用近红外投影仪部20A来代替照射图案光的投影仪部20。还包括可检测瞳孔的近红外照明20B。其他的相机/投影仪控制部30、执行视线的检测处理的视线检测处理部40及存储部50是与图1所示的视线检测装置1同样地构成。
利用近红外相机部10A拍摄驾驶员的图像，所拍摄的图像由视线检测处理部40进行处理，检测视线。变形结构例的视线检测装置1A中，也可除了视线检测以外，还检测驾驶员的眼球运动及头部运动而计算VOR，并且还高精度地计算脸的三维形状而进行脸认证。
近红外相机部10A中，也以规定的帧率(例如每秒30帧～60帧)拍摄图像，将由近红外相机部10A所拍摄的图像的数据经由相机/投影仪控制部30向视线检测处理部40输出。
近红外相机部10A例如包含未图示的透镜部、摄像元件部、接口部、控制这些各部的控制部等而构成。所述摄像元件部例如包含CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等摄像元件、滤波器、微透镜等而构成。所述摄像元件部也可为接收近红外线而可形成拍摄图像的CCD、CMOS、或光电二极管等近红外线传感器。近红外相机部10A既可为单眼相机，也可为立体相机(stereo camera)。
近红外投影仪部20A包含发光二极管(Light Emitting Diode，LED)等发光元件而构成。
另外，近红外投影仪部20A中可包含图案光照射部(未图示)而构成，以可对驾驶员的脸的表面照射图案光。所述图案光照射部是由来自相机/投影仪控制部30的控制信号进行控制。
此处，图案光照射部所照射的图案光也无特别限定。只要适于测距用，则可为任何图案光。作为特别适于测距的优异的图案光，可举出本案申请人此前提出申请的日本专利特愿2016-202682号所记载的图案光。
相机/投影仪控制部30例如包含CPU、存储器、图像处理电路等而构成，例如通过读出存储于存储器的规定的程序并由CPU解释执行，而实现后述的作用。相机/投影仪控制部30进行下述控制等，即：控制所述摄像元件部或近红外投影仪部20A，从近红外投影仪部20A照射近红外线的图案光，并利用所述摄像元件部来拍摄其反射光。近红外相机部10A以规定的帧率(例如每秒30帧～60帧)拍摄图像，由近红外相机部10A所拍摄的图像的数据经由相机/投影仪控制部30而向视线检测处理部40输出。
视线检测处理部40进行下述处理，即：使用由近红外相机部10A所拍摄的图像数据进行后述的视线检测处理，将每帧的视线检测结果输出至所述驾驶员监控系统的车载装置侧的控制部，并且输出至存储部50进行存储。另外，视线检测处理部40还进行下述处理，即：读出存储于存储部50的前帧的角膜反射像位置等，视需要进行基于所读出的角膜反射像位置的视线检测处理，将所述视线检测结果输出至所述驾驶员监控系统的车载装置侧的控制部。
图4为表示变形结构例的相机/投影仪控制部30的由近红外相机部10A进行的拍摄、近红外投影仪部20A及近红外照明20B的点亮、熄灭控制的流程图。
本控制动作例如是在利用近红外相机部10A实施拍摄的时机执行。
步骤S11中，将近红外投影仪部20A点亮，将图案光照射于驾驶员的脸，另一方面，将瞳孔检测用的近红外照明20B熄灭。接下来，步骤S12中，利用近红外相机部10A来实施用于角膜反射像位置检测及眼睛三维位置矢量计算的照射有图案光的驾驶员的脸的拍摄。
接下来，步骤S13中，将由近红外相机部10A所拍摄的图像输出至视线检测处理部40，接下来，步骤S14中，将近红外投影仪部20A熄灭，另一方面，将用于检测瞳孔中心的近红外照明20B点亮。
接下来，步骤S15中，利用近红外相机部10A来实施用于检测瞳孔中心的未照射有图案光的驾驶员的脸的拍摄。
接下来，步骤S16中，将由近红外相机部10A所拍摄的图像输出至视线检测处理部40后，回到步骤S11，在规定的时机反复执行这些步骤。
[视线检测处理部的结构例]
图5表示实施方式的图1及图3的视线检测处理部40的功能结构框图，视线检测处理部40包含相机图像接收部41、瞳孔中心检测部42、角膜反射像位置检测部43、眼睛的三维位置矢量计算部44、视线计算部45、及存储部/I/F46而构成。
若相机图像接收部41接收拍摄图像，则将投影仪部20熄灭时的拍摄图像发送至瞳孔中心检测部42，另一方面，将投影仪部点亮时的拍摄图像发送至角膜反射像位置检测部43、及眼睛的三维位置矢量计算部44。
瞳孔中心检测部42中，基于所接收的拍摄图像来检测瞳孔中心，将表示所检测到的瞳孔中心的位置的第一坐标值发送至角膜反射像位置检测部43、及视线计算部45。
角膜反射像位置检测部43中，基于所接收的拍摄图像来检测角膜反射像，将表示所检测到的角膜反射像的位置的第二坐标值发送至视线计算部45。
眼睛的三维位置矢量计算部44中，基于所接收的拍摄图像来计算眼睛的三维位置矢量，将所计算的眼睛的三维位置矢量发送至视线计算部45。
视线计算部45中，基于所发送来的瞳孔中心坐标值、角膜反射像的坐标值及眼睛的三维位置矢量来计算视线(视线的起点、视线方向)，输出至所述驾驶员监控系统的车载装置侧的控制部，另一方面，进行下述处理，即：将当前帧的角膜反射像的坐标值发送至存储部46并存储，从存储部46调出前帧的角膜反射像的坐标值。
图6为表示结构例3的视线检测处理部40的视线检测处理动作的流程图。
本处理动作例如是在利用相机部10来实施拍摄并接收拍摄图像的时机执行。
首先，步骤S21中，相机图像接收部41接收由相机部10所得的拍摄图像。接着，步骤S22中，瞳孔中心检测部42基于所接收的拍摄图像，根据瞳孔的轮廓来检测瞳孔中心。
另一方面，步骤S23中，眼睛的三维位置矢量计算部44基于照射有图案光的拍摄图像，来计算距眼睛的三维位置矢量。接下来，步骤S24中，角膜反射像位置检测部43基于步骤S22中检测到的瞳孔中心、及照射有图案光的拍摄图像，来检测角膜反射像的位置。
接下来，步骤S25中，视线计算部45基于步骤S22中检测到的瞳孔中心、步骤S24中检测到的角膜反射像的位置、及步骤S23中计算的眼睛的三维位置矢量，来计算视线(视线起点、视线方向)并决定视线，输出至所述驾驶员监控系统的车载装置侧的控制部。
另外，步骤S26中，进行将所检测到的角膜反射像的位置写入至存储部46的处理后，回到步骤S21，在规定的时机反复执行这些步骤。
图7(a)、(b)为用于对实施方式的视线检测装置的视线检测处理部40进行的眼睛的三维位置矢量计算方法进行说明的示意性概略立体图。
图7(a)表示向人物的脸照射图案光的状态。
若照射图案光，则眼睛的三维位置矢量计算部44基于所接收的拍摄图像来计算距相机的三维位置矢量，根据所计算的三维位置矢量而制作图7(b)所示那样的三维脸形状的图。
图8(a)、(b)为用于对角膜反射像检测的现有方法进行说明的图，图8(a)表示通过照明的照射而在眼睛的瞳孔附近形成角膜反射像的状态。如此，角膜反射像与周边相比，亮度变得极高。因此，可使用下述方法：进行瞳孔附近的图像处理，提取瞳孔附近的高亮度像素的集合，将其重心位置确定为角膜反射像位置(图8(b))。
图9(a)、(b)为用于对实施方式的视线检测装置的视线检测处理部进行的角膜反射像检测处理进行说明的表示图案光投影状况的示意性概略图。
图9(a)表示角膜反射像位于图案光的白区域的情况下的状况，图9(b)表示角膜反射像位于图案光的黑区域的情况下的状况。
可知若图案光的黑区域与角膜反射像的位置重叠，则角膜反射像的亮度降低。因此可知，以角膜反射像为高亮度作为前提的现有方法无法适用于本实施方式。
图10为表示如图9(b)所示那样图案光的黑区域与角膜反射像位置重叠的情况下的角膜反射像周边的亮度分布(水平方向)的曲线图。可谓若图案光的黑区域与角膜反射像位置重叠，则角膜反射像的亮度降低，可知在角膜反射像位置出现某程度的急剧波峰，亮度值成为极大。
图11(a)～(c)表示图案光的黑区域与角膜反射像的位置重叠的情况下的包含角膜反射像且在上下方向稍许偏移的周边的亮度分布(水平方向)的曲线图。
由于可能存在图11(a)～(c)所示那样的状况，因而将角膜反射像的位置检测设为基于图12所示的流程图的检测。
图12为表示视线检测处理部进行的角膜反射像位置的检测处理动作的流程图。
首先，步骤S31中，接收投影仪部点亮时的拍摄图像及瞳孔中心坐标值。接下来，步骤S32中，在瞳孔中心附近设定搜索区域。接下来，步骤S33中，对搜索区域中的像素逐一进行扫描。此处所谓扫描，是指将图像分解为多个点，为了将各个点的明暗等转换为电信号，而以一定的顺序搜寻各点。
接下来，步骤S34中，判断是否成为亮度分布的可采用的极大值。步骤S34中，若判断为成为亮度分布中可采用的极大值，则接下来进入步骤S35，步骤S35中，判断亮度的动态范围DR是否为阈值以上，若判断为动态范围DR为阈值以上，则接下来进入步骤S36，进行采用所述亮度的值作为极大值的处理。
此处，关于动态范围DR，采用亮度的最大值与最小值之差。
另一方面，步骤S34中，若判断为未成为亮度分布中可采用的极大值，则接下来进入步骤S37，步骤S37中，判断所有像素的扫描是否完成。
另外，在步骤S35中判断为亮度的动态范围DR并非阈值以上的情况下，及步骤S36中进行采用所述亮度的值作为极大值的处理后，也进入步骤S37。
步骤S37中，若判断为所有像素的扫描未完成，则回到步骤S33，另一方面，步骤S37中，若判断为所有像素的扫描完成，则接下来进入步骤S38。
步骤S38中，判断是否为不存在亮度分布的可采用的极大值的情况。步骤S38中，若判断为不存在亮度分布的可采用的极大值的情况，则进入步骤S39，输出前帧的角膜反射像位置。
步骤S38中，若判断为存在亮度分布的可采用的极大值的情况，则接下来进入步骤S40，步骤S40中，判断亮度分布的可采用的极大值是否为一个。步骤S40中，若判断为亮度分布的可采用的极大值为一个，则接下来进入步骤S41，步骤S41中，将所述极大值的位置作为角膜反射像位置而输出。
另一方面，步骤S40中，若判断为亮度分布的可采用的极大值并非一个，则接下来进入步骤S42，进行以距瞳孔中心的距离对可采用的极大值进行排序(sort)的处理。接下来，步骤S43中，进行输出距瞳孔中心的距离最近的极大值位置作为角膜反射像位置的处理。
通过进行所述那样的处理，准确地进行角膜反射像位置的检测。
此外，所述步骤S31～步骤S43的处理是对图6所示的视线检测处理的步骤S24的角膜反射像位置的检测处理的内容进行详细说明而成。
此处，并未记载眼睛三维位置矢量的计算方法的详情，但关于使用图案光的详细的三维位置矢量的计算方法，已详细记载于本案申请人此前提出申请的日本专利特愿2016-202682号，例如可采用所述申请说明书所记载的方法。
若通过使用图案光的详细的三维位置矢量的测定来求出从相机部10、相机部10A到眼睛的准确距离，并且获得脸表面的三维点群，使脸表面的模型与所述点群进行拟合，则可求出脸的朝向。
使用瞳孔中心和角膜反射像的视线的计算中，计算视线自脸的朝向方向的偏移，因而若可通过测定三维位置矢量来准确地求出脸的朝向，则会准确地求出视线方向。
另外，若每帧进行所述拟合，则可计算脸的朝向的经时变化，由此也可准确地计算头部运动。
另外，若通过相机部10、相机部10A的拍摄图像来检测瞳孔，检测瞳孔的经时变化，则可准确地求出眼球运动。
另一方面，由头部运动诱发的VOR为在头部运动时以与其大致相同的速度使眼球反转，抑制网膜像的滑动的不自主的眼球运动。
根据实施方式的视线检测装置1，如上文所述那样，可准确地计算头部运动，而且可准确地求出眼球运动，因而也可用作VOR测定装置。
另外，实施方式的视线检测装置1也可准确地检测人物的脸表面的三维形状，因而可掌握脸的形状特征而实施脸认证，也可用作人物的脸认证装置。
作为视线的计算方法，例如在《大野健彦等人的“通过两点修正实现了简单校正的视线测定系统”，信息处理学会论文杂志，第44卷，第4期，第1136-1149页Vol.44，No.4，pp.1136-1149(2003)》中有详细介绍，也可采用所述论文记载的方法。此外，本发明的视线的计算方法不限定于所述论文记载的方法，也可为其他方法。
另外，关于VOR测定的详情，在《西山润平等人的“利用前庭眼动反射的睡意预兆检测”，生物医工学学会论文杂志，第48卷，第1期，第1-10页Vol.48，No.1，pp.1-10(2010，2月(Feb.))》中有详细介绍，可采用所述论文记载的方法。此外，本发明的VOR的测定方法不限定于所述论文记载的方法，也可为其他方法。
以上，对本发明的实施方式进行了详细说明，但所述说明在所有方面仅为本发明的例示。当然可不偏离本发明的范围而进行各种改良或变更。
所述实施方式中，举出搭载于驾驶员监控系统而利用的用于视线测定的视线检测装置作为示例进行了说明，但其他实施方式中，也可为设置于工厂等的作业现场等而利用的用于视线测定的视线检测装置。
另外，所述实施方式中，关于步骤S35的动态范围DR，采用亮度的最大值与最小值之差，但其他实施方式中，动态范围DR也可采用亮度的最大值与中央值之差。通过所述设定，可使角膜反射像位置的检测相对于噪声而更强，其中所述角膜反射像位置用于检测视线。
另外，所述实施方式中，步骤S38中，若判断为不存在亮度分布的可采用的极大值，则步骤S39中进行输出前帧的角膜反射像位置的处理，但其他实施方式中，也可在步骤S38中，若判断为不存在亮度分布的可采用的极大值，则步骤S39中，输出根据以往的帧、例如以往的数帧所预测的当前的角膜反射像位置。若设为所述处理，则即便在人物移动那样的情况下，也可更妥当地进行用于检测视线的角膜反射像位置的输出。
[附记]
本发明的实施方式也可如以下的附记那样记载，但不限定于这些。
(附记1)
一种视线检测装置(1)的控制方法，其特征在于包括：
步骤(S1)，将投影部点亮，向人物的脸投影图案光；
步骤(S2)，利用摄像部来拍摄投影有所述图案光的脸；
步骤(S3)，将步骤(S2)中拍摄的拍摄图像输出至视线检测处理部；
步骤(S4)，将投影部熄灭；
步骤(S5)，利用摄像部来拍摄未投影有所述图案光的脸；以及
步骤(S6)，将步骤(S5)中拍摄的拍摄图像输出至视线检测处理部。
(附记2)
一种角膜反射像位置的检测方法，所述角膜反射像位置用于使用视线检测装置(1)至(6)中任一项所记载的视线检测装置的视线检测，所述角膜反射像位置的检测方法的特征在于包括：
步骤(S31)，接收拍摄图像和瞳孔中心位置；
步骤(S32)，在所述瞳孔中心位置附近设定搜索区域；
步骤(S33)，对所述搜索区域中的像素逐一进行扫描；
步骤(S34)，判断扫描的结果是否成为亮度的极大值；
步骤(S36)，若判断为亮度的动态范围为阈值以上，则采用所述亮度的值作为极大值；以及
步骤(S43)，输出将距瞳孔中心的距离最近的显示极大值的像素的位置作为角膜反射像的位置。
(附记3)
一种用于检测角膜反射像的位置的计算机程序，用于使至少一个计算机执行角膜反射像的位置的检测处理，所述角膜反射像的位置用于使用视线检测装置(1)的视线检测，所述计算机程序的特征在于，
使至少一个计算机执行：
步骤(S31)，接收拍摄图像和瞳孔中心位置；
步骤(S32)，在瞳孔中心位置附近设定搜索区域；
步骤(S33)，对搜索区域中的像素逐一进行扫描；
步骤(S34)，判断扫描的结果是否成为亮度的极大值；
步骤(S36)，若判断为亮度的动态范围为阈值以上(S35)，则采用所述亮度的值作为极大值；
步骤(S43)，输出距瞳孔中心的距离最近的显示极大值的像素的位置作为角膜反射像的位置。
产业上的可利用性
本发明可适用于对人进行监控的各种系统等，例如可在用于监控车辆的驾驶员的驾驶员监控系统、或设置于作业现场等而测定作业人员的视线的系统等各种工业领域中广泛地利用。
符号的说明
1：视线检测装置
10：相机部
10A：近红外相机部
20：投影仪部
20A：近红外投影仪部
20B：近红外照明
30：相机/投影仪控制部
40：视线检测处理部
41：相机图像接收部
42：瞳孔中心检测部
43：角膜反射像位置检测部
44：眼睛的三维位置矢量计算部
45：视线计算部
46：存储部

Claims (16)

1.一种视线检测装置，其特征在于构成为包含如下构件：
摄像部，拍摄人物的脸；
投影部，向所述人物的脸投影规定的图案光；
控制部，控制所述摄像部及有无由所述投影部进行所述图案光的投影；以及
视线检测处理部，根据由所述摄像部所拍摄的人物的脸的图像来检测视线。
2.根据权利要求1所述的视线检测装置，其特征在于，所述视线检测处理部构成为包含如下构件：
第一计算部，使用由所述摄像部所拍摄的未投影有所述图案光的所述脸的图像，计算所述人物的眼睛的瞳孔中心；
第二计算部，使用由所述摄像部所拍摄的投影有所述图案光的所述脸的图像，计算所述人物的眼睛的角膜反射像的位置；以及
第三计算部，使用由所述摄像部所拍摄的投影有所述图案光的所述脸的图像，计算所述脸的规定部位的三维位置矢量。
3.根据权利要求1或2所述的视线检测装置，其特征在于包括：
第四计算部，检测所述人物的眼睛的瞳孔中心的经时变化而计算眼球运动；以及
第五计算部，根据所述脸的规定部位的三维位置矢量来检测所述脸的表面形状，基于所述表面形状的朝向的经时变化来计算所述人物的头部运动，
所述视线检测装置使用所计算的所述眼球运动及所述头部运动来检测前庭眼动反射。
4.根据权利要求1或2所述的视线检测装置，其特征在于包括：第六计算部，根据所述人物的脸的规定部位的三维位置矢量来计算所述人物的脸的表面形状，所述视线检测装置使用所计算的所述人物的脸的表面形状来进行脸认证。
5.根据权利要求1或2所述的视线检测装置，其特征在于，所述图案光的规定的图案成为在每个场所不同的二值花样。
6.根据权利要求1或2所述的视线检测装置，其特征在于，所述投影部通过非可见的规定的波长范围的光来投影所述图案光，
所述摄像部在所述规定的波长范围具有灵敏度，
所述视线检测装置还包括：照明，照射所述规定的波长范围的光。
7.一种视线检测装置的控制方法，控制如权利要求1所述的视线检测装置，其特征在于包括：
将所述投影部点亮，向人物的脸投影图案光的步骤；
利用所述摄像部来拍摄投影有所述图案光的脸的步骤；
将所述步骤中拍摄的拍摄图像输出至所述视线检测处理部的步骤；
将所述投影部熄灭的步骤；
利用所述摄像部来拍摄未投影有所述图案光的脸的步骤；以及
将所述步骤中拍摄的拍摄图像输出至所述视线检测处理部的步骤。
8.一种视线检测装置的控制方法，控制如权利要求6所述的视线检测装置，其特征在于包括：
将所述投影部点亮，将所述照明熄灭的步骤；
利用所述摄像部来拍摄投影有所述图案光的脸的步骤；
将所述步骤中拍摄的拍摄图像输出至所述视线检测处理部的步骤；
将所述投影部熄灭，将所述照明点亮的步骤；
利用所述摄像部来拍摄未投影有所述图案光的脸的步骤；以及
将所述步骤中拍摄的拍摄图像输出至所述视线检测处理部的步骤。
9.一种角膜反射像位置的检测方法，所述角膜反射像位置用于使用如权利要求1或2所述的视线检测装置的视线检测，所述角膜反射像位置的检测方法的特征在于包括：
接收拍摄图像和瞳孔中心位置的步骤；
在所述瞳孔中心位置附近设定搜索区域的步骤；
对所述搜索区域中的像素逐一进行扫描的步骤；
判断扫描的结果是否成为亮度的极大值的步骤；
若判断为亮度的动态范围为阈值以上，则采用所述亮度的值作为极大值的步骤；以及
输出距瞳孔中心的距离最近的显示极大值的像素的位置作为角膜反射像的位置的步骤。
10.根据权利要求9所述的角膜反射像位置的检测方法，其特征在于，将亮度的最大值与最小值之差设为动态范围。
11.根据权利要求9所述的角膜反射像位置的检测方法，其特征在于，将亮度的最大值与中央值之差设为动态范围。
12.根据权利要求9所述的角膜反射像位置的检测方法，其特征在于包括：在判断为不存在亮度分布的能够采用的极大值的情况下，输出前帧的角膜反射像位置的步骤。
13.根据权利要求9所述的角膜反射像位置的检测方法，其特征在于包括：在判断为不存在亮度分布的能够采用的极大值的情况下，输出根据以往的帧所预测的当前的角膜反射像位置的步骤。
14.根据权利要求9所述的角膜反射像位置的检测方法，其特征在于包括：若判断为亮度分布的能够采用的极大值为一个，则输出所述极大值的位置作为角膜反射像位置。
15.一种计算机程序，用于检测角膜反射像的位置，且用于使至少一个计算机执行角膜反射像的位置的检测处理，所述角膜反射像的位置用于使用如权利要求1或2所述的视线检测装置的视线检测，所述计算机程序的特征在于，
使所述至少一个计算机执行：
接收拍摄图像和瞳孔中心位置的步骤；
在所述瞳孔中心位置附近设定搜索区域的步骤；
对所述搜索区域中的像素逐一进行扫描的步骤；
判断扫描的结果是否成为亮度的极大值的步骤；
若判断为亮度的动态范围为阈值以上，则采用所述亮度的值作为极大值的步骤；以及
输出距瞳孔中心的距离最近的显示极大值的像素的位置作为角膜反射像的位置的步骤。
16.一种计算机能够读取的存储介质，存储有用于使至少一个计算机执行角膜反射像的位置的检测处理的计算机程序，所述角膜反射像的位置用于使用如权利要求1或2所述的视线检测装置的视线检测，所述计算机能够读取的存储介质的特征在于，
存储有用于使所述至少一个计算机执行下述步骤的程序：
接收拍摄图像和瞳孔中心位置的步骤；
在所述瞳孔中心位置附近设定搜索区域的步骤；
对所述搜索区域中的像素逐一进行扫描的步骤；
判断扫描的结果是否成为亮度的极大值的步骤；
若判断为亮度的动态范围为阈值以上，则采用所述亮度的值作为极大值的步骤；以及
输出距瞳孔中心的距离最近的显示极大值的像素的位置作为角膜反射像的位置的步骤。
CN201980011822.0A 2018-03-15 2019-02-21 视线检测装置、所述视线检测装置的控制方法、角膜反射像位置的检测方法、计算机程序以及存储介质 Pending CN111684394A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-047460 2018-03-15
JP2018047460A JP6717330B2 (ja) 2018-03-15 2018-03-15 視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、及びコンピュータプログラム
PCT/JP2019/006510 WO2019176491A1 (ja) 2018-03-15 2019-02-21 視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、コンピュータプログラム、及び記憶媒体

Publications (1)

Publication Number Publication Date
CN111684394A true CN111684394A (zh) 2020-09-18

Family

ID=67906583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980011822.0A Pending CN111684394A (zh) 2018-03-15 2019-02-21 视线检测装置、所述视线检测装置的控制方法、角膜反射像位置的检测方法、计算机程序以及存储介质

Country Status (5)

Country Link
US (1) US11903647B2 (zh)
EP (1) EP3767581A4 (zh)
JP (1) JP6717330B2 (zh)
CN (1) CN111684394A (zh)
WO (1) WO2019176491A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI746184B (zh) * 2020-09-25 2021-11-11 宏碁股份有限公司 利用視線方向調整顯示模式的顯示裝置及其操作方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110853031B (zh) * 2019-11-20 2023-04-11 航天科技控股集团股份有限公司 汽车组合仪表指示灯点亮的排他检测方法
TWI722872B (zh) 2020-04-17 2021-03-21 技嘉科技股份有限公司 人臉辨識裝置以及人臉辨識方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1119809A (zh) * 1994-07-29 1996-04-03 佳能株式会社 视点检测器
CN102149325A (zh) * 2008-09-26 2011-08-10 松下电器产业株式会社 视线方向判定装置及视线方向判定方法
CN102159136A (zh) * 2008-09-18 2011-08-17 学校法人中部大学 困意预兆检测装置
CN102510734A (zh) * 2010-07-20 2012-06-20 松下电器产业株式会社 瞳孔检测装置及瞳孔检测方法
JP2013190394A (ja) * 2012-03-15 2013-09-26 Ricoh Co Ltd パターン照明装置、及び測距装置
WO2013175595A1 (ja) * 2012-05-23 2013-11-28 パイオニア株式会社 三次元顔計測装置、制御方法、プログラム、及び記憶媒体
CN103679180A (zh) * 2012-09-19 2014-03-26 武汉元宝创意科技有限公司 一种基于单摄像头单光源的视线追踪方法
KR20140053647A (ko) * 2012-10-26 2014-05-08 주식회사 에스원 3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법
JP2016110444A (ja) * 2014-12-08 2016-06-20 国立大学法人静岡大学 眼球識別装置及び眼球識別方法
US20170091520A1 (en) * 2015-09-30 2017-03-30 Fujitsu Limited Line-of-sight detection method and device
CN107210007A (zh) * 2014-11-13 2017-09-26 英特尔公司 防止基于面部的认证假冒
WO2018000020A1 (en) * 2016-06-29 2018-01-04 Seeing Machines Limited Systems and methods for performing eye gaze tracking
CN107665040A (zh) * 2016-07-27 2018-02-06 Fove股份有限公司 视线检测系统、偏移检测方法、偏移检测程序

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07104170A (ja) * 1993-09-30 1995-04-21 Olympus Optical Co Ltd 視線検出装置
JP5601179B2 (ja) * 2010-12-01 2014-10-08 富士通株式会社 視線検出装置及び視線検出方法
JP2013106645A (ja) * 2011-11-17 2013-06-06 Toyota Central R&D Labs Inc 視線計測装置及びプログラム
JP6056323B2 (ja) 2012-09-24 2017-01-11 富士通株式会社 視線検出装置、視線検出用コンピュータプログラム
JP5889465B1 (ja) 2015-04-24 2016-03-22 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理装置の制御方法
US9924866B2 (en) 2016-01-11 2018-03-27 Heptagon Micro Optics Pte. Ltd. Compact remote eye tracking system including depth sensing capacity

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1119809A (zh) * 1994-07-29 1996-04-03 佳能株式会社 视点检测器
CN102159136A (zh) * 2008-09-18 2011-08-17 学校法人中部大学 困意预兆检测装置
CN102149325A (zh) * 2008-09-26 2011-08-10 松下电器产业株式会社 视线方向判定装置及视线方向判定方法
CN102510734A (zh) * 2010-07-20 2012-06-20 松下电器产业株式会社 瞳孔检测装置及瞳孔检测方法
JP2013190394A (ja) * 2012-03-15 2013-09-26 Ricoh Co Ltd パターン照明装置、及び測距装置
WO2013175595A1 (ja) * 2012-05-23 2013-11-28 パイオニア株式会社 三次元顔計測装置、制御方法、プログラム、及び記憶媒体
CN103679180A (zh) * 2012-09-19 2014-03-26 武汉元宝创意科技有限公司 一种基于单摄像头单光源的视线追踪方法
KR20140053647A (ko) * 2012-10-26 2014-05-08 주식회사 에스원 3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법
CN107210007A (zh) * 2014-11-13 2017-09-26 英特尔公司 防止基于面部的认证假冒
JP2016110444A (ja) * 2014-12-08 2016-06-20 国立大学法人静岡大学 眼球識別装置及び眼球識別方法
US20170091520A1 (en) * 2015-09-30 2017-03-30 Fujitsu Limited Line-of-sight detection method and device
WO2018000020A1 (en) * 2016-06-29 2018-01-04 Seeing Machines Limited Systems and methods for performing eye gaze tracking
CN107665040A (zh) * 2016-07-27 2018-02-06 Fove股份有限公司 视线检测系统、偏移检测方法、偏移检测程序

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI746184B (zh) * 2020-09-25 2021-11-11 宏碁股份有限公司 利用視線方向調整顯示模式的顯示裝置及其操作方法
US11457203B2 (en) 2020-09-25 2022-09-27 Acer Incorporated Display apparatus using sight direction to adjust display mode and operation method thereof

Also Published As

Publication number Publication date
US11903647B2 (en) 2024-02-20
WO2019176491A1 (ja) 2019-09-19
EP3767581A4 (en) 2022-05-11
US20210052156A1 (en) 2021-02-25
EP3767581A1 (en) 2021-01-20
JP2019159982A (ja) 2019-09-19
JP6717330B2 (ja) 2020-07-01

Similar Documents

Publication Publication Date Title
JP6036065B2 (ja) 注視位置検出装置及び注視位置検出方法
CN109501807B (zh) 自动驾驶注意力检测系统及方法
JP2015000156A (ja) 端末装置、視線検出プログラムおよび視線検出方法
CN111684394A (zh) 视线检测装置、所述视线检测装置的控制方法、角膜反射像位置的检测方法、计算机程序以及存储介质
KR20120057033A (ko) Ｉｐｔｖ 제어를 위한 원거리 시선 추적 장치 및 방법
CN107960989B (zh) 脉搏波计测装置以及脉搏波计测方法
US20170278269A1 (en) Corneal reflection position estimation system, corneal reflection position estimation method, corneal reflection position estimation program, pupil detection system, pupil detection method, pupil detection program, gaze detection system, gaze detection method, gaze detection program, face orientation detection system, face orientation detection method, and face orientation detection program
US11455810B2 (en) Driver attention state estimation
US20190246000A1 (en) Apparatus and method for processing three dimensional image
CN110194173B (zh) 乘员监视装置
JP2019091255A (ja) 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム
US11597278B2 (en) Projection control device, head-up display device, projection control method, and non-transitory storage medium
WO2019155914A1 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、データ処理プログラム、及び記憶媒体
CN111196230B (zh) 驾驶辅助装置、可穿戴装置、驾驶辅助方法以及程序
CN114945955A (zh) 用于扩大虹膜识别范围的虹膜图像获取系统
JP2019028640A (ja) 視線検出装置
JP2017158169A (ja) 画像表示システム、表示装置、プログラム
CN113011222B (zh) 一种活体检测系统、方法及电子设备
JP6950597B2 (ja) 車載機、運転評価システム、情報処理方法、及びプログラム
JP2022012829A (ja) ドライバモニタ装置及びドライバモニタ方法
JP2017162233A (ja) 視線検出装置および視線検出方法
JP7068606B2 (ja) 運転評価装置、車載機、運転評価方法、及びコンピュータプログラム
JP7060841B2 (ja) 運転評価装置、運転評価方法、及び運転評価プログラム
JP2005018405A (ja) 目画像撮像装置
CN112789515A (zh) 测距系统、校准方法、程序和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination