CN111527374A - 视线方向校正装置、视线方向校正方法及视线方向校正程序 - Google Patents

视线方向校正装置、视线方向校正方法及视线方向校正程序 Download PDF

Info

Publication number
CN111527374A
CN111527374A CN201880084663.2A CN201880084663A CN111527374A CN 111527374 A CN111527374 A CN 111527374A CN 201880084663 A CN201880084663 A CN 201880084663A CN 111527374 A CN111527374 A CN 111527374A
Authority
CN
China
Prior art keywords
correction
user
gaze
sight
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880084663.2A
Other languages
English (en)
Other versions
CN111527374B (zh
Inventor
平田飞仙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN111527374A publication Critical patent/CN111527374A/zh
Application granted granted Critical
Publication of CN111527374B publication Critical patent/CN111527374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/22—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring angles or tapers; for testing the alignment of axes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Eye Examination Apparatus (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

具备：校正信息取得部(101)，其针对至少1个校正用注视对象，取得示出各校正用注视对象的位置的三维坐标；样本取得部(102)，其取得示出用户的视线方向的多个样本；校正模型生成部(103)，其基于示出各校正用注视对象的位置的三维坐标、以及示出注视着各校正用注视对象的状态下的用户的视线方向的样本，生成多个校正模型，该多个校正模型示出成为用户的位置的候选的三维坐标；以及校正参数计算部(104)，其基于所生成的校正模型，计算校正参数。

Description

视线方向校正装置、视线方向校正方法及视线方向校正程序
技术领域
本发明涉及对计测出的人的视线方向进行校正的技术。
背景技术
近年来，在各种领域中期待利用计测出的人的视线方向。例如，作为对车辆的驾驶员的驾驶支援的利用，举出基于计测出的驾驶员的视线方向来判定对行人等的注意程度或疏忽驾驶等驾驶员的周围认知状况、或者在该视线方向上显示支援信息等。
通常，在计测出的视线方向中包括计测误差。因此，在利用计测出的视线方向的情况下，配合使用对计测出的视线方向所包含的计测误差进行校正的技术。
在专利文献1中记载了一种视线方向计测装置，该视线方向计测装置从由2个照相机拍摄到的图像中提取驾驶员的两眼各自的角膜反射像，检测将连结2个角膜反射像的坐标与对应的照相机的焦点的2个直线的交点作为眼球中心的眼球位置，并且，检测眼球相对于照相机的摄影方向的旋转角度，基于检测出的眼球位置及眼球的旋转角度来计算视线方向。该专利文献1所记载的视线方向计测装置在由乘客操作了导航装置等特定设备的情况下，开始校准动作，计算使如上述那样计算出的驾驶员的视线方向与通过眼球中心和特定设备的直线一致的修正系数。
现有技术文献
专利文献
专利文献1：日本特开平9-238905号公报
发明内容
发明要解决的问题
但是，在上述专利文献1所记载的视线方向计测装置中，仅计算针对朝向特定设备的视线而计测的视线方向的修正系数，作为校正计测误差的校正量。因此，存在无法针对朝向特定设备以外的任意点的视线来计算校正量这样的问题。
本发明是为了解决上述问题而完成的，其目的在于，计算校正量，该校正量用于校正针对朝向任意点的视线而计测出的视线方向所包含的计测误差。
用于解决问题的手段
本发明的视线方向校正装置具备：校正信息取得部，其针对至少1个校正用注视对象，取得示出各校正用注视对象的位置的三维坐标；样本取得部，其取得示出用户的视线方向的多个样本；校正模型生成部，其基于校正信息取得部取得的三维坐标、以及样本取得部取得的示出注视着各校正用注视对象的状态下的用户的视线方向的样本，生成多个校正模型，该多个校正模型示出成为用户位置的候选的三维坐标；以及校正参数计算部，其基于校正模型生成部生成的校正模型，计算校正参数。
发明的效果
根据本发明，能够计算用于校正针对朝向任意点的视线而计测出的视线方向所包含的计测误差的校正量。
附图说明
图1是示出实施方式1的视线方向校正装置的结构的框图。
图2A及图2B是示出实施方式1的视线方向校正装置的硬件结构例的图。
图3是示出在实施方式1的视线方向校正装置中使用的三维坐标的图。
图4是示出实施方式1的视线方向校正装置的校正模型生成部的处理的说明图。
图5是示出实施方式1的视线方向校正装置的校正模型生成部的处理的说明图。
图6是示出实施方式1的视线方向校正装置的校正值计算部的计算例的说明图。
图7是示出实施方式1的视线方向校正装置的校正参数计算处理的动作的流程图。
图8是示出实施方式1的视线方向校正装置的视线方向的校正处理及视线方向的判定处理的动作的流程图。
图9是示出实施方式1的视线方向校正装置的校正处理的结果的图。
具体实施方式
以下，为了更加详细地说明本发明，按照附图对用于实施本发明的方式进行说明。
实施方式1.
图1是示出实施方式1的视线方向校正装置100的结构的框图。
视线方向校正装置100具备校正信息取得部101、样本取得部102、校正模型生成部103、校正参数计算部104、校正值计算部105、校正参数蓄积部106a、视线方向蓄积部106b及视线方向判定部107。
此外，视线方向校正装置100与视线计测装置201及输入装置202连接。
视线方向校正装置100能够在如下情况下广泛应用：该情况为，车辆内的乘客的被计测出的视线方向的校正、或者针对视觉确认桌子上的显示器或固定于用户的头部的显示器等的用户而计测出的视线方向的校正等校正用注视对象与用户的相对位置被看作固定的情况。
校正信息取得部101取得在生成后述的校正模型时用户应注视的预先设定的注视对象(以下记载为校正用注视对象)的三维坐标。这里，用户是成为视线计测的对象的人物。校正信息取得部101从内部的存储装置取得校正用注视对象的三维坐标。或者，校正信息取得部101经由输入装置从外部的程序取得示出校正用注视对象的位置的三维坐标。
校正用注视对象设定至少能够满足校正的自由度的任意个数。例如，在将视线方向校正装置100应用于车辆并校正车辆的驾驶员的视线方向的情况下，假定为事先掌握了表示视线方向计测的基准方向与校正用的基准方向所成的角的旋转参数(后述的式(1)中的ρ)，并且，驾驶席的左右方向的位置(式(1)中的xtarget的x成分)是固定的且被事先掌握。在该情况下，校正的自由度为用户位置的前后方向和上下方向这2个自由度(式(1)中的xtarget的y、z成分)，并且，如果假定为视线计测装置201提供视线的偏航方向和俯仰方向则得到2个自由度的计测值，因此，校正用注视对象至少为1个即可。在以下的说明中，将旋转参数(ρ)未知且校正用注视对象为多个的情况作为一例来进行说明。另外，通常随着校正用注视对象的个数增加，所计算的校正参数的精度提高。
在视线方向校正装置100进行校正参数的计算的情况下，样本取得部102取得示出注视着各校正用注视对象的状态下的用户的视线方向的多个样本。样本取得部102针对注视着1个校正用注视对象的状态下的用户，取得多个视线方向。此外，样本取得部102针对分别注视着多个校正用注视对象的状态下的用户，取得视线方向。
另外，关于视线方向的基准、即视线计测装置201的零点处的真正的视线方向，期望最简单地是与用户的正面方向平行的方向。但是，在将视线方向的基准包含于校正对象的结构中，视线方向的基准也可以是未知的。在该情况下，通过后述的校正处理，将任意指定的方位例如后述的Y轴作为基准来计算校正后的视线方向。样本取得部102将取得的样本向校正模型生成部103输出。
另一方面，在视线方向校正装置100使用校正参数来进行视线方向的校正处理及视线方向的判定处理的情况下，样本取得部102取得示出当前的用户的视线方向的样本。样本取得部102将取得的样本向校正值计算部105输出。
校正模型生成部103将校正信息取得部101取得的校正用注视对象的三维坐标与样本取得部102取得的样本对应起来，生成示出成为用户位置的候选的三维坐标的多个校正模型。另外，校正模型生成部103也可以构成为，与外部的程序协作地取得与表示校正用注视对象的信息关联而存储的多个样本。用户位置例如相当于用户的头部的中心位置、眼球的中心位置或者眉间的中心位置。校正模型生成部103将生成的校正模型向校正参数计算部104输出。另外，之后叙述校正模型生成部103的详细处理内容。
校正参数计算部104基于校正模型生成部103生成的校正模型，计算校正参数。校正参数计算部104将校正参数蓄积于校正参数蓄积部106a。另外，之后叙述校正参数计算部104的详细处理内容。
校正值计算部105基于校正参数计算部104计算出的校正参数，计算校正后的视线方向。例如，校正值计算部105经由输入装置202，从外部的程序受理判定用户是否正在视觉确认任意的注视对象(以下称为判定用注视对象)的请求。校正值计算部105在受理到请求后，从样本取得部102取得示出当前的视线方向的样本。校正值计算部105使用蓄积于校正参数蓄积部106a的校正参数，对视线方向进行校正。校正值计算部105将校正后的视线方向向视线方向判定部107输出。
此外，校正值计算部105也可以将校正后的视线方向始终蓄积于视线方向蓄积部106b。在该情况下，视线方向校正装置100针对希望判定用户是否正在视觉确认判定用注视对象的外部的程序，返回将判定用注视对象的三维坐标转换成校正后的视线方向的值，例如后述的判定处理中的θtarget。该外部的程序随时参照视线方向蓄积部106b，通过与校正后的视线方向进行比较而独自地进行判定处理。另外，蓄积于视线方向蓄积部106b的校正值和提供给外部的程序的校正参数的组合是一例，能够与判定处理的结构配合地适当进行变更。
视线方向判定部107基于蓄积于校正参数蓄积部106a的校正参数及校正值计算部105所校正的校正后的视线方向，进行用户是否正在视觉确认判定用注视对象的判定。
视线方向判定部107例如在校正后的视线方向与判定用注视对象的方向近似的情况下，判定为用户正在视觉确认判定用注视对象。视线方向判定部107基于预先设定的阈值，来设定校正后的视线方向与判定用注视对象的方向是否近似。该阈值是基于当前的用户的视线方向和表示周围的状况的信息而设定的。例如，在判断为用户视觉确认的对象存在于接近用户的位置的情况下阈值被设定得较大，在判断为用户视觉确认的对象存在于远离用户的位置的情况下阈值被设定得较小。
接着，对视线方向校正装置100的硬件结构例进行说明。
图2A及图2B是示出实施方式1的视线方向校正装置100的硬件结构例的图。
视线方向校正装置100中的校正参数蓄积部106a及视线方向蓄积部106b通过储存器100a来实现。视线方向校正装置100中的校正信息取得部101、样本取得部102、校正模型生成部103、校正参数计算部104、校正值计算部105及视线方向判定部107的各功能通过处理电路来实现。即，视线方向校正装置100具备用于实现上述各功能的处理电路。该处理电路可以如图2A所示那样是作为专用的硬件的处理电路100b，也可以如图2B所示那样是执行存放于存储器100d的程序的处理器100c。
如图2A所示，在校正信息取得部101、样本取得部102、校正模型生成部103、校正参数计算部104、校正值计算部105及视线方向判定部107是专用的硬件的情况下，处理电路100b例如对应于单一电路、复合电路、程序化的处理器、并行程序化的处理器、ASIC(Application Specific Integrated Circuit)、FPGA(Field-programmable GateArray)、或者将它们组合而得到的电路。可以通过处理电路来分别实现校正信息取得部101、样本取得部102、校正模型生成部103、校正参数计算部104、校正值计算部105及视线方向判定部107的各部的功能，也可以将各部的功能汇总起来由1个处理电路来实现。
如图2B所示，在校正信息取得部101、样本取得部102、校正模型生成部103、校正参数计算部104、校正值计算部105及视线方向判定部107是处理器100c的情况下，各部的功能通过软件、固件、或者软件与固件的组合来实现。软件或固件被记述为程序而存放于存储器100d。处理器100c通过读出并执行存储于存储器100d的程序，来实现校正信息取得部101、样本取得部102、校正模型生成部103、校正参数计算部104、校正值计算部105及视线方向判定部107的各功能。即，具备存储器100d，该存储器100d用于存放程序，当通过处理器100c而执行校正信息取得部101、样本取得部102、校正模型生成部103、校正参数计算部104、校正值计算部105及视线方向判定部107时，基于该程序，结果上执行后述的图7及图8所示的各步骤。此外，也可以说这些程序使计算机执行校正信息取得部101、样本取得部102、校正模型生成部103、校正参数计算部104、校正值计算部105及视线方向判定部107的步骤或方法。
这里，处理器100c例如是CPU(Central Processing Unit)、处理装置、运算装置、处理器、微处理器、微型计算机、或者DSP(Digital Signal Processor)等。
存储器100d例如可以是RAM(Random Access Memory)、ROM(Read Only Memory)、闪存、EPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)等非易失性或易失性的半导体存储器，也可以是硬盘、软盘等磁盘，还可以是迷你盘、CD(Compact Disc)、DVD(Digital Versatile Disc)等光盘。
另外，关于校正信息取得部101、样本取得部102、校正模型生成部103、校正参数计算部104、校正值计算部105及视线方向判定部107的各功能，也可以通过专用的硬件实现一部分，通过软件或固件实现一部分。这样，视线方向校正装置100中的处理电路能够通过硬件、软件、固件或者它们的组合来实现上述的各功能。
接着，对校正模型生成部103及校正参数计算部104详细进行说明。首先，针对在视线方向校正装置100中使用的成为校正用的基准的三维坐标的坐标系进行说明。
图3是示出在实施方式1的视线方向校正装置100中使用的三维坐标的图。在图3中，作为一例，针对视线方向校正装置100校正车辆的驾驶员的视线方向的情况进行说明。
关于坐标轴，将车辆300的车宽方向设为X轴，将车辆300的行进方向设为Y轴，将与车辆300行驶的路面垂直的方向设为Z轴。关于X轴，将面向车辆的行进方向时朝向右侧的方向设为正，关于Y轴，将朝向车辆的行进方向的方向设为正。Z轴将朝向路面的上方的方向设为正。三维坐标的原点O是搭载于车辆300的视线计测装置201的中心位置。在图3中，利用X-Y平面上的R轴示出将视线计测装置201中的计测的基准方向投影到X-Y平面的情况下的方向。另外，如上所述，这里，旋转参数(ρ)是未知的，因此，视线计测装置201的基准方向也是未知的。
另外，图3所示的坐标轴的设定是一例，能够适当变更坐标轴的原点的设定及坐标轴的方向等。
驾驶员302就座于车辆300的驾驶席301。车辆300的右侧镜303、左侧镜304及后视镜305是校正用注视对象。例如，在开始驾驶前，通过视线方向校正装置100所具有的未图示的控制部而进行“请看左侧镜”等注视指示时，驾驶员302注视左侧镜304。将在注视指示后驾驶员302的视线方向滞留为固定值的状态设为驾驶员302注视着校正用注视对象的状态。此时，容易进行视线方向与校正用注视对象的关联，因此，期望将提示注视对象的顺序选择为，使得视线的运动沿上下或左右变大。由此，容易将视线的运动较大的区间检测为视线方向在校正用注视对象之间移动的区间。例如，与按照右侧镜303、后视镜305、左侧镜304的顺序提示的情况相比，在按照右侧镜303、左侧镜304、后视镜305的顺序提示的情况下，校正用注视对象的注视判定中的辨别性提高。
此外，作为其他方法，也可以根据驾驶员302在车辆300的行驶时为了确认安全等而频繁注视的点等来估计注视着左侧镜304等的状态，由此，作为驾驶员302注视着校正用注视对象的状态。
接着，参照图4及图5，针对图3所示的三维坐标中的校正模型生成部103及校正参数计算部104的处理进行说明。
图4及图5是示出实施方式1的视线方向校正装置100的校正模型生成部103的处理的说明图。
校正信息取得部101取得作为校正用注视对象的右侧镜303的中心点的三维坐标(RX，RY，RZ)、左侧镜304的中心点的三维坐标(LX，LY，LZ)及后视镜305的中心点的三维坐标(FX，FY，FZ)，并向校正模型生成部103输出。
在图4及图5中，以驾驶员302注视着左侧镜304的状态为例，对校正模型的生成进行说明，并且对校正参数的计算进行说明。
图4是示出驾驶员302注视了左侧镜304的情况下的校正模型生成部103的处理的图。在图4的例子中，说明如下情况：校正模型生成部103生成示出成为用户的左眼眼球的中心位置的候选的三维坐标的校正模型，作为用户位置。
校正模型生成部103基于以下的式(1)及式(2)，生成驾驶员302注视着左侧镜304时的、示出成为用户位置的候选的三维坐标的校正模型。
Figure BDA0002560094510000081
Figure BDA0002560094510000082
式(1)中的
Figure BDA0002560094510000083
是校正模型。
Figure BDA0002560094510000084
是成为用户位置的候选的三维坐标空间上的位置，更具体而言，示出假设存在于三维空间上的某一直线上的任意点。xtarget是示出校正用注视对象在三维空间上的位置的位置向量。在图4中，xtarget是示出三维空间上的左侧镜304的中心位置的位置向量。s是位置参数，是任意的实数。vpov是示出驾驶员302注视着左侧镜304的状态下的视线方向的方向向量(以下称为视线方向向量)。
式(2)是式(1)中的视线方向向量vpov的成分显示。式(2)中的θ是从视线计测装置201输出的示出视线方向的计测值的角度。θyaw是X-Y平面方向的视线方向的计测值。θpitch是示出Y-Z平面的视线方向的计测值的角度。
此外，式(2)中的ρ是旋转参数，是视线计测装置201中的计测的基准方向与校正后的视线的基准方向(这里为Y轴)所成的角的角度。ρyaw是视线计测装置201中的计测的基准方向与Y轴所成的角的角度，示出以Z轴为中心的旋转角度。ρpitch是投影到Y-Z平面的情况下的视线计测装置201中的计测的基准方向与Y轴所成的角的角度。
在图4的例子中，示出θyaw及ρyaw。
另外，上述的式(1)的校正处理的公式化是用于说明的一例。
图5是说明视线方向向量vpov的x成分的图。在图5中，θyaw被决定为，以R轴为起点且将原点O作为中心绕顺时针的方向成为正值。因此，图5中的θyaw为θyaw＜0。此外，ρyaw被决定为以R轴为起点且将原点O作为中心绕顺时针的方向成为正值。因此，图5中的ρyaw为ρyaw＞0。如上述那样决定θyaw及ρyaw的符号，并且，如果将视线方向向量vpov的y成分决定为“1”，则如图5所示，以tan(θyaw-ρyaw)表示x成分。另外，无论用户位置相对于视线计测装置201处于左右中央的哪个位置，都能够应用上述的定义。
虽然未图示，但也同样使用θpitch及ρpitch来表示视线方向向量vpov的z成分。
校正模型生成部103在驾驶员302注视着左侧镜304的状态下，执行多次上述的处理，针对1个校正用注视对象，生成表示成为用户位置的候选的三维坐标的多个校正模型
Figure BDA0002560094510000091
接着，视线方向校正装置100向驾驶员302进行指示，使其注视右侧镜303，校正模型生成部103在驾驶员302注视着右侧镜303的状态下，生成示出成为用户位置的候选的三维坐标的多个校正模型
Figure BDA0002560094510000092
接着，视线方向校正装置100对驾驶员302进行指示，使其注视后视镜305，校正模型生成部103在驾驶员302注视着后视镜305的状态下，生成示出成为用户位置的候选的三维坐标的多个校正模型
Figure BDA0002560094510000093
校正模型生成部103针对1个校正用注视对象而生成多个校正模型
Figure BDA0002560094510000094
由此校正参数计算部104基于后述的处理来计算最可能的用户位置。校正模型生成部103将驾驶员302注视着右侧镜303的状态下的多个校正模型
Figure BDA0002560094510000095
驾驶员302注视着左侧镜304的状态下的多个校正模型
Figure BDA0002560094510000096
及驾驶员302注视着后视镜305的状态下的多个校正模型
Figure BDA0002560094510000097
向校正参数计算部104输出。
校正参数计算部104使用所输入的多个校正模型
Figure BDA0002560094510000098
基于以下的式(3)来估计最可能的用户位置。
Figure BDA0002560094510000099
在式(3)中，
Figure BDA00025600945100000910
是根据第i个校正模型
Figure BDA00025600945100000911
估计的用户位置的候选，
Figure BDA00025600945100000912
是用户位置的最大似然估计值。
式(3)表示如下的最佳化问题，该最佳化问题用于根据基于式(1)及式(2)生成的校正模型所表示的用户位置的候选，计算在2范数的含义下似然度最高的点作为用户位置。关于该最佳化问题，针对位置参数s和用户位置
Figure BDA00025600945100000913
为线性，但针对旋转参数ρ为非线性。因此，例如针对ρ，通过二分搜索来搜索局小值，针对各ρ的s和
Figure BDA00025600945100000914
通过最小二乘法进行计算，从而能够有效地求解。
校正参数计算部104通过上述的处理，来估计还考虑了驾驶员302的视线的晃动的驾驶员302的最可能的用户位置。校正参数计算部104计算通过求解最佳化问题而确定的旋转参数ρ及用户位置的最大似然估计值
Figure BDA00025600945100000915
作为校正参数。校正参数计算部104将计算出的校正参数保存于校正参数蓄积部106a，或者直接向校正值计算部105输出。
通过以上的处理，视线方向校正装置100能够根据各校正用注视对象的三维坐标和驾驶员302注视着各校正用注视对象的状态下的视线方向，得到视线方向的校正所需的参数。
图6是示出实施方式1的视线方向校正装置100的校正值计算部105及视线方向判定部107的处理例的说明图。
校正值计算部105针对从样本取得部102输入的视线方向θ来计算校正后的视线方向θ′＝(θ-ρ)。校正值计算部105将计算出的校正后的视线方向θ′蓄积于视线方向蓄积部106或者向视线方向判定部107输出。
视线方向判定部107基于经由输入装置202输入的判定用注视对象P的三维坐标(Px，Py，Pz)和蓄积于校正参数蓄积部106a的用户位置
Figure BDA0002560094510000101
根据上述的式(1)而求出视线方向向量vpov。视线方向判定部107根据求出的视线方向向量vpov，计算yaw-pitch空间中的判定用注视对象P的方向θtarget＝arctan(vpov)。视线方向判定部107在从校正值计算部105输入的校正后的视线方向θ′与yaw-pitch空间中的判定用注视对象P的方向θtarget的角度之差为阈值以内的情况下，判定为用户观看了判定用注视对象P。
此外，校正值计算部105及视线方向判定部107也可以如以下那样进行处理。
校正值计算部105基于从样本取得部102输入的视线方向θ和蓄积于校正参数蓄积部106a的旋转参数ρ，根据上述的式(2)，求出视线方向向量vpov。校正值计算部105将求出的视线方向向量vpov和用户位置
Figure BDA0002560094510000102
代入上述的式(1)，对该代入后的式子进行变形而取得以下的式(1a)。
xtarget＝xhead-svpov(1a)
该xtarget表示基于计测出的视线方向θ和校正用参数的示出校正后的视线方向的直线。校正值计算部105将取得的直线xtarget向视线方向判定部107输出。
视线方向判定部107计算从判定用注视对象P的三维坐标(Px，Py，Pz)到直线xtarget的距离。视线方向判定部107在计算出的距离为阈值以内的情况下，判定为用户观看了判定用注视对象P。
另外，视线方向判定部107也可以基于判定用注视对象P与驾驶员302的距离，来设定判定用户是否正在视觉确认判定用注视对象P的方向时的阈值。例如，阈值被连续地设定为，判定用注视对象P与驾驶员302的距离越短则阈值越大，判定用注视对象P与驾驶员302的距离越长则阈值越小。此外，也可以不设定为根据判定用注视对象P与驾驶员302的距离使阈值连续地变化，而构成为如果判定用注视对象P与驾驶员302的距离为预先设定的距离以内，则将阈值设定得较小，在判定用注视对象P与驾驶员302的距离大于预先设定的距离的情况下，将阈值设定得较大。
这样，通过根据判定用注视对象P与驾驶员302的距离来设定阈值，视线方向判定部107能够考虑驾驶员302视觉确认接近自身的地点时的视线方向的偏移和驾驶员302视觉确认远离自身的地点时的视线方向的偏移，来判定视线方向。
另外，在上述中，示出了基于判定用注视对象P与驾驶员302的距离来设定判定用户是否正在视觉确认判定用注视对象时的阈值的情况的例子，但也可以基于其他的条件来设定阈值。
接着，对视线方向校正装置100的动作进行说明。
以下，将视线方向校正装置100的动作分为进行校正参数计算处理的动作和进行视线方向的校正处理及视线方向的判定处理的动作来说明。
首先，参照图7的流程图对校正参数计算处理进行说明。
图7是示出实施方式1的由视线方向校正装置100进行的校正参数计算处理的动作的流程图。
校正信息取得部101取得校正用注视对象的三维坐标(步骤ST1)。校正信息取得部101将取得的校正用注视对象的三维坐标向校正模型生成部103输出。这里，从扬声器(未图示)或显示器(未图示)等向用户输出指示注视哪个校正用注视对象的信息。当用户注视所指定的校正用注视对象时，样本取得部102从视线计测装置201取得示出注视了该校正用注视对象的用户的视线方向的样本，并向校正模型生成部103输出(步骤ST2)。
校正模型生成部103将在步骤ST1中取得的校正用注视对象的三维坐标与和样本取得部102取得的样本对应的校正用注视对象关联起来而取得(步骤ST3)。校正模型生成部103基于上述的式(1)及(2)，根据在步骤ST3中取得的校正用注视对象的三维坐标和在步骤ST2中取得的样本，生成示出成为用户位置的候选的三维坐标的多个校正模型(步骤ST4)。校正模型生成部103将在步骤ST4中生成的校正模型向校正参数计算部104输出。
校正参数计算部104基于在步骤ST4中生成的校正模型，计算旋转参数ρ及用户位置的最大似然估计值
Figure BDA0002560094510000111
作为校正参数(步骤ST5)。校正参数计算部104将计算出的校正参数蓄积于校正参数蓄积部106a(步骤ST6)，结束处理。
接着，参照图8的流程图对视线方向的校正处理及视线方向的判定处理进行说明。
图8是示出实施方式1的视线方向校正装置100的视线方向的校正处理及视线方向的判定处理的动作的流程图。
校正值计算部105在经由输入装置202被输入是否注视着判定用注视对象的判定请求时(步骤ST21)，针对样本取得部102取得的样本的视线方向而计算校正后的视线方向(步骤ST22)。校正值计算部105将计算出的校正后的视线方向向视线方向判定部107输出。视线方向判定部107计算判定用注视对象的方向(步骤ST23)。视线方向判定部107基于在步骤ST22中计算出的校正后的视线方向和在步骤ST23中计算出的判定用注视对象的方向，判定用户是否正在视觉确认判定用注视对象(步骤ST24)。
在用户正在视觉确认判定用注视对象的情况下(步骤ST24；是)，视线方向判定部107输出用户正在视觉确认判定用注视对象这一结果(步骤ST25)，结束处理。
另一方面，在用户未视觉确认判定用注视对象的情况下(步骤ST24；否)，视线方向判定部107输出用户未视觉确认判定用注视对象这一判定结果(步骤ST26)，结束处理。
图9是示出实施方式1的视线方向校正装置100的校正处理的结果的图。
图9将车辆内的装备品作为校正用注视对象，示出进行上述的视线方向的校正处理而得到的结果。作为车辆的装备品，在图9中，示出将视线计测装置201、后视镜305、右侧镜303及左侧镜304作为注视对象的情况。
在图9中，横轴示出车辆的车宽方向的视线方向的位置，纵轴示出与车辆行驶的路面垂直的方向的视线方向的位置。此外，矩形区域401示出用户的正面位置。矩形区域402至矩形区域405示出将车辆的各装备品作为校正用注视对象的情况下的校正后的视线方向的位置。结果412至结果415示出注视着作为校正用注视对象的车辆的各装备品时的用户的视线方向的位置。图9示出通过视线方向校正装置100的校正处理，表示校正后的视线方向的位置的矩形区域向分别对应的结果收敛的情形。
另外，在图9中，结果412示出注视着视线计测装置201时的用户的视线向量的标绘。同样，结果413示出注视着后视镜305时的用户的视线向量的标绘，结果414示出注视着右侧镜303时的用户的视线向量的标绘，结果415示出注视着左侧镜304时的用户的视线向量的标绘。
驾驶员在车辆的行驶中频繁地视觉确认后视镜或侧镜等车辆的装备品。对此，通过将车辆的装备品设为校正用注视对象，能够根据驾驶员在车辆的驾驶中观察车辆的装备品这一无意识的行动或者必然的行为来进行视线方向的校正处理。
例如在以下的参考文献1等中公开了如下技术：根据在车辆的行驶中驾驶员观察车辆的装备品的行动，来设定视线方向的基准，进行视线方向检测的校准。
·参考文献1
日本特开2010-30361号公报
如以上那样，该实施方式1的视线方向校正装置100构成为具备：校正信息取得部101，其针对至少1个校正用注视对象，取得示出各校正用注视对象的位置的三维坐标；样本取得部102，其取得示出用户的视线方向的多个样本；校正模型生成部103，其基于所取得的三维坐标和所取得示出注视着的各校正用注视对象的状态下的用户的视线方向的样本，生成示出成为用户位置的候选的三维坐标的多个校正模型；以及校正参数计算部104，其基于所生成的校正模型，计算校正参数。
由此，能够校正针对朝向任意点的视线而计测出的视线方向所包含的计测误差。此外，能够仅根据视线方向和校正用注视对象的信息来计算校正参数。因此，即便在仅使用了例如基于1个摄像单元的视线方向计测值的结构中，也能够计算校正参数，因此，与使用用于掌握用户位置的测距仪的技术、使用多个摄像单元的技术相比，结构简单，且能够抑制成本。
此外，本实施方式1的视线方向校正装置100构成为具备：校正值计算部105，其基于校正参数计算部104计算出的校正参数来校正样本取得部102取得的用户的视线方向，计算校正后的视线方向；以及视线方向判定部107，其基于计算出的校正后的视线方向和校正参数计算部104计算出的校正参数，判定用户是否正在视觉确认判定用注视对象。
由此，能够判定朝向任意点的用户的视线方向。
另外，在上述的实施方式1的视线方向校正装置100中，在也将视线计测装置201的计测特性作为校正对象的情况下，能够通过将上述的式(2)变形为以下的式(2a)而对应。
Figure BDA0002560094510000141
在式(2a)中，将式(2)中的θ置换为f(α，θ)。在式(2a)中，通过将函数f中的变量α也作为最佳化对象，从而能够将视线计测装置201的计测特性作为校正对象。
在由于用户的个人差异或视线计测装置201的个体差异等而使样本取得部102的灵敏度在三维坐标的X、Y、Z方向上发生变化的情况下，将式(2a)中的f(α，θ)设为αθ。由此，也能够同时对视线计测装置201的计测特性的灵敏度进行校正。另外，式(2a)中的α利用αyaw和αpitch单独设定。
在上述的实施方式1的视线方向校正装置100中示出如下结构：校正参数计算部104使用输入的多个校正模型
Figure BDA0002560094510000142
基于式(3)，计算最可能的用户位置作为校正参数。在该处理中，也可以构成为，根据校正模型
Figure BDA0002560094510000143
的值的可靠度等，对用于校正的多个校正
Figure BDA0002560094510000144
附加权重，在此基础上计算最可能的用户位置。在对校正模型
Figure BDA0002560094510000145
i附加权重的情况下，将校正模型
Figure BDA0002560094510000146
置换为
Figure BDA0002560094510000147
例如，作为视线计测装置201的计测特性，在计测范围的中央部计测精度高且在周缘部计测精度低的情况下，将位于计测范围的中央部附近的注视对象的校正模型
Figure BDA0002560094510000148
的权重设定得较大，将位于计测范围的周边部的注视对象的校正模型
Figure BDA0002560094510000149
的权重设定得较小。由此，能够抑制视线方向校正装置100的校正参数计算部104计算最可能的用户位置时的误差。
此外，作为视线计测装置201的计测特性的其他例，在具有同一大小的校正用注视对象处于接近用户位置的距离的情况下，与处于较远的位置的情况相比，视角变大，因此，设想由于从校正用注视对象的中心坐标的偏移变大，从而视线方向的计测值的偏差变大。在视线方向的计测值的偏差较大的情况下，校正模型未适当地反映用户位置的可能性变高，因此，产生校正参数的估计精度下降这样的问题。因此，例如，期望将注视着同一校正用注视对象的情况下的视线方向的标准偏差设为σ而附加基于w＝exp(-σ)的权重系数等，由此，视线方向的偏差越大越减小权重系数。
此外，作为其他例，在视线方向校正装置100进行校正处理的情况下，即便当用户持续注视同一注视对象时，也有时由于扫视(saccade)等而使注视对象暂时脱离视野。此外，在用户是否注视着注视对象的判定中，通常通过识别视线的移动和滞留而将滞留时判定为注视状态。但是，产生如下权衡：通过严格地设定判定为视线的滞留的条件，用于校正的校正模型
Figure BDA0002560094510000151
的选定精度提高，但另一方面，由于用于校正的校正模型
Figure BDA0002560094510000152
的个数减少而损害校正结果的可靠度。针对该状况，统计地判定针对同一注视对象的视线方向向量，基于以何种程度偏离视线方向向量的分布来减轻校正模型
Figure BDA0002560094510000153
的权重。由此，能够确保校正结果的精度和可靠度。
另外，在上述的说明中示出以视线方向的标准偏差σ为基准连续地附加权重的情况，但也可以如SVM(Support Vector Machine)中的软间隔那样不连续地附加校正模型的权重。
另外，在上述的说明中，示出视线方向校正装置100针对三维空间内的任意点计算校正后的视线方向的情况。但是，也可以构成为，视线方向校正装置100针对作为三维空间的特殊情况的二维空间内的任意点，计算校正后的视线方向。
另外，本申请发明在该发明的范围内，能够进行实施方式的任意的结构要素的变形或实施方式的任意的结构要素的省略。
产业利用性
本发明的视线方向校正装置在车载设备及电视机等具备显示器的装置等中，能够应用于要求高精度地判定用户的视线方向且准确地掌握用户的视觉确认对象的系统等。
标号说明
100视线方向校正装置，101校正信息取得部，102样本取得部，103校正模型生成部，104校正参数计算部，105校正值计算部，106a校正参数蓄积部，106b视线方向蓄积部，107视线方向判定部。

Claims (9)

1.一种视线方向校正装置，其中，
所述视线方向校正装置具备：
校正信息取得部，其针对至少1个校正用注视对象，取得示出各校正用注视对象的位置的三维坐标；
样本取得部，其取得示出用户的视线方向的多个样本；
校正模型生成部，其基于所述校正信息取得部取得的三维坐标、以及所述样本取得部取得的示出注视着所述各校正用注视对象的状态下的所述用户的视线方向的所述样本，生成多个校正模型，该多个校正模型示出成为所述用户的位置的候选的三维坐标；以及
校正参数计算部，其基于所述校正模型生成部生成的所述校正模型，计算校正参数。
2.根据权利要求1所述的视线方向校正装置，其特征在于，
所述视线方向校正装置具备：
校正值计算部，其基于所述校正参数计算部计算出的所述校正参数，对所述样本取得部取得的所述用户的视线方向进行校正，计算校正后的视线方向；以及
视线方向判定部，其基于所述校正值计算部计算出的所述校正后的视线方向、以及所述校正参数计算部计算出的所述校正参数，判定所述用户是否正在视觉确认判定用注视对象。
3.根据权利要求2所述的视线方向校正装置，其特征在于，
基于所述用户与所述判定用注视对象之间的距离，来设定用于供所述视线方向判定部判定为所述用户正在视觉确认所述判定用注视对象的阈值。
4.根据权利要求1所述的视线方向校正装置，其特征在于，
所述校正模型生成部将所述用户的视线方向的计算特性作为校正对象。
5.根据权利要求1所述的视线方向校正装置，其特征在于，
所述校正参数计算部根据计测所述用户的视线方向的计测装置的计测范围内的位置，对所述校正模型附加权重。
6.根据权利要求1所述的视线方向校正装置，其特征在于，
所述校正参数计算部按照每个所述校正用注视对象，根据所述用户的视线方向的偏差的大小，对所述校正模型附加权重。
7.根据权利要求1所述的视线方向校正装置，其特征在于，
所述校正参数计算部按照所述用户的每个视线方向，根据该用户的视线方向从该用户的视线方向所属的所述校正用注视对象中的该用户的视线方向的分布偏离的偏离程度，对所述校正模型附加权重。
8.一种视线方向校正方法，其中，
所述视线方向校正方法具备如下步骤：
校正信息取得部针对至少1个校正用注视对象，取得示出各校正用注视对象的位置的三维坐标；
样本取得部取得示出用户的视线方向的多个样本；
校正模型生成部基于示出所述各校正用注视对象的位置的三维坐标、以及示出注视着所述各校正用注视对象的状态下的所述用户的视线方向的所述样本，生成多个校正模型，该多个校正模型示出成为所述用户的位置的候选的三维坐标；以及
校正参数计算部基于所生成的所述校正模型，计算校正参数。
9.一种视线方向校正程序，其中，
所述视线方向校正程序用于使计算机执行如下步骤：
针对至少1个校正用注视对象，取得示出各校正用注视对象的位置的三维坐标；
取得示出用户的视线方向的多个样本；
基于示出所述各校正用注视对象的位置的三维坐标、以及示出注视着所述各校正用注视对象的状态下的所述用户的视线方向的所述样本，生成多个校正模型，该多个校正模型示出成为所述用户的位置的候选的三维坐标；以及
基于所生成的所述校正模型，计算校正参数。
CN201880084663.2A 2018-01-05 2018-01-05 视线方向校正装置、视线方向校正方法及视线方向校正程序 Active CN111527374B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/000091 WO2019135281A1 (ja) 2018-01-05 2018-01-05 視線方向較正装置、視線方向較正方法および視線方向較正プログラム

Publications (2)

Publication Number Publication Date
CN111527374A true CN111527374A (zh) 2020-08-11
CN111527374B CN111527374B (zh) 2021-10-22

Family

ID=65655825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880084663.2A Active CN111527374B (zh) 2018-01-05 2018-01-05 视线方向校正装置、视线方向校正方法及视线方向校正程序

Country Status (5)

Country Link
US (1) US10977488B2 (zh)
JP (1) JP6479272B1 (zh)
CN (1) CN111527374B (zh)
DE (1) DE112018006164B4 (zh)
WO (1) WO2019135281A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458104B (zh) * 2019-08-12 2021-12-07 广州小鹏汽车科技有限公司 人眼视线检测系统的人眼视线方向确定方法和系统
JP7340882B2 (ja) * 2021-01-07 2023-09-08 株式会社ロイヤリティバンク 評価価格算定プログラム及び評価価格算定方法
JP2022171084A (ja) * 2021-04-30 2022-11-11 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
CN116027910B (zh) * 2023-03-29 2023-07-04 广州视景医疗软件有限公司 一种基于vr眼动追踪技术的眼位图生成方法及系统
CN116052264B (zh) * 2023-03-31 2023-07-04 广州视景医疗软件有限公司 一种基于非线性偏差校准的视线估计方法及装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0280026A (ja) * 1988-09-16 1990-03-20 Canon Inc 視線検出装置及び光学機器
JPH09238905A (ja) * 1996-03-05 1997-09-16 Nissan Motor Co Ltd 視線方向計測装置
JPH11276438A (ja) * 1998-03-30 1999-10-12 Isuzu Motors Ltd 視線計測装置
JP2000308618A (ja) * 1999-04-28 2000-11-07 Agency Of Ind Science & Technol 視線計測方法、視線計測装置
CN101419664A (zh) * 2007-10-25 2009-04-29 株式会社日立制作所 视线方向计测方法和视线方向计测装置
CN101489467A (zh) * 2006-07-14 2009-07-22 松下电器产业株式会社 视线方向检测装置和视线方向检测方法
CN101500874A (zh) * 2006-09-14 2009-08-05 丰田自动车株式会社 视线终点估计装置和驾驶辅助装置
US20120002028A1 (en) * 2010-07-05 2012-01-05 Honda Motor Co., Ltd. Face image pick-up apparatus for vehicle
CN102878951A (zh) * 2012-09-14 2013-01-16 北京航空航天大学 一种基于图像的车辆方向盘转角检测方法及检测装置
WO2016129156A1 (ja) * 2015-02-13 2016-08-18 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
EP3080789A1 (en) * 2013-12-09 2016-10-19 Harman International Industries, Inc. Eye gaze enabled navigation system
DE112014006382T5 (de) * 2014-02-19 2016-11-24 Mitsubishi Electric Corporation Anzeigesteuervorrichtung, Anzeigesteuerverfahren der Anzeigesteuervorrichtung, Augen-Blickrichtungs-Detektionssystem und Kalibrations-Steuerverfahren von Augen-Blickrichtungs-Detektionssystem
JP2016539363A (ja) * 2013-11-08 2016-12-15 エシロル アンテルナショナル（コンパーニュ ジェネラル ドプテーク） 累進眼科用レンズの少なくとも１つの光学的設計パラメータを判断する方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE357680T1 (de) * 2000-10-07 2007-04-15 David Dickerson Informationssystem und verfahren zur zurverfügungstellen von informationen unter verwendung eines holographischen elements
JP2008243031A (ja) * 2007-03-28 2008-10-09 Toyota Central R&D Labs Inc 漫然運転判定装置
JP2010030361A (ja) * 2008-07-25 2010-02-12 Toyota Motor Corp 運転状態監視装置
US8384534B2 (en) * 2010-01-14 2013-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Combining driver and environment sensing for vehicular safety systems
JP5664064B2 (ja) * 2010-09-22 2015-02-04 富士通株式会社 視線検出装置および補正係数算出プログラム
EP2632322A1 (en) * 2010-10-29 2013-09-04 IT-universitetet I København Method of determining reflections of light
JP5719216B2 (ja) * 2011-04-05 2015-05-13 日本放送協会 視線測定装置および視線測定プログラム
JP6014931B2 (ja) * 2012-09-06 2016-10-26 公立大学法人広島市立大学 視線計測方法
US20140267415A1 (en) * 2013-03-12 2014-09-18 Xueming Tang Road marking illuminattion system and method
JP6181974B2 (ja) * 2013-05-23 2017-08-16 株式会社Ｎｔｔドコモ 視線計測装置及び視線計測方法
DE102013019117A1 (de) * 2013-11-15 2015-05-21 Audi Ag Verfahren zum Kalibrieren einer Blickrichtungserfassungseinrichtung für ein Kraftfahrzeug, Kalibrierungseinrichtung und Kraftfahrzeug
JPWO2015136908A1 (ja) 2014-03-13 2017-04-06 パナソニックＩｐマネジメント株式会社 視線検出装置
DE102016210288A1 (de) * 2016-06-10 2017-12-14 Volkswagen Aktiengesellschaft Bedienvorrichtung mit Eyetrackereinheit und Verfahren zum Kalibrieren einer Eyetrackereinheit einer Bedienvorrichtung
JP6944138B2 (ja) * 2016-07-29 2021-10-06 ソニーグループ株式会社 画像処理装置および画像処理方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0280026A (ja) * 1988-09-16 1990-03-20 Canon Inc 視線検出装置及び光学機器
JPH09238905A (ja) * 1996-03-05 1997-09-16 Nissan Motor Co Ltd 視線方向計測装置
JPH11276438A (ja) * 1998-03-30 1999-10-12 Isuzu Motors Ltd 視線計測装置
JP2000308618A (ja) * 1999-04-28 2000-11-07 Agency Of Ind Science & Technol 視線計測方法、視線計測装置
CN101489467A (zh) * 2006-07-14 2009-07-22 松下电器产业株式会社 视线方向检测装置和视线方向检测方法
CN101500874A (zh) * 2006-09-14 2009-08-05 丰田自动车株式会社 视线终点估计装置和驾驶辅助装置
CN101419664A (zh) * 2007-10-25 2009-04-29 株式会社日立制作所 视线方向计测方法和视线方向计测装置
US20120002028A1 (en) * 2010-07-05 2012-01-05 Honda Motor Co., Ltd. Face image pick-up apparatus for vehicle
CN102878951A (zh) * 2012-09-14 2013-01-16 北京航空航天大学 一种基于图像的车辆方向盘转角检测方法及检测装置
JP2016539363A (ja) * 2013-11-08 2016-12-15 エシロル アンテルナショナル（コンパーニュ ジェネラル ドプテーク） 累進眼科用レンズの少なくとも１つの光学的設計パラメータを判断する方法
EP3080789A1 (en) * 2013-12-09 2016-10-19 Harman International Industries, Inc. Eye gaze enabled navigation system
DE112014006382T5 (de) * 2014-02-19 2016-11-24 Mitsubishi Electric Corporation Anzeigesteuervorrichtung, Anzeigesteuerverfahren der Anzeigesteuervorrichtung, Augen-Blickrichtungs-Detektionssystem und Kalibrations-Steuerverfahren von Augen-Blickrichtungs-Detektionssystem
WO2016129156A1 (ja) * 2015-02-13 2016-08-18 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PIETER BLIGNAUT等: "Improving the Accuracy of Video-Based Eye Tracking in Real Time through Post-Calibration Regression", 《CURRENT TRENDS IN EYE TRACKING RESEARCH》 *
朱博: "视线追踪技术及其在驾驶员与乘客监测系统中的应用研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
JP6479272B1 (ja) 2019-03-06
US10977488B2 (en) 2021-04-13
JPWO2019135281A1 (ja) 2020-01-16
WO2019135281A1 (ja) 2019-07-11
CN111527374B (zh) 2021-10-22
DE112018006164B4 (de) 2021-05-12
US20200327324A1 (en) 2020-10-15
DE112018006164T5 (de) 2020-08-27

Similar Documents

Publication Publication Date Title
CN111527374B (zh) 视线方向校正装置、视线方向校正方法及视线方向校正程序
JP4649319B2 (ja) 視線検出装置、視線検出方法、および視線検出プログラム
EP3545818B1 (en) Sight line direction estimation device, sight line direction estimation method, and sight line direction estimation program
US20170344110A1 (en) Line-of-sight detector and line-of-sight detection method
JP2019000136A (ja) 視線計測装置及びプログラム
US9606623B2 (en) Gaze detecting apparatus and method
JP2016173313A (ja) 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム
JP6669182B2 (ja) 乗員監視装置
CN110537207B (zh) 脸部朝向推定装置及脸部朝向推定方法
US20200327333A1 (en) Installation position information providing apparatus and installation position information providing method
US9355497B2 (en) Image processing system, image processing apparatus, and image processing method for combining CG image with captured image
JP2016099759A (ja) 顔検出方法、顔検出装置、及び顔検出プログラム
US20060115144A1 (en) Image information processing system, image information processing method, image information processing program, and automobile
US20130141546A1 (en) Environment recognition apparatus
JP2018101212A (ja) 車載器および顔正面度算出方法
US20160092743A1 (en) Apparatus and method for measuring a gaze
JP2015172876A (ja) 車両周辺監視装置、車両周辺監視システム、及びプログラム
JP2018101211A (ja) 車載器
JPWO2015198592A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP7255436B2 (ja) 眼球構造推定装置
JP6737212B2 (ja) 運転者状態推定装置、及び運転者状態推定方法
JP2010134489A (ja) 視線検出装置および方法、並びに、プログラム
JP2014002489A (ja) 位置推定装置、方法、及びプログラム
JP7257623B2 (ja) 表示制御装置および表示制御方法
JP7225079B2 (ja) 障害物認識装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant