CN110194173A - 乘员监视装置 - Google Patents

乘员监视装置 Download PDF

Info

Publication number
CN110194173A
CN110194173A CN201910090311.4A CN201910090311A CN110194173A CN 110194173 A CN110194173 A CN 110194173A CN 201910090311 A CN201910090311 A CN 201910090311A CN 110194173 A CN110194173 A CN 110194173A
Authority
CN
China
Prior art keywords
camera
occupant
image
rotation angle
rotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910090311.4A
Other languages
English (en)
Other versions
CN110194173B (zh
Inventor
松浦义朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN110194173A publication Critical patent/CN110194173A/zh
Application granted granted Critical
Publication of CN110194173B publication Critical patent/CN110194173B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/001—Vehicle control means, e.g. steering-wheel or column
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/26—Incapacity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供乘员监视装置。乘员监视装置(100)具备：照相机(1)，其对车辆的乘员进行拍摄；图像处理部(2)，其对由照相机(1)所拍摄的图像进行规定的处理；及位置计算部(3)，其根据由图像处理部(2)所处理的图像而计算乘员的规定部位(例如脸部)在空间上的位置。照相机(1)设置在车辆的方向盘的与旋转轴相离的位置而与方向盘一起旋转。图像处理部(2)将伴随着方向盘的旋转而由照相机(1)在两个不同位置处所拍摄的两个摄像图像(G1、G2)旋转而生成旋转图像(H1、H2)。位置计算部(3)根据在两个不同位置之间的直线距离(基线长度)、从旋转图像(H1、H2)得到的视差及照相机(1)的焦距而计算乘员的规定部位在空间上的位置。

Description

乘员监视装置
技术领域
本发明涉及利用设置在车辆内的照相机来监视乘员的乘员监视装置，特别是，涉及测定乘员的规定部位在空间上的位置的技术。
背景技术
在车辆中，为了根据驾驶者的脸部的位置而进行规定的控制，存在想要检测脸部在空间上的位置的需求。例如，在驾驶者清醒而处于朝向正面的姿势的情况下和在驾驶者打盹而处于低头的姿势的情况下，从基准位置(例如，照相机的位置)到脸部为止的距离不同。因此，以此距离为脸部位置而进行检测，从而能够判别驾驶者是处于清醒状态还是处于打盹状态。另外，在搭载了HUD(Head-UP Display：平视显示器)系统的车辆中，通过检测驾驶者的脸部位置(特别是，眼睛的位置)，从而能够在驾驶座的前方显示与眼睛的位置对准的最优的影像。
作为检测驾驶者的脸部的手段，周知有驾驶员监视器。驾驶员监视器是根据由照相机所拍摄的驾驶者的脸部图像而监视驾驶者的状态，并在驾驶者打盹、疏忽驾驶的情况下，进行警报等规定的控制的装置。从由驾驶员监视器得到的脸部图像能够得到与脸部的朝向、视线的方向相关的信息，但不能得到与脸部在空间上的位置(自基准位置的距离)相关的信息。
在测定脸部在空间上的位置的方法中，具有利用2台照相机(立体照相机)的方法、向被摄体照射图形(pattern)光的方法、利用超声波传感器的方法等。在利用立体照相机的情况下，需要多个照相机而导致成本上升。在利用图形光的情况下，只要一台照相机即可，但需要专用的光学系统。在使用超声波传感器的情况下，不仅部件增多而导致成本上升，而且难以确定对与被摄体的哪一部位之间的距离进行检测，因此存在难以与由驾驶员监视器得到的检测结果匹配的问题。
在专利文献1中公开了在车辆的方向盘设置照相机，并根据方向盘的转向角而将由该照相机所拍摄的驾驶者的图像校正为竖立图像的驾驶者监视系统。在专利文献2中公开了利用设置在车辆的仪表板的2台照相机而检测驾驶者的脸部的朝向的脸部朝向检测装置。然而，在这些文献中完全未涉及由照相机测定脸部位置的内容，并非是有利于解决上述的问题点的技术文献。
专利文献1：日本特开2007-72774号公报
专利文献2：日本特开2007-257333号公报
发明内容
发明要解决的课题
本发明的课题在于提供一种通过1台照相机而能够测定乘员的规定部位在空间上的位置的乘员监视装置。
用于解决课题的手段
本发明所涉及的乘员监视装置具备：照相机，其对车辆的乘员进行拍摄；图像处理部，其对由该照相机所拍摄的乘员的图像进行规定的处理；以及位置计算部，其根据由该图像处理部所处理的图像而计算乘员的规定部位在空间上的位置。照相机设置在车辆的方向盘的与旋转轴相离的位置而与方向盘一起旋转。图像处理部对伴随着方向盘的旋转而由照相机在两个不同的位置处所拍摄的两个图像进行规定的处理。位置计算部根据由图像处理部所处理的两个图像而计算乘员的规定部位在空间上的位置。
根据这样的乘员监视装置，在方向盘的与旋转轴相离的位置处设置有拍摄乘员的照相机，因此，能够由与方向盘一起旋转的照相机得到在两个不同的位置处所拍摄的两个摄像图像。并且，针对这些摄像图像，由图像处理部进行规定的处理，并根据所处理的两个图像而计算乘员的规定部位在空间上的位置。因此，能够得到无需设置多个照相机或专用的光学系统、且结构简单并低廉价格的乘员监视装置。
在本发明中，图像处理部具有根据由照相机所拍摄的图像检测乘员的脸部的脸部检测部，位置计算部计算从照相机到脸部的特定部分为止的距离作为该脸部在空间上的位置。
在本发明中，所述两个图像例如为照相机在旋转了第一旋转角时的第一位置处所拍摄的第一摄像图像及照相机在旋转了第二旋转角时的第二位置处所拍摄的第二摄像图像。在该情况下，图像处理部生成将第一摄像图像旋转规定量而得的第一旋转图像及将第二摄像图像旋转规定量而得的第二旋转图像。位置计算部根据作为第一位置与第二位置之间的直线距离的基线长度、根据第一旋转图像及第二旋转图像得到的视差及照相机的焦距而计算规定部位在空间上的位置。
具体地，例如以如下方式计算规定部位在空间上的位置。在将从方向盘的旋转轴到照相机为止的距离设为L，将第一旋转角设为θ1，将第二旋转角设为θ2，将基线长度设为B，将视差设为δ，将焦距设为f，将规定部位在空间上的位置设为从照相机到该规定部位为止的距离D时，图像处理部将第一摄像图像向第一方向旋转|θ2-θ1|/2的角度而生成第一旋转图像，并将第二摄像图像向与第一方向相反的第二方向旋转|θ2-θ1|/2的角度而生成第二旋转图像。位置计算部通过B＝2·L·sin(|θ2-θ1|/2)而计算基线长度，并通过D＝B·(f/δ)而计算规定部位在空间上的位置。
在本发明中，也可以设置检测照相机的旋转角的旋转角检测部，该旋转角检测部根据从照相机取得的第一摄像图像及第二摄像图像而检测第一旋转角及第二旋转角。
或者，旋转角检测部根据检测照相机的姿势的姿势传感器的输出而检测第一旋转角及第二旋转角。
或者，旋转角检测部可根据检测方向盘的转向角的转向角传感器的输出而检测第一旋转角及第二旋转角。
在本发明中，当照相机在两个不同的位置之间在规定时间内旋转了规定角度以上的情况下，位置计算部根据两个图像而计算规定部位在空间上的位置。
发明效果
根据本发明，可提供一种能够由1台照相机检测乘员的规定部位在空间上的位置的乘员监视装置。
附图说明
图1是本发明的第一实施方式的乘员监视装置的框图。
图2是设置有照相机的方向盘的俯视图。
图3是对由照相机监视驾驶者的情况进行说明的图。
图4是表示伴随方向盘的旋转而发生的照相机的位置的变化的图。
图5是表示照相机所拍摄的图像的图。
图6是表示第一旋转图像和第二旋转图像的图。
图7是表示摄像图像中的眼睛的区域的图。
图8是对计算基线长度的原理进行说明的图。
图9是基于立体视觉(Stereo Vision)的距离运算的原理图。
图10是表示乘员监视装置的动作的流程图。
图11是本发明的第二实施方式的乘员监视装置的框图。
图12是本发明的第三实施方式的乘员监视装置的框图。
图13是本发明的第四实施方式的乘员监视装置的框图。
标号说明
1：照相机；2：图像处理部；3：位置计算部；13：姿势传感器；22：脸部检测部；25：旋转角检测部；30：转向传感器；40：乘员；41：脸部；50：车辆；51：方向盘；52：旋转轴；100、200、300、400：乘员监视装置；B：基线长度；δ：视差；f：焦距；L：从方向盘的旋转轴到照相机为止的距离；D：从照相机到被摄体为止的距离；θ1：第一旋转角；θ2：第二旋转角；G1：第一摄像图像；G2：第二摄像图像；H1：第一旋转图像；H2：第二旋转图像。
具体实施方式
参照附图，对本发明的乘员监视装置的第一实施方式进行说明。首先，参照图1，对乘员监视装置的结构进行说明。在图1中，乘员监视装置100搭载于车辆，并具备照相机1、图像处理部2、位置计算部3、驾驶者状态判定部4、控制部5及存储部6。
如图2所示，照相机1设置在车辆的方向盘51而与方向盘51一起进行旋转。设置有照相机1的位置与方向盘51的旋转轴52相离。因此，当方向盘51进行旋转时，照相机1以旋转轴52为中心向箭头方向旋转。如图1所示，照相机1中包括CMOS图像传感器这样的摄像元件11和包括透镜等的光学部件12。
如图3所示，照相机1对就坐在车辆50的驾驶座的座椅53上的乘员40(驾驶者)的脸部41进行拍摄。虚线表示照相机1的摄像范围。D表示从照相机1到脸部41为止的距离。如后述，当求出距离D时，能够确定脸部41在空间上的位置。车辆50例如为自动四轮车。
图像处理部2具备图像存储器21、脸部检测部22、第一图像旋转部23、第二图像旋转部24及旋转角检测部25。图像存储器21临时保存照相机1所拍摄的图像。脸部检测部22根据照相机1所拍摄的图像检测驾驶者的脸部，并提取脸部上的特征点(例如，眼睛)。脸部的检测方法、特征点的提取方法为公知的方法，因此省略对这些方法的详细说明。
第一图像旋转部23及第二图像旋转部24从图像存储器21读出照相机1所拍摄的摄像图像G1、G2(后述)，并进行使这些图像旋转的处理。旋转角检测部25根据从图像存储器21取得的照相机1的摄像图像而检测照相机1的旋转角θ1、θ2(后述)。由旋转角检测部25检测出的旋转角θ1、θ2被传递到第一图像旋转部23及第二图像旋转部24，各个图像旋转部23、24根据这些旋转角θ1、θ2而使摄像图像G1、G2旋转规定量。关于该图像旋转的具体情况，将后述。
位置计算部3根据由第一图像旋转部23及第二图像旋转部24生成的旋转图像H1、H2(后述)和由脸部检测部22检测的脸部的信息(脸部区域、特征点等)而计算图3中的从照相机1到脸部41为止的距离D即脸部41在空间上的位置。关于其具体情况，也将后述。关于位置计算部3的输出，经由CAN(Controller Area Network：控制器局域网络)而发送到搭载于车辆的未图示的ECU(Electronic Control Unit：电子控制单元)。
驾驶者状态判定部4根据从脸部检测部22取得的脸部的信息而检测眼皮的移动、视线的方向等，并根据其结果而判定驾驶者40的状态。例如，在眼皮保持一定时间以上的闭着的状态的情况下，判定为驾驶者40正在打盹，在视线朝向旁边的情况下，判定为驾驶者40在进行疏忽驾驶。驾驶者状态判定部4的输出经由CAN而被发送到ECU。
控制部5由CPU等构成，对乘员监视装置100的动作进行整体控制。因此，控制部5通过信号线与乘员监视装置100的各部件连接(省略图示)，并与各部件之间进行通信。另外，控制部5经由CAN而还与ECU进行通信。
存储部6由半导体存储器构成，并储存有用于使控制部5进行动作的程序、控制中所需的参数等。另外，存储部6中设置有用于临时储存各种数据的存储区域。
此外，脸部检测部22、第一图像旋转部23、第二图像旋转部24、旋转角检测部25、位置计算部3及驾驶者状态判定部4的各个功能实际上通过软件而实现，但在图1中为了便于图示，以框图来表示。
接下来，对在上述的乘员监视装置100中测定脸部在空间上的位置的原理进行说明。
图4是表示伴随方向盘51的旋转而发生的照相机1的位置的变化的图。在图4中，(a)表示方向盘51位于基准位置的状态，(b)表示方向盘51从基准位置旋转了角度θ1的状态，(c)表示方向盘51进一步旋转，从基准位置旋转到角度θ2为止的状态。(b)的照相机1的位置相当于本发明中的“第一位置”，(c)的照相机1的位置相当于本发明中的“第二位置”。
图5表示在图4的(a)～(c)的各个状态下通过照相机1而拍摄的图像的一例。在此，为方便起见，仅表示脸部的图像，省略背景图像。
图5的(a)与图4的(a)对应，表示照相机1位于基准位置的情况下的摄像图像。该图像为无倾斜的竖立图像。图5的(b)与图4的(b)对应，伴随着方向盘51旋转θ1，照相机1中的摄像图像G1也从基准位置旋转了θ1。角度θ1相当于本发明中的“第一旋转角”，摄像图像G1相当于本发明中的“第一摄像图像”。图5的(c)对应于图4的(c)，伴随着方向盘51旋转到θ2为止，照相机1上的摄像图像G2也从基准位置旋转到θ2为止。角度θ2相当于本发明中的“第二旋转角”，摄像图像G2相当于本发明中的“第二摄像图像”。
从图5可知，与方向盘51一起旋转的照相机1在不同的位置(旋转角度)所拍摄的图像的倾斜度不同，另外在画面上的位置也不同。
在本发明中，照相机1利用在两个不同的位置处所拍摄的两个图像而计算在图3所示的距离D。照相机1虽然为1台，但通过移动(旋转)照相机1，能够得到不同的位置上的两个图像。因此，可根据与利用2台照相机通过立体视觉来进行距离测定的情况相同的原理(具体情况，将后述)而进行距离D的测定。这样，将移动1台照相机而实现伪立体视觉来进行距离测定的方式称为运动立体方式。
下面，对利用了运动立体方式的本发明的距离测定过程进行说明。首先，如上述，取得照相机1在两个不同的位置处所拍摄的两个图像。在此，作为两个图像，利用由照相机1在图4的(b)的旋转角θ1的位置处所拍摄的图5的(b)的摄像图像G1和在图4的(c)的旋转角θ2的位置处所拍摄的图5的(c)的摄像图像G2。
接下来，将所取得的两个摄像图像G1、G2分别旋转规定量。具体地，如图6的(a)所示，关于摄像图像G1，向顺时针方向旋转|θ2-θ1|/2，由此生成由实线所示的旋转图像H1。另外，如图6的(b)所示，关于摄像图像G2，向逆时针方向旋转|θ2-θ1|/2，从而生成由实线所示的旋转图像H2。旋转图像H1相当于本发明中的“第一旋转图像”，旋转图像H2相当于本发明中的“第二旋转图像”。顺时针方向相当于本发明中的“第一方向”，逆时针方向相当于本发明中的“第二方向”。
旋转图像H1是将摄像图像G1旋转到图像G1、G2的中间的角度为止的图像，旋转图像H2也是将摄像图像G2旋转到图像G1、G2的中间的角度为止的图像。因此，两个旋转图像H1、H2的画面上的倾斜度相等。这样，将摄像图像G1、G2向相反方向旋转|θ2-θ1|/2的角度，从而能够得到与由通常的立体照相机所拍摄的情况相同的、姿势相同的两个图像H1、H2。
此外，在此，将摄像图像G1、G2以原样旋转而生成了旋转图像H1、H2，但如图7所示，也可以从摄像图像G1切出例如眼睛的区域Z，仅旋转该区域而生成旋转图像。关于摄像图像G2也同样。
接下来，利用如上述这样取得的旋转图像H1、H2进行基于立体视觉的距离运算，然而，为此首先需要求出作为两个照相机位置之间的直线距离的“基线长度”。对此，利用图8进行说明。
在图8中，O为方向盘51的旋转轴52(图2)的位置，X1为图4的(b)中的照相机1的位置，X2为图4的(c)中的照相机1的位置，L为从旋转轴52到照相机位置X1、X2为止的距离。B为照相机位置X1、X2之间的直线距离，这是基线长度。根据图8而在几何学上通过以下的公式来计算基线长度B。
B＝2·L·sin(|θ2-θ1|/2)…(1)
在此，L是已知的，因此如果能够取得θ1和θ2的值，则能够求出基线长度B。可根据图5的(b)、(c)的摄像图像G1、G2检测θ1和θ2。
当这样求出了基线长度B时，接着按照一般的基于立体视觉的距离测定方法而运算从照相机1到被摄体为止的距离。参照图9，对该距离运算的具体情况进行说明。
图9表示基于立体视觉的距离运算的原理图。在此的运算是基于三角测量的原理而进行的。在图9中，由具有摄像元件11a及透镜12a的第一照相机1a和具有摄像元件11b及透镜12b的第二照相机1b来构成立体照相机。第一照相机1a对应于图8的X1上的照相机1，第二照相机1b对应于图8的X2上的照相机1。此外，图8的照相机位置X1、X2在图9中被表示为各个照相机1a、1b的光学中心(透镜12a、12b的中心)。该光学中心X1、X2之间的距离B为基线长度。
由各个照相机1a、1b拍摄的被摄体Y的图像形成在摄像元件11a、11b的摄像面上。在此，在关注被摄体Y的特定部分的图像的情况下，在第一照相机1a中该图像形成在摄像面的P1的位置，在第二照相机1b中该图像形成在摄像面的P2的位置。P2的位置从与第一照相机1a中的P1对应的P1’的位置偏移δ，并将该偏移量δ称为“视差”。当将照相机1a、1b的焦距设为f，将从照相机1a、1b到被摄体Y为止的距离设为D时，在几何学上成立f/δ＝D/B。因此，通过以下的公式来计算距离D。
D＝B·f/δ…(2)
在上述的公式(2)中，基线长度B可从上述的公式(1)计算，由于焦距f为已知的距离，因此通过求出视差δ，能够计算距离D。可利用公知的立体匹配的手法来求出视差δ。例如，从第二照相机1b的摄像图像搜索与第一照相机1a的摄像图像中的特定区域的亮度分布相同的亮度分布的区域，将两者的区域的偏移量作为视差而求出。
基于图9的原理，在本发明中，根据图6所示的旋转图像H1、H2检测两个图像的视差δ。在该情况下，如上述，两个旋转图像H1、H2的倾斜度(姿势)相同，因此能够容易实现两者之间的立体匹配。并且，通过将进行匹配的区域作为脸部41的特定部分(例如，眼睛)的区域，利用该特定部分的视差δ，并通过所述公式(2)而能够计算照相机1和脸部41的特定部分之间的距离D。在此，照相机1在空间上的位置根据转向部51的旋转角而决定。因此，通过以上述的距离D为从照相机1到脸部41为止的距离，从而能够确定脸部41在空间上的位置。
图10是表示乘员监视装置100的动作的流程图。在控制部5的控制下，按照储存于存储部6的程序来执行该流程图的各个步骤。
在步骤S1中，通过照相机1而进行拍摄。将由照相机1所拍摄的图像保存到图像存储器21。在步骤S2中，旋转角检测部25根据照相机1的摄像图像G1、G2(图5)检测与方向盘51一起旋转的照相机1的旋转角。在步骤S3中，脸部检测部22根据照相机1的摄像图像检测脸部。在步骤S4中，脸部检测部22提取所检测的脸部中的特征点(眼睛等)。在步骤S5中，将在步骤S2～S4中取得的旋转角、脸部图像、特征点等数据保存到存储部6。在该情况下，与旋转角关联地存储脸部图像、特征点。
在步骤S6中，控制部5判定能否利用在步骤S5中保存的数据通过运动立体方式而进行距离测定。为了通过运动立体方式来测定与被摄体之间的距离，需要使由照相机1进行了拍摄的两个位置隔开一定距离以上。另外，在运动立体方式中，以在2次摄像之间被摄体不进行移动为前提，因此当2次拍摄的时间间隔长时，有可能被摄体移动而无法进行准确的距离测定。因此，在步骤S6中，在照相机1在两个不同的位置之间在规定时间内(例如，5秒以内)旋转了规定角度以上(例如，10°以上)的情况下，判定为可进行基于运动立体方式的距离测定，而在规定时间内未旋转规定角度以上的情况下，判定为不能进行基于运动立体方式的距离测定。
在步骤S6中判定的结果，如果可进行距离测定(步骤S6：是)，则进入步骤S7。在步骤S7中，由图像旋转部23、24进行将最新的图像和比其早N秒前(N≤5)的图像旋转|θ2-θ1|/2的角度的处理(|θ2-θ1|≥10°)。例如，图5的(b)的摄像图像G1为比最新图像早N秒前的图像，如图6的(a)所示，由第一图像旋转部23使图5的(b)的摄像图像G1向顺时针方向旋转|θ2-θ1|/2。另外，图5的(c)的摄像图像G2为最新的图像，如图6的(b)所示，由第二图像旋转部24使图5的(c)的摄像图像G2向逆时针方向旋转|θ2-θ1|/2。
在步骤S8中，位置计算部3根据从存储部6取得的旋转角θ1、θ2，通过上述的公式(1)而计算基线长度B。在步骤S9中，位置计算部3根据利用图像旋转部23、24生成的各个旋转图像H1、H2(图6)而计算视差δ。在步骤S10中，利用在步骤S8中计算的基线长度B、在步骤S9中计算的视差δ、照相机1的焦距f(已知)，并通过上述的公式(2)而计算从照相机1到脸部41为止的距离D。在步骤S11中，经由CAN而将在步骤S10中计算出的距离数据输出到ECU。ECU根据该距离数据而例如执行在开头所述的HUD的控制等。
此外，在步骤S6中判定的结果，如果不能进行基于运动立体方式的距离测定(步骤S6：否)，则进入步骤S12。在步骤S12中，根据摄像图像中的脸部的大小的变化，校正与脸部之间的距离D。具体地，在可进行基于运动立体方式的距离测定的情况下(步骤S6：是)，在步骤S10中，在存储所计算的距离D的同时，还存储脸部中的任意的2处的特征点之间的图像上的距离(像素数)。2处的特征点例如为左右眼睛的各个眼睛的中心。并且，在步骤S12中，根据这次的特征点之间的距离与上次的距离的变化量而校正在步骤S10中计算的上次的距离。具体地，在上次的步骤S10中，特征点之间的距离(像素数)为m，与脸部之间的距离被计算为Dx的情况下，在这次的步骤S12中，如果特征点之间的距离(像素数)为n，则这次的与脸部之间的距离Dy通过Dy＝Dx·(m/n)而计算，这成为与脸部之间的距离的校正值。作为一例，在设为m＝100像素，Dx＝40cm，n＝95像素的情况下，距离的校正值为Dy＝40cm×(100/95)＝42.1cm。可知，当脸部远离照相机1而图像上的脸部变小时，与此相应地特征点之间的图像上的距离也变小(n<m)，从照相机1到脸部为止的距离的计算值增加(Dy>Dx)。
根据上述的实施方式，在方向盘51的与旋转轴52相离的位置处设置有照相机1，因此，能够由与方向盘51一起旋转的照相机1得到在两个不同的位置处所拍摄的两个摄像图像G1、G2。并且，生成将这些摄像图像G1、G2旋转的旋转图像H1、H2，并利用从这些旋转图像H1、H2得到的视差δ，计算从照相机1到脸部41的特定部分(在本例中为眼睛)为止的距离D。因此，能够得到无需设置多个照相机或专用的光学系统、且能够通过简单的结构而测定脸部在空间上的位置的乘员监视装置。
图11表示本发明的第二实施方式的乘员监视装置200。在图11中，对与图1相同的部分赋予相同的标号。
在图1的乘员监视装置100中，旋转角检测部25根据从图像存储器21取得的照相机1的摄像图像(除了脸部的图像之外，还包括背景的图像)而检测了照相机1的旋转角θ1、θ2。相对于此，在图11的乘员监视装置200中，旋转角检测部25根据由脸部检测部22所检测的脸部的图像而检测照相机1的旋转角θ1、θ2。另外，图像旋转部23、24对由脸部检测部22所检测的脸部的图像而进行旋转处理而生成旋转图像H1、H2。在该情况下，在旋转图像H1、H2中反映脸部的信息，因此位置计算部3无需从脸部检测部22取得脸部的信息。
在图11的乘员监视装置200中，也可以根据与图1的情况相同的原理而计算从照相机1到脸部41为止的距离D。
图12表示本发明的第三实施方式的乘员监视装置300。在图12中，对与图1相同的部分赋予相同的标号。
在图1的乘员监视装置100中，旋转角检测部25根据由照相机1所拍摄的图像而检测照相机1的旋转角θ1、θ2。相对于此，在图12的乘员监视装置300中，旋转角检测部25根据设置于照相机1的姿势传感器13的输出而检测照相机1的旋转角θ1、θ2。作为姿势传感器13，可使用陀螺仪传感器等。
图13表示本发明的第四实施方式的乘员监视装置400。在图13中，对与图1相同的部分赋予相同的标号。
在图12的乘员监视装置300中，旋转角检测部25根据姿势传感器13的输出而检测了照相机1的旋转角θ1、θ2。相对于此，在图13的乘员监视装置400中，旋转角检测部25根据检测方向盘51的转向角的转向角传感器30的输出而检测照相机1的旋转角θ1、θ2。作为转向角传感器30，可使用旋转编码器等。
在图12及图13的乘员监视装置300、400中，也可根据与图1的情况相同的原理而计算从照相机1到脸部41为止的距离D。
此外，在图12及图13中，如图11所示，也可以由图像旋转部23、24对从脸部检测部22取得的脸部的图像进行旋转处理而生成旋转图像H1、H2。
在本发明中，除了上述的实施方式以外，还可采用以下的各种实施方式。
在上述的实施方式中，举出了将照相机1设置于方向盘51中的图2的位置的例子，但照相机1只要设置在方向盘51的与旋转轴52相离的位置即可，不限于图2的位置。
在上述的实施方式中，举出了将摄像图像G1向顺时针方向旋转|θ2-θ1|/2的角度，并将摄像图像G2向逆时针方向旋转|θ2-θ1|/2的角度的例子(图6)，但本发明不限于此。例如，也可以将摄像图像G1向顺时针方向旋转|θ2-θ1|而形成与摄像图像G2相同的倾斜度的图像。或者，将摄像图像G2向逆时针方向旋转|θ2-θ1|而形成与摄像图像G1相同的倾斜度的图像。
在上述的实施方式中，在计算从照相机1到脸部41为止的距离D时，作为脸部41的特定部分而举出了眼睛，但特定部分不限于眼睛，也可以是鼻子、嘴、耳朵、眉毛等。另外，特定部分不限于眼睛、鼻子、嘴、耳朵、眉毛等脸部的特征点，也可以是特征点以外的任意点。进而，在本发明中成为距离测定的对象的部位不限于脸部，也可以是头、颈等其他的部位。
在上述的实施方式中，将从照相机1到脸部41为止的距离D作为脸部41在空间上的位置，但空间上的位置不限于距离，也可以由坐标值来表示。
在上述的实施方式中，举出了在乘员监视装置100～400设置有驾驶者状态判定部4的例子，但驾驶者状态判定部4也可以设置在乘员监视装置100～400的外部。

Claims (8)

1.一种乘员监视装置，其特征在于，其包括：
照相机，其对车辆的乘员进行拍摄；
图像处理部，其对由所述照相机所拍摄的乘员的图像进行规定的处理；以及
位置计算部，其根据由所述图像处理部所处理的图像而计算所述乘员的规定部位在空间上的位置，
所述照相机设置在所述车辆的方向盘的与旋转轴相离的位置而与所述方向盘一起旋转，
所述图像处理部对伴随着所述方向盘的旋转而由所述照相机在两个不同的位置处拍摄的两个图像进行规定的处理，
所述位置计算部根据由所述图像处理部所处理的两个图像而计算所述规定部位在空间上的位置。
2.根据权利要求1所述的乘员监视装置，其特征在于，
所述图像处理部具有脸部检测部，该脸部检测部根据由所述照相机所拍摄的图像检测乘员的脸部，
所述位置计算部计算从所述照相机到所述脸部的特定部分为止的距离作为该脸部在空间上的位置。
3.根据权利要求1或2所述的乘员监视装置，其特征在于，
所述两个图像是所述照相机在旋转了第一旋转角时的第一位置处所拍摄的第一摄像图像及所述照相机在旋转了第二旋转角时的第二位置处所拍摄的第二摄像图像，
所述图像处理部生成将所述第一摄像图像旋转规定量而得的第一旋转图像及将所述第二摄像图像旋转规定量而得的第二旋转图像，
所述位置计算部根据基线长度、视差及所述照相机的焦距而计算所述规定部位在空间上的位置，其中所述基线长度是所述第一位置与所述第二位置之间的直线距离，所述视差是根据所述第一旋转图像及所述第二旋转图像而得到的。
4.根据权利要求3所述的乘员监视装置，其特征在于，
在将从所述方向盘的旋转轴到所述照相机为止的距离设为L，将所述第一旋转角设为θ1，将所述第二旋转角设为θ2，将所述基线长度设为B，将所述视差设为δ，将所述焦距设为f，将所述规定部位在空间上的位置设为从所述照相机到该规定部位为止的距离D时，
所述图像处理部将所述第一摄像图像向第一方向旋转|θ2-θ1|/2的角度而生成所述第一旋转图像，并将所述第二摄像图像向与所述第一方向相反的第二方向旋转|θ2-θ1|/2的角度而生成所述第二旋转图像，
所述位置计算部通过B＝2·L·sin(|θ2-θ1|/2)而计算所述基线长度，并通过D＝B·(f/δ)而计算所述规定部位在空间上的位置。
5.根据权利要求3所述的乘员监视装置，其特征在于，
所述乘员监视装置具备旋转角检测部，该旋转角检测部检测所述照相机的旋转角，
所述旋转角检测部根据从所述照相机取得的所述第一摄像图像及所述第二摄像图像而检测所述第一旋转角及所述第二旋转角。
6.根据权利要求3所述的乘员监视装置，其特征在于，
所述乘员监视装置具备旋转角检测部，该旋转角检测部检测所述照相机的旋转角，
所述旋转角检测部根据检测所述照相机的姿势的姿势传感器的输出而检测所述第一旋转角及所述第二旋转角。
7.根据权利要求3所述的乘员监视装置，其特征在于，
所述乘员监视装置具备旋转角检测部，该旋转角检测部检测所述照相机的旋转角，
所述旋转角检测部根据检测所述方向盘的转向角的转向角传感器的输出而检测所述第一旋转角及所述第二旋转角。
8.根据权利要求1或2所述的乘员监视装置，其特征在于，
当所述照相机在所述两个不同的位置之间在规定时间内旋转了规定角度以上的情况下，所述位置计算部根据所述两个图像而计算所述规定部位在空间上的位置。
CN201910090311.4A 2018-02-27 2019-01-30 乘员监视装置 Active CN110194173B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018033132A JP6669182B2 (ja) 2018-02-27 2018-02-27 乗員監視装置
JP2018-033132 2018-02-27

Publications (2)

Publication Number Publication Date
CN110194173A true CN110194173A (zh) 2019-09-03
CN110194173B CN110194173B (zh) 2022-06-10

Family

ID=67550240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910090311.4A Active CN110194173B (zh) 2018-02-27 2019-01-30 乘员监视装置

Country Status (4)

Country Link
US (1) US20190266743A1 (zh)
JP (1) JP6669182B2 (zh)
CN (1) CN110194173B (zh)
DE (1) DE102019103197B4 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112667084A (zh) * 2020-12-31 2021-04-16 上海商汤临港智能科技有限公司 车载显示屏的控制方法及装置、电子设备和存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10891502B1 (en) * 2017-01-19 2021-01-12 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for alleviating driver distractions
US11527081B2 (en) 2020-10-20 2022-12-13 Toyota Research Institute, Inc. Multiple in-cabin cameras and lighting sources for driver monitoring
JPWO2022113275A1 (zh) * 2020-11-27 2022-06-02

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102143321A (zh) * 2010-02-01 2011-08-03 卡西欧计算机株式会社 摄影装置及控制方法
CN104200192A (zh) * 2013-01-18 2014-12-10 通用汽车环球科技运作有限责任公司 驾驶员注视检测系统
WO2016012140A1 (de) * 2014-07-23 2016-01-28 Robert Bosch Gmbh Verfahren und anordnung zum betreiben eines insassenbeobachtungssystems
US20170046582A1 (en) * 2014-07-30 2017-02-16 Denso Corporation Driver monitor device
CN107107748A (zh) * 2014-12-30 2017-08-29 Tk控股公司 乘员监视系统和方法
CN107187490A (zh) * 2017-06-01 2017-09-22 北京汽车研究总院有限公司 一种方向盘、汽车和监测方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004198732A (ja) * 2002-12-18 2004-07-15 Sony Computer Entertainment Inc 撮影補助器、画像処理方法、画像処理装置、コンピュータプログラム、プログラムを格納した記録媒体
JP4380412B2 (ja) * 2004-05-10 2009-12-09 株式会社デンソー 撮像制御装置及びプログラム
JP4706917B2 (ja) * 2005-09-07 2011-06-22 アイシン精機株式会社 運転者監視システム
JP4735361B2 (ja) * 2006-03-23 2011-07-27 日産自動車株式会社 車両乗員顔向き検出装置および車両乗員顔向き検出方法
US20110025836A1 (en) * 2008-03-18 2011-02-03 Satoshi Tamaki Driver monitoring apparatus, driver monitoring method, and vehicle
KR100921092B1 (ko) * 2008-07-04 2009-10-08 현대자동차주식회사 스티어링 휠에 장착된 카메라를 이용하는 운전자 상태 감시시스템
CN103442925B (zh) * 2011-03-25 2016-08-17 Tk控股公司 用于确定驾驶员警觉性的系统和方法
JP2013078039A (ja) * 2011-09-30 2013-04-25 Sharp Corp 三次元画像を取得可能な電子機器、当該電子機器を制御するための方法、および、当該電子機器を制御するためのプログラム
TW201441075A (zh) * 2013-04-23 2014-11-01 Hon Hai Prec Ind Co Ltd 安全氣囊啟動控制系統及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102143321A (zh) * 2010-02-01 2011-08-03 卡西欧计算机株式会社 摄影装置及控制方法
CN104200192A (zh) * 2013-01-18 2014-12-10 通用汽车环球科技运作有限责任公司 驾驶员注视检测系统
WO2016012140A1 (de) * 2014-07-23 2016-01-28 Robert Bosch Gmbh Verfahren und anordnung zum betreiben eines insassenbeobachtungssystems
US20170046582A1 (en) * 2014-07-30 2017-02-16 Denso Corporation Driver monitor device
CN107107748A (zh) * 2014-12-30 2017-08-29 Tk控股公司 乘员监视系统和方法
CN107187490A (zh) * 2017-06-01 2017-09-22 北京汽车研究总院有限公司 一种方向盘、汽车和监测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112667084A (zh) * 2020-12-31 2021-04-16 上海商汤临港智能科技有限公司 车载显示屏的控制方法及装置、电子设备和存储介质
CN112667084B (zh) * 2020-12-31 2023-04-07 上海商汤临港智能科技有限公司 车载显示屏的控制方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
US20190266743A1 (en) 2019-08-29
DE102019103197A1 (de) 2019-08-29
JP6669182B2 (ja) 2020-03-18
JP2019148491A (ja) 2019-09-05
DE102019103197B4 (de) 2020-12-17
CN110194173B (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
CN106643699B (zh) 一种虚拟现实系统中的空间定位装置和定位方法
US11223820B2 (en) Augmented reality displays with active alignment and corresponding methods
CN110194173A (zh) 乘员监视装置
US10242454B2 (en) System for depth data filtering based on amplitude energy values
CN107003110B (zh) 图像处理装置和图像处理方法
CN103814271B (zh) 一般用于测量车辆的车轮、转向系统和底盘的特征角和尺寸的设备和方法
JP5745178B2 (ja) ３次元測定方法、装置及びシステム、並びに画像処理装置
CN107122770B (zh) 多目相机系统、智能驾驶系统、汽车、方法和存储介质
TW201101812A (en) Derivation of 3D information from single camera and movement sensors
CN103907340A (zh) 图像生成装置和图像生成方法
JP5293131B2 (ja) 車両用複眼距離測定装置及び複眼距離測定方法
CN103907341A (zh) 图像生成装置和图像生成方法
JP2008014653A (ja) 測量機
WO2020133172A1 (zh) 图像处理方法、设备及计算机可读存储介质
JPWO2014002725A1 (ja) ３次元測定方法、装置、及びシステム、並びに画像処理装置
CN108463840A (zh) 信息处理设备、信息处理方法以及记录介质
JP5007863B2 (ja) ３次元物体位置計測装置
KR20200071960A (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
JP2017187861A5 (zh)
US11061473B2 (en) Updating a cornea model
JP4193342B2 (ja) ３次元データ生成装置
JP2003284096A (ja) ステレオ撮影装置、ファインダ、目印提示部材、及び、ステレオ撮影装置の撮影方法
US11849999B2 (en) Computer-implemented method for determining a position of a center of rotation of an eye using a mobile device, mobile device and computer program
JP2004354256A (ja) キャリブレーションずれ検出装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム
JP3417776B2 (ja) 写真測量用ターゲットおよびこの写真測量用ターゲットを用いた写真測量

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant