CN109070748A - 终端装置位置估计方法、信息显示方法以及终端装置位置估计装置 - Google Patents

终端装置位置估计方法、信息显示方法以及终端装置位置估计装置 Download PDF

Info

Publication number
CN109070748A
CN109070748A CN201680084798.XA CN201680084798A CN109070748A CN 109070748 A CN109070748 A CN 109070748A CN 201680084798 A CN201680084798 A CN 201680084798A CN 109070748 A CN109070748 A CN 109070748A
Authority
CN
China
Prior art keywords
driver
location estimation
face
terminal installation
photographic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680084798.XA
Other languages
English (en)
Other versions
CN109070748B (zh
Inventor
辻正文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renault SAS
Nissan Motor Co Ltd
Original Assignee
Renault SAS
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault SAS, Nissan Motor Co Ltd filed Critical Renault SAS
Publication of CN109070748A publication Critical patent/CN109070748A/zh
Application granted granted Critical
Publication of CN109070748B publication Critical patent/CN109070748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Instrument Panels (AREA)

Abstract

一种使用处理器(110)来估计显示装置(100)的位置的方法，该显示装置(100)具备用于显示信息的显示部(101)，该显示装置被配置在车辆内的驾驶座的前方，该方法包括以下步骤：利用显示装置(100)在设置有显示部(101)的面一侧所具备的第一摄像装置(102)拍摄驾驶员的脸，基于利用第一摄像装置(102)拍摄到的驾驶员的脸的朝向，来估计显示装置(100)的位置。

Description

终端装置位置估计方法、信息显示方法以及终端装置位置估 计装置
技术领域
本发明涉及一种终端装置位置估计方法、信息显示方法以及终端装置位置估计装置。
背景技术
已知一种使配置在车辆内的规定位置的便携式终端的显示部显示内容的车辆显示装置(例如，参照专利文献1)。在专利文献1所记载的车辆显示装置中，利用便携式终端的摄像部识别车辆内的基准位置和驾驶员的眼的位置，根据相对于基准位置而言的驾驶员的眼的位置来变更内容的显示尺寸和显示位置中的至少一方。
专利文献1：日本特开2014-94647号公报
发明内容
发明要解决的问题
在专利文献1中记载的车辆显示装置中，针对驾驶员的前方的预先决定的便携式终端的设置位置来设定上述基准位置，而无法应对便携式终端被配置在驾驶员的前方的任意的位置的状况。
本发明要解决的问题在于，提供一种即使在具有显示部的终端装置被配置在驾驶员的前方的任意的位置的状况下也能够估计终端装置的位置的终端装置位置估计方法、信息显示方法以及终端装置位置估计装置。
用于解决问题的方案
本发明通过以下方案来解决上述问题：利用终端装置在设置有显示部的面一侧所具备的摄像装置来拍摄驾驶员的脸，基于所拍摄到的驾驶员的脸的朝向来估计终端装置的位置。
发明的效果
根据本发明，产生如下效果：即使在具有显示部的终端装置被配置在驾驶员的前方的任意的位置的状况下也能够估计终端装置的位置。
附图说明
图1是示出本发明的一个实施方式所涉及的车辆用信息显示系统的概要的图。
图2是示出图1的显示装置的前表面和背面的图。
图3是示出图1的车辆用信息显示系统的框图。
图4是用于说明图3的处理器的设置位置估计处理的图。
图5是用于说明图3的处理器的设置位置估计处理的图。
图6是示出本发明的一个实施方式所涉及的车辆用信息显示系统所执行的信息显示处理的控制过程的流程图。
图7是示出本发明的一个实施方式所涉及的车辆用信息显示系统所执行的信息显示处理的控制过程的流程图。
图8是示出本发明的其它实施方式所涉及的车辆用信息显示系统所执行的信息显示处理的控制过程的流程图。
图9是示出本发明的其它实施方式所涉及的车辆用信息显示系统所执行的信息显示处理的控制过程的流程图。
具体实施方式
以下，基于附图来说明本发明的实施方式。图1是示出本发明的一个实施方式所涉及的车辆用信息显示系统10的概要的图。该图所示的车辆用信息显示系统10是一种使设置于车辆1内的驾驶座的前方的任意的位置的显示装置100的显示部101(参照图2)根据其设置位置来显示信息的系统。该车辆用信息显示系统10具备显示装置100、通信单元20以及服务器30。显示装置100能够利用固定装置45固定于车辆的仪表台(dashboard)2上、仪表板(meter panel)3前等。
图2是示出显示装置100的前表面和背面的图。如该图所示，显示装置100是能够移动的终端装置，具备显示部101、第一摄像装置102以及第二摄像装置103的。作为该显示装置100，能够例示智能手机、平板式终端、PDA等便携式终端。本实施方式的显示装置100是智能手机，显示部101是液晶、有机EL等的显示器，第一摄像装置102是内置摄像头，第二摄像装置103是外置摄像头。另外，在显示装置100中安装有应用软件，该应用软件用于执行使显示部101显示与设置位置相应的图像的处理。在后面记述使显示部101根据设置位置显示的图像。
通信单元20连接于CAN(Controller Area Network：控制器局域网)等车载网络，从ECU(Engine Control Unit：发动机控制单元或Electronic Control Unit：电子控制单元)等车载设备接收车辆信息。作为该车辆信息，能够例示速度、发动机的转速、制动器的状态、转向装置的状态、车载摄像头的摄影图像、指示灯的状态、前照灯开关或示廓灯开关的接通和断开、点火开关的接通和断开等。另外，通信单元20经由Bluetooth(注册商标)等无线通信或有线LAN等有线通信连接于显示装置100，将车辆识别编号等车辆识别信息、从车载设备接收到的车辆信息等发送到显示装置100。
服务器30连接于无线通信网，与显示装置100之间发送和接收信息。作为该无线通信网，能够例示LTE(Long Term Evolution：长期演进)、3G等便携式电话用通信线路网、WiMAX(注册商标)等无线通信网以及信标等智能交通系统用的无线通信网等。在本实施方式中，服务器30从显示装置100获取车辆识别信息、车辆信息、显示装置100的信息，将信息显示处理所需要的信息(以下称为显示处理信息)发送到显示装置100。此外，适当地设定服务器30与显示装置100之间的处理、功能的分配即可。例如，也可以以如下方式构建服务器30与显示装置100的协作：服务器30基于从显示装置100获取到的信息，来生成要使显示装置100的显示部101显示的信息，将该信息发送到显示装置100。
图3是示出车辆用信息显示系统10的概要结构的框图。如该图所示，显示装置100除了具备上述的显示部101、第一摄像装置102、第二摄像装置103以外，还具备通信部104、加速度传感器105、GPS(Global Positioning System：全球定位系统)接收机106以及处理器110。
通信部104从通信单元20接收上述的车辆识别信息、车辆信息等，与服务器30之间进行车辆识别信息、车辆信息、后述的GPS信号等的发送以及显示处理信息、导航信息等的接收。加速度传感器105是MEMS(Micro Electro Mechanical Systems：微机电系统)3轴加速度传感器等，能够测量X轴、Y轴、Z轴三个方向的加速度的加速度，还能够应对重力(静态加速度)的测量。GPS接收机106从GPS卫星接收与显示装置100的绝对位置坐标(纬度/经度)有关的GPS信号。
处理器110是具备ROM 112、RAM 113以及作为动作电路的CPU 111的计算机，其中，该ROM 112存储有显示控制程序，该CPU 111执行ROM 112中存储的显示控制程序，该RAM113作为能够访问的存储装置发挥功能。处理器110具备执行信息获取处理、设置位置估计处理、显示信息生成处理以及显示控制处理的功能，通过用于实现各处理的软件与上述的硬件的协作来执行各处理。
服务器30具备通信部301、数据库302以及处理器310。通信部301与显示装置100的通信部104之间进行车辆识别信息、车辆信息、GPS信号等的接收以及显示处理信息、导航信息等的发送。数据库302存储有地图信息、显示处理信息。
处理器310是具备ROM 312、RAM 313以及作为动作电路的CPU 311的计算机，其中，该ROM 312存储有显示控制程序，该CPU 311执行ROM 312中存储的显示控制程序，该RAM313作为能够访问的存储装置发挥功能。处理器310具备执行信息获取处理、显示处理信息提取处理以及导航信息生成处理的功能，通过用于实现各处理的软件与上述的硬件的协作来执行各处理。
图4和图5是用于说明处理器110的设置位置估计处理的图。如图4所示，在显示装置100被设置于驾驶员的前方的仪表台2上、仪表板3前、中央操控台4前的情况下，驾驶员的脸进入作为内置摄像头的第一摄像装置102的视角，使得摄影图像中包含驾驶员的脸。
在以下的说明中，将右侧驾驶汽车中的仪表台2上的靠中央(从驾驶员看来处于左侧)的设置位置称为设置位置(1)，将仪表台2上的驾驶员的正面的设置位置称为设置位置(2)，将仪表台2上的从驾驶员看来处于右侧的设置位置称为设置位置(3)。另外，将仪表板3的跟前且驾驶员的正面的设置位置称为设置位置(4)，将中央操控台4的跟前的设置位置称为设置位置(5)。此外，驾驶员通常将显示装置100的显示部101调整为自身易于观察的朝向，在对显示装置100的设置位置与第一摄像装置102的摄影图像中的驾驶员的脸的位置之间的关系进行说明时，为了方便，设为显示装置100的显示部101相对于车辆前后方向垂直地配置。另外，矩形的显示装置100横向地设置。并且，第一摄像装置102位于显示部101的左侧。
图5是示出在使设置于设置位置(1)～(5)的显示装置100的显示部101显示了第一摄像装置102的摄影图像的情况下显示驾驶员的脸的位置以及驾驶员的脸的朝向的图。如该图所示，作为内置摄像头的第一摄像装置102的摄影图像成为镜像被显示于显示部101。
在从驾驶员看来处于左下方的设置位置(5)设置有显示装置100的情况下，驾驶员的脸显示在显示部101中的右上。另外，在从驾驶员看来处于正面上侧的设置位置(2)设置有显示装置100的情况下以及在从驾驶员看来处于正面下侧的设置位置(4)设置有显示装置100的情况下，显示部101中的驾驶员的脸的显示位置上下反转。此外，在设置位置(4)设置有显示装置100的情况下，驾驶员的脸显示在显示部101中的比正中央稍偏左侧的上部。
并且，在从驾驶员看来处于右上方的设置位置(3)设置有显示装置100的情况下以及在从驾驶员看来处于左上方的设置位置(1)设置有显示装置100的情况下，显示部101中的驾驶员的脸的显示位置左右反转。此外，在设置位置(1)设置有显示装置100的情况下，驾驶员的脸显示在显示部101的比正中央稍偏右侧的位置。
在从驾驶员看来处于左侧的设置位置(1)、(5)设置有显示装置100的情况下，驾驶员的脸以左脸向前露出的朝向(为右朝向)显示于显示部101，与此相对，在从驾驶员看来处于右上方的设置位置(3)设置有显示装置100的情况下，驾驶员的脸以右脸向前露出的朝向(为左朝向)显示于显示部101。另外，在从驾驶员看来处于正面的设置位置(2)、(4)设置有显示装置100的情况下，驾驶员的脸以正面朝向显示于显示部101。
此外，在将车辆用信息显示系统10应用于左侧驾驶汽车的情况下，中央操控台4的跟前的设置位置成为从驾驶员看来处于右下方的位置。因此，在左侧驾驶汽车的中央操控台4的跟前配置有显示装置100的情况下，驾驶员的脸以在显示部101中的左上为左朝向的方式显示于显示部101。
如以上所说明的那样，显示装置100的设置位置与第一摄像装置102的摄影图像中的驾驶员的脸的位置及朝向之间存在相关关系。因此，处理器110在信息获取处理中获取第一摄像装置102的摄影信息(AF控制时的测距信息以及摄影图像)，在设置位置估计处理中判别第一摄像装置102的摄影图像中的驾驶员的脸的位置和朝向，基于其判别结果来估计显示装置100的设置位置。
另外，如图4所示，在显示装置100被设置在仪表台2上的情况下，前挡风玻璃或存在于前挡风玻璃的前方侧的物体进入作为外置摄像头的第二摄像装置103的视角，对前挡风玻璃或存在于前挡风玻璃的前方侧的物体进行测距，并且对从仪表台2上向车辆前方侧扩展的摄影范围的亮度进行测量。另外，在显示装置100被设置在仪表板3前的情况下，仪表板3进入第二摄像装置103的视角，对仪表板3进行测距，并且对仪表板3的亮度进行测量。并且，在显示装置100被设置在中央操控台4前的情况下，中央操控台4进入第二摄像装置103的视角，对中央操控台4进行测距，并且对中央操控台4的亮度进行测量。
显示装置100被设置在仪表台2上的情况下的距被摄体的距离比显示装置100被设置在仪表板3的跟前或中央操控台4的跟前的情况下的距被摄体的距离长。另外，显示装置100被设置在仪表台2上的情况下的摄影范围的亮度的变化量比显示装置100被设置在仪表板3的跟前或中央操控台4的跟前的情况下的摄影范围的亮度的变化量大。
如以上所说明的那样，显示装置100的设置位置、作为第二摄像装置103的摄影信息的距被摄体的距离、以及摄影范围的亮度的变化量之间存在相关关系。因此，处理器110在信息获取处理中获取第二摄像装置103的摄影信息(AF控制时的测距信息以及亮度)，在设置位置估计处理中判别距被摄体的距离以及摄影范围的亮度的变化量，基于其判别结果来估计显示装置100的设置位置。
图6和图7是示出本实施方式所涉及的车辆用信息显示系统10所执行的信息显示处理的控制过程的流程图。当安装于显示装置100的应用软件启动时，开始进行这些图中的流程所示的处理例程。
首先，显示装置100的处理器110从车辆1的通信单元20获取车辆识别信息和车辆信息(步骤S101)。在该步骤中获取的车辆识别信息中包含销售地信息，能够根据销售地信息来识别车辆1的左侧驾驶汽车与右侧驾驶汽车的差别、车辆1的装备。另外，在该步骤中获取的车辆信息中至少包含转向装置的状态、车载摄像头的摄影图像、点火开关的接通和断开。
接着，处理器110获取显示装置100中搭载的传感器的检测信息(步骤S102)。在该步骤中获取的传感器的检测信息中包含由加速度传感器105检测到的加速度信息。
接着，处理器110基于在步骤S102中获取到的加速度信息来判定显示装置100是否为固定状态(步骤S103)。在该步骤中，处理器110判定由加速度传感器105检测到的重力方向(Z轴方向)的加速度是否为规定的阈值以下。在该步骤中为否定判定的情况下，返回到步骤S102，在该步骤中为肯定判定的情况下，转移到步骤S104。
在步骤S104中，处理器110从第一摄像装置102获取摄影信息，通过对获取到的摄影信息进行分析来判别摄影图像中的驾驶员的脸的位置和距作为被摄体的驾驶员的脸的距离。接着，处理器110从第二摄像装置103获取包含测距信息和亮度信息的摄影信息，计算距被摄体的距离和摄影范围的亮度的变化量(步骤S105)。
接着，处理器110判定驾驶员的脸是否位于第一摄像装置102的摄影图像中的右上(步骤S106)，在为肯定判定的情况下，将显示装置100的设置位置估计为设置位置(5)(步骤S107)。即，基于第一摄像装置102的摄影图像中的驾驶员的脸的位置来估计离驾驶员的正面比较远的设置位置(5)。另一方面，在步骤S106中为否定判定的情况下，转移到图7的步骤S201。此外，在左侧驾驶汽车的中央操控台4前设置有显示装置100的情况下，判定驾驶员的脸是否位于第一摄像装置102的摄影图像中的左上，在为肯定判定的情况下，将显示装置100的设置位置估计为中央操控台4前。
在此，设想以下情况：在将显示装置100设置在相比于设置位置(5)而言离驾驶员近的设置位置(1)～(4)的情况下，驾驶员调整显示装置100的朝向使得易于从驾驶员观察显示部101。因此，在显示装置100被设置在设置位置(1)～(4)的情况下，第一摄像装置102的摄影图像中的驾驶员的脸的位置有可能不产生能够识别的差。因此，关于基于第一摄像装置102的摄影图像中的驾驶员的脸的位置估计的设置位置，仅为设置位置(5)，而关于设置位置(1)～(4)，基于第一摄像装置102的摄影图像中的驾驶员的脸的朝向、第二摄像装置103的测距信息及明亮度信息来估计。
在步骤S201中，处理器110从通信单元20获取车辆信息。在该步骤中获取的车辆信息中包含车速和转轮角。接着，处理器110基于在步骤S201中获取到的车速和转轮角来判定车辆1是否为直线行驶中(步骤S202)。在该步骤中为肯定判定的情况下，转移到步骤S203，在为否定判定的情况下，返回到步骤S201。在步骤S202中，处理器110判定是否车速为规定的阈值以上且转轮角为规定的阈值以下。在此，车速的阈值被设定为例如10km/h等能够判定为车辆1为行驶中的值。另外，转轮角的阈值被设定为例如10°等能够判定为车辆1为直行中的值。
在步骤S203中，处理器110通过对第一摄像装置102的摄影图像进行分析来判别第一摄影装置102的摄影图像中的驾驶员的脸的朝向。接着，处理器110判定在步骤S203中判别出的驾驶员的脸的朝向是否为正面朝向(步骤S204)。在该步骤中为肯定判定的情况下，转移到步骤S205，在该步骤中为否定判定的情况下，转移到步骤S301。
在步骤S301中，处理器110判定在步骤S203中判别出的驾驶员的脸的朝向是否为右朝向(左脸向前方露出的朝向)。在该步骤中为肯定判定的情况下，转移到步骤S302，在该步骤中为否定判定的情况下，转移到步骤S303。
在步骤S302中，处理器110将显示装置100的设置位置估计为设置位置(1)。另一方面，在步骤S303中，处理器110将显示装置100的设置位置估计为设置位置(3)。然后，从步骤S302、S303转移到图6的步骤S108。
即，在第一摄像装置102的摄影图像中的驾驶员的脸的朝向为右朝向的情况下，处理器110将显示装置100的设置位置估计为设置位置(1)。另一方面，在第一摄像装置102的摄影图像中的驾驶员的脸的朝向为左朝向(右脸向前方露出的朝向)的情况下，处理器110将显示装置100的设置位置估计为设置位置(3)。并且，在第一摄像装置102的摄影图像中的驾驶员的脸的朝向为正面朝向的情况下，处理器110将显示装置100的设置位置估计为设置位置(2)或设置位置(4)。
在步骤S205中，处理器110基于第二摄像装置103的测距信息和亮度信息来估计显示装置100的设置位置是设置位置(2)、(4)中的哪一个位置。具体地说，处理器110判定是否距被摄体的距离为规定的阈值以上且第二摄像装置103的摄影范围的亮度的变化量为规定的阈值以上。在此，距被摄体的距离的阈值被设定为对仪表板3或中央操控台4与被设置在二者前的显示装置100之间的距离加上短的距离(例如10cm)所得到的值，即被设定为比前挡风玻璃与仪表台2上的显示装置100之间的距离小的值。另外，摄影范围的亮度的变化量的阈值被设定为对仪表板3或中央操控台4的亮度的变化量加上微量所得到的值，且被设定为比车外的亮度的变化量小的值。然后，在步骤S205中为肯定判定的情况下，转移到步骤S206，在步骤S205中为否定判定的情况下，转移到步骤S207。
在步骤S206中，处理器110将显示装置100的设置位置估计为设置位置(2)。另一方面，在步骤S207中，处理器110将显示装置100的设置位置估计为设置位置(4)。然后，从步骤S206、S207转移到图6的步骤S108。
即，在第二摄像装置103的距被摄体的距离比距前挡风玻璃的距离短且摄影范围的亮度的变化量比车外的亮度的变化量小的情况下，处理器110将显示装置100的设置位置估计为设置位置(4)。另一方面，在第二摄像装置103的距被摄体的距离比距仪表板3或中央操控台4的距离大且摄影范围的亮度的变化量比仪表板3或中央操控台4的亮度的变化量大的情况下，处理器110将显示装置100的设置位置估计为设置位置(2)。
在步骤S108中，处理器110使显示部101显示与显示装置100的设置位置相应的信息。在显示装置100的设置位置是从驾驶员看来处于左上方的设置位置(1)的情况下，例如在向左侧进行路径变更时，显示是否检测到存在于车辆1的左侧的其它车辆等物体的通知信息，在向左侧进行路径变更时以外的情况下，显示导航信息(代替车载导航的功能的图像)。另外，在显示装置100的设置位置是从驾驶员看来处于正面上侧的设置位置(2)的情况下，例如在通过路口时，显示利用车载摄像头拍摄的车辆前方的摄影图像，在通过路口时以外的情况下，显示代替仪表板3的功能的图像。
另外，在显示装置100的设置位置是从驾驶员看来处于右上方的设置位置(3)的情况下，例如在向右侧进行路径变更时，显示是否检测到存在于车辆1的右侧的其它车辆等物体的通知信息，在向右侧进行路径变更时以外的情况下，显示导航信息。另外，在显示装置100的设置位置是从驾驶员看来处于正面下侧的设置位置(4)的情况下，例如显示代替仪表板3的功能的图像。并且，在显示装置100的设置位置是从驾驶员看来处于左下方的设置位置(5)的情况下，例如始终显示导航信息。
接着，处理器110获取车辆信息(点火开关的接通和断开)(步骤S109)，判定点火开关是否断开(步骤S110)。在步骤S110中为肯定判定的情况下，处理器110结束应用软件来结束处理。另一方面，在步骤S110中为否定判定的情况下，返回到步骤S108，使显示部101继续进行信息的显示。
如以上所说明的那样，在本实施方式所涉及的车辆用信息显示系统10中，利用显示装置100在设置有显示部101的面一侧所具备的第一摄像装置102拍摄驾驶员的脸，基于拍摄到的驾驶员的脸的朝向来估计显示装置100的位置。由此，能够估计在驾驶员的前方的任意的位置配置的显示装置100的位置。而且，能够使在驾驶员的前方的任意的位置配置的显示装置100显示与其位置相应的信息。
另外，如上所述，在显示装置100的设置位置与车辆1的直线行驶中的第一摄像装置102的摄影图像中的驾驶员的脸的朝向之间存在相关关系。因此，在本实施方式所涉及的车辆用信息显示系统10中，在车辆1的直线行驶中利用第一摄像装置102拍摄到的驾驶员的脸为右朝向的情况下，将显示装置100的位置估计为从驾驶员看来处于左侧的位置(设置位置(1)或设置位置(5))，在车辆1的直线行驶中利用第一摄像装置102拍摄到的驾驶员的脸为正面朝向的情况下，将显示装置100的位置估计为从驾驶员看来处于正面的位置(设置位置(2)或设置位置(4))，在车辆1的直线行驶中利用第一摄像装置102拍摄到的驾驶员的脸为左朝向的情况下，将显示装置100的位置估计为从驾驶员看来处于右侧的位置(设置位置(3))。由此，能够高精度地估计在驾驶员的前方的任意的位置配置的显示装置100在车宽方向的位置。
另外，如上所述，在显示装置100的设置位置与第一摄像装置102的摄影图像中的驾驶员的脸的位置之间存在相关关系。因此，在本实施方式所涉及的车辆用信息显示系统10中，基于利用第一摄像装置102拍摄到的驾驶员的脸的位置来估计显示装置100的位置。由此，例如能够估计中央操控台4的跟前等离驾驶员的正面的距离比较远的显示装置100的位置。特别是，在本实施方式所涉及的车辆用信息显示系统10中，在利用第一摄像装置102拍摄到的驾驶员的脸的位置是在摄影图像中的右上的情况下，将显示装置100的位置估计为右侧驾驶汽车的中央操控台4前。由此，即使在驾驶员对显示装置100的朝向进行微调整使得易于观察显示部101的情况下，也能够针对在右侧驾驶汽车的中央操控台4前配置的显示装置100确定其位置。此外，在利用第一摄像装置102拍摄到的驾驶员的脸的位置是在摄影图像中的左上的情况下，将显示装置100的位置估计为左侧驾驶汽车的中央操控台4的跟前即可。
另外，如上所述，在显示装置100的设置位置与利用显示装置100的背面侧的第二摄像装置103获取到的距车辆前方侧的被摄体的距离之间存在相关关系。因此，在本实施方式所涉及的车辆用信息显示系统10中，利用第二摄像装置103拍摄车辆前方侧，在利用第二摄像装置103获取到的距被摄体的距离为规定距离以上的情况下，将显示装置100的位置估计为仪表台2上(设置位置(1)～(3))，在利用第二摄像装置103获取到的距被摄体的距离小于上述规定距离的情况下，将显示装置100的位置估计为仪表台2的前表面(仪表板3)的跟前(设置位置(4)或设置位置(5))。由此，能够高精度地估计在驾驶员的前方的任意的位置配置的显示装置100在上下方向的位置。
另外，如上所述，在显示装置100的设置位置与显示装置100的背面侧的第二摄像装置103的摄影范围的亮度的变化量之间存在相关关系。因此，在本实施方式所涉及的车辆用信息显示系统10中，利用第二摄像装置103拍摄车辆前方侧，在利用第二摄像装置103获取到的摄影范围的亮度的变化量为规定值以上的情况下，将显示装置100的位置估计为仪表台2上(设置位置(1)～(3))，在利用第二摄像装置103获取到的摄影范围的亮度的变化量小于上述规定值的情况下，将显示装置100的位置估计为仪表台2的前表面的跟前(设置位置(4)或设置位置(5))。由此，能够高精度地估计在驾驶员的前方的任意的位置配置的显示装置100在上下方向的位置。
另外，在本实施方式所涉及的车辆用信息显示系统10中，使显示部101显示与估计出的显示装置100的位置相应的信息。由此，能够使在驾驶员的前方的任意的位置配置的显示装置100显示与其位置相应的信息。
图8和图9是示出其它实施方式所涉及的车辆用信息显示系统10所执行的信息显示处理的控制过程的流程图。此外，对与上述的实施方式所涉及的车辆用信息显示系统10相同的过程省略说明并引用上述的说明。
在执行步骤S101～S104之后，处理器110从第二摄像装置103获取包含明亮度信息的摄影信息，从通信单元20获取前照灯开关的接通和断开的信息(步骤S401)。在此，与前照灯开关或示廓灯开关的接通/断开的切换连动地执行仪表板3的背光灯的光量的控制和显示亮度的控制，因此在显示装置100的设置位置是设置位置(4)的情况下，第二摄像装置103的摄影范围的亮度与前照灯开关或示廓灯开关的接通/断开连动地变化。
即，尽管没有进行前照灯开关或示廓灯开关的接通/断开的切换，但在第二摄像装置103的摄影范围的亮度发生了变化的情况下，显示装置100的设置位置不是设置位置(4)，而是设置位置(2)。另一方面，在没有进行前照灯开关或示廓灯开关的接通/断开的切换的期间，在第二摄像装置103的摄影范围的亮度没有发生变化的情况下，显示装置100的设置位置是设置位置(4)。并且，在进行了前照灯开关或示廓灯开关的接通/断开的切换时，在第二摄像装置103的摄影范围的亮度发生了与仪表板3的背光灯的光量、显示亮度的控制相应的变化的情况下，显示装置100的设置位置是设置位置(4)。
因此，在执行步骤S106～S204之后，处理器110判别第二摄像装置103的摄影范围的亮度是否与前照灯开关的接通/断开的切换连动地变化(步骤S402～S404)。具体地说，处理器110判定是否进行了前照灯开关的切换(步骤S402)，在为肯定判定的情况下，判定在前照灯开关的切换时第二摄像装置103的摄影范围的亮度是否随着仪表板3的亮度的变化而发生了变化(步骤S403)。另一方面，在步骤S402中为否定判定的情况下，处理器110判定第二摄像装置103的摄影范围的亮度的变化量是否小于规定的阈值(步骤S404)。在步骤S404中，亮度的变化量的阈值被设定为比车外的亮度的变化量小的值。
在步骤S403中为肯定判定的情况下，转移到步骤S207，在步骤S403中为否定判定的情况下，转移到步骤S206。另一方面，在步骤S404中为肯定判定的情况下，转移到步骤S207，在步骤S404中为否定判定的情况下，转移到步骤S206。在步骤S206中，处理器110将显示装置100的设置位置估计为设置位置(2)。另一方面，在步骤S207中，处理器110将显示装置100的设置位置估计为设置位置(4)。然后，从步骤S206、S207转移到图8的步骤S108。之后，执行步骤S108～S110。
如以上所说明的那样，在本实施方式所涉及的车辆用信息显示系统10中，利用显示装置100在设置有显示部101的面的相反侧所具备的第二摄像装置103拍摄车辆前方侧的被摄体，在利用第二摄像装置103获取到的摄影范围的亮度与仪表板3的光量切换开关(前照灯开关或示廓灯开关)连动地变化的情况下，将显示装置100的位置估计为仪表板3的跟前。由此，即使在仪表台2的前方的亮度的变化量小的情况下，也能够识别显示装置100的设置位置是仪表板3的跟前还是仪表台2上。
此外，以上说明的实施方式是为了易于理解本发明而记载的，并不是为了限定本发明而记载的。因而，宗旨是在上述的实施方式中公开的各要素还包括属于本发明的技术范围内的所有设计变更、等同物。
例如，在上述的实施方式中，基于第一摄像装置102的摄影图像中的驾驶员的脸的位置来估计在中央操控台4的跟前配置的显示装置100的位置(设置位置(5))，但并不限于此，也可以基于第一摄像装置102的摄影图像中的驾驶员的脸的朝向来估计设置位置(5)。
另外，在上述的实施方式中，基于第二摄像装置103的测距信息、亮度信息来估计被配置在仪表台2上的显示装置100的位置(设置位置(2))以及被配置在仪表板3的跟前的显示装置100的位置(设置位置(4))，但并不限于此，也可以基于第一摄像装置102的摄影图像中的驾驶员的脸的位置来估计。在该情况下，基于第一摄像装置102的摄影图像中的驾驶员的脸的上下的朝向(例如，如果朝上，则将显示装置100的设置位置估计为设置位置(4))来估计显示装置100的位置即可。
另外，在上述的实施方式中，基于第二摄像装置103的测距信息、亮度信息来估计被配置在仪表台2上的显示装置100的位置(设置位置(2))以及被配置在仪表板3的跟前的显示装置100的位置(设置位置(4))，但并不限于此，也可以仅基于测距信息或仅基于亮度信息来估计。
并且，在上述的实施方式中，根据显示装置100的设置位置的估计结果来设定使显示装置100显示的信息，但显示装置100的设置位置的估计结果的用途并不限定于此。例如，也可以将显示装置100的设置位置的估计结果用于根据显示装置100的设置位置的估计结果将显示装置100所具备的声音装置开启/关闭等其它用途。
附图标记说明
2：仪表台；3：仪表板；4：中央操控台；30：服务器；310：处理器；100：显示装置；101：显示部；102：第一摄像装置；103：第二摄像装置；110：处理器。

Claims (9)

1.一种终端装置位置估计方法，使用终端装置位置估计装置估计终端装置的位置，该终端装置具备用于显示信息的显示部，该终端装置被配置在车辆内的驾驶座的前方，在所述终端装置位置估计方法中，
利用所述终端装置在设置有所述显示部的面一侧所具备的第一摄像装置拍摄驾驶员的脸，
基于利用所述第一摄像装置拍摄到的所述驾驶员的脸的朝向来估计所述终端装置的位置。
2.根据权利要求1所述的终端装置位置估计方法，其特征在于，
利用所述终端装置在设置有所述显示部的面的相反侧所具备的第二摄像装置拍摄车辆前方侧，
在利用所述第二摄像装置获取到的距被摄体的距离为规定距离以上的情况下，将所述终端装置的位置估计为仪表台之上，在利用所述第二摄像装置获取到的距被摄体的距离小于所述规定距离的情况下，将所述终端装置的位置估计为仪表台的跟前。
3.根据权利要求1或2所述的终端装置位置估计方法，其特征在于，
利用所述终端装置在设置有所述显示部的面的相反侧所具备的第二摄像装置拍摄车辆前方侧，
在利用所述第二摄像装置获取到的摄影范围的亮度的变化量为规定值以上的情况下，将所述终端装置的位置估计为仪表台之上，在利用所述第二摄像装置获取到的摄影范围的亮度的变化量小于所述规定值的情况下，将所述终端装置的位置估计为仪表台的跟前。
4.根据权利要求1～3中的任一项所述的终端装置位置估计方法，其特征在于，
利用所述终端装置在设置有所述显示部的面的相反侧所具备的第二摄像装置拍摄车辆前方侧，
在利用所述第二摄像装置获取到的摄影范围的亮度与仪表板的光量切换开关连动地变化的情况下，将所述终端装置的位置估计为所述仪表板前。
5.根据权利要求1～4中的任一项所述的终端装置位置估计方法，其特征在于，
在车辆的直线行驶中利用所述第一摄像装置拍摄到的所述驾驶员的脸为右朝向的情况下，将所述终端装置的位置估计为从所述驾驶员看来处于左侧的位置；在车辆的直线行驶中利用所述第一摄像装置拍摄到的所述驾驶员的脸为正面朝向的情况下，将所述终端装置的位置估计为从所述驾驶员看来处于正面的位置；在车辆的直线行驶中利用所述第一摄像装置拍摄到的所述驾驶员的脸为左朝向的情况下，将所述终端装置的位置估计为从所述驾驶员看来处于右侧的位置。
6.根据权利要求1～5中的任一项所述的终端装置位置估计方法，其特征在于，
基于利用所述第一摄像装置拍摄到的所述驾驶员的脸的位置来估计所述终端装置的位置。
7.根据权利要求6所述的终端装置位置估计方法，其特征在于，
在利用所述第一摄像装置拍摄到的所述驾驶员的脸的位置是在摄影图像中的右上或左上的情况下，将所述终端装置的位置估计为中央操控台前。
8.一种显示控制方法，
使用根据权利要求1～7中的任一项所述的终端装置位置估计方法来估计所述终端装置的位置，
使所述显示部显示与所估计出的所述终端装置的位置相应的信息。
9.一种终端装置位置估计装置，具备显示部和处理器，该显示部用于显示信息，该处理器估计在车辆内的驾驶座的前方配置的终端装置的位置，其中，
所述处理器使所述终端装置在设置有所述显示部的面一侧所具备的第一摄像装置拍摄驾驶员的脸，
所述处理器基于利用所述第一摄像装置拍摄到的所述驾驶员的脸的朝向来估计所述终端装置的位置。
CN201680084798.XA 2016-04-20 2016-04-20 信息处理装置和显示数据决定方法 Active CN109070748B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/062489 WO2017183128A1 (ja) 2016-04-20 2016-04-20 端末装置位置推定方法、情報表示方法、及び端末装置位置推定装置

Publications (2)

Publication Number Publication Date
CN109070748A true CN109070748A (zh) 2018-12-21
CN109070748B CN109070748B (zh) 2021-11-30

Family

ID=60116706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680084798.XA Active CN109070748B (zh) 2016-04-20 2016-04-20 信息处理装置和显示数据决定方法

Country Status (5)

Country Link
US (1) US10776641B2 (zh)
EP (1) EP3446913A4 (zh)
JP (1) JP6586226B2 (zh)
CN (1) CN109070748B (zh)
WO (1) WO2017183128A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020152786A1 (ja) * 2019-01-22 2020-07-30 ヤマハモーターパワープロダクツ株式会社 オフハイウェイ車両
JPWO2023058145A1 (zh) * 2021-10-06 2023-04-13

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008146356A (ja) * 2006-12-11 2008-06-26 Nissan Motor Co Ltd 視線方向推定装置及び視線方向推定方法
US20130261892A1 (en) * 2012-03-28 2013-10-03 Honda Motor Co., Ltd. Method for determining installation position of portable information terminal on vehicle
US20140125583A1 (en) * 2012-11-08 2014-05-08 Honda Motor Co., Ltd. Vehicular display system
WO2015039746A1 (de) * 2013-09-20 2015-03-26 Audi Ag Verfahren und system zum betreiben wenigstens einer anzeigeeinrichtung eines kraftwagens sowie kraftwagen mit einem system zum betreiben wenigstens einer anzeigeeinrichtung
WO2015164584A1 (en) * 2014-04-23 2015-10-29 Google Inc. User interface control using gaze tracking

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5278292B2 (ja) * 2009-11-27 2013-09-04 株式会社デンソー 情報提示装置
JP2012104052A (ja) * 2010-11-12 2012-05-31 Idea Consultants Inc 推定方法
JP2012214087A (ja) 2011-03-31 2012-11-08 Kojima Press Industry Co Ltd スマートフォンの配置構造

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008146356A (ja) * 2006-12-11 2008-06-26 Nissan Motor Co Ltd 視線方向推定装置及び視線方向推定方法
US20130261892A1 (en) * 2012-03-28 2013-10-03 Honda Motor Co., Ltd. Method for determining installation position of portable information terminal on vehicle
US20140125583A1 (en) * 2012-11-08 2014-05-08 Honda Motor Co., Ltd. Vehicular display system
WO2015039746A1 (de) * 2013-09-20 2015-03-26 Audi Ag Verfahren und system zum betreiben wenigstens einer anzeigeeinrichtung eines kraftwagens sowie kraftwagen mit einem system zum betreiben wenigstens einer anzeigeeinrichtung
WO2015164584A1 (en) * 2014-04-23 2015-10-29 Google Inc. User interface control using gaze tracking

Also Published As

Publication number Publication date
CN109070748B (zh) 2021-11-30
JP6586226B2 (ja) 2020-01-08
JPWO2017183128A1 (ja) 2019-02-28
EP3446913A1 (en) 2019-02-27
US20190095732A1 (en) 2019-03-28
WO2017183128A1 (ja) 2017-10-26
EP3446913A4 (en) 2019-04-10
US10776641B2 (en) 2020-09-15

Similar Documents

Publication Publication Date Title
US11543256B2 (en) Electronic apparatus and control method thereof
CN109895851B (zh) 弯道导向方法、弯道导向装置、弯道导向电子装置及计算机可读记录介质
CN105564441B (zh) 警报装置、警报系统、警报方法及便携终端
CN108139202B (zh) 图像处理装置、图像处理方法和程序
CN111284487B (zh) 车道线显示方法以及执行该方法的电子设备
US20240075949A1 (en) Method, apparatus, electronic device, computer program and computer readable recording medium for measuring inter-vehicle distance using driving image
CN109002754A (zh) 车辆远程停车系统和方法
CN113212498B (zh) 车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质
CN108028883B (zh) 图像处理装置和图像处理方法
RU2720591C1 (ru) Способ отображения информации и устройство управления отображением
US20130231861A1 (en) Terminal device, image displaying method and image displaying program executed by terminal device
WO2017110526A1 (ja) 携帯端末および車両
US10982962B2 (en) V2X location accuracy enhancement
CN106164931A (zh) 用于在车辆显示装置上显示目标的方法和装置
CN111243314A (zh) 信息提供系统、服务器、移动终端、非暂时性存储介质和信息提供方法
JP2019109707A (ja) 表示制御装置、表示制御方法および車両
KR20240014555A (ko) 커브 안내 방법, 커브 안내 장치, 전자 장치 및 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램
CN108335507B (zh) 利用摄像头的拍摄影像的驾驶引导提供方法及装置
KR101850254B1 (ko) 커넥티드 카 환경을 지원하기 위한 차량간 통신 시스템
CN109070748A (zh) 终端装置位置估计方法、信息显示方法以及终端装置位置估计装置
KR101403661B1 (ko) 차량내 단말기의 사용자 인터페이스 화면 표시 장치 및 방법
KR20160065723A (ko) 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
CN114755670A (zh) 用于协助驾驶员和乘客彼此定位的系统和方法
CN116588092A (zh) 车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质
KR20100082230A (ko) 네비게이션 단말기 및 네비게이션 단말기의 운행안내방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant