CN101211173A - 车辆用动作系统、车辆 - Google Patents

车辆用动作系统、车辆 Download PDF

Info

Publication number
CN101211173A
CN101211173A CNA2007101989980A CN200710198998A CN101211173A CN 101211173 A CN101211173 A CN 101211173A CN A2007101989980 A CNA2007101989980 A CN A2007101989980A CN 200710198998 A CN200710198998 A CN 200710198998A CN 101211173 A CN101211173 A CN 101211173A
Authority
CN
China
Prior art keywords
hand
movement device
operating area
automotive occupant
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007101989980A
Other languages
English (en)
Inventor
青木洋
三田博文
横尾正登
箱守裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Takata Corp
Original Assignee
Takata Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Takata Corp filed Critical Takata Corp
Publication of CN101211173A publication Critical patent/CN101211173A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)
  • Instrument Panels (AREA)

Abstract

本发明提供一种车辆用动作系统及车辆,特别是在具有通过车辆乘员的手对操作部进行操作而动作的动作装置的车辆用动作系统中,提供一种能够简便地进行操作以使动作装置动作的有效技术。本发明的车辆用动作系统(100)如下构成:检测操作部(180)的操作区域中的三维图像,并且根据所检测出的三维图像判断车辆乘员的手掌部或手背部是否处于操作区域,当判断为车辆乘员的手掌部或手背部处于操作区域时使动作装置(180)动作。

Description

车辆用动作系统、车辆
技术领域
本发明涉及搭载于车辆上的车辆用动作系统,详细地说,涉及具有通过由车辆乘员对操作部进行操作而动作的动作装置的车辆用动作系统的构筑技术。
背景技术
以往,在下述专利文献1中,作为通过车辆乘员的操作而进行动作的动作装置的一例,公开了车辆用照明装置。使以该车辆用照明装置为代表的各种动作装置动作时,可以设想出车辆乘员亲自将手放到动作装置的操作开关上摸索着进行开关操作、或在进行该开关操作时一定时间地目视操作开关的方向的情况,因而在设计这种系统时,需要一种能够简便地进行操作以使动作装置动作的技术。
专利文献1:特开2005-254906号公报
发明内容
因此,本发明是鉴于上述问题而提出的,其目的在于,在具有通过车辆乘员对操作部进行操作而动作的动作装置的车辆用动作系统中,提供一种能够简便地进行操作以使动作装置动作的有效技术。
为了解决上述问题,构成了本发明。本发明虽然典型地适用于搭载在汽车上的车辆用动作系统,但是在搭载在除汽车以外的车辆上的车辆用动作系统中,本发明同样能够适用。
本发明的车辆用动作系统搭载于车辆上,其至少具有动作装置、检测部以及控制部。
动作装置,构成通过由车辆乘员对操作部进行操作而动作的装置。作为该装置。作为该动作装置,典型地可以采用车内用或车外用照明、空调、车门后视镜、车辆导航系统、音响等。车辆乘员的手掌部和手背部是指车辆乘员手部的各部位中从手腕到指尖的包括手指部的部位。而且,这里所说的车辆乘员不仅包括为了对车辆操舵用方向盘进行操作而坐在驾驶座上的乘员,还广泛地包括坐在副驾驶座等上的乘员。
检测部,具有检测从操作部到规定范围的操作区域中的三维图像的功能。作为该检测部,典型地可以采用作为非接触型三维测定器的单眼C-MOS3D相机及复眼立体3D相机、或3D扫描器等。关于该检测部的设置场所,可以根据所需的操作部的位置适当选择,典型地可以选择车内后视镜周边部、仪表盘、车顶部、车柱等。
控制部具有以下控制功能,其根据由检测部检测出的三维图像判断车辆乘员的手掌部或手背部是否处于操作部的操作区域,在判断为车辆乘员的手掌部或手背部处于该操作区域时,判断为要使与该操作区域对应的动作装置动作,从而使该动作装置动作。关于对是否存在车辆乘员手掌部或手背部的判断,可以在操作区域检测到人体时判断该被检测体的大小是否相当于预先规定的手掌部或手背部,或判断操作区域是否存在大小与手掌部或手背部相当的被检测体。
根据这种结构,本发明的车辆用动作系统,至少具有:第1动作模式,通过由车辆乘员直接对操作部进行手动操作而使动作装置动作;和第2动作模式,通过控制部的控制以非接触方式使动作装置动作,而不是直接对操作部进行手动操作。因此,当在运转前后或车辆停止状态使动作装置动作时,车辆乘员可以选择第1动作模式或第2动作模式;当在运转过程中使动作装置动作时可以选择第2动作模式。特别是,当坐在正规位置上的车辆乘员在运转过程中直接对大小有限的操作部进行操作时,需要目视操作部一定的时间,有时候会偏离正规位置,由此导致车辆乘员的注意力下降,如果根据需要选择使手掌部或手背部简单地移动到操作部周围的操作区域的第2动作模式,由于使动作装置动作所需的手掌部或手背部的操作范围较宽,所以可以简便地进行用于使动作装置动作的操作,由此可以抑制车辆乘员注意力下降。
而且,通过采用三维图像,可以精确地检测出操作部的操作区域的信息。即,当采用三维图像时,即使在背景与车辆乘员之间的色差、皮肤与衣物之间的色差较小等情况下,也可以根据距离提取信息,因而与检测二维图像的结构相比,能够确保较高的检测精度。
另外,本发明的检测部,可以是检测一个或多个操作区域的三维图像的单个检测部,或者也可以是多个检测部。而且,多个操作区域,可以是各自独立的区域,或者也可以是单个操作区域中的各个部位。例如,在通过单个检测部进行与至少两个动作装置对应的控制的情况下,当各动作装置的操作部彼此之间较近时,可以将单个操作区域中的第1部位作为与其中一个动作装置的动作有关的操作区域,将单个操作区域中的第2部位作为与另一个动作装置的动作有关的操作区域。即,可以根据单个操作区域中的哪个部位存在车辆乘员的手掌部或手背部来确定进行动作的动作装置。
本发明的又一形式的车辆用动作系统,还具有声音输入部,由车辆乘员以声音输入与预定的预定操作部有关的信息。这里所说的与“与预定操作部有关的信息”,不仅包括显示预定操作部自身的信息,还广泛地包括直接或间接提示预定操作部的信息。在这种结构中,控制部,在第2动作模式中,根据以声音输入至声音输入部的信息确定预定操作部,并且在根据由检测部检测出的三维图像判断为车辆乘员的手掌部或手背部处于操作区域时,在与处于该操作区域的手掌部或手背部对应的操作部和预先确定的预定操作部一致的条件下,使所述动作装置动作。
根据这种结构,通过预先以声音输入与预定操作的预定操作部有关的信息而进行预告,可以仅将车辆乘员想要操作的动作装置作为动作对象,由此可以防止动作装置的错误动作。
在本发明的又一形式的车辆用动作系统中,所述控制部,在第2动作模式中,当根据由检测部检测出的三维图像判断为车辆乘员的手掌部或手背部处于操作区域时,进一步判断处于该操作区域的手掌部或手背部的动作,当使动作装置动作时,根据该手掌部或手背部的动作对动作装置的动作方式进行可变控制。这里所说的与手掌部或手背部有关的动作,例如有操作区域的手掌部或手背部的移动量、移动速度、移动加速度、滞留时间等。
根据这种结构,车辆乘员通过适当选择与动作装置的所需动作方式对应的手掌部或手背部的动作,不直接对操作部进行手动操作,即可对动作装置进行精细的控制。
本发明的车辆至少具有发动机行驶系统、电装系统、车辆控制装置以及上述车辆用动作系统。发动机行驶系统构成与发动机及车辆的行驶有关的系统。电装系统构成与车辆所使用的电器元件有关的系统。车辆控制装置构成具有对发动机行驶系统及电装系统进行驱动控制的功能的装置。
根据这种结构,能够提供一种搭载有车辆乘员根据需要不必直接对操作部进行手动操作即可使动作装置动作的车辆用动作系统的车辆。
发明效果
如上所述,根据本发明,在具有通过由车辆乘员对操作部进行操作而动作的动作装置的车辆用动作系统中,特别是检测操作部的操作区域中的三维图像,并根据所检测出的该三维图像判断车辆乘员的手掌部或手背部是否处于操作区域,当判断为车辆乘员的手掌部或手背部处于操作区域时使动作装置动作,通过采用上述结构可以简便地进行用于使动作装置动作的操作。
附图说明
图1是表示本实施方式的车辆用动作系统100的系统构成的图。
图2是在仪表板上设置图1中的3D相机112时的坐标系A(X,Y,Z)的图。
图3是图2中的坐标系A(X,Y,Z)的背面图。
图4是在仪表板上设置图1中的3D相机112时的坐标系B(X’,Y’,Z’)的图。
图5是图4中的坐标系B(X’,Y’,Z’)的背面图。
图6是示意性地表示在从本实施方式的操作部180a到规定范围的操作区域C检测是否存在车辆乘员的手掌部或手背部H的情况的图。
图7是表示根据图6中的操作区域C的车辆乘员的手掌部或手背部H的检测使动作装置180动作之前的流程的图。
图8是表示在本实施方式的操作部180a所处的规定操作区域C检测车辆乘员的手掌部或手背部H的动作的情况的图。
图9是表示根据图7中的操作区域C的车辆乘员的手掌部或手背部H的动作的检测使动作装置180动作之前的流程的图。
具体实施方式
以下,参照附图详细说明本发明的实施方式。首先,参照图1说明本发明的“车辆用动作系统”的一实施方式即车辆用动作系统100的构成。
在图1中表示本实施方式的车辆用动作系统100的系统构成。如图1所示,车辆用动作系统100,搭载在作为本发明的“车辆”的汽车上,至少包括拍摄单元110、控制单元120、ECU170以及动作装置180、该车辆,虽然并未特别图示,但是其至少具有与发动机及车辆的行驶有关的系统即发动机行驶系统(相当于本发明的“发动机行驶系统”)、与车辆所使用的电器元件有关的系统即电装系统(相当于本发明的“电装系统”)、对发动机行驶系统及电装系统进行驱动控制的车辆控制装置(ECU170)。这时的车辆控制装置,相当于本发明中的“车辆控制装置”。
本实施方式的拍摄单元110,包括作为拍摄设备的3D相机112及数据传输电路。3D相机112,使用C-MOS或CCD(电荷耦合元件),构成以阵列状(格子状)配置光传感器的3D(三维图像)式相机(也称作监视器)。该3D相机112,典型的为,为了从正面拍摄驾驶座乘员或副驾驶座乘员,例如设置在仪表板的左右中心部分或车内后视镜周边部。通过该3D相机112获得单一视点下的三维图像,多次计测距驾驶座乘员或副驾驶座乘员的距离而检测出立体表面形状,从而周期性地多次计测与该驾驶座乘员或副驾驶座乘员有关的信息。作为该3D相机112,可以采用作为非接触型三维测定器的单眼C-MOS3D相机或复眼立体3D相机。代替该3D相机112,也可以采用能够获得三维图像的3D扫描器。
而且,虽然并未特别图示,但是在本实施方式的车辆用动作系统100中搭载有将车辆电池的电力供给该3D相机112的电源装置。设定成,例如当点火开关钥匙变成接通状态时,或者安装在驾驶座内的就座传感器(省略图示)测知就座到该驾驶座上的乘员时,开始由该3D相机112进行拍摄。
本实施方式的控制单元120,至少包括图像处理部130、运算部(MPU)140、存储部150、输入输出部160以及未特别图示的各种外围装置。该控制单元120具有以下功能,根据由3D相机112拍摄的图像进行检测后述的规定操作区域C(从后述的操作部180a到规定范围的操作区域)的三维图像的处理,并且根据该检测信息控制动作装置180。这里所说的控制单元120包括拍摄单元110,构成本发明中的“检测部”和“控制部”。
图像处理部130,构成进行以下控制的单元:用于获取优质图像的相机控制、用于对由3D相机112拍摄的图像进行加工分析的图像处理控制。具体而言,在相机控制中,进行帧频、快门时间、灵敏度调整、精度校正,调整动态范围、亮度、白平衡等。而且,在该图像处理控制中,执行图像的旋转校正、透镜失真校正、滤波运算、差分运算等图像前期处理运算、形状判断或追踪等图像识别处理运算。由此,可以通过XYZ坐标系内的像素来表现由3D相机112拍摄的车辆乘员的三维图像。这里所说的“像素”是指构成数字图像的单位即带色的“点”,包括距离(进深)和透明度等信息。
另外,车辆乘员的三维图像,优选根据已知技术从以3D相机112为中心的坐标系A(X,Y,Z)向以车体为中心的坐标系B(X’,Y’,Z’)进行坐标变换。在这里,图2是表示将图1中的3D相机112设置在仪表板上时的坐标系A(X,Y,Z)的侧面图,图3是表示图2中的坐标系A(X,Y,Z)的背面图。而且,图4是表示将图1中的3D相机112设置在仪表板上时的坐标系B(X’,Y’,Z’)的侧面图,图5是表示图4中的坐标系B(X’,Y’,Z’)的背面图。在以车体为中心的坐标系B中,X’轴与车体地板面及车辆左右方向平行,Y’轴与车体地板面垂直、与车辆上下方向平行,Z’轴与车体地板面及车辆前后方向平行。通过进行这种坐标变换,能够易于定义操作区域C。
本实施方式的运算部140,具有根据来自图像处理部130的信息处理该信息的功能,包括信息提取处理部142和判断处理部144。信息提取处理部142具有根据图像处理部130的信息提取(也称作检测)规定操作区域C的三维图像的功能。判断处理部144,根据由信息提取处理部142提取的操作区域C的三维图像,进行判断处理,以判断该操作区域C是否存在车辆乘员的手掌部或手背部、即手部各部位中从手腕开始到指尖的包括手指部在内的部位。关于该判断处理,当在操作区域C检测到人体时,可以判断该被检测体的大小是否相当于预先规定的手掌部或手背部,或者也可以判断操作区域C是否存在大小相当于手掌部或手背部的被检测体。于是,当判断为该操作区域C存在车辆乘员的手掌部或手背部时,输出用于使动作装置180动作的控制信号。
本实施方式的存储部150,除了运算控制软件之外,还记录(存储)校正用的数据或前期处理用的缓冲帧存储数据、用于识别运算的定义数据或基准模型、在运算部140中预先设定的与操作区域C有关的信息、运算部140的各种处理结果。
本实施方式的输入输出部160,与对车辆整体进行相关控制的ECU170之间,输入以运算部140的判断结果为代表的与车辆有关的信息、与周边交通状况有关的信息、与天气或时间段有关的信息等,并输出识别结果。作为与车辆有关的信息的具体示例,例如有利用雷达或相机得出的车辆的碰撞预测信息、车门的开关、安全带的佩戴或解开、制动器的动作、车速、方向盘操舵角度等。
本实施方式的动作装置180,构成根据来自ECU170的控制信号进行动作的动作设备。该动作装置180,具有由车辆乘员操作的操作部180a,通过直接对该操作部180a进行手动操作而使动作装置180进行动作或改变动作方式。此时的操作模式,是通过直接对操作部180a进行手动操作而使动作装置180动作的模式,相当于本发明中的“第1动作模式”。作为该动作装置180,典型地可以采用车内用或车外用照明、空调、车门后视镜、车辆导航系统、音响等。而且,该动作装置180的操作部180a,典型地由滑动式、按压式、旋转式等各种开关类或按钮类构成。这里所说的动作装置180相当于本发明中的“动作装置”,该动作装置180的操作部180a相当于本发明中的“操作部”。
在本实施方式中,当在上述判断处理部144中判断为规定的操作区域C存在车辆乘员的手掌部或手背部时,判断为该车辆乘员要使动作装置180动作,ECU170对动作装置180输出动作信号。此时的控制模式,是以与操作部180a非接触的方式使动作装置180动作的模式,相当于本发明中的“第2动作模式”。另外,在本实施方式中,只要形成根据运算部140的处理对动作装置180输出动作信号的结构即可,如图1所示,可以是在运算部140与动作装置180之间设置ECU170的结构,也可以是把来自运算部140的动作信号直接输出给动作装置180的结构。
第1处理方式
在这里,参见图6及图7说明本实施方式的运算部140的第1处理方式。
在图6中示意性地表示在从本实施方式的操作部180a到规定范围的操作区域C检测车辆乘员的手掌部或手背部H的存在的情况。在图6所示的例子中,本实施方式的操作区域C被规定为X’轴、Y’轴、Z’轴上的中心(a,b,c)、半径为r的球形的内部空间。在这种情况下,可以将该操作区域C设定成式子(x-a)2+(y-b)2+(z-c)2≤r2所示的区域。运算部140,当上式所示的区域内存在的像素数p在一定值m以上时,判断为操作区域C内存在物体(被检测体)。而且,当该像素数p在一定值n(>m)以下时,判断为操作区域C内存在的物体为车辆乘员的手掌部或手背部H。即,关于该像素数p,当m≤p≤n的关系成立时,判断为操作区域C存在大小相当于车辆乘员的手掌部或手背部H的物体。另外,关于像素数p的一定值m、n,由存储部150预先存储。作为一定值m、n,例如可以采用下述值,m=200,n=300。而且,关于为了检测车辆乘员的手掌部或手背部的存在而设定的操作区域,除了操作区域C的球形之外,也可以根据需要规定成立方体或长方体等各种形状。而且,规定该操作区域的距操作部180a的分开距离,可以根据估计的手掌部或手背部H的大小等适当进行设定。该操作区域相当于本发明中的“操作区域”。
在图7中表示根据图6中的操作区域C的车辆乘员的手掌部或手背部H的检测使动作装置180动作之前的流程。如图7所示,车辆乘员为了使动作装置180动作而使手部H向操作区域C移动,于是3D相机112检测到该手掌部或手背部H。当运算部140判断为操作区域C存在车辆乘员的手掌部或手背部H时,判断为车辆乘员要使动作装置180动作,于是执行使该动作装置180动作的控制。例如,当判断为车内用照明开关的操作区域存在车辆乘员的手掌部或手背部时,不必直接对车内用照明开关直接进行操作,即可使车内用照明为点亮状态。而且,当判断为音响开关的操作区域存在车辆乘员的手掌部或手背部时,不必直接对音响开关直接进行操作,即可使音响为工作状态。另外,在动作装置180进行动作后,可以采用经过一定时间后动作装置180自动停止的结构、或在经过一定时间后再次在操作区域C检测到车辆乘员的手掌部或手背部H的条件下停止动作装置180的结构等。
另外,在本实施方式中,拍摄单元110可以构成检测一个或多个操作区域的三维图像的单个拍摄设备(3D相机112等),或者也可以构成多个拍摄设备。而且,多个操作区域可以是各自独立的区域,或者也可以是单个操作区域中的各个部位。例如,在通过单个拍摄设备进行与至少两个动作装置例如空调和音响对应的控制的情况下,当各动作装置的操作部彼此之间较近时,可以将单个操作区域中的第1部位作为与空调的动作有关的操作区域,将单个操作区域中的第2部位作为与音响的动作有关的操作区域。即,可以根据单个操作区域中的哪个部位存在车辆乘员的手掌部或手背部来确定进行动作的动作装置。
(第2处理方式)
参照图8及图9说明本实施方式的运算部140的第2处理方式。
在图8中示意性地表示在本实施方式的操作部180a所处的规定操作区域C检测车辆乘员的手掌部或手背部H的动作的情况。在图8所示的例子中,根据操作区域C的像素的中心位置的变化来检测车辆乘员的手掌部或手背部H的动作。具体而言,设操作区域C的像素的坐标为(Xk,Yk,Zk)、像素数为N时,∑为k=1~N的和,可以求出像素的中心位置为(∑(Xk)/N,∑(Yk)/N,∑(Zk)/N)。根据一定时间内的该像素的中心位置的标准偏差,求出操作区域C的手部H的移动量,据此判断车辆乘员的手掌部或手背部H的动作的种类。除了操作区域C的手部H的移动量以外,还可以采用手部H的移动量、移动速度、移动加速度、滞留时间等。
在图9中,表示根据在图7的操作区域C对车辆乘员的手掌部或手背部H的动作的检测使动作装置180动作之前的流程。如图9所示,车辆乘员为了使动作装置180以规定的方式动作而使手部H向操作区域C移动,以进行特定的动作,于是3D相机112检测到该手掌部或手背部H。当运算部140判断为操作区域C存在车辆乘员的手掌部或手背部H时,进而检测出该手掌部或手背部H的特定的动作时,判断为车辆乘员要使动作装置180以规定方式动作,从而执行使该动作装置180以规定方式进行动作的控制。例如,当在音响开关的操作区域检测出车辆乘员的拳头的上下运动时,不必直接对音响开关进行操作,即可进行增大音响音量的控制。另外,在动作装置180进行动作后,可以采用经过一定时间后动作装置180自动停止的结构、或在经过一定时间后再次在操作区域C检测到车辆乘员的手掌部或手背部H的特定动作的条件下停止动作装置180的结构等。
(第3处理方式)
在本实施方式的利用运算部140进行的第3处理方式中,在上述第1处理方式中,在车辆乘员的手部H进一步向操作区域C移动之前,预先通过声音来预告用于确定与操作区域C对应的动作装置180的信息。在这种情况下,作为系统结构,可以追加图1中的双点划线所示的声音输入部190。该声音输入部190典型地由输入声音用的麦克风构成。这里所说的声音输入部190,由车辆乘员预先以声音输入与预定的预定操作部有关的信息,相当于本发明中的“声音输入部”。
在该第3处理方式中,车辆乘员以声音向声音输入部输入与随后将要进行动作的动作装置180有关的信息。由此,可以确定由车辆乘员进行预定操作的预定操作部。另外,作为与动作装置180有关的信息,可以是显示动作装置180本身的单词,或者也可以是包括该单词的语句。然后,运算部140,根据以声音输入至声音输入部190的信息,在操作区域C所检测出的与手部对应的操作部和预先确定的预定操作部一致的条件下,进行使动作装置180动作的控制。例如,当在车辆乘员通过声音预告音响(发出“音响”或“启动音响”的声音)之后,判断为音响开关的操作区域存在车辆乘员的手掌部或手背部时,不必直接对音响开关进行操作,即可使音响为工作状态。
(第4处理方式)
在本实施方式的利用运算部140进行的第4处理方式中,在上述第2处理方式中,在车辆乘员的手部H进一步向操作区域C移动之前,预先通过声音来预告用于确定与操作区域C对应的动作装置180的信息。在这种情况下,作为系统结构,追加了与第3处理方式相同的声音输入部190。
在该第4处理方式中,车辆乘员以声音向声音输入部输入与随后将要进行动作的动作装置180有关的信息。由此,可以确定由车辆乘员进行预定操作的预定操作部。然后,运算部140,根据以声音输入至声音输入部190的信息,在与操作区域C所检测出的手部H对应的操作部和预先确定的预定操作部一致的条件下,根据手部H的动作对动作装置180的动作方式进行可变控制。例如,当在车辆乘员通过声音预告音响(发出“音响”或“启动音响”的声音)之后,检测出拳头的上下移动时,不必直接对音响开关进行操作,即可进行增大音响音量的控制。
如上所述,根据本实施方式的车辆用动作系统100或搭载该车辆用动作系统100的车辆,由于至少具有通过由车辆乘员直接对操作部180a进行手动操作而使动作装置180动作的第1动作模式、和不是直接对操作部180a进行手动操作而是以非接触方式使动作装置180动作的第2动作模式,所以当在运转前后或车辆停止状态使动作装置180动作时,车辆乘员可以选择第1动作模式或第2动作模式,当在运转过程中使动作装置动作时可以选择第2动作模式。特别是,当坐在正规位置上的车辆乘员在运转过程中直接对大小有限的操作部180a进行操作时,需要目视操作部180a一定的时间,有时候会偏离正规位置,由此可能导致车辆乘员的注意力下降,如果根据需要选择使手部简单地移动到操作部180a周围的操作区域的第2动作模式,由于使动作装置180动作所需的手部的操作范围较宽,所以可以简便地进行用于使动作装置180动作的操作,由此可以抑制车辆乘员注意力下降。
这时,可以通过基于由3D相机112拍摄出的三维图像进行的各项处理,精确地检测出所需的操作区域的信息。即,在采用三维图像时,即使背景与车辆乘员之间的色差、或皮肤与衣物之间的色差较小等情况下,也可以根据距离提取信息,所以与检测二维图像的结构相比,能够确保较高的检测精度。
而且,根据本实施方式,如上述第2处理方式所述,车辆乘员通过适当选择与动作装置的所需动作方式对应的手部动作,不直接对操作部进行手动操作,即可对动作装置进行精细的控制。
此外,根据本实施方式,如上述第3或第4处理方式所述,通过预先以声音输入与预定操作的预定操作部有关的信息而进行预告,可以仅将车辆乘员想要操作的动作装置作为动作对象,由此可以防止动作装置的错误动作。
(其他实施方式)
本发明不限于上述实施方式,可以考虑各种应用或变形。例如,可以实施应用了上述实施方式的以下各方式。
在上述实施方式中,虽然记载了安装在汽车中的车辆用动作系统100的构成,但是本发明也可适用于安装在以汽车为代表的飞机、船舶、公共汽车、电车等各种车辆中的车辆用动作系统的构成。

Claims (4)

1.一种搭载在车辆上的车辆用动作系统,其特征在于,
包括:动作装置,通过由车辆乘员对操作部进行操作而进行动作;
检测部,检测从所述操作部到规定范围的操作区域中的三维图像;和
控制部,根据由所述检测部检测出的三维图像判断车辆乘员的手掌部或手背部是否处于所述操作区域,当判断为车辆乘员的手掌部或手背部处于所述操作区域时,进行使所述动作装置动作的控制;
并具有:第1动作模式,通过直接对所述操作部进行手动操作而使所述动作装置动作;和第2动作模式,通过所述控制部的控制以与所述操作部非接触的方式使所述动作装置动作。
2.如权利要求1所述的车辆用动作系统,其特征在于,
还具有声音输入部,由车辆乘员以声音输入与预定的预定操作部有关的信息;
所述控制部,在所述第2动作模式中,根据以声音输入至所述声音输入部的信息确定所述预定操作部,并且在根据由所述检测部检测出的三维图像判断为车辆乘员的手掌部或手背部处于所述操作区域时,在与处于该操作区域的手掌部或手背部对应的所述操作部和预先确定的所述预定操作部一致的条件下,进行使所述动作装置动作的控制。
3.如权利要求1或2所述的车辆用动作系统,其特征在于,
所述控制部如下构成,在所述第2动作模式中,当根据由所述检测部检测出的三维图像判断为车辆乘员的手掌部或手背部处于所述操作区域时,进一步判断处于该操作区域的手掌部或手背部的动作,当使所述动作装置动作时,根据该手掌部或手背部的动作对所述动作装置的动作方式进行可变控制。
4.一种车辆,其特征在于,具有:
发动机行驶系统;
电装系统;
对所述发动机行驶系统及电装系统进行驱动控制的车辆控制装置;以及
权利要求1~3中任一项所述的车辆用动作系统。
CNA2007101989980A 2006-12-27 2007-12-11 车辆用动作系统、车辆 Pending CN101211173A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006353195 2006-12-27
JP2006353195A JP5030580B2 (ja) 2006-12-27 2006-12-27 車両用作動システム、車両

Publications (1)

Publication Number Publication Date
CN101211173A true CN101211173A (zh) 2008-07-02

Family

ID=39321555

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007101989980A Pending CN101211173A (zh) 2006-12-27 2007-12-11 车辆用动作系统、车辆

Country Status (5)

Country Link
US (1) US7983475B2 (zh)
EP (1) EP1947548B1 (zh)
JP (1) JP5030580B2 (zh)
CN (1) CN101211173A (zh)
DE (1) DE602007003799D1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104411530A (zh) * 2012-04-02 2015-03-11 谷歌公司 基于姿势的汽车控制
CN106458114A (zh) * 2014-06-23 2017-02-22 丰田自动车株式会社 车辆用操作装置
CN107531127A (zh) * 2015-04-15 2018-01-02 株式会社电装 加热器装置
CN108136979A (zh) * 2015-10-22 2018-06-08 本田技研工业株式会社 车辆通信装置及车辆通信系统
CN108791119A (zh) * 2017-05-04 2018-11-13 奥迪股份公司 车辆控制系统及方法
CN114072754A (zh) * 2019-07-08 2022-02-18 大众汽车股份公司 运行操作系统的方法和操作系统

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4973667B2 (ja) * 2009-01-16 2012-07-11 株式会社デンソー 操作推定装置およびプログラム
JP5569062B2 (ja) * 2010-03-15 2014-08-13 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識装置の制御方法、および、制御プログラム
KR101676881B1 (ko) * 2010-08-17 2016-11-16 엘지전자 주식회사 디스플레이 장치 및 그의 제어 방법
KR101858531B1 (ko) 2011-01-06 2018-05-17 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
KR101795574B1 (ko) * 2011-01-06 2017-11-13 삼성전자주식회사 모션에 의해 제어되는 전자기기 및 그 제어 방법
US20140074480A1 (en) * 2012-09-11 2014-03-13 GM Global Technology Operations LLC Voice stamp-driven in-vehicle functions
DE102013010932B4 (de) * 2013-06-29 2015-02-12 Audi Ag Verfahren zum Betreiben einer Bedienschnittstelle, Bedienschnittstelle sowie Kraftfahrzeug mit einer Bedienschnittstelle
DE102013011533B4 (de) 2013-07-10 2015-07-02 Audi Ag Erfassungsvorrichtung zum Bestimmen einer Position eines Objekts in einem Innenraum eines Kraftfahrzeugs
US9857971B2 (en) * 2013-12-02 2018-01-02 Industrial Technology Research Institute System and method for receiving user input and program storage medium thereof
KR101976497B1 (ko) * 2013-12-10 2019-05-10 현대자동차 주식회사 차량용 조작계 보조 시스템 및 그 방법
KR102029842B1 (ko) * 2013-12-19 2019-10-08 현대자동차 주식회사 차량 제스처 인식 시스템 및 그 제어 방법
JP6413645B2 (ja) * 2014-10-31 2018-10-31 三菱自動車工業株式会社 操作入力装置
DE102015201613A1 (de) * 2015-01-30 2016-08-04 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
EP3133469B1 (en) * 2015-08-18 2019-11-13 Sikorsky Aircraft Corporation System and method for digitization of vehicular components
KR101846184B1 (ko) * 2016-06-14 2018-04-06 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
CN107609457B (zh) * 2016-07-12 2021-11-12 比亚迪股份有限公司 车体颜色识别系统和车辆以及车体颜色识别方法
FR3086902B1 (fr) * 2018-10-03 2021-01-08 Faurecia Interieur Ind Procede, dispositif et programme de reglage de retroviseurs de vehicule automobile
JP7495795B2 (ja) * 2020-02-28 2024-06-05 株式会社Subaru 車両の乗員監視装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0183299B1 (ko) * 1996-11-04 1999-04-15 삼성전자주식회사 자동차의 주변사항을 알려주는 네비게이션 장치 및 그 제어방법
US6757009B1 (en) 1997-06-11 2004-06-29 Eaton Corporation Apparatus for detecting the presence of an occupant in a motor vehicle
JP3286219B2 (ja) 1997-09-11 2002-05-27 トヨタ自動車株式会社 座席の使用状況判定装置
JP4099552B2 (ja) * 1998-08-03 2008-06-11 ソニー株式会社 撮像表示装置及び撮像表示装置の制御方法
EP1334009B1 (de) 2000-11-14 2007-05-02 Siemens Aktiengesellschaft Verfahren und system zum bestimmen der belegung des innenraums eines fahrzeugs
JP4294853B2 (ja) * 2000-12-19 2009-07-15 アルパイン株式会社 操作指示装置
JP3943367B2 (ja) 2001-10-31 2007-07-11 株式会社デンソー 車両用乗員頭部検出装置
KR100575906B1 (ko) 2002-10-25 2006-05-02 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
US20040143440A1 (en) * 2003-01-03 2004-07-22 Venkatesh Prasad Vehicle speech recognition system
JP3752246B2 (ja) 2003-08-11 2006-03-08 学校法人慶應義塾 ハンドパターンスイッチ装置
JP2005063090A (ja) * 2003-08-11 2005-03-10 Keio Gijuku ハンドパターンスイッチ装置
JP2005254906A (ja) * 2004-03-10 2005-09-22 Kojima Press Co Ltd 車両用照明装置
JP4622289B2 (ja) 2004-04-07 2011-02-02 株式会社デンソー 車両用操作装置
US20090287361A1 (en) 2005-04-05 2009-11-19 Nissan Motor Co., Ltd Command Input System
JP2006350844A (ja) * 2005-06-17 2006-12-28 Nissan Motor Co Ltd コマンド入力装置
JP2006285923A (ja) * 2005-04-05 2006-10-19 Nissan Motor Co Ltd コマンド入力装置
DE102006037156A1 (de) 2006-03-22 2007-09-27 Volkswagen Ag Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104411530A (zh) * 2012-04-02 2015-03-11 谷歌公司 基于姿势的汽车控制
CN104411530B (zh) * 2012-04-02 2018-12-25 伟摩有限责任公司 基于姿势的汽车控制
CN106458114A (zh) * 2014-06-23 2017-02-22 丰田自动车株式会社 车辆用操作装置
CN106458114B (zh) * 2014-06-23 2019-01-18 丰田自动车株式会社 车辆用操作装置
CN107531127A (zh) * 2015-04-15 2018-01-02 株式会社电装 加热器装置
CN108136979A (zh) * 2015-10-22 2018-06-08 本田技研工业株式会社 车辆通信装置及车辆通信系统
CN108791119A (zh) * 2017-05-04 2018-11-13 奥迪股份公司 车辆控制系统及方法
CN114072754A (zh) * 2019-07-08 2022-02-18 大众汽车股份公司 运行操作系统的方法和操作系统

Also Published As

Publication number Publication date
US7983475B2 (en) 2011-07-19
JP2008162376A (ja) 2008-07-17
DE602007003799D1 (de) 2010-01-28
EP1947548A1 (en) 2008-07-23
JP5030580B2 (ja) 2012-09-19
US20080181456A1 (en) 2008-07-31
EP1947548B1 (en) 2009-12-16

Similar Documents

Publication Publication Date Title
CN101211173A (zh) 车辆用动作系统、车辆
CN111931579B (zh) 利用眼动追踪和手势识别技术的自动驾驶辅助系统及方法
CN103019524B (zh) 车辆操作输入装置和用于车辆操作输入装置的控制方法
US20160039285A1 (en) Scene awareness system for a vehicle
CN113056749A (zh) 用于自主机器应用的未来对象轨迹预测
CN112312031A (zh) 增强的高动态范围成像和色调映射
US20170305342A1 (en) Vehicle-mounted alert system and alert control device
US20170269684A1 (en) Vehicle display device
EP3584746B1 (en) Vehicle occupant count monitoring system
CN101588482A (zh) 一种车载虚拟全景电子系统
US10192110B2 (en) Vehicle safety system and operating method thereof
KR102494865B1 (ko) 차량 및 그 제어 방법
EP3457254A1 (en) Method and system for displaying virtual reality information in a vehicle
US20220242316A1 (en) On-vehicle information display device
KR101980966B1 (ko) 자동차의 주변을 표시하기 위한 장치 및 방법
US11089205B2 (en) Window position monitoring system
EP3892489B1 (en) Vehicle display device
CN114684062A (zh) 约束设备定位
JP6589775B2 (ja) 車両用表示制御装置及び車両用表示システム
KR20180094717A (ko) Avm을 이용한 운전 지원 장치 및 시스템
WO2020012227A1 (en) Optical flow for motion sickness reduction
WO2020250527A1 (ja) 外部環境認識装置
CN106564378A (zh) 动态显示复合信息的车用装置
US11960646B2 (en) Display control device, display system, display method, and display program
JP7485216B2 (ja) 車両用表示システム、車両用表示方法、及び車両用表示プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20080702