CN107428298A - 操作系统 - Google Patents

操作系统 Download PDF

Info

Publication number
CN107428298A
CN107428298A CN201680016796.7A CN201680016796A CN107428298A CN 107428298 A CN107428298 A CN 107428298A CN 201680016796 A CN201680016796 A CN 201680016796A CN 107428298 A CN107428298 A CN 107428298A
Authority
CN
China
Prior art keywords
instruction
selection
gaze area
case
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680016796.7A
Other languages
English (en)
Inventor
西桥重明
小暮浩之
伊藤秀树
登丸彻也
津田佳行
大杉拓也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN107428298A publication Critical patent/CN107428298A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • B60K2360/14643D-gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149Instrument input by detecting viewing direction not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/21Optical features of instruments using cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Navigation (AREA)

Abstract

本发明提供一种操作系统,具备:操作设备(20),其由用户手动操作,对多个器件(51、52、53、54)中的被选择的指令对象器件指令动作内容;选择装置(91a),其基于与各个所述器件相关联地设定的多个视线区域(41a、42a、43a、44a、62、63、64)以及由视线检测传感器(30)检测出的用户的视线方向,将与所述视线方向上的所述视线区域相关联的所述器件选择为所述指令对象器件;以及选择维持装置(91b),其在所述指令对象器件被选择的状态下,即使在所述视线方向变化成从多个所述视线区域中的任意均偏离的位置的情况下,也维持所述指令对象器件的选择状态。

Description

操作系统
相关申请的相互参照
本申请基于2015年3月25日申请的日本专利申请号2015-63292,并将其记载内容引用至此。
技术领域
本公开涉及一种使操作设备与视线检测协作的操作系统。
背景技术
近几年,检测用户的视线方向的视线检测传感器的开发进展顺利(参照专利文献1、2)。据此,在欲使器件按所希望的内容动作的情况下,仅通过移动视线就能够向器件指令上述内容。
专利文献1:日本专利第5588764号公报
专利文献2:日本特开2014-174598号公报
发明内容
本公开的目的在于提供一种实现对器件的指令的容易性的提高的操作系统。
在本公开的方式中,操作系统具备:操作设备,其由用户手动操作,对多个器件中的被选择的指令对象器件指令动作内容;选择装置,其基于与各个所述器件相关联地设定的多个视线区域以及由视线检测传感器检测出的用户的视线方向,将与所述视线方向上的所述视线区域相关联的所述器件选择为所述指令对象器件;以及选择维持装置,其在所述指令对象器件被选择的状态下,即使在所述视线方向变化成从多个所述视线区域中的任意均偏离的位置的情况下,也维持所述指令对象器件的选择状态。
根据该操作系统,能够避免每次将视线从与被选择的指令对象器件相关联的视线区域移开时该选择被解除。由此,能够减少每次移开视线时再次将视线聚焦到上述视线区域这样的作业产生的机会,而且,也能够在移开视线的状态下对操作设备进行操作来进行指令。综上,根据上述发明,能够实现对器件的指令的容易性的提高。
附图说明
通过参照附图进行下述详细的描述,有关本公开的上述目的以及其他的目的、特征、优点会变得更加清楚。在上述附图中,
图1是表示本公开的第一实施方式中操作设备以及视线检测传感器的车辆搭载位置的立体图,
图2是表示图1所示的显示装置的显示内容与用户的视线方向的关系的图,
图3是表示图1所示的操作设备、接近传感器、视线检测传感器以及显示装置等的控制框图,
图4是表示基于图3的微机的控制的顺序的流程图,
图5是表示本公开的第二实施方式中操作设备以及视线检测传感器的车辆搭载位置的立体图。
具体实施方式
本申请发明人发现实际上在实施现有技术时发生如下问题。即,与器件的每一个相关联地预先设定多个视线区域,在把视线聚焦到与想要指令的器件相关联的视线区域后,若视线从该视线区域移开,则指令被解除或者执行其他指令等,无法维持所希望的内容的指令。而且,需要再次把视线聚焦到上述视线区域,因此作业麻烦。
本公开的目的在于提供一种实现对器件的指令的容易性的提高的操作系统。
(第一实施方式)
图1是从车辆10的厢内观察车辆前方侧的立体图。如图所示,在车厢内的前挡风玻璃11的下方设置有树脂制的仪表板(instrument panel)12。仪表板12具备在水平方向上扩展的水平部12a、从水平部12a向上方突出的突出部12b、以及从水平部12a向车辆后方侧延伸的延伸突出部12c。突出部12b呈具有朝向车辆后方侧开口的开口部的形状,在该开口部配置有多个(在图1的例子中为四个)显示装置41、42、43、44。这些显示装置41、42、43、44被配置成沿车辆10的左右方向(图1的左右方向)排成一列。
显示装置41、42、43、44被构成为具备液晶面板以及背光源,多个显示装置41、42、43、44具有相同的形状及大小。多个显示装置41、42、43、44被邻接配置成各个液晶面板的显示面在车辆左右方向上被连续视觉确认,即被视觉确认为沿左右方向延伸的一个显示面。将从正面观察仪表板12时配置在中央右侧的显示装置称作第一显示装置41,配置在中央左侧的显示装置称作第二显示装置42,配置在右端的显示装置称作第三显示装置43,配置在左端的显示装置称作第四显示装置44。
如图2所示,在显示装置41、42、43、44的液晶面板设定有显示与后述的各种器件(参照图3)的动作内容对应的信息的显示区域。该显示区域被预先设定为与器件相关联地设定的视线区域41a、42a、43a、44a。
如图3所示,车辆10搭载有导航装置51、空调装置52、右侧电子镜53、左侧电子镜54以及未图示的音频装置等器件。导航装置51是对车辆10的行驶进行导航的装置。空调装置52是控制车厢内的空气调节的装置。右侧电子镜53具备拍摄位于车辆10的右侧的其他车辆、行人等车外的物体的照相机和控制照相机的拍摄方向的促动器。左侧电子镜54具备拍摄位于车辆10的左侧的车外的物体的照相机和控制该照相机的拍摄方向的促动器。
在第一显示装置41的视线区域41a显示与导航装置51的动作内容对应的信息。例如显示地图信息、车辆10的当前位置信息、目的地的位置信息以及行驶路径信息等。而且,在第一显示装置41中的除视线区域41a以外的区域亦即框区域41b显示强调显示框。框区域41b被设定为包围视线区域41a的环状。
在第二显示装置42的视线区域42a显示与空调装置52的动作内容对应的信息。例如显示空调风的温度、风量、吹出口等信息。而且,在第二显示装置42中的除视线区域42a以外的区域亦即仪表区域42b、42c显示车速计以及电池剩余电量计。这些仪表区域42b、42c以及视线区域42a被配置成沿车辆左右方向排成一列,视线区域42a配置在两个仪表区域42b、42c之间。
在第三显示装置43的视线区域43a显示与右侧电子镜53的动作内容对应的信息、即由方向被促动器控制的照相机拍摄的影像。而且,使第三显示装置43中的除视线区域43a以外的区域亦即其他区域43b、43c显示与由照相机拍摄的影像不同的图像(例如涂黑图像)。第一显示装置41的视线区域41a、第三显示装置43的视线区域43a以及其他区域43b被配置成沿车辆左右方向排成一列,其他区域43b配置在两个视线区域41a、43a之间。由此,两个视线区域41a、43a被配置成彼此在车辆左右方向上分开规定间隔以上。
在第四显示装置44的视线区域44a显示与左侧电子镜54的动作内容对应的信息、即由方向被促动器控制的照相机拍摄的影像。而且,使第四显示装置44中的除视线区域44a以外的区域亦即其他区域44b、44c显示与由照相机拍摄的影像不同的图像(例如涂黑图像)。第二显示装置42的视线区域42a、第四显示装置44的其他区域44b以及视线区域44a被配置成沿车辆左右方向排成一列,其他区域44b配置在两个视线区域41a、44a之间。由此,两个视线区域41a、44a配置成彼此在车辆左右方向上分开规定间隔以上。
车辆10除搭载有显示装置41、42、43、44以及各种器件以外,还搭载有以下说明的电子控制装置(ECU90)、操作设备20以及视线检测传感器30。本实施方式所涉及的操作系统具备操作设备20、多个显示装置41~44以及ECU90。操作设备20由用户手动操作,对多个器件中的被选择的指令对象器件指令动作内容。该选择通过视线检测传感器30以及ECU90来进行。
视线区域41a、42a、43a、44a被设定为与各个器件相关联。具体而言,在第一显示装置41的视线区域41a相关联地设定有导航装置51。在第二显示装置42的视线区域42a相关联地设定有空调装置52。在第三显示装置43的视线区域43a相关联地设定有右侧电子镜53。在第四显示装置44的视线区域44a相关联地设定有左侧电子镜54。在由视线检测传感器30检测出的视线方向位于任一个视线区域的情况下,选择与该视线区域相关联的器件。
操作设备20配置于延伸突出部12c,且配置于车辆10的驾驶员(用户)保持坐在驾驶座的状态下手够得着的位置。在图1的例子中,操作车辆10的行驶方向的手柄13配置在车辆左右方向的左侧,操作设备20配置在与手柄13相反的一侧(右侧)。详细而言,操作设备20配置在车厢内的车辆左右方向的中央。操作设备20被用户在x轴方向、y轴方向以及z轴方向这三个方向上操作。x轴方向为车辆左右方向,y轴方向为车辆前后方向,z轴方向为上下方向。即,能够进行向x轴方向以及y轴方向的倾转操作、向z轴方向的按动操作。
例如,在图2所示的显示方式中,处于导航装置51被选择为指令对象器件的状态。若在该状态下对操作设备20在x轴方向或y轴方向上进行倾转操作,则显示于第一显示装置41的视线区域41a的地图沿左右方向或上下方向滚动显示(参照图2中的箭头)。或者,切换显示于视线区域41a的多个图标中的被选择的图标。然后,若对操作设备20向z轴方向进行按动操作,则确定为被选择的图标,并将与该图标相关联的指定向导航装置51输出。导航装置51根据该指令而动作,该动作内容显示于视线区域41a。
总之,操作设备20的手动操作包括从多个指令中选择所希望的指令的选择操作以及对所选择的指令进行确定的确定操作。并且,在图2所示的例子中,倾转操作相当于选择操作,按动操作相当于确定操作。
在仪表板12的延伸突出部12c安装有接近传感器21。接近传感器21随着检测对象的接近而使输出信号变化。ECU90的微机91基于从接近传感器21输出的信号的变化,检测出用户将手放置于操作设备20的状态。执行该检测时的微机91提供“接触检测装置91c”。需要说明的是,接近传感器21也可以在检测对象接近至规定范围内的情况下输出导通信号。该情况下的接触检测装置91c在获得了导通信号的情况下,检测出用户将手放置于操作设备20的状态。
视线检测传感器30具有安装于仪表板12中的位于驾驶员的正面的部分的红外线照相机以及影像分析用微机。红外线照相机拍摄驾驶员的左右眼球,微机对该拍摄图像进行图像分析来运算驾驶员的视线方向。该图像分析也可以由ECU90所具有的微型计算机(微机91)执行。
ECU90的微机91基于由视线检测传感器30检测出的用户的视线方向,将与视线方向上的视线区域对应的器件选择为指令对象器件。这样选择指令对象器件的微机91相当于“选择装置91a”。例如,如图2所示,在视线方向上的视线区域为第一显示装置41的视线区域41a的情况下,与该视线区域41a对应的导航装置51被选择装置91a选择为指令对象器件。
其中,在通过接触检测装置91c检测出用户将手放置于操作设备20的状态的期间,使基于视线检测传感器30的视线检测有效,选择装置91a执行上述选择。另外,在任一器件被选择为指令对象器件的状态下,即使在视线方向变化成从多个视线区域41a、42a、43a、44a中的任意均偏离的位置的情况下,微机91也维持当前的选择。这样发挥功能而维持选择的微机91相当于“选择维持装置91b”。
微机91在视线从与指令对象器件对应的视线区域移开的情况下,限制操作设备20的指令。这样进行限制时的微机91相当于“限制装置91d”。例如,限制装置91d使基于操作设备20的倾转操作(选择操作)的指令有效,并使按动操作(确定操作)的指令无效。而且,限制装置91d在视线从与指令对象器件对应的视线区域移开规定时间以上的情况下,使基于操作设备20的指令无效。即,使选择操作以及确定操作均无效。
图3所示的振动设备81(报告装置)安装于方向盘、驾驶座等来使用户感觉到振动。扬声器82(报告装置)输出警报声、语音等。例如,将确定上述选择的情况、变更选择的情况等的各种状态通过振动、警报声、语音等报告给用户。
微机91在利用限制装置91d限制指令的情况下,控制振动设备81(报告装置)、扬声器82(报告装置)的动作,以将该限制的意思报告给用户。这样进行控制时的微机91相当于“报告控制装置91e”。例如,在被限制装置91d限制的情况下,使安装于驾驶座、方向盘等的振动设备81动作,或利用扬声器82语音引导上述限制的意思。
图4是表示通过微机91按规定的运算周期反复执行的处理的顺序的流程图。首先在步骤S10中,判定有无基于接近传感器21的接触检测。在判定为有接触检测的情况下,推定为用户将手放置于操作设备20,视为用户有利用操作设备20来对器件进行指令的意思并进入下一步骤S11。在步骤S11中,对用户是否正观察多个视线区域中的任一个、即在由视线检测传感器30检测出的视线方向上是否存在视线区域进行判定。具体而言,对多个视线区域41a、42a、43a、44a中的任一个是否在视线方向上进行判定。
在判定为存在向视线区域的视线的情况下,判定是否存在视线的变更。具体而言,在当前存在视线的视线区域与和当前所选择的器件的视线对应的区域不同的情况下,判定为存在视线变更。需要说明的是,在当前未选择任何器件的情况下,判定为无视线变更。
在判定为存在视线变更的情况下,在接下来的步骤S13中,对视线变更的时间是否经过了规定时间以上进行判定。在步骤S13中判定为经过了规定时间以上的情况下或者在步骤S12中判定为无视线变更的情况下,进入下一步骤S14。在步骤S14中,将与视线方向上的视线区域对应的器件选择为指令对象器件。
若在步骤S13中判定为未经过规定时间以上,则结束处理并返回至步骤S10,而不执行步骤S14的选择。另外,在步骤S11中判定为用户并未观察多个视线区域中的任一个的情况下,在步骤S15中,维持当前所选择的器件的选择。例如,在目光从与指令对象器件对应的视线区域移开,并隔着前挡风玻璃11将视线移至车辆10的前方的情况下,维持器件的选择。
在接下来的步骤S16中,对视线方向是否位于从多个视线区域的任意均偏离的位置规定时间以上进行判定。在判定为经过了规定时间的情况下,在接下来的步骤S17中,使操作设备20的所有操作无效。具体而言,使基于倾转操作(选择操作)以及按动操作(确定操作)的任一个的指令均无效。在步骤S16中判定为未经过规定时间的情况下,在接下来的步骤S18中,使操作设备20的一部分操作无效。具体而言,使基于倾转操作(选择操作)的指令有效,并使基于按动操作(确定操作)的指令无效。
在接下来的步骤S19中,使振动设备81以及扬声器82中的至少一方动作,以将在步骤S17或步骤S18中使指令无效的意思报告给用户。
以上,根据本实施方式,除了具备对多个器件中的被选择的指令对象器件指令动作内容的操作设备20以外,还具备选择装置91a以及选择维持装置91b。选择装置91a基于由视线检测传感器30检测出的用户的视线方向,将与视线方向上的视线区域41a、42a、43a、44a相关联的器件选择为指令对象器件。在指令对象器件被选择的状态下,即使在视线方向变化成从多个视线区域41a、42a、43a、44a中的任意均偏离的位置的情况下,选择维持装置91b也维持上述选择。
据此,能够避免每次将视线从与被选择的指令对象器件相关联的视线区域移开时该选择被解除。例如,在观察第一显示装置41的视线区域41a并选择了导航装置51的状态下,即使在目光从该视线区域41a移开并将视线隔着前挡风玻璃11移至车辆前方的情况下,也维持导航装置51的选择。由此,能够减少每次移开视线而再次使视线聚焦到视线区域41a来选择导航装置51这样的作业产生的机会,而且,还能够在视线从视线区域41a移开的状态下对操作设备20进行操作来进行指令。
而且,在本实施方式中,具备限制装置91d,其在指令对象器件被选择的状态下,在视线方向变化成从多个视线区域41a、42a、43a、44a中的任意均偏离的位置的情况下,限制基于操作设备20的指令。据此,若目光从视线区域41a、42a、43a、44a移开,则维持选择并限制基于操作设备20的指令。因此,例如在与动作内容对应的信息显示于视线区域41a、42a、43a、44a的情况下,即使在因未观察该显示而导致误操作的情况下,也能够利用限制装置91d限制指令。由此,能够抑制因误操作而导致器件进行背离意图的动作。
并且在本实施方式中,限制装置91d使基于操作设备20的选择操作的指令有效并使基于确定操作的指令无效。据此,即使目光从视线区域41a、42a、43a、44a移开,也维持选择,且能够进行基于选择操作的指令。由此,例如在与动作内容对应的信息显示于视线区域41a、42a、43a、44a的情况下,能够进行不观察该显示的状态下的盲操作,从而能够提高操作性。尽管如此,由于使基于确定操作的指令无效,所以能够抑制因误操作而导致器件进行背离意图的动作。
而且,在本实施方式中,在指令对象器件被选择的状态下,在视线方向位于从多个视线区域41a、42a、43a、44a中的任意均偏离的位置规定时间以上的情况下,使基于选择操作以及确定操作的指令无效。在此,在用户未观察视线区域41a、42a、43a、44a规定时间以上的情况下,没有对操作设备20进行操作来指令器件的意思的可能性较高。由此,根据在这种情况下使基于选择操作以及确定操作的指令无效的本实施方式,能够进一步抑制因误操作而导致器件进行背离意图的动作。
而且,在本实施方式中,具备报告控制装置91e,其在利用限制装置91d限制指令的情况下,控制振动设备81、扬声器82的动作以将该限制的意思报告给用户。据此,能够降低注意到指令被限制的用户误解成操作系统的故障的可能性。
而且,在本实施方式中,视线区域41a、42a、43a、44a设置于各个器件,被设定为显示与动作内容对应的信息的显示区域。据此,能够通过边观察显示于视线区域的与动作内容对应的信息边对操作设备20进行手动操作来指令该动作内容的变更等。例如,在图2的例子中导航装置51被选择为指令对象器件,能够边观察显示于视线区域41a的地图信息,边对操作设备20进行手动操作来使地图信息滚动。由此,即使是需要复杂的动作内容的指令的器件,也能够容易地进行指令。
尽管如此,对于将多个器件中的哪一个作为指令对象器件的选择,仅通过注视与所希望的器件对应的视线区域就能够进行选择。例如,在导航装置51被选择为指令对象器件的图2的状态下,若将视线移向第二显示装置42的视线区域42a,则与第二显示装置42对应的器件(空调装置52)被选择为指令对象器件。总之,指令对象器件的选择这样的简单指令使用视线检测传感器30来实现,动作内容的设定这样的复杂指令使用操作设备20来实现。综上,根据本实施方式,既能够实现利用共用的操作设备20来指令多个器件的动作内容,又能够实现对器件的指令的容易性的提高。
而且,在本实施方式中,具备对用户触碰操作设备20进行检测的接触检测装置91c,选择装置91a在利用接触检测装置91c进行接触检测的期间,使基于视线检测传感器30的视线检测有效并执行选择。据此,能够避免在用户未触碰到操作设备20时即用户没有对器件进行指令的意思时,在视线方向上的视线区域的器件被选择这样的麻烦。
而且,在本实施方式中,在利用视线检测传感器30检测到向多个视线区域中的和与指令对象器件对应的视线区域不同的视线区域的视线移动的情况下,若该视线移动未持续规定时间以上,则维持指令对象器件的选择。据此,若只是短时间观察其他视线区域则选择不会被变更,因而能够不变更指令对象器件的选择地观察其他视线区域。
而且,在本实施方式中,具备框区域41b(选择报告显示部),其报告与指令对象器件对应的视线区域被选择装置91a选择的意思。据此,用户易识别出当前选择的指令对象器件为哪一个,因而能够进一步提高对器件的指令的容易性。
(第二实施方式)
在上述第一实施方式中,各个显示装置41、42、43、44的显示区域被设定成与器件相关联的视线区域41a、42a、43a、44a。相对于此,在本实施方式中,以下说明的操作面板的位置被预先设定成与器件相关联的视线区域62、63、64(参照图5)。
第一操作面板、第二操作面板以及第三操作面板配置于仪表板12中的显示装置41、42、43、44的下方部分。第一操作面板被设定成与空调装置52相关联的视线区域,具备对空调装置52的动作内容进行指令的开关、刻度盘等操作部件62a。第二操作面板被设定成与右侧电子镜53相关联的视线区域,具备对右侧电子镜53的动作内容进行指令的开关等操作部件63a。第三操作面板被设定成与左侧电子镜54相关联的视线区域,具备对左侧电子镜54的动作内容进行指令的开关等操作部件64a。这些操作部件62a、63a、64a由用户手动操作。
各个器件基于操作部件62a、63a、64a的操作而动作。另外,利用选择装置91a选择出的器件基于操作设备20的操作而动作。而且,即使在本实施方式中,也与上述第一实施方式同样地具备图3所示的结构,与上述第一实施方式同样地执行图4的处理。这样,即使在视线区域41a、42a、43a、44a并非显示装置的显示区域的情况下,也能够应用本公开所涉及的操作系统。
(其他实施方式)
以上,对发明的优选实施方式进行了说明,但发明完全不受上述实施方式限制,能够像以下例示那样进行各种变形来实施。不仅能够进行各实施方式中具体明示了能够组合的部分彼此的组合,只要组合不特别产生阻碍,即使没有明示也能够将实施方式彼此局部组合。
图1及图2所示的接近传感器21可以是非接触式以及接触式中的任一种。另外,也可以是检测磁场的变化的方式的传感器,还可以是检测电容量的变化的方式的传感器。接近传感器21的安装位置不局限于延伸突出部12c,例如也可以在操作设备20安装接近传感器21。
也可以构成为废除接近传感器21,在输出通过对操作设备20进行操作而生成的输入信号的情况下,接触检测装置91c检测为接触。例如,基于操作设备20的倾转操作或按动操作的进行,接触检测装置91c可以检测为处于用户将手放置于操作设备20的状态。
在上述实施方式中,在将目光从视线区域41a、42a、43a、44a移开的情况下,使基于操作设备20的选择操作的指令有效并使基于确定操作的指令无效。也可以与之相反,在上述情况下,使基于操作设备20的选择操作的指令无效并使基于确定操作的指令有效。据此,例如在如下情况下有用,即在红灯时边观察视线区域41a、42a、43a、44a边进行选择操作,然后,在变化成绿灯的情况下将目光从视线区域41a、42a、43a、44a移开并进行确定操作。作为这种确定操作的具体例子,能够举出各种开关的通断切换、空调装置52的温度设定等。
在图1所示的实施方式中,显示装置41、42、43、44配置于仪表板12的开口部。对此,本公开并不限定于这种配置,例如也可以构成为显示装置配置在仪表盘(dashboard)上。
在图1所示的实施方式中,多个显示装置41、42、43、44被配置成沿车辆左右方向排成一列。对此,本公开并不限定于这种配置,例如也可以构成为多个显示装置配置在沿上下方向错开的位置。
在图1所示的实施方式中,操作设备20配置于仪表板12。对此,本公开并不限定于这种配置,例如也可以构成为操作设备20配置于手柄13。
ECU90(控制装置)所提供的装置及/或功能能够由记录于实体的存储介质的软件以及执行该软件的电脑、仅软件、仅硬件、或它们的组合来提供。例如,在控制装置由作为硬件的电路提供的情况下,其能够由包括大量逻辑电路的数字电路或模拟电路提供。
这里,本申请所记载的流程图或流程图的处理由多个部分(或提及为步骤)构成,各部分例如被表述为S10。而且,各部分能够被分割为多个子部分。另一方面,多个部分也能够组合成一个部分。而且,这样构成的各部分能够被提及为设备、模块、方法。
本公开依据实施例进行了记述,但应理解本公开并不限定于该实施例、构造。本公开也包括各种变形例、等同范围内的变形。此外,各种组合、方式、以及它们中包括仅一个、一个以上或一个以下要素的其他组合或方式也落入本公开的范围、思想范围内。

Claims (5)

1.一种操作系统,其中,具备:
操作设备(20),其由用户手动操作,对多个器件(51、52、53、54)中的被选择的指令对象器件指令动作内容;
选择装置(91a),其基于与各个所述器件相关联地设定的多个视线区域(41a、42a、43a、44a、62、63、64)以及由视线检测传感器(30)检测出的用户的视线方向,将与处于所述视线方向上的所述视线区域相关联的所述器件选择为所述指令对象器件;以及
选择维持装置(91b),其在所述指令对象器件被选择的状态下,即使在所述视线方向变化成从多个所述视线区域中的任意均偏离的位置的情况下,也维持所述指令对象器件的选择状态。
2.根据权利要求1所述的操作系统,其中,
还具备限制装置(91d),其在所述指令对象器件被选择的状态下,在所述视线方向变化成从多个所述视线区域中的任意均偏离的位置的情况下,限制基于所述操作设备的指令。
3.根据权利要求2所述的操作系统,其中,
所述手动操作包括:从多个指令中选择所希望的指令的选择操作;以及对选择出的指令进行确定的确定操作,
所述限制装置使基于所述选择操作的指令有效,并使基于所述确定操作的指令无效。
4.根据权利要求2或3所述的操作系统,其中,
所述手动操作包括:从多个指令中选择所希望的指令的确定操作;以及对选择出的指令进行确定的确定操作,
在所述指令对象器件被选择的状态下,在所述视线方向位于从所述视线区域中的任意均偏离的位置规定时间以上的情况下,使基于所述选择操作以及所述确定操作的指令均无效。
5.根据权利要求2~4中的任一项所述的操作系统,其中,
还具备报告控制装置(91e),该报告控制装置在指令被所述限制装置限制的情况下,控制报告装置(81、82)的动作,以将该限制的意思报告给用户。
CN201680016796.7A 2015-03-25 2016-03-04 操作系统 Pending CN107428298A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-063292 2015-03-25
JP2015063292A JP6406088B2 (ja) 2015-03-25 2015-03-25 操作システム
PCT/JP2016/001199 WO2016152047A1 (ja) 2015-03-25 2016-03-04 操作システム

Publications (1)

Publication Number Publication Date
CN107428298A true CN107428298A (zh) 2017-12-01

Family

ID=56977111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680016796.7A Pending CN107428298A (zh) 2015-03-25 2016-03-04 操作系统

Country Status (5)

Country Link
US (1) US10317996B2 (zh)
JP (1) JP6406088B2 (zh)
CN (1) CN107428298A (zh)
DE (1) DE112016001374T5 (zh)
WO (1) WO2016152047A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110001547A (zh) * 2018-01-05 2019-07-12 Lg电子株式会社 输入输出装置以及包括输入输出装置的车辆
CN112896074A (zh) * 2019-12-04 2021-06-04 纳恩博(常州)科技有限公司 一种控制方法及装置、车辆、计算机可读存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017216465A1 (de) * 2017-09-18 2019-03-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Ausgabe von Informationen zu einem Objekt eines Fortbewegungsmittels, System und Automobil
JP7165864B2 (ja) * 2018-09-28 2022-11-07 パナソニックIpマネジメント株式会社 機器制御システム、移動体、機器制御方法及びプログラム
JP7167901B2 (ja) 2019-11-08 2022-11-09 株式会社デンソー 表示装置
DE102019132759A1 (de) * 2019-12-03 2021-06-10 Valeo Schalter Und Sensoren Gmbh Verfahren zum ferngesteuerten Führen eines Kraftfahrzeugs mit einem Teleoperator,Computerprogrammprodukt und Teleoperationsführungssystem

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7742857B2 (en) * 2005-12-07 2010-06-22 Mazda Motor Corporation Automotive information display system
US20100238280A1 (en) * 2009-03-19 2010-09-23 Hyundai Motor Japan R&D Center, Inc. Apparatus for manipulating vehicular devices
CN102159419A (zh) * 2008-09-22 2011-08-17 大众汽车有限公司 在用户可影响显示对象的呈现的车辆中的显示和操作系统以及运行这种显示和操作系统的方法
US20120215403A1 (en) * 2011-02-20 2012-08-23 General Motors Llc Method of monitoring a vehicle driver
US20140129082A1 (en) * 2011-06-20 2014-05-08 Honda Motor Co., Ltd. Automotive instrument operating device and alert device
WO2014181543A1 (ja) * 2013-05-09 2014-11-13 株式会社デンソー 視線入力装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07159316A (ja) * 1993-12-06 1995-06-23 Nissan Motor Co Ltd 車両用視線方向計測装置
WO2007105792A1 (ja) * 2006-03-15 2007-09-20 Omron Corporation 監視装置および監視方法、制御装置および制御方法、並びにプログラム
JP2010012995A (ja) * 2008-07-04 2010-01-21 Tokai Rika Co Ltd 照明装置
US9108513B2 (en) * 2008-11-10 2015-08-18 Volkswagen Ag Viewing direction and acoustic command based operating device for a motor vehicle
JP4837762B2 (ja) * 2009-06-18 2011-12-14 本田技研工業株式会社 車載機器操作装置
JP5588764B2 (ja) * 2010-06-28 2014-09-10 本田技研工業株式会社 車載機器操作装置
US20120198353A1 (en) * 2011-01-28 2012-08-02 Microsoft Corporation Transferring data using a physical gesture
JP5909048B2 (ja) * 2011-03-31 2016-04-26 本田技研工業株式会社 車載入力装置
JP5367037B2 (ja) * 2011-09-26 2013-12-11 本田技研工業株式会社 顔向き検出装置
JP2014174598A (ja) 2013-03-06 2014-09-22 Denso Corp 車両入力装置
JP6033804B2 (ja) * 2014-02-18 2016-11-30 本田技研工業株式会社 車載機器操作装置
CN106716305A (zh) * 2014-09-25 2017-05-24 飞利浦灯具控股公司 照明的控制
JP6464869B2 (ja) 2015-03-25 2019-02-06 株式会社デンソー 操作システム
JP6477123B2 (ja) 2015-03-25 2019-03-06 株式会社デンソー 操作システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7742857B2 (en) * 2005-12-07 2010-06-22 Mazda Motor Corporation Automotive information display system
CN102159419A (zh) * 2008-09-22 2011-08-17 大众汽车有限公司 在用户可影响显示对象的呈现的车辆中的显示和操作系统以及运行这种显示和操作系统的方法
US20100238280A1 (en) * 2009-03-19 2010-09-23 Hyundai Motor Japan R&D Center, Inc. Apparatus for manipulating vehicular devices
US20120215403A1 (en) * 2011-02-20 2012-08-23 General Motors Llc Method of monitoring a vehicle driver
US20140129082A1 (en) * 2011-06-20 2014-05-08 Honda Motor Co., Ltd. Automotive instrument operating device and alert device
WO2014181543A1 (ja) * 2013-05-09 2014-11-13 株式会社デンソー 視線入力装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110001547A (zh) * 2018-01-05 2019-07-12 Lg电子株式会社 输入输出装置以及包括输入输出装置的车辆
CN110001547B (zh) * 2018-01-05 2022-06-03 Lg电子株式会社 输入输出装置以及包括输入输出装置的车辆
CN112896074A (zh) * 2019-12-04 2021-06-04 纳恩博(常州)科技有限公司 一种控制方法及装置、车辆、计算机可读存储介质

Also Published As

Publication number Publication date
DE112016001374T5 (de) 2017-12-14
JP6406088B2 (ja) 2018-10-17
WO2016152047A1 (ja) 2016-09-29
US10317996B2 (en) 2019-06-11
JP2016182857A (ja) 2016-10-20
US20180046246A1 (en) 2018-02-15

Similar Documents

Publication Publication Date Title
CN107428298A (zh) 操作系统
CN107406048A (zh) 操作系统
US9684392B2 (en) In-car operation display device
CN105189178B (zh) 视线输入装置
CN107264283B (zh) 运输设备用显示装置
KR101367593B1 (ko) 쌍방향 조작 장치 및 쌍방향 조작 장치의 작동 방법
US9802484B2 (en) Method and display device for transitioning display information
JP2008195142A (ja) 車載機器の操作支援装置、操作支援方法
Metz et al. Measuring visual distraction in driving: The potential of head movement analysis
JP2015080994A (ja) 車両用情報処理装置
US20190187797A1 (en) Display manipulation apparatus
JP2017047781A (ja) 車載情報処理装置
JP5903319B2 (ja) 車両用表示装置
JP2007062668A (ja) 車両用入力装置
JP2013203327A (ja) 車両用表示装置、車両用表示装置の表示制御方法
JP2016149094A (ja) 車両用情報処理装置
JP2004276731A (ja) 車載用画像表示装置
JP6125582B2 (ja) 車載用操作表示装置
JP2016206931A (ja) 車両用情報入力装置
TWM564749U (zh) 車輛多螢幕控制系統
JP2015105074A (ja) 車両用表示システム
JP2013186395A (ja) 情報表示装置
JP2005313722A (ja) 車載機器の操作表示装置及びその操作表示方法
CN104540702A (zh) 用于在车辆中提供操纵装置的方法以及用于车辆的操纵装置
JP2011107900A (ja) 入力表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20201222