CN112406900A - 操作控制装置、操作控制方法及存储介质 - Google Patents

操作控制装置、操作控制方法及存储介质 Download PDF

Info

Publication number
CN112406900A
CN112406900A CN202010709487.6A CN202010709487A CN112406900A CN 112406900 A CN112406900 A CN 112406900A CN 202010709487 A CN202010709487 A CN 202010709487A CN 112406900 A CN112406900 A CN 112406900A
Authority
CN
China
Prior art keywords
state
vehicle
driver
unit
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010709487.6A
Other languages
English (en)
Inventor
大熊显至
章炜峰
日下圣
池信克也
佐藤大海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN112406900A publication Critical patent/CN112406900A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/12—Limiting control by the driver depending on vehicle state, e.g. interlocking means for the control input for preventing unsafe operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/02—Control of vehicle driving stability
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/167—Vehicle dynamics information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本发明提供一种能够更准确地识别驾驶员正进行驾驶的状态并控制驾驶员以外的乘员对操作部进行的操作的接受的操作控制装置、操作控制方法及存储介质。操作控制装置具备：视线检测部，其基于由设置于车辆的摄像装置拍摄到的车室内的图像，来检测车辆的驾驶员的视线；手状态检测部，其基于图像来检测驾驶员的手的状态；驾驶状态判定部，其判定检测出的手的状态是推定出正进行车辆的驾驶操作的第一状态，还是推定出未进行驾驶操作的第二状态；行驶状态检测部，其检测车辆的行驶状态；以及操作限制部，其限制对配置在车辆内的包含显示装置的操作部的操作的接受。

Description

操作控制装置、操作控制方法及存储介质
技术领域
本发明涉及操作控制装置、操作控制方法及存储介质。
背景技术
以往，公开了与将检测驾驶员把持方向盘的规定部位的情况的接触传感器设置于方向盘的车辆相关的技术(例如，参照日本国特开2012-153329号公报)。在现有技术中，实现了车载用导航装置等车辆用信息显示装置，其在接触传感器至少检测出驾驶员的副驾驶座侧的手把持方向盘的规定部位的情况下，即使车辆在行驶中，也接受由驾驶员以外的乘员进行的操作输入。在现有技术中也公开了如下情况：利用相机来检测驾驶员的视线方向，若驾驶员的视线为操作输入部以外，则接受由驾驶员以外的乘员进行的操作输入。
然而，在现有技术中即使检测出驾驶员的视线的情况下，在由设置于方向盘的接触传感器进行的检测中，例如，若考虑到驾驶员在驾驶中途换握方向盘时等，则难以准确地检测驾驶员正进行驾驶的状态。
发明内容
本发明基于上述的课题认识而提出，其目的在于提供一种能够更准确地识别驾驶员正进行驾驶的状态并控制驾驶员以外的乘员对操作部进行的操作的接受的操作控制装置、操作控制方法及存储介质。
【用于解决课题的方案】
本发明的操作控制装置、操作控制方法及存储介质采用了以下的结构。(1)：本发明的一方案的操作控制装置具备：视线检测部，其基于由设置于车辆的摄像装置拍摄到的车室内的图像，来检测所述车辆的驾驶员的视线；手状态检测部，其基于所述图像来检测所述驾驶员的手的状态；驾驶状态判定部，其判定检测出的所述手的状态是推定出正进行所述车辆的驾驶操作的第一状态，还是推定出未进行所述驾驶操作的第二状态；行驶状态检测部，其检测所述车辆的行驶状态；以及操作限制部，其限制对配置在所述车辆内的包含显示装置的操作部的操作的接受，其中，在所述车辆为停止状态的情况下，所述操作限制部不限制所述操作的接受，在所述车辆为行驶状态的情况下，在检测出的所述视线的方向正朝向所述驾驶员的正面侧的规定区域且检测出的所述手的状态为所述第一状态时，所述操作限制部不限制所述操作的接受，在检测出的所述视线的方向未朝向所述规定区域或者检测出的所述手的状态为所述第二状态时，所述操作限制部限制所述操作的接受。
(2)：在上述(1)的方案中，所述规定区域至少包括所述车辆的前挡风玻璃的一部分或全部的区域和侧后视镜附近的区域。
(3)：在上述(1)或(2)的方案中，所述操作限制部在未限制所述操作的接受的状态下，在从成为所述视线的方向或所述手的状态中的一方的检测不能进行的第三状态的时间点起的第一规定时间的期间，不限制所述操作的接受。
(4)：在上述(3)的方案中，所述操作限制部在不再为所述第三状态之后，在检测出的所述视线的方向正朝向所述规定区域且检测出的所述手的状态成为所述第一状态的时间点，对用于计测所述第一规定时间的计时器进行初始化。
(5)：在上述(1)或(2)的方案中，操作控制装置还具备：行驶稳定性检测部，其检测所述车辆的行驶状态的稳定性；以及干扰检测部，其基于所述图像，来检测由于所述驾驶员以外的乘员而所述视线的方向及所述手的状态中的一方或两方的检测成为不能进行的第四状态，其中，所述操作限制部在未限制所述操作的接受的状态下，在由所述干扰检测部检测出所述第四状态且由所述行驶稳定性检测部检测出所述车辆的行驶状态稳定的情况下，使不限制所述操作的接受的状态继续。
(6)：在上述(1)或(2)的方案中，操作控制装置还具备：行驶稳定性检测部，其检测所述车辆的行驶状态的稳定性；以及干扰检测部，其基于所述图像，来检测由于所述驾驶员以外的因素而所述视线的方向及所述手的状态中的一方或两方的检测成为不能进行的第四状态，其中，所述操作限制部在未限制所述操作的接受的状态下，在由所述干扰检测部检测出所述第四状态且由所述行驶稳定性检测部检测出所述车辆的行驶状态稳定的情况下，使不限制所述操作的接受的状态继续。
(7)：在上述(5)或(6)的方案中，所述操作限制部未限制所述操作的接受，且在从成为由所述干扰检测部检测出所述第四状态且由所述行驶稳定性检测部检测出所述车辆的行驶状态稳定的状态起的第二规定时间的期间，使不限制所述操作的接受的状态继续。
(8)：在上述(7)的方案中，所述操作限制部在由所述干扰检测部不再检测出所述第四状态之后，在检测出的所述视线的方向正朝向所述规定区域且检测出的所述手的状态成为所述第一状态的时间点，对用于计测所述第二规定时间的计时器进行初始化。
(9)：本发明的一方案的操作控制方法使计算机进行如下处理：基于由设置于车辆的摄像装置拍摄到的车室内的图像，来检测所述车辆的驾驶员的视线；基于所述图像来检测所述驾驶员的手的状态；判定检测出的所述手的状态是推定出正进行所述车辆的驾驶操作的第一状态，还是推定出未进行所述驾驶操作的第二状态；检测所述车辆的行驶状态；以及在所述车辆为停止状态的情况下，不限制对配置在所述车辆内的包含显示装置的操作部的操作的接受，在所述车辆为行驶状态的情况下，在检测出的所述视线的方向正朝向所述驾驶员的正面侧的规定区域且检测出的所述手的状态为所述第一状态时，不限制所述操作的接受，在检测出的所述视线的方向未朝向所述规定区域或者检测出的所述手的状态为所述第二状态时，限制所述操作的接受。
(10)：本发明的一方案的存储介质存储有程序，该程序使计算机进行如下处理：基于由设置于车辆的摄像装置拍摄到的车室内的图像，来检测所述车辆的驾驶员的视线；基于所述图像来检测所述驾驶员的手的状态；判定检测出的所述手的状态是推定出正进行所述车辆的驾驶操作的第一状态，还是推定出未进行所述驾驶操作的第二状态；检测所述车辆的行驶状态；以及在所述车辆为停止状态的情况下，不限制对配置在所述车辆内的包含显示装置的操作部的操作的接受，在所述车辆为行驶状态的情况下，在检测出的所述视线的方向正朝向所述驾驶员的正面侧的规定区域且检测出的所述手的状态为所述第一状态时，不限制所述操作的接受，在检测出的所述视线的方向未朝向所述规定区域或者检测出的所述手的状态为所述第二状态时，限制所述操作的接受。
【发明效果】
根据上述的(1)～(10)的方案，能够更准确地识别驾驶员正进行驾驶的状态，且能够控制驾驶员以外的乘员对操作部进行的操作的接受。
附图说明
图1是具备第一实施方式的操作控制装置的操作控制系统的概略结构图。
图2是表示构成操作控制系统的相机的配置位置的一例的图。
图3是表示基于构成操作控制系统的相机拍摄的车室内的图像而视线检测部检测的驾驶员的视线的范围的一例的图。
图4是表示基于构成操作控制系统的相机拍摄的车室内的图像而手状态检测部检测的驾驶员的手的状态的一例的图。
图5是表示由操作控制装置执行的处理的流程的一例的流程图。
图6是表示构成操作控制系统的相机的拍摄范围被遮挡的情况的一例的图。
图7是表示构成操作控制系统的相机的拍摄范围被遮挡的情况下由操作控制装置执行的处理的流程的一例的流程图。
图8是具备第二实施方式的操作控制装置的操作控制系统的概略结构图。
图9是表示由操作控制装置执行的处理的流程的一例的流程图。
具体实施方式
以下，参照附图来说明本发明的操作控制装置、操作控制方法及存储介质的实施方式。在以下的说明中，说明在本发明的操作控制装置中控制对导航装置的操作的情况的一例。以下，说明适用左侧通行的法规的情况，但是在适用右侧通行的法规的情况下，只要将左右反过来读即可。
<第一实施方式>
[操作控制系统1的整体结构例]
图1是具备第一实施方式的操作控制装置500的操作控制系统1的概略结构图。搭载有操作控制系统1的车辆例如为四轮的车辆，其驱动源为柴油发动机、汽油发动机等内燃机、电动机、或它们的组合。电动机使用由与内燃机连结的发电机发出的发电电力、或二次电池、燃料电池的放电电力来进行动作。
操作控制系统1例如具备相机100、车辆传感器300、操作控制装置500、导航装置700。
相机100例如是利用了CCD(Charge Coupled Device)、CMOS(ComplementaryMetal Oxide Semiconductor)等固体摄像元件的数码相机。相机100安装在搭载有操作控制系统1的车辆(以下，称为本车辆M)的车室内的任意的部位。相机100例如配置在本车辆M的车室内的前方的中心的位置。相机100将从配置的位置拍摄本车辆M的车室内得到的图像向操作控制装置500输出。相机100是技术方案中的“摄像装置”的一例。
[相机100的配置的一例]
在此，说明本车辆M的车室内的相机100的配置的一例。图2是表示构成操作控制系统1的相机100的配置位置的一例的图。
在本车辆M的车室内例如设有驾驶座DS和副驾驶座AS，该驾驶座DS设有方向盘SW，该副驾驶座AS相对于驾驶座DS在车宽方向(图中Y方向)上设置。在本车辆M的车室内，在前方的窗框例如存在有前窗玻璃等前挡风玻璃10。就座于驾驶座DS的驾驶员经由前挡风玻璃10能够识别车外的前方的状况。在本车辆M的车室内，在前方的上部(前挡风玻璃10的区域的上部)存在有车室内后视镜12。在驾驶座DS侧的车门的前方的车外设有侧后视镜14，在副驾驶座AS侧的车门的前方的车外设有侧后视镜16。就座于驾驶座DS的驾驶员经由车室内后视镜12、侧后视镜14及侧后视镜16，能够识别车外的后方的状况。在本车辆M的车室内，在前方的中央部(在图2中，驾驶座DS与副驾驶座AS之间的仪表板)配置有后述的导航装置700的显示部708，在其下部例如配置有用于操作本车辆M的空调装置等的操作部(以下，称为副仪表板)18。相机100例如配置在显示部708与副仪表板18之间的位置。相机100将从图2所示那样的配置位置拍摄本车辆M的车室内得到的图像向操作控制装置500输出。
图2所示的相机100的配置只不过为一例，配置相机100的位置可以根据本车辆M的车室内的结构而适当变更。在图1及图2中，示出了相机100为1个的情况的结构，但是相机100的个数没有限定为1个。换言之，操作控制系统1可以是通过多个相机对后述的相机100拍摄的拍摄范围进行拍摄的结构。
返回图1，车辆传感器300检测本车辆M是否为行驶状态。车辆传感器300例如包括检测本车辆M的速度的车速传感器、检测加速度的加速度传感器、检测绕铅垂轴的角速度的横摆角速度传感器、检测本车辆M的方向的方位传感器等。
操作控制装置500例如具备视线检测部502、手状态检测部504、驾驶状态判定部506、行驶状态检测部508、操作限制部510。这些构成要素例如通过具备CPU(CentralProcessing Unit)等硬件处理器、存储有程序(软件)的存储装置(具备非暂时性的存储介质的存储装置)且处理器执行程序来实现各个构成要素的功能。操作控制装置500具备的构成要素中的一部分或全部可以通过LSI(Large Scale Integration)、ASIC(ApplicationSpecific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(GraphicsProcessing Unit)等硬件(包括电路部：circuitry)等来实现，也可以通过软件与硬件的协作来实现各个构成要素的功能。操作控制装置500具备的构成要素中的一部分或全部也可以通过专用的LSI来实现各个构成要素的功能。在此，程序(软件)可以预先保存于ROM(ReadOnly Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、闪存器等存储装置(具备非暂时性的存储介质的存储装置)，也可以保存于DVD、CD-ROM等能够装拆的存储介质(非暂时性的存储介质)并通过将存储介质装配于驱动装置而安装于存储装置。程序(软件)可以从其他的计算机装置通过近距离通信或广域通信来预先下载而安装于存储装置。操作控制装置500是技术方案中的“操作控制装置”的一例。
视线检测部502基于由相机100输出的本车辆M的车室内的图像，来检测乘坐于本车辆M而就座于驾驶座DS的本车辆M的驾驶员(以下，称为驾驶员DR)的视线的方向。视线检测部502使用规定的学习方法来预先学习从车室内的图像中检测驾驶员DR的视线的方向的方法，并按照学习到的方法来检测驾驶员DR的视线的方向。视线检测部502将表示检测出的驾驶员DR的视线的方向的信息向操作限制部510输出。
[视线检测部502中的驾驶员DR的视线检测的一例]
在此，说明视线检测部502检测驾驶员DR的视线的方向的方法的一例。图3是表示基于构成操作控制系统1的相机100拍摄的车室内的图像而视线检测部502检测的驾驶员DR的视线的范围的一例的图。图3示出在以相机100为中心而假想地设定的二维平面上设定有用于检测驾驶员DR的视线正观察哪个部分的视线判定区域的状态。在图3中，设定有前挡风玻璃10的视线判定区域RFW、车室内后视镜12的视线判定区域RRM、侧后视镜14的视线判定区域RSMR、侧后视镜16的视线判定区域RSML、导航装置700的显示部708的视线判定区域RDP、包括副仪表板18、本车辆M的变速杆的区域的视线判定区域RGR这各个视线判定区域。视线检测部502识别由相机100输出的本车辆M的车室内的图像中映现的驾驶员DR的面部的朝向，并基于识别到的驾驶员DR的面部的朝向，来判定驾驶员DR的视线V与哪个视线判定区域交叉(驾驶员DR正观察哪个视线判定区域)。图3示出驾驶员DR的视线V与导航装置700的显示部708的视线判定区域RDP交叉(驾驶员DR的面部正朝向显示部708的方向)的状态的一例。视线检测部502将判定为驾驶员DR的视线V交叉的视线判定区域检测为驾驶员DR正观察的部分。视线检测部502将表示检测出的驾驶员DR的视线V的方向的信息向操作限制部510输出。
驾驶员DR的视线V与该视线V交叉的视线判定区域的建立对应关系，换言之，驾驶员DR的面部的朝向与驾驶员DR正观察的部分的建立对应关系例如可以通过事先(在开始由本车辆M进行的行驶之前、初始设定时等)对驾驶员DR指定观察的部分并学习此时相机100拍摄到的图像中映现的面部的朝向来进行。驾驶员DR的面部的朝向与驾驶员DR正观察的部分的建立对应关系例如也可以通过将设想为驾驶员DR的一般的人作为被检者且事先进行将被检者的面部的朝向与视线判定区域建立对应关系的学习来进行。在视线检测部502中用于将驾驶员DR的面部的朝向与驾驶员DR正观察的部分建立对应关系的学习方法没有限定为上述的方法，可以是任意的方法。
视线检测部502除了驾驶员DR的视线V的方向的检测之外，还可以进行乘坐于本车辆M而就座于副驾驶座AS的本车辆M的驾驶员DR以外的乘员(以下，称为同乘者AP)的面部的朝向的识别、视线的方向的检测，并将检测出的同乘者AP的信息向操作限制部510输出。
手状态检测部504基于由相机100输出的本车辆M的车室内的图像，来检测驾驶员DR的手的状态(位置)。手状态检测部504将表示检测出的驾驶员DR的手的状态(位置)的信息向驾驶状态判定部506输出。
[手状态检测部504中的驾驶员DR的手的状态(位置)的检测的一例]
在此，说明手状态检测部504检测驾驶员DR的手的状态(位置)的方法的一例。图4是表示基于构成操作控制系统1的相机100拍摄的车室内的图像而手状态检测部504检测的驾驶员DR的手的状态(位置)的一例的图。手状态检测部504识别由相机100输出的本车辆M的车室内的图像中映现的驾驶员DR的手(包含臂)，检测存在识别到的驾驶员DR的手的区域(位置)。图4示出检测出驾驶员DR的左手(包含左臂)处于包含方向盘SW的区域的区域RH-1的位置、且驾驶员DR的右手处于包含方向盘SW的区域的区域RH-2的位置的情况的状态的一例。换言之，手状态检测部504示出能够判定为驾驶员DR的两手处于方向盘SW的位置的状态的一例。手状态检测部504将表示检测出存在驾驶员DR的手的区域的位置的信息作为表示驾驶员DR的手的状态(位置)的信息而向驾驶状态判定部506输出。
手状态检测部504可以为如下结构：使用规定的学习方法预先学习从车室内的图像中检测驾驶员DR的手的状态(位置)的方法，并按照学习了的方法来检测驾驶员DR的手的状态(位置)。该情况的手状态检测部504的学习方法可以是与视线检测部502中的驾驶员DR的视线检测同样的学习方法。手状态检测部504中的驾驶员DR的手的状态(位置)的学习方法通过与视线检测部502中的视线检测的学习方法同样考虑而能够容易理解，因此省略详细的说明。
手状态检测部504除了驾驶员DR的手的状态(位置)的检测之外，还可以进行同乘者AP的手的状态(位置)的检测，并将表示检测出的同乘者AP的手的状态(位置)的信息向驾驶状态判定部506输出。
驾驶状态判定部506基于由手状态检测部504输出的表示驾驶员DR的手的状态(位置)的信息，来判定驾驶员DR是否处于正驾驶本车辆M的状态。换言之，驾驶状态判定部506基于存在驾驶员DR的手的位置，来判定是能够推定为正进行用于驾驶本车辆M的操作的驾驶状态，还是能够推定为未进行用于驾驶本车辆M的操作的非驾驶状态。
驾驶状态判定部506例如在驾驶员DR的手的位置处于推定为正把持方向盘SW的位置、推定为把持变速杆而正进行操作的位置时，判定为驾驶员DR是驾驶状态。驾驶状态判定部506例如在驾驶员DR的手的位置为换握方向盘SW或者以单手在膝上放松的状态进行驾驶的情况下，也判定为驾驶员DR是驾驶状态。驾驶状态判定部506例如在驾驶员DR的手的位置为操作用于打开驾驶座DS侧、副驾驶座AS侧的门窗的开关、或者操作用于使本车辆M的前方及后方的左右的方向指示器同时闪烁的、所谓的用于使危险警示灯点亮的开关的情况下，也同样地判定为驾驶员DR是驾驶状态。驾驶状态判定部506例如在驾驶员DR的手的位置为了抓头或者进行轻微的伸展(例如，2秒以内等规定时间内的伸展)而将手从方向盘SW离开的情况下，也同样地判定为驾驶员DR是驾驶状态。这样，若推定为驾驶员DR是能够立即把持方向盘SW那样的状态，则驾驶状态判定部506将驾驶员DR看作并判定为是驾驶状态。
另一方面，驾驶状态判定部506例如在推定为驾驶员DR的手的位置朝向导航装置700的显示部708那样的情况下，判定为驾驶员DR是非驾驶状态。驾驶状态判定部506例如在推定为驾驶员DR的手的位置处于副驾驶座AS侧、后部的座位侧、驾驶员DR将手伸向副驾驶座AS侧、后部的座位侧那样的情况下，也判定为驾驶员DR是非驾驶状态。驾驶状态判定部506即使在将驾驶员DR看作是驾驶状态的情况下，在该状态超过规定时间(例如，2秒)那样的情况下，也可以判定为驾驶员DR是非驾驶状态。
驾驶状态判定部506将判定的结果(驾驶员DR是驾驶状态，还是非驾驶状态)作为表示驾驶员DR的手的状态的信息向操作限制部510输出。在此，“驾驶状态”是技术方案中的“第一状态”的一例，“非驾驶状态”是技术方案中的“第二状态”的一例。
手状态检测部504也进行同乘者AP的手的状态的检测，在输出了表示存在同乘者AP的手的区域(位置)的信息的情况下，驾驶状态判定部506与驾驶员DR同样地判定同乘者AP的手的状态。例如，在推定为同乘者AP的手的位置朝向导航装置700的显示部708那样的情况下，驾驶状态判定部506判定为同乘者AP是要操作导航装置700的状态。并且，驾驶状态判定部506将表示判定出的同乘者AP的手的状态的信息也向操作限制部510输出。
行驶状态检测部508基于车辆传感器300的输出，来检测本车辆M是否为行驶状态。换言之，行驶状态检测部508检测本车辆M是正行驶的行驶状态，还是正停止的停止状态。行驶状态检测部508例如在车辆传感器300所包含的车速传感器的输出表示本车辆M的车速为0的情况下，检测为本车辆M是停止状态，在车速传感器的输出表示本车辆M的车速为0以外的情况下，检测为本车辆M是行驶状态。行驶状态检测部508将表示检测到的本车辆M的行驶状态的信息向操作限制部510输出。
行驶状态检测部508中的本车辆M是否为行驶状态的检测例如可以不是与视线检测部502中的驾驶员DR的视线检测、手状态检测部504中的驾驶员DR的手的状态的检测相同的时机。换言之，行驶状态检测部508可以是基于车辆传感器300的输出而逐次进行本车辆M是否为行驶状态的检测的结构。
操作限制部510控制对后述的导航装置700的操作的接受。操作限制部510基于由视线检测部502输出的表示驾驶员DR的视线V的方向的信息、由驾驶状态判定部506输出的表示驾驶员DR的手的状态的信息、由行驶状态检测部508输出的表示本车辆M的行驶状态的信息，来控制是不限制对导航装置700的操作的接受，还是限制操作的接受。例如，操作限制部510在本车辆M为停止状态的情况下，不限制对导航装置700的操作的接受。例如，操作限制部510在本车辆M为行驶状态的情况下，基于表示驾驶员DR的视线V的方向的信息、表示驾驶员DR的手的状态的信息来决定是限制还是不限制对导航装置700的操作的接受。此时，操作限制部510可以从驾驶员DR的视线V的方向和手的状态成为了规定的条件时起，例如通过计时器计测时间，在计测出的时间经过了规定的时间(以下，称为第一规定时间)之后，限制对导航装置700的操作的接受。图1示出具备第一时间计测部512的结构作为用于实现计测该第一规定时间的计时器功能的结构。关于操作限制部510中的对导航装置700的操作的接受的控制涉及的动作的详情在后文叙述。
导航装置700例如具备GNSS(Global Navigation Satellite System)接收机702、导航操作输入部704、导航ECU(Electronic Control Unit)706、显示部708。导航装置700在HDD(Hard Disk Drive)、闪存器等存储装置中保持地图信息710。GNSS接收机702基于从GNSS卫星接收到的信号，来确定本车辆M的位置。本车辆M的位置可以通过利用了车辆传感器300的输出的INS(Inertial Navigation System)来确定或补充。
导航操作输入部704接受由本车辆M的乘员进行的输入操作。导航操作输入部704包括按钮、按键、开关等。导航装置700例如可以具备进行电视的收看收听、DVD等的录像的播放、CD等的音乐的播放、或它们的选择等的功能。导航装置700例如也可以具备进行经由互联网等的邮购、音乐的下载、娱乐用(文娱用)的应用程序的执行等的功能。该情况下的本车辆M的乘员对导航装置700的操作也由导航操作输入部704接受。乘员对导航操作输入部704的输入操作的接受由操作控制装置500具备的操作限制部510控制。导航操作输入部704是技术方案中的“操作部”的一例。
导航ECU706对导航装置700具备的各个构成要素进行控制。导航ECU706例如参照地图信息710来决定从由GNSS接收机702确定出的本车辆M的位置(或输入的任意的位置)到由乘员使用导航操作输入部704输入的目的地为止的路径。地图信息710例如是通过表示道路的线路和由线路连接的节点来表现出道路形状的信息。地图信息710也可以包含道路的曲率、POI(Point Of Interest)信息等。导航ECU706通过使决定出的路径显示于显示部708来向乘员提示本车辆M的行驶路径。显示部708例如为LCD(Liquid Crystal Display：液晶显示器)等显示装置。显示部708是技术方案中的“显示装置”的一例。显示部708也可以是将显示功能与检测被输入的操作的检测功能组合的所谓触摸面板。在该情况下，显示部708中的检测功能可以由导航操作输入部704执行。换言之，在导航装置700中，可以将导航操作输入部704与显示部708合在一起来构成为导航HMI(Human Machine Interface)。并且，可以包含扬声器等作为导航装置700的导航HMI，来进行导航ECU706决定出的路径的引导。在导航装置700中将导航操作输入部704和显示部708合在一起来构成为导航HMI的情况下，导航HMI是技术方案中的“包含显示装置的操作部”的一例。
[操作控制装置500的处理的一例]
接下来，说明操作控制系统1中的操作控制装置500的处理。图5是表示由操作控制装置500执行的处理的流程的一例的流程图。在以下的说明中，在导航装置700中将导航操作输入部704和显示部708合在一起来构成为导航HMI。并且，操作控制装置500将对构成导航HMI的显示部708上显示的操作按钮等的操作(触摸操作)作为对导航装置700的操作部的操作，来控制操作的接受。本流程图的处理每隔相机100拍摄本车辆M的车室内的图像的规定的时间间隔反复执行。在以下的说明中，行驶状态检测部508例如在与视线检测部502中的驾驶员DR的视线检测、手状态检测部504中的驾驶员DR的手的状态的检测相同的时机进行本车辆M是否为行驶状态的检测。
当相机100拍摄本车辆M的车室内的图像时，操作控制装置500取得本车辆M的车室内的图像(步骤S100)。
接下来，视线检测部502检测取得的本车辆M的车室内的图像中映现的驾驶员DR的视线V的方向(步骤S102)。然后，视线检测部502将表示检测出的驾驶员DR的视线V的方向的信息向操作限制部510输出。
接下来，手状态检测部504检测取得的本车辆M的车室内的图像中映现的驾驶员DR的手的状态(位置)(步骤S104)。然后，手状态检测部504将表示检测出的驾驶员DR的手的状态(位置)的信息向驾驶状态判定部506输出。
接下来，驾驶状态判定部506基于由手状态检测部504输出的表示驾驶员DR的手的状态(位置)的信息，判定驾驶员DR的驾驶状态(驾驶员DR是驾驶状态还是非驾驶状态)(步骤S106)。然后，驾驶状态判定部506将判定的结果作为表示驾驶员DR的手的状态的信息向操作限制部510输出。
接下来，行驶状态检测部508基于车辆传感器300的输出，来检测本车辆M的行驶状态(步骤S108)。然后，行驶状态检测部508将表示检测到的本车辆M的行驶状态的信息向操作限制部510输出。
在图5中，顺次示出视线检测部502中的步骤S102的处理、手状态检测部504中的步骤S104的处理及驾驶状态判定部506中的步骤S106的处理、行驶状态检测部508中的步骤S108的处理。然而，视线检测部502、手状态检测部504及驾驶状态判定部506、行驶状态检测部508各自中的处理同时进行。换言之，视线检测部502中的步骤S102的处理、手状态检测部504中的步骤S104的处理及驾驶状态判定部506中的步骤S106的处理、行驶状态检测部508中的步骤S108的处理并行进行。因此，视线检测部502、手状态检测部504及驾驶状态判定部506、行驶状态检测部508各自中的处理的顺序没有限定为图5所示的流程图中示出的顺序。因此，由视线检测部502输出的表示驾驶员DR的视线V的方向的信息、由驾驶状态判定部506输出的表示驾驶员DR的手的状态的信息、由行驶状态检测部508输出的表示本车辆M的行驶状态的信息分别同时向操作限制部510输入。
接下来，操作限制部510基于由行驶状态检测部508输出的表示本车辆M的行驶状态的信息，来判定本车辆M是否为停止状态(步骤S110)。在步骤S110中判定为本车辆M是停止状态的情况下，操作限制部510不限制对导航装置700的操作部的操作的接受(步骤S120)。然后，操作限制部510结束对本次从相机100取得的本车辆M的车室内的图像的本流程图的处理。
另一方面，在步骤S110中判定为本车辆M不是停止状态的情况下，即，判定为本车辆M是行驶状态的情况下，操作限制部510基于由视线检测部502输出的表示驾驶员DR的视线V的方向的信息，来判定驾驶员DR是否正朝向正面侧的规定区域(步骤S112)。在此，“正面侧的规定区域”至少包括本车辆M的前挡风玻璃10的一部分或全部的区域和侧后视镜14、侧后视镜16附近的区域。例如，包括图3所示的视线判定区域RFW、视线判定区域RRM、视线判定区域RSMR、视线判定区域RSML。“正面侧的规定区域”例如也可以包括图3所示的视线判定区域RGR。换言之，“正面侧的规定区域”是指能够推定为驾驶员DR正进行用于驾驶本车辆M的操作的区域。再换言之，“正面侧的规定区域”也可以是指能够推定为驾驶员DR要进行导航装置700的操作的区域(例如，图3所示的视线判定区域RDP)以外的区域。
在步骤S112中判定为驾驶员DR正朝向正面侧的规定区域的情况下，操作限制部510基于由驾驶状态判定部506输出的表示驾驶员DR的手的状态的信息，来判定驾驶员DR的手的状态是否为驾驶状态(步骤S114)。在步骤S114中判定为驾驶员DR的手的状态是驾驶状态的情况下，操作限制部510使处理进入步骤S120，不限制对导航装置700的操作部的操作的接受，并结束对本次从相机100取得的本车辆M的车室内的图像的本流程图的处理。
另一方面，在步骤S112中判定为驾驶员DR未朝向正面侧的规定区域的情况下，或者在步骤S114中判定为驾驶员DR的手的状态不是驾驶状态，即为非驾驶状态的情况下，操作限制部510限制对导航装置700的操作部的操作的接受(步骤S130)。然后，操作限制部510结束对本次从相机100取得的本车辆M的车室内的图像的本流程图的处理。
如上所述，由视线检测部502输出的表示驾驶员DR的视线V的方向的信息、由驾驶状态判定部506输出的表示驾驶员DR的手的状态的信息分别同时向操作限制部510输入。因此，操作限制部510可以将图5所示的步骤S112的处理和步骤S114的处理以相反的顺序进行。换言之，操作限制部510可以在先判定了驾驶员DR的手的状态是否为驾驶状态之后，判定驾驶员DR是否正朝向正面侧的规定区域。
操作控制装置500通过这样的处理，基于相机100拍摄到的本车辆M的车室内的图像来判定驾驶员DR的状态，并基于判定出的驾驶员DR的状态来控制对导航装置700的操作的接受。由此，例如，若驾驶员DR正朝向正面侧的规定区域且手的状态为驾驶状态，则推定为能够正确地驾驶本车辆M，因此操作控制装置500连同乘者AP对导航装置700进行的操作的接受也不限制。即，操作控制装置500容许与本车辆M的驾驶无关的同乘者AP向导航装置700的输入操作。例如，操作控制装置500容许同乘者AP为了变更通过导航装置700收看收听的电视的频道而进行的选台的操作。由此，在搭载有具备操作控制装置500的操作控制系统1的本车辆M中，能够提高对与本车辆M的驾驶无关的乘员的便利性。
如图2所示，在相机100例如配置于显示部708与副仪表板18之间的位置的情况下，若同乘者AP进行导航装置700的操作，则考虑到因同乘者AP的手、臂而驾驶员DR隐藏起来。即，考虑到发生相机100对本车辆M的车室内进行拍摄的拍摄范围的一部分或全部被同乘者AP的手、臂遮挡的所谓遮拦(occlusion)。
图6是表示构成操作控制系统1的相机100的拍摄范围被遮挡的情况的一例的图。图6示出如下情况的一例：在驾驶员DR正朝向正面侧的规定区域(视线V与前挡风玻璃10的视线判定区域RFW交叉)，驾驶员DR的左手(包括左臂)处于包含方向盘SW的区域的区域RH-1的位置，且驾驶员DR的右手处于包含方向盘SW的区域的区域RH-2的位置的情况下，由于同乘者AP的右手、右臂而发生了遮拦。当遮拦发生时，考虑到成为驾驶员DR的视线V的方向或驾驶员DR的手的状态中的一方的检测变得不能进行的不可检测状态。该“不可检测状态”是技术方案中的“第三状态”的一例。当成为这样的不可检测状态时，在图5所示的操作控制装置500的流程图中，按照操作限制部510的步骤S112或步骤S114中的任一个的判定来限制对导航装置700的操作部的操作的接受。然而，如图6所示，考虑到驾驶员DR即使为不可检测状态也能正确地驾驶本车辆M。在该情况下，操作限制部510可以如上所述，在第一时间计测部512计测的时间经过了第一规定时间(例如，2秒～5秒等)之后，限制对导航装置700的操作的接受。
[操作控制装置500的处理的另一例]
接下来，说明操作控制系统1中的操作控制装置500的另一处理。图7是表示构成操作控制系统1的相机100的拍摄范围被遮挡的情况下由操作控制装置500执行的处理的流程的一例的流程图。在以下的说明中，在导航装置700中也将导航操作输入部704与显示部708合在一起来构成为导航HMI。并且，操作控制装置500将对构成导航HMI的显示部708上显示的操作按钮等的操作(触摸操作)作为对导航装置700的操作部的操作，来控制操作的接受。本流程图的处理每隔相机100拍摄本车辆M的车室内的图像的规定的时间间隔反复执行。
图7所示的流程图中包括与图5所示的流程图同样的处理。更具体而言，图7所示的流程图中的步骤S100～步骤S110及步骤S120的处理与图5所示的流程图中的对应的步骤编号的处理相同。因此，在以下的说明中，与图5所示的流程图同样的处理所相关的说明省略，说明与图5所示的流程图不同的处理。
在步骤S110中判定为本车辆M不是停止状态(本车辆M为行驶状态)的情况下，操作限制部510基于由视线检测部502输出的表示驾驶员DR的视线V的方向的信息，来判定驾驶员DR的视线V是否为不可检测(步骤S111)。该步骤S111中的判定例如可以通过在由视线检测部502输出的表示驾驶员DR的视线V的方向的信息中是否示出判定为驾驶员DR的视线V交叉的视线判定区域来进行。
在步骤S111中，在判定为驾驶员DR的视线V并非不可检测，即驾驶员DR的视线V的方向能够检测的情况下，操作限制部510基于由视线检测部502输出的表示驾驶员DR的视线V的方向的信息，来判定驾驶员DR是否正朝向正面侧的规定区域(步骤S112)。
在步骤S112中判定为驾驶员DR正朝向正面侧的规定区域的情况下，操作限制部510基于由驾驶状态判定部506输出的表示驾驶员DR的手的状态的信息，来判定驾驶员DR的手的状态是否为不可检测(步骤S113)。该步骤S113的判定例如可以通过在由驾驶状态判定部506输出的表示驾驶员DR的手的状态的信息中是否示出驾驶状态判定部506判定的结果(驾驶员DR是驾驶状态还是非驾驶状态)来进行。操作限制部510例如可以通过在由手状态检测部504输出的表示驾驶员DR的手的状态(位置)的信息中是否示出驾驶员DR的手的状态(位置)来进行该步骤S113中的判定。在该情况下，例如，在虽然驾驶员DR的手的位置不可检测，但是根据驾驶员DR的臂的位置、方向而能够推定为驾驶员DR的手的状态是驾驶状态的情况下，在步骤S113中可以不判定为驾驶员DR的手的状态是不可检测。
在步骤S113中判定为驾驶员DR的手的状态并非不可检测，即驾驶员DR的手的状态能够检测的情况下，操作限制部510基于由驾驶状态判定部506输出的表示驾驶员DR的手的状态的信息，来判定驾驶员DR的手的状态是否为驾驶状态(步骤S114)。
在步骤S114中判定为驾驶员DR的手的状态是驾驶状态的情况下，操作限制部510按照后述的处理对第一时间计测部512计测的时间(第一规定时间)进行初始化(步骤S115)。换言之，操作限制部510在不再为不可检测状态之后，在驾驶员DR正朝向正面侧的规定区域且驾驶员DR的手的状态为驾驶状态的情况下，在该时间点对第一时间计测部512计测的时间(第一规定时间)进行初始化。然后，操作限制部510使处理进入步骤S120，不限制对导航装置700的操作部的操作的接受，并结束对本次从相机100取得的本车辆M的车室内的图像的本流程图的处理。
另一方面，在步骤S111中驾驶员DR的视线V为不可检测的情况下，或者在步骤S112中判定为驾驶员DR未朝向正面侧的规定区域的情况下，或者在步骤S113中驾驶员DR的手的状态为不可检测、或者在步骤S114中判定为驾驶员DR的手的状态不是驾驶状态(为非驾驶状态)的情况下，操作限制部510使第一时间计测部512开始时间(第一规定时间)的计测。然后，操作限制部510判定第一时间计测部512计测的时间是否经过了第一规定时间(步骤S116)。
在步骤S116中判定为第一时间计测部512计测的时间未经过第一规定时间的情况下，操作限制部510使处理进入步骤S120，不限制对导航装置700的操作部的操作的接受，并结束对本次从相机100取得的本车辆M的车室内的图像的本流程图的处理。
另一方面，在步骤S116中判定为第一时间计测部512计测的时间经过了第一规定时间的情况下，操作限制部510限制对导航装置700的操作部的操作的接受(步骤S130)。然后，操作限制部510结束对本次从相机100取得的本车辆M的车室内的图像的本流程图的处理。
如上所述，由视线检测部502输出的表示驾驶员DR的视线V的方向的信息、由驾驶状态判定部506输出的表示驾驶员DR的手的状态的信息分别同时向操作限制部510输入。因此，操作限制部510可以与图5所示的流程图同样地考虑，将图7所示的步骤S111及步骤S112的处理的组、步骤S113及步骤S114的处理的组以相反的顺序进行。换言之，操作限制部510可以在先判定了驾驶员DR的手的状态是否为不可检测之后，判定驾驶员DR的视线V是否为不可检测。
操作控制装置500通过这样的处理，例如从由于同乘者AP操作了导航装置700而相机100对本车辆M的车室内进行拍摄的拍摄范围发生遮拦，从而驾驶员DR的视线V的方向或驾驶员DR的手的状态中的一方的检测成为不能进行(成为不可检测状态)的时间点起，计测该不可检测状态持续的时间。并且，操作控制装置500在不可检测状态持续的时间经过第一规定时间之前的期间，维持(继续)容许向导航装置700的输入操作的状态。由此，在搭载有具备操作控制装置500的操作控制系统1的本车辆M中，即使在无法判定驾驶员DR是否正在正确驾驶本车辆M的情况下，也不会立即限制对导航装置700的操作部的操作的接受，在第一规定时间经过之前的期间，能够提高对与本车辆M的驾驶无关的乘员的便利性。
操作限制部510在不可检测状态解消了的情况下，在步骤S115中，对第一时间计测部512计测的时间(第一规定时间)进行初始化。由此，在搭载有具备操作控制装置500的操作控制系统1的本车辆M中，能够避免在接下来成为不可检测状态的情况下立即限制对导航装置700的操作部的操作的接受的情况。换言之，在第一规定时间经过之前的期间，能够避免对与本车辆M的驾驶无关的乘员的便利性下降的情况。
如上所述，根据第一实施方式的操作控制装置500，基于相机100拍摄到的本车辆M的车室内的图像来判定驾驶员DR的状态，并基于判定出的驾驶员DR的状态来控制对导航装置700的操作的接受。由此，在第一实施方式的操作控制装置500中，若是能够推定为驾驶员DR正在正确驾驶本车辆M的状态，则能够容许与本车辆M的驾驶无关的例如同乘者AP等向导航装置700的输入操作。由此，在搭载有具备第一实施方式的操作控制装置500的操作控制系统1的本车辆M中，能够提高对与本车辆M的驾驶无关的乘员的便利性。
而且，在第一实施方式的操作控制装置500中，基于相机100拍摄到的本车辆M的车室内的图像，来检测用于判定驾驶员DR的状态的驾驶员DR的手的状态。因此，在第一实施方式的操作控制装置500中，若是推定为驾驶员DR能够立即把持方向盘SW那样的状态，则能够看作并判定为驾驶员DR是驾驶状态。该能够看作并判定为是驾驶状态的情况考虑为，在不用进行不必要的控制的点上比例如通过设置于方向盘SW的接触传感器来判定驾驶员DR的手的状态的情况优异。这是因为在接触传感器中，由于判定是否正把持方向盘SW，因此即使在短时间内若未把持方向盘SW，也会判定为驾驶员DR是非驾驶状态的缘故。并且，是因为在未把持方向盘SW的短时间内判定为驾驶员DR是非驾驶状态的情况下，会必要以上地限制向导航装置700的输入操作的缘故。
在第一实施方式的操作控制装置500中，在步骤S111中驾驶员DR的视线V为不可检测的情况下，或者在步骤S112中判定为驾驶员DR未朝向正面侧的规定区域的情况下，或者在步骤S113中驾驶员DR的手的状态为不可检测，或者在步骤S114中判定为驾驶员DR的手的状态不是驾驶状态(为非驾驶状态)的情况下，使第一时间计测部512开始时间(第一规定时间)的计测。并且，在第一实施方式的操作控制装置500中，在步骤S116中判定第一时间计测部512计测的时间是否经过了第一规定时间，来限制对导航装置700的操作部的操作的接受。换言之，例如，在驾驶员DR的视线V为不可检测的情况下和驾驶员DR的手的状态为不可检测的情况下，直至限制对导航装置700的操作部的操作的接受为止的时间为相同的时间。然而，当作为驾驶本车辆M时的状态而将驾驶员DR的视线V与手的状态的重要性进行比较时，例如，也考虑有驾驶员DR的视线V为不可检测的情况的重要性更高的情况。在该情况下，可以在操作限制部510例如再准备一个与第一时间计测部512同样的计时器功能，在驾驶员DR的视线V为不可检测的情况下和驾驶员DR的手的状态为不可检测的情况下，使直至限制对导航装置700的操作部的操作的接受为止的时间不同。例如，可以在驾驶员DR的视线V为不可检测的情况下，在经过了2秒之后限制对导航装置700的操作部的操作的接受，在驾驶员DR的手的状态为不可检测的情况下，在经过了4秒之后限制对导航装置700的操作部的操作的接受。该情况下的操作控制装置500的处理通过基于图7所示的流程图同样考虑而能够容易理解。因此，与该情况下的操作控制装置500的处理相关的详细的说明省略。
<第二实施方式>
[操作控制系统2的整体结构例]
以下，说明第二实施方式。图8是具备第二实施方式的操作控制装置600的操作控制系统2的概略结构图。操作控制系统2例如具备相机100、车辆传感器300、操作控制装置600、导航装置700。在操作控制系统2中，将第一实施方式的操作控制系统1中的操作控制装置500取代为操作控制装置600。在以下的说明中，在操作控制系统2具备的构成要素中，对于与第一实施方式的操作控制系统1同样的构成要素标注同一符号，省略与各个构成要素相关的详细的说明。
操作控制装置600例如具备视线检测部502、手状态检测部504、干扰检测部605、驾驶状态判定部506、行驶状态检测部508、行驶稳定性检测部609、操作限制部610。这些构成要素也与操作控制装置500同样，例如通过具备CPU等硬件处理器、存储有程序(软件)的存储装置(具备非暂时性的存储介质的存储装置)且处理器执行程序来实现各个构成要素的功能。操作控制装置600具备的构成要素中的一部分或全部可以通过LSI、ASIC、FPGA、GPU等硬件(包括电路部：circuitry)等来实现，也可以通过软件与硬件的协作来实现各个构成要素的功能。操作控制装置600具备的构成要素中的一部分或全部也可以通过专用的LSI来实现各个构成要素的功能。在此，程序(软件)可以预先保存于ROM、RAM、HDD、闪存器等存储装置(具备非暂时性的存储介质的存储装置)，也可以保存于DVD、CD-ROM等能够装拆的存储介质(非暂时性的存储介质)并通过将存储介质装配于驱动装置而安装于存储装置。程序(软件)也可以从其他的计算机装置通过近距离通信或广域通信预先下载而安装于存储装置。操作控制装置600也是技术方案中的“操作控制装置”的一例。
在操作控制装置600中，向第一实施方式的操作控制系统1具备的操作控制装置500追加有干扰检测部605和行驶稳定性检测部609。在操作控制装置600中，将第一实施方式的操作控制系统1具备的操作控制装置500所具备的操作限制部510取代为操作限制部610。在以下的说明中，在操作控制装置600具备的构成要素中，对于与第一实施方式的操作控制系统1具备的操作控制装置500同样的构成要素，标注同一符号，并省略与各个构成要素相关的详细的说明。并且，在以下的说明中，进行关于与第一实施方式的操作控制系统1具备的操作控制装置500不同的构成要素即操作控制装置600的结构、动作及处理的说明。
干扰检测部605基于由相机100输出的本车辆M的车室内的图像，来检测由于干扰而驾驶员DR的视线V的方向或驾驶员DR的手的状态中的一方或两方的检测成为不能进行的干扰状态。干扰例如是指同乘者AP等驾驶员DR以外的本车辆M的乘员、或驾驶员DR以外的因素等引起的干扰。在此，作为成为干扰状态的驾驶员DR以外的因素，例如，考虑有由于强光从本车辆M的后方进入或者本车辆M的车室内变得非常暗而无法识别相机100拍摄的本车辆M的车室内的图像中映现的驾驶员DR的情况等。干扰检测部605当检测出干扰状态时，将表示该情况的信息向操作限制部610输出。“干扰状态”是技术方案中的“第四状态”的一例。
干扰为驾驶员DR以外的本车辆M的乘员引起的干扰的情况下的干扰检测部605的干扰状态的检测例如与视线检测部502中的驾驶员DR的视线检测、手状态检测部504中的驾驶员DR的手的状态的检测同样，能够按照使用规定的学习方法而预先学习了的内容来进行检测。干扰为驾驶员DR以外的因素(例如，无法识别相机100拍摄的本车辆M的车室内的图像中映现的驾驶员DR等)引起的干扰的情况下的干扰检测部605的干扰状态的检测能够通过由相机100输出的本车辆M的车室内的图像、相机100拍摄时的曝光控制的状态来进行检测。
干扰检测部605中的干扰状态的检测例如可以不是与视线检测部502中的驾驶员DR的视线检测、手状态检测部504中的驾驶员DR的手的状态的检测相同的时机。换言之，干扰检测部605可以是逐次进行干扰状态的检测的结构。
行驶稳定性检测部609基于车辆传感器300的输出来检测本车辆M的行驶状态的稳定性。行驶状态的稳定性能够基于车辆传感器300的输出的变化、变化量等来进行检测。行驶稳定性检测部609例如在车辆传感器300所包含的车速传感器、加速度传感器的输出的变化量(包括本车辆M的加速侧的变化量及减速侧的变化量)小于与速度相关的规定的变化量的阈值的情况下，检测到本车辆M的行驶状态稳定，在为与速度相关的规定的变化量的阈值以上的情况下，检测到本车辆M的行驶状态不稳定。行驶稳定性检测部609例如在车辆传感器300所包含的横摆角速度传感器、方位传感器的输出的变化量(包括在本车辆M正直行时设想的摇晃)小于与转向相关的规定的变化量的阈值的情况下，检测到本车辆M的行驶状态稳定，在为与转向相关的规定的变化量的阈值以上的情况下，检测到本车辆M的行驶状态不稳定。行驶状态检测部508将表示检测到的本车辆M的行驶状态的稳定性的信息向操作限制部610输出。
行驶稳定性检测部609中的本车辆M的行驶状态的稳定性的检测例如可以不是与视线检测部502中的驾驶员DR的视线检测、手状态检测部504中的驾驶员DR的手的状态的检测相同的时机。换言之，行驶稳定性检测部609可以是基于车辆传感器300的输出而逐次进行本车辆M的行驶状态的稳定性的检测的结构。
操作限制部610与第一实施方式中的操作控制装置500具备的操作限制部510同样地控制对导航装置700的操作的接受。但是，操作限制部610除了第一实施方式中的操作限制部510使用的信息之外，还包括由干扰检测部605输出的表示检测出干扰状态的情况的信息和由行驶稳定性检测部609输出的表示本车辆M的行驶状态的稳定性的信息在内，来控制是不限制对导航装置700的操作的接受还是限制操作的接受。例如，操作限制部610在本车辆M为行驶状态的情况下，在检测出干扰状态时，基于表示本车辆M的行驶状态的稳定性的信息来决定是限制还是不限制对导航装置700的操作的接受。操作限制部610即使在决定为不限制对导航装置700的操作的接受的情况下，也从检测出干扰状态时起，例如通过计时器计测时间，在计测出的时间经过了规定的时间(以下，称为第二规定时间)之后，限制对导航装置700的操作的接受。图8示出具备第二时间计测部613的结构作为用于实现计测该第二规定时间的计时器功能的结构。
[操作控制装置600的处理的一例]
接下来，说明操作控制系统2中的操作控制装置600的处理。图9是表示由操作控制装置600执行的处理的流程的一例的流程图。在以下的说明中，也在导航装置700中将导航操作输入部704与显示部708合在一起来构成为导航HMI。并且，操作控制装置600将对构成导航HMI的显示部708上显示的操作按钮等的操作(触摸操作)作为对导航装置700的操作部的操作，来控制操作的接受。本流程图的处理每隔相机100对本车辆M的车室内的图像进行拍摄的规定的时间间隔反复执行。在以下的说明中，行驶状态检测部508中的本车辆M是否为行驶状态的检测例如在与视线检测部502中的驾驶员DR的视线检测、手状态检测部504中的驾驶员DR的手的状态的检测相同的时机进行，但也可以是干扰检测部605中的干扰状态的检测及行驶稳定性检测部609中的本车辆M的行驶状态的稳定性的检测分别逐次进行的结构。
图9所示的流程图中包括与图5、图7所示的表示第一实施方式的操作控制装置500的处理的一例的流程图同样的处理。更具体而言，图9所示的流程图中的步骤S100～步骤S110及步骤S120的处理与图5、图7所示的流程图中的对应的步骤编号的处理相同。因此，在以下的说明中，与图5、图7所示的流程图同样的处理所相关的说明省略，说明与图5、图7所示的流程图不同的处理。
操作限制部610基于由行驶状态检测部508输出的表示本车辆M的行驶状态的信息，来判定本车辆M是否为停止状态(步骤S110)。在步骤S110中判定为本车辆M是停止状态的情况下，操作限制部610不限制对导航装置700的操作部的操作的接受(步骤S120)。然后，操作限制部610结束对本次从相机100取得的本车辆M的车室内的图像的本流程图的处理。
另一方面，在步骤S110中判定为本车辆M不是停止状态(本车辆M为行驶状态)的情况下，操作限制部610基于由干扰检测部605输出的信息，来判定是否检测出干扰状态(步骤S210)。
在步骤S210中判定为未检测出干扰状态的情况下，操作限制部610基于由视线检测部502输出的表示驾驶员DR的视线V的方向的信息，判定驾驶员DR是否正朝向正面侧的规定区域(步骤S112)。
在步骤S112中判定为驾驶员DR正朝向正面侧的规定区域的情况下，操作限制部610基于由驾驶状态判定部506输出的表示驾驶员DR的手的状态的信息，来判定驾驶员DR的手的状态是否为驾驶状态(步骤S114)。
在步骤S114中判定为驾驶员DR的手的状态是驾驶状态的情况下，操作限制部610按照后述的处理对第二时间计测部613计测的时间(第二规定时间)进行初始化(步骤S212)。换言之，操作限制部610在不再检测出干扰状态之后，在驾驶员DR正朝向正面侧的规定区域且驾驶员DR的手的状态为驾驶状态的情况下，在该时间点对第二时间计测部613计测的时间(第二规定时间)进行初始化。然后，操作限制部610使处理进入步骤S120，不限制对导航装置700的操作部的操作的接受，并结束对本次从相机100取得的本车辆M的车室内的图像的本流程图的处理。
在操作控制装置600中，也与第一实施方式的操作控制装置500同样，并行进行视线检测部502中的步骤S102的处理、手状态检测部504中的步骤S104的处理及驾驶状态判定部506中的步骤S106的处理、行驶状态检测部508中的步骤S108的处理。因此，由视线检测部502输出的表示驾驶员DR的视线V的方向的信息、由驾驶状态判定部506输出的表示驾驶员DR的手的状态的信息也分别同时向操作限制部610输入。因此，操作限制部610可以与图5、图7所示的第一实施方式的操作控制装置500的处理的流程图同样地考虑，将图9所示的步骤S112的处理与步骤S114的处理以相反的顺序进行。换言之，在操作限制部610中，也可以在先判定了驾驶员DR的手的状态是否为驾驶状态之后，判定驾驶员DR是否正朝向正面侧的规定区域。
另一方面，在步骤S210中判定为检测出干扰状态的情况下，或者在步骤S112中判定为驾驶员DR未朝向正面侧的规定区域的情况下，或者在步骤S114中判定为驾驶员DR的手的状态不是驾驶状态(为非驾驶状态)的情况下，操作限制部610基于由行驶稳定性检测部609输出的表示稳定性的信息，来判定本车辆M的行驶状态是否稳定(步骤S214)。
在步骤S214中判定为本车辆M的行驶状态不稳定的情况下，操作限制部610限制对导航装置700的操作部的操作的接受(步骤S130)。然后，操作限制部610结束对本次从相机100取得的本车辆M的车室内的图像的本流程图的处理。
另一方面，在步骤S214中判定为本车辆M的行驶状态稳定的情况下，操作限制部610使第二时间计测部613开始时间(第二规定时间)的计测。然后，操作限制部610判定第二时间计测部613计测的时间是否经过了第二规定时间(步骤S216)。
在步骤S216中判定为第二时间计测部613计测的时间未经过第二规定时间的情况下，操作限制部610使处理进入步骤S120，不限制对导航装置700的操作部的操作的接受，并结束对本次从相机100取得的本车辆M的车室内的图像的本流程图的处理。
另一方面，在步骤S216中判定为第二时间计测部613计测的时间经过了第二规定时间的情况下，操作限制部610限制对导航装置700的操作部的操作的接受(步骤S130)。然后，操作限制部510结束对本次从相机100取得的本车辆M的车室内的图像的本流程图的处理。
操作控制装置600通过这样的处理，与第一实施方式中的操作控制装置500同样，基于相机100拍摄到的本车辆M的车室内的图像来判定驾驶员DR的状态，并基于判定出的驾驶员DR的状态来控制对导航装置700的操作的接受。此时，在操作控制装置600中，干扰检测部605检测干扰状态，行驶稳定性检测部609检测本车辆M的行驶状态的稳定性。并且，在操作控制装置600中，即使在驾驶员DR的视线V的方向或驾驶员DR的手的状态中的一方或两方的检测成为不能进行的情况下，在其因素是驾驶员DR以外的本车辆M的乘员、驾驶员DR以外的因素等干扰引起的因素时，若本车辆M的行驶状态稳定，则在经过第二规定时间(例如，30秒、1分钟等)之前的期间，不必要以上地限制对导航装置700的操作的接受。即，在操作控制装置600中，使用与第一实施方式中的操作控制装置500不同的基准(行驶稳定性检测部609检测的本车辆M的行驶状态的稳定性，换言之，本车辆M的行驶状态的摇晃的基准)，来确保本车辆M的行驶的安全性，且同时在经过第二规定时间之前的期间，例如维持(继续)容许与本车辆M的驾驶无关的同乘者AP向导航装置700的输入操作的状态。而且，在操作控制装置600中，通过将维持容许向导航装置700的输入操作的状态的时间设为直至第二规定时间为止，由此避免虽然本车辆M的行驶状态稳定但是检测出干扰状态的时间、即未能检测出驾驶员DR的驾驶状态的时间必要以上地变长，从而确保本车辆M的行驶的安全性。由此，在搭载有具备操作控制装置600的操作控制系统2的本车辆M中，能够同时实现本车辆M的行驶的安全性的确保和对与本车辆M的驾驶无关的乘员的便利性的提高。
操作限制部610在干扰状态解消、驾驶员DR正朝向正面侧的规定区域、且驾驶员DR的手的状态为驾驶状态的情况下，在步骤S212中，对第二时间计测部613计测的时间(第二规定时间)进行初始化。由此，在搭载有具备操作控制装置600的操作控制系统2的本车辆M中，能够避免在接下来检测出干扰状态的情况下，立即限制对导航装置700的操作部的操作的接受，或者容许对导航装置700的操作部的操作的时间缩短而对与本车辆M的驾驶无关的乘员的便利性下降的情况。
如上所述，根据第二实施方式的操作控制装置600，基于相机100拍摄到的本车辆M的车室内的图像来判定驾驶员DR的状态，并基于判定出的驾驶员DR的状态，在控制对导航装置700的操作的接受时，进行干扰状态的检测和本车辆M的行驶状态的稳定性的检测。由此，在第二实施方式的操作控制装置600中，若本车辆M为稳定行驶的状态，则能够容许与本车辆M的驾驶无关的例如同乘者AP等向导航装置700的输入操作。由此，在搭载有具备第二实施方式的操作控制装置600的操作控制系统2的本车辆M中，能够提高对与本车辆M的驾驶无关的乘员的便利性。
根据以上说明的实施方式的例如操作控制装置500，其具备：视线检测部502，其基于由设置于本车辆M的相机100拍摄到的车室内的图像，来检测本车辆M的驾驶员DR的视线V；手状态检测部504，其基于图像来检测驾驶员DR的手的状态；驾驶状态判定部506，其判定检测出的手的状态是推定出正进行本车辆M的驾驶操作的驾驶状态，还是推定出未进行驾驶操作的非驾驶状态；行驶状态检测部508，其检测本车辆M的行驶状态；以及操作限制部510，其限制对配置在本车辆M内的包含显示部708的导航操作输入部704的操作的接受，其中，在本车辆M为停止状态的情况下，操作限制部510不限制操作的接受，在本车辆M为行驶状态的情况下，在检测出的视线V的方向正朝向驾驶员DR的正面侧的规定区域且检测出的手的状态为驾驶状态时，操作限制部510不限制操作的接受，在检测出的视线V的方向未朝向规定区域、或者检测出的手的状态为非驾驶状态时，操作限制部510限制操作的接受，由此能够避免必要以上地限制与本车辆M的驾驶无关的例如同乘者AP向导航装置700的输入操作。由此，在搭载有具备操作控制装置500的操作控制系统1的本车辆M中，能够提高对与本车辆M的驾驶无关的同乘者AP的便利性。
上述说明了的实施方式可以如以下这样表现。
一种操作控制装置，其构成为，具备：
硬件处理器；以及
存储装置，其存储有程序，
通过所述硬件处理器将存储于所述存储装置的程序读出并执行来进行如下处理：
基于由设置于车辆的摄像装置拍摄到的车室内的图像，来检测所述车辆的驾驶员的视线；
基于所述图像来检测所述驾驶员的手的状态；
判定检测出的所述手的状态是推定出正进行所述车辆的驾驶操作的第一状态，还是推定出未进行所述驾驶操作的第二状态；
检测所述车辆的行驶状态；以及
在所述车辆为停止状态的情况下，不限制对配置在所述车辆内的包含显示装置的操作部的操作的接受，在所述车辆为行驶状态的情况下，在检测出的所述视线的方向正朝向所述驾驶员的正面侧的规定区域且检测出的所述手的状态为所述第一状态时，不限制所述操作的接受，在检测出的所述视线的方向未朝向所述规定区域、或者检测出的所述手的状态为所述第二状态时，限制所述操作的接受。
在实施方式中，例如，说明了操作控制装置500控制对导航装置700的输入操作的接受的情况。即，说明了操作控制装置500控制操作的接受的对象为导航装置700的情况。然而，操作控制装置500控制操作的接受的对象的装置只要是在本车辆M行驶时需要限制由驾驶员DR进行的操作的装置即可，可以为任意的装置。该情况下的操作控制装置500的处理可以与上述的实施方式中的各个处理同样考虑。因此，与操作控制装置500控制操作的接受的对象的装置为导航装置700以外的装置的情况的处理相关的说明省略。
以上，使用实施方式说明了用于实施本发明的方式，但是本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内可以施加各种变形及置换。

Claims (10)

1.一种操作控制装置，其中，
所述操作控制装置具备：
视线检测部，其基于由设置于车辆的摄像装置拍摄到的车室内的图像，来检测所述车辆的驾驶员的视线；
手状态检测部，其基于所述图像来检测所述驾驶员的手的状态；
驾驶状态判定部，其判定检测出的所述手的状态是推定出正进行所述车辆的驾驶操作的第一状态，还是推定出未进行所述驾驶操作的第二状态；
行驶状态检测部，其检测所述车辆的行驶状态；以及
操作限制部，其限制对配置在所述车辆内的包含显示装置的操作部的操作的接受，
在所述车辆为停止状态的情况下，所述操作限制部不限制所述操作的接受，
在所述车辆为行驶状态的情况下，在检测出的所述视线的方向正朝向所述驾驶员的正面侧的规定区域且检测出的所述手的状态为所述第一状态时，所述操作限制部不限制所述操作的接受，在检测出的所述视线的方向未朝向所述规定区域或者检测出的所述手的状态为所述第二状态时，所述操作限制部限制所述操作的接受。
2.根据权利要求1所述的操作控制装置，其中，
所述规定区域至少包括所述车辆的前挡风玻璃的一部分或全部的区域和侧后视镜附近的区域。
3.根据权利要求1或2所述的操作控制装置，其中，
所述操作限制部在未限制所述操作的接受的状态下，在从成为所述视线的方向或所述手的状态中的一方的检测不能进行的第三状态的时间点起的第一规定时间的期间，不限制所述操作的接受。
4.根据权利要求3所述的操作控制装置，其中，
所述操作限制部在不再为所述第三状态之后，在检测出的所述视线的方向正朝向所述规定区域且检测出的所述手的状态成为所述第一状态的时间点，对用于计测所述第一规定时间的计时器进行初始化。
5.根据权利要求1或2所述的操作控制装置，其中，
所述操作控制装置还具备：
行驶稳定性检测部，其检测所述车辆的行驶状态的稳定性；以及
干扰检测部，其基于所述图像，来检测由于所述驾驶员以外的乘员而所述视线的方向及所述手的状态中的一方或两方的检测成为不能进行的第四状态，
所述操作限制部在未限制所述操作的接受的状态下，在由所述干扰检测部检测出所述第四状态且由所述行驶稳定性检测部检测出所述车辆的行驶状态稳定的情况下，使不限制所述操作的接受的状态继续。
6.根据权利要求1或2所述的操作控制装置，其中，
所述操作控制装置还具备：
行驶稳定性检测部，其检测所述车辆的行驶状态的稳定性；以及
干扰检测部，其基于所述图像，来检测由于所述驾驶员以外的因素而所述视线的方向及所述手的状态中的一方或两方的检测成为不能进行的第四状态，
所述操作限制部在未限制所述操作的接受的状态下，在由所述干扰检测部检测出所述第四状态且由所述行驶稳定性检测部检测出所述车辆的行驶状态稳定的情况下，使不限制所述操作的接受的状态继续。
7.根据权利要求5所述的操作控制装置，其中，
所述操作限制部未限制所述操作的接受，且在从成为由所述干扰检测部检测出所述第四状态且由所述行驶稳定性检测部检测出所述车辆的行驶状态稳定的状态起的第二规定时间的期间，使不限制所述操作的接受的状态继续。
8.根据权利要求7所述的操作控制装置，其中，
所述操作限制部在由所述干扰检测部不再检测出所述第四状态之后，在检测出的所述视线的方向正朝向所述规定区域且检测出的所述手的状态成为所述第一状态的时间点，对用于计测所述第二规定时间的计时器进行初始化。
9.一种操作控制方法，其中，
所述操作控制方法使计算机进行如下处理：
基于由设置于车辆的摄像装置拍摄到的车室内的图像，来检测所述车辆的驾驶员的视线；
基于所述图像来检测所述驾驶员的手的状态；
判定检测出的所述手的状态是推定出正进行所述车辆的驾驶操作的第一状态，还是推定出未进行所述驾驶操作的第二状态；
检测所述车辆的行驶状态；以及
在所述车辆为停止状态的情况下，不限制对配置在所述车辆内的包含显示装置的操作部的操作的接受，在所述车辆为行驶状态的情况下，在检测出的所述视线的方向正朝向所述驾驶员的正面侧的规定区域且检测出的所述手的状态为所述第一状态时，不限制所述操作的接受，在检测出的所述视线的方向未朝向所述规定区域或者检测出的所述手的状态为所述第二状态时，限制所述操作的接受。
10.一种存储介质，其存储有程序，其中，
所述程序使计算机进行如下处理：
基于由设置于车辆的摄像装置拍摄到的车室内的图像，来检测所述车辆的驾驶员的视线；
基于所述图像来检测所述驾驶员的手的状态；
判定检测出的所述手的状态是推定出正进行所述车辆的驾驶操作的第一状态，还是推定出未进行所述驾驶操作的第二状态；
检测所述车辆的行驶状态；以及
在所述车辆为停止状态的情况下，不限制对配置在所述车辆内的包含显示装置的操作部的操作的接受，在所述车辆为行驶状态的情况下，在检测出的所述视线的方向正朝向所述驾驶员的正面侧的规定区域且检测出的所述手的状态为所述第一状态时，不限制所述操作的接受，在检测出的所述视线的方向未朝向所述规定区域或者检测出的所述手的状态为所述第二状态时，限制所述操作的接受。
CN202010709487.6A 2019-08-22 2020-07-22 操作控制装置、操作控制方法及存储介质 Pending CN112406900A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019152115A JP7227106B2 (ja) 2019-08-22 2019-08-22 操作制御装置、操作制御方法、およびプログラム
JP2019-152115 2019-08-22

Publications (1)

Publication Number Publication Date
CN112406900A true CN112406900A (zh) 2021-02-26

Family

ID=74647242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010709487.6A Pending CN112406900A (zh) 2019-08-22 2020-07-22 操作控制装置、操作控制方法及存储介质

Country Status (3)

Country Link
US (1) US11220181B2 (zh)
JP (1) JP7227106B2 (zh)
CN (1) CN112406900A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7163732B2 (ja) * 2018-11-13 2022-11-01 トヨタ自動車株式会社 運転支援装置、運転支援システム、運転支援方法およびプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007062503A (ja) * 2005-08-30 2007-03-15 Toyota Motor Corp 車載機器制御装置
JP2014032119A (ja) * 2012-08-03 2014-02-20 Denso Corp 操作制御装置、及び、操作制御プログラム
WO2014080570A1 (ja) * 2012-11-26 2014-05-30 株式会社デンソー 携帯端末の制御装置
CN103918017A (zh) * 2011-09-05 2014-07-09 罗伯特·博世有限公司 用于运行车辆的方法
US9475389B1 (en) * 2015-06-19 2016-10-25 Honda Motor Co., Ltd. System and method for controlling a vehicle display based on driver behavior
US20170364148A1 (en) * 2016-06-15 2017-12-21 Lg Electronics Inc. Control device for vehicle and control method thereof
US20180197030A1 (en) * 2015-07-06 2018-07-12 Denso Corporation Driver abnormality detection device and driver abnormality detection method
CN109478368A (zh) * 2016-07-12 2019-03-15 本田技研工业株式会社 驾驶辅助装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3692759B2 (ja) * 1998-01-19 2005-09-07 株式会社デンソー 車両用表示装置
US8301108B2 (en) * 2002-11-04 2012-10-30 Naboulsi Mouhamad A Safety control system for vehicles
US6668221B2 (en) * 2002-05-23 2003-12-23 Delphi Technologies, Inc. User discrimination control of vehicle infotainment system
JP2005173702A (ja) * 2003-12-08 2005-06-30 Nissan Motor Co Ltd 運転余裕度判定装置
JP4706362B2 (ja) * 2005-07-11 2011-06-22 トヨタ自動車株式会社 車両用ナビゲーションシステム
JP4972913B2 (ja) * 2005-11-18 2012-07-11 トヨタ自動車株式会社 走行支援装置
US20080129684A1 (en) * 2006-11-30 2008-06-05 Adams Jay J Display system having viewer distraction disable and method
US8106783B2 (en) * 2008-03-12 2012-01-31 Denso Corporation Input apparatus, remote controller and operating device for vehicle
JP2010127673A (ja) * 2008-11-26 2010-06-10 Calsonic Kansei Corp 車両用入力装置
US8700318B2 (en) * 2010-03-10 2014-04-15 Nissan North America, Inc. System and method for selective cancellation of navigation lockout
JP5703787B2 (ja) 2011-01-28 2015-04-22 株式会社デンソーアイティーラボラトリ 車両用情報表示装置
JP5842589B2 (ja) * 2011-12-15 2016-01-13 株式会社デンソー 車両用注意喚起装置
JP6023654B2 (ja) * 2013-05-15 2016-11-09 本田技研工業株式会社 運転支援装置および運転支援方法
US9477332B2 (en) * 2014-03-24 2016-10-25 Ford Global Technologies, Llc System and method for enabling touchscreen by passenger in moving vehicle
US9751406B2 (en) * 2014-04-03 2017-09-05 Audi Ag Motor vehicle and method for controlling a climate control system in a motor vehicle
US9457816B2 (en) * 2014-07-21 2016-10-04 Ford Global Technologies, Llc Controlling access to an in-vehicle human-machine interface
KR101601527B1 (ko) * 2014-11-04 2016-03-08 현대자동차주식회사 헤드업 디스플레이 장치 및 그의 제어방법
JP6638291B2 (ja) * 2015-09-30 2020-01-29 いすゞ自動車株式会社 状態判定装置
JP6520893B2 (ja) * 2016-04-01 2019-05-29 株式会社デンソー 運転支援装置及び運転支援プログラム
JP6202550B1 (ja) * 2016-11-04 2017-09-27 株式会社テクノワークス 事故防止対策機能を備えた携帯型の電子機器
KR101896790B1 (ko) * 2016-11-08 2018-10-18 현대자동차주식회사 운전자 집중도 판정 장치, 그를 포함한 시스템 및 그 방법
JP6693427B2 (ja) * 2017-01-18 2020-05-13 トヨタ自動車株式会社 ドライバ状態検出装置
JP6816915B2 (ja) * 2017-03-16 2021-01-20 富士通コネクテッドテクノロジーズ株式会社 情報処理装置
KR101978963B1 (ko) * 2017-05-11 2019-05-16 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
JP6662401B2 (ja) * 2018-03-13 2020-03-11 オムロン株式会社 乗員監視装置
EP3552909A1 (en) * 2018-04-11 2019-10-16 Hyundai Motor Company Apparatus and method for managing control authority transition in vehicle

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007062503A (ja) * 2005-08-30 2007-03-15 Toyota Motor Corp 車載機器制御装置
CN103918017A (zh) * 2011-09-05 2014-07-09 罗伯特·博世有限公司 用于运行车辆的方法
JP2014032119A (ja) * 2012-08-03 2014-02-20 Denso Corp 操作制御装置、及び、操作制御プログラム
WO2014080570A1 (ja) * 2012-11-26 2014-05-30 株式会社デンソー 携帯端末の制御装置
US9475389B1 (en) * 2015-06-19 2016-10-25 Honda Motor Co., Ltd. System and method for controlling a vehicle display based on driver behavior
US20180197030A1 (en) * 2015-07-06 2018-07-12 Denso Corporation Driver abnormality detection device and driver abnormality detection method
US20170364148A1 (en) * 2016-06-15 2017-12-21 Lg Electronics Inc. Control device for vehicle and control method thereof
CN109478368A (zh) * 2016-07-12 2019-03-15 本田技研工业株式会社 驾驶辅助装置

Also Published As

Publication number Publication date
JP7227106B2 (ja) 2023-02-21
JP2021033570A (ja) 2021-03-01
US11220181B2 (en) 2022-01-11
US20210053440A1 (en) 2021-02-25

Similar Documents

Publication Publication Date Title
CN109383404B (zh) 显示系统、显示方法及存储程序的介质
US20190283736A1 (en) Parking control device and vehicle control device
CN108351958A (zh) 停车位的框线的检测方法及装置
JP4591328B2 (ja) 車両の走行状態検出装置、ナビゲーション装置、及びプログラム
CN108136987A (zh) 停车位检测方法及装置
CN109890662B (zh) 车辆控制系统、车辆控制方法及存储介质
JP2016084089A (ja) 周辺監視装置
JP2008018798A (ja) 表示制御装置、表示制御方法、表示制御プログラムおよびコンピュータに読み取り可能な記録媒体
JP2011230549A (ja) 駐車支援装置
JP2019046277A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2008030541A (ja) 車両用運転支援装置、及び、車両用表示装置
JP2010134640A (ja) 情報取得装置
US11643071B2 (en) Parking assistance device and parking assistance method
CN112406900A (zh) 操作控制装置、操作控制方法及存储介质
JP2010003086A (ja) ドライブレコーダー
US11325609B2 (en) Vehicle driving assist system
JP6620368B2 (ja) 報知システム、およびプログラム
JP2007069756A (ja) 車両用入力操作規制装置
JP2007212342A (ja) 車両用表示装置
JP4706362B2 (ja) 車両用ナビゲーションシステム
JP2007233477A (ja) 車両用警報装置
JP2020086956A (ja) 撮影異常診断装置
KR101796986B1 (ko) 차량 및 그 제어방법
US11458841B2 (en) Display control apparatus, display control method, and computer-readable storage medium storing program
US11313691B2 (en) Information processing apparatus for vehicle, information processing system for vehicle, and control apparatus for vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination