CN109561277B - 监视系统 - Google Patents

监视系统 Download PDF

Info

Publication number
CN109561277B
CN109561277B CN201811104774.3A CN201811104774A CN109561277B CN 109561277 B CN109561277 B CN 109561277B CN 201811104774 A CN201811104774 A CN 201811104774A CN 109561277 B CN109561277 B CN 109561277B
Authority
CN
China
Prior art keywords
unit
monitoring
image
display
monitoring system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201811104774.3A
Other languages
English (en)
Other versions
CN109561277A (zh
Inventor
胜又健一
那须清
大桥英和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Publication of CN109561277A publication Critical patent/CN109561277A/zh
Application granted granted Critical
Publication of CN109561277B publication Critical patent/CN109561277B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Alarm Systems (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明的目的在于提供一种可以掌握动作状态的监视系统。监视系统(1)的特征在于,包括:拍摄包含车辆的室内的监视对象者的图像的拍摄部(3);基于由拍摄部(3)拍摄的图像来检测监视对象者的监视对象部位,基于检测到的监视对象部位的位置即对象部位检测位置来监视监视对象者的状态的监视部(83);设置在车辆的室内并显示表示对象部位检测位置相对于预先设定的监视适当位置的相对位置的视觉信息的显示部(41)。

Description

监视系统
技术领域
本发明涉及监视系统。
背景技术
作为搭载在车辆的以往的监视系统,例如,专利文献1公开了包括检测单元、判定单元、通知单元、停车单元的驾驶者监视装置。检测单元基于由照相机拍摄的车辆的驾驶座的图像,检测驾驶者的姿势不正确。判定单元判定由检测单元检测的驾驶者的姿势不正确是否驾驶者的习惯所导致的姿势不正确。通知单元根据判定单元所判定的结果是习惯所导致的姿势不正确还是习惯以外的姿势不正确,而通过不同的方式对驾驶者进行与姿势不正确相关的通知。在通知单元唤起注意后驾驶者的姿势没有改善,且预先决定的条件成立的情况下,停车单元向车辆控制装置输出使车辆安全停车的信号。
现有技术文献
专利文献
专利文献1:日本特开2016-038793号公报
发明内容
本发明欲解决的问题
不过,上述专利文献1所记载的驾驶者监视装置例如为了确保适当的监视,期望的构成是对于监视对象者等可以适当掌握系统当前的动作状态。
本发明是鉴于上述情况而完成的,其目的在于提供一种可以掌握动作状态的监视系统。
用于解决问题的方案
为达到上述目的,本发明所涉及的监视系统的特征在于,包括:拍摄部,拍摄包含车辆的室内的监视对象者的图像;监视部,基于由所述拍摄部拍摄的所述图像来检测所述监视对象者的监视对象部位,基于检测到的所述监视对象部位的位置即对象部位检测位置来监视所述监视对象者的状态;显示部,设置在所述车辆的室内,显示表示所述对象部位检测位置相对于预先设定的监视适当位置的相对位置的视觉信息。
另外,在所述监视系统中,所述显示部可以显示状态显示图像作为所述视觉信息,所述状态显示图像的显示色根据所述对象部位检测位置相对于所述监视适当位置的相对位置而变化。
另外,在所述监视系统中,所述显示部可以在表示所述监视适当位置的适当位置图像上组合显示表示所述对象部位检测位置的检测位置图像作为所述视觉信息。
另外,在所述监视系统中,可以包括壳体,所述壳体设置在所述车辆的天花板的所述室内侧的面上,用来组装所述拍摄部、所述监视部和所述显示部。
发明的效果
本发明所涉及的监视系统的监视部基于由拍摄部拍摄的图像来检测监视对象者的监视对象部位,基于检测到的监视对象部位的对象部位检测位置来监视监视对象者的状态。而且,在监视系统中,显示部显示表示对象部位检测位置相对于预先设定的监视适当位置的相对位置的视觉信息。其结果是,监视系统由于能够利用该视觉信息来掌握监视部是否正适当地检测监视对象者的监视对象部位,因此取得的效果是:对于监视对象者可以掌握动作状态。
附图说明
图1是表示适用实施方式所涉及的监视系统的车辆的室内的概要构成的示意图。
图2是表示实施方式所涉及的监视系统的概要构成的框图。
图3是表示实施方式所涉及的监视系统的外观的立体图。
图4是表示实施方式所涉及的监视系统的显示部的显示形态的一个例子的示意图。
图5是表示实施方式所涉及的监视系统的显示部的显示色的变化的一个例子的示意图。
图6是表示实施方式所涉及的监视系统的显示部的告知图像的一个例子的示意图。
图7是表示实施方式所涉及的监视系统的显示部的告知图像的一个例子的示意图。
图8是表示实施方式所涉及的监视系统的显示部的显示形态的一个例子的示意图。
图9是表示实施方式所涉及的监视系统的显示部的显示形态的一个例子的示意图。
标记的说明
1:监视系统
2:壳体
3:拍摄部
41:显示部
83:监视部
100:车辆
101:室内
102:天花板
I1:状态显示图像
I21、I31:适当位置图像
I22、I32:检测位置图像
OB:监视对象者
TG:监视对象部位
具体实施方式
下面,基于附图来详细说明本发明所涉及的实施方式。此外,本发明不限于本实施方式。另外,下述实施方式中的构成要素包含本领域技术人员能容易替换的要素、或者实质上相同的要素。
[实施方式]
图1、图2、图3所示的本实施方式所涉及的监视系统1是搭载在车辆100,监视该车辆100的室内101的监视对象者OB,在监视对象者OB为异常的情况下,进行各种处理的车载系统(车厢内监视系统)。监视对象者OB是监视系统1所进行的监视的对象者。监视对象者OB是乘坐在车辆100的室内101的乘客,包含车辆100的驾驶者、驾驶者以外的同乘者。作为一个例子,本实施方式的监视对象者OB以驾驶者的情况为例进行说明。而且,本实施方式的监视系统1的整体设置在车辆100的天花板102的室内101侧的面,构成集成了各种功能的头顶模块(OHM:Over-Head Module)。下面,参照各图,详细说明监视系统1的构成。
具体而言,监视系统1包括壳体2、拍摄部3、输出部4、照明部5、操作部6、外部连接部7、控制部8。此外,构成头顶模块的监视系统1例如还可以包括无线通信部、天线、电源分配部等。
壳体2容纳构成监视系统1的各部。壳体2是多个部件组合,整体形成为中空箱状。壳体2由具有绝缘性的合成树脂形成。此处,壳体2在内部组装有拍摄部3、输出部4、照明部5、操作部6、外部连接部7和控制部8并将其容纳在内,作为头顶模块而单元化。容纳在壳体2的内部的拍摄部3、输出部4、照明部5、操作部6、外部连接部7的一部分在外表面露出。而且,本实施方式的壳体2设置在车辆100的天花板(车顶面板)102的室内101侧的面。天花板102是经由柱等与车身主体连结,并支撑于该车身主体的铅垂方向上侧的结构体。车辆100以天花板102为铅垂方向上侧的边界,被划分为室内101区域与室外区域。此处,壳体2例如设置在天花板102与挡风玻璃103的交叉部分,且车辆100的车宽方向的大致中央位置。挡风玻璃103设置在车辆100的前部并构成室内101与室外的边界,也称为前玻璃。典型地,壳体2设置在驾驶者的手能够到的位置,该驾驶者是坐在与用于将车辆100转向的转向部件即方向盘104对面的驾驶座105的监视对象者OB。
拍摄部3拍摄包含车辆100的室内101的监视对象者OB即驾驶者的图像。本实施方式的拍摄部3具有以下功能:作为监视对象者OB的状态,拍摄能计测坐在驾驶座105的驾驶者的3维位置的3维图像。拍摄部3例如由立体相机等拍摄装置构成。拍摄部3例如以使立体相机的透镜在壳体2的外表面露出,并使光轴朝向室内101的驾驶座105侧的方式设置在该壳体2。拍摄部3与控制部8电连接,能够相互交换电信号,利用该控制部8控制各部的动作。例如,拍摄部3将拍摄的图像输出至控制部8。此外,拍摄部3除了立体相机之外,可以由具有拍摄3维图像的功能的TOF(Time of Flight,飞行时间)照相机、其他单眼相机构成。
输出部4向车辆100的室内101输出各种信息。此处,输出部4包含显示部41、扬声器42而构成。显示部41是输出视觉信息(图形信息、字符信息)的视觉信息显示装置,例如由薄型的液晶显示器、等离子体显示器、有机EL显示器等构成。显示部41的显示视觉信息的显示面在壳体2的外表面露出,朝向室内101的驾驶座105侧地设置在该壳体2。显示部41典型地设置在能从监视对象者OB目视到的位置。扬声器42是输出听觉信息(声音信息、声音信息)的听觉信息输出装置。构成输出部4的显示部41、扬声器42分别与控制部8电连接,能够相互交换电信号,利用该控制部8控制各部的动作。例如,显示部41显示从拍摄部3经由控制部8输出的图像等视觉信息。此外,输出部4除了显示部41、扬声器42之外,例如可以包含输出车辆100的方向盘振动、座位振动、踏板反作用力等触觉信息等触觉信息输出装置等而构成。
照明部5将车辆100的室内101照明,例如是地图灯等。照明部5例如包含白色光、红色光、蓝色光、绿色光等以各种发光色发光的LED(Light Emitting Diode,发光二极管)元件等光源而构成。照明部5例如以使照射照明光的照射面在壳体2的外表面露出,并朝向室内101侧的方式设置在该壳体2。照明部5与控制部8电连接,能够相互交换电信号,利用该控制部8控制各部的动作。例如,照明部5根据对操作部6的操作输入被控制部8控制,进行点亮或者熄灭。
操作部6是操作件,能从车辆100的室内101侧输入各种操作。操作部6例如由按键、电容式触摸开关、红外线传感器等非接触式传感器等构成。操作部6以使输入操作的部分在壳体2的外表面在乘客的手够到的位置露出,并朝向室内101侧的方式设置在该壳体2。此处,操作部6作为一个例子,包含切换照明部5的点亮和熄灭的照明操作部61、切换显示部41的显示内容的显示操作部62、进行监视系统1的各种设定的设定操作部63等而构成。构成操作部6的照明操作部61、显示操作部62、设定操作部63分别与控制部8电连接,能够相互交换电信号,利用该控制部8控制各部的动作。例如,操作部6根据操作输入将操作信号输出至控制部8。
外部连接部7是供壳体2的外部的电气设备电连接的部分。外部连接部7由各种形式的连接器、接口部构成。此处,外部连接部7例如供综合控制车辆100的各部的车辆ECU(Electronic Control Unit,电控制单元)以及在车辆100的天花板102的室内101侧的面的后排座位侧的位置设置的后模块等电连接。外部连接部7与控制部8和壳体2的外部的电气设备电连接,能够相互交换电信号。
控制部8是综合控制监视系统1的各部的部分。控制部8执行监视对象者OB的状态监视、各种支持相关的各种计算处理。控制部8包含以已知的微型计算机为主体的电子电路而构成,微型计算机包含CPU(Central Processing Unit,中央处理单元)、MPU(MicroProcessing Unit,微笑处理单元)、ASIC(Application Specific Integrated Circuit,专用集成电路)、FPGA(Field Programmable Gate Array,现场可编程门阵列)等中央计算处理装置、ROM(Read Only Memory,只读存储器)、RAM(Random Access Memory,随机存取存储器)和接口。控制部8电连接有拍摄部3、输出部4、照明部5、操作部6和外部连接部7。控制部8能够在各部之间相互交换与拍摄的图像对应的图像信号、用于驱动各部的驱动信号等各种电信号。
具体而言,控制部8功能概念上包含储存部81和处理部82而构成。储存部81和处理部82能够在电连接的各种设备之间交换各种信息。储存部81是存储器等储存装置。储存部81存储有控制部8的各种处理所需的条件、信息、控制部8执行的各种程序等。而且,储存部81还储存有在显示部41显示的一部分的图像等视觉信息、扬声器42输出的声音等听觉信息。另外,储存部81也能够临时储存拍摄部3拍摄的图像相关的信息、经由外部连接部7获取的各种信息。储存部81利用处理部82(后述的监视部83(检测部83a、判定部83b)、动作控制部84)等,根据需要读出这些信息。处理部82基于各种输入信号等,执行在储存部81储存的各种程序,通过该程序动作从而执行用于向各部输出输出信号并实现各种功能的各种处理。更详细而言,处理部82功能概念上包含监视部83和动作控制部84而构成。
监视部83是能执行监视处理的部分。监视处理是基于由拍摄部3拍摄的图像来监视监视对象者OB的状态的处理。监视部83基于由拍摄部3拍摄的图像,检测监视对象者OB的监视对象部位TG。而且,监视部83基于检测的监视对象部位TG的位置即对象部位检测位置,监视监视对象者OB的状态。此处,监视部83检测的监视对象部位TG是在监视对象者OB中成为监视的对象的部位,例如是监视对象者OB的头部,但不限于此。
更具体而言,监视部83在功能概念上包含检测部83a和判定部83b而构成。检测部83a与判定部83b分别相互电连接,并且也与储存部81、动作控制部84电连接。并且,检测部83a也与拍摄部3电连接。检测部83a是基于由拍摄部3拍摄的图像,检测监视对象者OB的监视对象部位TG,此处为头部的3维位置(位置坐标)的部分。检测部83a使用各种已知的图像处理技术、图像识别技术,作为监视对象部位TG检测监视对象者OB的头部并检测3维位置。检测部83a基于由拍摄部3拍摄的图像,作为监视对象者OB的监视对象部位TG,实时检测头部的3维位置。判定部83b是基于检测部83a检测的监视对象部位TG的3维位置即对象部位检测位置,判定监视对象者OB的状态的部分。判定部83b基于检测部83a检测的监视对象部位TG的对象部位检测位置、该对象部位检测位置的运动,使用各种已知的方法,判定监视对象者OB的状态。判定部83b例如作为监视对象者OB的状态,区分判定正常状态、异常状态等。即,判定部83b例如基于监视对象者OB的头部的位置、该头部的运动,区分判定监视对象者OB的正常状态、监视对象者OB的异常状态。判定部83b例如在对象部位检测位置(换言之,头部的位置)进行了异常的运动方式的情况下,判定为监视对象者OB是异常状态。
动作控制部84是能执行动作控制处理的部分。动作控制处理是控制拍摄部3、输出部4、照明部5和操作部6等监视系统1的各部的动作的处理。动作控制部84与拍摄部3、输出部4(显示部41、扬声器42)、照明部5、操作部6(照明操作部61、显示操作部62、设定操作部63)、外部连接部7、储存部81、监视部83(检测部83a、判定部83b)电连接。动作控制部84能够通过向拍摄部3输出驱动信号来控制拍摄部3的动作,从而使包含监视对象者OB的图像的拍摄开始或者使该拍摄结束。另外,动作控制部84能够通过向输出部4(显示部41、扬声器42)输出驱动信号来控制输出部4的动作,从而使显示部41显示视觉信息或者向扬声器42输出听觉信息。另外,动作控制部84能够通过向照明部5输出驱动信号来控制照明部5的动作,从而使照明部5点亮或者使照明部5熄灭。并且,动作控制部84能够基于从操作部6(照明操作部61、显示操作部62、设定操作部63)输入的操作信号,接受对于操作部6的操作输入,从而切换照明部5的点亮、熄灭,或者切换显示部41的显示内容,进行各种设定。另外,动作控制部84例如可以基于利用判定部83b的监视对象者OB的状态的判定结果,控制输出部4等各部的动作。在该情况下,动作控制部84例如也可以基于判定部83b所得到的监视对象者OB的状态的判定结果,控制输出部4,输出包含唤起注意、警告的各种信息。例如,动作控制部84在利用判定部83b判定为监视对象者OB的状态是正常状态的情况下,也可以不从输出部4进行监视相关的信息的输出。另一方面,动作控制部84在利用判定部83b判定为监视对象者OB的状态是异常状态的情况下,控制输出部4也可以对监视对象者OB输出表示唤起注意、警告的信息。另外,动作控制部84在向输出部4输出警告后,当预先决定的支持开始条件(例如经过预定时间等)成立时,也可以经由外部连接部7向车辆ECU输出支持要求信号,进行车辆100的自动减速、自动停止、向紧急联系方式通报等各种支持。
而且,本实施方式的动作控制部84控制显示部41,并能够执行动作状态显示处理。动作状态显示处理是指在显示部41显示表示对象部位检测位置相对于预先设定的监视适当位置的相对位置的视觉信息(以下有的情况下记作“动作状态视觉信息”)的处理。显示部41通过利用动作控制部84执行该动作状态显示处理,从而如图4、图8、图9例举的那样,显示表示对象部位检测位置相对于监视适当位置的相对位置的该动作状态视觉信息。此处,监视适当位置作为能够利用监视部83适当进行监视对象者OB的状态监视的位置,是根据该监视对象者OB的入座位置等在车辆100的室内101设定的虚拟位置,是具有预定范围的空间区域。监视适当位置例如根据实际车辆评价等而预先设定。监视适当位置例如统计地掌握监视对象者OB即驾驶者坐在驾驶座105且正常驾驶车辆100的状态下的头部的位置的分布,将其预先设定为基准。对象部位检测位置如上所述,是基于包含拍摄部3拍摄的监视对象者OB的图像由检测部83a检测的监视对象部位TG,此处为头部的3维位置。动作控制部84可以使动作状态视觉信息始终显示在显示部41,也可以根据对于操作部6的操作输入根据要求来适当显示。
显示部41例如可以如图4例举的那样,作为动作状态视觉信息,显示显示色根据对象部位检测位置相对于监视适当位置的相对位置而变化的状态显示图像I1。状态显示图像I1例如是在显示部41的显示面显示为大致矩形带状的图像。状态显示图像I1例如如图5例举的那样,对象部位检测位置相对于监视适当位置的相对位置相对地越近以越浓的显示色(图5中的“良”侧的显示色)显示。另一方面,状态显示图像I1在对象部位检测位置相对于监视适当位置的相对位置越相对地离开以越淡的显示色(图5中的“差”侧的显示色)显示。换言之,状态显示图像I1以浓的显示色显示表示对象部位检测位置相对于监视适当位置的相对位置相对地近,以淡的显示色显示表示对象部位检测位置相对于监视适当位置的相对位置相对地离开。动作控制部84读出储存在储存部81的状态显示图像I1,以与预先设定的监视适当位置和由检测部83a检测到的监视对象部位TG的对象部位检测位置的相对位置关系相应的显示色显示在显示部41。动作控制部84根据由拍摄部3拍摄且由检测部83a检测的监视对象部位TG的对象部位检测位置的变化,实时地使状态显示图像I1的显示色变化并显示在显示部41。
另外,显示部41例如如图6、图7例举的那样,作为动作状态视觉信息,除了所述状态显示图像I1外,可以显示告知图像I1a。告知图像I1a是构成用于告知对象部位检测位置的相对位置相对于预先设定的监视适当位置相对地离开的告知图形的图像。告知图像I1a例如优选的是容易使驾驶者等直观地识别的比较简便的形态的图形,在图7等例子中是模仿“×”的形状的图形,但不限于此。此处,动作控制部84例如读出储存在储存部81的告知图像I1a,以对象部位检测位置相对于监视适当位置的相对位置相对地近的情况下的浓的显示色(图5中的“良”侧的显示色),使告知图像I1a显示在显示部41。在该情况下,告知图像I1a如图6所示,在状态显示图像I1以浓的显示色显示的情况下,即,对象部位检测位置相对于监视适当位置的相对位置相对地近的情况下,与该状态显示图像I1同化地显示,成为几乎不能目视到的状态。另一方面,告知图像I1a如图7所示,在状态显示图像I1以淡的显示色显示的情况下,即,对象部位检测位置相对于监视适当位置的相对位置相对地离开的情况下,显示为与该状态显示图像I1重叠并从该状态显示图像I1浮出,成为相对容易目视的状态。如上所述,显示部41通过在状态显示图像I1中组合并显示告知图像I1a,能够将表示对象部位检测位置相对于监视适当位置的相对位置的动作状态视觉信息显示得更加直观且易于快速识别。
另外,显示部41例如如图8例举的那样,作为动作状态视觉信息,可以在表示监视适当位置的适当位置图像I21上组合显示表示对象部位检测位置的检测位置图像I22。图8例举的适当位置图像I21是包围监视适当位置的框状的图像。检测位置图像I22是模仿监视对象者OB的监视对象部位TG即头部的图像,此处是近似椭圆形的图像。适当位置图像I21基本上是显示位置被固定的静止图像。与之相对,检测位置图像I22是显示位置根据由拍摄部3拍摄且由检测部83a检测的监视对象部位TG的对象部位检测位置的变化而变化的动态图像。显示部41根据适当位置图像I21与检测位置图像I22的相对位置关系,将对象部位检测位置相对于监视适当位置的相对位置进行平面显示。此处,显示部41与适当位置图像I21、检测位置图像I22组合,与模仿方向盘104的转向图像I23、模仿驾驶座105的座椅图像I24也一起显示。由此,监视系统1能够使对象部位检测位置相对于监视适当位置的相对位置更直观易懂。检测位置图像I22通过显示在适当位置图像I21内从而表示对象部位检测位置位于监视适当位置内,通过显示在适当位置图像I21外从而表示对象部位检测位置位于监视适当位置外。动作控制部84读出储存在储存部81的适当位置图像I21、检测位置图像I22、转向图像I23、座椅图像I24,根据预先设定的监视适当位置与由检测部83a检测的监视对象部位TG的对象部位检测位置的相对位置关系,显示在显示部41。动作控制部84根据由拍摄部3拍摄且由检测部83a检测到的监视对象部位TG的对象部位检测位置的变化,实时地使检测位置图像I22的显示位置变化并显示在显示部41。
另外,显示部41例如如图9例举的那样,作为动作状态视觉信息,可以在表示监视适当位置的适当位置图像I31上组合显示表示对象部位检测位置的检测位置图像I32。图9例举的适当位置图像I31是包围监视适当位置的框状的图像。检测位置图像I32是表示监视对象者OB的监视对象部位TG即头部的位置的指针图像。适当位置图像I31与适当位置图像I21同样,基本上是显示位置被固定的静止图像。与之相对,检测位置图像I32与检测位置图像I22同样,是显示位置根据由拍摄部3拍摄且由检测部83a检测到的监视对象部位TG的对象部位检测位置的变化而变化的动态图像。此处,显示部41根据适当位置图像I31与检测位置图像I32的相对位置关系,将对象部位检测位置相对于监视适当位置的相对位置进行立体显示。此处,显示部41与适当位置图像I31、检测位置图像I32组合,与由拍摄部3拍摄的图像(动态图像)自身一起显示。由此,监视系统1能够使对象部位检测位置相对于监视适当位置的相对位置更直观易懂。检测位置图像I32通过显示在适当位置图像I31内从而表示对象部位检测位置位于监视适当位置内,通过显示在适当位置图像I31外从而表示对象部位检测位置位于监视适当位置外。动作控制部84读出储存在储存部81的适当位置图像I31、检测位置图像I32、由拍摄部3拍摄的图像,根据预先设定的监视适当位置与由检测部83a检测到的监视对象部位TG的对象部位检测位置的相对位置关系,显示在显示部41。另外,在该情况下,动作控制部84可以使由拍摄部3拍摄的图像直接显示在显示部41。动作控制部84根据由拍摄部3拍摄且由检测部83a检测到的监视对象部位TG的对象部位检测位置的变化,实时地使检测位置图像I32的显示位置变化并显示在显示部41。
以上所说明的监视系统1中,监视部83基于由拍摄部3拍摄的图像来检测监视对象者OB的监视对象部位TG,基于检测到的监视对象部位TG的对象部位检测位置来监视监视对象者OB的状态。而且,在监视系统1中,显示部41显示表示对象部位检测位置相对于预先设定的监视适当位置的相对位置的视觉信息。其结果是,监视系统1能够利用该视觉信息掌握监视部83相对于监视对象者OB等是否正适当地检测监视对象者OB的监视对象部位TG。例如,在监视对象者OB有意地移动了监视对象部位TG时动作状态视觉信息与之相应地变化的情况下,监视系统1能够掌握监视部83正适当地检测监视对象者OB的监视对象部位TG。另一方面,在尽管监视对象者OB有意地移动了监视对象部位TG,动作状态视觉信息却没有变化的情况下,监视系统1能够掌握监视部83没有适当地对于监视对象者OB等检测监视对象者OB的监视对象部位TG。其结果是,监视系统1可以对于监视对象者OB掌握动作状态。由此,监视系统1例如在监视对象者OB身上佩戴有妨碍检测部83a对于监视对象部位TG的检测的物品(例如大檐帽子、口罩、大太阳镜等)的情况下,能够提示脱下这些。另外,监视系统1例如能够对监视对象者OB提示,使监视对象部位TG位于监视适当位置。由此,监视系统1能够通过监视部83对监视对象者OB进行更适当的状态监视。
例如,在以上所说明的监视系统1中,显示部41显示显示色根据对象部位检测位置相对于监视适当位置的相对位置而变化的状态显示图像I1作为视觉信息。由此,监视系统1能够利用状态显示图像I1的显示色简单地表示对象部位检测位置相对于监视适当位置的相对位置的变化。即,监视系统1能够简单地表示并识别随着监视对象部位TG的移动,由拍摄部3拍摄且由检测部83a检测到的监视对象部位TG的对象部位检测位置是否在适当地变化。其结果是,监视系统1可以对于监视对象者OB简单地掌握动作状态。
另外,例如,在以上所说明的监视系统1中,显示部41可以在表示监视适当位置的适当位置图像I21、I31上组合显示表示对象部位检测位置的检测位置图像I22、I32作为视觉信息。在该情况下,监视系统1能够通过适当位置图像I21、I31与检测位置图像I22、I32的相对位置关系,易于理解地表示对象部位检测位置相对于监视适当位置的相对位置。即,监视系统1能够容易地表示并识别随着监视对象部位TG的移动,由拍摄部3拍摄且由检测部83a检测到的监视对象部位TG的对象部位检测位置是否正适当地变化。其结果是,监视系统1可以对于监视对象者OB更易于理解并掌握动作状态。
并且,以上所说明的监视系统1由于包含拍摄部3、输出部4、照明部5、操作部6、外部连接部7、控制部8的各部设置在壳体2,因此,能够将该监视系统1整体作为头顶模块单元化。利用该构成,能够提高监视系统1相对于车辆100的搭载性。
此外,上述的本发明的实施方式所涉及的监视系统不限于上述的实施方式,能够在权利要求书所记载的范围内进行各种变更。
在以上的说明中,作为一个例子,说明了监视部83监视作为车辆100的室内101的监视对象者OB的、坐在驾驶座105的驾驶者的状态,但不限于此。监视对象者OB可以是车辆100的驾驶者以外的同乘者。另外,说明了监视对象部位TG是监视对象者OB的头部,但不限于此,例如也可以是手臂等。
在以上的说明中,说明了监视系统1的整体设置在车辆100的天花板102的室内101侧的面,构成头顶模块,但不限于此。监视系统1的构成例如可以是控制部8设置在壳体2的外部,经由连线材与各部电连接,例如可以构成为控制部8由综合控制车辆100的各部的车辆ECU兼用。另外,显示部41、扬声器42例如也可以兼用在车辆100搭载的导航系统的显示器、扬声器等。

Claims (4)

1.一种监视系统,其特征在于,包括:
拍摄部,拍摄包含车辆的室内的监视对象者的图像;
监视部,基于由所述拍摄部拍摄的所述图像来检测所述监视对象者的监视对象部位,基于检测到的所述监视对象部位的位置即对象部位检测位置来监视所述监视对象者的状态;
显示部,设置在所述车辆的室内,显示表示所述对象部位检测位置相对于预先设定的监视适当位置的相对位置的视觉信息,
所述显示部显示状态显示图像与告知图像作为所述视觉信息,在所述状态显示图像中组合并显示所述告知图像,所述状态显示图像的显示色根据所述对象部位检测位置相对于所述监视适当位置的相对位置而变化;所述告知图像构成用于告知所述对象部位检测位置的相对于所述监视适当位置的相对位置相对地离开的告知图形。
2.如权利要求1所述的监视系统,
所述显示部以浓的显示色显示所述告知图像,
在所述对象部位检测位置相对于所述监视适当位置的相对位置相对接近的情况下,所述状态显示图像以浓的显示色显示,并且将所述告知图像以不能目视到的状态显示,在所述对象部位检测位置相对于所述监视适当位置的相对位置相对远离的情况下,所述状态显示图像以淡的显示色显示,并且将所述告知图像重叠在所述状态显示图像上,以从所述状态显示图像浮出的方式进行显示。
3.如权利要求1或2所述的监视系统,
所述显示部在表示所述监视适当位置的适当位置图像上组合显示表示所述对象部位检测位置的检测位置图像作为所述视觉信息。
4.如权利要求1或2所述的监视系统,
包括壳体,所述壳体设置在所述车辆的天花板的所述室内侧的面上,用来组装所述拍摄部、所述监视部和所述显示部。
CN201811104774.3A 2017-09-25 2018-09-21 监视系统 Expired - Fee Related CN109561277B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017183383A JP6804416B2 (ja) 2017-09-25 2017-09-25 監視システム
JP2017-183383 2017-09-25

Publications (2)

Publication Number Publication Date
CN109561277A CN109561277A (zh) 2019-04-02
CN109561277B true CN109561277B (zh) 2021-07-02

Family

ID=65638866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811104774.3A Expired - Fee Related CN109561277B (zh) 2017-09-25 2018-09-21 监视系统

Country Status (4)

Country Link
US (1) US10949688B2 (zh)
JP (1) JP6804416B2 (zh)
CN (1) CN109561277B (zh)
DE (1) DE102018216026A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6969493B2 (ja) * 2018-05-16 2021-11-24 株式会社Jvcケンウッド 映像出力装置、映像出力方法、及びコンピュータプログラム
JP6782283B2 (ja) * 2018-07-03 2020-11-11 矢崎総業株式会社 監視システム
JP6881401B2 (ja) * 2018-07-09 2021-06-02 株式会社デンソー 異常判定装置
US11345298B2 (en) * 2019-12-26 2022-05-31 Panasonic Intellectual Property Management Co., Ltd. Driver monitoring device and driver monitoring method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103796892A (zh) * 2011-07-05 2014-05-14 沙特阿拉伯石油公司 用于监测车辆司机的健康状态和人体工程学状态的系统、计算机介质和计算机实现方法
JP2015007933A (ja) * 2013-06-26 2015-01-15 富士通テン株式会社 表示制御装置、表示システム、情報提供方法及びプログラム
CN106462027A (zh) * 2014-06-23 2017-02-22 本田技研工业株式会社 对驾驶员状态进行响应的系统和方法
CN106463065A (zh) * 2014-06-23 2017-02-22 株式会社电装 驾驶员的驾驶不能状态检测装置
CN106575478A (zh) * 2014-08-08 2017-04-19 株式会社电装 驾驶员监视装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6792342B2 (en) * 1995-06-07 2004-09-14 Automotive Technologies International, Inc. Apparatus and method for controlling a vehicular component
AU767533B2 (en) * 1999-01-27 2003-11-13 Compumedics Limited Vigilance monitoring system
EP1391349B1 (en) * 2001-05-28 2010-12-29 Mitsubishi Denki Kabushiki Kaisha Device installation apparatus for moving body
WO2002096714A1 (fr) * 2001-05-28 2002-12-05 Mitsubishi Denki Kabushiki Kaisha Affichage pour corps mobile
US6947071B2 (en) * 2002-11-13 2005-09-20 Kirstin Eichmann Vehicle compartment monitor
JP3947726B2 (ja) * 2003-05-22 2007-07-25 クラリオン株式会社 車載用表示制御装置、車載用表示装置、表示制御方法、制御プログラムおよび記録媒体
BRPI0411056A (pt) * 2003-06-06 2007-04-17 Volvo Technology Corp método e disposição para controlar subsistemas veiculares baseados na atividade interpretativa do condutor
JP2007111247A (ja) * 2005-10-20 2007-05-10 Nissan Motor Co Ltd 運転者状態表示装置、および運転者状態表示方法
JP4832321B2 (ja) * 2007-01-26 2011-12-07 三洋電機株式会社 カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法
JP2009113621A (ja) * 2007-11-06 2009-05-28 Toyota Motor Corp 乗員画像撮像装置、運転支援装置
US8116528B2 (en) * 2008-10-08 2012-02-14 Honda Motor Company, Ltd. Illumination source for an image based occupant classification system and vehicle using same
US8947219B2 (en) * 2011-04-22 2015-02-03 Honda Motors Co., Ltd. Warning system with heads up display
US9602779B2 (en) * 2012-07-10 2017-03-21 Christopher DeJuliis System for passenger monitoring
BR112015002997A2 (pt) * 2012-08-17 2017-07-04 Honda Motor Co Ltd dispositivo de assistência á condução
JP6364702B2 (ja) * 2013-03-29 2018-08-01 アイシン精機株式会社 画像表示制御装置、画像表示システム、および表示ユニット
CN103770733B (zh) * 2014-01-15 2017-01-11 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
FR3021912B1 (fr) * 2014-06-10 2017-11-24 Renault Sas Systeme de detection pour vehicule automobile pour signaler a l'aide d'une scene sonore un defaut de vigilance du conducteur
KR101619651B1 (ko) * 2014-11-26 2016-05-10 현대자동차주식회사 운전자 감시장치 및 그의 조명제어방법
JP6154411B2 (ja) * 2015-02-27 2017-06-28 本田技研工業株式会社 車両の注意喚起装置
JP6507015B2 (ja) * 2015-04-08 2019-04-24 日野自動車株式会社 運転者状態判定装置
WO2018013968A1 (en) * 2016-07-14 2018-01-18 Brightday Technologies, Inc. Posture analysis systems and methods
CN106230853A (zh) * 2016-08-29 2016-12-14 陕西西北铁道电子有限公司 一种轨道车安全防护系统
US10732420B2 (en) * 2016-09-20 2020-08-04 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Head up display with symbols positioned to augment reality

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103796892A (zh) * 2011-07-05 2014-05-14 沙特阿拉伯石油公司 用于监测车辆司机的健康状态和人体工程学状态的系统、计算机介质和计算机实现方法
JP2015007933A (ja) * 2013-06-26 2015-01-15 富士通テン株式会社 表示制御装置、表示システム、情報提供方法及びプログラム
CN106462027A (zh) * 2014-06-23 2017-02-22 本田技研工业株式会社 对驾驶员状态进行响应的系统和方法
CN106463065A (zh) * 2014-06-23 2017-02-22 株式会社电装 驾驶员的驾驶不能状态检测装置
CN106575478A (zh) * 2014-08-08 2017-04-19 株式会社电装 驾驶员监视装置

Also Published As

Publication number Publication date
DE102018216026A1 (de) 2019-03-28
US10949688B2 (en) 2021-03-16
CN109561277A (zh) 2019-04-02
US20190095734A1 (en) 2019-03-28
JP2019061329A (ja) 2019-04-18
JP6804416B2 (ja) 2020-12-23

Similar Documents

Publication Publication Date Title
CN109561277B (zh) 监视系统
US11117515B2 (en) Monitoring system
CN107408349B (zh) 信息提示装置以及信息提示方法
EP3590772B1 (en) Monitoring system
US20140368029A1 (en) System for providing vehicle manipulation device information
US20140195096A1 (en) Apparatus and method for contactlessly detecting objects and/or persons and gestures and/or operating procedures made and/or carried out thereby
US20090268025A1 (en) Vehicle surrounding area display device
US9201504B2 (en) Vehicular glance lighting apparatus and a method for controlling the same
EP3192700B1 (en) Display function-equipped mirror device and display switching method
KR101351656B1 (ko) 차량용 글랜스 라이트 장치
JPH1115599A (ja) タッチ操作情報出力装置
US10549718B2 (en) Vehicle warning device
US20170102774A1 (en) Vehicular display input apparatus
JP2007223416A (ja) 車両のインストルメントパネル
US20180203517A1 (en) Method and operator control system for operating at least one function in a vehicle
JP2020001529A (ja) 車内照明システム
JP6786451B2 (ja) 監視システム
KR101271380B1 (ko) 가변 심볼 디스플레이 스위치 장치 및 이의 제어 방법
JP2008176761A (ja) 操作入力装置およびそれを用いた電気機器制御装置。
JP2013016437A (ja) 車両用操作装置
KR20140141285A (ko) 자동차용 탑승자 추적 장치
JP7426504B2 (ja) 入力装置
JP2007128770A (ja) 非接触スイッチ装置
TWI849914B (zh) 方向盤裝置總成
KR20130005582A (ko) 차량용 모션컨트롤러 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210421

Address after: Tokyo, Japan

Applicant after: YAZAKI Corp.

Address before: Tokyo, Japan

Applicant before: YAZAKI Corp.

Applicant before: Hitachi Industry & Control Solutions, Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210702