KR101241861B1 - System and Method for intelligent monitoring using proximity sensor and in vehicle camera - Google Patents

System and Method for intelligent monitoring using proximity sensor and in vehicle camera Download PDF

Info

Publication number
KR101241861B1
KR101241861B1 KR1020110037521A KR20110037521A KR101241861B1 KR 101241861 B1 KR101241861 B1 KR 101241861B1 KR 1020110037521 A KR1020110037521 A KR 1020110037521A KR 20110037521 A KR20110037521 A KR 20110037521A KR 101241861 B1 KR101241861 B1 KR 101241861B1
Authority
KR
South Korea
Prior art keywords
vehicle
image
seat
rear seat
camera
Prior art date
Application number
KR1020110037521A
Other languages
Korean (ko)
Other versions
KR20120119537A (en
Inventor
유윤식
김창영
전영준
송봉기
김태준
Original Assignee
동의대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동의대학교 산학협력단 filed Critical 동의대학교 산학협력단
Priority to KR1020110037521A priority Critical patent/KR101241861B1/en
Publication of KR20120119537A publication Critical patent/KR20120119537A/en
Application granted granted Critical
Publication of KR101241861B1 publication Critical patent/KR101241861B1/en

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 차량 뒷좌석 부분을 정밀 촬영하여 탑승자 움직임 및 음향 레벨에 따라 뒷좌석의 영상을 최우선 순위로 디스플레이하여 운전의 안전성 및 편리성을 높인 차량 실내 카메라와 근접센서를 이용한 지능형 감시 시스템 및 방법에 관한 것으로, 차량내에 설치되어 차량 뒷좌석 부분을 촬영하는 차량 뒷좌석 카메라;운전자가 전방 주시 상태에서 표시되는 영상을 확인할 수 있는 위치에 설치되는 운전석 디스플레이 장치;차량의 후방에서 다른 차량의 접근을 감지하는 차량 후방 센서;상기 차량 뒷좌석 카메라의 영상 또는 상기 차량 후방 센서의 감지 결과를 기준으로 경고 문구를 변경하여 표시하는 차량 후방 디스플레이 장치;상기 차량 뒷좌석 카메라의 영상 및 차량 후방 센서의 센싱 결과를 기준으로 운전석 디스플레이 장치에 표시되는 영상의 선택 및 차량 후방 디스플레이 장치에 표시되는 경고 문구의 변경을 제어하는 뒷좌석 상황 관리 제어부;를 포함한다.The present invention relates to an intelligent surveillance system and method using an indoor camera and a proximity sensor that enhance the safety and convenience of driving by displaying the rear seat image in the highest priority according to the occupant movement and sound level by precisely photographing the rear seat portion of the vehicle. A rear seat camera installed in the vehicle to photograph a rear seat portion of the vehicle; a driver seat display device installed at a position where a driver can check an image displayed in a front gaze state; a vehicle rear sensor that senses the approach of another vehicle from the rear of the vehicle; A vehicle rear display apparatus configured to change and display a warning message based on an image of the rear vehicle rear camera or a detection result of the rear sensor of the vehicle; a vehicle rear display apparatus based on an image of the rear vehicle rear camera and a sensing result of the rear sensor of the vehicle; Of the video displayed And a rear seat situation management controller for controlling the selection and the change of the warning text displayed on the rear display device of the vehicle.

Description

차량 실내 카메라와 근접센서를 이용한 지능형 감시 시스템 및 방법{System and Method for intelligent monitoring using proximity sensor and in vehicle camera}System and Method for intelligent monitoring using proximity sensor and in vehicle camera}

본 발명은 차량의 지능형 감시 시스템에 관한 것으로, 구체적으로 차량 뒷좌석 부분을 정밀 촬영하여 탑승자 움직임 및 음향 레벨에 따라 뒷좌석의 영상을 최우선 순위로 디스플레이하여 운전의 안전성 및 편리성을 높인 차량 실내 카메라와 근접센서를 이용한 지능형 감시 시스템 및 방법에 관한 것이다.The present invention relates to an intelligent surveillance system of a vehicle, and specifically, to closely photograph a rear seat of a vehicle and display the image of the rear seat as a top priority according to the occupant's movement and sound level, thereby increasing the safety and convenience of driving. An intelligent monitoring system and method using the sensor.

최근 차량이 고급화되고 CCD 동영상 카메라 등의 가격이 저렴해짐에 따라서, 차량에 예를 들면, 전방, 후방, 좌측방 및 우측방의 영상을 촬영할 수 있도록 다수의 카메라를 장착하고 있다.BACKGROUND ART Recently, as vehicles become more advanced and the price of CCD video cameras and the like becomes cheaper, a plurality of cameras are mounted on the vehicle so that images of, for example, front, rear, left and right rooms can be taken.

이와 같은 종래 기술은 자동차가 주행 중이거나 주차 시 차량주변의 지역을 모니터에 평면도로 보여주어, 차량 속도에 따라 카메라 각에 변화를 줌으로써 주변의 장애물이나 접촉위험에 대해 대처할 수 있다.Such a conventional technology shows a plan view of an area around a vehicle while the vehicle is driving or parked on the monitor, so that the camera angle can be changed according to the vehicle speed to cope with obstacles or contact hazards around the vehicle.

또한, 차량 사고 현장을 촬영하여 기록하는 사고 기록장치들은 대부분 차량 외부를 촬영하는 장치이고, 일부 차량 내부를 촬영하는 장치가 제안된 바가 있으나, 이들은 단지 차량의 내부 일측에 카메라를 설치하여 내부 상황을 촬영한 것으로 차량 내부 상황을 정밀하게 판단하는 것이 어렵다.In addition, most of the accident recording apparatus for recording and recording the vehicle accident scene is a device for photographing the outside of the vehicle, and a device for photographing the inside of the vehicle has been proposed, but they are only installed by installing a camera on one side of the vehicle to monitor the internal situation. It is difficult to accurately determine the situation inside the vehicle by taking pictures.

특히, 카메라의 설치 위치가 룸미러에 한정되어 있는데, 이는 하나의 카메라로 차량 내부 모두를 촬영하기 위한 것으로 운전자가 뒷좌석의 상황을 정확하게 판단하기에는 어려움이 있다.In particular, the installation position of the camera is limited to the room mirror, which is to photograph all of the inside of the vehicle with one camera, and it is difficult for the driver to accurately determine the situation of the rear seat.

이와 같은 종래 기술의 차량내 감시는 운전자 위주 또는 사고 발생 등에 주안점을 두고 있으며, 특히 지능형 차량이 나오면서 운전자의 졸음상태를 확인하여 경보등으로 알려주는 졸음방지 시스템과 사고시 등을 대비한 차량내 블랙박스 장치가 있으며, 차량외부의 경우 여러대의 카메라나 어라운드뷰 카메라를 통해 영상을 촬영하여 운전자나 웹 등에 서비스를 제공하고 있다.In-vehicle surveillance of the prior art focuses on driver-oriented or accident occurrence, and in particular, a drowsiness prevention system that checks the driver's drowsiness status as an intelligent vehicle comes out and informs by an alarm lamp and a black box device in case of an accident In the case of the outside of the vehicle, the video is taken through several cameras or around view cameras to provide services to the driver or the web.

이러한 차량 사고 방지를 위한 시스템들의 발전에도 불구하고 차량의 안전 운전에 대한 요구는 계속되고 있다.Despite the development of systems for preventing vehicle accidents, the demand for safe driving of vehicles continues.

차량 운전중에 사고 위험이 큰 경우는 졸음 운전, 운전중 통화보다는 운전중에 뒷좌석의 돌발 상황에 따라 운전자의 시야가 전방을 주시하지 않고 후방을 주시하면서 주행을 하는 경우이다.The risk of an accident while driving a vehicle is when the driver's field of view does not look forward but looks backward rather than drowsy driving or driving.

예를 들어, 차량에 어린이나 유아가 타고 있는 경우 운전에 주의를 하게 되며, 특히 어린이나 유아가 뒷좌석에 있는 경우 운전자나 조수석에서 상황 파악이 힘들고 확인을 위하여 향상 뒤를 돌아보거가 물어봐야 하고, 유아의 경우는 특히 운전중에 상태를 파악하기가 매우 어렵다. For example, if you have a child or infant in your vehicle, you may be cautious about driving, especially if the child or infant is in the back seat, it is difficult to see the situation in the driver's or passenger's seat, and you need to look back or ask for improvement. The case is particularly difficult to grasp during operation.

이와 같이 뒷좌석에서 놀고 있는 어린이나 유아용시트에 있는 애기의 현재 상태를 파악하기가 어렵고 경우에 따라서 운전중 뒷좌석의 상태 파악을 위해 뒤를 돌아보는 경우가 자주 발생하게 되어 안전운전에 방해를 주고 또한 사고의 원인을 제공하는 경우가 많이 발생하고 있다. As such, it is difficult to determine the current state of a child playing in the rear seat or the baby seat, and in some cases, it is often necessary to look back to determine the state of the rear seat while driving, which hinders safe driving and There are many cases that provide a cause.

그러나 종래 기술에서는 차량주변 감시 장치를 위한 블랙박스나 운전자 졸음방지, HUD와 같은 운전자 위주의 제품이나 기술들은 많이 제안되고 있으나, 뒷좌석에서의 돌발 상황에 대처하기 위한 기술의 개발이 많이 이루어지지 않고 있다.However, in the prior art, many drivers-oriented products or technologies such as a black box for driver's surroundings, a driver's drowsiness prevention, and a HUD have been proposed, but a lot of technologies have not been developed to cope with unexpected situations in the rear seat. .

일반적으로 레져활동이 많아지고 가족들이 차량에서 보내는 시간이 점점 더 증가하고 있으나, 운전자 중심으로 안전과 편의장치가 개발되고 있어 승객 특히 뒷좌석의 어린이나 유아를 위한 편의장치나 안전장치들은 아직 미흡한 실정이다.In general, leisure activities are increasing and families spend more and more time in the vehicle, but safety and convenience devices are being developed around the driver, so there are still insufficient facilities and safety devices for passengers, especially children and infants in the rear seats. .

본 발명은 이와 같은 종래 기술의 차량 감시 시스템의 문제를 해결하기 위한 것으로, 차량 뒷좌석 부분을 정밀 촬영하여 탑승자 움직임 및 음향 레벨에 따라 뒷좌석의 영상을 최우선 순위로 디스플레이하여 운전의 안전성 및 편리성을 높인 차량 실내 카메라와 근접센서를 이용한 지능형 감시 시스템 및 방법을 제공하는데 그 목적이 있다.The present invention is to solve the problem of the conventional vehicle monitoring system, by accurately photographing the rear seat portion of the vehicle to display the image of the rear seat in the highest priority according to the occupant movement and sound level to enhance the safety and convenience of driving An object of the present invention is to provide an intelligent surveillance system and method using a vehicle indoor camera and a proximity sensor.

본 발명은 차량 뒷좌석 부분을 정밀 촬영하여 상황 변화에 따라 뒷좌석의 영상을 선택적으로 표시하고, 뒷좌석의 탑승 상황 및 근접 센서의 센싱 결과에 따라 차량 후방으로 표시되는 경고 문구의 내용을 변경하는 차량 실내 카메라와 근접센서를 이용한 지능형 감시 시스템 및 방법을 제공하는데 그 목적이 있다.According to the present invention, a vehicle indoor camera is configured to precisely photograph a rear seat and to selectively display an image of the rear seat according to a change of situation, and to change the content of the warning text displayed at the rear of the vehicle according to the boarding situation of the rear seat and the sensing result of the proximity sensor. And to provide an intelligent monitoring system and method using a proximity sensor.

본 발명은 운전자에게 뒷좌석 어린이나 유아의 상태를 뒷좌석에 카메라를 설치하여 대쉬보드의 네비게이션이나 모니터로 쉽게 파악하여 신속한 조치를 취할 수 있도록 한 차량 실내 카메라와 근접센서를 이용한 지능형 감시 시스템 및 방법을 제공하는데 그 목적이 있다.The present invention provides an intelligent surveillance system and method using an indoor camera and a proximity sensor to enable a driver to quickly and quickly take a step by installing a camera in the rear seat to monitor the status of a rear child or infant. Its purpose is to.

본 발명은 뒷좌석에서 돌발 상황 발생시에 디스플레이 장치에 현재 표시되고 있는 내용을 차단하고 대신에 정밀 촬영된 뒷좌석의 영상을 표시하여 운전자가 뒤를 돌아보지 않고도 현재의 상태를 쉽게 파악할 수 있도록 한 차량 실내 카메라와 근접센서를 이용한 지능형 감시 시스템 및 방법을 제공하는데 그 목적이 있다.The present invention provides a vehicle interior camera that cuts off the content currently displayed on the display device when an accident occurs in the rear seat and displays an image of the rear seat that is precisely photographed instead so that the driver can easily grasp the current state without looking back. It is an object of the present invention to provide an intelligent monitoring system and method using a proximity sensor.

본 발명은 뒷좌석에서 돌발 상황 발생시에 디스플레이 장치에 현재 표시되고 있는 내용을 차단하고 대신에 정밀 촬영된 뒷좌석의 영상을 표시하고 원인이 해소(확인)되거나 정해진 시간이 경과하면 원래의 영상으로 자동으로 전환하여 표시하여 운전자의 편리성을 높인 차량 실내 카메라와 근접센서를 이용한 지능형 감시 시스템 및 방법을 제공하는데 그 목적이 있다.The present invention cuts off the content currently displayed on the display device when a sudden situation occurs in the back seat, and instead displays the image of the back seat photographed precisely and automatically switches to the original video when the cause is resolved (confirmed) or a predetermined time elapses. It is an object of the present invention to provide an intelligent surveillance system and method using an indoor camera and a proximity sensor that enhance the convenience of a driver by displaying the same.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

이와 같은 목적을 달성하기 위한 본 발명에 따른 차량 실내 카메라와 근접센서를 이용한 지능형 감시 시스템은 차량내에 설치되어 차량 뒷좌석 부분을 촬영하는 차량 뒷좌석 카메라;운전자가 전방 주시 상태에서 표시되는 영상을 확인할 수 있는 위치에 설치되는 운전석 디스플레이 장치;차량의 후방에서 다른 차량의 접근을 감지하는 차량 후방 센서;상기 차량 뒷좌석 카메라의 영상 또는 상기 차량 후방 센서의 감지 결과를 기준으로 경고 문구를 변경하여 표시하는 차량 후방 디스플레이 장치;상기 차량 뒷좌석 카메라의 영상 및 차량 후방 센서의 센싱 결과를 기준으로 운전석 디스플레이 장치에 표시되는 영상의 선택 및 차량 후방 디스플레이 장치에 표시되는 경고 문구의 변경을 제어하는 뒷좌석 상황 관리 제어부;를 포함하는 것을 특징으로 한다.An intelligent surveillance system using an indoor camera and a proximity sensor according to the present invention for achieving the above object is a vehicle rear seat camera installed in a vehicle and photographing a rear seat portion of a vehicle; a driver can check an image displayed in a front gaze state. A driver's seat display device installed at a position; a vehicle rear sensor detecting an approach of another vehicle from the rear of the vehicle; a vehicle rear display configured to change and display a warning message based on an image of the vehicle rear seat camera or a detection result of the vehicle rear sensor And a rear seat situation management controller for controlling selection of an image displayed on the driver's seat display device and a change of a warning message displayed on the vehicle rear display device based on the image of the vehicle rear seat camera and the sensing result of the vehicle rear sensor. It is characterized by.

여기서, 상기 차량 뒷좌석 카메라는 운전석의 헤드레스트 또는 실내등 위치에 설치되고, 상기 운전석 디스플레이 장치는 차량의 센터페시아 또는 대쉬보드 부분 또는 룸미러 자체 또는 차량 앞유리 자체에 설치되는 것을 특징으로 한다.Here, the vehicle rear seat camera is installed at the headrest or the interior light position of the driver's seat, and the driver's seat display device is installed on the center fascia or dashboard portion of the vehicle or the room mirror itself or the windshield itself.

그리고 상기 운전석 디스플레이 장치에는 상기 차량 뒷좌석 카메라의 영상에서 사람 인식 프로그램에 의해 사람이 인식되는 경우에만 뒷좌석의 영상을 표시하는 것을 특징으로 한다.The driver's seat display device displays an image of the rear seat only when a person is recognized by a person recognition program in the image of the rear seat camera of the vehicle.

그리고 상기 뒷좌석 상황 관리 제어부는, 상기 차량 뒷좌석 카메라에 의해 촬영된 영상을 처리하여 운전석 디스플레이 장치에 표시될 수 있도록 하고, 영상에서 사람을 인식하고 사람의 움직임 크기를 검출하는 영상 처리부와,차량 뒷좌석의 음향 크기를 판단하는 음향 판단부와,상기 영상 처리부 및 음향 판단부의 판단 결과를 기준으로 운전석 디스플레이 장치에 표되는 영상의 선택 및 차량 후방 디스플레이 장치에 표시되는 경고 문구의 변경을 결정하는 상황 판단부와,상기 차량 후방 디스플레이 장치에 표시되는 경고 문구를 저장하고 상황 판단부의 판단 결과에 따라 차량 후방 디스플레이 장치에 표시되는 경고 문구를 변경하는 경고 문구 관리부를 포함하는 것을 특징으로 한다.The rear seat situation management controller may process an image photographed by the rear seat camera of the vehicle so that it may be displayed on a driver's seat display device, and an image processor which recognizes a person in the image and detects a motion size of the person, A sound determination unit that determines an acoustic volume, a situation determination unit that determines selection of an image displayed on the driver's seat display device and a change of warning text displayed on the rear display device based on the determination result of the image processor and the sound determination unit; And a warning phrase manager configured to store the warning phrase displayed on the rear vehicle display apparatus and change the warning phrase displayed on the rear vehicle display apparatus according to a determination result of the situation determination unit.

다른 목적을 달성하기 위한 본 발명에 따른 차량 실내 카메라와 근접센서를 이용한 지능형 감시 방법은 차량에 시동이 걸리면 차량 뒷좌석 카메라를 구동하는 단계;영상 처리부에서 사람 인식 프로그램에 의해 뒷좌석에 있는 사람이 인식되면 운전석 디스플레이 장치에 뒷좌석 영상을 표시하고, 동시에 차량 후방 디스플레이 장치에 제 1 경고 문구를 표시하는 단계;상기 단계들을 처리하는 중에 차량 후방 센서가 후방에서 접근하는 차량을 감지하면 차량 후방 디스플레이 장치에 제 2 경고 문구로 변경하여 표시하는 단계;를 포함하는 것을 특징으로 한다.Intelligent monitoring method using a vehicle indoor camera and a proximity sensor according to the present invention for achieving another object comprises the steps of driving the vehicle rear seat camera when the vehicle is started; when a person in the rear seat is recognized by a person recognition program in the image processing unit Displaying a rear seat image on the driver's seat display device and simultaneously displaying a first warning message on the vehicle rear display device; when the vehicle rear sensor detects a vehicle approaching from the rear during the above steps, the second vehicle rear display device is displayed. And changing to display the warning phrase.

또 다른 목적을 달성하기 위한 차량 실내 카메라와 근접센서를 이용한 지능형 감시 방법은 차량에 시동이 걸리면 차량 뒷좌석 카메라를 구동하는 단계;영상 처리부에서 사람 인식 프로그램에 의해 뒷좌석에 있는 사람이 인식되면 차량 후방 디스플레이 장치에 제 1 경고 문구를 표시하는 단계;뒷좌석 영상에서 움직임 세기 및 음향 세기를 검출하여 기준값과 비교하고 검출된 움직임 세기 또는 음향 세기가 기준값보다 크면 디스플레이되고 있는 원래의 영상 표시를 중단하고 운전석 디스플레이 장치에 뒷좌석 영상을 표시하는 단계;뒷좌석 영상을 표시한 상태에서 기준 시간이 경과하면, 운전석 디스플레이 장치에 원래의 영상을 표시하는 단계;상기 단계들을 처리하는 중에 차량 후방 센서가 후방에서 접근하는 차량을 감지하면 차량 후방 디스플레이 장치에 제 2 경고 문구로 변경하여 표시하는 단계;를 포함하는 것을 특징으로 한다.An intelligent surveillance method using an indoor camera and a proximity sensor for achieving another object may include driving a rear seat camera when the vehicle is started; when a person in the rear seat is recognized by a person recognition program by the image processor, a rear display of the vehicle is performed. Displaying a first warning message on the device; detecting the motion intensity and the sound intensity in the rear seat image and comparing the reference value with the reference value; if the detected motion intensity or sound intensity is greater than the reference value, the original image display being displayed is stopped and the driver's seat display device is displayed. Displaying a rear seat image on the display; if a reference time elapses while the rear seat image is displayed, displaying an original image on a driver's seat display device; detecting a vehicle approaching from behind by a vehicle rear sensor while the steps are being processed; Rear vehicle display It characterized in that it comprises a; displaying by changing a second warning to the device.

여기서, 상기 제 1 경고 문구는 뒷좌석 탑승자의 안전을 위한 조심 운전 경고 문구이고, 제 2 경고 문구는 차량 추돌 경고 문구인 것을 특징으로 한다.Here, the first warning phrase is a careful driving warning phrase for the safety of the rear seat occupant, the second warning phrase is characterized in that the vehicle collision warning phrase.

이와 같은 본 발명에 따른 차량 실내 카메라와 근접센서를 이용한 지능형 감시 시스템 및 방법은 다음과 같은 효과를 갖는다.Such an intelligent surveillance system and method using an indoor camera and a proximity sensor according to the present invention have the following effects.

첫째, 상황에 따라 뒷좌석의 영상을 최우선 순위로 디스플레이하여 운전의 안전성 및 편리성을 높일 수 있다.First, depending on the situation, it is possible to increase the safety and convenience of driving by displaying the image of the rear seat as the highest priority.

둘째, 운전자가 뒷좌석의 상황 파악을 위해 뒤를 돌아보는 위험성을 제거하여 안전운전 방해 요소를 제거하고 사고를 예방하는 효과가 있다.Second, there is an effect of eliminating the obstacles for safe driving and preventing accidents by removing the risk of the driver looking back to understand the situation of the rear seat.

셋째, 뒷좌석의 탑승 상황 및 근접 센서의 센싱 결과에 따라 차량 후방으로 표시되는 경고 문구의 내용을 자동으로 변경하여 운전자의 편리성을 높인다.Third, the driver's convenience is improved by automatically changing the content of the warning text displayed at the rear of the vehicle according to the riding situation of the rear seat and the sensing result of the proximity sensor.

이는 차량 후방에 스티커를 붙이는 등의 번거로운 문제를 해결하는 효과도 있다.This also has the effect of solving a cumbersome problem such as sticking a sticker on the rear of the vehicle.

넷째, 뒷좌석에서 돌발 상황 발생시에 디스플레이 장치에 현재 표시되고 있는 내용을 차단하고 대신에 정밀 촬영된 뒷좌석의 영상을 표시하고 원인이 해소(확인)되거나 정해진 시간이 경과하면 원래의 영상으로 자동으로 전환하여 표시하여 운전자의 편리성을 높일 수 있다.Fourth, in the event of an accident in the back seat, the display device cuts off the content currently displayed on the display device, and instead displays a precisely photographed back seat and automatically switches back to the original video when the cause is resolved (confirmed) or a predetermined time elapses. The convenience of the driver can be increased by displaying.

다섯째, 기본으로 장착되어 있는 주차용 근접센서의 데이터를 사용할 수 있으므로 시스템 구축 비용을 절감할 수 있다.Fifth, it is possible to use the data of the proximity sensor that is installed as a base can reduce the system construction cost.

여섯째, 차량용 블랙박스 장치에 지능형 감시 시스템을 추가하는 경우 유아가 있는 계층을 새로운 구매층으로 형성하고 차량 판매에 도움을 줄 수 있다.
Sixth, in the case of adding an intelligent surveillance system to a vehicle black box device, it is possible to form a hierarchy with infants as a new purchasing layer and help sell a vehicle.

도 1은 본 발명에 따른 차량 실내 카메라와 근접센서를 이용한 지능형 감시 시스템의 차량 장착 구성도
도 2는 본 발명에 따른 차량 실내 카메라와 근접센서를 이용한 지능형 감시 시스템의 구성 블록도
도 3a와 도 3b는 본 발명에 따른 차량 실내 카메라와 근접센서를 이용한 지능형 감시 방법을 나타낸 플로우 차트
도 4는 본 발명에 따른 차량 후방 디스플레이 장치의 경고 문구 표시의 일예를 나타낸 구성도
1 is a vehicle mounting configuration of an intelligent surveillance system using a vehicle indoor camera and a proximity sensor according to the present invention
2 is a block diagram of an intelligent surveillance system using a vehicle indoor camera and a proximity sensor according to the present invention.
3A and 3B are flowcharts illustrating an intelligent monitoring method using a vehicle indoor camera and a proximity sensor according to the present invention.
Figure 4 is a block diagram showing an example of the warning message display of the vehicle rear display apparatus according to the present invention

이하, 본 발명에 따른 차량 실내 카메라와 근접센서를 이용한 지능형 감시 시스템 및 방법의 바람직한 실시예에 관하여 상세히 설명하면 다음과 같다.Hereinafter, a preferred embodiment of an intelligent surveillance system and method using a vehicle indoor camera and a proximity sensor according to the present invention will be described in detail.

본 발명에 따른 차량 실내 카메라와 근접센서를 이용한 지능형 감시 시스템 및 방법의 특징 및 이점들은 이하에서의 각 실시예에 대한 상세한 설명을 통해 명백해질 것이다.Features and advantages of an intelligent surveillance system and method using an indoor vehicle camera and a proximity sensor according to the present invention will become apparent from the detailed description of each embodiment below.

도 1은 본 발명에 따른 차량 실내 카메라와 근접센서를 이용한 지능형 감시 시스템의 차량 장착 구성도이고, 도 2는 본 발명에 따른 차량 실내 카메라와 근접센서를 이용한 지능형 감시 시스템의 구성 블록도이다.1 is a vehicle mounting configuration of an intelligent surveillance system using a vehicle indoor camera and a proximity sensor according to the present invention, Figure 2 is a block diagram of an intelligent surveillance system using a vehicle indoor camera and a proximity sensor according to the present invention.

본 발명은 차량 뒷좌석 부분을 정밀 촬영하여 상황 변화에 따라 뒷좌석의 영상을 선택적으로 표시하고, 뒷좌석의 탑승 상황 및 근접 센서의 센싱 결과에 따라 차량 후방으로 표시되는 경고 문구의 내용을 변경하는 것이다.The present invention is to precisely photograph the rear seat portion to selectively display the image of the rear seat according to the change of the situation, and to change the content of the warning text displayed to the rear of the vehicle in accordance with the riding situation of the rear seat and the sensing result of the proximity sensor.

본 발명에 따른 지능형 감시 시스템은 도 1 및 도 2에서와 같이, 차량 뒷좌석 카메라(100), 차량 후방 디스플레이 장치(200), 운전석 디스플레이 장치(300), 차량 후방 센서(400), 후방센서 인터페이스(500), 뒷좌석 상황 관리 제어부(600)를 포함하고 구성된다.1 and 2, the intelligent surveillance system according to the present invention, the vehicle rear seat camera 100, the vehicle rear display device 200, the driver's seat display device 300, the vehicle rear sensor 400, the rear sensor interface ( 500, the rear seat situation management control unit 600 is configured.

차량 뒷좌석 카메라(100)는 운전석 뒷부분(헤드레스트) 또는 실내등이 위치하는 영역 등에 설치되어 차량 뒷좌석 부분을 정밀 촬영할수 있도록 한 것으로, 운전자의 선택에 의해 구동되어 차량 뒷좌석 부분의 영상을 촬영하는 것이다.The vehicle rear seat camera 100 is installed at the rear of the driver's seat (headrest) or in an area in which an interior light is located to precisely photograph the rear seat of the vehicle, and is driven by the driver's selection to photograph an image of the rear seat of the vehicle.

차량 뒷좌석 카메라(100)는 하나만 설치될 수도 있고, 보다 정밀한 촬영을 위하여 복수개가 설치될 수도 있다.Only one vehicle rear seat camera 100 may be installed or a plurality of cameras may be installed for more precise shooting.

그리고 차량 후방 디스플레이 장치(200)는 차량 뒷좌석 카메라(100)에 의한 영상을 기준으로 판단한 경우 또는 차량 후방 센서(400)에 의해 다른 차량의 접근이 감지되는 경우를 기준으로 표시되는 경고 문구를 변경하여 후방으로 디스플레이하는 장치이다.In addition, the vehicle rear display apparatus 200 may change the warning phrase displayed based on the determination of the image by the vehicle rear seat camera 100 or when the approach of another vehicle is detected by the vehicle rear sensor 400. It is a device to display backward.

그리고 운전석 디스플레이 장치(300)는 운전자가 전방 주시 상태에서 표시되는 영상을 확인할 수 있는 위치에 설치되는 것으로, 차량의 센터페시아 및 대쉬보드 부분, 룸미러 자체, 차량 앞유리 자체에 설치될 수 있다.In addition, the driver's seat display apparatus 300 is installed at a position where the driver can check the image displayed in the front gaze state, and may be installed at the center fascia and the dashboard portion of the vehicle, the room mirror itself, and the vehicle windshield itself.

차량 뒷좌석 카메라(100)에 의한 영상을 기준으로 판단하여 차량 뒷좌석의 상황이 운전자의 주시 및 판단이 필요한 경우에 차량 뒷좌석의 영상을 표시하는 장치이다.It is a device that displays the image of the rear seat of the vehicle when the situation of the rear seat of the vehicle is determined based on the image of the rear seat camera 100 and requires the attention and judgment of the driver.

그리고 차량 후방 센서(400), 후방센서 인터페이스(500)는 다른 차량의 접근이 감지되는 경우 이를 감지하여 뒷좌석 상황 관리 제어부(600)로 전송하는 것이다. 차량 후방 센서(400)는 별도로 설치되는 것이 아니고 차량의 후방 주차시에 사용하기 위해 기존에 설치된 센서를 사용하는 것도 가능하다.In addition, the vehicle rear sensor 400 and the rear sensor interface 500 detect when the approach of another vehicle is detected and transmit it to the rear seat situation management controller 600. The vehicle rear sensor 400 is not separately installed, and it is also possible to use an existing sensor for use in rear parking of the vehicle.

뒷좌석 상황 관리 제어부(600)는 차량 뒷좌석 카메라(100)의 영상 및 차량 후방 센서(400)의 센싱 결과를 기준으로 운전석 디스플레이 장치(300)에 표시되는 영상의 선택 및 차량 후방 디스플레이 장치(200)에 표시되는 경고 문구의 변경을 제어한다.The rear seat situation management controller 600 selects an image displayed on the driver's seat display device 300 based on the image of the vehicle rear seat camera 100 and the sensing result of the vehicle rear sensor 400 and the vehicle rear display device 200. Controls the change of warning text displayed.

그리고 뒷좌석 상황 관리 제어부(600)는, 차량 뒷좌석 카메라(100)에 의해 촬영된 영상을 처리하여 운전석 디스플레이 장치(300)에 표시될 수 있도록 하고, 영상에서 사람을 인식하고 사람의 움직임 크기를 검출하는 영상 처리부(601)와, 차량 뒷좌석의 음향 크기를 판단하는 음향 판단부(602)와, 영상 처리부(601) 및 음향 판단부(602)의 판단 결과를 기준으로 운전석 디스플레이 장치(300)에 표되는 영상의 선택 및 차량 후방 디스플레이 장치(200)에 표시되는 경고 문구의 변경을 결정하는 상황 판단부(603)와, 차량 후방 디스플레이 장치(200)에 표시되는 경고 문구를 저장하고 상황 판단부(603)의 판단 결과에 따라 차량 후방 디스플레이 장치(200)에 표시되는 경고 문구를 변경하는 경고 문구 관리부(604)를 포함한다.The rear seat situation management controller 600 may process an image photographed by the rear seat camera 100 to be displayed on the driver's seat display apparatus 300, and may recognize a person in the image and detect a motion size of the person. On the basis of the determination result of the image processor 601, the sound determination unit 602 for determining the sound level of the rear seat of the vehicle, and the driver seat display apparatus 300 based on the determination result of the image processor 601 and the sound determination unit 602 The situation determination unit 603 determines a selection of an image and a change of the warning text displayed on the rear vehicle display apparatus 200, and stores the warning text displayed on the rear vehicle display apparatus 200. And a warning phrase manager 604 for changing the warning phrase displayed on the vehicle rear display apparatus 200 according to the determination result.

이와 같은 본 발명에 따른 차량 실내 카메라와 근접센서를 이용한 지능형 감시 시스템은 차량 운행시에 뒷좌석에서 유아(사람)가 촬상되면, 뒷좌석의 상황에 따라 운전자가 전방 주시 상태에서 뒷좌석의 상황을 파악할 있도록 뒷좌석 영상을 표시하고 차량 후방 디스플레이 장치에 조심 운전 경고 문구 표시하고, 근접 센서를 이용하여 다른 차량의 접근시에 디스플레이 장치에 추돌 경고 문구를 표시하는 것이다.The intelligent surveillance system using the indoor camera and the proximity sensor according to the present invention, if the infant (person) is captured in the rear seat while the vehicle is driving, the rear seat so that the driver can grasp the situation of the rear seat in the front gaze state according to the situation of the back seat It displays an image, displays a careful driving warning text on the vehicle rear display device, and displays a collision warning text on the display device when another vehicle approaches by using a proximity sensor.

이와 같은 본 발명에 따른 차량 실내 카메라와 근접센서를 이용한 지능형 감시 시스템의 동작을 구체적으로 설명하면 다음과 같다.The operation of the intelligent surveillance system using the indoor camera and the proximity sensor according to the present invention will be described in detail as follows.

도 3a와 도 3b는 본 발명에 따른 차량 실내 카메라와 근접센서를 이용한 지능형 감시 방법을 나타낸 플로우 차트이고, 도 4는 본 발명에 따른 차량 후방 디스플레이 장치의 경고 문구 표시의 일예를 나타낸 구성도이다.3A and 3B are flowcharts illustrating an intelligent monitoring method using a vehicle indoor camera and a proximity sensor according to the present invention, and FIG. 4 is a block diagram showing an example of warning text display of the vehicle rear display apparatus according to the present invention.

본 발명의 제1 실시예에 따른 차량 실내 카메라와 근접센서를 이용한 지능형 감시 방법은 도 3a에서와 같이, 차량에 시동이 걸리면 차량 뒷좌석 카메라(100)가 동작을 하고(S301), 영상 처리부(601)에서 사람 인식 프로그램에 의해 뒷좌석에 있는 사람을 인식하면(S302), 운전석 디스플레이 장치(300)에 뒷좌석 영상을 표시하고(S303), 동시에 차량 후방 디스플레이 장치(200)에 "아이가 타고 있어요"와 같은 경고 문구를 표시한다.(S304)In the intelligent monitoring method using the indoor camera and the proximity sensor according to the first embodiment of the present invention, as shown in FIG. 3A, when the vehicle is started, the rear seat camera 100 operates (S301) and the image processor 601. Recognizing a person in the rear seat by the person recognition program in the (S302), and displays the rear seat image on the driver's seat display device (300) (S303), and at the same time "child is riding" on the vehicle rear display device (200) The same warning phrase is displayed (S304).

이와 같은 상태에서 주차를 위해 기 설치된 차량 후방 센서(400)로부터 받은 신호 값을 처리하여 뒷 차량이 일정거리 이상으로 가까이 다가오면(S305) 차량 후방 디스플레이 장치(200)에“추돌 주의 하세요“로 디스플레이 내용을 변경하여 표시한다.(S306)In such a state, the vehicle receives a signal value received from the vehicle rear sensor 400 that is already installed for parking, and when the rear vehicle approaches a predetermined distance or more (S305), the vehicle rear display apparatus 200 displays “Please watch out for collision”. The contents are changed and displayed. (S306)

즉, 도 4에서와같이, "아이가 타고 있어요"와 같은 경고 문구를 표시한 상태에서 차량 후방에서 접근하는 다른 차량이 일정거리를 벗어나면 ”아이가 타고 있어요”로 상호 전환이 이루어진다.That is, as shown in FIG. 4, when another vehicle approaching from the rear of the vehicle is out of a certain distance while displaying a warning message such as “child is riding”, the mutual conversion is performed to “child is riding”.

만약, 아이가 타고 있는 않은 경우나 초보 운전자의 경우에는 “초보운전”을 차량 후방에 디스플레이 할 수도 있다.If your child is not riding or if you are a novice driver, you may want to display “Beginner Driving” behind the vehicle.

그리고 본 발명의 제1 실시예에 따른 차량 실내 카메라와 근접센서를 이용한 지능형 감시 방법은 도 3b에서와 같이, 차량 뒷좌석 부분을 정밀 촬영하여 탑승자 움직임 및 음향 레벨에 따라 뒷좌석의 영상을 최우선 순위로 디스플레이하고, 기준 시간이 경과하면 원래의 영상을 표시하는 것이다.In the intelligent monitoring method using the indoor camera and the proximity sensor according to the first embodiment of the present invention, as shown in FIG. 3B, the rear seat portion is precisely photographed to display the rear seat image according to the occupant movement and sound level as the highest priority as shown in FIG. 3B. When the reference time elapses, the original image is displayed.

먼저, 차량에 시동이 걸리면 차량 뒷좌석 카메라(100)가 동작을 하고(S311), 영상 처리부(601)에서 사람 인식 프로그램에 의해 뒷좌석에 있는 사람을 인식하면(S312), 차량 후방 디스플레이 장치(200)에 "아이가 타고 있어요"와 같은 경고 문구를 표시한다.(S313)First, when the vehicle is started, the vehicle rear seat camera 100 operates (S311), and when the image processor 601 recognizes a person in the rear seat by a person recognition program (S312), the vehicle rear display apparatus 200. Display a warning phrase such as "A child is riding." (S313)

그리고 뒷좌석 영상에서 움직임 세기 및 음향 세기를 검출하여(S314), 기준값과 비교한다.(S315)Then, the motion intensity and the sound intensity are detected in the rear seat image (S314) and compared with a reference value (S315).

검출된 움직임 세기 또는 음향 세기가 기준값보다 크면 디스플레이되고 있는 원래의 영상 표시를 중단하고 운전석 디스플레이 장치(300)에 뒷좌석 영상을 표시하고(S316), 아니면 차량 후방 디스플레이 장치(200)에 "아이가 타고 있어요"와 같은 경고 문구를 표시한 상태에서 차량 후방 센서(400)의 검출 결과를 확인한다.If the detected motion intensity or sound intensity is greater than the reference value, the original image display being displayed is stopped and the rear seat image is displayed on the driver's seat display device 300 (S316), or the vehicle rear display device 200 displays a "child rides." Check the detection result of the vehicle rear sensor 400 in the state of displaying the warning phrase.

이어, 운전석 디스플레이 장치(300)에 뒷좌석 영상을 표시한 상태에서 기준 시간이 경과하면(S317), 운전자가 전방 주시 상태에서 뒷좌석의 상황을 모두 파악한 것으로 판단하여 운전석 디스플레이 장치(300)에 원래의 영상을 표시한다.(S318)Subsequently, when the reference time has elapsed while the rear seat image is displayed on the driver's seat display apparatus 300 (S317), the driver determines that the driver has grasped the situation of the rear seat in the front gaze state and the original image is displayed on the driver's seat display apparatus 300. (S318)

그리고 상기 단계들을 수행하는 중에 차량 후방 센서(400)로부터 받은 신호 값을 처리하여 뒷 차량이 일정거리 이상으로 가까이 다가오면(S319) 차량 후방 디스플레이 장치(200)에“추돌 주의 하세요“로 디스플레이 내용을 변경하여 표시한다.(S320)In addition, if the rear vehicle approaches a predetermined distance or more by processing the signal value received from the vehicle rear sensor 400 while performing the above steps (S319), the display content is displayed on the vehicle rear display apparatus 200 as "Crash Caution". Change and display. (S320)

이와 같은 본 발명은 차량 뒷좌석 부분을 정밀 촬영하여 탑승자 움직임 및 음향 레벨에 따라 뒷좌석의 영상을 최우선 순위로 디스플레이하고 뒷좌석의 탑승 상황 및 근접 센서의 센싱 결과에 따라 차량 후방으로 표시되는 경고 문구의 내용을 변경하여 안전 운전에 도움을 줄 수 있도록 한 것이다.The present invention is to accurately photograph the rear seat portion of the vehicle to display the image of the rear seat in the highest priority according to the occupant movement and sound level, and to display the contents of the warning phrase displayed to the rear of the vehicle according to the riding situation of the rear seat and the sensing result of the proximity sensor. The change was made to help you drive safely.

차량이 고급화되면서 수요자의 요구를 많이 반영하고 있으므로 자동차 업체에서 이러한 본 발명에 따른 차량 실내 카메라와 근접센서를 이용한 지능형 감시 시스템 및 방법을 추가할 경우 어린 자녀가 있는 가정에 매우 긍정적인 반향을 일으켜 차량 판매 및 홍보에 좋은 효과가 있을 것이다.As the vehicle is being advanced, it reflects the demands of the consumers, and thus, when an automobile company adds an intelligent surveillance system and method using an indoor camera and a proximity sensor according to the present invention, the vehicle has a very positive effect on the home with young children. It will have a good effect on sales and promotion.

이와 같은 본 발명에 따른 차량 실내 카메라와 근접센서를 이용한 지능형 감시 시스템 및 방법은 향후 차량 네트워크나 MOST 네트워크와의 연계 할 수 있으며, 블랙박스 장치에 이러한 기능을 추가하여 안전성 및 편리성을 높이는 것도 가능하다.Such an intelligent surveillance system and method using an indoor camera and a proximity sensor according to the present invention can be linked with a vehicle network or a MOST network in the future, and it is also possible to increase safety and convenience by adding such a function to a black box device. Do.

이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.It will be understood that the present invention is implemented in a modified form without departing from the essential features of the present invention as described above.

그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.It is therefore to be understood that the specified embodiments are to be considered in an illustrative rather than a restrictive sense and that the scope of the invention is indicated by the appended claims rather than by the foregoing description and that all such differences falling within the scope of equivalents thereof are intended to be embraced therein It should be interpreted.

100. 차량 뒷좌석 카메라 200. 차량 후방 디스플레이 장치
300. 운전석 디스플레이 장치 400. 차량 후방 센서
500. 후방 센서 인터페이스 600. 뒷좌석 상황 관리 제어부
100. Vehicle rear seat camera 200. Vehicle rear display unit
300. Driver seat display device 400. Vehicle rear sensor
500. Rear sensor interface 600. Rear seat situation control controls

Claims (7)

차량내에 설치되어 차량 뒷좌석 부분을 촬영하는 차량 뒷좌석 카메라;
운전자가 전방 주시 상태에서 표시되는 영상을 확인할 수 있는 위치에 설치되고, 상기 차량 뒷좌석 카메라의 영상에서 사람 인식 프로그램에 의해 사람이 인식되는 경우에만 뒷좌석의 영상을 표시하는 운전석 디스플레이 장치;
차량의 후방에서 다른 차량의 접근을 감지하는 차량 후방 센서;
상기 차량 뒷좌석 카메라의 영상 또는 상기 차량 후방 센서의 감지 결과를 기준으로 경고 문구를 변경하여 표시하는 차량 후방 디스플레이 장치;
상기 차량 뒷좌석 카메라의 영상 및 차량 후방 센서의 센싱 결과를 기준으로 운전석 디스플레이 장치에 표시되는 영상의 선택 및 차량 후방 디스플레이 장치에 표시되는 경고 문구의 변경을 제어하는 뒷좌석 상황 관리 제어부;를 포함하고 구성되는 것을 특징으로 하는 차량 실내 카메라와 근접센서를 이용한 지능형 감시 시스템.
A vehicle rear seat camera installed in the vehicle to photograph a rear seat portion of the vehicle;
A driver's seat display device installed at a position where a driver can check an image displayed in the front gaze state and displaying an image of the rear seat only when a person is recognized by a person recognition program in the image of the rear seat camera;
A vehicle rear sensor for sensing the approach of another vehicle at the rear of the vehicle;
A vehicle rear display apparatus configured to change and display a warning message based on an image of the vehicle rear seat camera or a detection result of the vehicle rear sensor;
And a rear seat situation management controller configured to control the selection of an image displayed on the driver's seat display device and a change of a warning message displayed on the rear vehicle display device based on the image of the vehicle rear seat camera and the sensing result of the vehicle rear sensor. Intelligent surveillance system using a vehicle indoor camera and a proximity sensor.
제 1 항에 있어서, 상기 차량 뒷좌석 카메라는 운전석의 헤드레스트 또는 실내등 위치에 설치되고,
상기 운전석 디스플레이 장치는 차량의 센터페시아 또는 대쉬보드 부분 또는 룸미러 자체 또는 차량 앞유리 자체에 설치되는 것을 특징으로 하는 차량 실내 카메라와 근접센서를 이용한 지능형 감시 시스템.
According to claim 1, wherein the vehicle rear seat camera is installed in the headrest or interior light position of the driver's seat,
The driver's seat display device is installed in the center fascia or dashboard portion of the vehicle or the room mirror itself or the vehicle windshield itself, characterized in that the intelligent monitoring system using the indoor camera and the proximity sensor.
삭제delete 제 1 항에 있어서, 상기 뒷좌석 상황 관리 제어부는,
상기 차량 뒷좌석 카메라에 의해 촬영된 영상을 처리하여 운전석 디스플레이 장치에 표시될 수 있도록 하고, 영상에서 사람을 인식하고 사람의 움직임 크기를 검출하는 영상 처리부와,
차량 뒷좌석의 음향 크기를 판단하는 음향 판단부와,
상기 영상 처리부 및 음향 판단부의 판단 결과를 기준으로 운전석 디스플레이 장치에 표되는 영상의 선택 및 차량 후방 디스플레이 장치에 표시되는 경고 문구의 변경을 결정하는 상황 판단부와,
상기 차량 후방 디스플레이 장치에 표시되는 경고 문구를 저장하고 상황 판단부의 판단 결과에 따라 차량 후방 디스플레이 장치에 표시되는 경고 문구를 변경하는 경고 문구 관리부를 포함하는 것을 특징으로 하는 차량 실내 카메라와 근접센서를 이용한 지능형 감시 시스템.
According to claim 1, The rear seat situation management control unit,
An image processor configured to process the image photographed by the rear seat camera so as to be displayed on the driver's seat display device, recognize a person in the image, and detect a motion size of the person;
An acoustic judging unit for judging the loudness of the rear seat of the vehicle,
A situation determination unit determining selection of an image displayed on the driver's seat display device and a change of the warning text displayed on the rear display device of the vehicle, based on the determination result of the image processing unit and the sound determination unit;
And a warning phrase manager configured to store the warning phrase displayed on the rear vehicle display device and to change the warning phrase displayed on the rear vehicle display device according to the determination result of the situation determination unit. Intelligent surveillance system.
차량에 시동이 걸리면 차량 뒷좌석 카메라를 구동하는 단계;
영상 처리부에서 사람 인식 프로그램에 의해 뒷좌석에 있는 사람이 인식되면 운전석 디스플레이 장치에 뒷좌석 영상을 표시하고, 동시에 차량 후방 디스플레이 장치에 뒷좌석 탑승자의 안전을 위한 조심 운전 경고 문구를 표시하는 단계;
상기 단계들을 처리하는 중에 차량 후방 센서가 후방에서 접근하는 차량을 감지하면 차량 후방 디스플레이 장치에 차량 추돌 경고 문구로 변경하여 표시하는 단계;를 포함하는 것을 특징으로 하는 차량 실내 카메라와 근접센서를 이용한 지능형 감시 방법.
Driving the vehicle rear seat camera when the vehicle is started;
Displaying a rear seat image on the driver's seat display apparatus when a person in the rear seat is recognized by the person recognition program in the image processor, and simultaneously displaying a careful driving warning message for safety of the rear seat occupant on the rear display apparatus of the vehicle;
When the vehicle rear sensor detects a vehicle approaching from the rear during the processing of the steps, changing the vehicle collision warning message to display on the vehicle rear display device; Intelligent vehicle using a vehicle indoor camera and a proximity sensor Surveillance Method.
차량에 시동이 걸리면 차량 뒷좌석 카메라를 구동하는 단계;
영상 처리부에서 사람 인식 프로그램에 의해 뒷좌석에 있는 사람이 인식되면 차량 후방 디스플레이 장치에 제 1 경고 문구를 표시하는 단계;
뒷좌석 영상에서 움직임 세기 및 음향 세기를 검출하여 기준값과 비교하고 검출된 움직임 세기 또는 음향 세기가 기준값보다 크면 디스플레이되고 있는 원래의 영상 표시를 중단하고 운전석 디스플레이 장치에 뒷좌석 영상을 표시하는 단계;
뒷좌석 영상을 표시한 상태에서 기준 시간이 경과하면, 운전석 디스플레이 장치에 원래의 영상을 표시하는 단계;
상기 단계들을 처리하는 중에 차량 후방 센서가 후방에서 접근하는 차량을 감지하면 차량 후방 디스플레이 장치에 제 2 경고 문구로 변경하여 표시하는 단계;를 포함하는 것을 특징으로 하는 차량 실내 카메라와 근접센서를 이용한 지능형 감시 방법.
Driving the vehicle rear seat camera when the vehicle is started;
Displaying a first warning message on the rear display apparatus of the vehicle when the person in the rear seat is recognized by the person recognition program by the image processor;
Detecting the motion intensity and the sound intensity in the rear seat image and comparing the reference value with the reference value and stopping displaying the original image being displayed when the detected motion intensity or sound intensity is greater than the reference value and displaying the rear seat image on the driver's seat display device;
Displaying the original image on the driver's seat display apparatus when the reference time elapses while the rear seat image is displayed;
When the vehicle rear sensor detects a vehicle approaching from the rear during the processing of the steps, changing and displaying the second warning phrase on the vehicle rear display device; Intelligent using the indoor camera and proximity sensor Surveillance Method.
제 6 항에 있어서, 상기 제 1 경고 문구는 뒷좌석 탑승자의 안전을 위한 조심 운전 경고 문구이고, 제 2 경고 문구는 차량 추돌 경고 문구인 것을 특징으로 하는 차량 실내 카메라와 근접센서를 이용한 지능형 감시 방법.
The method of claim 6, wherein the first warning phrase is a careful driving warning phrase for the safety of the rear seat occupant, and the second warning phrase is a vehicle collision warning phrase.
KR1020110037521A 2011-04-21 2011-04-21 System and Method for intelligent monitoring using proximity sensor and in vehicle camera KR101241861B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110037521A KR101241861B1 (en) 2011-04-21 2011-04-21 System and Method for intelligent monitoring using proximity sensor and in vehicle camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110037521A KR101241861B1 (en) 2011-04-21 2011-04-21 System and Method for intelligent monitoring using proximity sensor and in vehicle camera

Publications (2)

Publication Number Publication Date
KR20120119537A KR20120119537A (en) 2012-10-31
KR101241861B1 true KR101241861B1 (en) 2013-03-11

Family

ID=47286763

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110037521A KR101241861B1 (en) 2011-04-21 2011-04-21 System and Method for intelligent monitoring using proximity sensor and in vehicle camera

Country Status (1)

Country Link
KR (1) KR101241861B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160089200A (en) * 2015-01-19 2016-07-27 엘지전자 주식회사 Vehicle image display device and control method thereof
US11292342B1 (en) 2020-12-14 2022-04-05 Ford Global Technologies, Llc Systems and methods for alerting a driver to check back seat occupancy in a vehicle
EP4266278A1 (en) * 2022-04-20 2023-10-25 Aptiv Technologies Limited In-vehicle occupant monitoring and calming system

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101895485B1 (en) 2015-08-26 2018-09-05 엘지전자 주식회사 Drive assistance appratus and method for controlling the same
KR102056377B1 (en) 2017-12-15 2019-12-16 엘지전자 주식회사 Vehicle control device mounted on vehicle and method for controlling the vehicle
CN113345146B (en) * 2021-05-28 2023-05-23 宁波智想科技有限公司 Intelligent gate and application method thereof
KR102457629B1 (en) * 2022-01-26 2022-10-21 이상배 Apparatus for real-time condition check of vehicle back seat

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200172344Y1 (en) * 1999-03-25 2000-03-15 박노춘 Black box system for a vehicle
KR20020075129A (en) * 2001-03-23 2002-10-04 신희섭 Display apparatus for driving condition of the car
KR200348454Y1 (en) * 2003-11-17 2004-05-03 홍명기 Distance detector by graph
KR20060098090A (en) * 2005-03-08 2006-09-18 (주)무선스포트 Controller used in an ambulance

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200172344Y1 (en) * 1999-03-25 2000-03-15 박노춘 Black box system for a vehicle
KR20020075129A (en) * 2001-03-23 2002-10-04 신희섭 Display apparatus for driving condition of the car
KR200348454Y1 (en) * 2003-11-17 2004-05-03 홍명기 Distance detector by graph
KR20060098090A (en) * 2005-03-08 2006-09-18 (주)무선스포트 Controller used in an ambulance

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160089200A (en) * 2015-01-19 2016-07-27 엘지전자 주식회사 Vehicle image display device and control method thereof
KR101667731B1 (en) * 2015-01-19 2016-10-19 엘지전자 주식회사 Vehicle image display device and control method thereof
US11292342B1 (en) 2020-12-14 2022-04-05 Ford Global Technologies, Llc Systems and methods for alerting a driver to check back seat occupancy in a vehicle
EP4266278A1 (en) * 2022-04-20 2023-10-25 Aptiv Technologies Limited In-vehicle occupant monitoring and calming system

Also Published As

Publication number Publication date
KR20120119537A (en) 2012-10-31

Similar Documents

Publication Publication Date Title
KR101241861B1 (en) System and Method for intelligent monitoring using proximity sensor and in vehicle camera
JP4517393B2 (en) Driving assistance device
WO2020055992A1 (en) Inward/outward vehicle monitoring for remote reporting and in-cab warning enhancements
JP5082834B2 (en) Aside look detection device and method, and program
JP7047763B2 (en) Driving assistance devices and methods, mobiles, and programs
JP6462629B2 (en) Driving support device and driving support program
US9767374B2 (en) Driver check apparatus
US20130113614A1 (en) Systems and methods for vehicle door clearance zone projection
JP2007141223A (en) Information processing apparatus and method, recording medium, and program
JP2010217956A (en) Information processing apparatus and method, program, and information processing system
JP6922919B2 (en) Driving assistance devices and methods, moving objects, and programs
US20200062246A1 (en) Emergency braking device for vehicle
US11238739B2 (en) Method and apparatus to prevent VRU accidents
KR101960915B1 (en) System and method for preventing collision of door of vehicle
CN112238859A (en) Driving support device
JP2010039919A (en) Warning device
JP2017151606A (en) Inattentiveness/overlooking reminding system and computer program
JP2008143381A (en) Vehicular warning system, and warning method of the same
WO2018058273A1 (en) Anti-theft method and system
TW201628887A (en) Control system and control method for collision avoidance when opening the door
KR20200072897A (en) Apparatus of managing vehicle invasion, system having the same and method thereof
JP2007168570A (en) Controller of vehicle-mounted camera
JP2008120142A (en) Information display system for automobile
KR101636241B1 (en) System for preventing drowsy drive
JP2013180634A (en) Vehicle-mounted electric equipment and vehicle with the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160223

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170303

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee