CN113165667A - 调节摄像机的视角的车辆用全景监控系统及其方法 - Google Patents

调节摄像机的视角的车辆用全景监控系统及其方法 Download PDF

Info

Publication number
CN113165667A
CN113165667A CN201980081973.3A CN201980081973A CN113165667A CN 113165667 A CN113165667 A CN 113165667A CN 201980081973 A CN201980081973 A CN 201980081973A CN 113165667 A CN113165667 A CN 113165667A
Authority
CN
China
Prior art keywords
vehicle
driver
camera
face
steering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980081973.3A
Other languages
English (en)
Inventor
吴世斌
金正洙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meekyungtec Co Ltd
Original Assignee
Meekyungtec Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meekyungtec Co Ltd filed Critical Meekyungtec Co Ltd
Publication of CN113165667A publication Critical patent/CN113165667A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18036—Reversing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1215—Mirror assemblies combined with other articles, e.g. clocks with information displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0042—Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means
    • B60R2011/008—Adjustable or movable supports
    • B60R2011/0085—Adjustable or movable supports with adjustment by rotation in their operational position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/18—Propelling the vehicle
    • B60Y2300/18008—Propelling the vehicle related to particular drive situations
    • B60Y2300/18033—Reversing

Abstract

一种车辆用全景监控系统，包括：后置摄像机模块(10)，安装在车辆的一区域，用于获取车辆的周围影像，接口部(20)，用于接收驾驶员的面部(21)向左右旋转的旋转角(α)和/或面部(21)从驾驶员的身体中心轴向左右移动的左右移动量(l)信息，摄像机转向处理器(30)，进行控制以根据接口部(20)接收到的信息来调节后置摄像机模块(10)的摄像机(11)的角度(θ)，以及图像处理器(50)，进行控制以通过显示部(40)显示车辆的周围影像中与接口部(20)接收到的信息相匹配的区域(41)的影像。

Description

调节摄像机的视角的车辆用全景监控系统及其方法
技术领域
本发明涉及通过向驾驶员显示拍摄了车辆周围的影像来提供驾驶便利的全景监控系统(Around View Monitoring system：AVM)，更详细地，涉及根据车辆行驶状态及驾驶员的状态来调节摄像机的视角的车辆用全景监控系统及其方法。
另外，本发明涉及用于改善从车辆用全景监控系统的显示部提供的影像的直观性的车辆用全景监控系统及其方法。
背景技术
全景监控系统(Around View Monitoring system：AVM)是将附着在车辆的摄像机拍摄到的车辆的周围影像显示在车辆内的监控器，使得驾驶员能够通过监控器的影像来识别车辆周围环境，并在此状况下驾驶车辆的系统。
通常，在驾驶车辆时，驾驶员可以容易地识别并判断作为前进方向的前方的状况，然而车辆的左、右两侧及后方作为驾驶员的视野盲区，难以识别。为此，作为解决当前在运行的车辆中存在的这些问题的手段，在车辆的室内外部及侧面部安装常规室内镜、侧视镜、后视镜等作为基本配置。
另一方面，如上所述的常规配置的视野确保手段(室内镜、侧视镜、后视镜等)是由通过利用光反射来识别物体的镜子，其分别分散设置于车辆的室内外部以及侧面部。
因此，这种以往的视野确保手段作为简单地通过光的反射作用来识别物体的镜子结构，形成的视角窄，并且后座席的人、行李、拖车等会遮挡视野，被摄体的清晰度以及反射范围也极度受限。
为此，近年来，作为解决了部分如上所述的以往视野确保手段的问题的技术，具有如下的电子式全显示镜(Full Display Mirror)等的装置：即，将从后置摄像机获取的影像信息传输到执行室内镜功能的显示部并进行显示，从而确保宽视野。
然而，与镜式室内镜不同地，这种电子式全显示镜不会根据观察者视线与镜轴形成的角度变化而产生相位变换，因此会使驾驶员感到异样感。
发明内容
发明要解决的问题
为了解决如上所述的问题，本发明提供具有如下的车辆用全景监控系统及其方法：即，图像处理部向驾驶员显示与驾驶员的面部的轴或位置、方向盘的转向角或车体的倾斜度信息相匹配的区域的影像，同时摄像机转向部根据这些信息调节后置摄像机模块的摄像机的角度。然而，这些问题仅是例示性的，本发明的范围并不限于此。
用于解决问题的手段
根据本发明一实施例的车辆用全景监控系统可包括：后置摄像机模块，安装在车辆的一区域，用于获取车辆的周围影像，接口部，用于接收驾驶员的面部向左右旋转的旋转角和/或面部从驾驶员的身体中心轴向左右移动的左右移动量信息，摄像机转向处理器，进行控制以根据接口部接收到的信息来调节后置摄像机模块的摄像机的角度，以及图像处理器，进行控制以通过显示部显示车辆的周围影像中与接口部接收到的信息相匹配的区域的影像。
在根据本发明一实施例的车辆用全景监控系统中，接口部还可以接收方向盘的转向角和/或车体的倾斜度信息。
在根据本发明一实施例的车辆用全景监控系统中，图像处理器可以进行控制以根据驾驶员的面部轴的旋转角或左右移动量、方向盘的转向角和/或车体的倾斜度信息来移动通过显示部显示的区域的影像或变更显示倍率。
在根据本发明一实施例的车辆用全景监控系统中，在驾驶员的面部位置向前方或后方移动时，图像处理器可以进行控制以分别增大或减小通过显示部显示的区域的影像的显示倍率。
在根据本发明一实施例的车辆用全景监控系统中，在驾驶员的面部向右侧或左侧旋转时，摄像机转向处理器可以进行控制以使后置摄像机模块的摄像机的轴分别向顺时针方向或逆时针方向旋转。
在根据本发明一实施例的车辆用全景监控系统中，在面部从驾驶员的身体中心轴向右侧或左侧移动时，摄像机转向处理器可以进行控制以使后置摄像机模块的摄像机的轴分别向顺时针方向或逆时针方向旋转。
在根据本发明一实施例的车辆用全景监控系统中，在车辆前进时方向盘的转向角或车体的倾斜度向左侧或右侧增大的情况下，摄像机转向处理器可以进行控制以使后置摄像机模块的摄像机的轴分别向顺时针方向或逆时针方向旋转。
在根据本发明一实施例的车辆用全景监控系统中，在车辆倒车时方向盘的转向角或车体的倾斜度向左侧或右侧增大的情况下，摄像机转向处理器可以进行控制以使后置摄像机模块的摄像机的轴分别向顺时针方向或逆时针方向旋转。
在根据本发明一实施例的车辆用全景监控系统中，摄像机转向处理器和/或图像处理器可以进行控制，使得在驾驶员的面部位置移动的情况下，与驾驶员的面部旋转的情况相比，通过显示部显示的区域的影像更大幅度地移动或摄像机轴更大幅度地旋转。
根据本发明一实施例的车辆用全景监控方法可包括如下步骤：接口部接收驾驶员的面部向左右旋转的旋转角和/或面部从驾驶员的身体中心轴向左右移动的左右移动量信息，摄像机转向处理器从接口部接收所述信息，并进行控制以根据信息调节后置摄像机模块的摄像机的角度，以及图像处理器进行控制以通过显示部显示后置摄像机模块获取的车辆的周围影像中与驾驶员的面部轴的旋转角或左右移动量、方向盘的转向角或车体的倾斜度信息相匹配的区域的影像。
在根据本发明一实施例的车辆用全景监控方法中，在接口部接收信息的步骤中，还接收方向盘的转向角和/或车体的倾斜度信息；在进行控制以调节摄像机的角度的步骤中，可以通过将从接口部接收到的面部轴的旋转角或左右移动量信息与方向盘的转向角或车体的倾斜度信息叠加来调节摄像机的角度。
在根据本发明一实施例的车辆用全景监控方法中，接口部接收信息的步骤可以包括如下步骤：收集驾驶员的图像，以及检测驾驶员的面部。
在根据本发明优选实施例的车辆用全景监控方法中，在检测到驾驶员的面部时，还可以包括如下步骤：提取驾驶员的面部的肌理或纹理，检测驾驶员的眼睛、鼻子、嘴巴，以及利用驾驶员的眼睛、鼻子、嘴巴的检测值来确定驾驶员的面部的轴或位置。
在根据本发明一实施例的车辆用全景监控方法中，在没有检测到驾驶员的面部时，还可以包括如下步骤：接口部对用于接收驾驶员的信息的检测部进行旋转校正，以识别驾驶员的面部。
在根据本发明一实施例的车辆用全景监控方法中，在进行控制以调节摄像机的角度的步骤中，在车辆前进时方向盘的转向角或车体的倾斜度向左侧或右侧增大的情况下，使后置摄像机模块的摄像机的轴分别向顺时针方向或逆时针方向旋转所增大角度，在车辆倒车时方向盘的转向角或车体的倾斜度向左侧或右侧增大的情况下，可以使后置摄像机模块的摄像机的轴分别向逆时针方向或顺时针方向旋转所增大角度。
发明效果
本发明通过根据车辆的行驶状态及驾驶员的状态调节摄像机的视角，改善了由车辆用全景监控系统的显示部提供的影像的直观性，从而可以去除电子式全显示监控器中可产生的异样感。
附图说明
图1是本发明一实施例的车辆用全景监控系统的结构图。
图2是示出本发明一实施例的车辆用全景监控系统应用于车辆外部的状态的图。
图3是示出本发明一实施例的车辆用全景监控系统应用于车辆内部的状态的图。
图4是示出本发明一实施例的车辆的周围影像中与由接口部接收的信息相匹配的影像通过显示部显示的区域的图。
图5的(a)部分是示出现有全显示镜的摄像机轴随着驾驶员的面部移动而旋转的方向的图，图5的(b)部分是示出本发明一实施例的摄像机轴随着驾驶员的面部移动而旋转的方向的图。
图6的(a)部分是示出本发明一实施例的驾驶员的面部位置移动的情况的图，图6的(b)部分是示出当驾驶员的面部旋转时，摄像机轴移动的情况的图。
图7是示出本发明一实施例的当驾驶员的面部向右侧或左侧旋转时，摄像机轴旋转的方向的图。
图8是示出本发明一实施例的当面部从驾驶员的身体中心轴向左右移动时，摄像机轴旋转的方向的图。
图9是示出本发明一实施例的当车辆前进时的方向盘的转向角或车体的倾斜度向左侧或右侧增大时，摄像机轴旋转的方向的图。
图10是示出本发明一实施例的当车辆倒车时的方向盘的转向角或车体的倾斜度向左侧或右侧倾斜时，摄像机轴旋转的方向的图。
图11是示出本发明一实施例的车辆用全景监控方法的图。
图12是示出本发明一实施例的在接口部接收信息的步骤中，计算面部识别转向角的过程的图。
图13是示出本发明一实施例的在进行控制以调节摄像机的角度的步骤中，计算方向盘的转向角以及车体的倾斜度的过程的图。
具体实施方式
通过附图以及以下实施例，上述目的、多个特征以及优点将更加明显。
特定结构乃至功能性描述仅用于描述根据本发明的概念的实施例的目的，并且根据本发明的概念的多个实施例可以以各种形式实施，而不限于本申请的说明书中描述的多个实施例。
根据本发明的概念的实施例可以有多种变化并且可以具有多种形式，因此多个特定实施例在附图中示出并在本申请的说明书中详细描述。然而，这并非意在将根据本发明的概念的多个实施例限定为特定公开的形式，而应理解为包括包含在本发明的思想和技术范围内的所有修改、等同物乃至替代物。
本申请的说明书中所使用的术语仅用于描述特定实施例，并不用于限制本发明。除非上下文另有明确规定，否则单数表达包括复数表达。在本说明书中，“包括”或“具有”等术语旨在表示所描述的特征、数字、步骤、操作、构成要素、部件或其组合存在，并且应当理解，不预先排除包括一个或多个其他特征或数字、步骤、操作、构成要素、部件或其组合的存在或添加的可能性。
以下，通过参照附图描述本发明的优选实施例来详细描述本发明。各图中相同的附图标记表示相同的元件。
本说明书中描述的车辆是如下的概念：即，汽车、摩托车等的任意运输工具，进而，包括具有任意引擎作为动力源的内燃机车辆、具有引擎和电动马达作为动力源的混合动力车辆、具有电动马达作为动力源的电动汽车等。以下，为了便于说明，以车辆中的汽车为例进行说明。
本说明书中描述的车辆的行驶是指除车辆向后方移动或倒车以外的所有情况，本说明书将使用驾驶来表达行驶和倒车。因此，倒车包括车辆的引擎齿轮位于倒挡(R)的状态。另一方面，行驶是指驾驶员乘坐车辆的状态或车辆被启动的状态，但不限于此，还可以包括车辆停放时的情况。
在以下描述中，车辆的左侧是指车辆行驶方向的左侧，车辆的右侧是指车辆行驶方向的右侧。
另外，摄像机的轴向顺时针方向或逆时针方向旋转是指，摄像机以摄像机拍摄物体的方向的轴为中心向顺时针方向或逆时针方向旋转。
图1是本发明的优选实施例的车辆用全景监控系统的结构图。图2是示出应用所述车辆用全景监控系统的车辆的外观的图。图3是示出图1的驾驶员乘坐状态的车辆的内部的图。
参照图1至图3，根据本发明优选实施例的车辆用全景监控系统可包括后置摄像机模块10、接口部20、摄像机转向处理器30以及图像处理器50。
后置摄像机模块10是安装在车辆的一区域，用于获取车辆的周围影像的装置。例如，后置摄像机10可设置于车辆1的后窗眉中央部，或者可设置于行李舱盖中央部。当后置摄像机10设置于车辆1的后窗眉中央部时，视野更接近驾驶员，可以获取高的视野，当后置摄像机10设置于车辆1的行李舱盖中央部时，具有易于与以往常规安装的其他后置摄像机连动的优点。
后置摄像机模块10的后置摄像机控制装置的电气结构大致可包括：马达驱动部110，具有设置于后置摄像机模块10的内部的摄像机11和能够上下左右调节摄像机11的拍摄角度的平移/倾斜驱动马达；焦点调节部120，用于调节摄像机镜头的焦点。
此时，马达驱动部110的平移/倾斜驱动马达可由常规直流马达实现，平移/倾斜驱动马达的轴还可以安装有用于降低其旋转速度的减速齿轮(未示出)。马达驱动部110可由常规的晶体管电路等实现，可以根据所连接的控制部的控制向平移/倾斜驱动马达供应电源或切断电源。
进而，后置摄像机模块10不限于马达驱动部110，还可以配置成使用磁性、形状记忆合金等来调整轴的角度。
另一方面，在所述例中，后置摄像机模块10虽然以安装在车辆的后方侧的方式说明，但不限于此，只要能够拍摄到车辆的后方图像，则可以设置在车辆的任一部分。
另外，在所述例，后置摄像机模块10的摄像机虽然以一个摄像机11举例说明，但不限于此，可以设有多个摄像机，也可以在后述的处理器中合成并处理多个摄像机的拍摄信息。在此情况下，多个摄像机分别可以设置有具有适当视角的轴，以使所获取的影像与相邻的摄像机所获取的影像部分重叠。像这样，合成通过多个摄像机获取的影像信息，从而可以获取宽视野的影像以及更清晰的影像。
接口部20可配置成能够接收驾驶员的面部21向左右旋转的旋转角α和/或面部21从驾驶员的身体中心轴向左右移动的左右移动量l。
详细地，旋转角α表示因驾驶员转头而将面部21从驾驶员的面部21的中心轴向左右旋转的程度，左右移动量l表示驾驶员的面部21的中心轴偏离驾驶员的身体的中心轴的程度。
在所述例中，旋转角α和左右移动量l虽然以这种方式定义，但也可以通过跟踪驾驶员的面部或身体的某一部分的移动来定义旋转角α和左右移动量l。
在这种情况下，旋转角α和左右移动量l的基准可以指从驾驶员朝向面部识别摄像机210的视线。然而，旋转角α和左右移动量l的基准不限于此，也可以以驾驶员在驾驶时注视车辆前方的视线。
另一方面，为了接收这种信息，接口部20与设置于驾驶员的前方以用于拍摄驾驶员的面部的面部识别摄像机210以及用于获取车辆信息的车辆信息传感器220相连接。
面部识别摄像机210执行收集驾驶员的图像的作用，并检测驾驶员的面部。例如，面部识别摄像机210使用红外LED来获取驾驶员的影像，无论白天还是黑夜，并且可以从影像检测驾驶员的眼睛、鼻子、嘴巴等。
接口部20内的处理器(例如，GPU)可从所检测到的信息，基于驾驶员的眼睛、鼻子、嘴巴等的高度和左右位置来计算出驾驶员的面部角度和面部的上下左右位置(在这种情况下，还可以使用通过眼动追踪(eye trac king)的影像匹配算法)。
另一方面，这种面部识别摄像机210可位于驾驶员的正面，也可以位于由室内镜等来形成的显示部40的左侧面。当面部识别摄像机210位于驾驶员的正面时，可易于识别驾驶员的面部，当面部识别摄像机210位于显示部40的左侧面时，具有可以与显示部40一体安装而无需另外设置安装部的优点。
车辆信息传感器220感测与车辆1的行驶等相关的信号。为此，感测部可包括例如，碰撞传感器、车轮传感器、速度传感器、倾斜传感器、位置模块、车辆前进/倒车传感器以及基于方向盘旋转的转向传感器。
由此，车辆信息传感器220可以获取对于车辆碰撞信息、车辆方向信息、车辆位置信息、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜度信息、车辆前进/倒车信息以及方向盘旋转角度等的感测信号。
尤其，车辆信息传感器220可获取方向盘22的转向角β和/或车体23的倾斜度r信息。
像这样，可通过使用面部识别摄像机210和车辆信息传感器220的各信息来调节后述的后置摄像机11的角度θ。
然而，在本发明一实施例中，以如下的系统为中心进行说明：即，根据从面部识别摄像机210获取的驾驶员的面部21向左右旋转的旋转角α和/或面部21从驾驶员的身体的中心轴向左右移动的左右移动量l的信息、以及从车辆信息传感器220获取的方向盘22的转向角β和/或车体23的倾斜度r信息，来调节后置摄像机11的角度θ。
摄像机转向处理器30可以进行控制以根据接口部20接收到的信息来调节后置摄像机模块10的摄像机11的角度θ。
详细地，接口部20通过面部识别摄像机210和车辆信息传感器220接收驾驶员及车辆的所述信息，摄像机转向处理器30处理从所述接口部20接收到的信息以计算对后置摄像机模块10的摄像机11的角度θ的调节程度并进行调节。
根据在摄像机转向处理器30中处理的信息的后置摄像机模块10的摄像机11的角度θ之间的详细关系将在后面描述。
在这种情况下，在摄像机转向处理器从接口部20接收到的信息中，驾驶员的面部21左右旋转的旋转角α和/或面部21从驾驶员的身体的中心轴向左右移动的左右移动量l、以及方向盘22的转向角β和/或车体23的倾斜度r信息是在调节摄像机的角度θ方面占据重要部分的信息。
尤其，如以往驾驶员识别模块中，若仅识别驾驶员的面部21的视线，则只能判断驾驶员注视面部识别摄像机的某一位置，因此难以掌握驾驶员实际上看后视镜(室内镜)时的驾驶员的整体动作。
因此，在本发明一实施例中，例如，提取驾驶员的面部的肌理/纹理后，确定眼睛、鼻子、嘴巴等各部位，以同时计算驾驶员的面部21向左右旋转的旋转角α和面部21从驾驶员的身体的中心轴向左右移动的左右移动量l。
由此，当转弯行驶、急转弯、或倒进停车等的驾驶员的面部相当部分旋转时，即，当面部的旋转角α或左右移动量l大时，可以认为驾驶员识别车辆周围的视野盲区的意愿很大，因此本发明积极反应驾驶员的这种意愿，当驾驶员需要看到视野盲区时，可以迅速地将视野盲区的影像显示给驾驶员，而无需另外的装置操作。
另外，在本发明一实施例中，在摄像机转向处理器30中整合驾驶员的面部21向左右旋转的旋转角α和面部21从驾驶员的身体的中心轴向左右移动的左右移动量l并进行计算的原因在于，例如，当驾驶员需要急转弯时，若周围车辆在视野盲区，则有必要快速应对状况，此时，由于驾驶员本能地将面部21从驾驶员的身体的中心轴向左右移动的左右移动量l变得很大，因此需要将其作为调节摄像机的角度θ的因素包括在内。
为此，在本发明一实施例中，参照图6，与驾驶员的面部21旋转的情况(图6的(b)部分)相比，当驾驶员的面部位置移动(图6的(a)部分)时，摄像机转向处理器30和/或图像处理器50可以进行控制以使通过显示部显示的区域41的影像更大幅度地移动或摄像机11轴更大幅度地旋转。
这里不仅可以增加影像的移动量或摄像机轴的旋转量大小，还可以通过增加影像的移动速度或摄像机轴的旋转速度，来在急转弯等情况下，迅速看到视野盲区。
另外，由于摄像机转向处理器30和图像处理器50均可以应用所述结构，因此摄像机轴的旋转与通过显示部显示的影像的移动可以自然地连动。
参照图4，图像处理器50进行控制使得车辆1的周围影像中与接口部20接收到的信息相匹配的区域41的影像通过显示部40显示。
在这种情况下，在车辆中，例如，显示部40可由室内镜等的装置形成，可以形成为平面形状，仅选择性放大车辆的周围影像中的必要部分，以适于输出。
显示部40可以显示图像处理器50所处理的信息。详细地，如上所述，摄像机转向处理器30处理通过接口部20接收到的所述驾驶员及车辆的各信息，从而调节后置摄像机模块10的摄像机11的角度θ，由这样调节的角度θ的后置摄像机模块10的摄像机11拍摄的车辆的周围影像再次被接口部20接收，并在图像处理器50处理后，通过显示部40输出与接口部20接收到的信息相匹配的区域41的影像。
即，图像处理器50可以进行控制以根据驾驶员的面部21轴的旋转角α或左右移动量l、方向盘22的转向角β和/或车体23的倾斜度r信息来移动通过显示部40显示的区域41的影像或变更显示倍率。
进而，由图像处理器50处理的所述信息可存储在存储器60中。例如，不仅驾驶员的面部的各部分的形状及高度等因人而异，根据驾驶员的习惯驾驶员的面部21向左右旋转的旋转角α和/或面部21从驾驶员的身体中心轴向左右移动的左右移动量l的大小也不同。因此，通过在存储器60中蓄积根据驾驶员的个体特征的信息，来实时修改用于测定驾驶员的面部的各部分的形状及高度、以及驾驶员的面部21向左右旋转的旋转角α和/或面部21从驾驶员的身体中心轴向左右移动的左右移动量l的标准，从而可以为各驾驶员设定最合适的标准。
另一方面，通过显示部40输出与接口部20接收到的信息相匹配的区域41的影像方式也具有如现有技术的如下方法：即，通过后置摄像机获取整体影像后，在显示整体影像的同时，另外显示其中部分区域，通过驾驶员的操作移动部分区域。
然而，如上所述的方式中，通过一个摄像机确保车辆后方视野受限，不仅如此，使用多个摄像机并进行合成后，使其内部区域移动的方式降低所显示的影像的准确性，并且由于需要经过这种过程，影像处理过程中会出现明显的延迟。
为此，本发明是使用直接移动后置摄像机模块10的摄像机11的方式，虽然也可以使用如上所述的方式，但优选使用如下方式：即，基于通过反映驾驶员及车辆的状态而移动的摄像机11来获取的影像，通过显示部40仅输出与接口部20接收到的信息相匹配的区域41的影像，而不是输出整体影像。
在此情况下，如上所述，不仅可以通过一个摄像机11获取车辆的周围影像，还可以通过多个摄像机获取车辆的周围影像，在这种情况下，多个摄像机分别适用本发明一实施例的摄像机11的工作方式。在此情况下，由于对通过反映驾驶员及车辆的状态而移动的多个摄像机获取的影像进行合成，与以往对从固定的多个摄像机获取的影像进行合成的方式相比，可具有相当高的准确性，由于对相邻的部分进行合成，因此可以明显减少影像处理过程中的延迟。
由此，后置摄像机模块10的摄像机11拍摄的车辆的周围影像中，图像处理器50仅处理驾驶员行驶时所需部分，并输出到显示部40。
尤其，如图5的(a)部分所示，以往的室内镜通常直接输出从后方拍摄的画面，但如图5的(b)部分所示，本发明的输出方式是根据驾驶员的面部21的移动来移动后置摄像机模块10的摄像机11轴，可基于驾驶员的状态进行操作以获取更自然的视野及远近感。
另外，在所述结构的基础上，当驾驶员的面部21位置向前方或后方移动时，图像处理器50进行控制以分别增大或减小通过显示部41区域的影像的显示倍率。
通常，例如，倒进停车时，当驾驶员想要放大视野盲区的车辆时，面部21会更靠近室内镜。在本发明一实施例中，当驾驶员的面部21靠近室内镜时，由图像处理器50放大通过显示部41显示的区域的影像的显示倍率，以便向驾驶员适当提供作为驾驶员所需信息的周围放大影像。
与此不同地，例如，当驾驶员位于十字路口等时，驾驶员不仅想要观察视野盲区还想要观察车辆周围的整体状况，在这种情况下，通常，驾驶员会将面部21移离室内镜。在本发明一实施例中，当驾驶员将面部21移离室内镜时，由图像处理器50减小通过显示部41显示的区域的影像的显示倍率，以便向驾驶员适当提供作为驾驶员所需信息的周围整体影像。
这种结构可以与驾驶员的面部21轴的旋转角α或左右移动量l的信息整合，并反映在图像处理器50，因此可以最大限度地反映驾驶员在驾驶时所需视野，以向驾驶员提供便利，通过提供适于情况的信息，从而可以大大降低驾驶员发生事故的危险。
以上，说明了本发明多个实施例的车辆用全景监控系统的各结构。以下，参照图7至图10，按照各类型说明本发明的车辆用全景监控系统如何根据转弯行驶的方向反映驾驶员或车辆的状态。
[驾驶员的面部向右侧或左侧旋转的情况]
当驾驶员的面部21轴向右侧或左侧旋转时，摄像机转向处理器30可以进行控制以使后置摄像机模块10的摄像机11的轴分别向顺时针方向或逆时针方向旋转。
例如，如图7所示，当驾驶员向右侧转动面部21并看室内镜时，面部识别摄像机210识别驾驶员的面部21向右侧旋转的旋转角α，接口部20向摄像机转向处理器30传递该信息。
摄像机转向处理器30根据所述信息顺时针转动后置摄像机模块10的摄像机11的轴，从而使摄像机11向车辆左侧的视野盲区侧旋转。由此，驾驶员可以容易地确保车辆左侧的视野盲区的视野。
[面部从驾驶员的身体的中心轴向左右移动的情况]
当从驾驶员的身体的中心轴向右侧或左侧移动面部21时，摄像机转向处理器30可以进行控制以使后置摄像机模块10的摄像机11的轴分别向顺时针方向或逆时针方向旋转。
例如，如图8所示，当驾驶员一边将面部21从身体的中心轴向右侧移动一边看室内镜时，面部识别摄像机210识别将面部21从驾驶员的身体的中心轴向右侧移动的右侧移动量l，接口部20向摄像机转向处理器30传递该信息。
摄像机转向处理器30根据所述信息顺时针转动后置摄像机模块10的摄像机11的轴，使摄像机11向车辆左侧的视野盲区侧旋转。由此，驾驶员可以容易地确保车辆左侧的视野盲区的视野。
[车辆前进时方向盘的转向角或车体的倾斜度向左侧或右侧增大的情况]
在车辆前进时方向盘22的转向角或车体的倾斜度向左侧或右侧增大的情况下，摄像机转向处理器30可以进行控制以使后置摄像机模块10的摄像机11的轴分别向顺时针方向或逆时针方向旋转。
例如，如图9的(a)部分所示，在车辆前进时驾驶员将方向盘向‘左侧’转动的情况下，车辆信息传感器220识别转向左侧的方向盘22的转向角β和/或车体23的倾斜度r，接口部20向摄像机转向处理器30传递该信息。
摄像机转向处理器30根据所述信息顺时针转动后置摄像机模块10的摄像机11的轴，从而使摄像机11向车辆左侧的视野盲区侧旋转。由此，驾驶员可以容易地确保车辆左侧的视野盲区的视野。
另一方面，如图9的(b)部分所示，在车辆前进时驾驶员将方向盘向‘右侧’转动的情况下，车辆信息传感器220识别转向右侧的方向盘22的转向角β和/或车体23的倾斜度r，接口部20向摄像机转向处理器30传递该信息。
摄像机转向处理器30根据所述信息逆时针转动后置摄像机模块10的摄像机11的轴，从而使摄像机11向车辆右侧的视野盲区侧旋转。由此，驾驶员可以容易地确保车辆右侧的视野盲区的视野。
由此，驾驶员在车辆前进时向左右侧急转弯的情况下，可以迅速确保与从车道左右侧后方接近的车辆有关的视野，可以减少如驾驶员在弯道转动方向盘进行急转弯时频繁发生的事故危险。
[车辆倒车时方向盘的转向角或车体的倾斜度向左侧或右侧增大的情况]
在车辆倒车时方向盘22的转向角或车体的倾斜度向左侧或右侧增大的情况下，摄像机转向处理器30可以进行控制以使后置摄像机模块10的摄像机11的轴分别向顺时针方向或逆时针方向旋转。
在车辆倒车时方向盘22的转向角或车体的倾斜度向左侧或右侧增大的情况下，摄像机转向处理器30可以进行控制以使后置摄像机模块10的摄像机11的轴分别向顺时针方向或逆时针方向旋转。
例如，如图10的(a)部分所示，在车辆倒车时驾驶员将方向盘向‘左侧’转动的情况下，车辆信息传感器220识别转向左侧的方向盘22的转向角β和/或车体23的倾斜度r，接口部20向摄像机转向处理器30传递该信息。
摄像机转向处理器30根据所述信息顺时针转动后置摄像机模块10的摄像机11的轴，从而使摄像机11向车辆左侧的视野盲区侧旋转。由此，驾驶员可以容易地确保车辆左侧的视野盲区的视野。
另一方面，如图10的(b)部分所示，在车辆倒车时驾驶员将方向盘向‘右侧’转动的情况下，车辆信息传感器220识别转向右侧的方向盘22的转向角β和/或车体23的倾斜度r，接口部20向摄像机转向处理器30传递该信息。
摄像机转向处理器30根据所述信息逆时针转动后置摄像机模块10的摄像机11的轴，从而使摄像机11向车辆右侧的视野盲区侧旋转。由此，驾驶员可以容易地确保车辆右侧的视野盲区的视野。
由此，例如，在驾驶员倒车或倒进停车的情况下，可以迅速确保与从驾驶员的左右侧后方接近的车辆、或预先停放的车辆有关的视野，可以减少因驾驶员无法识别所驾驶车辆的后方视野盲区的其他车辆而频繁发生的事故危险。
以上，按照各类型说明本发明的车辆用全景监控系统如何根据转弯行驶的方向反映驾驶员或车辆的状态。以下，参照图11至图13说明本发明的车辆用全景监控系统执行的方法。
参照图11至图13，根据本发明一实施例的车辆用全景监控方法可包括：步骤S10，从接口部20接收信息，步骤S20，进行控制以调节摄像机11的角度θ，以及步骤S30，进行控制以通过显示部40显示影像。
接口部20接收信息的步骤S10为如下的步骤：即，接口部20接收驾驶员的面部21向左右旋转的旋转角α和/或面部21从驾驶员的身体中心轴向左右移动的左右移动量l信息。
在这种情况下，在接口部20接收信息的步骤S10中，还可以接收方向盘22的转向角β和/或车体23的倾斜度r信息。
进行控制以调节摄像机11的角度θ的步骤S20为如下的步骤：即，摄像机转向处理器30从接口部20接收驾驶员的面部21向左右旋转的旋转角α和/或面部21从驾驶员的身体中心轴向左右移动的左右移动量l信息，并进行控制以根据所述信息来调节后置摄像机模块10的摄像机11的角度θ。
在这种情况下，可通过将从接口部20接收的面部21轴的旋转角α或左右移动量l信息与方向盘22的转向角β和/或车体23的倾斜度r信息叠加来调节摄像机11的角度θ。
进行控制以通过显示部40显示影像的步骤S30为如下的步骤：即，图像处理器50进行控制以通过显示部40显示后置摄像机模块10获取的车辆的周围影像中与驾驶员的面部21轴的旋转角α或左右移动量l、方向盘22的转向角β或车体23的倾斜度r信息相匹配的区域41的影像。
以下，参照图12，说明在接口部20接收信息的步骤S10中，计算面部识别转向角的过程，参照图13，更详细地说明进行控制以调节摄像机11的角度的步骤S20中，计算方向盘的转向角以及车体的倾斜度的过程。
参照图12，接口部20接收信息的步骤S10可以包括：步骤S11，收集驾驶员的图像；以及步骤S12，检测驾驶员的面部。
在这种情况下，当在检测驾驶员的面部的步骤S12中检测到驾驶员的面部时，还可以包括：步骤S13，提取驾驶员的面部的肌理或纹理；步骤S14，检测驾驶员的眼睛、鼻子、嘴巴；以及步骤S15，利用驾驶员的眼睛、鼻子、嘴巴的检测值确定驾驶员的面部的轴或位置。
与此不同地，当在检测驾驶员的面部的步骤S12中没有检测到驾驶员的面部时，还可以包括：步骤S16，对所接收到的驾驶员图像进行校正，以识别驾驶员的面部。
参照图13，在进行控制以调节摄像机11的角度的步骤S20中，在车辆前进时方向盘22的转向角β或车体23的倾斜度r向左侧或右侧增大的情况下，使后置摄像机模块10的摄像机11的轴分别向顺时针方向或逆时针方向旋转所增大角度，
在车辆倒车时方向盘22的转向角β或车体23的倾斜度r向左侧或右侧增大的情况下，使后置摄像机模块10的摄像机11的轴分别向逆时针方向或顺时针方向旋转所增大角度。
以上，参照附图详细说明了本发明的优选实施例，但本发明不限于此，本领域技术人员可通过这些描述，在不脱离本发明的技术思想范围内进行替换和/或改变。因此，本发明的范围不应限于上述实施例，而应由权利要求书及其等效物来限定。

Claims (15)

1.一种车辆用全景监控系统，其中，包括：
后置摄像机模块(10)，安装在车辆的一区域，用于获取车辆的周围影像，
接口部(20)，用于接收驾驶员的面部(21)向左右旋转的旋转角(α)和/或面部(21)从驾驶员的身体中心轴向左右移动的左右移动量(l)的信息，
摄像机转向处理器(30)，进行控制以根据所述接口部(20)接收到的信息来调节所述后置摄像机模块(10)的摄像机(11)的角度(θ)，以及
图像处理器(50)，进行控制以通过显示部(40)显示所述车辆的周围影像中与所述接口部(20)接收到的信息相匹配的区域(41)的影像。
2.根据权利要求1所述的车辆用全景监控系统，其中，
所述接口部(20)还接收方向盘(22)的转向角(β)和/或车体(23)的倾斜度(r)信息。
3.根据权利要求2所述的车辆用全景监控系统，其中，
所述图像处理器(50)进行控制以根据所述驾驶员的面部(21)轴的旋转角(α)或左右移动量(l)、方向盘的转向角(β)和/或车体的倾斜度(r)信息来移动通过所述显示部(40)显示的区域(41)的影像或变更显示倍率。
4.根据权利要求1所述的车辆用全景监控系统，其中，
在所述驾驶员的面部(21)位置向前方或后方移动时，所述图像处理器(50)进行控制以分别增大或减小通过所述显示部(40)显示的区域的影像的显示倍率。
5.根据权利要求1所述的车辆用全景监控系统，其中，
在所述驾驶员的面部(21)向右侧或左侧旋转时，所述摄像机转向处理器(30)进行控制以使所述后置摄像机模块(10)的摄像机(11)的轴分别向顺时针方向或逆时针方向旋转。
6.根据权利要求1所述的车辆用全景监控系统，其中，
在面部(21)从所述驾驶员的身体中心轴向右侧或左侧移动时，所述摄像机转向处理器(30)进行控制以使所述后置摄像机模块(10)的摄像机(11)的轴分别向顺时针方向或逆时针方向旋转。
7.根据权利要求2所述的车辆用全景监控系统，其中，
在车辆前进时所述方向盘(22)的转向角或车体的倾斜度向左侧或右侧增大的情况下，所述摄像机转向处理器(30)进行控制以使所述后置摄像机模块(10)的摄像机(11)的轴分别向顺时针方向或逆时针方向旋转。
8.根据权利要求2所述的车辆用全景监控系统，其中，
在车辆倒车时所述方向盘(22)的转向角或车体的倾斜度向左侧或右侧增大的情况下，所述摄像机转向处理器(30)进行控制以使所述后置摄像机模块(10)的摄像机(11)的轴分别向顺时针方向或逆时针方向旋转。
9.根据权利要求3所述的车辆用全景监控系统，其中，
所述摄像机转向处理器(30)和/或所述图像处理器(50)进行控制，使得在所述驾驶员的面部位置移动的情况下，与所述驾驶员的面部(21)旋转的情况相比，通过所述显示部显示的区域(41)的影像更大幅度地移动或所述摄像机(11)轴更大幅度地旋转。
10.一种车辆用全景监控方法，其中，包括：
步骤(S10)，接口部(20)接收驾驶员的面部(21)向左右旋转的旋转角(α)和/或面部(21)从驾驶员的身体中心轴向左右移动的左右移动量(l)的信息，
步骤(S20)，摄像机转向处理器(30)从接口部(20)接收所述信息，并进行控制以根据所述信息调节后置摄像机模块(10)的摄像机(11)的角度(θ)，以及
步骤(S30)，图像处理器(50)进行控制以通过显示部(40)显示后置摄像机模块(10)获取的车辆的周围影像中与所述驾驶员的面部(21)轴的旋转角(α)或左右移动量(l)、方向盘(22)的转向角(β)或者车体(23)的倾斜度(r)信息相匹配的区域(41)的影像。
11.根据权利要求10所述的车辆用全景监控方法，其中，
在所述接口部(20)接收信息的步骤(S10)中，还接收方向盘(22)的转向角(β)和/或车体(23)的倾斜度(r)信息；
在进行控制以调节所述摄像机(11)的角度的步骤(S20)中，通过将从所述接口部(20)接收到的所述面部(21)轴的旋转角(α)或左右移动量(l)信息与所述方向盘(22)的转向角(β)或车体(23)的倾斜度(r)信息叠加来调节摄像机(11)的角度(θ)。
12.根据权利要求10所述的车辆用全景监控方法，其中，
所述接口部(20)接收信息的步骤(S10)包括：
步骤(S11)，收集驾驶员的图像，以及
步骤(S12)，检测驾驶员的面部。
13.根据权利要求12所述的车辆用全景监控方法，其中，
在检测到驾驶员的面部时，还包括：
步骤(S13)，提取所述驾驶员的面部的肌理或纹理，
步骤(S14)，检测驾驶员的眼睛、鼻子、嘴巴，以及
步骤(S15)，利用驾驶员的眼睛、鼻子、嘴巴的检测值来确定驾驶员的面部的轴或位置。
14.根据权利要求12所述的车辆用全景监控方法，其中，
在没有检测到驾驶员的面部时，还包括：
步骤(S16)，所述接口部(20)对用于接收所述驾驶员的信息的检测部(21)进行旋转校正，以识别驾驶员的面部。
15.根据权利要求11所述的车辆用全景监控方法，其中，
在进行控制以调节所述摄像机(11)的角度的步骤(S20)中，
在车辆前进时所述方向盘(22)的转向角(β)或车体(23)的倾斜度(r)向左侧或右侧增大的情况下，使后置摄像机模块(10)的摄像机(11)的轴分别向顺时针方向或逆时针方向旋转所增大角度，
在车辆倒车时所述方向盘(22)的转向角(β)或车体(23)的倾斜度(r)向左侧或右侧增大的情况下，使后置摄像机模块(10)的摄像机(11)的轴分别向逆时针方向或顺时针方向旋转所增大角度。
CN201980081973.3A 2018-12-11 2019-12-10 调节摄像机的视角的车辆用全景监控系统及其方法 Pending CN113165667A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180158890A KR102106572B1 (ko) 2018-12-11 2018-12-11 카메라의 시야각 조절을 통한 차량용 어라운드 뷰 모니터링 시스템 및 그 방법
KR10-2018-0158890 2018-12-11
PCT/KR2019/017331 WO2020122533A1 (ko) 2018-12-11 2019-12-10 카메라의 시야각 조절을 통한 차량용 어라운드 뷰 모니터링 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
CN113165667A true CN113165667A (zh) 2021-07-23

Family

ID=70733144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980081973.3A Pending CN113165667A (zh) 2018-12-11 2019-12-10 调节摄像机的视角的车辆用全景监控系统及其方法

Country Status (4)

Country Link
US (1) US20210331622A1 (zh)
KR (1) KR102106572B1 (zh)
CN (1) CN113165667A (zh)
WO (1) WO2020122533A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114845051A (zh) * 2022-04-18 2022-08-02 重庆长安汽车股份有限公司 一种基于人脸识别的行车摄影系统及方法
CN117459688A (zh) * 2023-12-26 2024-01-26 海纳云物联科技有限公司 基于地图系统的摄像头角度标示方法、装置及介质
CN117459688B (zh) * 2023-12-26 2024-05-03 海纳云物联科技有限公司 基于地图系统的摄像头角度标示方法、装置及介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767910B (zh) * 2020-06-15 2023-01-06 重庆长安汽车股份有限公司 基于场景识别的车辆自适应传感器系统
CN111918035B (zh) * 2020-07-31 2022-04-15 上海励驰半导体有限公司 车载环视方法、装置、存储介质及车载终端
CN112193175B (zh) * 2020-10-09 2022-04-08 安徽江淮汽车集团股份有限公司 监控摄像头调整机构的调整方法、调整机构及监控装置
KR102499116B1 (ko) * 2021-06-28 2023-02-16 경희대학교 산학협력단 차량 미러용 카메라 각도 조정 장치 및 방법
CN115696055A (zh) * 2022-12-30 2023-02-03 合肥疆程技术有限公司 一种视野调节方法、装置、监控器及交通工具

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100961906B1 (ko) * 2009-01-19 2010-06-10 인하대학교 산학협력단 안면인식을 이용한 자동차 백미러의 자동 제어 방법 및 장치
KR101305333B1 (ko) * 2012-04-10 2013-09-06 팽정희 사이드미러 연동식 카메라 및 상기 카메라를 이용한 차량용 영상정보 장치
TR201821253T4 (tr) * 2014-10-23 2019-01-21 Tofas Tuerk Otomobil Fabrikasi Anonim Sirketi Bir Geri Görüş Sistemi
US20160193998A1 (en) * 2015-01-02 2016-07-07 Atieva, Inc. Automatically Activated Vehicle Obstacle Viewing System
US20160297362A1 (en) * 2015-04-09 2016-10-13 Ford Global Technologies, Llc Vehicle exterior side-camera systems and methods
KR101714876B1 (ko) * 2015-06-01 2017-03-09 엘지전자 주식회사 차량 운전 보조 장치 및 차량
KR20180056867A (ko) * 2016-11-21 2018-05-30 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114845051A (zh) * 2022-04-18 2022-08-02 重庆长安汽车股份有限公司 一种基于人脸识别的行车摄影系统及方法
CN117459688A (zh) * 2023-12-26 2024-01-26 海纳云物联科技有限公司 基于地图系统的摄像头角度标示方法、装置及介质
CN117459688B (zh) * 2023-12-26 2024-05-03 海纳云物联科技有限公司 基于地图系统的摄像头角度标示方法、装置及介质

Also Published As

Publication number Publication date
WO2020122533A1 (ko) 2020-06-18
US20210331622A1 (en) 2021-10-28
KR102106572B1 (ko) 2020-05-07

Similar Documents

Publication Publication Date Title
CN113165667A (zh) 调节摄像机的视角的车辆用全景监控系统及其方法
KR101737737B1 (ko) 차량용 카메라 hud 통합 클러스터 시스템
US10899277B2 (en) Vehicular vision system with reduced distortion display
JP5099451B2 (ja) 車両周辺確認装置
US10029621B2 (en) Rear view camera system using rear view mirror location
US10994655B2 (en) Electronic control unit and in-vehicle video system
KR101373616B1 (ko) 차량용 사이드 카메라 시스템 및 그 제어방법
US20190315275A1 (en) Display device and operating method thereof
JP4699054B2 (ja) 車両周囲監視装置
JP5093611B2 (ja) 車両周辺確認装置
CN106515579B (zh) 车辆的盲点区域监控
US20160297362A1 (en) Vehicle exterior side-camera systems and methods
US20110181728A1 (en) Electronic side view display system
US20130096820A1 (en) Virtual display system for a vehicle
US20180015879A1 (en) Side-view mirror camera system for vehicle
US8477191B2 (en) On-vehicle image pickup apparatus
US20130208118A1 (en) Vehicular infrared night assistant driving system
US20130155236A1 (en) Camera-mirror system for motor vehicle
KR20160051321A (ko) 차량의 능동 사이드 뷰 시스템
JPH05294183A (ja) 車載監視カメラ装置
EP3166307B1 (en) Capturing device for a motor vehicle, driver assistance system as well as motor vehicle
JP2010006129A (ja) 車両後方情報表示装置および車両後方情報表示方法
JP2011189775A (ja) 車両の後側方確認装置
JP2009073250A (ja) 車両後方表示装置
WO2013144998A1 (ja) 車両用視認支援装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination