CN111344189B - 用于车辆的数字镜系统及其操作方法 - Google Patents

用于车辆的数字镜系统及其操作方法 Download PDF

Info

Publication number
CN111344189B
CN111344189B CN201880073399.2A CN201880073399A CN111344189B CN 111344189 B CN111344189 B CN 111344189B CN 201880073399 A CN201880073399 A CN 201880073399A CN 111344189 B CN111344189 B CN 111344189B
Authority
CN
China
Prior art keywords
head
driver
image
camera
roi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880073399.2A
Other languages
English (en)
Other versions
CN111344189A (zh
Inventor
M·曼格拉
S·达布拉尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Texas Instruments Inc
Original Assignee
Texas Instruments Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Texas Instruments Inc filed Critical Texas Instruments Inc
Publication of CN111344189A publication Critical patent/CN111344189A/zh
Application granted granted Critical
Publication of CN111344189B publication Critical patent/CN111344189B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • B60K2360/186—
    • B60K35/22—
    • B60K35/29—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Abstract

本发明提供一种实例车辆控制系统(102)，其包含：驾驶员监视系统(118)，其包含用于确定头部的位置、所述头部的定向或所述头部的眼睛注视点中的至少一者的头部位置确定器；数字镜系统(120)，其包含用于基于所述头部的所述位置、所述头部的所述定向或所述头部的所述眼睛注视点中的所述至少一者来识别感兴趣区ROI的ROI检测器及用于提取第一图像中对应于所述ROI的部分以形成第二图像的裁剪器，所述第一图像表示车辆外部的区域；及在所述车辆的内部区域内的显示器(116)，其用以呈现所述第二图像。

Description

用于车辆的数字镜系统及其操作方法
本发明通常涉及车辆，且更特定来说，涉及用于车辆的数字镜系统及其操作方法。
背景技术
用于车辆的数字镜系统(例如，相机监视系统)是取代及/或扩增车辆的(若干)光学镜的系统。实例数字镜系统包含在车辆外部的相机，所述相机将图像流式传输到安装在车辆内部的一或多个显示器。
发明内容
一种实例车辆控制系统包含：驾驶员监视系统，其包含用于确定头部的位置、所述头部的定向或所述头部的眼睛注视点中的至少一者的头部位置确定器；数字镜系统，其包含用于基于所述头部的所述位置、所述头部的所述定向或所述头部的所述眼睛注视点中的所述至少一者来识别感兴趣区(ROI)的ROI检测器及用于提取第一图像中对应于所述ROI的部分以形成第二图像的裁剪器，所述第一图像表示车辆外部的区域；及在所述车辆的内部区域内的显示器，其用以呈现所述第二图像。
附图说明
图1说明根据本说明书的教示构建且在实例使用环境中展示的实例车辆控制系统。
图2是说明图1的实例数字镜系统及实例驾驶员监视系统的实例实施方案的框图。
图3A、3B、3C、3C、3D及3E是一起说明图1及2的实例数字镜系统的实例操作的实例绘图。
图4是表示可经执行以实施图1及2的实例数字镜系统的实例机器可读指令的流程图。
图5说明经结构化以执行图4的实例机器可读指令以实施图1及/或2的实例数字镜系统的实例处理器平台。
具体实施方式
在有益的情况下，贯穿附图及本说明书使用相同参考数字来指相同或类似部件。附图中所展示的连接线或连接器表示各种元件之间的实例功能关系、物理及/或逻辑连接及/或通信。
数字镜系统由于与常规光学镜相比更符合空气动力学、提供更好可见性等而在现代车辆(例如汽车)中变得流行。然而，此类数字镜系统存在缺点。例如，在使用光学镜的情况下，车辆的乘员可通过移动其头部及/或眼睛来改变其所看到的内容。然而，利用已知数字镜系统，视图是固定的，这是因为外部相机的安装是固定的且不适应乘员的移动。这阻止已知数字镜系统提供由光学镜所提供的自然外观及感觉。
为了克服至少这些缺陷，本文中所描述的一些实例数字镜系统监视例如乘员的头部的位置、头部的定向、头部的眼睛注视点(例如，乘员的眼睛所指向的方向)等，且使用这个位置信息来控制由车辆的数字相机系统所呈现的(若干)视图。在一些实例中，内部相机(即，在内部部分、内部区域、内部空间等中)用于监视例如乘员的头部的位置、头部的定向、头部的眼睛注视点等。可数字地及/或机械地改变(若干)视图。在一些实例中，由数字镜系统所呈现的视图经调适以与乘员的头部及/或眼睛移动一致。在一些实例中，车辆中存在多于一个数字镜，且调适与正被观察的(若干)数字镜相关联的(若干)相机。在一些此类实例中，视图仅针对乘员所注视的数字镜而变化。然而，当存在两个数字镜(例如，车辆的广角镜正下方的普通镜)时，其可同时被改变。在一些实例中，乘员的头部的位置、头部的定向、头部的眼睛注视点(例如，乘员的眼睛所指向的方向)等用于识别乘员且自动地使数字镜系统120适应在不同时间共享同一辆车的不同驾驶员。在一些实例中，微小的无意识移动(其由于车辆移动(例如，撞到隆起物等)而可能是无意的)不会致使视图变化。可从本文中所描述的一或多个数字镜受益的实例车辆包含自行车、摩托车、汽车、公共汽车、火车、轮船、飞机等。此类车辆的实例乘员包含操作员、非操作员、驾驶员、骑手、乘客、工程师、飞行员等。本文中结合车辆描述实例，但是本说明书的教示也适用于非车辆环境，例如建筑物等。
图1说明实例环境100，其中在实例车辆104中实施根据本描述的教示构建的实例车辆控制系统102。在这个实例中，车辆104是汽车。为了捕获汽车104外部的实例区域106的图像，实例车辆控制系统102包含实例外部相机108。实例外部相机108可由任何类型的相机实施，且可以任何方式安装以捕获车辆外部的实例区域106的图像。例如，相机108可经安装到汽车104外部，可部分地安装在汽车104内，可经安装在汽车104的内部表面上等。所描述的实例外部相机108具有为20米(m)的范围112、每行1920个像素的分辨率，且包含可提供80度的视场(FOV)110的镜头202(参见图2)。已知数字镜系统相机具有20m的范围、每行1280个像素的分辨率，且包含提供60度FOV的镜头(未展示)。由镜头202所提供的增加的FOV及所描述相机108的增加的分辨率为平移/倾斜/旋转操作(例如，允许乘员设置其镜位置)及盲点算法提供额外像素。另外及/或替代地，所描述相机108的增加的FOV及增加的分辨率使能够呈现区域106的不同部分(其中一者在参考数字110处指定)，同时在部分110内维持足够像素以达到及/或超出例如由行业标准、政府法规等设置的数字镜系统的像素密度要求。
为了显示由实例外部相机108所捕获的图像，实例车辆控制系统102包含任何数目及/或类型的实例显示器，其中一者在参考数字116处指定。实例显示器116可在汽车104内的任何地方实施。例如，在与车辆控制系统102交互时乘员可容易地观看显示器116的位置处(例如，在通常将安装侧视光学镜的位置附近)。
在所说明实例中，外部相机108捕获整个区域106的图像。为了确定区域106中待在显示器116处呈现的部分114，实例车辆控制系统102包含驾驶员监视系统118。实例驾驶员监视系统118处理表示乘员的头部的头部位置、头部的定向、头部的眼睛注视点等的数据以确定乘员意图观看的部分114。在一些实例中，部分114可基于例如乘员的头部的头部位置、头部的定向、头部的眼睛注视点在区域106内左右及上下移动。因此，尽管图1说明区域114相对于由外部相机108所成像的区域106的特定位置，但是区域114可相对于区域106移动。基于由驾驶员监视系统118所确定的区域106的感兴趣部分114，实例数字镜系统120将由外部相机108所捕获的图像裁剪到仅感兴趣部分114。下文结合图2描述实例驾驶员监视系统118及实例数字镜系统120的实例实施方案。
为了确定乘员的头部122的位置、角度、眼睛注视等，实例车辆控制系统102包含任何数目及/或类型的实例内部相机，其中一者在参考数字124处指定。实例内部相机124可由照明式近红外相机、可见光相机、彩色相机、黑白相机等中的一或多者来实施。内部相机124可经安装在汽车104内的任何位置。例如，内部相机124可经定位在当驾驶车辆时乘员的头部将自然地定位在其处的位置(例如，在通常将安装侧视光学镜的位置附近)。
虽然图1中说明实例车辆控制系统102，但是可以任何其它方式组合、划分、重新布置、省略、消除及/或实施图1中所说明的元件、过程及/或装置中的一或多者。此外，图1的实例外部相机108、实例显示器116、实例驾驶员监视系统118、实例数字镜系统120、实例内部相机124及/或更一般来说实例车辆控制系统102可由硬件、软件、固件及/或硬件、软件及/或固件的任何组合来实施。因此，例如，实例外部相机108、实例显示器116、实例驾驶员监视系统118、实例数字镜系统120、实例内部相机124及/或更一般来说实例车辆控制系统102中的任一者可由一或多个模拟或数字电路、逻辑电路、(若干)可编程处理器、(若干)可编程控制器、(若干)图形处理单元(GPU)、(若干)数字信号处理器(DSP)、(若干)专用集成电路(ASIC)、(若干)可编程逻辑装置(PLD)、(若干)现场可编程门阵列(FPGA)及/或(若干)现场可编程逻辑装置(FPLD)来实施。当阅读本专利的设备或系统权利要求中的任一者以涵盖纯软件及/或固件实施方案时，实例外部相机108、实例显示器116、实例驾驶员监视系统118、实例数字镜系统120、实例内部相机124及/或更一般来说实例车辆控制系统102中的至少一者由此明确地被定义为包含非暂时性计算机可读存储装置或存储盘，例如存储器、数字多功能盘(DVD)、光盘(CD)、蓝光盘等，其包含软件及/或固件。更进一步，图1的实例车辆控制系统102可包含除图1中所说明的元件、过程及/或装置之外或代替图1中所说明的元件、过程及/或装置的一或多个元件、过程及/或装置，及/或可包含任何或所有所说明元件、过程及装置中的多于一者。
图2是说明图1的实例驾驶员监视系统118及实例数字镜系统120的实例实施方案的框图。为了预处理由实例外部相机108所捕获的图像204，图2的实例数字镜系统120包含实例图像信号处理器206。使用任何数目及/或类型的方法、算法等，图2的实例图像信号处理器206处理图像204以例如减少噪声、调整色彩平衡等。
为了重调由图像信号处理器206所输出的图像208的大小，图2的实例数字镜系统120包含实例大小重调器210。使用任何数目及/或类型的方法、算法等，图2的实例大小重调器210重调图像208的大小以具有与由已知数字镜系统相机所捕获的图像相同的像素密度(例如，每像素0.018米(m))。例如，已知数字镜系统相机捕获跨近似23m(＝2*20*tan(30度))的宽度含1280个像素的图像，其对应于每像素0.018m(＝23/1280)。本文中所描述的一些实例数字镜系统相机108捕获跨近似33.5m(＝2*20*tan(40度))的宽度含1920个像素的图像，其对应于每像素0.0174m(＝33.5/1920)。为了获得相同像素密度，图2的实例大小重调器210将由图像信号处理器206所输出的图像208的大小重调为跨1860个像素，这产生每像素近似0.018m的像素密度(＝33.5/1860)。在一些实例中，使用其它像素密度。然而，使用所指出像素密度避免物体在显示器116中显得太小。通过使用所描述的实例相机108提供的额外像素(580＝1860-1280)使图1的实例部分114能够定位在区域106中的580个不同水平位置处。随着乘员移动其头部122，不同水平位置使部分114能够跨区域106平移。在一些实例中，这个平移实时发生。
为了获得大小重调器210的输出图像212的部分，图1的实例数字镜系统120包含实例裁剪器214。基于区域106的部分(例如，部分114)的裁剪坐标216，实例裁剪器214裁剪图像212，从而保留图像212中对应于裁剪坐标216的部分。
在一些实例中，与传统光学镜不同，相机108无法旋转(例如，左右移动)及/或倾斜(例如，上下移动)。为了为相机108提供虚拟倾斜及/或虚拟旋转，实例数字镜系统120包含实例视角变换器218。使用任何数目及/或类型的方法、算法等，图2的实例视角图变换器218根据用户控制输入222变换由裁剪器214所输出的图像220。可使用任何数目及/或类型的用户控制界面元件提供用户控制输入222(例如，使用四向拨动开关来输入向上倾斜、向下倾斜、向左倾斜及向右倾斜)。在一些实例中，视角变换器218执行其它变换或图像处理，例如镜头畸变校正等。在一些实例中，使用专用硬件加速器(例如可从德州仪器(TEXASINSTRUMENTS)商购的网格变形硬件加速器)实施视角变换器218。网格变形硬件加速器是专用像素重映射引擎(其是由德州仪器公司所制造的若干TDA3x及其它TDAx装置上的成像子系统的部件)，且可用于执行多种功能，包含镜头畸变校正、鱼眼畸变校正、视角变换、(若干)多相机环视应用等。在显示器116处呈现视角变换器218的输出224。2017年6月发布—2017年10月修订的文献编号为SPRUIE7A的“用于高级驾驶员辅助系统(ADAS)的TDA3x SoC、硅版本2.0、1.0A、1.0，德州仪器ADAS产品族，技术参考手册(TDA3x SoC for AdvancedDriver Assistance Systems(ADAS),Silicon Revision 2.0,1.0A,1.0,TexasInstruments ADAS Family of Products,Technical Reference Manual)”中描述可用于实施实例视角变换器218的实例网格变形硬件加速器，所述文献的全部内容以引用方式并入本文中。
为了确定裁剪坐标216，图2的实例数字镜系统120包含实例驾驶员监视系统118。使用任何数目及/或类型的方法、算法等，实例驾驶员监视系统118的实例头部位置确定器228处理由内部相机124所捕获的图像230以确定表示虹膜辨识、面部辨识、面部检测及跟踪、乘员的头部位置、头部定向、眼睛注视点等的数据232。用于实施驾驶员监视系统118的实例技术包含由在www.fotonation.com上所描述的技术。
图2的实例数字镜系统120的实例ROI检测器234处理表示乘员的头部的头部位置、头部的定向、头部的眼睛注视点等的数据232以确定乘员正在观察的位置，例如其注视方向。在一些实例中，ROI检测器234执行射线跟踪以确定注视方向，且将围绕(例如，绕、环绕、包围等)注视方向的区(例如，视场)识别为ROI 216。例如，可将围绕注视方向的区确定为1280个像素宽(其是由传统数字镜系统所输出的像素数)，且以注视方向为中心。用于实施ROI检测器234的实例技术包含由在www.fotonation.com上所描述的技术。
在一些实例中，为了执行额外及/或替代分析，实例数字镜系统120包含实例分析学分析器236。可由图2的实例分析学分析器236所执行的实例分析包含盲点分析。因为所描述的外部相机108的FOV比传统数字镜系统所使用的相机宽，所以实例分析学分析器236可检测且呈现更多信息以由此减少(例如，消除)较宽FOV上的盲点，这可改善车辆安全性。
现将结合分别在图3A、3B、3C及3D中所展示的实例绘图302、304、306及308论述图2的数字镜系统120的实例操作。图3A的实例图像302对应于当车辆中的数字镜系统120静止时由图2的外部(external或exterior)相机108所捕获的完整FOV图像204。相应图3B到3D的实例图像304、306及308对应于实例图像302的不同相应裁剪314、316及318。裁剪314、316及318对应于图3E的不同相应ROI 324、326及328。随着乘员朝向例如虚拟侧视光学镜的虚拟位置移动其头部及/或注视，在显示器116处连续地呈现图3B到3D的图像304、306及308。如图3B到3D中可看到，乘员所看到的内容已从车辆的侧面向外平移。
虽然图2中说明实施图1的数字镜系统120的实例方式，但是可以任何其它方式组合、划分、重新布置、省略、消除及/或实施图2中所说明的元件、过程及/或装置中的一或多者。此外，实例图像信号处理器206、实例大小重调器210、实例裁剪器214、实例视角变换器218、实例驾驶员监视系统118、实例头部位置确定器228、实例ROI检测器234、实例分析学分析器236及/或更一般来说图2的实例数字镜系统120可由硬件、软件、固件及/或硬件、软件及/或固件的任何组合来实施。因此，例如，实例图像信号处理器206、实例大小重调器210、实例裁剪器214、实例视角变换器218、实例驾驶员监视系统118、实例头部位置确定器228、实例ROI检测器234、实例分析学分析器236及/或更一般来说图2的实例数字镜系统120可由一或多个模拟或数字电路、逻辑电路、(若干)可编程处理器、(若干)可编程控制器、(若干)GPU、(若干)DSP、(若干)ASIC、(若干)PLD、(若干)FPGA及/或(若干)FPLD来实施。当阅读本专利的设备或系统权利要求中的任一者以涵盖纯软件及/或固件实施方案时，实例图像信号处理器206、实例大小重调器210、实例裁剪器214、实例视角变换器218、实例驾驶员监视系统118、实例头部位置确定器228、实例ROI检测器234、实例分析学分析器236及/或更一般来说实例数字镜系统120中的至少一者由此明确地被定义为包含非暂时性计算机可读存储装置或存储盘，例如存储器、DVD、CD、蓝光盘等，包含软件及/或固件。更进一步，图2的实例数字镜系统120包含除图2中所说明的元件、过程及/或装置之外或代替图2中所说明的元件、过程及/或装置的一或多个元件、过程及/或装置，及/或可包含任何或所有所说明元件、过程及装置中的多于一者。
图4中展示表示用于实施图1及/或2的数字镜系统120的实例机器可读指令的流程图。在这个实例中，机器可读指令包括由处理器(下文结合图5所论述的实例处理器平台500中展示的处理器512)所执行的程序。程序可经体现在存储在非暂时性计算机可读存储媒体(例如CD、软盘、硬盘驱动器、DVD、蓝光盘或与处理器512相关联的存储器)上的软件中，但是整个程序及/或其部件可替代地由除处理器512之外的装置执行及/或体现在固件或专用硬件中。此外，尽管参考图4中所说明的流程图描述实例程序，但是可替代地使用实施实例数字镜系统120的许多其它方法。例如，可改变框的执行顺序，及/或可改变、消除或组合一些所描述框。另外及/或替代地，任何或所有框可由经结构化以执行对应操作而无需执行软件或固件的一或多个硬件电路(例如，离散及/或集成模拟及/或数字电路、FPGA、ASIC、比较器、运算放大器(op-amp)、逻辑电路等)来实施。
如上文所描述，可使用存储在非暂时性计算机及/或机器可读媒体(例如，硬盘驱动器、快闪存储器、只读存储器、CD、DVD、高速缓冲存储器、随机存取存储器及/或任何其它存储装置或存储盘(其中存储信息达任何持续时间(例如，达延长的时间段、永久地、达短暂瞬间、用于临时缓冲及/或用于信息的高速缓冲存储)))上的编码指令(例如，计算机及/或机器可读指令)实施图4的实例过程。如本文中所使用，术语非暂时性计算机可读媒体明确地被定义为包含任何类型的计算机可读存储装置及/或存储盘且排除传播信号并排除传输媒体。
图4的程序从框402开始，其中数字镜系统120初始化外部相机108，利用默认起始ROI(例如，区域106的中心区域或由用户偏好所指定的106的部分)初始化裁剪器214，基于默认起始ROI来将图像从外部相机108流式传输到显示器116，且起始驾驶员监视系统118以向裁剪器214提供周期性及/或非周期性更新(框402)。
头部位置确定器228周期性地及/或非周期性地获得关于乘员的状态(例如，驾驶员的状态)的信息(框404)。例如，可从由内部相机124所采集的图像230收集乘员的头部的头部位置、头部的定向、头部的眼睛注视点等信息。如果驾驶员正注视数字镜系统(例如，朝向内部相机124的位置)(框406)，那么头部位置确定器228确定驾驶员的状态(例如，位置及/或定向)是否已改变(框408)。如果状态变化超过阈值(框410)，那么将驾驶员的状态设置为“运动中”(框412)，且ROI检测器234开始确定由裁剪器214用来裁剪来自外部相机108的图像的ROI，且在显示器116处呈现经裁剪图像(框414)。
如果状态变化不超过阈值(框410)，且驾驶员已处于“运动中”状态(框416)，那么驾驶员保持“运动中”状态(框412)。检测器234继续确定由裁剪器214用来裁剪来自外部相机108的图像的ROI，且在显示器116处呈现经裁剪图像(框414)。
返回到框416，如果驾驶员尚未处于“运动中”状态(框416)，那么将驾驶员的状态设置为“静止”(框418)，不确定或不再确定新ROI(框420)。
返回到框408，如果驾驶员的状态(例如，位置及/或定向)尚未改变(框408)，那么将驾驶员的状态设置为“静止”(框418)，不确定或不再确定新ROI(框420)。
返回到框406，如果驾驶员并未注视数字镜系统(例如，朝向相机124的位置)(框406)，那么不对ROI及驾驶员状态进行任何改变。
图5是能够执行图4的指令以实施图1及2的数字镜系统120的实例处理器平台500的框图。处理器平台500可为例如计算机、微型计算机、嵌入式控制器或任何其它类型的计算装置。
所说明实例的处理器平台500包含处理器512。所说明实例的处理器512是硬件。例如，处理器512可由来自任何期望家族或制造商的一或多个集成电路、逻辑电路、微处理器、GPU、DSP或控制器来实施。硬件处理器可为基于半导体(例如，基于硅)的装置。在这个实例中，处理器实施实例图像信号处理器206、实例大小重调器210、实例裁剪器214、实例视角变换器218、实例驾驶员监视系统118、实例头部位置确定器228、实例ROI检测器234、实例分析学分析器236。
所说明实例的处理器512包含本地存储器512(例如，高速缓冲存储器)。所说明实例的处理器512经由总线518与包含易失性存储器514及非易失性存储器516的主存储器通信。易失性存储器514可由同步动态随机存取存储器(SDRAM)、动态随机存取存储器(DRAM)、动态随机存取存储器/>及/或任何其它类型的随机存取存储器装置来实施。非易失性存储器516可由快闪存储器及/或任何其它期望类型的存储器装置来实施。对主存储器514、516的存取由存储器控制器(未展示)来控制。
所说明实例的处理器平台500还包含接口电路520。接口电路520可由任何类型的接口标准来实施，例如控制器局域网(CAN总线)、以太网接口、通用串行接口总线(USB)接口等。
在所说明实例中，一或多个输入装置522经连接到接口电路520。(若干)输入装置522允许用户将数据及/或命令输入到处理器512中。(若干)输入装置可由例如音频传感器、麦克风、相机(静止或视频)(例如相机108及124)、键盘、按钮、鼠标、触摸屏、触摸板、轨迹球、等点(isopoint)及/或语音辨识系统来实施。
一或多个输出装置524也连接到所说明实例的接口电路520。输出装置524可例如由例如显示器116的显示装置(例如，发光二极管(LED)、有机发光二极管(OLED)、液晶显示器(LCD)、阴极射线管显示器(CRT)、面内开关(IPS)显示器、触摸屏等)、触觉输出装置、打印机及/或扬声器来实施。因此，所说明实例的接口电路520通常包含图形驱动器卡、图形驱动器芯片及/或图形驱动器处理器。
所说明实例的处理器平台500还可包含用于存储软件及/或数据的一或多个大容量存储装置528。此类大容量存储装置528的实例包含软盘驱动器、硬盘驱动器、CD驱动器、蓝光盘驱动器、独立磁盘冗余阵列(RAID)系统及DVD驱动器。
包含图4的编码指令的编码指令532可经存储在大容量存储装置528中、易失性存储器514中、非易失性存储器516中及/或可抽换有形计算机可读存储媒体上，例如CD或DVD。
本文中所描述用于车辆的数字镜系统及其操作方法。其它实例及其组合至少包含以下内容。
实例1是一种车辆控制系统，其包含：
驾驶员监视系统，其包含用于确定头部的位置、所述头部的定向或所述头部的眼睛注视点中的至少一者的头部位置确定器；
数字镜系统，其包含
感兴趣区(ROI)检测器，其用于基于所述头部的所述位置、所述头部的所述定向
或所述头部的所述眼睛注视点中的所述至少一者来识别ROI，及
裁剪器，其用于提取第一图像中对应于所述ROI的部分以形成第二图像，所述第
一图像表示车辆外部的区域；及
在所述车辆的内部区域内的显示器，其用以呈现所述第二图像。
实例2是实例1的车辆控制系统，其中所述驾驶员监视系统包含用于捕获所述头部的第三图像的内部相机，所述头部位置确定器用于基于所述第三图像来确定所述头部的所述位置、所述头部的所述定向、所述头部的所述眼睛注视点中的至少一者，且所述数字镜系统包含用于捕获所述第一图像的外部相机。
实例3是实例2的车辆控制系统，其进一步包含：
用户控件，其用于使用户能够配置所述外部相机的虚拟倾斜或所述外部相机的虚拟旋转中的至少一者；及
视角变换器，其用于修改所述第二图像以模仿所述外部相机的所述虚拟倾斜或所述外部相机的所述虚拟旋转中的所述至少一者。
实例4是实例1的车辆控制系统，其中
所述头部位置确定器用于基于所述头部的所述位置、所述头部的所述定向或所述头部的所述眼睛注视点中的所述至少一者来确定注视方向，且
所述ROI检测器用于基于所述注视方向及围绕所述注视方向的视场来识别所述ROI。
实例5是实例4的车辆控制系统，其中所述注视方向与车辆的操作员或所述车辆的乘客中的至少一者相关联。
实例6是实例4的车辆控制系统，其进一步包含用于基于所述第一图像来检测盲点中的对象的分析学分析器。
实例7是实例1的车辆控制系统，其中所述ROI是所述车辆的外部、所述车辆的内部或所述车辆的部分外部中的至少一者。
实例8是实例1的车辆控制系统，其中所述数字镜系统响应于所述头部朝向所述显示器注视而更新所述显示器上呈现的内容。
实例9是实例1的车辆控制系统，其进一步包含：
确定所述乘员注视哪个数字镜；
响应于所述头部位置、所述头部角度或所述眼睛注视中的至少一者的经检测变化而更新所述显示器上呈现的与所述经确定数字镜相关联的内容；及
响应于所述经检测变化而不更新第二显示器上呈现的与第二数字镜相关联的内容。
实例10是一种车辆控制系统，其包含：
外部相机，其用于捕获车辆外部的区域的第一图像；
内部相机，其用于捕获所述车辆的乘员的第二图像；
头部位置确定器，其用于基于所述第二图像来确定头部的位置、所述头部的定向、所述头部的眼睛注视点或虚拟光学镜的定向中的至少一者；
感兴趣区(ROI)检测器，其用于基于所述头部的所述位置、所述头部的所述定向、所述头部的所述眼睛注视点或所述虚拟光学镜的所述定向中的所述至少一者来确定所述车辆中的所述乘员的注视方向，且选择围绕所述注视方向的视场作为ROI；
裁剪器，其用于使用所述第一图像中对应于所述ROI的部分来形成第三图像；
用户控件，其用于使所述乘员能够配置所述外部相机的虚拟倾斜或所述外部相机的虚拟旋转中的至少一者；
视角变换器，其用于修改所述第三图像以模仿所述外部相机的所述虚拟倾斜或所述外部相机的所述虚拟旋转中的所述至少一者以形成第四图像；及
显示器，其用于将所述第四图像呈现给所述车辆的内部区域。
实例11是实例10的车辆控制系统，其进一步包含用于基于所述第一图像来检测盲点中的对象的分析学分析器。
实例12是一种方法，其包含：
通过利用处理器执行指令，确定车辆的乘员的注视方向；
通过利用处理器执行指令，基于所述注视方向来识别感兴趣区(ROI)；
通过利用处理器执行指令，提取外部图像的部分以形成经裁剪图像，所述部分对应于所述ROI；及
将所述经裁剪图像呈现给所述车辆的内部。
实例13是实例12的方法，其进一步包含：
接收用户输入，所述用户输入表示用于捕获所述外部图像的相机的虚拟倾斜或所述相机的虚拟旋转中的至少一者；及
通过利用处理器执行指令，修改所述外部图像以模仿所述相机的所述虚拟倾斜或所述相机的所述虚拟旋转中的所述至少一者。
实例14是实例12的方法，其进一步包含：
通过利用处理器执行指令，基于从所述车辆内的所述乘员所拍摄的图像来确定头部的位置、所述头部的定向或所述头部的眼睛注视点中的至少一者；
通过利用处理器执行指令，基于所述头部的所述位置、所述头部的所述定向或所述头部的所述眼睛注视点中的所述至少一者来确定注视方向；及
通过利用处理器执行指令，基于所述注视方向及围绕所述注视方向的视场来识别所述ROI。
实例15是实例14的方法，其进一步包含：
通过利用处理器执行指令，基于所述注视方向、所述头部的所述位置、所述头部的所述定向或所述头部的所述眼睛注视点中的所述至少一者来识别所述乘员的身份；及
基于所述身份来调适所述经裁剪图像的呈现方式。
实例16是一种非暂时性计算机可读存储媒体，其存储指令，所述指令在被执行时致使机器进行以下操作：
确定车辆的乘员的注视方向；
基于所述注视方向来识别感兴趣区(ROI)；
提取从所述车辆外部的区域所拍摄的第一图像的部分以形成第二图像，所述第二图像对应于所述ROI；及
将所述第二图像呈现给所述车辆的内部。
实例17是实例16的非暂时性计算机可读存储媒体，其中所述指令在被执行时致使所述机器进行以下操作：
接收用户输入，所述用户输入表示用于捕获所述第一图像的相机的虚拟倾斜或所述相机的虚拟旋转中的至少一者；及
修改所述第一图像以模仿所述相机的所述虚拟倾斜或所述相机的所述虚拟旋转中的所述至少一者。
实例18是实例16的非暂时性计算机可读存储媒体，其中所述指令在被执行时致使所述机器进行以下操作：
通过利用处理器执行指令，基于从所述车辆内的所述乘员所拍摄的图像来确定头部的位置、所述头部的定向或所述头部的眼睛注视点中的至少一者；及
通过利用处理器执行指令，基于所述头部的所述位置、所述头部的所述定向或所述头部的所述眼睛注视点中的所述至少一者来确定注视方向；及
通过利用处理器执行指令，基于所述注视方向及围绕所述注视方向的视场来识别所述ROI。
在本说明书中，例如“及”、“或”及“及/或”的连词是包含性的，除非上下文另有明确指出。例如，“A及/或B”包含仅A、仅B及A与B。
在权利要求书的范围内，在所描述实施例中修改是可能的，且其它实施例是可能的。

Claims (13)

1.一种车辆控制系统，其包括：
第一相机，其经配置以在第一时间捕获第一驾驶员图像以及在第二时间捕获第二驾驶员图像；
第二相机，其经配置以捕获第一图像；
处理器，其耦合到所述第一相机且经配置以从所述第一驾驶员图像和所述第二驾驶员图像确定驾驶员状态信息，其中所述驾驶员状态信息包括以下至少一者：头部位置、所述头部的定向、所述头部的眼睛注视点或虚拟光学镜的定向，其中所述处理器经配置以，如果驾驶员正看向预定位置，则确定所述头部的所述位置、所述头部的所述定向或所述头部的所述眼睛注视点的改变量是否超过阈值；及
数字镜系统，其耦合到所述处理器和所述第二相机，且所述数字镜系统经配置以：
将所述驾驶员状态信息与所述阈值进行比较；
当所述驾驶员状态信息超过所述阈值时：
基于所述驾驶员状态信息识别感兴趣区ROI；
如果所述改变量超过所述阈值，将驾驶员的状态标志设置为运动中且执行所述识别ROI动作；
如果所述改变量没有超过所述阈值且所述驾驶员的状态标志已设置为运动中，则执行所述识别ROI动作；及
如果所述改变量没有超过所述阈值且所述驾驶员的状态标志尚未设置为运动中，则不执行所述识别ROI动作；及
通过基于所述ROI提取所述第一图像的一部分而形成第二图像。
2.根据权利要求1所述的车辆控制系统，其中所述第一相机经配置以捕获所述第一驾驶员图像和所述第二驾驶员图像中的物体的图像。
3.根据权利要求2所述的车辆控制系统，其进一步包含：
用户控件，其用于使用户能够配置所述第二相机的虚拟倾斜或所述第二相机的虚拟旋转中的至少一者；及
视角变换器，其用于修改所述第二图像以模仿所述第二相机的所述虚拟倾斜或所述第二相机的所述虚拟旋转中的所述至少一者。
4.根据权利要求1所述的车辆控制系统，其中
所述处理器经配置以基于所述头部的所述位置、所述头部的所述定向或所述头部的所述眼睛注视点中的所述至少一者来确定注视方向，且
基于所述注视方向及围绕所述注视方向的视场来识别所述ROI。
5.根据权利要求4所述的车辆控制系统，其中所述第一驾驶员图像和所述第二驾驶员图像包括车辆内部的视图，且其中所述注视方向与所述车辆的操作员或所述车辆的乘客中的至少一者相关联。
6.根据权利要求4所述的车辆控制系统，其中所述数字镜系统经配置以基于所述第一图像来检测盲点中的物体。
7.一种方法，其包括：
通过第一相机捕获第一驾驶员图像和第二驾驶员图像；
通过处理器，从所述第一驾驶员图像和所述第二驾驶员图像确定驾驶员状态信息，其中所述驾驶员状态信息包括以下至少一者：头部位置、所述头部的定向、所述头部的眼睛注视点或虚拟光学镜的定向，其中所述处理器经配置以，如果驾驶员正看向预定位置，则确定所述头部的所述位置、所述头部的所述定向或所述头部的所述眼睛注视点的改变量是否超过阈值；
通过数字镜系统，将所述驾驶员状态信息与所述阈值进行比较；
当所述驾驶员状态信息超过所述阈值时：
通过所述数字镜系统，基于所述驾驶员状态信息识别感兴趣区ROI；
如果所述改变量超过所述阈值，将驾驶员的状态标志设置为运动中且执行识别ROI动作；
如果所述改变量没有超过所述阈值且所述驾驶员的状态标志已设置为运动中，则执行所述识别ROI动作；及
如果所述改变量没有超过所述阈值且所述驾驶员的状态标志尚未设置为运动中，则不执行所述识别ROI动作；及
通过所述数字镜系统，通过基于所述ROI提取第一图像的一部分而形成第二图像，所述第二图像由第二相机捕获。
8.根据权利要求7所述的方法，其进一步包含：
接收用户输入，所述用户输入表示用于捕获所述第二图像的所述第二相机的虚拟倾斜或所述第二相机的虚拟旋转中的至少一者；及
通过所述处理器，修改所述第二图像以模仿所述第二相机的所述虚拟倾斜或所述第二相机的所述虚拟旋转中的所述至少一者。
9.根据权利要求8所述的方法，其中：
基于所述头部的所述位置、所述头部的所述定向、所述头部的所述眼睛注视点或所述虚拟光学镜的所述定向中的所述至少一者来确定注视方向；及
基于所述注视方向及围绕所述注视方向的视场来识别所述ROI。
10.根据权利要求9所述的方法，其进一步包含：
通过所述处理器，基于所述注视方向、所述头部的所述位置、所述头部的所述定向或所述头部的所述眼睛注视点中的所述至少一者来识别乘员的身份；及
基于所述身份来调适所述第二图像。
11.一种非暂时性计算机可读存储媒体，其包括指令，所述指令在被执行时致使机器进行以下操作：
通过第一相机捕获第一驾驶员图像和第二驾驶员图像；
通过处理器，从所述第一驾驶员图像和所述第二驾驶员图像确定驾驶员状态信息，其中所述驾驶员状态信息包括以下至少一者：头部位置、所述头部的定向、所述头部的眼睛注视点或虚拟光学镜的定向，其中所述处理器经配置以，如果驾驶员正看向预定位置，则确定所述头部的所述位置、所述头部的所述定向或所述头部的所述眼睛注视点的改变量是否超过阈值；
通过数字镜系统，将所述驾驶员状态信息与所述阈值进行比较；
当所述驾驶员状态信息超过所述阈值时：
通过所述数字镜系统，基于所述驾驶员状态信息识别感兴趣区ROI；
如果所述改变量超过所述阈值，将驾驶员的状态标志设置为运动中且执行所述识别ROI动作；
如果所述改变量没有超过所述阈值且所述驾驶员的状态标志已设置为运动中，则执行所述识别ROI动作；及
如果所述改变量没有超过所述阈值且所述驾驶员的状态标志尚未设置为运动中，则不执行所述识别ROI动作；及
通过所述数字镜系统，通过基于所述ROI提取第一图像的一部分而形成第二图像，所述第二图像由第二相机捕获。
12.根据权利要求11所述的非暂时性计算机可读存储媒体，其中所述指令在被执行时致使所述机器：
接收用户输入，所述用户输入表示用于捕获所述第一图像的所述第二相机的虚拟倾斜或所述第二相机的虚拟旋转中的至少一者；且
修改所述第一图像以模仿所述第二相机的所述虚拟倾斜或所述第二相机的所述虚拟旋转中的所述至少一者。
13.根据权利要求11所述的非暂时性计算机可读存储媒体，其中所述指令在被执行时致使所述机器：
通过所述处理器，基于所述头部的所述位置、所述头部的所述定向或所述头部的所述眼睛注视点中的所述至少一者来确定注视方向；且
通过所述处理器，基于所述注视方向及围绕所述注视方向的视场来识别所述ROI。
CN201880073399.2A 2017-12-22 2018-12-20 用于车辆的数字镜系统及其操作方法 Active CN111344189B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/852,837 US10872254B2 (en) 2017-12-22 2017-12-22 Digital mirror systems for vehicles and methods of operating the same
US15/852,837 2017-12-22
PCT/US2018/066937 WO2019126575A1 (en) 2017-12-22 2018-12-20 Digital mirror systems for vehicles and methods of operating the same

Publications (2)

Publication Number Publication Date
CN111344189A CN111344189A (zh) 2020-06-26
CN111344189B true CN111344189B (zh) 2023-09-19

Family

ID=66951249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880073399.2A Active CN111344189B (zh) 2017-12-22 2018-12-20 用于车辆的数字镜系统及其操作方法

Country Status (3)

Country Link
US (2) US10872254B2 (zh)
CN (1) CN111344189B (zh)
WO (1) WO2019126575A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11027747B2 (en) * 2018-05-15 2021-06-08 International Business Machines Corporation Vehicle content based symbiosis for vehicle occupants
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
CN112513708B (zh) * 2018-07-26 2023-02-21 宝马股份公司 用于与车辆一起使用的设备和方法
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
CN115512173A (zh) 2018-10-11 2022-12-23 特斯拉公司 用于使用增广数据训练机器模型的系统和方法
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
JP7202195B2 (ja) * 2019-01-23 2023-01-11 本田技研工業株式会社 表示システム、走行制御装置、表示制御方法およびプログラム
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
JP7192570B2 (ja) * 2019-02-27 2022-12-20 株式会社Ｊｖｃケンウッド 記録再生装置、記録再生方法およびプログラム
EP3744568B1 (en) * 2019-05-29 2022-01-19 Ningbo Geely Automobile Research & Development Co. Ltd. A system and method for providing a desired view for a vehicle occupant
CN110557617A (zh) * 2019-09-19 2019-12-10 天津英田视讯科技有限公司 一种基于北斗通信的图像抓拍数据传输方法
EP3915837B1 (en) * 2020-05-26 2023-07-12 Continental Automotive Technologies GmbH Method for adapting a displayed view of a digital mirror system of a vehicle and digital mirror system of a vehicle
EP3967552A1 (en) * 2020-09-11 2022-03-16 Ficosa Adas, S.L.U. Camera monitoring system for motor vehicles
CN112319372A (zh) * 2020-11-27 2021-02-05 北京三快在线科技有限公司 一种基于流媒体后视镜的图像显示方法及装置
US11651518B2 (en) * 2021-06-03 2023-05-16 Meta Platforms Technologies, Llc System for determining an expected field of view
US20230072154A1 (en) * 2021-09-07 2023-03-09 Honda Motor Co., Ltd. Display device and control method therefor
CN114506273B (zh) * 2021-12-08 2023-12-08 惠州市德赛西威汽车电子股份有限公司 一种调整电子侧后视镜视野的方法和系统
CN114581627B (zh) * 2022-03-04 2024-04-16 合众新能源汽车股份有限公司 基于arhud的成像方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6424272B1 (en) * 2001-03-30 2002-07-23 Koninklijke Philips Electronics, N.V. Vehicular blind spot vision system
CN101269635A (zh) * 2007-03-23 2008-09-24 株式会社电装 视场监视设备
DE102007044536A1 (de) * 2007-09-18 2009-03-19 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung zum Überwachen der Umgebung eines Kraftfahrzeugs
EP2743133A2 (en) * 2012-12-13 2014-06-18 Nissan Motor Manufacturing (UK) Ltd. Camera system
CN106060456A (zh) * 2015-04-09 2016-10-26 福特全球技术公司 车辆外侧相机系统和方法
CN106791689A (zh) * 2017-01-04 2017-05-31 深圳源诚技术有限公司 一种智能后视镜多摄像头监控系统及其实现方法
CN106828326A (zh) * 2016-12-30 2017-06-13 重庆市永川区中川科技发展有限责任公司 一种智能后视镜系统
CN107415830A (zh) * 2016-05-23 2017-12-01 本田技研工业株式会社 车辆控制系统、车辆控制方法和车辆控制程序

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8238695B1 (en) 2005-12-15 2012-08-07 Grandeye, Ltd. Data reduction techniques for processing wide-angle video
EP2000889B1 (en) * 2006-03-15 2018-06-27 Omron Corporation Monitor and monitoring method, controller and control method, and program
US7970175B2 (en) * 2007-04-30 2011-06-28 Delphi Technologies, Inc. Method and apparatus for assessing head pose of a vehicle driver
US9041806B2 (en) * 2009-09-01 2015-05-26 Magna Electronics Inc. Imaging and display system for vehicle
US9102269B2 (en) 2011-08-09 2015-08-11 Continental Automotive Systems, Inc. Field of view matching video display system
US9517776B2 (en) * 2011-12-29 2016-12-13 Intel Corporation Systems, methods, and apparatus for controlling devices based on a detected gaze
WO2014130049A1 (en) 2013-02-25 2014-08-28 Johnson Controls Technology Company Systems and methods for augmented rear-view displays
US9654740B2 (en) * 2013-05-28 2017-05-16 International Business Machines Corporation Controlling automotive rear-view mirror based on eye movement
US9505413B2 (en) * 2015-03-20 2016-11-29 Harman International Industries, Incorporated Systems and methods for prioritized driver alerts
US9764694B2 (en) * 2015-10-27 2017-09-19 Thunder Power Hong Kong Ltd. Intelligent rear-view mirror system
US10043083B2 (en) * 2015-10-27 2018-08-07 Thunder Power New Energy Vehicle Development Company Limited Intelligent rear-view mirror system
KR101789984B1 (ko) * 2016-07-13 2017-10-25 엠엠피씨 주식회사 차량용 사이드 미러 카메라 시스템

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6424272B1 (en) * 2001-03-30 2002-07-23 Koninklijke Philips Electronics, N.V. Vehicular blind spot vision system
CN101269635A (zh) * 2007-03-23 2008-09-24 株式会社电装 视场监视设备
DE102007044536A1 (de) * 2007-09-18 2009-03-19 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung zum Überwachen der Umgebung eines Kraftfahrzeugs
EP2743133A2 (en) * 2012-12-13 2014-06-18 Nissan Motor Manufacturing (UK) Ltd. Camera system
CN106060456A (zh) * 2015-04-09 2016-10-26 福特全球技术公司 车辆外侧相机系统和方法
CN107415830A (zh) * 2016-05-23 2017-12-01 本田技研工业株式会社 车辆控制系统、车辆控制方法和车辆控制程序
CN106828326A (zh) * 2016-12-30 2017-06-13 重庆市永川区中川科技发展有限责任公司 一种智能后视镜系统
CN106791689A (zh) * 2017-01-04 2017-05-31 深圳源诚技术有限公司 一种智能后视镜多摄像头监控系统及其实现方法

Also Published As

Publication number Publication date
WO2019126575A1 (en) 2019-06-27
US20190197327A1 (en) 2019-06-27
CN111344189A (zh) 2020-06-26
US10872254B2 (en) 2020-12-22
US11508165B2 (en) 2022-11-22
US20210049389A1 (en) 2021-02-18

Similar Documents

Publication Publication Date Title
CN111344189B (zh) 用于车辆的数字镜系统及其操作方法
US10088899B2 (en) Eye gaze tracking utilizing surface normal identification
US10116873B1 (en) System and method to adjust the field of view displayed on an electronic mirror using real-time, physical cues from the driver in a vehicle
KR101811157B1 (ko) 사발형 영상 시스템
KR20170031755A (ko) 사발형 이미징 시스템에서의 물체 가시화
US9826166B2 (en) Vehicular surrounding-monitoring control apparatus
CN109415018B (zh) 用于数字后视镜的方法和控制单元
US20160171320A1 (en) Imaging system
JP6360850B2 (ja) 画像表示装置
CN114041175A (zh) 一种用于使用真实感合成数据估计头部姿势和视线的神经网络
US20180270444A1 (en) Image recording system, image recording method and storage medium recording image recording program
WO2018235300A1 (ja) 物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体
US20190135197A1 (en) Image generation device, image generation method, recording medium, and image display system
CN111819571A (zh) 具有经调整适配的投影面的全景环视系统
US11935262B2 (en) Method and device for determining a probability with which an object will be located in a field of view of a driver of a vehicle
CN109074685B (zh) 用于调整图像的方法、设备、系统和计算机可读存储介质
US20180334100A1 (en) Rear view display image view positioning and zoom effect system and method
US20170351107A1 (en) Display system and method of creating an apparent three-dimensional image of an object
CN114842433A (zh) 基于显著性的图像中对象的呈现
CN114821544B (zh) 感知信息生成方法、装置、车辆、电子设备及存储介质
CN110796116A (zh) 多面板显示系统、具有多面板显示系统的车辆及显示方法
US20180316868A1 (en) Rear view display object referents system and method
CN112172670B (zh) 基于图像识别的后视图像显示方法及装置
CN115018942A (zh) 用于车辆的图像显示的方法和设备
CN113051997A (zh) 用于监视车辆周围环境的设备和非暂时性计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant