CN106467061A - 用于显示车辆外部的区域的摄像机系统 - Google Patents

用于显示车辆外部的区域的摄像机系统 Download PDF

Info

Publication number
CN106467061A
CN106467061A CN201610663467.3A CN201610663467A CN106467061A CN 106467061 A CN106467061 A CN 106467061A CN 201610663467 A CN201610663467 A CN 201610663467A CN 106467061 A CN106467061 A CN 106467061A
Authority
CN
China
Prior art keywords
video
vehicle
signal
camera
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610663467.3A
Other languages
English (en)
Inventor
H·肖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faraday and Future Inc
Original Assignee
Faraday and Future Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Faraday and Future Inc filed Critical Faraday and Future Inc
Publication of CN106467061A publication Critical patent/CN106467061A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请涉及用于显示车辆外部的区域的摄像机系统。用于车辆的摄像机系统可以包括手动控制装置，该手动控制装置被配置为接收来自占用者的指示车辆操作的输入并响应地生成信号。该摄像机系统还可以包括被配置为照明的转向信号器以及被配置为捕获车辆外部的区域的视频的摄像机。该摄像机系统可以进一步包括被配置为显示视频的显示器以及控制器，其中该控制器被配置为从手动控制装置接收信号、基于该信号致动转向信号器以照明、基于该信号致动摄像机以捕获视频、以及基于该信号将该视频输出到该显示器。

Description

用于显示车辆外部的区域的摄像机系统
对相关申请的交叉引用
本申请要求于2015年8月14日提交的申请号为62/205,558的美国临时专利申请的优先权权益，该申请的全部公开内容通过引用的方式并入本文。
技术领域
本公开一般涉及用于车辆的摄像机系统，并且更特别地涉及用于显示车辆外部的区域的摄像机系统。
背景技术
由于驾驶员对周围区域的视野受限，在车辆正在改变车道的时候经常发生事故。大多数车辆装备有后视镜和侧视镜以向驾驶员提供车辆后面和与车辆相邻的区域的可视性。然而，这些镜并不理想，因为从驾驶员座位处的尖锐的视角固有地产生了驾驶员经由镜不可见的“盲区(blind spot)”。这趋于使驾驶员在改变车道之前需要越过驾驶员的肩膀向后看以查看盲区，这降低了驾驶员对前方道路的察觉力。另外，由于偏好较小的车窗和较尖锐的设计角度的现代风格，盲区甚至可能被挡住。
车辆设计者已经试图通过为大致上平面的后视镜和/或侧视镜补充鱼眼凸面镜来增大驾驶员的视区。然而，就其本质而言，鱼眼镜压缩了图像并且使物体之间的距离实质上失真。此外，当从平面镜移动到鱼眼镜时，驾驶员的眼睛必须进行调整。因此，这种镜的组合可能迷惑驾驶员，在公路速度的情况下是尤其有问题的。镜还可能误导驾驶员使其在没有改变车道的空间时认为存在改变车道的空间。
所公开的摄像机系统旨在缓解或克服上文阐述的问题中的一个或多个问题和/或现有技术中的其他问题。
发明内容
本发明的一个方面涉及用于车辆的摄像机系统。该摄像机系统可以包括手动控制装置，该手动控制装置被配置为接收来自占用者的指示第一车辆操作的第一输入并且响应地生成第一信号。该摄像机系统还可以包括被配置为照明的第一转向信号器，以及被配置为捕获车辆外部的第一区域的视频的第一摄像机。该摄像机系统还可以包括被配置为显示视频的显示器，以及与手动控制装置、第一转向信号器、第一摄像机和该显示器进行通信的控制器。控制器可以被配置为从手动控制装置接收第一信号、基于第一信号致动第一转向信号器以进行照明、基于第一信号致动第一摄像机以捕获第一视频、以及基于第一信号将第一视频输出到显示器。
本发明的另一个方面涉及一种显示车辆外部的区域的方法。该方法可以包括用手动控制装置接收指示第一车辆操作的第一输入以及响应地生成第一信号。该方法还可以包括基于第一信号致动第一转向信号器、基于第一信号致动第一摄像机以捕获车辆外部的第一区域的第一视频、以及基于第一信号将第一视频输出到显示器。
本发明的又一个方面涉及被配置为由占用者操作的车辆。摄像机系统可以包括手动控制装置，该手动控制装置被配置为接收来自占用者的指示车辆操作的输入并且响应地生成信号。该摄像机系统还可以包括被配置为照明的转向信号器，以及被配置为捕获车辆外部的区域的视频的摄像机。该摄像机系统还可以包括被配置为显示视频的显示器，以及与手动控制装置、转向信号器、摄像机和显示器进行通信的控制器。该控制器可以被配置为从手动控制装置接收信号、基于信号致动转向信号器、基于信号致动摄像机以捕获第一视频、以及基于信号将视频输出到显示器。
本发明的另一个方面涉及非暂时性计算机可读介质，该介质存储当被执行时使得一个或多个处理器执行显示车辆外部的区域的方法的指令。该方法可以包括用手动控制装置接收指示车辆操作的输入以及响应地生成信号。该方法还可以包括基于该信号致动转向信号器、基于该信号致动摄像机以捕获车辆外部的区域的视频、以及基于该信号将视频输出到显示器。
附图说明
图1是车辆的示例性实施例的图示性顶视图；
图2是图1的示例性车辆的内部的示例性实施例的图示；
图3是可以与图1和图2的示例性车辆一起使用的摄像机系统的示例性实施例的框图；以及
图4是示出了可以由图3的示例性摄像机系统执行的示例性过程的流程图。
具体实施方式
本公开一般涉及摄像机系统，该摄像机系统可以被集成到车辆中。摄像机系统可以包括置于例如每个侧视镜的顶部的一个或多个摄像机。在一些实施例中，当驾驶员致动手动控制装置试图改变车道时，摄像机中的至少一个摄像机可以激活和记录车辆的后侧视图。该记录可以立刻被投射到或者在左侧(如果驾驶员致动左信号器)或者在右侧(如果驾驶员致动右信号器)的平视显示器(head-up display)上。所公开的摄像机系统可以提供提高驾驶员安全性的双重优势。第一，该系统可以提供车辆的后侧视图的视频和/或图像，而不需要驾驶员大幅度地重定向驾驶员的视线。第二，视频和/或图像可以向驾驶员提供任何没有在镜中反射出的盲区的视图。
图1提供了根据示例性实施例的示例性车辆10的顶视图示。如图1所示，车辆10可以包括一个或多个侧面板12、后备箱盖13、风挡14和后侧视镜15以及其他部件。每个侧视镜15可以包括外壳16和镜17以便向驾驶员提供相邻车道中的另一车辆60的可视性。车辆10还可以包括指示车辆10的某些动作的转向信号器18。例如，转向信号器18在车辆10制动时可以照明并且在车辆10或者转入交叉路或者改变车道时可以闪光。可以预想到，车辆10可以是电动车辆、燃料电池车辆、混合动力车辆或常规的内燃机车辆。车辆10可以具有任何车体类型，诸如运动汽车、双座汽车、轿车、轻型卡车、旅行车、运动型多功能车(SUV)、小型货车或改装型货车。车辆10可以被配置为由占用车辆10的驾驶员操作、被远程控制和/或自动操作。
车辆10还可以具有安装在其上的各种电子设备以便发射和接收与车辆10外部的状况相关的数据。例如，车辆10可以包括被配置为捕获车辆10外部的视频和/或图像的一个或多个摄像机19。车辆10还可以包括被配置为检测置于车辆10周围的物体的若干物体传感器20。
摄像机19可以包括被配置为捕获视频和/或图像的任何设备。例如，摄像机19可以包括广角透镜以增强车辆10外部的视场。摄像机19可以提供夜视和/或长曝光以允许在低光下物体的可视性。附加地或可替代地，摄像机19可以被配置为在垂直平面和/或横向平面中的至少一个平面中是可调整的。摄像机19还可以被配置为依赖于物体的距离而改变焦点。在一些实施例中，摄像机19可以连同图像识别软件被使用并且可以被配置为检测运动。摄像机19可以被配置为自动调整和/或自动聚焦以捕获被检测的物体的视频或图像。例如，摄像机19可以被配置为横向旋转以捕获经过车辆10(或被车辆10经过)的另一车辆60的视频和/或图像。摄像机19还可以被配置为在垂直平面上旋转以捕获坑洼(pothole)的图像。第一摄像机19可以被配置为基于所捕获的视频和/或图像来生成第一信号，而第二摄像机19可以被配置为基于所捕获的视频和/或图像来生成第二信号。
摄像机19可以被放置在车辆10上的各种不同的位置处。如图1所示，摄像机19可以被侧视镜15支撑。例如，第一摄像机19可以被车辆10的左手侧上的侧视镜15支撑，而第二摄像机19可以被车辆10的右手侧上的侧视镜15支撑。在一些实施例中，摄像机19可以被放置在每个外壳16的顶部上或底部上和/或每个镜17的面上。摄像机可以被后向放置和/或前向放置以捕获车辆10外部的环境的视频和/或图像。可以预想到，摄像机19可以被可释放地附接到或嵌入到外壳16和/或镜17的每一个中。然而，摄像机19还可以被放置在侧面板12、后备箱盖13或车辆10的缓冲器(bumper)上。例如，摄像机19可以被放置在与盲区相邻的侧面板12上。摄像机19可以以任何其他方向被定向以捕获与车辆10有关的视频和/或图像。
物体传感器20可以被放置在车辆10上的任何位置以检测是否物体在接近车辆10的范围内。物体传感器20可以是电感性的、电容性的、磁性的或任何其他类型的传感器，该传感器被配置为生成指示物体的存在和位置的信号。物体传感器20可以被放置在侧面板12、后备箱盖13和/或后缓冲器上，以便向驾驶员提供不容易可见的物体的指示。例如，如图1所示，车辆10可以包括置于每个侧面板12上的一个或多个物体传感器20以检测置于车辆10的每一侧的物体，并且车辆10还可以包括置于后备箱盖13上的一个或多个物体传感器20以检测在车辆10后面的物体。还可以预想到，物体传感器20可以附加地或可替代地位于车辆10的后缓冲器上。在一些实施例中，物体传感器20可以被配置为基于来自驾驶员的输入而被致动，例如，以便确定在车辆10改变车道时另一个车辆60的位置。在其他实施例中，物体传感器20可以被配置为连续地监控车辆10周围的区域，并且每当另一个车辆60处于盲区内时可以通知驾驶员。还可以预想到，由物体传感器20生成的信号可以被配置为致动摄像机19。
图2是示例性车辆10的内部的示例性实施例的图示。如图2所示，车辆10可以包括可以容纳或嵌入仪表盘24的控制面板(dashboard)22、用户界面26和麦克风28以及其他部件。车辆10还可以包括投射到风挡14上的平视显示器(HUD)30。车辆10还可以包括方向盘32、至少一个控制接口34以及手动控制装置36，这些可以被驾驶员操控。
根据一些实施例，手动控制装置36可以被配置为接收用户输入并通过转向信号器18指示车辆操作。例如，如果驾驶员以第一方向移动手动控制装置36(例如，通过按下手动控制装置36)，则左转向信号器18可以照明，并且如果驾驶员以第二方向移动手动控制装置36(例如，通过抬起手动控制装置36)，则右转向信号器18可以照明，反之亦然。也可以预想到，转向信号器18可以依赖于用户输入提供不同的指示。例如，如果驾驶员按下/抬起手动控制装置36到某种程度，则相应的转向信号器18可以闪烁几秒钟以指示驾驶员意图改变车道。然而，如果驾驶员更大幅度地(例如，经过止动器或到达停止点)按下/抬起手动控制装置36，则相应的转向信号器18可以闪烁更长的时间段以指示驾驶员意图转弯，例如转入交叉路。
HUD 30可以被预先安装在车辆10中、被容纳或嵌入到控制面板22中。在其他实施例中，HUD 30可以是可置于控制面板22的顶部表面上的单独的组件。例如，HUD 30可以用可释放的粘结剂、吸盘或其他类似物固定。HUD 30可以置于与方向盘32大致上对齐的位置以允许驾驶员在不必重定向驾驶员的视线的情况下看见数据。
HUD 30可以被配置为将文本、图形和/或图像投射到风挡14上以便向驾驶员提供与驾驶员和/或车辆10有关的大量信息。HUD 30可以被配置为向驾驶员显示逐向指引(turn-by-turn direction)以及速度限制。HUD 30还可以包括一个或多个指示符30c以向驾驶员警告危险，诸如盲区中的另一个车辆60、交通、道路施工或车辆10所需要的维护。HUD30还可以被配置为反映来自仪表盘24、用户界面26和立体声系统中的至少一个的数据。例如，HUD 30可以被配置为显示车辆10的速度计或其他状况，诸如电池水平、燃油水平、水位和引擎速度。根据一些实施例，这些类型和/或状况中的一个或多个可以彼此相邻地显示，和/或可以相对于彼此被叠加。
HUD 30还可以被配置为显示由摄像机19捕获的视频和/或图像。视频和/或图像可以被投射在侧视镜15的相应侧上。例如，如果视频和/或图像是从车辆10的左侧上的摄像机19捕获的，则该视频和/或图像可以被投射在HUD 30的左显示区30a上。类似地，如果视频和/或图像是从右侧上的摄像机19捕获的，则该视频和/或图像可以被投射在HUD 30的右显示区30b上。这可以有利地使驾驶员确定方位，而不需要驾驶员重定向驾驶员的视线。还可以预想到，可以在生成的信号的长度内显示视频和/或图像。例如，可以在手动控制装置36被按下的长度内显示视频和/或图像。可替代地，可以将视频和/或图像仅仅显示短的预定时间段(例如，几秒钟)。例如，当驾驶员致动手动控制装置36试图改变车道时，可以将视频和/或图像显示与转向信号器18可闪烁的时间大约相同的时间长度。这可以向驾驶员提供充足的信息，同时减少注意力分散。在一些实施方式中，可以只在某种附加条件被满足的情况下显示视频和/或图像。例如，当驾驶员致动手动控制装置36试图改变车道时，可以只在确定物体在接近车辆10的范围内的预期的车道中的情况下显示视频和/或图像。这可以是有利的，因为驾驶员在改变车道时可以不必需要侧视图，除非存在可能受关注的物体。
图3提供了根据显示车辆10外部的方法可以被使用的示例性摄像机系统11的框图。如图3所示，摄像机系统11可以包括具有输入/输出(I/O)接口102、处理单元104、存储单元106、和存储器模块108以及其他元件的控制器100。这些单元可以被配置为在彼此之间或彼此当中传递数据以及发送或接收指令。
I/O接口102还可以被配置为用于摄像机系统11的各个组件和控制器100之间的双向通信。例如，如图3所描绘的，I/O接口102可以发送操作信号到摄像机19、物体传感器20、HUD 30和/或手动控制装置36，以及从摄像机19、物体传感器20、HUD 30和/或手动控制装置36接收操作信号。I/O接口102可以在与这些组件中的每一个之间经由通信线缆、无线网络或其他通信介质发送和接收数据。I/O接口102还可以被配置为通过网络70从卫星和无线电塔接收数据。例如，I/O接口102可以被配置为接收道路地图、交通数据和/或驾驶方向。处理单元104可以被配置为接收来自摄像机系统11的组件的信号并处理该信号以确定车辆10的操作的多个状况。处理单元104还可以被配置为生成命令信号并且经由I/O接口102发射命令信号以便致动摄像机系统11的组件。
处理单元104可以被配置为确定车辆10周围的物体的存在。在一些实施例中，处理单元104可以被配置为接收由物体传感器20生成的信号以确定在接近车辆10的范围内物体的存在。处理单元104还可以被配置为执行图像识别软件以处理由摄像机19捕获的视频和/或图像。例如，处理单元104可以被配置为区分和定位另一车辆60、车道型式、即将到来的道路危险、坑洼、施工和/或交通。处理单元104可以被配置为定位在相邻车道中的另一车辆60以及确定其他车辆60的距离和速度。处理单元104可以进一步被配置为确定其他车辆60的存在是否使得车辆操作不安全。例如，处理单元104可以被配置为确定另一车辆60是否处于驾驶员的盲区中或另一车辆60是否在相邻车道中正在快速靠近。
处理单元104还可以被配置为依赖于车辆操作和/或车辆10外部的物体的位置和速度来响应地生成显示到HUD 30的文本、图形和/或图像。在一些实施例中，处理单元104可以被配置为每当摄像机系统11确定物体(例如，另一车辆60)处于接近车辆10的预定范围内时显示视频和/或图像。例如，处理单元104可以被配置为每当另一车辆60置于盲区中时显示由摄像机19捕获的视频。这可以使驾驶员察觉到另一车辆60，在驾驶员执行车道改变而不致动手动控制装置36时这可以尤为重要。在一些实施例中，处理单元104可以被配置为每当摄像机系统11接收到指示车辆操作(例如，改变车道)的输入时显示视频和/或图像。例如，基于按下/抬起手动控制装置36，处理单元104可以被配置为将从车辆10的左侧上的摄像机19捕获的视频输出到HUD 30的左显示区30a。类似地，例如，处理单元104可以被配置为将从车辆10的右侧上的摄像机19捕获的视频输出到HUD 30的右显示区30b。然而，在一些实施例中，处理单元104可以被配置为仅在例如以下情况下显示视频和/或图像：1)摄像机系统11接收到指示车辆操作的输入，以及2)物体处于接近车辆10的预定范围内。例如，处理单元104可以只在以下情况发生后将视频显示到显示区30a、30b中的一个：1)接收来自手动控制装置36的指示车辆操作(例如，改变车道)的信号，以及2)在执行车辆操作时，摄像机19和/或物体传感器20确定另一车辆60处于接近车辆10的某个范围内。
处理单元104还可以被配置为基于第一组条件显示第一输出，以及基于更加紧急的第二组条件显示第二输出。例如，HUD 30可以被配置为当另一车辆60处于100英尺内，并且车辆10和另一车辆60均在以至少55英里每小时(MPH)的速度行驶时，显示在相邻车道中的另一车辆60的视频。处理单元104可以进一步被配置为在进行车辆操作时当存在可能对于车辆10有潜在危险的物体时输出更紧急的指示。例如，当摄像机系统11确定另一车辆60处于车辆10的盲区内时，HUD 30可以附加地显示指示符30c。其他可预想到的危险指示可以包括以反转片(redscale)的颜色将视频显示到显示区30a、30b、用红色画出显示区30a、30b的轮廓和/或通过车辆10的扬声器输出可听见的信号。
还可以预想到的是，处理单元104可以被配置为处理由摄像机19接收到的视频和/或图像以确定车辆10的当前车道，以及通过网络70接收道路地图以确定车辆10的准确位置。然后处理单元104可以被配置为将期望的车辆操作与通过网络70接收到的道路地图和/或交通状况进行比较，并且确定期望的车辆操作的影响。例如，处理单元104可以被配置为接收车道改变的指示并且确定预期的车道是否在某一距离内结束或预期的车道是否为出口专用(exit-only)车道。然后处理单元104可以被配置为通过HUD 30输出诸如“改变到出口车道”之类的指示符。处理单元104还可以被配置为通过网络70来确定预期的车道中的交通状况或道路施工情况。然后处理单元104还可以被配置为在它接收到车道改变的指示后输出诸如“预期的车道中前方的交通”之类的指示符。当摄像机系统11接收到转入交叉路的指示时可以做出类似的确定。
处理单元104可以进一步被配置为基于当前车道的位置来提供逐向指引。例如，基于摄像机19生成的图像，处理单元104可以被配置为确定车辆10在中间车道中并且需要改变到左车道以进入到达目的地的出口匝道。然后处理单元104可以通过HUD 30显示诸如“改变到左车道”之类的指示符。进一步地，基于来自驾驶员的输入，处理单元104可以被配置为确定预期的车辆操作与逐向指引是否一致。例如，在接收到来自手动控制装置36的指示驾驶员想要改变进入右车道的信号后，处理单元104可以被配置为确定改变到右车道与进行中的逐向指引是否一致。如果确定了不一致，则处理单元104可以被配置为向驾驶员输出警告或校正措施。
存储单元106和存储器模块108可以包括任何合适类型的大容量存储装置，该存储装置被提供以存储处理单元104可以用来操作的任何类型的信息。例如，存储单元106可以包括一个或多个硬盘设备、光盘设备或其他存储设备以提供存储空间。存储器模块108可以包括一个或多个存储器设备，其中所述存储器设备包括但不限于ROM、闪速存储器、动态RAM和静态RAM。
存储单元106和/或存储器模块108可以被配置为存储一个或多个计算机程序，该计算机程序可以被控制器100执行以执行摄像机系统11的功能。例如，存储单元106和/或存储器模块108可以被配置为存储图像识别软件，该图像识别软件被配置为检测物体(例如，其他车辆60)并确定物体的位置和速度。存储单元106和/或存储器模块108可以被进一步配置为存储由处理单元104使用的数据和/或查找表。例如，存储单元106和/或存储器模块108可以被配置为包括在基于速度改变车道时与所需要的车辆10的距离相关的数据。
图4示出了由摄像机系统11执行的示例性方法1000。现在将参考图4描述摄像机系统11的示例性操作。
方法1000可以从步骤1010开始，在步骤1010中控制器100接收车辆操作的指示。用户输入可以是由麦克风28、控制接口34和/或手动控制装置36中的至少一个生成的信号。例如，信号可以由驾驶员抬起或按下手动控制装置36或致动控制接口34而生成以指示车辆10的操作。车辆操作的指示还可以基于经由麦克风28的语音命令。车辆操作可以基于车辆10改变车道，或可以基于车辆10转入交叉路。步骤1010可以可替代地基于驾驶员独立于车辆操作地致动摄像机19。例如，步骤1010可以基于来自驾驶员的请求车辆10的盲区(多个盲区)的视频的语音命令。
在步骤1020，摄像机系统11的一个或多个组件可以确定是否存在任何处于接近车辆10的范围内的物体。摄像机19和/或物体传感器20可以做出该确定。在一些实施例中，控制器100可以致动摄像机19以捕获车辆10外部的区域的初始图像，并且然后控制器100可以执行图像识别软件以检测物体。控制器100可以识别在初始图像中的物体，诸如另一车辆60。控制器100还可以检测另一车辆60的诸如相对距离和速度之类的特性，并确定在车辆10改变车道时另一车辆60的位置。在一些实施例中，可以根据物体传感器20生成的信号来做出该确定。如果确定在改变车道时另一车辆60足够靠近车辆10(是；步骤1020)，控制器100可以前进到步骤1030。步骤1020可以例如通过仅在物体足够靠近车辆10时显示视频和/或图像来限制对驾驶员的注意力分散。然而，在一些实施例中，步骤1020可以被省略，使得每当控制器100根据步骤1010接收到车辆操作的指示时，控制器100可以捕获和显示视频和/或图像。
在步骤1030，摄像机系统11的摄像机19可以捕获和显示视频和/或图像。摄像机19可以自动调整和/或自动聚焦以更好地捕获在车辆10周围的物体。在一些实施例中，摄像机19可以在车辆10执行操作的整个时间内捕获和显示视频和/或图像。例如，摄像机系统11可以将视频显示车辆10改变车道的整个时间。在一些实施例中，摄像机19可以在控制器100接收到输入后的预定时间内捕获和显示视频和/或图像。例如，控制器100可以致动摄像机19较短的时间(例如，五秒钟)以最小化驾驶员的注意力分散。
在步骤1040，摄像机系统的一个或多个组件可以在进行诸如改变车道之类的车辆操作时，确定物体是否在对车辆10潜在地有危险的位置中。在一些实施例中，控制器100可以处理来自摄像机19的图像以确定另一车辆60是否在盲区内或是否快速靠近车辆10，导致车辆10的车辆操作可能大致上阻挡另一车辆60。在一些实施例中，控制器100可以处理由物体传感器20生成的信号。步骤1040可以具有比步骤1020的阈值高的阈值，使得步骤1040中的确定可以基于比步骤1020中确定的物体更近的物体。例如，可以基于为了避免事故的发生是否需要实质上改变车辆10和/或另一车辆60中的一个的路线和/或速度来确定步骤1040。如果控制器100确定物体在对车辆10潜在地有危险的位置(是；步骤1040)，则控制器100可以前进到步骤1050。
在步骤1050中，摄像机系统11中的一个或多个组件可以显示警告信号。在一些实施例中，HUD 30可以在摄像机系统11确定另一车辆60处于车辆10的盲区内时显示指示符30c。其他可预想到的危险指示可以包括以反转片的方式显示显示区30a、30b的视频、用红色画出显示区30a、30b的轮廓和/或通过车辆10的扬声器输出可听见的信号。
本发明的另一个方面涉及非暂时性计算机可读介质，该介质存储当被执行时使得一个或多个处理器执行如上所讨论的显示车辆外部的区域的方法的指令。该计算机可读介质可以包括易失性或非易失性的、磁性的、半导体的、带的、光学的、可移除的、非可移除的、或其他类型的计算机可读介质或计算机可读存储设备。例如，计算机可读介质可以是如参考图3公开的在其上存储有计算机指令的存储单元106或存储器模块108。在一些实施例中，计算机可读介质可以是在其上存储有计算机指令的盘或闪存驱动器。
对所公开的摄像机系统和相关的方法做出修改和变化对于本领域的技术人员将是显而易见的。根据对说明书的考虑以及对所公开的摄像机系统和相关的方法的实践，其他实施例对于本领域的技术人员将是显而易见的。意在使得说明书和示例被视为仅是示例性的，而本公开的真实范围由下列权利要求及其等价物指示。

Claims (20)

1.一种用于车辆的摄像机系统，所述摄像机系统包括：
手动控制装置，所述手动控制装置被配置为接收来自占用者的指示第一车辆操作的第一输入并响应地生成第一信号；
第一转向信号器，所述第一转向信号器被配置为照明；
第一摄像机，所述第一摄像机被配置为捕获所述车辆外部的第一区域的视频；
显示器，所述显示器被配置为输出视频；以及
与所述手动控制装置、所述第一转向信号器、所述第一摄像机和所述显示器进行通信的控制器，所述控制器被配置为：
从所述手动控制装置接收所述第一信号；
基于所述第一信号致动所述第一转向信号器以照明；
基于所述第一信号致动所述第一摄像机以捕获第一视频；
基于所述第一信号将所述第一视频输出到所述显示器。
2.如权利要求1所述的摄像机系统，还包括：
第二转向信号器，所述第二转向信号器被配置为照明；以及
第二摄像机，所述第二摄像机被配置为捕获所述车辆外部的第二区域的视频；
其中所述手动控制装置还被配置为接收来自占用者的指示第二车辆操作的第二输入并响应地生成第二信号，以及
其中所述控制器与所述第二转向信号器和所述第二摄像机进行通信，所述控制器还被配置为：
从所述手动控制装置接收所述第二信号；
基于所述第二信号致动所述第二转向信号器以照明；
基于所述第二信号致动所述第二摄像机以捕获第二视频；
基于所述第二信号将所述第二视频输出到所述显示器。
3.如权利要求2所述的摄像机系统，
其中所述手动控制装置包括操纵杆，以及
其中所述第一输入基于以第一方向移动所述操纵杆，而所述第二输入基于以第二方向移动所述操纵杆。
4.如权利要求2所述的摄像机系统，
其中所述显示器包括第一视区和不同于所述第一视区的第二视区，以及
其中所述控制器被配置为基于所述第一信号将所述第一视频输出到所述第一视区以及基于所述第二信号将所述第二视频输出到所述第二视区。
5.如权利要求1所述的摄像机系统，
其中所述显示器包括平视显示器，以及
其中所述控制器被配置为将所述第一视频输出到所述平视显示器。
6.如权利要求1所述的摄像机系统，其中所述控制器被配置为将视频显示预定的时间段。
7.如权利要求1所述的摄像机系统，其中所述控制器还被配置为：
确定物体是否处于接近所述车辆的范围内，以及
进一步基于所述物体处于接近所述车辆的范围内的确定来致动所述第一摄像机。
8.如权利要求1所述的摄像机系统，其中所述第一摄像机被配置为基于感知到的物体而自动地调整。
9.如权利要求1所述的摄像机系统，其中所述第一摄像机被配置为置于所述车辆的后侧视镜上。
10.一种用于显示车辆外部的区域的方法，所述方法包括：
用手动控制装置接收指示第一车辆操作的第一输入并响应地生成第一信号；
基于所述第一输入致动第一转向信号器；
基于所述第一信号致动第一摄像机以捕获所述车辆外部的第一区域的第一视频；以及
基于所述第一信号将所述第一视频输出到所述显示器。
11.如权利要求10所述的方法，还包括：
用所述手动控制装置接收指示第二车辆操作的第二输入并响应地生成第二信号；
基于所述第二信号致动第二转向信号器；
基于所述第二信号致动第二摄像机以捕获所述车辆外部的第二区域的第二视频；以及
基于所述第二信号将所述第二视频输出到所述显示器。
12.如权利要求11所述的方法，还包括：
以第一方向移动所述手动控制装置以生成所述第一输入；以及
以第二方向移动所述手动控制装置以生成所述第二输入，其中所述手动控制装置包括操纵杆。
13.如权利要求11所述的方法，其中所述显示包括基于所述第一信号将所述第一视频输出到第一视区，以及基于所述第二信号将所述第二视频输出到不同于所述第一视区的第二视区。
14.如权利要求10所述的方法，还包括将显示投射到所述车辆的风挡上。
15.如权利要求10所述的方法，还包括将视频显示预定的时间段。
16.如权利要求10所述的方法，还包括：
确定物体是否处于接近所述车辆的范围内，以及
其中所述致动所述第一摄像机进一步基于所述物体处于接近所述车辆的范围内的确定。
17.如权利要求16所述的方法，还包括基于所述物体的所述确定输出警告信号。
18.如权利要求10所述的方法，还包括基于感知到的物体自动地调整所述第一摄像机。
19.一种被配置为由占用者操作的车辆，所述车辆包括：
摄像机系统，所述摄像机系统包括：
手动控制装置，所述手动控制装置被配置为接收来自占用者的指示车辆操作的输入并响应地生成信号；
转向信号器，所述转向信号器被配置为照明；
摄像机，所述摄像机被配置为捕获所述车辆外部的区域的视频；
显示器，所述显示器被配置为输出视频；以及
与所述手动控制装置、所述转向信号器、所述摄像机和所述显示器进行通信的控制器，所述控制器被配置为：
从所述手动控制装置接收信号；
基于所述信号致动所述转向信号器以照明；
基于所述信号致动所述摄像机以捕获视频；
基于所述信号将所述视频输出到所述显示器。
20.一种非暂时性计算机可读介质，所述计算机可读介质存储当被执行时使得一个或多个处理器执行显示车辆外部的区域的方法的指令，所述方法包括：
用手动控制装置接收指示车辆操作的输入并响应地生成信号；
基于所述信号致动转向信号器；
基于所述信号致动摄像机以捕获车辆外部的区域的视频；以及
基于所述信号将所述视频输出到显示器。
CN201610663467.3A 2015-08-14 2016-08-12 用于显示车辆外部的区域的摄像机系统 Pending CN106467061A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562205558P 2015-08-14 2015-08-14
US62/205,558 2015-08-14
US14/871,914 2015-09-30
US14/871,914 US20170043720A1 (en) 2015-08-14 2015-09-30 Camera system for displaying an area exterior to a vehicle

Publications (1)

Publication Number Publication Date
CN106467061A true CN106467061A (zh) 2017-03-01

Family

ID=57994954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610663467.3A Pending CN106467061A (zh) 2015-08-14 2016-08-12 用于显示车辆外部的区域的摄像机系统

Country Status (2)

Country Link
US (1) US20170043720A1 (zh)
CN (1) CN106467061A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110712699A (zh) * 2019-09-30 2020-01-21 深圳市火乐科技发展有限公司 自行车后置投影方法及相关产品
CN111038384A (zh) * 2018-10-15 2020-04-21 现代自动车株式会社 车辆及用于控制车辆的方法
CN111414013A (zh) * 2017-04-19 2020-07-14 金钱猫科技股份有限公司 一种目标物预警监测的方法和装置
CN114394052A (zh) * 2020-10-08 2022-04-26 丰田自动车株式会社 车辆显示系统及车辆显示方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6470335B2 (ja) * 2017-03-15 2019-02-13 株式会社Ｓｕｂａｒｕ 車両の表示システム及び車両の表示システムの制御方法
DE102017214934B3 (de) * 2017-08-25 2019-02-07 Panasonic Automotive & Industrial Systems Europe GmbH Videobildaufnahmeverfahren, Wiedergabeverfahren, Ausrüstung für ein Fahrzeug, eingerichtet zum Ausführen eines Videobildaufnahmeverfahrens und Testsystem zum Ausführen eines Wiedergabeverfahrens
US11203287B2 (en) 2018-06-28 2021-12-21 Paccar Inc Camera-based automatic turn signal deactivation
US11155209B2 (en) 2019-08-22 2021-10-26 Micron Technology, Inc. Virtual mirror with automatic zoom based on vehicle sensors
EP3960541B1 (en) * 2020-08-28 2023-07-12 Zenuity AB Vehicle surroundings object detection in low light conditions
CN112572418A (zh) * 2020-12-15 2021-03-30 北京百度网讯科技有限公司 一种无人驾驶车辆的控制方法、装置及电子设备
US20230168136A1 (en) * 2021-11-29 2023-06-01 Toyota Motor Engineering & Manufacturing North America, Inc. Window-based object detection and/or identification

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060290482A1 (en) * 2005-06-23 2006-12-28 Mazda Motor Corporation Blind-spot detection system for vehicle
US20080117031A1 (en) * 2006-11-21 2008-05-22 Kuo Ching Chiang Security system for an automotive vehicle
US20110018699A1 (en) * 2009-07-22 2011-01-27 International Truck Intellectual Property Company, Llc Digital camera rear-view system
CN103158621A (zh) * 2011-12-16 2013-06-19 通用汽车环球科技运作有限责任公司 能使车辆驾驶员可见的观察到位于盲点内的物体的系统和方法
CN104369710A (zh) * 2014-11-28 2015-02-25 蒙政涛 智能汽车转弯遇障报警装置
CN104627071A (zh) * 2013-11-13 2015-05-20 青岛润鑫伟业科贸有限公司 一种机动车侧视系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5793420A (en) * 1994-10-28 1998-08-11 Schmidt; William P. Video recording system for vehicle
US5680123A (en) * 1996-08-06 1997-10-21 Lee; Gul Nam Vehicle monitoring system
US8013889B1 (en) * 2002-10-11 2011-09-06 Hong Brian Kwangshik Peripheral viewing system for a vehicle
US6967569B2 (en) * 2003-10-27 2005-11-22 Ford Global Technologies Llc Active night vision with adaptive imaging
US20050187710A1 (en) * 2004-02-20 2005-08-25 Walker James A. Vehicle navigation system turn indicator
US20060209190A1 (en) * 2005-03-04 2006-09-21 Walters Kenneth S Vehicle directional monitoring system
US7425889B2 (en) * 2005-05-06 2008-09-16 Delphi Technologies, Inc. Vehicle turning assist system and method
US20070088488A1 (en) * 2005-10-14 2007-04-19 Reeves Michael J Vehicle safety system
WO2011028686A1 (en) * 2009-09-01 2011-03-10 Magna Mirrors Of America, Inc. Imaging and display system for vehicle
TW201125766A (en) * 2010-01-27 2011-08-01 Hon Hai Prec Ind Co Ltd Car
CN102404550B (zh) * 2010-09-14 2013-12-18 施议杰 利用灯号信号启动的车侧影像辅助系统
US9511711B2 (en) * 2012-01-30 2016-12-06 Klear-View Camera, Llc System and method for providing front-oriented visual information to vehicle driver
TWM437948U (en) * 2012-02-14 2012-09-21 Ken Sean Ind Co Ltd Vehicle traveling data recorder
US9387813B1 (en) * 2012-03-21 2016-07-12 Road-Iq, Llc Device, system and method for aggregating networks and serving data from those networks to computers
US9311762B2 (en) * 2014-01-15 2016-04-12 Matthew Howard Godley Vehicle control system
US20160090040A1 (en) * 2014-09-30 2016-03-31 Ian Marsh Vehicle Monitoring Device
US20160196823A1 (en) * 2015-01-02 2016-07-07 Atieva, Inc. Voice Command Activated Vehicle Camera System
US9305463B1 (en) * 2015-01-02 2016-04-05 Atieva, Inc. Automatically activated in-cabin vehicle camera system
US9406234B2 (en) * 2015-01-02 2016-08-02 Atieva, Inc. Automatically activated blind spot camera system
US20160264049A1 (en) * 2015-03-12 2016-09-15 Razmik Karabed Dynamically adjusting surveillance devices
US20170036599A1 (en) * 2015-08-06 2017-02-09 Ford Global Technologies, Llc Vehicle display and mirror

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060290482A1 (en) * 2005-06-23 2006-12-28 Mazda Motor Corporation Blind-spot detection system for vehicle
US20080117031A1 (en) * 2006-11-21 2008-05-22 Kuo Ching Chiang Security system for an automotive vehicle
US20110018699A1 (en) * 2009-07-22 2011-01-27 International Truck Intellectual Property Company, Llc Digital camera rear-view system
CN103158621A (zh) * 2011-12-16 2013-06-19 通用汽车环球科技运作有限责任公司 能使车辆驾驶员可见的观察到位于盲点内的物体的系统和方法
CN104627071A (zh) * 2013-11-13 2015-05-20 青岛润鑫伟业科贸有限公司 一种机动车侧视系统
CN104369710A (zh) * 2014-11-28 2015-02-25 蒙政涛 智能汽车转弯遇障报警装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111414013A (zh) * 2017-04-19 2020-07-14 金钱猫科技股份有限公司 一种目标物预警监测的方法和装置
CN111414014A (zh) * 2017-04-19 2020-07-14 金钱猫科技股份有限公司 一种智能控制云台追踪目标的方法和装置
CN111414014B (zh) * 2017-04-19 2023-02-07 金钱猫科技股份有限公司 一种智能控制云台追踪目标的方法和装置
CN111414013B (zh) * 2017-04-19 2023-02-10 金钱猫科技股份有限公司 一种目标物预警监测的方法和装置
CN111038384A (zh) * 2018-10-15 2020-04-21 现代自动车株式会社 车辆及用于控制车辆的方法
CN110712699A (zh) * 2019-09-30 2020-01-21 深圳市火乐科技发展有限公司 自行车后置投影方法及相关产品
CN114394052A (zh) * 2020-10-08 2022-04-26 丰田自动车株式会社 车辆显示系统及车辆显示方法
CN114394052B (zh) * 2020-10-08 2024-04-16 丰田自动车株式会社 车辆显示系统及车辆显示方法

Also Published As

Publication number Publication date
US20170043720A1 (en) 2017-02-16

Similar Documents

Publication Publication Date Title
CN106467061A (zh) 用于显示车辆外部的区域的摄像机系统
KR102393845B1 (ko) 동적 범위를 확장하기 위한 다수의 동작 모드들
US10803744B2 (en) Vehicular collision mitigation system
US7602945B2 (en) Driving support apparatus
US20150293534A1 (en) Vehicle control system and method
US20120133738A1 (en) Data Processing System and Method for Providing at Least One Driver Assistance Function
JP7056569B2 (ja) 車両制御装置、車両制御方法、移動体、および車両制御システム
US10346689B2 (en) Apparatus and method for connecting a mobile device camera
JP2008250503A (ja) 運転支援装置
US20160129838A1 (en) Wide angle rear and side view monitor
US11152726B2 (en) Connector device and connector system
KR20170069645A (ko) 보행자 추돌 방지 시스템 및 이의 실행 방법
JP5185000B2 (ja) 車両運転支援装置
CN203237145U (zh) 一种行车辅助侦测及提示装置
KR20170109148A (ko) 자동차용 통합 단말기
JP6573218B2 (ja) 車両用画像表示装置及び設定方法
KR101781535B1 (ko) 선바이저 장치 및 그 제어 방법
KR101752798B1 (ko) 차량 및 그 제어방법
CN110853389B (zh) 一种适用于无人物流车的路测监控系统
KR20220082968A (ko) 차량 운전자의 시야 보조 방법 및 그 보조 장치
EP4273654A1 (en) Rear collision warning for vehicles
KR102041558B1 (ko) 어라운드 뷰 카메라를 이용한 안전 운전 정보 제공 시스템 및 방법
CN104118356A (zh) 一种行车辅助侦测方法及提示装置
KR20230046798A (ko) 차량의 사각영역을 감시하는 방법 및 장치
KR20220028939A (ko) 사운드 검출 기반의 영상녹화방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170301