CN108202668B - 图像显示装置 - Google Patents

图像显示装置 Download PDF

Info

Publication number
CN108202668B
CN108202668B CN201711121274.6A CN201711121274A CN108202668B CN 108202668 B CN108202668 B CN 108202668B CN 201711121274 A CN201711121274 A CN 201711121274A CN 108202668 B CN108202668 B CN 108202668B
Authority
CN
China
Prior art keywords
image
vehicle
change
amount
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711121274.6A
Other languages
English (en)
Other versions
CN108202668A (zh
Inventor
石井贵大
藤崎聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN108202668A publication Critical patent/CN108202668A/zh
Application granted granted Critical
Publication of CN108202668B publication Critical patent/CN108202668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02Rear-view mirror arrangements
    • B60R1/04Rear-view mirror arrangements mounted inside vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像显示装置。图像显示装置包括:摄像机,其安装在车辆上,并且被配置成拍摄表示所述车辆后方的视图的图像;图像剪切器,其被配置成:基于表示第一图像的一部分在所述第一图像中的位置的剪切位置,剪切出第二图像作为从所述第一图像中剪切出的剪切图像,所述第一图像由所述摄像机拍摄;以及显示器,其被配置成显示由所述图像剪切器剪切出的第二图像,所述图像剪切器被配置成基于所述车辆的定向变化来改变所述第二图像在所述第一图像中的剪切位置。

Description

图像显示装置
技术领域
下面的公开内容涉及一种图像显示装置,该图像显示装置包括安装在乘客舱中的显示器,该图像显示装置被配置成拍摄表示车辆后方的视图的图像,并且控制显示器以显示表示车辆后方的视图的图像。
背景技术
已知一种图像显示装置,该图像显示装置包括安装在乘客舱中的安装有后视镜的位置处的显示器,并且该图像显示装置被配置成控制显示器以显示由摄像机拍摄的并且表示车辆后方的视图的图像。专利文献1(日本专利第5938703号)公开了一种图像显示装置,该图像显示装置被配置成:剪切出作为由摄像机拍摄的图像的一部分的剪切图像;将剪切图像显示在显示器上;以及根据驾驶员的改变显示器的角度的操作来改变从拍摄图像中剪切出剪切图像的位置(剪切位置)。
发明内容
概述
在上述图像显示装置中,安装有摄像机,以便拍摄表示本车辆的正后方的视图的图像。因此,当通过例如车辆沿曲线行驶而改变了车辆的定向(移动方向)时,本车辆后方的车道和后方车辆有时会从显示器中消失。
因此,本公开内容的一个方面涉及一种图像显示装置,该图像显示装置被配置成基于车辆的定向变化来改变剪切图像在拍摄图像中的剪切位置。
在本公开内容的一个方面中,一种图像显示装置包括:摄像机,该照相机被安装在车辆上并且被配置成拍摄表示车辆后方的视图的图像;图像剪切器,该图像剪切器被配置成基于表示第一图像的一部分在第一图像中的位置的剪切位置剪切出第二图像作为从第一图像中剪切出的剪切图像,第一图像由摄像机拍摄;以及显示器,该显示器被配置成显示由图像剪切器剪切出的第二图像。图像剪切器被配置成基于车辆的定向变化来改变第二图像在第一图像中的剪切位置。
效果
基于检测到的车辆的定向变化来改变剪切图像在拍摄图像中的剪切位置,从而车辆的定向变化减少了显示对象在显示在显示器上的第二图像中的移动。
请求保护的发明
将通过本申请人认为可以请求保护的发明的示例形式来描述。在下文中可以将本发明称为“可以请求保护的发明”,并且至少包括如所附权利要求限定的发明。然而,本发明还可以包括具有在所附权利要求中限定的本发明的概念的下级概念或上级概念的发明,和/或具有与所附权利要求中限定的本发明的概念不同的概念的发明。如所附权利要求那样将形式进行编号,并且形式在适当的情况下引用另一个或更多个形式,以易于理解本发明。应当理解,可以请求保护的发明的特征的组合不限于以下形式的组合。也就是说,可以请求保护的发明将通过考虑例如跟随每种形式的描述、对实施方式的描述和常规技术来解释,并且只要以这种方式构建可以请求保护的发明,则以下形式中的任何一个可以通过添加一个或更多个特征来实现,或者下述形式中的任何一种中包括的多个特征中的一个或更多个不一定被一起提供。
(1)一种图像显示装置,包括:摄像机,该摄像机被安装在车辆上并且被配置成拍摄表示车辆后方的视图的图像;图像剪切器,该图像剪切器被配置成基于表示第一图像的一部分在第一图像中的位置的剪切位置剪切出第二图像作为从第一图像中剪切出的剪切图像,第一图像由摄像机拍摄;以及显示器,该显示器被配置成显示由图像剪切器剪切出的第二图像。图像剪切器被配置成基于车辆的定向变化来改变第二图像在第一图像中的剪切位置。
响应于车辆的定向变化,第一图像中的显示对象如后方车辆在第一图像中移动。在本图像显示装置中,基于车辆的定向变化来改变剪切位置。该改变使得已经在第一图像中移动了的显示对象能够被放置在剪切图像中。这使得可以减少由于车辆的定向变化引起的显示对象在显示器中显示的第二图像中的移动。
(2)根据上述形式(1)所述的图像显示装置,其中,图像剪切器被配置成:当由于车辆沿曲线行驶而改变了车辆的定向时,改变第二图像在第一图像中的剪切位置。
当车辆沿曲线行驶时,车辆的定向改变,并且摄像机拍摄表示曲线外侧的图像而不是在车辆的定向改变之前的图像。在本图像显示装置中,在沿曲线行驶期间改变剪切位置,从而减少在沿曲线行驶期间显示对象在第二图像中的移动。
(3)根据上述形式(2)所述的图像显示装置,其中,图像剪切器被配置成:当检测到车辆沿曲线行驶时,改变第二图像在第一图像中的剪切位置,使得剪切位置朝向第一图像中的曲线的内侧移动。
当车辆沿曲线行驶时,车辆的定向改变,并且摄像机拍摄表示曲线外侧的图像而不是在车辆的定向改变之前的图像。在本图像显示装置中,将剪切位置朝向第一图像中的曲线的内侧移动,使得显示器能够显示车辆后方的曲线。因此,即使在车辆沿曲线行驶期间车辆的定向改变时,显示器仍显示位于车辆后方的曲线。
(4)根据上述形式(1)至(3)中任一项所述的图像显示装置,其中,图像剪切器被配置成基于第一变化量来改变第二图像在第一图像中的剪切位置,该第一变化量是车辆在第一时间段中的定向变化量。
与当车辆的定向变化量小时相比,当车辆的定向变化量大时显示对象在第一图像中移动更大的量。在本图像显示装置中,当第一变化量大时,图像剪切器可以增加剪切位置的变化量,而当第一变化量小时,图像剪切器可以减少剪切位置的变化量。
(5)根据上述形式(4)所述的图像显示装置,其中,图像剪切器被配置成:计算第一变化量;以及改变第二图像在第一图像中的剪切位置,使得当车辆在第一时间段中的定向变化量是第一变化量时创建的剪切图像变成当车辆的定向变化量等于比第一变化量小的第二变化量时创建的剪切图像。
由车辆的定向变化引起的显示对象在第一图像中的位置变化量取决于车辆的定向变化量的大小。也就是说,显示对象在第一图像中的移动量随着车辆的定向变化量的增加而增加。例如,当车辆的定向变化量是小于第一变化量的第二变化量时,在车辆的定向变化之前的时间处位于第一图像中的剪切图像中的显示对象在剪切图像中移动。当车辆的定向变化量是第一变化量时,与此相比,车辆的定向变化量大于第二变化量,因此在车辆的定向变化之前的时间处位于第一图像中的剪切图像中的显示对象可能移动到剪切图像的外部。在这种情况下,在本图像显示装置中,改变剪切位置,使得在车辆的定向变化量是第一变化量的情况下的剪切图像变为在车辆的定向变化量是第二变化量的情况下的剪切图像。该处理使得即使当车辆的定向变化量为第一变化量时,仍能够使显示器显示显示对象。
(6)根据上述形式(5)所述的图像显示装置,其中,图像剪切器被配置成基于车辆的定向变化从基准剪切位置改变剪切位置,并且该基准剪切位置是剪切图像在第一图像中的基准位置,其中,第一时间段是结束点为第一时间点并且起始点为早于第一时间点的第二时间点的时间段,以及其中,图像剪切器被配置成:改变第二图像在第一图像中的剪切位置,使得在第一时间点处从第一图像剪切出的第二图像变成在基准剪切位置处剪切出的剪切图像,该基准剪切位置是在第二时间点处改变第二图像在第一图像中的剪切位置之前的时间处的位置。
车辆在第一时间点处的定向相对于车辆在第二时间点处的定向已经改变。这可能导致以下情况:在第二时间点处位于第一图像中的基准剪切位置处的剪切图像中定位的显示对象由于车辆在第一时间段中的定向变化而移动了,并且在第一时间点处第一图像中的显示对象位于处于基准剪切位置处的剪切位置的外部的位置处。在本图像显示装置中,在第一时间点处位于第二图像在第一图像中的剪切位置处的剪切图像变为在第二时间点处位于第一图像中的基准剪切位置处的剪切图像。因此,在第二时间点处位于第一图像中的基准剪切位置处的剪切图像中包含的显示对象也被包含在第一时间点处位于第一图像中的剪切位置处的剪切图像中。这减少了在第一时间点处显示对象不被显示在显示器上的情况的发生。
(7)根据上述形式(1)至(6)中任一项所述的图像显示装置,其中,图像剪切器被配置成:当后方车辆跟随车辆时并且当后方车辆在第一图像中的位置变化是由车辆的定向变化引起时,改变第二图像在第一图像中的剪切位置。
当由于车辆的定向变化而改变了后方车辆在第一图像中的位置时,在后方车辆在第一图像中的位置变化量与车辆的定向变化量之间存在相关性。在本图像显示装置中,当由于车辆的定向变化而改变了后方车辆在第一图像中的位置时改变剪切位置,从而减少由于车辆的定向变化引起的后方车辆在第二图像中的位置变化。
(8)根据上述形式(7)所述的图像显示装置,其中,图像剪切器被配置成:检测第一变化量和位置变化量,该第一变化量是车辆在第一时间段中的定向变化量,该位置变化量是在第一时间段中后方车辆在第一图像中的位置变化量;以及将第一变化量与位置变化量彼此进行比较,以确定在第一时间段中后方车辆以位置变化量进行的位置变化是否由车辆在第一时间段中的定向变化引起。
在上述配置中,图像剪切器将第一变化量与位置变化量彼此进行比较,并且基于第一变化量和位置变化量是否基于相关性彼此对应来确定后方车辆以位置变化量进行的位置变化是否由车辆在第一时间段中的定向变化引起。
(9)根据上述形式(8)所述的图像显示装置,其中,图像剪切器被配置成:当图像剪切器确定在第一时间段中后方车辆以位置变化量进行的位置变化由车辆在第一时间段中的定向变化引起时,基于第一变化量来改变第二图像在第一图像中的剪切位置。
当由于车辆的定向变化而改变了后方车辆在第一图像中的位置时,第一图像中的位置变化量基本上等于后方车辆在第一图像中的位置变化量,基于第一变化量来计算该量。因此,可以基于第一变化量和位置变化量中的任何一个来改变剪切位置。在本图像显示装置中,由于基于第一变化量来改变剪切位置,因此可以适当地改变剪切位置
(10)根据上述形式(8)所述的图像显示装置,其中,图像剪切器被配置成:当图像剪切器确定在第一时间段中后方车辆以位置变化量进行的位置变化由车辆在第一时间段中的定向变化引起时,基于位置变化量来改变第二图像在第一图像中的剪切位置。
在上述配置中,由于基于位置变化量来改变剪切位置,所以在车辆的定向变化之后,后方车辆也被包含在第二图像中。这种配置减少了由于车辆的定向变化而使得后方车辆从显示器中消失的情况。
(11)根据上述形式(1)至(10)中任一项所述的图像显示装置,其中,图像剪切器被配置成:当在第一图像中检测到跟随车辆的后方车辆时,改变第二图像在第一图像中的剪切位置。
在上述配置中,当在车辆后方存在后方车辆时,图像剪切器可以在显示器上适当地显示后方车辆。
附图说明
当结合附图考虑时,通过阅读以下对实施方式的详细描述,将更好地理解本公开内容的目的、特征、优点以及技术和工业意义,在附图中:
图1是示出了安装有根据第一实施方式的图像显示装置的车辆的整体构造;
图2是示出第一实施方式中的控制器的电连接的示意图;
图3A是本车辆和跟随本车辆的车辆(在下文中可以称为“后方车辆”)沿直的车道行驶的情况的视图,其中从上方观察本车辆和后方车辆,图3B是由摄像机拍摄的图像的视图,该图像表示位于图3A中的车辆位置P1处的本车辆后方的视图,而图3C是示出显示图3B中的剪切图像的显示器的视图;
图4A是本车辆和后方车辆沿曲线行驶的情况的视图,其中从上方观察本车辆和后方车辆,图4B是由摄像机拍摄的图像的视图,该图像表示位于图4A中的车辆位置P2处的本车辆后方的视图,而图4C是由摄像机拍摄的图像的视图,该图像表示位于图4A中的车辆位置P3处的本车辆后方的视图;
图5A是本车辆和后方车辆之一沿曲线行驶的情况的视图,其中从上方观察本车辆和后方车辆,而图5B是由摄像机拍摄的图像的视图,该图像表示位于图5A中的车辆位置P5处的本车辆后方的视图;
图6是示出由第一实施方式中的控制器执行的图像剪切处理的流程图;
图7A是本车辆沿曲线行驶的情况的视图,其中从上方观察本车辆,而图7B是由摄像机拍摄的图像的视图,该图像表示位于图7A中的车辆位置P7处的本车辆后方的视图;
图8是示出由第一实施方式的第一修改例中的控制器执行的图像剪切处理的流程图;以及
图9是示出由第一实施方式的第二修改例中的控制器执行的图像剪切处理的流程图。
具体实施方式
在下文中,将参照附图描述一个实施方式。
图1是其上安装有根据第一实施方式的图像显示装置4的车辆2的视图。图2是示出根据第一实施方式的图像显示装置4的整体配置的示意图。如图1所示,车辆2包括图像显示装置4、车轮6、转向装置8、车轮转动量传感器12和车轮速度传感器14。如图2所示,图像显示装置4包括控制器16、车载摄像机18、后方图像显示装置19和图像显示开关22。
车轮转动量传感器12被设置在车辆2的转向装置8上,以检测转向装置8的转角,即转向装置8的舵角,并且根据检测到的舵角向控制器16输出信号。例如,车轮转动量传感器12包括发光二极管、狭缝板和光电晶体管。在车轮转动量传感器12具有这样的配置的情况下,通过随着转向轴的旋转而旋转的狭缝板接收或截断从发光二极管发出的光,并且光电晶体管的ON/OFF状态被切换以检测转向装置8的舵角。假设当在车辆2直行(中立状态)的状态下转向装置8向顺时针方向转动时,舵角变为正值,而当转向装置8从中立状态向逆时针方向转动时,舵角变为负值。
具有相同构造的车轮速度传感器14(14FL、14RL、14FR、14RR)被分别固定在未示出的转子附近,转子与各个车轮6(6FL、6RL、6FR、6RR)一起旋转。车轮速度传感器14中的每一个检测由转子中的对应转子的旋转产生的磁场的变化,并且将检测到的变化作为速度脉冲输出到控制器16。如图1所示,当车轮速度传感器14FL、14RL被分别设置在左前轮6FL和左后轮6RL上时,车轮速度传感器14FR、14RR被分别设置在未示出的右前轮和右后轮上。控制器16包括CPU、ROM、EEPROM、RAM和通信接口。CPU通过执行存储在ROM中的程序来执行各种类型的控制。车轮转动量传感器12、车轮速度传感器14、车载摄像机18、显示器20和图像显示开关22连接到控制器16,使得这些装置可以与控制器16通信。控制器16通过剪切出由车载摄像机18拍摄的图像的一部分来创建要显示的图像。注意,在下文中可以将由车载摄像机18拍摄的图像称为“拍摄图像”。控制器16然后将所创建的图像显示在显示器20上。在控制器16从图像显示开关22接收到ON信号之后,每当经过预定时长时,执行用于剪切出由车载摄像机18拍摄的图像的一部分的该图像剪切处理。稍后将详细描述图像剪切处理。
车载摄像机18被设置在车辆2的车顶部分的后端部分上或者车辆2的后端部分上,以至少拍摄可见光区域中的图像。车载摄像机18的一个示例是CCD摄像机。车载摄像机18拍摄表示车辆2后方的视图的图像,并且基于该图像创建图像数据。车载摄像机18将所创建的图像数据发送到控制器16。由车载摄像机18拍摄的图像包含车辆2后方的车道和车辆。注意,在下文中可以将跟随本车辆的车辆称为“后方车辆”。
后方图像显示装置19被安装在限定乘客舱的车顶部分上。后方图像显示装置19被设置在驾驶座的前方,并且在驾驶座与副驾驶座之间。后方图像显示装置19包括显示器20、镜面21和框架23。镜面21具有与框架23大致相同的尺寸并且被装配在框架23中。镜面21反映车辆2后方的视图。显示器20被形成在镜面21的一部分中。显示器20比镜面21的尺寸小,并且被设置在镜面的大致中心处(参见图3C)。即,镜面21包括:形成在显示器20的表面上的镜面部分21a;以及位于显示器20周围的镜面部分21b。显示器20基于由车载摄像机18创建并且从控制器16输出的图像数据来显示图像。
在显示器20不工作的状态下,镜面部分21a和镜面部分21b中的每一个用作光学镜(镜面显示状态)。在显示器20正在工作的状态下,图像被显示在显示器20上并且可以由乘员观看(显示器显示状态)。在镜面部分21a和镜面部分21b以图像在显示器显示状态下被显示在显示器20上的状态反映后侧视图的情况下,显示在显示器20上的图像的可见性降低。因此,在显示器显示状态下调整框架23的角度,使得镜面21面对车辆2的顶棚,以便不反映后侧视图。
图像显示开关22被设置在后方图像显示装置19和车辆2的车顶部分彼此连接的位置处。图像显示开关22向控制器16发送用于将后方图像显示装置19的显示状态(视图显示状态)在镜面显示状态与显示器显示状态之间进行切换的信号。图像显示开关22的ON/OFF状态由乘员切换。当图像显示开关22被切换到ON状态时,后方图像显示装置19的显示状态从镜面显示状态切换到显示器显示状态,并且由车载摄像机18拍摄的图像被显示在显示器20上。当图像显示开关22被切换到OFF状态时,后方图像显示装置19的显示状态从显示器显示状态切换到镜面显示状态,并且镜面21反映车辆后方的视图。
将描述由控制器16执行的图像剪切处理引起的操作。图3A是本车辆26和后方车辆28沿直的车道24行驶的情况的视图,其中从上方观察本车辆26和后方车辆28。图3B是示出由车载摄像机18在图3A中的车辆位置P1处拍摄的图像A1的视图。在图3A中,单点划线表示沿着本车辆26的纵向方向延伸的纵向轴线X1,而双点划线表示本车辆26的车载摄像机18的拍摄区域的边界C1。也就是说,位于两条边界C1之间的区域是拍摄区域。在图3B中,单点划线表示基于基准剪切位置剪切出的剪切图像b1的剪切框y1。基准剪切位置是预先在拍摄图像A1中设定的剪切位置,并且被设定在拍摄图像A1的大致中心处。剪切图像b1是拍摄图像A1的一部分,并且从拍摄图像A1中剪切出,以创建要在显示器20上显示的图像。剪切框y1是表示从拍摄图像A1中剪切出剪切图像b1的区域的框。
当从图像显示开关22输出的信号为ON信号时,车载摄像机18拍摄图像。车载摄像机18被固定,以便始终拍摄本车辆26正后方的图像。因此,在本车辆26沿直的车道24行驶的情况下,如图3B所示,控制器16接收其中车道24和后方车辆28位于拍摄图像A1的大致中心处的图像。控制器16然后基于接收到的拍摄图像A1来执行图像剪切处理。当本车辆26沿直的车道24行驶时,本车辆26的定向(移动方向)不变,相应地,控制器16将拍摄图像A1中的剪切位置设定为基准剪切位置。控制器16基于基准剪切位置将剪切框y1设定为图3B中的基准剪切位置,从拍摄图像A1中剪切出用设定的剪切框y1围住的图像作为剪切图像b1,并且通过将剪切图像b1相对于X轴方向翻转(即,横向翻转剪切图像b1)来创建要显示的图像。控制器16将基于所创建的图像的信号输出到显示器20,并且控制显示器20以显示所创建的图像。
图4A是本车辆32和后方车辆34沿曲线30行驶的情况的视图,其中从上方观察本车辆32和后方车辆34。图4B是当本车辆32位于图4A中的车辆位置P2时由车载摄像机18拍摄的图像A2的视图。图4C是当本车辆32位于图4A中的车辆位置P3时由车载摄像机18拍摄的图像A3的视图。在图4A中,单点划线表示本车辆26的纵向轴线X2、X3,而双点划线表示车载摄像机18的拍摄区域的边界C2、C3。在图4A中,本车辆32从车辆位置P2移动到车辆位置P3。曲线30由(i)限定曲线的内侧的内分界线36以及(ii)限定曲线的外侧的外分界线38限定。
注意,图4A示出了车辆位置P2和车辆位置P3,以清楚地表示本车辆32在位于车辆位置P2处的定向与本车辆32在位于车辆位置P3处的定向之间的本车辆32的定向变化量Δθ。然而,在实际控制中,本车辆32从车辆位置P2移动到车辆位置P3所需的时间相当短,例如,该时间小于0.1秒。注意,该时间是第一时间段的一个示例。
在图4B中,单点划线表示当本车辆32位于车辆位置P2处时基于拍摄图像A2中的基准剪切位置剪切出的剪切图像b2的剪切框y2。在图4C中,实线表示当本车辆32位于车辆位置P3处时基于拍摄图像A3中的剪切位置剪切出的剪切图像B3的剪切框Y3,以及单点划线表示基于基准剪切位置剪切出的剪切图像b3的剪切框y3。在车载摄像机18拍摄的图像A2、A3中的每一个中,如图4B和图4C所示,假设在拍摄图像的横向方向(即,X轴方向)上从内分界线36指向外分界线38的方向(即,从曲线30的内侧指向曲线30的外侧的方向)被限定为右方向,而在拍摄图像的横向方向上从外分界线38指向内分界线36的方向(即,从曲线30的外侧指向曲线30的内侧的方向)被限定为左方向。
当本车辆32沿曲线30行驶时,如图4B所示,控制器16获得其中曲线30和后方车辆34位于拍摄图像A2的大致中心的左侧(曲线30的内侧部分上)的图像。在该图像A2中,后方车辆34被包含在剪切框y2中的剪切图像b2中。在本车辆32从车辆位置P2行进到车辆位置P3期间,本车辆32的定向发生变化。结果,在拍摄图像A3中,后方车辆34位于剪切图像b3的剪切框y3的外部,并且后方车辆34不被包含在剪切图像b3中。也就是说,本车辆32的定向变化使得显示器20不显示后方车辆34。在本实施方式中,为了解决这个问题,从基准剪切位置移动剪切框Y3,使得从拍摄图像A3剪切出的剪切图像B3包含经移动的后方车辆34。
将描述剪切框Y3从基准剪切位置的移动以及移动的距离L(在下文中可以称为“移动距离L”)。首先,控制器16获得位于车辆位置P3处的本车辆32的舵角和速度。控制器16然后基于所获得的本车辆32的舵角和速度来计算本车辆32在车辆位置P2与车辆位置P3之间的定向变化量Δθ。本车辆32的定向变化量Δθ可以通过本车辆32从车辆位置P2移动到车辆位置P3所需的时间长度、本车辆32的轴距以及位于车辆位置P3处的本车辆32的舵角和速度之间的数学关系获得。控制器16然后识别后方车辆34在拍摄图像A2中的X坐标
Figure BDA0001467380380000101
以及后方车辆34在拍摄图像A3中的X坐标
Figure BDA0001467380380000102
注意,后方车辆34在相应拍摄图像A2、A3中的X坐标
Figure BDA0001467380380000103
中的每一个被识别为从假设位于拍摄图像的左上角的原点(即,参考点)沿横向方向延伸的X轴上的位置。
控制器16基于所识别的后方车辆34的X坐标
Figure BDA0001467380380000104
之间的差来计算后方车辆34在车辆位置P2与车辆位置P3之间在拍摄图像A3中的X轴方向上的位置变化量
Figure BDA0001467380380000105
控制器16然后计算剪切框Y3在拍摄图像A3中的移动距离L。移动距离L是剪切框Y3在拍摄图像A3中要从基准剪切位置移动的距离。以移动距离L从基准剪切位置移动剪切框Y3,并且基于经移动的剪切框Y3剪切出剪切图像B3。基于计算出的后方车辆34在拍摄图像A3中的位置变化量
Figure BDA00014673803800001111
和/或基于本车辆32的定向变化量Δθ来计算移动距离L。
例如,在根据后方车辆34的位置变化量
Figure BDA0001467380380000119
计算移动距离L的情况下,将剪切框Y3以变化量
Figure BDA00014673803800001110
从基准剪切位置移动建立了下述状态:当本车辆32位于车辆位置P3处时后方车辆34在图4C中的拍摄图像A3中的剪切图像B3中位于与当本车辆32位于车辆位置P2处时后方车辆34在图4B中的拍摄图像A2中的剪切图像b2中的相同的位置处。由于在后方车辆34的位置变化之前保持了后方车辆34的位置与基准剪切位置之间的关系,因此移动距离L等于后方车辆34的位置变化量
Figure BDA0001467380380000118
接下来将描述本车辆32的定向变化量Δθ以及由车辆的定向变化量Δθ引起的显示对象在拍摄图像中的位置变化量
Figure BDA0001467380380000117
例如,可以如下获得定向变化量Δθ与位置变化量
Figure BDA0001467380380000116
之间的相关性。对象被放置在车辆2的后方距车辆2预定距离处。例如,该预定距离可以是在后方车辆34位于如图4B和图4C所示尺寸的拍摄图像A2、A3上的情况下本车辆32与后方车辆34之间的距离。在该状态下,车辆2的定向逐渐变化,并且测量车辆的定向变化量的大小以及对象在拍摄图像中的位置变化量的大小两者,从而获得车辆的定向变化量的大小与对象在拍摄图像中的位置变化量的大小之间的相关性。注意,相关性是下述关系:当车辆的定向变化量大时的变化量
Figure BDA00014673803800001113
大于当车辆的定向变化量小时的变化量
Figure BDA00014673803800001112
在根据本车辆32的定向变化量Δθ计算移动距离L的情况下,控制器16预先获得本车辆32的定向变化量Δθ与对象在拍摄图像中的位置变化量
Figure BDA00014673803800001119
之间的相关性。根据该相关性以及本车辆32的定向变化量Δθ,控制器16计算由本车辆32的定向变化量引起的后方车辆34在拍摄图像A3中的位置变化量
Figure BDA00014673803800001120
当将计算出的后方车辆34的位置变化量
Figure BDA00014673803800001118
与后方车辆34的位置变化量
Figure BDA00014673803800001114
彼此进行比较,并且后方车辆34在车辆位置P2与车辆位置P3之间在拍摄图像中的位置变化由本车辆32的定向变化引起时,计算出的后方车辆34的位置变化量
Figure BDA00014673803800001115
等于后方车辆34的位置变化量
Figure BDA00014673803800001116
因此移动距离L等于计算出的对象的位置变化量
Figure BDA00014673803800001117
控制器16将拍摄图像A3中的剪切框Y3以根据基准剪切位置计算出的移动距离L向左方向(即,向曲线内侧)移动。控制器16基于经移动的剪切框Y3从拍摄图像A3中剪切出剪切图像B3,通过将剪切图像B3相对于X轴方向翻转来创建要显示的图像,并且将基于要显示的图像的信号发送到显示器20。
图5A是(i)在沿车道40的曲线行驶之后沿车道40的直线部分行驶的本车辆42以及(ii)当本车辆42位于车辆位置P5处时的时间点处的后方车辆44的视图,其中从上方观察本车辆42和后方车辆44。图5B是当本车辆42位于图5A中的车辆位置P5时由车载摄像机18拍摄的图像A5的视图。在图5A中,本车辆42从车辆位置P4移动到车辆位置P5。单点划线表示位于车辆位置P4、P5处的本车辆42的纵向轴线X4、X5。双点划线表示当本车辆42位于车辆位置P5处时车载摄像机18的拍摄区域的边界C5。在图5B中,单点划线表示基于基准剪切位置剪切出的剪切图像b5的剪切框y5
在本车辆42在沿曲线行驶之后沿车道40的直线部分行驶(即本车辆位于车辆位置P5处)的情况下,如图5B所示,控制器16获得下述图像:在当本车辆42位于车辆位置P5处的时间点处车道40和后方车辆44位于拍摄图像A5的大致中心处或者位于拍摄图像A5的大致中心的稍微偏左处。控制器16然后基于所获得的图像A5来执行图像剪切处理。当本车辆42在沿车道40的曲线行驶之后在车辆位置P4与车辆位置P5之间沿车道40的直线部分行驶时,本车辆42的定向不变,或者本车辆42的定向变化量小。因此,控制器16将拍摄图像A5中的剪切框y5确定到基准剪切位置。控制器16然后基于位于基准剪切位置处的剪切框y5从拍摄图像A5中剪切出剪切图像b5,通过将剪切图像b5相对于X轴方向翻转来创建要显示的图像,并且将基于要显示的图像的信号发送到显示器20。
如上所述,例如,当由于车辆2沿曲线行驶而改变了车辆2的定向时,执行由控制器16执行的图像剪切处理中的剪切位置的改变。在该改变中,在拍摄图像A3中将剪切框Y3的剪切位置从基准剪切位置沿着从外分界线38指向内分界线36的方向移动。当车辆2沿直线部分行驶并且其定向不变时,控制器16将剪切框的剪切位置确定到基准剪切位置。
将参照图6中的流程图描述由控制器16执行的图像剪切处理的流程。当图像显示开关22变为ON时,该流程开始。从刚刚开始图像剪切处理之后的定时起,每当经过预定时长时,控制器16获得由车载摄像机18拍摄的图像,并且将所拍摄的图像存储在RAM中达特定时长。注意,所拍摄图像被存储在RAM中达特定时长,并且按照图像被拍摄的顺序来删除。
该流程开始于S1,控制器16在S1处接收来自位于车辆位置P3处的本车辆32的车轮转动量传感器12和车轮速度传感器14的信号,并且确定从传感器中的每一个输出的值是否大于或等于相应的设定值。当从车轮转动量传感器12和车轮速度传感器14中的每一个输出的值大于或等于设定值时,该流程进行到S3。当从车轮速度传感器14中的每一个以及车轮转动量传感器12中的至少一个输出的值小于设定值时,该流程结束。
控制器16在S3处获得本车辆32的定向变化量Δθ。例如,当本车辆32位于图4A中的车辆位置P3时,控制器16基于从位于车辆位置P3处的本车辆32的车轮转动量传感器12和车轮速度传感器14输出的值来获得本车辆32的舵角和速度。控制器16基于所获得的本车辆32的舵角和速度来计算本车辆32的定向变化量Δθ——当本车辆32从车辆位置P2移动到车辆位置P3时引起的变化。控制器16在S5处确定当本车辆32位于车辆位置P3处时由车载摄像机18拍摄的拍摄图像A3中是否检测到后方车辆34。当在拍摄图像A3中检测到后方车辆34时,该流程进行到S7。当没有检测到后方车辆34时,该流程进行到S13。
控制器16在S7处识别后方车辆34在拍摄图像A3中的X坐标
Figure BDA0001467380380000134
以及后方车辆34在拍摄图像A2中的X坐标
Figure BDA0001467380380000131
其中拍摄图像A2被存储在RAM中并且是在本车辆32位于车辆位置P2处时拍摄的。控制器16基于X坐标
Figure BDA0001467380380000132
与X坐标
Figure BDA0001467380380000133
之间的差来计算后方车辆34的位置变化量
Figure BDA0001467380380000135
控制器16在S9处将在S3处计算出的本车辆32的定向变化量Δθ转换成拍摄图像A3中的位置变化量
Figure BDA0001467380380000136
并且确定量
Figure BDA0001467380380000137
与量
Figure BDA0001467380380000138
是否彼此相等。基于量
Figure BDA0001467380380000139
与量
Figure BDA00014673803800001310
之间的差是否小于或等于阈值来进行该确定。该处理使得控制器16能够确定后方车辆34在拍摄图像中的位置变化是否由本车辆32的定向变化引起。
当量
Figure BDA00014673803800001311
与量
Figure BDA00014673803800001312
之间的差小于或等于设定值时,确定量
Figure BDA00014673803800001313
Figure BDA00014673803800001314
彼此相等,并且后方车辆34在拍摄图像A3中的位置变化是由本车辆32的定向变化引起的,并且该流程进行到S11。当量
Figure BDA00014673803800001318
与量
Figure BDA00014673803800001317
之间的差大于设定值时,量
Figure BDA00014673803800001315
Figure BDA00014673803800001316
彼此不相等,并且后方车辆34在拍摄图像A3中的位置变化不是由本车辆32的定向变化引起的,也就是说,存在下述可能性:后方车辆34在拍摄图像A3中的位置变化是由例如后方车辆34沿与车辆的宽度方向平行的方向移动而引起的。因此,该流程进行到S15。控制器16在S11处将在S7处计算出的量
Figure BDA00014673803800001319
确定为剪切位置在拍摄图像A3中的移动距离L,并且以移动距离L从基准剪切位置移动剪切框Y3的剪切位置。
基于在S3处获得的本车辆32在车辆位置P3处的舵角的值为正还是为负来确定剪切框Y3要移动的方向。当舵角的值为正(即,本车辆32沿右曲线行驶)时,剪切框Y3在拍摄图像A3中向左方向移动。当舵角的值为负(即,本车辆32沿左曲线行驶)时,剪切框Y3在拍摄图像A3中向右方向移动。控制器16然后基于经移动的剪切框Y3剪切出剪切图像B3,通过将剪切图像B3相对于X轴方向翻转来创建要显示的图像,并且将基于要显示的图像的信号发送到显示器20。控制器16在S13处确定从图像显示开关22输出的信号是否为OFF信号。当从图像显示开关22输出的信号为OFF信号时,该流程结束。当从图像显示开关22输出的信号不是OFF信号时,该流程返回到S1。
当在S1处作出了否定判定(否)时,该流程进行到S15,在S15处,控制器16基于基准剪切位置剪切出剪切图像,通过将剪切图像相对于X轴方向翻转来创建要显示的图像,并且将基于要显示的图像的信号发送到显示器20。在完成S15处的处理时,该流程进行到S13。当在S5或S7处作出了否定判定(否)时,该流程进行到S17。将参照图7A和图7B来说明S17处的处理,图7A和图7B示出了本车辆48后方没有车辆的情况。图7A是本车辆48沿曲线46行驶的情况的视图,其中从上方观察本车辆48。图7B是当本车辆48位于图7A中的车辆位置P7处时由车载摄像机18拍摄的图像A7的视图。在图7A中,车辆位置P6是在本车辆48位于车辆位置P7处之前特定时长时本车辆48的位置。单点划线表示位于车辆位置P6、P7处的本车辆48的纵向轴线X6、X7。双点划线表示当本车辆48位于车辆位置P7处时车载摄像机18的拍摄区域的边界C7。在图7B中,单点划线表示位于基准剪切位置处的剪切框y7,并且实线表示经移动的剪切框Y7。特定时长是相当短的时间,例如,特定时长小于0.1秒。
控制器16在在S17处获得本车辆48在车辆位置P7处的舵角和速度。控制器16然后基于所获得的本车辆48的舵角和速度以及特定时长来识别当本车辆48位于车辆位置P6处时本车辆48在拍摄图像A7中的X坐标
Figure BDA0001467380380000142
控制器16然后计算用于移动剪切位置的移动距离L,使得将在本车辆48位于车辆位置P7处之前特定时长处通过其X坐标
Figure BDA0001467380380000141
识别的本车辆48移动到拍摄图像A7中的剪切框Y7的内部。
控制器16以移动距离L从基准剪切位置移动剪切框Y7。基于位于车辆位置P7处的本车辆48的舵角的值为正还是为负来确定要移动剪切框Y7的方向。通过该处理,即使在本车辆48的定向变化之后,在本车辆48位于车辆位置P7处之前特定时长处本车辆48行驶的周围的区域仍位于剪切框Y7的内部。也就是说,在位于车辆位置P7处的本车辆48后方的曲线46的内部部分位于剪切框Y7中。控制器16然后基于剪切框Y7剪切出剪切图像B7,通过将剪切图像B7相对于X轴方向翻转来创建要显示的图像,并且将基于要显示的图像的信号发送到显示器20。在完成S17处的处理时,该流程进行到S13。
在如上所述的本实施方式中,即使当由于车辆2的定向变化而引起在拍摄图像中移动了剪切图像中的后方车辆时,仍基于车辆2的定向变化来改变剪切框的剪切位置,因此在拍摄图像中移动的后方车辆位于剪切框中。这减少了由车辆2的定向变化引起的后方车辆在显示器20上显示的图像中的移动。此外,当本车辆32在沿曲线30行驶时,剪切框Y3的剪切位置发生变化。即使在本车辆32沿曲线30行驶的情况下,该处理也能够使后方车辆34位于剪切框Y3中。这减少了后方车辆34在剪切图像B3中的移动。
当在本车辆32沿曲线30行驶期间本车辆32的定向发生变化时,车载摄像机18拍摄曲线的以下部分的图像:其位于在本车辆32的定向变化之前拍摄的曲线的一部分的外部。在本实施方式中,将剪切框Y3的剪切位置朝向拍摄图像A3中的曲线的内侧移动,使得显示器20能够显示位于本车辆32后方的曲线30。相应地,即使当由于本车辆32沿曲线30行驶而改变了本车辆32的定向时,位于本车辆32后方的曲线30仍被显示在显示器20上。此外,执行了S9处的处理,并且当由于本车辆32的定向变化而改变了后方车辆34在拍摄图像中的位置时,剪切框Y3的剪切位置被改变,从而减少了由于本车辆32的定向变化引起的后方车辆34在剪切图像B3中的位置变化。
当由于本车辆32的定向变化而改变了后方车辆34在拍摄图像中的位置时,通过预先获得量
Figure BDA0001467380380000151
与量Δθ之间的相关性来计算由本车辆32的定向变化量Δθ引起的对象在拍摄图像中的位置变化量
Figure BDA0001467380380000152
该计算使控制器16能够将变化量
Figure BDA0001467380380000154
与后方车辆34在拍摄图像中的位置变化量
Figure BDA0001467380380000153
进行比较,并且基于变化量
Figure BDA0001467380380000155
是否等于变化量
Figure BDA0001467380380000156
来确定后方车辆34在拍摄图像中的位置变化是否由本车辆32的定向变化引起。
当由于本车辆32的定向变化而引起后方车辆34在拍摄图像A3中的位置变化时,后方车辆34在拍摄图像A3中的位置变化量
Figure BDA0001467380380000157
基本上等于后方车辆34在拍摄图像A3中的位置变化量
Figure BDA0001467380380000159
该位置变化量
Figure BDA0001467380380000158
基于本车辆32的定向变化量Δθ来计算。因此,可以基于变化量Δθ和变化量
Figure BDA0001467380380000164
中的任何一个来移动剪切框Y3的剪切位置。在本实施方式中,由于基于后方车辆34在拍摄图像A3中的位置变化量
Figure BDA0001467380380000161
来改变剪切框Y3的剪切位置,所以即使在本车辆32的定向变化之后仍保持剪切图像B3与后方车辆34的相对位置。这减少了由本车辆32的定向变化引起的在显示器20上不显示后方车辆34的情况的发生。
当在本车辆48沿曲线46行驶期间没有检测到后方车辆时,在拍摄图像A7中识别在本车辆48的定向变化之前的时间处本车辆48在车辆位置P6处的X坐标
Figure BDA0001467380380000162
并且移动剪切位置,使得本车辆48的X坐标
Figure BDA0001467380380000163
位于剪切框Y7中。该处理减少了当本车辆48位于车辆位置P7处时在显示器20上不显示本车辆48后方的曲线46的情况的发生。
当本车辆32的舵角和速度中的每一个变为大于或等于设定值时,控制器16移动剪切框Y3,使得显示器20能够适当地显示表示当本车辆32沿曲线30行驶时本车辆32后方的视图的图像。当在本车辆32的后方存在后方车辆34时,控制器16移动剪切框Y3,使得能够将后方车辆34适当地显示在显示器20上。
第一修改例
将描述第一实施方式的第一修改例。注意,根据本修改例的图像显示装置在配置方面与根据第一实施方式的图像显示装置4相似,并且省略了对其的说明。在本修改例中,控制器16基于车辆2的定向变化量Δθ来改变拍摄图像中的剪切位置。图8示出了表示由控制器16执行的图像剪切处理的流程图。当图像显示开关22变为ON时,该流程开始。从刚刚开始图像剪切处理之后的定时起,每当经过预定时长时,控制器16获得由车载摄像机18拍摄的图像,并且将所拍摄的图像存储在RAM中达特定时长。注意,所拍摄图像被存储在RAM中达特定时长,并且按照图像被拍摄的顺序来删除。
如在S3处的处理中,控制器16在S21处获得本车辆的定向变化量Δθ。控制器16还获得本车辆的舵角和速度,并且基于所获得的本车辆的舵角和速度来计算本车辆在某个时间段中的定向变化量Δθ。例如,所述某个时间段可以是图4A中的本车辆32从车辆位置P2移动到车辆位置P3所需的时间长度。例如,所述某个时间段是第一时间段的一个示例,并且可以小于0.1秒。
控制器16在S23处根据本车辆的定向变化量Δθ计算剪切框在拍摄图像中的移动距离L。由于基于显示对象在拍摄图像中移动的距离来计算移动距离L,所以控制器16预先获得车辆的定向变化量Δθ与显示对象在拍摄图像中移动的距离之间的相关性。在S23处,基于在S21处获得的车辆的定向变化量Δθ并且基于预先获得的相关性来计算剪切框的移动距离L。与在车辆的定向变化量Δθ小的情况下相比,在车辆的定向变化量Δθ大的情况下的移动距离L更大。
控制器16然后在拍摄图像中以移动距离L从基准剪切位置移动剪切框。基于在S21处获得的本车辆的舵角的值为正还是为负来确定要移动剪切框的方向。控制器16然后基于经移动的剪切框剪切出剪切图像,通过将剪切图像相对于X轴方向翻转来创建要显示的图像,并且将基于要显示的图像的信号发送到显示器20。控制器16在S25处确定从图像显示开关22输出的信号是否为OFF信号。当从图像显示开关22输出的信号为OFF信号时,该流程结束。当从图像显示开关22输出的信号不是OFF信号时,该流程返回到S2l。
在如上所述的本修改例中,即使在由车辆2的定向变化引起剪切图像中的显示对象如后方车辆在拍摄图像中移动的情况下,基于车辆2的定向变化来改变剪切框的剪切位置,使得在拍摄图像中移动的显示对象能够位于剪切框中。这使得显示器20上显示的图像中的对象难以由于车辆2的定向变化而移动。
与当本车辆的定向变化量Δθ小时相比,当本车辆的定向变化量Δθ大时,在拍摄图像中将本车辆的X坐标从本车辆在当前时间之前的特定时长的时间处的X坐标移动更大的量。在本修改例中,控制器16在本车辆的定向变化量Δθ大时增加剪切框的剪切位置的移动距离L,并且在本车辆的定向变化量Δθ小时减少剪切框的剪切位置的移动距离L。这导致以适当的距离作为剪切框的移动距离L。在本修改例中,控制器16基于本车辆的定向变化量来计算剪切框在拍摄图像中的移动距离L,而不计算对象在拍摄图像中的移动距离,导致减少了由控制器16执行的计算负荷。第二修改例
将描述第一实施方式的第二修改例。注意,根据本修改例的图像显示装置在配置方面与根据第一实施方式的图像显示装置4相似,并且省略了对其的说明。在第一实施方式中,控制器16基于本车辆32的舵角和速度来确定本车辆32是否沿曲线30行驶。在本修改例中,与此相反,无论本车辆32沿着其行驶的车道的形状如何,控制器16不执行该确定,而是改变拍摄图像A3中的剪切位置。此外,在第一实施方式中,在没有检测到后方车辆34的情况下,或者在根据本车辆32的定向变化量Δθ计算出的量
Figure BDA0001467380380000182
与后方车辆34在拍摄图像A3中的位置变化量
Figure BDA0001467380380000181
彼此不相等的情况下,控制器16基于本车辆48在拍摄图像A7中的先前X坐标
Figure BDA0001467380380000183
来改变剪切位置。在本修改例中,与此相反,控制器16不基于本车辆48在拍摄图像A7中的先前X坐标
Figure BDA0001467380380000184
来改变剪切位置。
在本修改例中,当本车辆的定向变化时,控制器16检测后方车辆在拍摄图像中的位置变化并且改变剪切位置。图9示出了表示由控制器16执行的图像剪切处理的流程图。当图像显示开关22变为ON时,该流程开始。从刚刚开始图像剪切处理之后的定时起,每当经过预定时长时,控制器16获得由车载摄像机18拍摄的图像,并且将所拍摄的图像存储在RAM中达特定时长。注意,所拍摄图像被存储在RAM中达特定时长,并且按照图像被拍摄的顺序来删除。
该流程开始于S31,在S31处,如在第一实施方式中的S3处的处理中那样,控制器16获得本车辆的定向变化量Δθ。如在S5处的处理中那样,控制器16在S33处确定是否在由车载摄像机18拍摄的图像中检测到后方车辆。当在拍摄图像中检测到后方车辆时,该流程进行到S35。当未检测到后方车辆时,该流程进行到S43。
如在S7处的处理中那样,控制器16在S35处计算后方车辆的位置变化量
Figure BDA0001467380380000187
控制器16在S37处将在S31处计算出的本车辆的定向变化量Δθ转换成拍摄图像中的位置变化量
Figure BDA0001467380380000185
控制器16然后确定量
Figure BDA0001467380380000186
Figure BDA0001467380380000188
是否彼此相等。可以基于量
Figure BDA00014673803800001810
与量
Figure BDA0001467380380000189
之间的差是否小于或等于阈值来执行该确定。通过该处理,可以确定后方车辆在拍摄图像中的位置变化是否由本车辆的定向变化引起。
当量
Figure BDA00014673803800001812
与量
Figure BDA00014673803800001811
之间的差小于或等于设定值时,量
Figure BDA00014673803800001814
Figure BDA00014673803800001813
彼此相等,并且确定后方车辆在拍摄图像中的位置变化是由本车辆的定向变化引起的,并且该流程进行到S39。当量
Figure BDA00014673803800001816
与量
Figure BDA00014673803800001815
之间的差大于设定值时,量
Figure BDA00014673803800001817
Figure BDA00014673803800001818
彼此不相等,并且后方车辆在拍摄图像中的位置变化不是由本车辆的定向变化引起的,也就是说,存在下述可能性:后方车辆在拍摄图像中的位置变化是由例如后方车辆沿与车辆的宽度方向平行的方向移动引起的。因此,该流程进行到S41。控制器16在S39处将在S35处计算出的量
Figure BDA00014673803800001819
设定为剪切位置在拍摄图像中的移动距离L,并且以移动距离L从基准剪切位置移动剪切框。
基于在S31处获得的本车辆的舵角的值为正还是为负来确定要移动剪切框的方向。控制器16然后基于经移动的剪切框剪切出剪切图像,通过将剪切图像相对于X轴方向翻转来创建要显示的图像,并且将基于要显示的图像的信号发送到显示器20。控制器16在S41处确定从图像显示开关22输出的信号是否为OFF信号。当从图像显示开关22输出的信号为OFF信号时,该流程结束。当从图像显示开关22输出的信号不是OFF信号时,该流程返回到S31。当在S33处作出否定判定(否)时,该流程进行到S43,在S43处,控制器16基于基准剪切位置剪切出剪切图像,通过将剪切图像相对于X轴方向翻转来创建要显示的图像,并且将基于要显示的图像的信号发送到显示器20。在完成S43处的处理时,该流程进行到S41。
在如上所述的本实施方式中,即使当由车辆2的定向变化引起剪切图像中的后方车辆在拍摄图像中移动时,仍基于车辆2的定向变化来改变剪切框的剪切位置,从而使在拍摄图像中移动的后方车辆位于剪切框中。这减少了由车辆2的定向变化引起的后方车辆在显示器20上显示的图像中的移动。此外,执行了S37处的处理,并且当由于本车辆的定向变化而改变了后方车辆在拍摄图像中的位置时,剪切框的剪切位置被改变,从而减少了由于本车辆的定向变化引起的后方车辆在剪切图像中的位置变化。
在第一实施方式、第一修改例和第二修改例中,拍摄图像A1至A7中的每一个是第一图像的一个示例,并且剪切图像b1至b7以及B3和B7中的每一个是第二图像的一个示例。执行图6中的S3、S11和S15、图8中的S21和S23以及图9中的S31和S39处的处理的控制器16是图像剪切器的一个示例。车辆2的定向变化量Δθ是第一变化量和第二变化量中的每一个的一个示例。后方车辆在拍摄图像中的位置变化量
Figure BDA0001467380380000191
是位置变化量的一个示例。车辆位置P3、P5中的每一个是第一时间点的一个示例。车辆位置P2、P4中的每一个是第二时间点的一个示例。本车辆从车辆位置P2移动到车辆位置P3或者从车辆位置P4移动到车辆位置P5所需的时间长度是第一时间段的一个示例。
虽然上面已经描述了实施方式,但是应当理解,本公开内容不限于示出的实施方式的细节,而是可以通过各种变化和修改来实现,可以在不脱离本公开内容的精神和范围的情况下由本领域技术人员进行这些变化和修改。在上述实施方式和修改例中,控制器16计算包括后方车辆的位置变化量
Figure BDA0001467380380000201
和本车辆的定向变化量Δθ的值,并且基于这些值来移动剪切框,但是本公开内容不限于该处理。控制器16可以检测与车辆的定向变化相关的车辆状态,并且基于检测到的状态来移动剪切框。例如,控制器可以获得方向盘的转向角并且移动剪切框,使得与当转向角小时相比,当转向角大时,剪切框的移动量更大。
此外,图像显示装置4可以被配置成使得使用导航装置来检测本车辆是否沿着可能改变车辆的定向的道路(例如,曲线)行驶,并且当控制器检测到本车辆沿着可能改变车辆的定向的道路行驶时,控制器移动剪切框。在可以基于从导航装置输出的道路信息来获得车辆的定向变化量的大小的情况下,控制器16可以基于车辆的定向变化量的大小来改变剪切框的移动距离L。在第一实施方式中,控制器16基于从车轮转动量传感器12和车轮速度传感器14输出的值来确定本车辆32在沿曲线30行驶。然而,本公开内容不限于该处理。例如,控制器16可以基于从传感器输出的值来确定本车辆32在沿曲线30行驶,传感器的示例包括:横向加速度传感器,其被配置成检测车辆2的横向方向(即车辆的宽度方向)上的重力加速度;以及陀螺仪传感器,其被配置成检测关于在车辆2的垂直方向上延伸的轴的旋转角速度(角速度)。
控制器16可以基于从横向加速度传感器和陀螺仪传感器输出的值来确定本车辆32的定向变化量的大小,并且基于所确定的本车辆32的定向变化量的大小来确定剪切框的移动量。在上述实施方式中,当本车辆32沿曲线30行驶时,移动剪切框Y3。然而,可以在本车辆32沿除曲线30以外的道路行驶时移动剪切框Y3。例如,当本车辆32沿行驶期间本车辆32的定向发生变化的道路(例如基本上垂直弯曲的曲柄路和S形弯曲的S形路)行驶时,可以移动剪切框Y3

Claims (8)

1.一种图像显示装置,包括:
摄像机,其安装在车辆上,并且被配置成拍摄表示所述车辆后方的视图的图像;
图像剪切器,其被配置成:基于表示第一图像的一部分在所述第一图像中的位置的剪切位置,剪切出第二图像作为从所述第一图像中剪切出的剪切图像,所述第一图像由所述摄像机拍摄;以及
显示器,其被配置成显示由所述图像剪切器剪切出的第二图像,
其特征在于:
当在所述第一图像中检测到跟随所述车辆的后方车辆时并且当所述后方车辆在所述第一图像中的位置变化是由所述车辆的定向变化引起时,所述图像剪切器被配置成基于第一变化量和位置变化量来改变所述第二图像在所述第一图像中的剪切位置,所述第一变化量是所述车辆在第一时间段中的定向变化量,所述位置变化量是在所述第一时间段中所述后方车辆在所述第一图像中的位置变化量。
2.根据权利要求1所述的图像显示装置,其中,所述图像剪切器被配置成:当由于所述车辆沿曲线行驶而改变了所述车辆的定向时,改变所述第二图像在所述第一图像中的剪切位置。
3.根据权利要求2所述的图像显示装置,其中,所述图像剪切器被配置成:当检测到所述车辆沿所述曲线行驶时,改变所述第二图像在所述第一图像中的剪切位置,使得所述剪切位置朝向所述第一图像中的曲线的内侧移动。
4.根据权利要求1所述的图像显示装置,其中,所述图像剪切器被配置成:
计算所述第一变化量;以及
改变所述第二图像在所述第一图像中的剪切位置,使得当所述车辆在所述第一时间段中的定向变化量是所述第一变化量时创建的剪切图像变成当所述车辆的定向变化量等于比所述第一变化量小的第二变化量时创建的剪切图像。
5.根据权利要求4所述的图像显示装置,
其中,所述图像剪切器被配置成基于所述车辆的定向变化从基准剪切位置改变所述剪切位置,并且所述基准剪切位置是所述剪切图像在所述第一图像中的基准位置,
其中,所述第一时间段是结束点为第一时间点并且起始点为早于所述第一时间点的第二时间点的时间段,并且
其中,所述图像剪切器被配置成:改变所述第二图像在所述第一图像中的剪切位置,使得在所述第一时间点处从所述第一图像剪切出的第二图像变成在所述基准剪切位置处剪切出的剪切图像,所述基准剪切位置是在所述第二时间点处改变所述第二图像在所述第一图像中的剪切位置之前的时间处的位置。
6.根据权利要求1所述的图像显示装置,其中,所述图像剪切器被配置成:
将所述第一变化量与所述位置变化量彼此进行比较,以确定在所述第一时间段中所述后方车辆以所述位置变化量进行的位置变化是否由所述车辆在所述第一时间段中的定向变化引起。
7.根据权利要求6所述的图像显示装置,其中,所述图像剪切器被配置成:当所述图像剪切器确定在所述第一时间段中所述后方车辆以所述位置变化量进行的位置变化由所述车辆在所述第一时间段中的定向变化引起时,基于所述第一变化量来改变所述第二图像在所述第一图像中的剪切位置。
8.根据权利要求6所述的图像显示装置,其中,所述图像剪切器被配置成:当所述图像剪切器确定在所述第一时间段中所述后方车辆以所述位置变化量进行的位置变化由所述车辆在所述第一时间段中的定向变化引起时,基于所述位置变化量来改变所述第二图像在所述第一图像中的剪切位置。
CN201711121274.6A 2016-12-20 2017-11-14 图像显示装置 Active CN108202668B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016247026A JP6597588B2 (ja) 2016-12-20 2016-12-20 画像表示装置
JP2016-247026 2016-12-20

Publications (2)

Publication Number Publication Date
CN108202668A CN108202668A (zh) 2018-06-26
CN108202668B true CN108202668B (zh) 2021-06-29

Family

ID=62251775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711121274.6A Active CN108202668B (zh) 2016-12-20 2017-11-14 图像显示装置

Country Status (4)

Country Link
US (1) US10625678B2 (zh)
JP (1) JP6597588B2 (zh)
CN (1) CN108202668B (zh)
DE (1) DE102017127449B4 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018119948A1 (de) 2018-08-16 2020-02-20 Motherson Innovations Company Limited Rückblickvorrichtung und Kraftfahrzeug mit Rückblickvorrichtung
US20190098226A1 (en) * 2017-09-26 2019-03-28 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Smart field of view (fov) adjustment for a rearview display system in a motor vehicle
GB2571923B (en) * 2018-03-06 2021-08-18 Jaguar Land Rover Ltd Apparatus and method for correcting for changes in vehicle orientation
CN109606266A (zh) * 2018-12-26 2019-04-12 苏州智华汽车电子有限公司 一种流媒体影像视角随后视镜转动而变化的方法
JP7353109B2 (ja) * 2019-09-18 2023-09-29 株式会社Subaru 車外モニタ装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208011A (zh) * 2010-03-31 2011-10-05 爱信艾达株式会社 图像处理系统及车辆控制系统
DE102012010156A1 (de) * 2012-05-24 2012-11-29 Daimler Ag Verfahren zum Erzeugen und zur Anzeige eines virtuellen Abbildes einer Umgebung eines Fahrzeugs
CN103129468A (zh) * 2013-02-19 2013-06-05 河海大学常州校区 基于激光成像技术的车载路障识别系统和方法
CN103813140A (zh) * 2012-10-17 2014-05-21 株式会社电装 使用图像信息的车辆驾驶辅助系统
CN104271399A (zh) * 2011-12-22 2015-01-07 丰田自动车株式会社 车辆后方监视系统
CN104349926A (zh) * 2012-03-22 2015-02-11 捷豹路虎有限公司 自适应巡航控制方法、自适应巡航控制系统和结合有这样的系统的车辆
CN104662560A (zh) * 2012-11-26 2015-05-27 华为技术有限公司 一种视频图像处理方法及系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2531235B1 (fr) 1982-07-27 1985-11-15 Corning Glass Works Verres stratifies transparents polarisants et leur procede d'obtention
US6498620B2 (en) * 1993-02-26 2002-12-24 Donnelly Corporation Vision system for a vehicle including an image capture device and a display system having a long focal length
JP2002369186A (ja) * 2001-06-07 2002-12-20 Sony Corp 車両後方画像表示装置、車両周囲画像表示方法
ES2391556T3 (es) * 2002-05-03 2012-11-27 Donnelly Corporation Sistema de detección de objetos para vehículo
JP4766841B2 (ja) 2003-09-08 2011-09-07 株式会社オートネットワーク技術研究所 車両に搭載されるカメラ装置及び車両周辺監視装置
JP2008195263A (ja) * 2007-02-14 2008-08-28 Denso Corp 車両用後退支援装置
JP4981566B2 (ja) * 2007-07-20 2012-07-25 株式会社デンソーアイティーラボラトリ 運転支援装置および運転支援方法
JP2010006129A (ja) 2008-06-24 2010-01-14 Stanley Electric Co Ltd 車両後方情報表示装置および車両後方情報表示方法
JP5099451B2 (ja) * 2008-12-01 2012-12-19 アイシン精機株式会社 車両周辺確認装置
US8411245B2 (en) * 2009-02-06 2013-04-02 Gentex Corporation Multi-display mirror system and method for expanded view around a vehicle
US9041806B2 (en) * 2009-09-01 2015-05-26 Magna Electronics Inc. Imaging and display system for vehicle
JP5810773B2 (ja) * 2011-09-14 2015-11-11 スズキ株式会社 二輪車の後方映像表示装置
DE102012012501B4 (de) * 2012-06-21 2019-10-24 Volkswagen Aktiengesellschaft Kamerasystem für ein Kraftfahrzeug
JP6245274B2 (ja) * 2013-12-03 2017-12-13 富士通株式会社 表示制御装置、表示制御方法、及びプログラム
JP6519262B2 (ja) 2014-04-10 2019-05-29 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
JP5938703B2 (ja) 2014-04-25 2016-06-22 パナソニックIpマネジメント株式会社 画像処理装置、画像処理装置の制御方法、プログラム、表示装置
DE102014109062A1 (de) * 2014-06-27 2015-12-31 Connaught Electronics Ltd. Verfahren zum Verfolgen eines sich einem Kraftfahrzeug nähernden Zielfahrzeugs mittels eines Kamerasystems des Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
JP6465730B2 (ja) * 2015-04-21 2019-02-06 アルパイン株式会社 電子装置、走行車線識別システムおよび走行車線識別方法
EP3176035A1 (en) * 2015-12-03 2017-06-07 Fico Mirrors S.A. A rear vision system for a motor vehicle
US10239456B1 (en) * 2016-02-10 2019-03-26 Ambarella, Inc. Apparatus to adjust a field of view displayed on an electronic mirror using an automobile state or a driver action

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208011A (zh) * 2010-03-31 2011-10-05 爱信艾达株式会社 图像处理系统及车辆控制系统
CN104271399A (zh) * 2011-12-22 2015-01-07 丰田自动车株式会社 车辆后方监视系统
CN104349926A (zh) * 2012-03-22 2015-02-11 捷豹路虎有限公司 自适应巡航控制方法、自适应巡航控制系统和结合有这样的系统的车辆
DE102012010156A1 (de) * 2012-05-24 2012-11-29 Daimler Ag Verfahren zum Erzeugen und zur Anzeige eines virtuellen Abbildes einer Umgebung eines Fahrzeugs
CN103813140A (zh) * 2012-10-17 2014-05-21 株式会社电装 使用图像信息的车辆驾驶辅助系统
CN104662560A (zh) * 2012-11-26 2015-05-27 华为技术有限公司 一种视频图像处理方法及系统
CN103129468A (zh) * 2013-02-19 2013-06-05 河海大学常州校区 基于激光成像技术的车载路障识别系统和方法

Also Published As

Publication number Publication date
JP2018099992A (ja) 2018-06-28
US10625678B2 (en) 2020-04-21
DE102017127449A1 (de) 2018-06-21
US20180170264A1 (en) 2018-06-21
DE102017127449B4 (de) 2022-10-20
CN108202668A (zh) 2018-06-26
JP6597588B2 (ja) 2019-10-30

Similar Documents

Publication Publication Date Title
CN108202668B (zh) 图像显示装置
US10163016B2 (en) Parking space detection method and device
JP6801787B2 (ja) 駐車支援方法及び駐車支援装置
CN108351958B (zh) 停车位的框线的检测方法及装置
EP2974909A1 (en) Periphery surveillance apparatus and program
WO2007122862A1 (ja) 駐車支援装置及び駐車支援方法
CN108297792B (zh) 图像显示装置
JP4319928B2 (ja) 車両状態検知システムおよび車両状態検知方法
US20180265083A1 (en) Collision avoidance device
EP3514031A1 (en) Parking assist method and device
CN111824129A (zh) 图像处理装置及图像处理方法
CN110998685A (zh) 行进障碍检测装置和车辆导航系统
WO2019008760A1 (ja) 駐車支援方法及び駐車支援装置
CN111918803B (zh) 驾驶辅助控制装置、驾驶辅助系统和驾驶辅助控制方法
CN111862108A (zh) 图像处理装置及图像处理方法
JP6119526B2 (ja) 車両用走行制御装置
JP6295868B2 (ja) 車両用表示装置
JP2021009440A (ja) 車両制御装置
JP2014104840A (ja) 車載画像処理装置
US20230260293A1 (en) Travel environment recognition apparatus
JP2019117581A (ja) 車両
US20220306120A1 (en) Driving support device
JP2023052172A (ja) 余所見判定装置、余所見判定システム、余所見判定方法、プログラム、端末装置、車両
CN115675080A (zh) 车辆用显示装置、系统及方法、非暂时性存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant