CN105308620B - 信息处理设备、接近对象通知方法和程序 - Google Patents

信息处理设备、接近对象通知方法和程序 Download PDF

Info

Publication number
CN105308620B
CN105308620B CN201480030492.7A CN201480030492A CN105308620B CN 105308620 B CN105308620 B CN 105308620B CN 201480030492 A CN201480030492 A CN 201480030492A CN 105308620 B CN105308620 B CN 105308620B
Authority
CN
China
Prior art keywords
proximity
vehicle
image
pattern
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480030492.7A
Other languages
English (en)
Other versions
CN105308620A (zh
Inventor
大场英史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105308620A publication Critical patent/CN105308620A/zh
Application granted granted Critical
Publication of CN105308620B publication Critical patent/CN105308620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

提供一种系统,包括至少一个图像拍摄设备,所述图像拍摄设备被配置成从车辆拍摄对象的图像,和至少一个显示设备,所述显示设备被配置成向车辆的乘客显示对象的图像。所述系统还包括至少一个控制单元,所述控制单元被配置成判定是否提醒乘客注意对象的接近,和响应确定提醒乘客注意对象的接近,在用于显示在所述至少一个显示设备上的对象的图像上,叠加移动图案,透过所述移动图案,对象的图像仍然可见。

Description

信息处理设备、接近对象通知方法和程序
相关申请的引用
本申请要求2013年6月7日提交的日本专利申请JP 2013-120600的优先权,这里通过引用包含该申请的整个内容。
技术领域
本公开涉及信息处理设备,接近对象通知方法和程序。
背景技术
近年来,作为供驾驶员检查车辆后方而构成的后方视野支持系统,开发了把利用车载摄像头拍摄的图像(拍摄图像)显示在安装在车辆中的监视器上的技术。通过查看监视器,而不是诸如后视镜或侧视镜之类的镜子,驾驶员能够确认其车辆的周围事物的状态。
另一方面,开发了利用拍摄图像,或者安装在车辆上的各种传感器设备等,检测相对接近自己车辆的对象物(例如,从后方接近的其它车辆等),并通知驾驶员所述对象物(接近对象物)正在接近的系统。例如,PTL1公开一种通过利用测距传感器,测量车辆和附近的障碍物之间的距离,并按照测量的距离,使多个LED逐步发光,可感觉地把车辆和障碍物之间的距离通知驾驶员的技术。
这里,作为通过向图像中的特定对象物附加预定图案,引起用户注意的技术,例如,PTL 2公开一种在合成由多个成像单元拍摄的图像,从而生成全景图像的系统中,通过在到最近的被摄物体的距离小于预定阈值时,向拍摄图像中的最近被摄物体附加斑纹图案,向用户通知在图像合成时,会变得有缺陷的地方的技术。
[引文列表]
[专利文献]
[PTL 1]JP 2005-47504A
[PTL 2]JP 2011-4340A
发明内容
这里,在把接近对象物通知驾驶员的系统中,驾驶员必须快速识别接近对象物的存在,和更准确地识别接近对象物的特性(例如,接近对象物的形状(车辆的种类)或接近速度)。然而,在PTL 1中公开的上述技术中,由于利用LED的发光,向驾驶员通知接近对象物的存在,因此如上所述,为了识别接近对象物的特性,必须利用镜子等查看接近对象物,从而存在准确地识别状况要花费一些时间的顾虑。
另外,由于在驾驶车辆期间,驾驶员的视线一般沿行进方向,落在前挡风玻璃之前,因此驾驶员不会持续查看上面显示表示周围事物的状态的拍摄图像的监视器。因而,当如PTL 2中公开的技术中一样,仅仅向监视器上的接近对象物附加斑纹图案时,驾驶员不太可能很快认识到接近对象物的存在。
鉴于上述情况,驾驶员必须很快认识到接近对象物的存在,并按照必要的状况,更准确地识别接近对象物的特性。从而,本公开的实施例提出一种能够允许驾驶员更快,更准确地认识到接近对象物的新的改进的信息处理设备,接近对象物通知方法和程序。
按照本公开的实施例,提供一种信息处理设备,包括图像信息获取单元,所述图像信息获取单元被配置成获得关于至少包括接近对象物的拍摄图像的图像信息,图像生成单元,所述图像生成单元被配置成根据作为接近对象物的状态的接近状态的判定结果,生成动态图案化图像,所述动态图案化图像是其中对于拍摄图像中的接近对象物,设定其显示在显示屏幕上按预定时段变动的动态图案的图像,是其中接近对象物和动态图案被一起显示的图像,和显示控制单元,所述显示控制单元被配置成在显示屏幕上显示动态图案化图像。
按照本公开的实施例,提供一种接近对象物通知方法,包括获得关于至少包括接近对象物的拍摄图像的图像信息,根据作为接近对象物的状态的接近状态的判定结果,生成动态图案化图像,所述动态图案化图像是其中对于拍摄图像中的接近对象物,设定其显示在显示屏幕上,按预定时段变动的动态图案的图像,是其中接近对象物和动态图案被一起显示的图像,和把动态图案化图像显示在显示屏幕上。
按照本公开的实施例,提供一种程序,所述程序使计算机实现:获得关于至少包括接近对象物的拍摄图像的图像信息的功能,根据作为接近对象物的状态的接近状态的判定结果,生成动态图案化图像的功能,所述动态图案化图像是其中对于拍摄图像中的接近对象物,设定其显示在显示屏幕上,按预定时段变动的动态图案的图像,是其中接近对象物和动态图案被一起显示的图像,和把动态图案化图像显示在显示屏幕上的功能。
按照本公开的实施例,生成动态图案化图像,以致对于至少包括附近对象物的拍摄图像中的接近对象物,设定其显示在显示屏幕上按预定时段变动的动态图案。从而,通过把动态图案化图像显示在显示屏幕上,即使当驾驶员未注视显示屏幕时,驾驶员也能够理解其显示在驾驶员的视界内的时段变动的动态图案,从而能够很快识别接近对象物。另外,在动态图案化图像中,接近对象物和动态图案被一起显示。从而,由于当对于对象物设定动态图案时,不会妨碍驾驶员在显示屏幕上观察所述对象物地生成动态图案,因此驾驶员能够观看显示屏幕,并准确地识别接近对象物。
按照本公开的实施例,提供一种系统,包括至少一个图像拍摄设备,所述图像拍摄设备被配置成从车辆拍摄对象物的图像;至少一个显示设备,所述显示设备被配置成向车辆的乘客显示对象物的图像;和至少一个控制单元,所述控制单元被配置成:判定是否提醒乘客注意对象物的接近,和响应确定提醒乘客注意对象物的接近,在用于显示在所述至少一个显示设备上的对象物的图像上,叠加移动图案,透过所述移动图案,对象物的图像仍然可见。
按照本公开的实施例,提供一种系统,包括至少一个处理器,和保存处理器可执行指令的至少一个处理器可读存储介质,当被所述至少一个处理器执行时,所述指令使所述至少一个处理器:接收由车辆上的至少一个图像拍摄设备拍摄的对象物的图像;判定是否提醒车辆的乘客注意对象物的接近;响应确定提醒乘客注意对象物的接近,在对象物的图像上叠加移动图案,透过所述移动图案,对象物的图像仍然可见;和把具有叠加的移动图案的对象物的图像提供给至少一个显示设备,以便向车辆的乘客显示。
按照本公开的实施例,提供一种方法,包括:访问由车辆上的至少一个图像拍摄设备拍摄的对象物的图像;判定是否提醒车辆的乘客注意对象物的接近;响应确定提醒乘客注意对象物的接近,在对象物的图像上叠加移动图案,透过所述移动图案,对象物的图像仍然可见;和在至少一个显示设备上,向车辆的乘客显示具有叠加的移动图案的对象物的图像。
按照本公开的实施例,提供保存处理器可执行指令的至少一个处理器可读存储介质,当被执行时,所述指令进行一种方法,所述方法包括:访问由车辆上的至少一个图像拍摄设备拍摄的对象物的图像;判定是否提醒车辆的乘客注意对象物的接近;响应确定提醒乘客注意对象物的接近,在对象物的图像上叠加移动图案,透过所述移动图案,对象物的图像仍然可见;和在至少一个显示设备上,向车辆的乘客显示具有叠加的移动图案的对象物的图像。
按照上面说明的本公开的实施例,驾驶员能够更快并且更准确地识别接近对象物。
附图说明
图1是图解说明按照本公开的第一实施例的接近对象物通知系统适用于的车辆的概况的示意图。
图2是图解说明按照本公开的第一实施例的接近对象物通知系统的一个结构例子的功能方框图。
图3A是描述作为动态图案的具体例子的斑纹图案的说明图。
图3B是描述作为动态图案的具体例子的斑纹图案的说明图。
图4A是描述作为动态图案的具体例子的框架状图案的说明图。
图4B是描述作为动态图案的具体例子的框架状图案的说明图。
图5A是描述作为动态图案的具体例子的波状图案的说明图。
图5B是描述作为动态图案的具体例子的波状图案的说明图。
图5C是描述作为动态图案的具体例子的波状图案的说明图。
图6是图解说明按照本公开的第二实施例的接近对象物通知系统的一个结构例子的功能方框图。
图7是图解说明按照本公开的第一和第二实施例的接近对象物通知方法的一个处理顺序例子的流程图。
图8是图解说明按照本公开的第一和第二实施例的接近对象物通知设备的硬件结构的一个结构例子的功能方框图。
具体实施方式
下面参考附图,详细说明本公开的优选实施例。在说明书和附图中,向实质上具有相同功能结构的构成元件赋予相同的附图标记,重复的说明被省略。
另外,将按照以下顺序进行说明。
1.第一实施例
1-1.接近对象物通知系统的概况
1-2.接近对象物通知系统的结构
1-3.动态图案的具体例子
1-3-1.斑纹图案
1-3-2.框架状图案
1-3-3.波状图案
2.第二实施例
3.接近对象物通知方法的处理顺序
4.硬件结构
5.结论
<1.第一实施例>
(1-1.接近对象物通知系统的概况)
首先参考图1,说明按照本公开的第一实施例的接近对象物通知系统的概况。图1是图解说明按照本公开的第一实施例的接近对象物通知系统适用于的车辆的概况的示意图。另外,在下面的说明中,将说明其中把按照本实施例的接近对象物通知系统应用于车辆的例子。不过,本实施例并不局限于这些例子,相反,接近对象物通知系统可应用于所有各种交通工具,只要操作者(驾驶员)能够进入并操作该交通工具即可。另外,在下面的说明中,指示诸如前方、后方、左侧和右侧之类方向的表述被假定用于指示当驾驶车辆的驾驶员充当基准时的方向。
参见图1,车载摄像头611和测距传感器设备612安装在按照第一实施例的接近对象物通知系统应用于的车辆610上。车载摄像头611是配置成拍摄车辆610的周围事物的状态,比如通过拍摄从车辆看到的图像的图像拍摄设备的例子。例如,车载摄像头611被布置成拍摄驾驶员利用车载镜子,比如后视镜和侧视镜,通常能够看到的范围。具体地,车载摄像头610被布置成拍摄车辆610的后方或左后方或右后方的状态。另外,在图1中例示的例子中,在与车辆610的左侧视镜对应的位置,布置单个车载摄像头611,不过,本实施例并不限于这个例子。在车辆610中的任意位置,可以布置多个车载摄像头611,以致能够拍摄预定的范围。
车载摄像头611拍摄的图像(拍摄图像)被显示在安装在同一车辆610上的监视器(未图示)上。因而,通过查看显示在监视器上的拍摄图像,驾驶员能够确认车辆610的周围事物的状态。从而,在本实施例中,车载镜子可用车载摄像头611和显示拍摄图像的监视器代替。监视器可安装在车辆610内,驾驶员看得见的位置,或者可代替车载镜子地被安装在通常安装所述镜子的位置。另外,当布置多个车载摄像头611时,可以安装数目和车载摄像头611的数目相同的监视器,以显示利用车载摄像头611拍摄的拍摄图像。
测距传感器设备612是配置成检测车辆610和车辆610周围的对象物之间的距离的距离检测设备的例子。具体地,测距传感器设备612可包括各种测距传感器设备,比如毫米波雷达设备、声波测距设备、超声波测距设备和光学测距设备。在图1中例示的例子中,布置测距传感器设备612,以检测车辆610和在车辆610的后方或左后方或右后方的对象物之间的距离。不过,本实施例并不限于该例子,而是可在不同位置,布置多个测距传感器设备612,以检测在车辆610与车辆610的前方、后方、左侧和右侧的对象物之间的距离。
从而,在按照本实施例的接近对象物通知系统中,利用车载摄像头611拍摄车辆610的周围事物的状态,利用测距传感器设备612,检测车辆610和在车辆610附近的对象物之间的距离。这里,如在图1中图解所示,例如,将考虑其中另一个车辆620从车辆610的左后方接近的情况。在这种情况下,在本实施例中,利用车载摄像头611拍摄的包括车辆620的图像被显示在安装在车辆610上的监视器上。另外,利用测距传感器设备612,检测车辆610和620之间的距离。另外,通过在监视器上显示动态图案化图像,把接近驾驶员的车辆620(接近对象物或接近车辆)通知驾驶员,所述动态图案化图像是其中对于拍摄图像中的车辆620,设定动态图案的图像,是其中一起显示车辆620和所述动态图案的图像。
这里,动态图案指的是运动图案,例如,其显示在显示屏上按预定时段变动的图案。这种动态图案可被认为是具有诉诸人类的动态视力的作用的图案,换句话说,动态图案可被认为是易于被驾驶员认识的图案。这是许多脊椎动物,尤其是食草动物的关于视力的能力(视觉能力)的结果。已知食草动物具有向着眼睛的中央凹的外周扩大,敏感地感测具有低分辨率,并且水平移动的移动体的视野区域,食草动物的视觉能力使它们能够通过感测视野区域中的非稳定变化,察觉食肉动物的轻微运动。这里,中央凹是大体位于其中高密度地存在锥体的视网膜的黄斑区的中心的部分,是大体在视野的中心,具有高清晰视图的部分。另外,已知察觉变化的视杆细胞大量分布在中央凹的外围。从而,在本实施例中,利用诉诸人类的动态视力的作用,唤起驾驶员的注意。具体地,通过把动态图案化图像显示在安装在车辆610上的监视器上,驾驶员能够察觉在他或她的视野内的动态图案,从而即使不注视监视器,也能够很快认出接近对象物。
在按照本实施例的动态图案化图像中,对于车辆620,设定动态图案,同时一起显示车辆620和动态图案。即,在不妨碍车辆620的观察的情况下,对车辆620设定动态图案。从而,透过叠加在车辆620的图像上,以便显示在显示设备上的运动图案,车辆620的图像仍然可见。因而,参照显示在监视器上的动态图案化图像,驾驶员能够更准确地识别作为接近对象物的车辆620的特性(例如,车辆620的形状(车辆的种类)或者接近速度)。
上面参考图1,说明了按照本公开的第一实施例的接近对象物通知系统的概况。从而,在第一实施例中,驾驶员能够更快、更准确地认出接近他或她的车辆的接近对象物。下面,将详细说明按照第一实施例的接近对象物通知系统的具体功能和结构。
另外,在图1中图解所示的例子中,接近对象物是4轮车辆620,不过,第一实施例并不限于该例子。例如,接近对象物可以是诸如自行车之类的轻型车辆,或者另一种车辆,比如2轮车辆。另外,在第一实施例中,接近对象物可以是和车辆610的相对距离更近的对象物。相对接近的对象物的例子包括诸如墙、电话线杆和护栏之类的静止物体,和与车辆610相比,速度十分缓慢地移动的运动物体,比如步行者。
(1-2.接近对象物通知系统的结构)
下面参考图2,说明按照本公开的第一实施例的接近对象物通知系统的示意结构。图2是图解说明按照本公开的第一实施例的接近对象物通知系统的一个结构例子的功能方框图。
参见图2,按照本公开的第一实施例的接近对象物通知系统1包括车辆信息检测设备10、距离检测设备20和接近对象物通知设备30。在第一实施例中,车辆信息检测设备10、距离检测设备20和接近对象物通知设备30安装在例如车辆中。在下面的说明中,除非另有说明,否则假定车辆意味安装有按照第一实施例的车辆信息检测设备10、距离检测设备20和接近对象物通知设备30的车辆。另外在下面的说明中,接近对象物通知系统1中的一系列处理也被称为接近对象物通知处理。另外,由于接近对象物通知设备30是主要进行接近对象物通知处理中的各种信息处理的设备,因此在下面的说明中,接近对象物通知设备30也被称为信息处理设备30。
车辆信息检测设备10检测指示车辆状态的车辆信息。这里,车辆信息可包括指示车辆状态的所有各种信息。例如,车辆信息可包括关于车辆的移动的信息,比如车速、发动机的转数、转向状态、和齿轮状态(即,变速杆的位置)。另外,车辆信息可包括关于各种灯,比如方向灯、前灯和刹车灯的点亮的信息,或者关于设备,比如空调器、雨刷、和车载导航系统的启动状态的信息。
车辆信息检测设备10把检测的车辆信息传送给接近对象物通知设备30。这里,车辆信息检测设备10可不断检测车辆信息,或者可响应来自接近对象物通知设备30的指令,在预定定时检测车辆信息。另外,当车辆信息变化时,例如,当方向灯被点亮,以表达改变车道的意思时,车辆信息检测设备10可检测变化的车辆信息,和其它车辆信息。另外,车辆信息检测设备10可频繁地把检测的车辆信息传送给接近对象物通知设备30,或者可响应来自接近对象物通知设备30的指令,在预定定时传送检测的车辆信息。另外,当车辆信息变化时,车辆信息检测设备10可只把变化的信息传送给接近对象物通知设备30。
距离检测设备20检测车辆和在车辆周围的对象物之间的距离。距离检测设备20对应于图1中的测距传感器设备612。例如,距离检测设备20可包括各种测距传感器设备,比如毫米波雷达设备、声波测距设备、超声波测距设备和光学测距设备。另外在图2中,只例示了一个距离检测设备20,不过多个距离检测设备20可被安装在车辆中,或者可检测车辆和车辆周围所有方向的对象物之间的距离。
距离检测设备20把关于车辆和检测的附近对象物之间的距离的信息传送给接近对象物通知设备30。这里,距离检测设备20可不断检测车辆和附近对象物之间的距离,或者可响应来自接近对象物通知设备30的指令,在预定定时检测所述距离。另外,距离检测设备20可不断把关于车辆和附近对象物之间的距离的信息传送给接近对象物通知设备30,或者可响应来自接近对象物通知设备30的指令,在预定定时传送所述信息。另外,当从车辆信息检测设备10传送特定车辆信息时,接近对象物通知设备30可指令距离检测设备20检测车辆和附近对象物之间的距离,并传送关于所述距离的信息。
接近对象物通知设备30整体控制按照第一实施例的接近对象物通知处理。接近对象物通知设备30包括成像单元310、显示单元320和控制单元330。
成像单元310具有拍摄车辆的周围事物的状态的功能。成像单元310(例如至少一个图像拍摄设备)拍摄至少包括在车辆周围的对象物的拍摄图像,并把关于拍摄图像的图像信息传送给控制单元330。成像单元310可包括各种摄像头设备,可以运动图像的形式,拍摄车辆的周围事物的状态,并把其图像信息实时传送给控制单元330。另外,成像单元310对应于图1中的车载摄像头611。另外,图2中例示了仅仅一个成像单元310。不过,可以安装多个成像单元310,在车辆周围的所有方向进行成像,并把关于多个拍摄图像的图像信息传送给控制单元330。
显示单元320是在诸如显示屏之类的至少一个显示设备上,可视地显示接近对象物通知设备30中的各种处理信息或处理结果的输出接口。在第一实施例中,显示单元320在控制单元330的控制下,把成像单元310拍摄的拍摄图像显示在显示屏上。另外,显示单元320在控制单元330的控制下,把其中在拍摄图像中,设定动态图案的动态图案化图像显示在显示屏上。从而,由于拍摄图像或动态图案化图像被显示在显示单元320的显示屏上,因此可以说车辆的周围事物的状态被显示在显示单元320上。从而,当成像单元310拍摄车辆的后方或左后方或右后方,并且显示单元320显示车辆的后方或左后方或右后方的拍摄图像,或者动态图案化图像时,可以认为显示单元320代替车载镜子。显示单元320可安装在驾驶员或车辆中的另一位乘客看得见的位置,或者可代替车载镜子,被安装在通常安装车载镜子的位置。另外,图2中例示了仅仅一个显示单元320,不过,可以安装多个显示单元320。此外,当布置多个成像单元310时,可以安装数目与成像单元310的数目相同的显示单元320,以致一个一个单独地显示成像单元310的拍摄图像。
控制单元330整体控制接近对象物通知设备30,进行按照第一实施例的接近对象物通知处理中的各种信息处理。下面,详细说明控制单元330的功能和结构。
控制单元330包括接近状态判定单元331、动态图案生成单元334、图像信息获取单元335、图像生成单元336和显示控制单元337。
在一些实施例中,控制单元330可被配置成利用接近状态判定单元331,判定是否提醒车辆的乘客注意对象物的接近。接近状态判定单元331判定接近中的对象物(接近对象物)的状态。这里,接近对象物的状态(接近状态)包括关于车辆和接近对象物之间的距离和接近车辆的对象物的速度或方向的信息。另外,接近对象物的状态包括关于作为指示接近对象物与车辆碰撞的危险性的指标的接近对象物的危险度的信息。另外,在第一实施例中,根据关于距离检测设备20检测的车辆和接近对象物之间的距离的信息,判定接近状态。
下面更详细说明接近状态判定单元331的功能和结构。接近状态判定单元331包括接近信息获取单元332和危险度判定单元333。
接近信息获取单元332获得接近信息,接近信息是关于接近对象物的信息。例如,接近信息是关于接近对象物的存在,车辆和接近对象物之间的距离,和接近对象物的接近速度、方向等的信息。在本实施例中,接近信息获取单元332从距离检测设备20,接收关于车辆和接近对象物之间的距离的信息。例如,根据关于所述距离的信息,接近信息获取单元332可获得包括上述内容的接近信息。接近信息获取单元332把获得的接近信息传送给危险度判定单元333。
这里,根据频繁从距离检测设备20传送的关于距离的信息,接近信息获取单元332可频繁获得接近信息,或者可在预定定时,获得接近信息。例如,所述预定定时可以是车辆信息检测设备10检测特定车辆信息的时刻。从而,在本实施例中,接近信息获取单元332可从车辆信息检测设备10接收车辆信息,或者可在收到特定车辆信息时,获得接近信息。即,在本实施例中,可在检测特定车辆信息时,获得接近信息。在下面的说明中,触发接近信息获取单元332的接近信息的获取的车辆信息被称为触发信息。当接近信息获取单元332按照触发信息,获得接近信息时,收到触发信息的接近信息获取单元332通过向距离检测设备20传送检测车辆和对象物之间的距离的指令,可使距离检测设备20检测所述距离。另外,在按照本实施例的接近对象物通知处理中,当接近信息获取单元332获得接近信息时,进行接近对象物通知处理中的一系列处理。于是,触发信息可被认为是触发接近对象物通知处理的开始的车辆信息。
这里,说明触发信息的具体例子。例如,触发信息可以是关于车辆的速度的信息。当车辆的速度大于预定阈值速度时,认为与对象物碰撞的危险性较高,从而认为通知接近对象物的必要性较高。从而,控制单元330可被配置成至少部分根据车辆的速度是否大于阈值速度,判定是否提醒乘客注意对象物的接近。因而,当检测到指示车辆的速度大于预定速度的车辆信息时,可进行接近对象物通知处理。
另外,例如,触发信息可以是关于车辆的方向灯的驱动的信息。当驾驶员驱动左右方向灯之一时,车辆左转或右转,或者变更车道的可能性高,从而存在与从驾驶员的盲区接近的对象物碰撞的顾虑。从而控制单元330可被配置成至少部分根据车辆的方向灯是否被启动,判定是否提醒乘客注意对象物的接近。因而,当检测到指示驾驶员驱动左右方向灯之一的车辆信息时,可以进行接近对象物通知处理。
另外,例如,触发信息可以是关于车辆的变速杆的位置的信息。例如,当变速杆从位置“P”(停车)被移动到另一个位置时,认为车辆从停车状态开始移动,从而认为驾驶员必须注意车辆的周围事物。因而,当检测到指示变速杆的位置从位置“P”移动到另一个位置的车辆信息时,可进行接近对象物通知处理。另外,例如,当变速杆在位置“R”(倒车)时,车辆向后移动。于是,驾驶员的视野比车辆向前移动时窄,从而认为通知接近对象物的必要性较高。控制单元330从而可被配置成至少部分根据车辆是否在倒车,判定是否提醒乘客注意对象物的接近。因而,当检测到指示变速杆在“R”位置的车辆信息时,可进行接近对象物通知处理。
上面说明了触发信息的具体例子,不过,本实施例中的触发信息并不限于这些例子。触发信息可以是任意信息,只要所述信息是包括车辆信息的信息,并且可由驾驶员或者接近对象物通知系统的设计员适当设定即可。例如,当在车辆上安装检测驾驶员的视线、头部的位置和姿态等的系统时,指示所述系统检测的视线、头部的位置和姿态等的信息可被包含在车辆信息中,或者该信息可以用作触发信息。控制单元330从而可被配置成至少部分根据车辆驾驶员的头部运动,判定是否提醒乘客注意对象物的接近。具体地,例如,当作为触发信息,检测到指示驾驶员移动他或她的视线或头部,以在变更车道之前进行确认,或者在变更车道时,如法律要求的那样,直接确认斜后方的视野的信息时,可以进行接近对象物通知处理。另外,检测驾驶员的视线、头部的位置和姿态等的系统包括以图像的形式,捕捉驾驶员的眼球的状态,头部的位置或运动等的成像设备,捕捉驾驶员的头部的运动,作为距离的变化的各种测距传感器,和根据成像设备获得的图像,或测距传感器设备检测的距离信息,确定指示驾驶员的视线、头部的位置和姿态等的状态的信息,并判定是否把该信息包含在触发信息中的控制设备。
从而,可频繁地对接近对象物进行按照本实施例的接近对象物通知处理,或者可在当检测到触发信息时,对存在的接近对象物进行按照本实施例的接近对象物通知处理。另外,从人机工程的观点看,利用触发信息进行的接近对象物通知处理也具有极佳的优点。这是因为当检测到触发信息时,通过进行接近对象物通知处理,即,通过改变呈现给驾驶员的图像,只有在必要时,才在驾驶员的周边视界中显示用于唤起驾驶员的注意的动态图案。从而,由于避免了动态图案的频繁显示,能够获得防止因习惯于展示在视界中的图像的显示而引起的感觉迟钝的效果,因此能够更有效地唤起驾驶员的注意。另外,驾驶员可在频繁执行接近对象物通知处理,和在检测到触发信息时执行接近对象物通知处理之间任意切换。另外,驾驶员会适当地选择要用作触发信息的车辆信息。
在一些实施例中,判定是否提醒乘客注意对象物的接近可包括至少部分根据车辆和对象物之间的距离,计算对象物的危险度。危险度判定单元333根据接近信息获取单元332获得的接近信息,确定对象物的上述危险度。这里,危险度是指示车辆与接近对象物碰撞的危险性的指标。例如,危险度可被表示成分数,危险度判定单元333可进行计算,以致随着车辆和接近对象物之间的距离越小,接近对象物的速度越快,指示危险度的分数越高。另外,危险度判定单元333可从车辆信息检测设备10接收车辆信息,并根据车辆信息,判定危险度。即,在本实施例中,可进一步根据车辆信息,判定危险度。另外,危险度判定单元333判定接近对象物的危险度的方法并不限于分数方式,而是可以使用各种方法。例如,接近对象物通知设备30的存储单元(未图示)可以表格的形式,保存与包含在接近信息和/或车辆信息中的各种状况相应的危险度的值,危险度判定单元333可根据接近信息和/或车辆信息,参照所述表格,判定危险度。
这里,说明危险度判定单元333根据车辆信息,判定危险度的具体例子。例如,危险度判定单元333可根据关于车辆的速度的车辆信息,判定危险度。例如,当假定车辆的速度十分缓慢,并且车辆行驶在车辆拥堵的车道中,或者车辆在等红灯的车道中时,即使车辆和附近对象物(例如,前方或后方的另一辆车)之间的距离较小,危险度判定单元333也可判定危险度较低。另外,例如,当假定车辆的速度十分快,并且车辆行驶在公路上时,即使车辆和附近对象物(例如,前方或后方的另一辆车)之间的距离和其中速度缓慢的情况的距离相同,危险度判定单元333也会判定危险度较高。从而,可至少部分根据车辆的速度是否大于阈值速度,判定是否提醒乘客注意对象物的接近,即使当根据关于几乎相同内容的接近信息,判定危险度时,危险度判定单元333也可按照车辆信息,不同地判定危险度。
另外,例如,危险度判定单元333可根据关于车辆的方向灯的驱动(启动)的车辆信息,判定危险度。例如,当车辆驱动左右方向灯之一时,车辆试图左转或右转或变更车道的可能性高。于是,危险度判定单元333可判定在方向灯被驱动的方向的对象物的危险度大于在另一个方向的对象物的危险度。例如,当在以等于或大于预定速度的速度行驶的时候,车辆驱动左方向灯时,设想车辆打算变更到左侧车道上。因而,危险度判定单元333可判定在车辆的左后方的接近对象物的危险度大于在另一个方向(例如,后方或右后方)的接近对象物的危险度。从而,可至少部分根据车辆中的方向灯是否被启动,判定是否提醒乘客注意对象物的接近。
另外,例如,危险度判定单元333可根据关于车辆的变速杆的位置的车辆信息,判定危险度。例如,当变速杆在位置“R”,即,车辆将向后移动时,可判定在驾驶员相对难以观察的车辆后方的接近对象物的危险度比在另一个方向(例如,前方或左侧或右侧)的接近对象物高。从而,可至少部分根据车辆是否在倒车,判定是否提醒乘客注意对象物的接近。
尽管上面说明了其中危险度判定单元333根据车辆信息,判定危险度的具体例子,不过,供危险度判定单元333用于判定危险度的车辆信息并不限于这些例子。危险度判定单元333可根据包含在车辆信息中的所有种类的信息,判定危险度。例如,危险度判定单元333可根据指示如上所述,由检测驾驶员的视线、头部的位置和姿态等的状态的系统检测的驾驶员的视线、头部的位置和姿态等的状态的车辆信息,判定危险度。具体地,例如,当危险度判定单元333根据驾驶员的视线、头部的位置和姿态等的变化,判定车辆试图左转或右转或变更车道时,危险度判定单元333可判定在驾驶员试图左转或右转或变更车道的方向,即,驾驶员的视线朝向和/或驾驶员倾斜他或她的头部的方向上的对象物的危险度高于在另一个方向上的对象物的危险度。这里,其中判定车辆左转或右转或变更车道的情况例如可以是其中作为与车道的变更相关的确认动作,使驾驶员的视线,头部的位置和姿态等朝向左侧或右侧,或者朝向车辆的斜后方的情况。另外,例如,危险度判定单元333可根据指示驾驶员的视线的车辆信息,判定危险度。例如,当驾驶员的视线集中在车辆的前方(前挡风玻璃)上时,驾驶员未注意到来自后方或侧面的接近对象物的可能性高。在这种情况下,危险度判定单元333可判定在驾驶员的视线未朝向的方向上的接近对象物的危险度相对较高。从而,可至少部分根据车辆的驾驶员的头部运动,判定是否提醒乘客注意对象物的接近。另外,危险度判定单元333依据其判定危险度的车辆信息可由驾驶员或接近对象物通知系统的设计员适当设定。
危险度判定单元333把危险度信息(关于判定的危险度的信息)传送给动态图案生成单元334。另外,危险度判定单元333还可把从接近信息获取单元332接收的接近信息传送给动态图案生成单元334。
上面,详细说明了包含在接近状态判定单元331中的接近信息获取单元332和危险度判定单元333的功能。从而,接近状态判定单元331判定的接近对象物的状态可包括由接近信息获取单元332获得的接近信息,和危险度信息,危险度信息是关于由危险度判定单元333判定的危险度的信息。接近状态判定单元331把关于判定的接近对象物的状态的信息传送给动态图案生成单元334。
在一些实施例中,响应判定提醒乘客注意接近对象物的接近,控制单元330可在供显示在显示单元320上的对象物的图像上,叠加透过其,对象物的图像仍然可见的运动图案。根据接近状态判定单元331的判定结果,动态图案生成单元334生成其显示在显示单元320的显示屏上,按预定时段变化的动态图案。这里,动态图案是对于显示屏上的接近对象物设定的图案,和接近对象物一起被显示,是不会妨碍显示屏上的接近对象物的观察的图案。动态图案生成单元334可在接近信息获取单元332获得指示接近对象物的存在的信息时,生成动态图案。另外,动态图案生成单元334可在危险度判定单元333判定的危险度等于或大于预定阈值时,生成动态图案。另外,在本实施例中,动态图案生成单元334的动态图案生成处理不一定意味从零开始生成显示屏上的图案,而是可包括根据接近状态判定单元331的判定结果,在预先准备的多个种类的动态图案之中,选择适当的动态图案的处理。
由于动态图案在显示屏上,按预定时段变化,因此驾驶员能够获悉在视界中的显示屏上发生所述变化,从而能够快速认识到存在接近对象物。另外,由于对其设定动态图案的接近对象物的观察不被妨碍,因此驾驶员能够准确地识别接近对象物。从而,按照本实施例的动态图案可以是当所述图案被显示在显示屏上时,具有诉诸驾驶员的动态视力的形状和其显示的变化,并且不妨碍对其设定所述图案的接近对象物的察看的图案,不过,实施例并不限于这种形式。下面在(1-3.动态图案的具体例子)中,将详细说明动态图案的具体例子。
另外,动态图案生成单元334可按照危险度判定单元333判定的危险度,生成不同的动态图案。例如,动态图案生成单元334可按照危险度判定单元333判定的危险度,生成具有不同颜色的动态图案。具体地,动态图案生成单元334可生成具有当危险度高时,易于引起驾驶员的注意的颜色(例如,警戒色等)的动态图案。例如,当危险度低时,动态图案生成单元334可生成蓝色动态图案。当危险度中等时,动态图案生成单元334可生成黄色动态图案。当危险度高时,动态图案生成单元334可生成红色动态图案。
另外,例如,动态图案生成单元334可按照危险度判定单元333判定的危险度,生成其显示变化速度不同的动态图案。具体地,动态图案生成单元334可随着危险度的增大,而增大动态图案的显示变化速度。从而,由于动态图案生成单元334按照危险度的高低,改变动态图案的颜色和/或显示变化速度,因此驾驶员能够直观地识别危险度的高低。
动态图案生成单元334把生成的动态图案传送给图像生成单元336。另外,动态图案生成单元334可把关于接近状态判定单元331判定的接近对象物的状态的信息传送给图像生成单元336。
图像信息获取单元335获得关于至少包含接近对象物的拍摄图像的图像信息。在本实施例中,图像信息获取单元335从成像单元310获得图像信息。另外,图像信息获取单元335可对获得的图像信息,进行普通图像处理中的各种处理,比如黑电平校正处理,亮度校正处理和白平衡校正处理。图像信息获取单元335把关于拍摄图像的图像信息传送给图像生成单元336和显示控制单元337。
根据关于接近对象物的状态的判定结果,图像生成单元336生成动态图案化图像,动态图案化图像是其中对于拍摄图像中的接近对象物,设定其显示在显示屏上按预定时段变动的动态图案的图像,是其中接近对象物和动态图案被一起显示的图像。在本实施例中,根据接近状态判定单元331的判定结果,图像生成单元336生成动态图案化图像,该动态图案化图像是其中对于拍摄图像中的接近对象物,设定动态图案的图像,是其中接近对象物和动态图案被一起显示的图像。这里,关于接近对象物的状态的信息从动态图案生成单元334被传送给图像生成单元336。因而,图像生成单元336能够识别接近对象物相对于车辆的方向,和接近对象物的距离。另外,关于至少包括附近对象物的拍摄图像的图像信息从图像信息获取单元335被传送给图像生成单元336。因而,图像生成单元336可通过结合接收信息,匹配接近车辆的对象物和拍摄图像中的对象物,能够对拍摄图像中的接近对象物,设定动态图案。另外,图像生成单元336可根据关于接近对象物的状态的信息,识别拍摄图像中的对象物的危险度,可在危险度等于或大于预定阈值时,设定动态图案。图像生成单元336把生成的动态图案化图像传送给显示控制单元337。
显示控制单元337控制显示单元320的驱动,以致在接近对象物通知设备30中处理的各种信息以任意形式(比如文本、表格、曲线图和图像),被可视地显示在显示单元320的显示屏上。在本实施例中,显示控制单元337把图像生成单元336生成的动态图案化图像显示在显示单元320的显示屏上。另外,显示控制单元337可把成像单元310拍摄的拍摄图像显示在显示单元320的显示屏上。当布置多个成像单元310和显示单元320时,显示控制单元337可控制多个显示单元320的驱动,以致成像单元310拍摄的多个拍摄图像,或者根据拍摄图像生成的多个动态图案化图像被显示在对应显示单元320上。
上面参考图2,详细说明了按照本公开的第一实施例的接近对象物通知系统1的一个结构例子。各个上述构成元件可用普通部件构成,或者可用专用于各个构成元件的功能的硬件构成。另外,特别地,接近对象物通知设备30的控制单元330中的构成元件的所有功能可用至少一个处理器(比如CPU)等实现。处理器可读指令可被保存在至少一个计算机可读存储介质上,当由处理器执行时,可使处理器实现这里说明的控制单元330的任意功能。因而,可按照实现本实施例时的技术水平,适当地改变待使用的结构。
在第一实施例中,如上所述,动态图案生成单元334生成其显示在显示单元320的显示屏上,按预定时段变化的动态图案。另外,图像生成单元336生成动态图案化图像,所述动态图案化图像是其中对于拍摄图像中的接近对象物,设定动态图案的图像,是其中接近对象物和动态图案被一起显示的图像。此外,显示控制单元337把动态图案化图像显示在显示单元320的显示屏上。因而,由于动态图案在显示屏上,按预定时段变化,因此驾驶员能够获悉在视界中的显示屏上发生所述变化,从而能够快速认识到存在接近对象物。另外,由于对其设定动态图案的接近对象物的观察不被妨碍,因此驾驶员能够准确地识别接近对象物。从而,在第一实施例中,能够更快、更准确地把接近对象物通知驾驶员。
这里,作为唤起驾驶员对接近对象物的注意的另一种方法,可以考虑把与显示在显示屏上的拍摄图像中的接近对象物对应的区域涂成预定颜色(例如,诸如红色之类的警戒色)的方法。不过,在这种方法中,存在驾驶员不能充分认识接近对象物的特性,从而例如难以辨别通常驾驶员应立即识别的接近对象物,或者难以判定对于接近对象物的相对速度的顾虑。另一方面,在本实施例中,如上所述,对于显示屏上的接近对象物,设定动态图案。透过运动图案,对象物的图像仍然可见,从而动态图案不会妨碍驾驶员观察接近对象物。因而,在本实施例中,驾驶员能够更快地立即认识他或她的包括接近对象物在内的周围事物,能够进行准确的状况判定和自己车辆的操作。
另外,在图2中例示的例子中,接近对象物通知设备30包括成像单元310、显示单元320和控制单元330,不过,本实施例并不限于该例子。例如,接近对象物通知设备30还可包括配置成供驾驶员输入各种信息的输入单元,配置成保存在接近对象物通知设备30中处理的各种信息的存储单元,和配置成综合地往来于其它外部设备传送和接收信息的通信单元。另外,接近对象物通知设备30可不由单个设备构成,接近对象物通知设备30的功能可被配置成分布到多个给定设备。例如,可以只把成像单元310和显示单元320安装在车辆上,而把控制单元330安装在任何信息处理设备,比如服务器而不是车辆上,成像单元310和显示单元320可往来于控制单元330传送和接收各种信息,以致可以进行上述接近对象物通知设备30中的各种处理。另外,例如,接近对象物通知设备30可被配置成分离成主要进行关于接近状态判定单元331的接近对象物的状态的判定的功能的第一设备,和主要进行关于成像单元310、显示单元320、动态图案生成单元334、图像信息获取单元335、图像生成单元336和显示控制单元337进行的图像处理的功能的第二设备。另外,第一设备可以是距离检测设备20,即,距离检测设备20可具有关于接近状态判定单元331的接近对象物的状态的判定的功能。第二设备可以是具有控制单元330中的其它功能(关于上述图像处理的功能)的接近对象物通知设备30。距离检测设备20和接近对象物通知设备30可通过传送和接收各种信息,进行按照本实施例的接近对象物通知处理。此外,当接近对象物通知设备30被配置成分离成第一设备和第二设备时,动态图案生成单元334的功能可被安装在第一设备上。从而,在按照本实施例的接近对象物通知系统1中,可以进行上述接近对象物通知系统1的各个处理。接近对象物通知系统1可具有任意结构,而不限于图2中例示的结构例子。可适当地设定将在按照本实施例的接近对象物通知系统1中实现的设备结构,和待实现的各个设备的功能。
即使当存在多个接近对象物时,也可应用按照第一实施例的接近对象物通知系统1。例如,当存在多个接近对象物时,接近状态判定单元331可判断各个对象物的接近状态。另外,根据接近状态判定单元331的判断结果,动态图案生成单元334可为多个接近对象物,生成相互不同的动态图案。另外,根据接近状态判定单元331的判断结果,图像生成单元336可生成其中对于拍摄图像中的多个接近对象物,设定相互不同的动态图案的动态图案化图像。在动态图案化图像中,例如,可对于危险度被判定为最高的接近对象物,设定更易于引起驾驶员的注意的动态图案(例如,高显示变化速度或警戒色)。因而,通过参看显示该动态图案化图像的显示单元320,驾驶员能够更快、更准确地认识关于多个接近对象物的存在,接近对象物的接近速度或方向,接近对象物的车种,和接近对象物的危险度的信息。
(1-3.动态图案的具体例子)
下面,参考图3A、3B、4A、4B和5A-5C,说明按照本实施例的动态图案的具体例子。另外,图3A、3B、4A、4B和5A-5C是图解说明其中拍摄图像或动态图案化图像被显示在显示屏上的状态的示图。不过,为了简单起见,这些附图图解说明其中仅仅一辆车被表示成接近对象物,并且在显示屏上,只显示包含在拍摄图像或动态图案化图像中的物体中,作为接近对象物的车辆,和对于该车辆设定的动态图案的状态。在图3A、3B、4A、4B和5A-5C中,作为显示屏的例子,例示了模仿车载镜子的形状的显示屏。不过,按照本实施例的显示屏并不限于该例子,而是可考虑到驾驶员的便利,使用任意形状。
(1-3-1.斑纹图案)
首先参考图3A和3B,说明其中动态图案是斑纹图案的情况。图3A和3B是说明作为动态图案的具体例子的斑纹图案的说明图。
参见图3A,在上部例示了其中在显示屏410上,显示拍摄图像的状态,在下部例示了其中在显示屏410上,显示运动图像图案化图像的状态。即,在下部例示的显示屏410的显示表示其中在例示于上部的显示屏410的显示上,设定作为动态图案的斑纹图案510的状态。
参见图3A,在上部例示的拍摄图像中,作为接近对象物的接近车辆420被显示在显示屏410上。另外,在下部例示的动态图案化图像中,与接近车辆420重叠地显示斑纹图案510。从而,按照本实施例的动态图案可以是其中间隔预定距离地排列具有预定宽度的线段的斑纹图案510,动态图案化图像可以是其中斑纹图案510与接近对象物重叠的图像。另外,可以移动形成斑纹图案510的线段地显示斑纹图案510。
图3B中图解说明其中斑纹图案510的显示发生变化的状态。如图3B中图解所示,可沿显示屏410的左右方向,以预定速度移动斑纹图案510a、510b和510c。在图3B中图解所示的例子中,斑纹图案510b表示其中沿纸面的方向,把斑纹图案510a的线段从右向左移动预定距离的状态。同样地,斑纹图案510c表示其中沿纸面的方向,把斑纹图案510b的线段从右向左移动预定距离的状态,斑纹图案510a表示其中沿纸面的方向,把斑纹图案510c的线段从右向左移动预定距离的状态。
不过,在本实施例中,斑纹图案510的显示的变化并不限于该例子,而是斑纹图案510的显示可在显示屏410上变化,以致所述显示诉诸驾驶员的动态视力,可任意形式地实现使所述显示变化的方法。这里,在斑纹图案510中,当沿与斑纹图案510的线段的延伸方向不同的方向移动线段时,可以认为显示发生变化。因而,在斑纹图案510中,可沿任意方向移动线段,只要以致显示发生变化地移动线段即可。另外,可通过时段改变斑纹图案510的线段的宽度,或者线段之间的间隔,变动斑纹图案510的显示。
这里,例如,由于构成斑纹图案510的线段被半透明着色,因此按照本实施例的斑纹图案510被配置成以致驾驶员能够看到接近车辆420中与线段交迭的区域。因而,确认显示屏410的驾驶员能够看到其中斑纹图案510在接近车辆420上移动的状态,并且能够从斑纹图案510的线段之间的间隙,以及线段之上看到接近车辆420的图像。从而,由于不妨碍驾驶员观察接近车辆420地生成斑纹图案510,因此驾驶员能够准确地认识接近车辆420。
(1-3-2.框架状图案)
下面参考图4A和4B,说明其中动态图案是框架状图案的情况。图4A和4B是说明作为动态图案的具体例子的框架状图案的说明图。
参见图4A,在上部例示了其中在显示屏410上,显示拍摄图像的状态,在下部例示了其中在显示屏410上,显示运动图像图案化图像的状态。即,在下部例示的显示屏410的显示表示其中在例示于上部的显示屏410的显示上,设定作为动态图案的框架状图案的状态。
参见图4A,在上部例示的拍摄图像中,作为接近对象物的接近车辆420被显示在显示屏410上。另外,在下部例示的动态图案化图像中,与接近车辆420重叠地显示框架状图案520。从而,按照本实施例的动态图案可以是其中显示同心地排列的多个框架的框架状图案520,动态图案化图像可以是其中同心框架的图案与接近对象物重叠的图像。另外,显示框架状图案520,以致利用框架的中心作为基准,扩展地显示构成框架状图案520的框架。
图4B中图解说明其中框架状图案520的显示发生变化的状态。如图4B中图解所示,可以按预定速度,扩展构成框架状图案520a、520b和520c的框架地显示框架状图案520a、520b和520c。在图4B中图解所示的例子中,框架状图案520b表示其中按预定比率,扩展框架状图案520a中的框架的状态。同样地,框架状图案520c表示其中按预定比率,进一步扩展框架状图案520b中的框架的状态。另外,框架状图案520a表示其中按预定比率,进一步扩展框架状图案520c中的框架,最外面的框架的显示消失,作为最里面的框架,显示新的框架的状态。从而,通过扩展框架地变更框架状图案520a、520b和520c的显示,观察显示屏410的驾驶员能够直观地认识到接近车辆420正在接近中。
不过,在本实施例中,框架状图案520的显示的变化并不限于该例子,而是框架状图案520的显示可在显示屏410上变化,以致所述显示诉诸驾驶员的动态视力,可任意形式地实现使所述显示变化的方法。例如,与图4B中图解所示的例子相反,可以同心缩小框架地变动框架状图案520的显示。
这里,例如,由于和上述斑纹图案510中一样,构成框架状图案520的框架被半透明着色,因此按照本实施例的框架状图案520被配置成以致驾驶员能够看到接近车辆420中与框架交迭的区域。因而,确认显示屏410的驾驶员能够看到其中框架状图案520在接近车辆420上移动的状态,并且能够从框架状图案520的框架之间的间隙,以及框架之上看到接近车辆420的图像。从而,由于不妨碍驾驶员观察接近车辆420地生成框架状图案520,因此驾驶员能够准确地认识接近车辆420。
(1-3-3.波状图案)
下面参考图5A-5C,说明其中动态图案是波状图案的情况。图5A-5C是说明作为动态图案的具体例子的波状图案的说明图。
参见图5A,在上部例示了其中在显示屏410上,显示拍摄图像的状态,在下部例示了其中在显示屏410上,显示运动图像图案化图像的状态。即,在下部例示的显示屏410的显示表示其中在例示于上部的显示屏410的显示上,设定作为动态图案的波状图案的状态。
参见图5A,在上部例示的拍摄图像中,作为接近对象物的接近车辆420被显示在显示屏410上。另外,在下部例示的动态图案化图像中,显示对于接近车辆420设定的波状图案530。具体地,在动态图案化图像中,显示波状变形的接近车辆420。在图5A中图解所示的例子中,显示在垂直方向波状变形的接近车辆420。从而,按照本实施例的动态图案可以是接近对象物的图像的变形的波状图案530,其中波状地变形并显示接近车辆420。另外,沿预定方向移动波状变形地显示波状图案530。此外,通过在拍摄图像中使接近车辆420和在接近车辆420附近的区域变形,可生成其中设定波状图案530的动态图案化图像,或者通过设置波状地变形并显示操作对象的滤波器(波状滤波器),并使波状滤波器作用于拍摄图像中的接近车辆420和在接近车辆420附近的区域,可生成其中设定波状图案530的动态图案化图像。
图5B中图解说明其中波状图案530的显示发生变化的状态。如图5B中图解所示,可沿显示屏410的左右方向,以预定速度移动波状图案530a、530b和530c。在图5B中图解所示的例子中,波状图案530b表示其中沿纸面的方向,把波状图案530a中的波状变形从右向左移动预定距离的状态。同样地,波状图案530c表示其中沿纸面的方向,把波状图案530b中的波状变形从右向左移动预定距离的状态,波状图案530a表示其中沿纸面的方向,把波状图案530c中的波状变形从右向左移动预定距离的状态。
不过,在本实施例中,波状图案530的显示的变化并不限于这个例子,而是波状图案530的显示可在显示屏410上变化,以致显示诉诸驾驶员的动态视力,可任意形式地实现使显示变化的方法。另外,在图5A和5B中图解所示的例子中,垂直方向变形地显示接近车辆420,不过,按照本实施例的波状图案530不限于该例子。可按另一种形式变形地显示接近车辆420。例如,可横向变形地显示接近车辆420,或者可利用接近车辆420的中心附近作为基准,同心波纹状变形地显示接近车辆420。
作为波状图案530的一个变形例,图5C图解说明其中设定波状图案540的动态图案化图像,波状图案540是通过横向变形接近车辆420而显示的图案。这里,和图5A中一样,在图5C中,在上部例示了其中在显示屏410上,显示拍摄图像的状态,在下部例示了其中在显示屏410上,显示运动图像图案化图像的状态。如图5C中图解所示,当动态图案是作为其中横向变形地显示接近车辆420的图案的波状图案540时,波状图案540的显示可变化,以致沿垂直方向移动波状变形。另外,当接近车辆420中的动态图案是利用接近车辆420的中心附近作为基准,同心波纹状变形显示的波状图案时,波状图案的显示可变化,以致使波状变形同心地扩展或缩小。
这里,当动态图案是波状图案530或540时,可视地保持接近车辆420的显示,以致显示屏410上的接近车辆420的显示不被给定图案遮蔽。因而,确认显示屏410的驾驶员能够看到其中波状图案530或540在接近车辆420上移动的状态,从而直接看到接近车辆420的显示。从而,由于不妨碍驾驶员观察接近车辆420地生成波状图案530或540,因此驾驶员能够准确地认识接近车辆420。
上面参考图3A、3B、4A、4B和5A-5C,详细说明了斑纹图案510、框架状图案520和波状图案530及540,作为按照本实施例的动态图案的具体例子。如上所述,借助斑纹图案510、框架状图案520和波状图案530及540,通过变动显示屏410上的显示,能够唤起驾驶员的注意,并且可视地保持作为对其设定动态图案的对象的接近车辆420的显示。因而,驾驶员能够更快、更准确地认识接近车辆420。另外,如在上述(1-2.接近对象物通知系统的结构)中所述,可按照危险度判定单元333判定的危险度,颜色不同地生成这样的动态图案,或者可以显示变化速度不同地生成这样的动态图案。
这里,作为将接近对象物通知驾驶员的另一种方法,例如,可以考虑把与显示在安装于车辆中的监视器上的拍摄图像中的接近对象物对应的区域涂成预定颜色(例如,诸如红色之类的警戒色)的方法。不过,由于在把对应于接近对象物的区域涂成预定颜色的方法中,驾驶员难以看到接近对象物本身,表示初始显示在监视器上的接近对象物的状态的信息可消失,从而存在驾驶员不能充分认识接近对象物的状态,从而驾驶员难以很快判断状况的顾虑。另一方面,如上所述,在按照本实施例的动态图案中,可视地保持作为对其设定动态图案的对象的接近车辆420的显示。因而,在本实施例中,驾驶员能够更快地立即认识他或她的包括接近对象物在内的周围事物,能够进行准确的状况判断和他或她的车辆的操作。
这里,显示在显示屏上周期变化地生成按照本实施例的动态图案。不过,通常,当人类看见由3相或更多相的相位驱动引起的显示变化时,人类能够认识到显示沿一个方向移动。即,为了使驾驶员可以明白动态图案的显示发生变化,可以生成沿预定方向稍微移动的3个图案,并顺序地显示这些图案。当利用这种原理时,可以利用至少3相的相位驱动,变动显示地生成按照本实施例的动态图案。
另外,按照本实施例的动态图案并不限于上述斑纹图案510、框架状图案520和波状图案530及540,可以是其它图案。按照本实施例的动态图案可以是其显示在显示屏上变动,以诉诸驾驶员的动态视力,并且不妨碍作为对其设定动态图案的对象的接近对象物的观察的图案,所有种类和形式的图案可以用作动态图案。例如,动态图案可以是其中间隔预定距离地垂直和水平排列具有预定宽度的线段的格子状图案,或者可以是其中沿预定方向移动地显示所述格子的图案。另外,驾驶员可在多个不同的动态图案中,选择任意动态图案。
<2.第二实施例>
下面参考图6,说明按照本公开的第二实施例的接近对象物通知系统。图6是图解说明按照本公开的第二实施例的接近对象物通知系统的一个结构例子的功能方框图。
参见图6,按照本公开的第二实施例的接近对象物通知系统2包括车辆信息检测设备10和接近对象物通知设备30。这里,除了不包括距离检测设备20,和代替接近信息获取单元332,包括接近信息获取单元332a之外,按照本公开的第二实施例的接近对象物通知系统2和参考图2说明的第一实施例中一样。因而,在第二实施例的以下说明中,将主要说明与第一实施例的不同之处,重复的功能和结构的详细说明将被省略。
在获得接近信息的方法方面,按照第二实施例的接近信息获取单元332a不同于按照第一实施例的接近信息获取单元332。在第二实施例中,接近信息获取单元332a根据从图像信息获取单元335传送的关于拍摄图像的图像信息,获得接近信息。在成像单元310拍摄的拍摄图像中,车辆的周围事物的状态被拍摄,从而包括附近的对象物(例如,另一辆车)。接近信息获取单元332a可根据包含在拍摄图像中的附近对象物的显示,获得接近信息。从而,在本实施例中,根据图像信息获取单元335获得的关于拍摄图像的图像信息,判定接近状态。
所有的已知方法可以用作接近信息获取单元332a利用其从拍摄图像中,获得接近信息的具体方法。例如,通过检测拍摄图像中的对象物的显示面积的时间变化,并利用所述显示面积随着时间的过去而增大的事实,接近信息获取单元332a可获得存在接近对象物的事实,和接近对象物的接近方向,作为接近信息。另外,接近信息获取单元332a可根据显示面积随着时间的过去的增大比率,检测对象物的接近速度。从而,在一些实施例中,判定是否提醒乘客注意接近对象物的接近可包括比较随着时间过去而拍摄的对象物的图像,并至少部分根据所比较图像之间的指示对象物的接近速度的变化,计算对象物的危险度。
另外,当在车辆中布置多个成像单元310,从而存在通过从彼此不同的角度对对象物成像而获得的两个或更多的拍摄图像时,接近信息获取单元332a可根据多个拍摄图像,获得接近信息。例如,当使用多个拍摄图像时,可依据立体测距原理,计算到与包含在多个拍摄图像中的重叠区域中的像素对应的被摄物体(对象物)的距离(被摄物体距离)。通过检测计算的被摄物体距离的时间变化,并利用随着时间的过去,被摄物体距离更近的事实,接近信息获取单元332a可获得存在接近对象物的事实,和接近对象物的接近方向,作为接近信息。另外,接近信息获取单元332a可根据被摄物体距离随着时间过去而变得更近的比率,检测对象物的接近速度。
另外,除了根据关于拍摄图像的图像信息,获得接近信息之外,按照第二实施例的接近信息获取单元332a的功能和在第一实施例中说明的接近信息获取单元332的功能相同。因而,例如,接近信息获取单元332a可根据频繁从图像信息获取单元335传送的图像信息,频繁获得接近信息,或者可在预定定时,获得接近信息。例如,所述预定定时可以是车辆信息检测设备10检测到特定车辆信息的时刻。从而,在本实施例中,接近信息获取单元332a可从车辆信息检测设备10接收车辆信息,或者可在收到作为特定车辆信息的触发信息时,获得接近信息。当接近信息获取单元332a按照触发信息,获得接近信息时,收到触发信息的接近信息获取单元332a可通过把传送图像信息的指令传送给图像信息获取单元335,以致图像信息可被传送给接近信息获取单元332a,检测距离。另外,具体地,可充当触发信息的车辆信息可以是在上述(1-2.接近对象物通知系统的结构)中描述的车辆信息。
上同参考图6,说明了按照本公开的第二实施例的接近对象物通知系统2的功能和结构。另外,在接近对象物通知系统2中,除上述接近信息获取单元332a外的构件的功能和结构与按照第一实施例的接近对象物通知系统1的相同。例如,在接近对象物通知系统2中,可以使用在上述(1-3.动态图案的具体例子)中说明的斑纹图案510、框架状图案520和波状图案530及540,作为动态图案。另外,和上述第一实施例中一样,在第二实施例中,接近对象物通知设备30可以具有图6中未例示的另一种结构。此外,按照第二实施例的接近对象物通知设备30可不由单个设备构成,接近对象物通知设备30的功能可被配置成分布到任意多个设备。
在本公开的第二实施例中,如上所述,除了在第一实施例中获得的优点之外,还可获得以下优点。即,在本公开的第二实施例中,根据成像单元310拍摄的拍摄图像,获得接近信息。因而,不必在车辆中安装距离检测设备20,从而能够成本较低地构成接近对象物通知系统。
<3.接近对象物通知方法的处理顺序>
下面参考图7,说明按照本公开的第一和第二实施例的例证接近对象物通知方法。图7是图解说明按照本公开的第一和第二实施例的一个例证接近对象物通知方法的流程图。另外,在图7的以下说明中,由于车辆信息检测设备10、距离检测设备20和接近对象物通知设备30的功能与在上述<1.第一实施例>和<2.第二实施例>中说明的功能相同,因此省略其详细说明。
另外,图7图解说明其中当检测到作为特定车辆信息的触发信息时,接近信息获取单元332和332a获得接近信息,并进行接近对象物通知处理的例子。具体地,在图7中图解所示的例子中,在触发信息中,车辆的方向灯被驱动,并且车辆的速度等于或大于预定阈值。当检测到这种触发信息时,设想其中车辆试图在行驶速度等于或大于预定速度的时候,变换车道的状况。于是,这种状况可被认为是其中非常重要的是把接近对象物(接近车辆),尤其是在车辆将变换到的车道上的接近对象物通知驾驶员的状况。
参见图7,在步骤S701,接近信息获取单元332和332a首先根据从车辆信息检测设备10传送的车辆信息,判定车辆是否进行车道变更。这里,接近信息获取单元332和332a可按照车辆信息是否包括指示方向灯被驱动的信息,判定车辆是否进行车道变更。
当判定车辆未进行车道变更时,接近对象物通知处理被中断,接近信息获取单元332和332a等待,直到传送后续车辆信息为止。对后续车辆信息重复进行步骤S701的判定。当判定车辆进行车道变更时,处理进入步骤S703。
在步骤S703,接近信息获取单元332和332a根据从车辆信息检测设备10传送的车辆信息,判定车辆的速度是否等于或大于预定阈值。这里,接近信息获取单元332和332a可根据包含在车辆信息中的关于车速的信息,进行所述判定。例如,阈值被设定成在认为与附近对象物碰撞的危险性增大的高速行驶时的速度。不过,阈值不限于该例子,而是可由驾驶员或接近对象物通知系统的设计员适当设定。
当判定车辆的速度小于阈值时,处理返回步骤S701。即,接近对象物通知处理被中断,接近信息获取单元332和332a等待,直到传送后续车辆信息为止。当判定车辆的速度等于或大于阈值时,处理进入步骤S705。
在步骤S705,接近状态判定单元331判定是否存在作为接近对象物的接近车辆。这里,如在上述<1.第一实施例>和<2.第二实施例>中所述,在第一实施例中,接近信息获取单元332可根据关于距离检测设备20检测的车辆和附近对象物之间的距离的信息,获得接近信息,或者接近状态判定单元331可根据接近信息获取单元332获得的接近信息,判断是否存在接近车辆。另外,在第二实施例中,接近信息获取单元332a可根据从图像信息获取单元335传送的关于拍摄图像的图像信息,获得接近信息,或者接近状态判定单元331可根据接近信息获取单元332a获得的接近信息,判断是否存在接近车辆。
当判定不存在接近车辆时,处理返回步骤S701。即,接近对象物通知处理被中断,接近信息获取单元332和332a等待,直到传送新的车辆信息为止。当判定存在接近车辆时,处理进入步骤S707。
在步骤S707,动态图案生成单元334根据接近状态判定单元331判定的接近状态,生成动态图像。这里,接近状态可包括接近信息获取单元332和332a获得的接近信息,和关于危险度判定单元333判定的接近对象物的危险度的信息。另外,动态图案生成单元334可按照接近对象物的接近状态,尤其是危险度,调整动态图案的显示的变化速度,动态图案的颜色,等等。例如,当判定危险度较高,接近对象物的速度较高,或者车辆和接近对象物之间的距离较小时,动态图案生成单元334可增大动态图案的显示的变化速度,或者把动态图案的颜色设定为红色等,以便更强烈地唤起驾驶员的注意。当在步骤S707中生成动态图案时,处理进入步骤S709。
在步骤S709,图像生成单元336根据接近状态判定单元331判定的接近状态,生成动态图案化图像。这里,图像生成单元336可通过根据图像信息获取单元335获得的关于拍摄图像的图像信息,在拍摄图像的接近对象物的显示上,设定动态图案生成单元334在步骤S707中生成的动态图案,生成动态图案化图像。当在步骤S709中,生成动态图案化图像时,处理进入步骤S711。
在步骤S711,显示控制单元337把动态图案化图像显示在显示单元120的显示屏上。即使当驾驶员注意另一个部分时,由于显示在显示单元120的显示屏上的动态图案的变化,驾驶员也能够认识到某物在显示屏上移动,于是,驾驶员能够很快认识到接近车辆的存在。另外,由于不妨碍对其设定动态图案的接近车辆的观察地生成动态图案,因此当接近对象物是车辆时,通过确认显示在显示屏上的动态图案化图像,驾驶员能够确认接近车辆的种类、颜色等,从而驾驶员能够更准确地识别接近对象物。
在按照第一和第二实施例的接近对象物通知方法中,重复上述步骤S701-S711的处理,以把接近对象物通知驾驶员。另外,当判定例如由于驾驶员参照显示在显示单元120的显示屏上的动态图案化图像,采取适当措施,避免了危险时,或者当车辆和接近对象物之间的距离变成十分安全的距离时,一系列的接近对象物通知处理结束,可再次进行从步骤S701的处理起的一系列处理。
上面参考图7,说明了按照本公开的第一和第二实施例的接近对象物通知方法的处理顺序。在图7中图解所示的例子中,当检测到作为特定车辆信息的触发信息时,接近信息获取单元332和332a获得接近信息,并进行接近对象物通知处理,不过,本实施例并不限于这个例子。在本实施例中,接近信息获取单元332和332a可频繁获得接近信息,从而频繁进行接近对象物通知处理。另外,在图7中图解所示的例子中,如在步骤S701和S703中所述,说明了其中在触发信息中,车辆的方向灯被驱动,并且车辆的速度等于或大于预定阈值的例子,不过,本实施例不限于该例子。在本实施例中,可以适当地组合使用作为触发信息,包含在车辆信息中的各种信息。
<4.硬件结构>
下面参考图8,详细说明按照本公开的实施例的接近对象物通知设备30的硬件结构。图8是图解说明按照本公开的第一和第二实施例的接近对象物通知设备的硬件结构的一个结构例子的功能方框图。
接近对象物通知设备30主要包括至少一个处理器,比如CPU 901,和至少一个处理器可读存储介质,比如ROM 903和/或RAM 905。另外,接近对象物通知设备30还包括主总线907、桥接器909、外部总线911、接口913、成像设备914、输入设备915、输出设备917、存储设备919、驱动器921、连接端口923和通信设备925。
CPU 901起算术处理设备和控制设备的作用,按照记录在ROM 903、RAM 905、存储设备919或可拆卸记录介质927中的各种程序(即,处理器可执行指令),控制接近对象物通知设备30中的全部或一些操作。例如,CPU 901对应于第一和第二实施例中的在图2和6中图解所示的控制单元330。ROM 903保存CPU 901使用的程序、算术参数等。RAM 905主要保存CPU 901使用的程序,和在程序的执行过程中适当变化的参数等。这些单元由主总线907互连,主总线907由诸如CPU总线之类的内部总线构成。
主总线907经桥接器909,连接到诸如外围组件互连/接口(PCI)总线之类的外部总线911。
成像设备(图像拍摄设备)914是配置成包括阵列地安装的多个受光元件(光电变换元件),通过把接收的光信号置换成电信号,获得作为指示图像的电信号的图像信号的设备。通过对成像设备914获得的图像信号,进行各种信号处理,并把结果显示在诸如显示器之类的显示设备上,能够获得拍摄图像。例如,成像设备914可包括各种摄像设备,包括各种固态成像元件,比如电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)。例如,成像设备914对应于第一和第二实施例中的在图2和6中图解所示的成像单元310,和拍摄车辆的周围事物的状态的搭载功能。
例如,输入设备915是用户操纵的操作单元,比如鼠标、键盘、触摸面板、按钮、开关和控制杆。另外,例如,输入设备915可以是利用红外线或其它无线电波的遥控单元(所谓的遥控器),或者例如可以是与接近对象物通知设备30的操作对应的诸如移动电话机或PDA之类的外部连接设备929。另外,例如,输入设备915包括根据用户利用上述操作单元输入的信息,生成输入信号,并把输入信号输出给CPU 901的输入控制电路。接近对象物通知设备30的用户(驾驶员)通过操作输入设备915,可把各种数据输入接近对象物通知设备30,或者指令处理操作。例如,在第一和第二实施例中,驾驶员可操作输入设备915,输入接近对象物通知处理中的各种条件,比如触发接近信息获取单元获得接近信息的触发信息,危险度判定单元333的危险度判定方式,和要使用的动态图案的种类。
输出设备917包括能够可视或可听地把获得的信息通知用户的设备。输出设备的例子包括CRT显示设备,液晶显示设备,等离子体显示设备,诸如有机LED之类的EL显示设备,诸如抬头显示器(HUD)和灯之类的显示设备,诸如扬声器或耳机之类的音频输出设备,诸如座位振动和方向盘振动之类的振动(触觉)系统的各种人机界面,和打印机设备。例如,输出设备917输出通过接近对象物通知设备30进行的各种处理而获得的结果。具体地,显示设备以文本或图像的形式,显示通过接近对象物通知设备30进行的各种处理而获得的结果。例如,显示设备对应于第一和第二实施例中的在图2和6中图解所示的显示单元320。另外,音频输出设备把来自再现的音频数据、声音数据等的音频信号转换成模拟信号,并输出该模拟信号。
存储设备919是作为接近对象物通知设备30的存储单元的例子构成的数据存储设备。例如,存储设备919包括诸如硬盘驱动器(HDD)之类的磁存储设备,半导体存储设备,光存储设备,或者磁光存储设备。存储设备919保存由CPU 901执行的程序,或者各种数据,以及从外部获得的各种数据。例如,在第一和第二实施例中,存储设备919保存在接近对象物通知处理中处理的各种信息。例如,存储设备919可时序地保存诸如获得的车辆信息,获得的接近信息,判定的危险度,通过成像获得的拍摄图像,生成的动态图案,和生成的动态图案化图像之类的各种信息,作为历史。
驱动器921是记录介质读写器,安装在接近对象物通知设备30中,或者附接到接近对象物通知设备30外部。驱动器921读取记录在安装的可拆卸记录介质927,比如磁盘、光盘、磁光盘或半导体存储器上的信息,并把所述信息输出给RAM 905。另外,驱动器921可把记录写入安装的可拆卸记录介质927,比如磁盘、光盘、磁光盘或半导体存储器中。可拆卸记录介质927的例子包括DVD介质、HD-DVD介质、和蓝光(注册商标)介质。另外,可拆卸记录介质927的例子包括CompactFlash(CF;注册商标),闪存和安全数字存储卡(SD存储卡)。另外,可拆卸记录介质927的例子包括安装有非接触式IC芯片的集成电路(IC)卡,和电子设备。例如,在第一和第二实施例中,驱动器921可从各种可拆卸记录介质927,读取在接近对象物通知处理中处理的各种信息,或者可把各种信息写入各种可拆卸记录介质927中。
连接端口923是配置成把设备直接连接到接近对象物通知设备30的端口。连接端口923的例子包括通用异步收发器(UART),内置集成电路(I2C),通用串行总线(USB)端口,IEEE1394端口,和小型计算机系统接口(SCSI)端口。连接端口923的其它例子包括RS-232C端口,音频光端机,和高清多媒体接口(HDMI)(注册商标)端口。当外部连接设备929连接到连接端口923时,接近对象物通知设备30直接从外部连接设备929获得各种数据,或者向外部连接设备929提供各种数据。例如,在第一和第二实施例中,通过连接端口923,在接近对象物通知处理中处理的各种信息可以读取自各种外部连接设备929,或者可被写入各种外部连接设备929中。
例如,通信设备925是包括连接到通信网络(网络)931的通信设备的通信接口。通信设备925的例子包括用于控制器局域网络(CAN),本地互连网络(LIN),FlexRay,面向媒体的系统传输(MOST),家用数字总线(D2B),以太网(注册商标)AVB(IEEE 802.1音/视频桥接),有线或无线局域网(LAN),蓝牙(注册商标),和无线USB(WUSB)的通信卡。另外,通信设备925可以是光通信用路由器,非对称数字用户线路(ADSL)用路由器,或者用于各种通信的调制解调器。例如,通信设备925可遵守诸如TCP/IP之类预定协议地往来于因特网或另一个通信设备,传送和接收信号等。另外,连接到通信设备925的通信网络931可包括有线或无线连接的网络,例如可以是因特网、家庭LAN、红外线通信、无线电波通信或卫星通信。例如,在第一和第二实施例中,通信设备925可通过通信网络931,往来于另一个外部设备传送和接收在接近对象物通知处理中处理的各种信息。
上面说明了能够实现按照本公开的实施例的接近对象物通知设备30的功能的硬件结构。各个上述构件可以利用通用部件构成,或者可以用专用于该构件的功能的硬件构成。因而,可按照实现本实施例时的技术水平,适当地改变待使用的硬件结构。
另外,可以产生为实现按照上述实施例的接近对象物通知设备30的各种功能而执行的计算机程序,并安装在个人计算机等上。另外,可以提供保存这种计算机程序的计算机可读记录介质。记录介质的例子包括磁盘、光盘、磁光盘和闪存。另外,可通过网络,而不利用记录介质递送上述计算机程序。
在这方面,应意识到一些实施例的一种实现包含用程序(即,多条指令)编码的至少一个处理器可读存储介质(即,至少一个有形的非临时性处理器可读介质,例如,计算机存储器(例如,硬盘驱动器、闪存、处理器工作存储器等),软盘,光盘,磁带,或其它有形的非临时性处理器可读介质),当在一个或多个处理器上执行时,所述程序实现本发明的实施例的上述功能。处理器可读存储介质可以是便携的,以致保存在上面的程序可被加载到任何计算机资源上,以实现这里讨论的功能。另外,应意识到对当被执行时,实现上述功能的程序的引用并不限于在主计算机上运行的应用程序。相反,这里广义地使用术语“程序”来表示可用于对一个或多个处理器编程,以实现上述功能的任意种类的计算机代码(例如,软件或微代码)。
<5.结论>
在上面说明的本公开的第一和第二实施例中,能够获得以下优点。
在第一实施例中,动态图案生成单元334生成其显示在显示单元320的显示屏上,按预定时段变化的动态图案。另外,图像生成单元336生成动态图案化图像,所述动态图案化图像是其中对于拍摄图像中的接近对象物,设定动态图案的图像,是其中接近对象物和动态图案被一起显示的图像。此外,显示控制单元337把动态图案化图像显示在显示单元320的显示屏上。因而,由于动态图案在显示屏上,按预定时段变化,因此驾驶员能够获悉在视界中的显示屏上发生所述变化,从而能够快速认识到存在接近对象物。另外,由于对其设定动态图案的接近对象物的观察不被妨碍,因此驾驶员能够准确地识别接近对象物的相对速度、大小等。从而,在第一实施例中,能够更快、更准确地把接近对象物通知驾驶员。
在第二实施例中,除了在第一实施例中获得的优点之外,还可获得以下优点。即,在本公开的第二实施例中,根据成像单元310拍摄的拍摄图像,获得接近信息。因而,不必在车辆中安装距离检测设备20,能够成本较低地构成接近对象物通知系统。
上面参考附图,详细说明了本公开的优选实施例,不过,本公开的技术范围并不限于这些例子。对本公开的领域的技术人员来说,显然在权利要求书中记载的技术精神和本质的范围内,可以作出各种修正例和变更例,当然,所述修正例和变更例被解释成属于本公开的技术范围。
例如,作为在接近信息获取单元332的接近信息的获取,和危险度判定单元333的危险度的判定中使用的车辆信息的具体例子,上面说明了关于车辆的速度的信息,关于车辆的方向灯的驱动的信息,和关于变速杆的位置的信息。不过,本公开的实施例不限于这些例子。例如,车辆信息可包括由安装在车辆上的车载导航系统处理的各种信息。另外,例如,接近信息获取单元332和危险度判定单元333可根据车载导航系统获得的车辆信息和通信系统(VICS)(注册商标)信息,按照道路状况等,进行接近信息的获取和危险度的判定。另外,例如,接近信息获取单元332和危险度判定单元333可根据包含在车辆信息中的关于前灯的点亮状态的信息,或者关于雨刷的驱动状态的信息,按照周围环境(漆黑、降雨、烟雾等),进行接近信息的获取和危险度的判定。
这里使用的措词和术语只是用于说明,不应被视为对本发明的限制。“包括”、“包含”、“具有”、“涉及”及其变形的使用意味包含之后列举的各个项目及另外的项目。权利要求书中,修饰权利要求要素的诸如“第一”、“第二”、“第三”之类序数词的使用本身并不意味一个权利要求要素先于另一个权利要求要求的任何在先、优先或顺序,或者进行方法的各个操作的时间顺序。序数词仅仅用作区别具有某个名称的一个权利要求要素和具有相同名称(如没有使用序数词的话)的另一个权利要求要素,以区分权利要求要素的标记。
另外,也可如下构成本技术。
(1)一种信息处理设备,包括:
图像信息获取单元,所述图像信息获取单元被配置成获得关于至少包括接近对象的拍摄图像的图像信息;
图像生成单元,所述图像生成单元被配置成根据作为接近对象的状态的接近状态的判定结果,生成动态图案化图像,所述动态图案化图像是其中对于拍摄图像中的接近对象,设定其显示在显示屏幕上按预定时段变动的动态图案的图像,是其中接近对象和动态图案被一起显示的图像;和
显示控制单元,所述显示控制单元被配置成在显示屏幕上显示动态图案化图像。
(2)按照(1)所述的信息处理设备,
其中接近状态包括接近信息和危险度信息,接近信息是关于接近对象的信息,危险度信息是根据接近信息确定的关于对象的危险度的信息,和
其中根据确定的危险度,生成动态图案。
(3)按照(2)所述的信息处理设备,其中生成动态图案,以致动态图案按照确定的危险度具有不同的颜色。
(4)按照(2)或(3)所述的信息处理设备,其中生成动态图案,以致显示变动速度随着确定的危险度而变化。
(5)按照(1)-(4)任意之一所述的信息处理设备,
其中动态图案是其中间隔预定距离排列具有预定宽度的线段,并且线段被移动地显示的斑马图案,
其中动态图案化图像是其中斑马图案与所述对象重叠的图像。
(6)按照(1)-(4)任意之一所述的信息处理设备,
其中动态图案是利用每个框架的中心作为基准,扩展同心排列的多个框架地显示的框架状图案,
其中动态图案化图像是其中框架状图案重叠在所述对象上的图像。
(7)按照(1)-(4)任意之一所述的信息处理设备,其中动态图案是使对象波状变形地显示的,并且使波状的变形沿预定方向移动地显示的波状图案。
(8)按照(1)-(7)任意之一所述的信息处理设备,其中动态图案的显示随着至少3相的相位驱动而变动。
(9)按照(1)-(8)任意之一所述的信息处理设备,
其中接近状态包括接近信息,所述接近信息是关于正在接近车辆的对象的信息,和
其中当作为指示车辆的状态的车辆信息,检测到特定车辆信息时,获得所述接近信息。
(10)按照(1)-(9)任意之一所述的信息处理设备,
其中接近状态包括接近信息和危险度信息,接近信息是关于正在接近车辆的对象的信息,危险度信息是根据接近信息确定的关于对象的危险度的信息,和
其中更进一步根据指示车辆的状态的车辆信息,确定危险度。
(11)按照(9)或(10)所述的信息处理设备,其中车辆信息包括关于车辆的速度的信息。
(12)按照(9)-(11)任意之一所述的信息处理设备,其中车辆信息包括关于车辆的方向灯的驱动的信息。
(13)按照(9)-(12)任意之一所述的信息处理设备,其中车辆信息包括关于车辆的变速杆的位置的信息。
(14)按照(9)-(13)任意之一所述的信息处理设备,其中车辆信息包括关于车辆驾驶员的视线的状态的信息。
(15)按照(1)-(14)任意之一所述的信息处理设备,其中根据关于利用检测与附近对象的距离的距离检测设备检测的与对象的距离的信息,确定接近状态。
(16)按照(15)所述的信息处理设备,其中距离检测设备包括毫米波雷达设备。
(17)按照(1)-(14)任意之一所述的信息处理设备,其中根据关于利用图像信息获取单元获得的拍摄图像的图像信息,确定接近状态。
(18)按照(17)所述的信息处理设备,还包括:
成像单元,所述成像单元被配置成拍摄至少包括附近的对象的拍摄图像。
(19)一种接近对象通知方法,包括:
获得关于至少包括接近对象的拍摄图像的图像信息;
根据作为接近对象的状态的接近状态的判定结果,生成动态图案化图像,所述动态图案化图像是其中对于拍摄图像中的接近对象,设定其显示在显示屏幕上按预定时段变动的动态图案的图像,是其中接近对象和动态图案被一起显示的图像;和
把动态图案化图像显示在显示屏幕上。
(20)一种程序,所述程序使计算机实现:
获得关于至少包括接近对象的拍摄图像的图像信息的功能;
根据作为接近对象的状态的接近状态的判定结果,生成动态图案化图像的功能,所述动态图案化图像是其中对于拍摄图像中的接近对象,设定其显示在显示屏幕上按预定时段变动的动态图案的图像,是其中接近对象和动态图案被一起显示的图像;和
把动态图案化图像显示在显示屏幕上的功能。
(21)一种系统,包括:
至少一个图像拍摄设备,所述图像拍摄设备被配置成从车辆拍摄对象的图像;
至少一个显示设备,所述显示设备被配置成向车辆的乘客显示对象的图像;和
至少一个控制单元,所述控制单元被配置成:
判定是否提醒乘客注意对象的接近,和
响应确定提醒乘客注意对象的接近,在用于显示在所述至少一个显示设备上的对象的图像上,叠加移动图案,透过所述移动图案,对象的图像仍然可见。
(22)按照(21)所述的系统,其中所述至少一个控制单元被配置成至少部分根据车辆的速度是否大于阈值速度,判定是否提醒乘客注意对象的接近。
(23)按照(21)或(22)所述的系统,其中所述至少一个控制单元被配置成至少部分根据车辆中的方向灯是否被启动,判定是否提醒乘客注意对象的接近。
(24)按照(21)-(23)任意之一所述的系统,其中所述至少一个控制单元被配置成至少部分根据车辆是否在倒车,判定是否提醒乘客注意对象的接近。
(25)按照(21)-(24)任意之一所述的系统,其中所述至少一个控制单元被配置成至少部分根据车辆的驾驶员的头部运动,判定是否提醒乘客注意对象的接近。
(26)按照(21)-(25)任意之一所述的系统,其中判定是否提醒乘客注意对象的接近包括至少部分根据车辆和对象之间的距离,计算对象的危险度。
(27)按照(21)-(25)任意之一所述的系统,其中判定是否提醒乘客注意对象的接近包括比较随着时间的过去而拍摄的对象的图像,和至少部分根据指示对象的接近速度的被比较图像之间的变化,计算对象的危险度。
(28)按照(26)或(27)所述的系统,其中所述至少一个控制单元还被配置成随着危险度的增大,增大移动图案的显示变动速度。
(29)按照(21)-(28)任意之一所述的系统,其中移动图案是斑马图案。
(30)按照(21)-(28)任意之一所述的系统,其中移动图案是同心式框架的图案。
(31)按照(21)-(28)任意之一所述的系统,其中移动图案是对象的图像的变形的波状图案。
(32)按照(21)-(28)任意之一所述的系统,其中移动图案是格子状图案。
(33)一种系统,包括:
至少一个处理器;和
保存处理器可执行指令的至少一个处理器可读存储介质,当被所述至少一个处理器执行时,所述指令使所述至少一个处理器:
接收由车辆上的至少一个图像拍摄设备拍摄的对象的图像;
判定是否提醒车辆的乘客注意对象的接近;
响应确定提醒乘客注意对象的接近,在对象的图像上叠加移动图案,透过所述移动图案,对象的图像仍然可见;和
把具有叠加的移动图案的对象的图像提供给至少一个显示设备,以便向车辆的乘客显示。
(34)按照(33)所述的系统,其中所述指令使所述至少一个处理器至少部分根据车辆的速度是否大于阈值速度,判定是否提醒乘客注意对象的接近。
(35)按照(33)或(34)所述的系统,其中所述指令使所述至少一个处理器至少部分根据车辆中的方向灯是否被启动,判定是否提醒乘客注意对象的接近。
(36)按照(33)-(35)任意之一所述的系统,其中所述指令使所述至少一个处理器至少部分根据车辆是否在倒车,判定是否提醒乘客注意对象的接近。
(37)按照(33)-(36)任意之一所述的系统,其中所述指令使所述至少一个处理器至少部分根据车辆的驾驶员的头部运动,判定是否提醒乘客注意对象的接近。
(38)按照(33)-(37)任意之一所述的系统,其中判定是否提醒乘客注意对象的接近包括至少部分根据车辆和对象之间的距离,计算对象的危险度。
(39)按照(33)-(37)任意之一所述的系统,其中判定是否提醒乘客注意对象的接近包括比较随着时间的过去而拍摄的对象的图像,和至少部分根据指示对象的接近速度的被比较图像之间的变化,计算对象的危险度。
(40)按照(38)或(39)所述所述的系统,其中所述指令还使所述至少一个处理器随着危险度的增大,增大移动图案的显示变动速度。
(41)按照(33)-(40)任意之一所述的系统,其中移动图案是斑马图案。
(42)按照(33)-(40)任意之一所述的系统,其中移动图案是同心式框架的图案。
(43)按照(33)-(40)任意之一所述的系统,其中移动图案是对象的图像的变形的波状图案。
(44)按照(33)-(40)任意之一所述的系统,其中移动图案是格子状图案。
(45)一种方法,包括:
访问由车辆上的至少一个图像拍摄设备拍摄的对象的图像;
判定是否提醒车辆的乘客注意对象的接近;
响应确定提醒乘客注意对象的接近,在对象的图像上叠加移动图案,透过所述移动图案,对象的图像仍然可见;和
在至少一个显示设备上,向车辆的乘客显示具有叠加的移动图案的对象的图像。
(46)按照(45)所述所述的方法,其中至少部分根据车辆的速度是否大于阈值速度,判定是否提醒乘客注意对象的接近。
(47)按照(45)或(46)所述的方法,其中至少部分根据车辆中的方向灯是否被启动,判定是否提醒乘客注意对象的接近。
(48)按照(45)-(47)任意之一所述的方法,其中至少部分根据车辆是否在倒车,判定是否提醒乘客注意对象的接近。
(49)按照(45)-(48)任意之一所述的方法,其中至少部分根据车辆的驾驶员的头部运动,判定是否提醒乘客注意对象的接近。
(50)按照(45)-(49)任意之一所述的方法,其中判定是否提醒乘客注意对象的接近包括至少部分根据车辆和对象之间的距离,计算对象的危险度。
(51)按照(45)-(49)任意之一所述的方法,其中判定是否提醒乘客注意对象的接近包括比较随着时间的过去而拍摄的对象的图像,和至少部分根据指示对象的接近速度的被比较图像之间的变化,计算对象的危险度。
(52)按照(50)或(51)所述的方法,还包括随着危险度的增大,增大移动图案的显示变动速度。
(53)按照(45)-(52)任意之一所述的方法,其中移动图案是斑马图案。
(54)按照(45)-(52)任意之一所述的方法,其中移动图案是同心式框架的图案。
(55)按照(45)-(52)任意之一所述的方法,其中移动图案是对象的图像的变形的波状图案。
(56)按照(45)-(52)任意之一所述的方法,其中移动图案是格子状图案。
(57)保存处理器可执行指令的至少一个处理器可读存储介质,当被执行时,所述指令实现按照(45)-(56)任意之一所述的方法。
[附图标记列表]
1,2 接近对象通知系统
10 车辆信息检测设备
20 距离检测设备
30 接近对象通知设备
310 成像单元
320 显示单元
330 控制单元
331 接近状态判定单元
332 接近信息获取单元
333 危险度判定单元
334 动态图案生成单元
335 图像信息获取单元
336 图像生成单元
337 显示控制单元

Claims (56)

1.一种系统,包括:
至少一个图像拍摄设备,所述图像拍摄设备被配置成从车辆拍摄对象的图像;
至少一个显示设备,所述显示设备被配置成向车辆的乘客显示对象的图像;以及
至少一个控制单元,所述控制单元被配置成:
判定是否提醒乘客注意对象的接近,和
响应判定提醒乘客注意对象的接近,在所述至少一个显示设备上显示动态图案化图像,所述动态图案化图像是其中对于拍摄图像中的接近对象,设定其显示在显示屏幕上按预定时段变动的动态图案的图像,并且是其中接近对象和动态图案被一起显示的图像,并且其中所述动态图案是随着至少3相的相位驱动而沿预定方向移动并顺序地显示的至少3个图案。
2.按照权利要求1所述的系统,其中所述至少一个控制单元被配置成至少部分地根据车辆的速度是否大于阈值速度,判定是否提醒乘客注意对象的接近。
3.按照权利要求1或2所述的系统,其中所述至少一个控制单元被配置成至少部分地根据车辆中的方向灯是否被启动,判定是否提醒乘客注意对象的接近。
4.按照权利要求1或2所述的系统,其中所述至少一个控制单元被配置成至少部分地根据车辆是否在倒车,判定是否提醒乘客注意对象的接近。
5.按照权利要求1或2所述的系统,其中所述至少一个控制单元被配置成至少部分地根据车辆的驾驶员的头部运动,判定是否提醒乘客注意对象的接近。
6.按照权利要求1或2所述的系统,其中判定是否提醒乘客注意对象的接近包括至少部分地根据车辆和对象之间的距离,计算对象的危险度。
7.按照权利要求1或2所述的系统,其中判定是否提醒乘客注意对象的接近包括:比较随着时间的过去而拍摄的对象的图像,和至少部分地根据指示对象的接近速度的被比较图像之间的变化,计算对象的危险度。
8.按照权利要求7所述的系统,其中所述至少一个控制单元还被配置成随着危险度的增大,增大移动图案的显示变动速度。
9.按照权利要求1或2所述的系统,其中移动图案是斑马图案。
10.按照权利要求1或2所述的系统,其中移动图案是同心式框架的图案。
11.按照权利要求1或2所述的系统,其中移动图案是对象的图像的变形的波状图案。
12.按照权利要求1或2所述的系统,其中移动图案是格子状图案。
13.一种系统,包括:
至少一个处理器;和
保存处理器可执行指令的至少一个处理器可读存储介质,当被所述至少一个处理器执行时,所述指令使所述至少一个处理器:
接收由车辆上的至少一个图像拍摄设备拍摄的对象的图像;
判定是否提醒车辆的乘客注意对象的接近;
响应判定提醒乘客注意对象的接近,在至少一个显示设备上向车辆的乘客显示动态图案化图像,所述动态图案化图像是其中对于拍摄图像中的接近对象,设定其显示在显示屏幕上按预定时段变动的动态图案的图像,并且是其中接近对象和动态图案被一起显示的图像,并且其中所述动态图案是随着至少3相的相位驱动而沿预定方向移动并顺序地显示的至少3个图案。
14.按照权利要求13所述的系统,其中所述指令使所述至少一个处理器至少部分地根据车辆的速度是否大于阈值速度,判定是否提醒乘客注意对象的接近。
15.按照权利要求13或14所述的系统,其中所述指令使所述至少一个处理器至少部分地根据车辆中的方向灯是否被启动,判定是否提醒乘客注意对象的接近。
16.按照权利要求13或14所述的系统,其中所述指令使所述至少一个处理器至少部分地根据车辆是否在倒车,判定是否提醒乘客注意对象的接近。
17.按照权利要求13或14所述的系统,其中所述指令使所述至少一个处理器至少部分地根据车辆的驾驶员的头部运动,判定是否提醒乘客注意对象的接近。
18.按照权利要求13或14所述的系统,其中判定是否提醒乘客注意对象的接近包括至少部分地根据车辆和对象之间的距离,计算对象的危险度。
19.按照权利要求13或14所述的系统,其中判定是否提醒乘客注意对象的接近包括比较随着时间的过去而拍摄的对象的图像,和至少部分地根据指示对象的接近速度的被比较图像之间的变化,计算对象的危险度。
20.按照权利要求19所述的系统,其中所述指令还使所述至少一个处理器随着危险度的增大,增大移动图案的显示变动速度。
21.按照权利要求13或14所述的系统,其中移动图案是斑马图案。
22.按照权利要求13或14所述的系统,其中移动图案是同心式框架的图案。
23.按照权利要求13或14所述的系统,其中移动图案是对象的图像的变形的波状图案。
24.按照权利要求13或14所述的系统,其中移动图案是格子状图案。
25.一种方法,包括:
访问由车辆上的至少一个图像拍摄设备拍摄的对象的图像;
判定是否提醒车辆的乘客注意对象的接近;以及
响应判定提醒乘客注意对象的接近,在至少一个显示设备上向车辆的乘客显示动态图案化图像,所述动态图案化图像是其中对于拍摄图像中的接近对象,设定其显示在显示屏幕上按预定时段变动的动态图案的图像,并且是其中接近对象和动态图案被一起显示的图像,并且其中所述动态图案是随着至少3相的相位驱动而沿预定方向移动并顺序地显示的至少3个图案。
26.按照权利要求25所述的方法,其中至少部分地根据车辆的速度是否大于阈值速度,判定是否提醒乘客注意对象的接近。
27.按照权利要求25或26所述的方法,其中至少部分地根据车辆中的方向灯是否被启动,判定是否提醒乘客注意对象的接近。
28.按照权利要求25或26所述的方法,其中至少部分地根据车辆是否在倒车,判定是否提醒乘客注意对象的接近。
29.按照权利要求25或26所述的方法,其中至少部分地根据车辆的驾驶员的头部运动,判定是否提醒乘客注意对象的接近。
30.按照权利要求25或26所述的方法,其中判定是否提醒乘客注意对象的接近包括至少部分地根据车辆和对象之间的距离,计算对象的危险度。
31.按照权利要求25或26所述的方法,其中判定是否提醒乘客注意对象的接近包括比较随着时间的过去而拍摄的对象的图像,和至少部分地根据指示对象的接近速度的被比较图像之间的变化,计算对象的危险度。
32.按照权利要求31所述的方法,还包括随着危险度的增大,增大移动图案的显示变动速度。
33.按照权利要求25或26所述的方法,其中移动图案是斑马图案。
34.按照权利要求25或26所述的方法,其中移动图案是同心式框架的图案。
35.按照权利要求25或26所述的方法,其中移动图案是对象的图像的变形的波状图案。
36.按照权利要求25或26所述的方法,其中移动图案是格子状图案。
37.保存处理器可执行指令的至少一个处理器可读存储介质,当被执行时,所述指令进行按照权利要求25-36任意之一所述的方法。
38.一种信息处理设备,包括:
图像信息获取单元,所述图像信息获取单元被配置成获取关于至少包括接近对象的拍摄图像的图像信息;
图像生成单元,所述图像生成单元被配置成根据作为接近对象的状态的接近状态的判定结果,生成动态图案化图像,所述动态图案化图像是其中对于拍摄图像中的接近对象,设定其显示在显示屏幕上按预定时段变动的动态图案的图像,并且是其中接近对象和动态图案被一起显示的图像,并且其中所述动态图案是随着至少3相的相位驱动而沿预定方向移动并顺序地显示的至少3个图案;和
显示控制单元,所述显示控制单元被配置成在显示屏幕上显示动态图案化图像。
39.按照权利要求38所述的信息处理设备,
其中接近状态包括接近信息和危险度信息,接近信息是关于接近对象的信息,危险度信息是根据接近信息确定的关于对象的危险度的信息,并且
其中根据确定的危险度,生成所述动态图案。
40.按照权利要求39所述的信息处理设备,其中生成所述动态图案,以致所述动态图案具有与确定的危险度相应的不同颜色。
41.按照权利要求39所述的信息处理设备,其中生成所述动态图案,以致显示变动速度随着确定的危险度而变化。
42.按照权利要求38所述的信息处理设备,其中所述动态图案是按预定间隔排列具有预定宽度的线段并且线段被移动地显示的斑马图案,并且
其中所述动态图案化图像是其中所述斑马图案与所述对象重叠的图像。
43.按照权利要求38所述的信息处理设备,其中所述动态图案是利用每个框架的中心作为基准,扩展同心排列的多个框架地显示的框架状图案,并且
其中所述动态图案化图像是其中框架状图案与所述对象重叠的图像。
44.按照权利要求38所述的信息处理设备,其中所述动态图案是波状图案,该波状图案被显示成使得所述对象被波状地变形,并且使得波状的变形沿预定方向移动。
45.按照权利要求38所述的信息处理设备,其中接近状态包括接近信息,所述接近信息是关于正在接近车辆的对象的信息,并且
其中当作为指示车辆的状态的车辆信息检测到特定车辆信息时,获取所述接近信息。
46.按照权利要求38所述的信息处理设备,其中接近状态包括接近信息和危险度信息,接近信息是关于正在接近车辆的对象的信息,危险度信息是根据接近信息确定的关于对象的危险度的信息,并且
其中进一步根据指示车辆的状态的车辆信息,确定危险度。
47.按照权利要求45所述的信息处理设备,其中车辆信息包括关于车辆的速度的信息。
48.按照权利要求45所述的信息处理设备,其中车辆信息包括关于车辆的方向灯的驱动的信息。
49.按照权利要求45所述的信息处理设备,其中车辆信息包括关于车辆的变速杆的位置的信息。
50.按照权利要求45所述的信息处理设备,其中车辆信息包括关于车辆驾驶员的视线的状态的信息。
51.按照权利要求38所述的信息处理设备,其中根据关于利用检测与附近对象的距离的距离检测设备检测到的与对象的距离的信息,判定接近状态。
52.按照权利要求51所述的信息处理设备,其中距离检测设备包括毫米波雷达设备。
53.按照权利要求38所述的信息处理设备,其中根据关于利用图像信息获取单元获取的拍摄图像的图像信息,判定接近状态。
54.按照权利要求53所述的信息处理设备,还包括:
成像单元,所述成像单元被配置成拍摄至少包括附近对象的拍摄图像。
55.一种接近对象通知方法,包括:
获取关于至少包括接近对象的拍摄图像的图像信息;
根据作为接近对象的状态的接近状态的判定结果,生成动态图案化图像,所述动态图案化图像是其中对于拍摄图像中的接近对象,设定其显示在显示屏幕上按预定时段变动的动态图案的图像,并且是其中接近对象和动态图案被一起显示的图像,并且其中所述动态图案是随着至少3相的相位驱动而沿预定方向移动并顺序地显示的至少3个图案;以及
把动态图案化图像显示在显示屏幕上。
56.一种保存处理器可执行指令的处理器可读存储介质,所述指令在被执行时使计算机:
获取关于至少包括接近对象的拍摄图像的图像信息;
根据作为接近对象的状态的接近状态的判定结果,生成动态图案化图像,所述动态图案化图像是其中对于拍摄图像中的接近对象,设定其显示在显示屏幕上按预定时段变动的动态图案的图像,并且是其中接近对象和动态图案被一起显示的图像,并且其中所述动态图案是随着至少3相的相位驱动而沿预定方向移动并顺序地显示的至少3个图案;以及
把动态图案化图像显示在显示屏幕上。
CN201480030492.7A 2013-06-07 2014-05-28 信息处理设备、接近对象通知方法和程序 Active CN105308620B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013120600A JP6232759B2 (ja) 2013-06-07 2013-06-07 情報処理装置、接近対象物通知方法及びプログラム
JP2013-120600 2013-06-07
PCT/JP2014/002836 WO2014196171A1 (en) 2013-06-07 2014-05-28 Information processing device, approaching object notification method, and program

Publications (2)

Publication Number Publication Date
CN105308620A CN105308620A (zh) 2016-02-03
CN105308620B true CN105308620B (zh) 2020-03-17

Family

ID=51063754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480030492.7A Active CN105308620B (zh) 2013-06-07 2014-05-28 信息处理设备、接近对象通知方法和程序

Country Status (6)

Country Link
US (1) US10528825B2 (zh)
EP (2) EP3579143A1 (zh)
JP (1) JP6232759B2 (zh)
CN (1) CN105308620B (zh)
CA (1) CA2912349C (zh)
WO (1) WO2014196171A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10389992B2 (en) * 2014-08-05 2019-08-20 Utherverse Digital Inc. Immersive display and method of operating immersive display for real-world object alert
JP6277933B2 (ja) * 2014-10-10 2018-02-14 株式会社デンソー 表示制御装置、表示システム
JP6319349B2 (ja) * 2015-04-03 2018-05-09 株式会社デンソー 情報提示装置
JP6552285B2 (ja) * 2015-06-05 2019-07-31 アルパイン株式会社 車載表示装置及び車両後方映像表示方法
JP6494764B2 (ja) * 2015-08-20 2019-04-03 三菱電機株式会社 表示制御装置、表示装置及び表示制御方法
US10062290B2 (en) * 2015-12-16 2018-08-28 Ford Global Technologies, Llc Convoy vehicle look-ahead
CA3010988C (en) * 2016-01-13 2023-10-17 Travis COPEN Wireless tilt sensor system and method
US10719724B2 (en) * 2016-08-23 2020-07-21 Blinkeyelabs Electronics Private Limited Safety system for an automobile
JP6271674B1 (ja) * 2016-10-20 2018-01-31 パナソニック株式会社 歩車間通信システム、車載端末装置、歩行者端末装置および安全運転支援方法
JP6647423B2 (ja) * 2016-11-18 2020-02-14 三菱電機株式会社 運転支援装置および運転支援方法
JP6720063B2 (ja) * 2016-11-21 2020-07-08 京セラ株式会社 画像処理装置、撮像装置、および表示システム
JP6712942B2 (ja) * 2016-11-21 2020-06-24 京セラ株式会社 画像処理装置、撮像装置、および表示システム
CN106792680B (zh) * 2016-11-28 2020-07-28 浙江宇视科技有限公司 一种车辆验证方法及接入点ap
WO2018151759A1 (en) 2017-02-20 2018-08-23 3M Innovative Properties Company Optical articles and systems interacting with the same
JP6680254B2 (ja) * 2017-03-22 2020-04-15 トヨタ自動車株式会社 車両用表示制御装置
JP6827202B2 (ja) 2017-03-24 2021-02-10 パナソニックIpマネジメント株式会社 情報表示装置、情報表示方法及びプログラム
JP6722132B2 (ja) * 2017-04-27 2020-07-15 クラリオン株式会社 推奨運転出力装置、推奨運転出力方法、及び推奨運転出力システム
EP3688662A1 (en) 2017-09-27 2020-08-05 3M Innovative Properties Company Personal protective equipment management system using optical patterns for equipment and safety monitoring
US10933886B2 (en) * 2017-10-27 2021-03-02 Waymo Llc Hierarchical messaging system
JP7180067B2 (ja) * 2017-11-06 2022-11-30 日本電気株式会社 運転支援装置
US20190287304A1 (en) * 2018-03-13 2019-09-19 The Boeing Company Safety Enhancement System for a Mobile Display System
WO2019220582A1 (ja) * 2018-05-17 2019-11-21 三菱電機株式会社 車両用後側方警報装置および車両用後側方警報方法
US10756926B2 (en) * 2018-07-01 2020-08-25 Benchmark Electronics, Inc. System and method for transmission of video and controller area network (CAN) data over a power slip ring assembly
EP3640109A1 (en) * 2018-10-17 2020-04-22 Volvo Car Corporation System and method for detecting and/or preventing automation expectation mismatch in vehicle
US10964187B2 (en) * 2019-01-29 2021-03-30 Pool Knight, Llc Smart surveillance system for swimming pools
KR20210054107A (ko) * 2019-11-04 2021-05-13 현대자동차주식회사 차량의 디스플레이 장치 및 방법
JP2021135907A (ja) * 2020-02-28 2021-09-13 本田技研工業株式会社 情報提供システム
CN111724598B (zh) * 2020-06-29 2022-04-05 北京百度网讯科技有限公司 用于自动驾驶规划路径的方法、装置、设备以及存储介质
JP7327320B2 (ja) * 2020-08-11 2023-08-16 トヨタ自動車株式会社 警告通知システム、警告通知方法及び警告通知プログラム
JP2022139951A (ja) * 2021-03-12 2022-09-26 本田技研工業株式会社 注意喚起システム、及び注意喚起方法
JP2022142614A (ja) * 2021-03-16 2022-09-30 パナソニックIpマネジメント株式会社 安全確認支援装置、安全確認支援方法及び安全確認支援プログラム
US20230264697A1 (en) * 2022-02-22 2023-08-24 Toyota Research Institute, Inc. Varying extended reality content based on driver attentiveness
US12005919B2 (en) 2022-02-22 2024-06-11 Toyota Research Institute, Inc. Varying extended reality content based on risk level of a driving environment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1460375A (zh) * 2001-03-29 2003-12-03 松下电器产业株式会社 后视系统的图像显示方法和装置
JP2009140305A (ja) * 2007-12-07 2009-06-25 Honda Motor Co Ltd 車両用情報提示装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6930606B2 (en) * 1997-12-02 2005-08-16 Crane & Co., Inc. Security device having multiple security detection features
US7167796B2 (en) * 2000-03-09 2007-01-23 Donnelly Corporation Vehicle navigation system for use with a telematics system
JP2002183898A (ja) 2000-12-18 2002-06-28 Koyo Seiko Co Ltd 車両用障害物検出装置
JP2004274538A (ja) 2003-03-11 2004-09-30 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP2005047504A (ja) 2004-11-01 2005-02-24 Toyoda Gosei Co Ltd 異常接近警告表示装置
JP2007124097A (ja) 2005-10-26 2007-05-17 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP4892965B2 (ja) 2005-12-26 2012-03-07 住友電気工業株式会社 移動体判定システム、移動体判定方法、及びコンピュータプログラム
JP2008193339A (ja) 2007-02-02 2008-08-21 Toyota Motor Corp 後方監視装置
JP2010108264A (ja) * 2008-10-30 2010-05-13 Honda Motor Co Ltd 車両周辺監視装置
JP2010126135A (ja) 2008-12-01 2010-06-10 Toyota Motor Corp 視線誘導装置
JP5235798B2 (ja) 2009-06-22 2013-07-10 富士フイルム株式会社 撮影装置及びその制御方法
JP2011118482A (ja) * 2009-11-30 2011-06-16 Fujitsu Ten Ltd 車載装置および認知支援システム
JP5269755B2 (ja) * 2009-12-10 2013-08-21 株式会社日立製作所 人横断支援車両システム及び人横断支援方法
JP2011134103A (ja) * 2009-12-24 2011-07-07 Aisin Aw Co Ltd 案内装置、案内方法、及び案内プログラム
CN102782740B (zh) * 2010-03-01 2015-04-15 本田技研工业株式会社 车辆周围监测装置
EP2544161B1 (en) * 2010-03-03 2014-12-24 Honda Motor Co., Ltd. Surrounding area monitoring device for vehicle
US9004390B2 (en) * 2010-08-03 2015-04-14 Ricoh Company, Ltd. Roll medium holding unit, roll sheet feeder, and image forming apparatus
US9058619B2 (en) * 2011-05-19 2015-06-16 Purushottaman Nandakumar System and method for measurement, planning, monitoring, and execution of out-of-home media
JP5626147B2 (ja) * 2011-07-04 2014-11-19 株式会社デンソー 車両接近物検知装置
JP5895941B2 (ja) * 2011-09-29 2016-03-30 トヨタ自動車株式会社 画像表示装置及び画像表示方法
WO2013065122A1 (ja) 2011-11-01 2013-05-10 アイシン精機株式会社 障害物警報装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1460375A (zh) * 2001-03-29 2003-12-03 松下电器产业株式会社 后视系统的图像显示方法和装置
JP2009140305A (ja) * 2007-12-07 2009-06-25 Honda Motor Co Ltd 車両用情報提示装置

Also Published As

Publication number Publication date
JP6232759B2 (ja) 2017-11-22
US10528825B2 (en) 2020-01-07
EP3579143A1 (en) 2019-12-11
EP3005228A1 (en) 2016-04-13
CA2912349A1 (en) 2014-12-11
WO2014196171A1 (en) 2014-12-11
CA2912349C (en) 2022-11-22
EP3005228B1 (en) 2019-08-21
US20160110618A1 (en) 2016-04-21
JP2014239326A (ja) 2014-12-18
CN105308620A (zh) 2016-02-03

Similar Documents

Publication Publication Date Title
CN105308620B (zh) 信息处理设备、接近对象通知方法和程序
JP6307895B2 (ja) 車両用周辺監視装置
JP5143235B2 (ja) 制御装置および車両周囲監視装置
JP2010130646A (ja) 車両周辺確認装置
WO2016002006A1 (ja) 車両用表示装置及び車両用表示方法
US20150187214A1 (en) Drive assist device
JP7077616B2 (ja) 表示制御装置および表示制御方法
CN109415018B (zh) 用于数字后视镜的方法和控制单元
TWI533694B (zh) 車用障礙物偵測顯示系統
JP7047586B2 (ja) 車両用表示制御装置
US20180330619A1 (en) Display device and display method for displaying pictures, and storage medium
JP2018142884A (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JPWO2018042976A1 (ja) 画像生成装置、画像生成方法、記録媒体、および画像表示システム
JP2018013386A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2019188855A (ja) 車両用視認装置
JP6756135B2 (ja) 運転支援方法及び運転支援装置
JP2011211432A (ja) 車載用撮像装置
JP6583385B2 (ja) 情報処理装置、接近対象物通知方法及びプログラム
JP2010064646A (ja) 車両周辺監視装置および車両周辺監視方法
JP4799236B2 (ja) 車載表示システム
JP6773189B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP4598011B2 (ja) 車両用表示装置
JP6766433B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2018148484A (ja) 車両用表示制御装置、車両用表示制御システム、車両用表示制御方法およびプログラム
JP6586972B2 (ja) 車両用画像表示装置及び画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant