CN114902309A - 驾驶辅助装置、驾驶辅助方法以及程序 - Google Patents

驾驶辅助装置、驾驶辅助方法以及程序 Download PDF

Info

Publication number
CN114902309A
CN114902309A CN202080089687.4A CN202080089687A CN114902309A CN 114902309 A CN114902309 A CN 114902309A CN 202080089687 A CN202080089687 A CN 202080089687A CN 114902309 A CN114902309 A CN 114902309A
Authority
CN
China
Prior art keywords
vehicle
image
unit
captured
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080089687.4A
Other languages
English (en)
Inventor
谷则幸
松本裕也
赤浦胜太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN114902309A publication Critical patent/CN114902309A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096791—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/162—Decentralised systems, e.g. inter-vehicle communication event-triggered
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/40—Transportation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/10—Information sensed or collected by the things relating to the environment, e.g. temperature; relating to location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4049—Relationship among other objects, e.g. converging dynamic objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Signal Processing (AREA)
  • Operations Research (AREA)
  • Business, Economics & Management (AREA)
  • Atmospheric Sciences (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

驾驶辅助装置具备：获取部(11)，其获取由搭载于作为自身的移动体的本车辆(10)的作为摄像部的摄像机(21A)～(21D)拍摄本车辆(10)的周围所得到的自身图像和由作为其它摄像部的其它车辆(30)的摄像机(31)拍摄到的他者图像；以及作为处理部的合成部(12)，其将包括自身图像和他者图像的多个图像进行合成，来生成视觉确认用合成图像，其中，驾驶辅助装置使视觉确认用合成图像在显示部(13)进行显示。

Description

驾驶辅助装置、驾驶辅助方法以及程序
技术领域
本公开涉及一种用于辅助驾驶的驾驶辅助装置、驾驶辅助方法以及程序。
背景技术
以往，已知如下一种装置：在汽车等车辆中，对于本车辆所具备的多个车载摄像机的摄像图像，不是将各图像相互独立地显示，而是显示被合成为一张的图像，以了解由多个车载摄像机拍摄到的区域整体(例如，参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本专利第3286306号公报
发明内容
用于解决问题的方案
作为一个方式，本公开提供一种驾驶辅助装置，用于辅助移动体的驾驶，所述驾驶辅助装置具备：获取部，其获取由搭载于自身的移动体的摄像部拍摄所述移动体的周围所得到的自身图像和由其它摄像部拍摄到的他者图像；以及处理部，其将包括所述自身图像和所述他者图像的多个图像进行合成，来生成视觉确认用合成图像。
作为一个方式，本公开提供一种驾驶辅助方法，是用于辅助移动体的驾驶的驾驶辅助装置中的驾驶辅助方法，所述驾驶辅助方法包括以下步骤：获取由搭载于自身的移动体的摄像部拍摄所述移动体的周围所得到的自身图像和由其它摄像部拍摄到的他者图像；以及将包括所述自身图像和所述他者图像的多个图像进行合成，来生成视觉确认用合成图像。
作为一方式，本公开提供一种程序，用于使计算机执行驾驶辅助方法的各步骤，所述驾驶辅助方法用于辅助移动体的驾驶，所述驾驶辅助方法包括以下步骤：获取由搭载于自身的移动体的摄像部拍摄所述移动体的周围所得到的自身图像和由其它摄像部拍摄到的他者图像；以及将包括所述自身图像和所述他者图像的多个图像进行合成，来生成视觉确认用合成图像。
附图说明
图1是示出实施方式所涉及的驾驶辅助装置的结构的一例的框图。
图2是示出实施方式1所涉及的本车辆与其它车辆的位置关系以及合成图像的例子的图。
图3是示出实施方式2所涉及的本车辆与其它车辆的位置关系以及合成图像的例子的图。
图4是示出实施方式3所涉及的本车辆与其它车辆的位置关系以及合成图像的例子的图。
图5是示出实施方式4所涉及的本车辆与其它车辆的位置关系以及合成图像的例子的图。
图6是示出实施方式5所涉及的本车辆与其它车辆的位置关系以及合成图像的例子的图。
图7是示出视觉确认用合成图像的生成处理的一例的流程图。
图8是示出获取他者图像的摄像图像的图像获取动作的第一例的序列图。
图9是示出获取他者图像的摄像图像的图像获取动作的第二例的序列图。
具体实施方式
(得到本公开的经过)
如上所述，在进行使用了由搭载于车辆等移动体的摄像机拍摄到的摄像图像的驾驶辅助的情况下，要求生成与移动体的运行状态、周围的状态等相应的适当的图像。
在专利文献1所记载的那样的现有技术中，能够将由设置于本车辆的多个部位(例如前后左右这4个部位)的摄像机拍摄到的车辆周围的摄像图像合成，来生成例如犹如从车辆的上方看到的鸟瞰图像，并显示该鸟瞰图像。
然而，在上述现有技术中，存在如下课题：只能获得本车辆所具备的车载摄像机能够拍摄的范围的合成图像，用户无法识别本车辆的摄像范围外的区域的图像。本车辆的摄像范围外的区域例如包括因障碍物等遮挡物而成为盲区从而无法拍摄到的区域，基于车载摄像机的性能或车载摄像机的视角，还包括车载摄像机的摄像范围外的区域。
因此，在本公开中，示出能够生成与移动体的运行状态、周围的状态等相应的适当的图像来进行驾驶辅助从而使用户还能够确认搭载于车辆等移动体的摄像机的摄像范围外的区域的驾驶辅助装置的结构例。
下面，适当参照附图来详细说明具体地公开了本公开所涉及的驾驶辅助装置、驾驶辅助方法以及程序的实施方式。但是，有时省略不必要的详细说明。例如，有时省略已熟知的事项的详细说明和对实质上相同的结构的重复说明。这是为了避免下面的说明变得不必要地冗长，并能够使本领域技术人员容易理解。此外，附图和下面的说明是为了使本领域技术人员充分理解本公开而提供的，并不意图通过它们来限定权利要求书中记载的主题。
(实施方式的结构)
图1是示出实施方式所涉及的驾驶辅助装置的结构的一例的框图。在本实施方式中，说明如下结构例：利用搭载于作为移动体的一例的车辆的摄像机拍摄捕捉到车辆周围的状况的图像，并使用该摄像图像来进行图像合成。
作为第一车辆的本车辆10是用户自己乘坐并驾驶或同乘的车辆，相当于自身的移动体。本车辆10具有作为对本车辆的周围的状况进行拍摄的摄像部的摄像机21A、21B、21C、21D。多个摄像机21A、21B、21C、21D例如搭载于车辆的车身的前后左右的位置，覆盖车辆外周的整周方向的区域作为摄像范围。
本车辆10具有输入并获取摄像图像的获取部11、作为对获取到的摄像图像进行处理的处理部来进行图像合成处理的合成部12、以及显示合成图像的显示部13。获取部11具有摄像机接口、通信接口等具有通信功能的接口，通过这些接口的通信功能来获取由本车辆的多个摄像机21A、21B、21C、21D拍摄到的摄像图像(自身图像)以及由其它摄像部拍摄到的摄像图像(他者图像)。
合成部12具有包括处理器和存储器的处理设备，例如通过由处理器执行存储装置中保持的规定的程序来实现各种功能。合成部12进行由获取部11获取到的多个摄像图像的合成处理，来生成视觉确认用合成图像。处理器可以包括MPU(Micro processing Unit：微处理单元)、CPU(Central Processing Unit：中央处理单元)、DSP(Digital SignalProcessor：数字信号处理器)、GPU(Graphical Processing Unit：图形处理单元)等。存储器可以包括RAM(Random Access Memory：随机存取存储器)、ROM(Read Only Memory：只读存储器)等。存储装置可以包括HDD(Hard Disk Drive：硬盘驱动器)、SSD(Solid StateDrive：固态硬盘)、光盘装置、存储卡等。
合成部12向显示部13输出通过合成处理生成的视觉确认用合成图像来将其提供给显示部13，使得在显示部13中显示视觉确认用合成图像。
显示部13显示合成部12中生成的与本车辆的周围的状况有关的视觉确认用合成图像。显示部13例如由AR-HUD(Augmented Reality Head Up Display：增强现实平视显示器)、HUD等搭载于车辆的前部并在前车窗进行投影显示的显示设备、搭载于车辆的仪表板等的有机EL显示器、液晶显示器等显示器装置等各种显示装置(显示设备)构成。
作为第二车辆的其它车辆30是本车辆以外的车辆，例如是在本车辆10的附近行驶或停着的车辆，相当于其他移动体。其它车辆30具有作为拍摄其它车辆的周围的状况的摄像部的摄像机31。此外，摄像机31可以是一个，也可以是多个。摄像机31例如搭载于车辆的车身，覆盖车辆外周的一部分或整周方向的区域作为摄像范围。其它车辆30与本车辆10的获取部11进行通信，传输由摄像机31拍摄到的摄像图像，并将该摄像图像作为他者图像来提供。此外，作为拍摄他者图像的摄像部，不限于是其它车辆30的摄像机31，也可以是搭载于在作为第一车辆的本车辆10行驶的道路或停车场中设置的关联设备的摄像部。例如，也可以使用设置于道路的路口、道路边、高架等的基础设施的摄像机、设置于沿着道路的建筑物的摄像机、设置于停车场的摄像机等设置于本车辆以外的各种位置的摄像机。
获取部11与其它车辆30的摄像机31之间的图像传输能够使用VtoV(Vehicle toVehicle：车对车)通信、5G的移动通信等具有规定的通信频带的高速通信系统来实现。此外，在将基础设施的摄像机用作拍摄他者图像的摄像部的情况、使用其它摄像机等情况下，能够与驾驶辅助装置的系统结构对应地使用VtoI(Vehicle to Infrastructure：车对基础设施)通信、VtoX(Vehicle to X：车对X)通信等各种通信系统。
在本车辆10中，获取部11获取由本车辆10的摄像机21A、21B、21C、21D拍摄到的自身图像的摄像图像。另外，在满足规定条件的场景中，获取部11获取由其它车辆30的摄像机31或者其它摄像部拍摄到的他者图像的摄像图像。合成部12对在本车辆10中获取到的自身图像的摄像图像进行合成处理。另外，合成部12将从其它车辆30或者其它摄像部获取到的他者图像的摄像图像与自身图像一起进行合成处理。合成部12例如生成从包括本车辆10的摄像区域的上方俯视的鸟瞰图像来作为合成处理后的视觉确认用合成图像。此外，不限于生成鸟瞰图像，也可以生成本车辆10的360度整周或规定角度范围的周围的全景图像、从规定的视点位置看到的俯瞰图像等各种合成图像，还可以生成将鸟瞰图像与前方的视角范围的全景图像等多种图像组合而得到的合成图像。
显示部13显示合成部12中生成的视觉确认用合成图像。在本车辆10的前车窗具备AR-HUD作为显示部13的情况下，通过AR-HUD在前车窗显示视觉确认用合成图像，并使该视觉确认用合成图像与从用户的视点透过前车窗看到的车辆前方的视野的实像叠加。在车辆的仪表板等具备显示器装置作为显示部13的情况下，利用显示器装置显示视觉确认用合成图像，并向用户呈现包括本车辆外部的摄像图像在内的示出周围的状况的图像。作为显示部13，也可以使用其它HMI(Human Machine Interface：人机接口)。
此外，本车辆10除了具有显示部13以外，也可以还具有通过声音、光等向用户进行通知的通知部。在周围状况变为规定的状态的情况下，合成部12或显示部13向通知部发送通知信息，使得从通知部向用户通知规定的周围状况。通知部基于合成部12中生成的视觉确认用合成图像，在存在处于本车辆10的摄像范围外的车辆、人物等应注意的规定的物体的情况下，通过报告声、点亮等向用户通知规定的物体的存在。另外，也可以是，显示部13包括通知部的功能，在视觉确认用合成图像的显示中，在图像中存在其它车辆、人物等应注意的规定的物体的情况下，对相应的区域进行强调显示、特定的颜色显示、插图显示等区别显示，从而能够容易地进行识别。另外，在显示部13的视觉确认用合成图像的显示中，对于本车辆显示，也进行特定的颜色显示、插图显示等区别显示，从而能够容易地进行识别。
本实施方式所涉及的驾驶辅助装置在本车辆10中具备获取部11和合成部12。此外，获取部11和合成部12中的至少一方也可以设置于本车辆10的外部。驾驶辅助装置也可以具备用于显示视觉确认用合成图像的显示部13。另外，驾驶辅助装置也可以具备通知部，在视觉确认用合成图像的图像中存在规定的物体等情况下，该通知部通知周围状况变为规定的状态。
以下，作为本公开的实施方式，例示若干个生成包括自身图像和他者图像的合成图像的场景的动作状态(场景例)。
(实施方式1)
图2是示出实施方式1所涉及的本车辆与其它车辆的位置关系以及合成图像的例子的图。在实施方式1中，示出作为在满足规定条件的场景中相应的本车辆的状况的、正在通视差的路口或从岔道向进入口的道路上行驶的场景(路口的场景)中的合成图像的生成例。
在实施方式1的场景中，作为本车辆的第一车辆10A正在宽度较大的干线公路51上行驶。在第一车辆10A的前方存在与干线公路51连接的岔道52的进入口52A，成为通视差的路口。作为其它车辆的第二车辆30A从岔道52进入，在第二车辆30A的后方行驶着作为后续的其它车辆的第三车辆30B。在该情况下，第二车辆30A的一部分和第三车辆30B的全部因道路端的建筑物的墙壁、围墙等而成为从第一车辆10A来看的盲区，处于从第一车辆10A的摄像机的摄像范围120偏离的摄像范围外。因此，难以从第一车辆10A拍摄到第三车辆30B，在第一车辆10A的摄像图像中不包含第三车辆30B，在第一车辆10A中无法识别到第二车辆30A后续的第三车辆30B。另一方面，第三车辆30B与第二车辆30A一起在第二车辆30A的摄像机的摄像范围130内，能够从第二车辆30A拍摄到第三车辆30B。因此，在第二车辆30A的摄像图像中包含第三车辆30B。
在本实施方式中，在第一车辆10A的行进方向与第二车辆30A的行进方向相交的情况下，在第一车辆10A中，获取由第二车辆30A拍摄到的他者图像，并使用由本车辆拍摄到的自身图像和所获取到的他者图像来生成合成图像100A。此外，作为其它车辆，也可以使用第三车辆30B来代替第二车辆30A，从第三车辆30B获取由第三车辆30B拍摄到的他者图像来进行合成。第一车辆10A与第二车辆30A或第三车辆30B之间的图像传输等通信可以使用VtoV通信、5G的移动通信或者使用了无线LAN等的计算机网络的网络通信等。关于摄像图像的传输，既可以在识别到进入了本车辆的行进方向前方的其它车辆时从第一车辆10A对第二车辆30A或第三车辆30B请求摄像图像，并获取该摄像图像作为他者图像，也可以在即将进入路口时从第二车辆30A或第三车辆30B向附近的第一车辆10A发送摄像图像。也可以是，第一车辆10A、第二车辆30A以及第三车辆30B在规定时机尝试与周围进行通信，在能够进行通信的情况下，将在本车的附近存在能够连接的车辆这一情况作为状态信息进行保持，并进行图像数据等的发送接收。此外，关于摄像图像的合成，不仅可以是将在本车辆和一个其它车辆中获取到的图像进行合成，也可以是将在本车辆和多个其它车辆中获取到的图像进行合成，还可以是将在任意的多个车辆中获取到的图像进行合成。
在图2的例子中，示出了从本车辆的上方看到的鸟瞰图像的合成图像100A。在合成图像100A中，本车辆的第一车辆10A例如显示于中央下部的位置。在该合成图像100A中，包含从岔道52进入干线公路51的第二车辆30A的图像，并且还包含后续的第三车辆30B的图像，从而第一车辆10A的搭乘者(驾驶员、同乘者)能够识别出本车辆无法拍摄到的区域的车辆、人物等物体。由此，在本车辆中，能够确认其它车辆从摄像范围外的接近。在图示例中，将对处于摄像范围外的后续的第三车辆进行拍摄所得到的图像进行合成，并进行显示，从而能够提前识别出从本车辆无法拍摄到的车辆等的存在。
另外，在使用AR-HUD作为显示部的情况下，通过AR(Augmented Reality：增强现实)技术来将视觉确认用合成图像叠加显示于本车辆的前车窗。由此，能够在视觉确认用合成图像中显示继第二车辆之后正在从摄像范围外的盲区接近的第三车辆，用户能够一边观察车辆前方，一边将第三车辆的接近和视野的实像一起识别出。
(实施方式2)
图3是示出实施方式2所涉及的本车辆与其它车辆的位置关系以及合成图像的例子的图。在实施方式2中，示出作为在满足规定条件的场景中相应的本车辆的状况的、在所行驶的道路的路边存在停放着的车辆的场景(存在停放车辆的场景)中的合成图像的生成例。
在实施方式2的场景中，作为本车辆的第一车辆10A正在道路53上行驶。在第一车辆10A的前方，作为其它车辆的第二车辆30A停放在道路53的路边，在该第二车辆30A的阴影处站着人物40并且正要冲向道路53。
在该情况下，人物40因作为停放车辆的第二车辆30A而成为盲区，第二车辆30A的前方处于从第一车辆10A的摄像机的摄像范围120偏离的摄像范围外。因此，难以从第一车辆10A拍摄到第二车辆30A的阴影部分的人物40等，在第一车辆10A中无法识别到人物40。另一方面，成为第一车辆10A的盲区的前方区域在第二车辆30A的摄像机的摄像范围130内，能够从第二车辆30A拍摄到人物40。因此，在第二车辆30A的摄像图像中包含人物40。
在本实施方式中，在第二车辆30A正停止在第一车辆10A行驶的行驶车道的情况下，在第一车辆10A中，获取由第二车辆30A拍摄到的他者图像，使用由本车辆拍摄到的自身图像和所获取到的他者图像来生成合成图像100B。在该情况下，从第一车辆10A对第二车辆30A请求摄像图像，并获取该摄像图像作为他者图像。第二车辆30A处于仅接收功能被激活的睡眠状态，当从第一车辆10A接收到请求时启动摄像机来进行拍摄，在向第一车辆10A发送摄像图像之后恢复为睡眠状态。或者，也可以是，在第二车辆30A中探测人物等移动物体，在探测到移动物体等事件发生时启动摄像机来进行拍摄，向第一车辆10A发送摄像图像。第二车辆30A在事件发生时由摄像机进行拍摄，向第一车辆10A通知摄像图像的发送准备完成，从第二车辆30A向第一车辆10A发送摄像图像作为他者图像。或者，第二车辆30A向第一车辆10A发送事件探测信号，响应于来自第一车辆10A的请求而向第一车辆10A发送摄像图像。第一车辆10A与第二车辆30A之间的图像传输等通信可以使用VtoV通信、5G的移动通信或者使用了无线LAN等的计算机网络的网络通信等。也可以是，第一车辆10A和第二车辆30A在规定时机尝试与周围进行通信，在能够进行通信的情况下，将在本车的附近存在能够连接的车辆这一情况作为状态信息进行保持，并进行图像数据等的发送接收。此外，关于摄像图像的合成，不仅可以是将在本车辆和一个其它车辆中获取到的图像进行合成，也可以是将在本车辆和多个其它车辆中获取到的图像进行合成，还可以是将在任意的多个车辆中获取到的图像进行合成。
在图3的例子中，示出了从本车辆的上方看到的鸟瞰图像的合成图像100B。在合成图像100B中，本车辆的第一车辆10A例如显示于中央下部的位置。在该合成图像100B中，还包含存在于第二车辆30A的阴影处的人物40的图像，从而第一车辆10A的搭乘者(驾驶员、同乘者)能够识别出本车辆无法拍摄到的区域的人物、自行车等物体。由此，能够事先掌握处于第二车辆30A的阴影的障碍物的存在，还能够对于人物、自行车等从停放车辆的阴影的冲出做出应对处理。
另外，在本车辆具备通知部的情况下，能够向用户通知人物等移动物体的存在，使用户提前识别出处于摄像范围外的人物、自行车等移动物体或者应注意的特征性物体。
(实施方式3)
图4是示出实施方式3所涉及的本车辆与其它车辆的位置关系以及合成图像的例子的图。在实施方式3中，示出作为在满足规定条件的场景中相应的本车辆的状况的、从合流车道向高速公路或旁路等干线公路合流的场景(合流的场景)中的合成图像的生成例。
在实施方式3的场景中，作为本车辆的第一车辆10A正在高速公路的合流车道54上行驶。在高速公路的主车道55上，作为其它车辆的第二车辆30A正在第一车道上行驶，作为另一其它车辆的第三车辆30B正在相邻的第二车道上行驶。在该情况下，第三车辆30B因第二车辆30A或高速公路的隔音墙等而成为从第一车辆10A来看的盲区，处于从第一车辆10A的摄像机的摄像范围120偏离的摄像范围外。因此，难以从第一车辆10A拍摄到第三车辆30B，在第一车辆10A的摄像图像中不包含第三车辆30B，在第一车辆10A中无法识别到在主车道55的第二车道上行驶的第三车辆30B。另一方面，第三车辆30B与第二车辆30A一起在第二车辆30A的摄像机的摄像范围130内，能够从第二车辆30A拍摄到第三车辆30B。因此，在第二车辆30A的摄像图像中包含第三车辆30B。
在本实施方式中，在第一车辆10A的行驶车道与第二车辆30A的行驶车道合流的情况下，在第一车辆10A中，获取由第二车辆30A拍摄到的他者图像，并使用由本车辆拍摄到的自身图像和所获取到的他者图像来生成合成图像100C。此外，作为其它车辆，也可以使用第三车辆30B来代替第二车辆30A，从第三车辆30B获取由第三车辆30B拍摄到的他者图像来进行合成。第一车辆10A与第二车辆30A或第三车辆30B之间的图像传输等通信可以与实施方式1同样地使用VtoV通信、5G的移动通信等。关于摄像图像的传输，既可以在本车辆即将合流时从第一车辆10A对第二车辆30A或第三车辆30B请求摄像图像，并获取该摄像图像作为他者图像，也可以在接近合流点时从第二车辆30A或第三车辆30B向附近的第一车辆10A发送摄像图像。也可以是，第一车辆10A、第二车辆30A以及第三车辆30B在规定时机尝试与周围进行通信，在能够进行通信的情况下，将在本车的附近存在能够连接的车辆这一情况作为状态信息进行保持，并进行图像数据等的发送接收。此外，关于摄像图像的合成，不仅可以是将在本车辆和一个其它车辆中获取到的图像进行合成，也可以是将在本车辆和多个其它车辆中获取到的图像进行合成，还可以是将在任意的多个车辆中获取到的图像进行合成。
在图4的例子中，示出了从本车辆的上方看到的鸟瞰图像的合成图像100C。在合成图像100C中，本车辆的第一车辆10A例如显示于图像中央的位置。在该合成图像100C中，包含正在高速公路的主车道55的第一车道上行驶的第二车辆30A的图像，并且还包含正在第二车道上行驶的第三车辆30B的图像，从而第一车辆10A的搭乘者(驾驶员、同乘者)能够识别出本车辆无法拍摄到的区域的第三车辆30B等物体的存在。由此，能够将可确认的区域扩大至摄像范围外或盲区的区域，能够确认更远方、更大范围内的车辆，因此能够进一步提高车辆合流时的安全性。
另外，在使用AR-HUD作为显示部的情况下，将视觉确认用合成图像叠加显示于本车辆的前车窗。由此，能够在视觉确认用合成图像中显示第二车辆以及正在摄像范围外的盲区区域中行驶的第三车辆，因此驾驶员和搭乘者能够在朝向车辆前方的状态下视觉确认合成图像，能够将第三车辆的接近和视野的实像一起识别出，能够在进一步提高了安全性的状态下进行顺畅的合流。
(实施方式4)
图5是示出实施方式4所涉及的本车辆与其它车辆的位置关系以及合成图像的例子的图。在实施方式4中，示出作为在满足规定条件的场景中相应的本车辆的状况的、在所行驶的道路的前方发生了拥堵等事件的场景(拥堵等场景)中的合成图像的生成例。
在实施方式4的场景中，在作为本车辆的第一车辆10A行驶的道路56的前方领先行驶着作为其它车辆的第二车辆30A，并且在第二车辆30A的前方的路边停放着作为另一其它车辆的停放车辆即第三车辆30B。第二车辆30A、作为本车辆的第一车辆10A以及后续的车辆因作为停放车辆的第三车辆30B而减速或停止，从而发生拥堵。在该情况下，第三车辆30B因第二车辆30A而成为盲区，第二车辆30A的前方处于从第一车辆10A的摄像机的摄像范围120偏离的摄像范围外。因此，难以从第一车辆10A拍摄到作为停放车辆的第三车辆30B等，在第一车辆10A中无法识别到行进方向前方的交通状况。另一方面，处于第一车辆10A的摄像范围外的前方区域在第二车辆30A的摄像机的摄像范围130内，能够从第二车辆30A拍摄到第三车辆30B。因此，在第二车辆30A的摄像图像中包含第三车辆30B。
在本实施方式中，在第一车辆10A中，获取由第二车辆30A拍摄到的他者图像，使用由本车辆拍摄到的自身图像和所获取到的他者图像来生成合成图像100D。在该情况下，第二车辆30A是包括第一车辆10A的行进方向前方的车辆和第一车辆10A的前方的处于该车辆的相向方向的车辆在内的车辆中的至少一个车辆。在图示例中，第二车辆30A为第一车辆10A的行进方向前方的车辆。关于摄像图像的传输，既可以从本车辆的第一车辆10A对作为其它车辆的第二车辆30A请求摄像图像，并获取该摄像图像作为他者图像，也可以在第二车辆30A探测到停放车辆或拥堵等事件发生时从第二车辆30A向第一车辆10A发送摄像图像。也可以是，第一车辆10A和第二车辆30A在规定时机尝试与周围进行通信，在能够进行通信的情况下，将在本车的附近存在能够连接的车辆这一情况作为状态信息进行保持，并进行图像数据等的发送接收。此外，关于摄像图像的合成，不仅可以是将在本车辆和一个其它车辆中获取到的图像进行合成，也可以是将在本车辆和多个其它车辆中获取到的图像进行合成，还可以是将在任意的多个车辆中获取到的图像进行合成。
在图5的例子中，示出了从本车辆的上方看到的鸟瞰图像的合成图像100D。在合成图像100D中，本车辆的第一车辆10A例如显示于中央下部的位置。在该合成图像100D中还包含存在于第二车辆30A的前方的作为停放车辆的第三车辆30B的图像，从而第一车辆10A的搭乘者(驾驶员、同乘者)能够识别出本车辆无法拍摄到的区域的停放车辆、拥堵、路面冻结、道路的凸凹、事故等事件发生以及交通状况。因此，能够大范围地掌握第二车辆30A的前方的交通状况。
另外，作为实施方式4的应用例，也可以获取由本车辆行驶的道路的行进方向前方的其它车辆和本车辆的前方的处于该车辆的相向方向的其它车辆拍摄到的他者图像，将这些他者图像与自身图像进行合成，来生成覆盖更大范围的合成图像。即，作为其它车辆的第二车辆是包括作为本车辆的第一车辆的行进方向前方的车辆和第一车辆的前方的处于该车辆的相向方向的车辆在内的车辆中的至少一个车辆，并获取由该第二车辆拍摄到的摄像图像作为他者图像来进行合成。在该情况下，例如，将各车辆拍摄到的图像作为包含事件信息的探测信息发送到服务器装置，在服务器装置中生成大范围的鸟瞰图像等合成图像，并将该合成图像与道路交通信息一起蓄积，服务器装置根据来自本车辆的请求来分发合成图像，由本车辆获取合成图像并显示该合成图像。或者，也可以使用服务器装置中蓄积的大范围的车辆的摄像图像，从本车辆获取期望的范围的摄像图像来生成合成图像。另外，还能够不使用服务器装置而在多个车辆之间以中继方式转发摄像图像，获取由多个车辆拍摄到的摄像图像来生成大范围的合成图像。此外，在应用例中，与自身图像的合成不是必须的，也可以是如下方式：从服务器装置获取他者之间的合成图像，并在本车辆显示该合成图像。另外，从服务器装置获取他者之间的合成图像并显示该合成图像的介质不限于是本车辆的显示装置，也可以是显示于包括个人计算机、智能手机、平板终端等在内的用户的移动终端的方式。
根据这样的应用例，能够将多个摄像图像合成来显示俯瞰大范围的俯瞰图像的合成图像，能够容易地识别例如在本车辆前方5km的道路存在大洞、发生了路面冻结、从前方3km起发生了拥堵等更大范围的事件发生、当前的道路状况、交通状况。
(实施方式5)
图6是示出实施方式5所涉及的本车辆与其它车辆的位置关系以及合成图像的例子的图。在实施方式5中，示出作为在满足规定条件的场景中相应的本车辆的状况的、在停放在具有多个停车位的停车场时附近存在作为停放车辆的其它车辆的场景(停车场的场景)中的合成图像的生成例。
在实施方式5的场景中，作为本车辆的第一车辆10A停放在停车场57中设置的多个停车位58中的一个停车位，并处于正在从该停车位出库的状况。或者，第一车辆10A处于正在入库的状况以停到停车位58中的一个停车位。例如，在高速公路的服务区、商业设施的停车场等中会遇到这样的场景。在相邻的停车位58停放着作为其它车辆的第二车辆30A，该第二车辆30A的阴影处站着人物40并且正向本车辆方向步行。此外，第二车辆30A不限于停放在第一车辆10A的旁边，也可以停放在附近的停车位58等停车场内的任一位置。在该情况下，人物40因处于停放状态的第二车辆30A而成为盲区，第二车辆30A的前方处于从第一车辆10A的摄像机的摄像范围120偏离的摄像范围外。因此，难以从第一车辆10A拍摄到第二车辆30A的阴影部分的人物40等，在第一车辆10A中无法识别到人物40。另一方面，成为第一车辆10A的盲区的前方区域在第二车辆30A的摄像机的摄像范围130内，能够从第二车辆30A拍摄到人物40。因此，在第二车辆30A的摄像图像中包含人物40。
在本实施方式中，当第一车辆10A正在停车场中进行入库或出库、且第二车辆30A停放在停车场内的任一位置的情况下，在第一车辆10A中，获取由第二车辆30A拍摄到的他者图像，并使用由本车辆拍摄到的自身图像和所获取到的他者图像来生成合成图像100E。第一车辆10A与第二车辆30A之间的图像传输等通信可以与实施方式2同样地使用VtoV通信、5G的移动通信或者使用了无线LAN等的计算机网络的网络通信等。关于摄像图像的传输，既可以在本车辆即将入库或出库时从第一车辆10A对第二车辆30A请求摄像图像，并获取该摄像图像作为他者图像，也可以在第二车辆30A探测到移动物体时从第二车辆30A向附近的第一车辆10A发送摄像图像。也可以是，第一车辆10A和第二车辆30A在规定时机尝试与周围进行通信，在能够进行通信的情况下，将在本车的附近存在能够连接的车辆这一情况作为状态信息进行保持，并进行图像数据等的发送接收。此外，关于摄像图像的合成，不仅可以是将在本车辆和一个其它车辆中获取到的图像进行合成，也可以是将在本车辆和多个其它车辆中获取到的图像进行合成，还可以是将在任意的多个车辆中获取到的图像进行合成。
在图6的例子中，示出了从本车辆的上方看到的鸟瞰图像的合成图像100E。在合成图像100E中，本车辆的第一车辆10A例如显示于中央下部的位置。在该合成图像100E中，还包含存在于第二车辆30A的阴影处的人物40的图像，从而第一车辆10A的搭乘者(驾驶员、同乘者)能够识别出本车辆无法拍摄到的区域的人物等物体。由此，能够在入库出库的起步时或行驶时事先掌握处于第二车辆30A的阴影的障碍物的存在，对于人物等从停放车辆的阴影中的冲出也能够做出应对。
另外，在本车辆具备通知部的情况下，能够向用户通知人物等移动物体的存在，使用户提前识别出处于摄像范围外的人物、自行车等物体。
下面，举出一个例子来具体地说明使用了自身图像和他者图像的视觉确认用合成图像的生成动作。
(合成图像的生成处理的一例)
图7是示出视觉确认用合成图像的生成处理的一例的流程图。在图7中，示出在本车辆10的获取部11和合成部12中生成合成图像的例子。
本车辆10的获取部11从搭载于本车辆的摄像机21A、21B、21C、21D获取自身图像的摄像图像。另外，获取部11与其它车辆30进行通信，来从其它车辆30的摄像机31获取他者图像的摄像图像。另外，也可以与在道路的路边、红绿灯、标识、指路牌、天桥、高架等基础设施设置的其它摄像部进行通信来获取他者图像的摄像图像。这样，获取部11除了获取自身图像以外，还获取他者图像的摄像图像(S11)。
在从多个摄像图像生成鸟瞰图像等合成图像时，例如能够使用专利文献1等所记载的现有技术来进行多个摄像图像的空间重构、视点转换等处理，由此生成从期望的视点观察时的合成图像。在只有本车辆的摄像机的情况下，各摄像机的位置、摄像图像的视角是预先知晓的，摄像机之间的相对位置、各摄像机的摄像范围是通过出厂时的调整等规定的。因此，在生成合成图像时，能够将多个摄像图像中的被摄体的各像素重新配置在三维空间上来进行合成。
另一方面，如本实施方式那样，在除了使用自身图像之外还使用他者图像的情况下，提取多个摄像图像中共通存在的特征点，以基于特征点的似然度来使特征点的三维位置一致的方式将各像素重新配置在三维空间上，来将多个摄像图像进行合成。
此外，也可以使用准天顶卫星系统(QZSS：Quasi-Zenith Satellite System)等高精度定位系统或者LiDAR(Light Detection and Ranging：光探测和测距)来检测其它车辆与本车辆的多个摄像部的相对位置，并基于各摄像部的位置信息来生成合成图像。
本车辆10的合成部12提取所要合成的多个摄像图像中的特征点(S12)。作为特征点，使用道路的边界线、表示车道的白线或黄线、表示停车位的白线、护栏或隔音墙等道路周缘部的固定物等即可。
合成部12基于在获取到的多个摄像图像中提取出的特征点的似然度，来执行摄像图像的空间重构处理(S13)。此时，合成部12基于特征点的似然度来计算被摄体的各像素与三维坐标系的点之间的对应关系，以使特征点的三维位置一致的方式重新配置在三维空间上。
接着，合成部12使用重新配置到三维空间上的各像素的像素信息，例如以使本车辆10的垂直上方为视点位置的方式进行向规定的视点位置转换的视点转换处理(S14)。然后，合成部12将视点转换后的摄像图像的各像素进行合成，来生成从本车辆10的正上方俯视的鸟瞰图像的合成图像(S15)。此外，视点位置不限于是本车辆10的正上方的位置，还能够设定斜上方的位置等规定的位置，从而能够生成从斜上方俯视的俯瞰图像等从期望的视点来看的合成图像。
这样，通过生成包含自身图像的摄像图像和他者图像的摄像图像的鸟瞰图像的合成图像，能够获得包含本车辆的摄像范围外的区域的大范围的视觉确认用合成图像，能够扩大用户的视觉确认范围。
(他者图像的获取动作的第一例)
图8是示出获取他者图像的摄像图像的图像获取动作的第一例的序列图。第一例示出从本车辆对具有其它摄像部的其它车辆请求他者图像来获取他者图像的情况的动作例。在第一例中，假定以下情况：在本车辆获取由其它摄像部拍摄到的他者图像来生成合成图像时，作为图像获取目标的其它车辆为停车状态而处于睡眠状态。此时，其它车辆在自身的摄像部中停止拍摄，停止摄像图像的合成处理、显示处理等，摄像部和控制部处于睡眠状态。
在满足规定条件的场景中，本车辆10的获取部11在自己的通信区域内发送他者图像的图像请求，对附近存在的其它车辆30发送图像请求(S21)。当在睡眠状态下从附近的车辆接收到图像请求时(S31)，其它车辆30的控制部启动而解除作为摄像部的摄像机31的睡眠状态(S32)，开启用于测量未接收到图像请求的期间的未接收图像请求计时器(S33)。然后，其它车辆30的控制部利用摄像机31拍摄周围图像(S34)，对接收到图像请求的本车辆10进行摄像图像的图像发送(S35)。
本车辆10的获取部11对从其它车辆30传输来的他者图像的摄像图像进行图像接收处理来获取他者图像(S22)。另外，获取部11获取由作为本车辆10的摄像部的摄像机21A～21D拍摄到的自身图像的摄像图像。本车辆10的合成部12使用所获取到的自身图像的摄像图像和他者图像的摄像图像，来执行图7所示那样的图像合成处理，从而生成鸟瞰图像的合成图像(S23)。然后，本车辆10的显示部13执行所生成的合成图像的图像显示处理，来显示鸟瞰图像的合成图像(S24)。例如，在使用AR-HUD作为显示部13的情况下，通过AR技术来将合成图像叠加显示于本车辆的前车窗，由此用户能够将表示当前的车辆周围的状况的合成图像与车辆前方的视野的实像一起进行视觉确认而将它们识别出。
其它车辆30的控制部对未接收图像请求计时器的值进行监视，判断未接收图像请求计时器的值是否超过规定的阈值(S36)。在此，在未接收图像请求计时器的值超过了规定的阈值的情况下，即未接收到图像请求的期间为规定时间以上的情况下，其它车辆30的控制部执行睡眠状态转变处理来使摄像部和控制部转变为睡眠状态(S37)。由此，其它车辆30恢复为接收图像请求之前的状态，在睡眠状态下进行待机。
这样，在规定的场景中从本车辆向其它车辆发送请求来获取他者图像的摄像图像，能够生成包含自身图像和他者图像的视觉确认用合成图像。
(他者图像的获取动作的第二例)
图9是示出获取他者图像的摄像图像的图像获取动作的第二例的序列图。第二例示出在其它车辆中探测周边的移动物体并且从睡眠状态启动来对本车辆发送他者图像并使得本车辆获取他者图像的情况的动作例。在第二例中，假定以下情况：在其它车辆为停车状态而处于睡眠状态时，使移动物体的探测功能有效，以低周期拍摄周围图像。
其它车辆30的控制部在睡眠状态下利用摄像机31以低周期拍摄周围图像(S41)。在此，作为满足规定条件的场景，其它车辆30的控制部判断是否由搭载于自身的传感器探测到周边的移动物体(S42)。作为探测移动物体的传感器，可以使用振动传感器、加速度传感器、红外线传感器等各种传感器。在此，在其它车辆30的周边探测到人物等移动物体的情况下，其它车辆30的控制部启动而解除作为摄像部的摄像机31的睡眠状态(S43)，开启用于测量从探测到移动物体起的期间的移动物探测计时器(S44)。然后，其它车辆30的控制部利用摄像机31拍摄周围图像(S45)，对周围的车辆进行连接请求，确认在自己的通信区域内是否存在能够获取摄像图像的车辆。接着，其它车辆30的控制部对处于自己附近的本车辆10进行摄像图像的图像发送(S46)。
本车辆10的获取部11对从其它车辆30传输来的他者图像的摄像图像进行图像接收处理来获取他者图像(S51)。另外，获取部11获取由作为本车辆10的摄像部的摄像机21A～21D拍摄到的自身图像的摄像图像。本车辆10的合成部12使用所获取到的自身图像的摄像图像和他者图像的摄像图像，来执行图7所示那样的图像合成处理，从而生成鸟瞰图像的合成图像(S52)。然后，本车辆10的显示部13执行所生成的合成图像的图像显示处理，来显示鸟瞰图像的合成图像(S53)。
其它车辆30的控制部继图像发送处理之后，判断是否仍旧探测到周边的移动物体(S47)，在继续探测到移动物体的情况下，返回到步骤S45来继续进行周围图像的拍摄及转发的处理。在周边未探测到移动物体的情况下，其它车辆30的控制部对移动物探测计时器的值进行监视，判断移动物探测计时器的值是否超过规定的阈值(S48)。在此，在移动物探测计时器的值超过了规定的阈值的情况下，即在探测到移动物体后未继续探测到移动物体而经过了规定时间的情况下，其它车辆30的控制部执行睡眠状态转变处理而使摄像部和控制部转变为睡眠状态(S49)。由此，其它车辆30恢复为探测移动物体之前的状态，在睡眠状态下进行待机。
这样，在规定的场景中，从其它车辆向本车辆发送摄像图像，由本车辆获取他者图像的摄像图像，能够生成包含自身图像和他者图像的视觉确认用合成图像。
此外，作为搭载本实施方式的驾驶辅助装置的移动体，不限于是汽车、卡车等车辆，还能够应用于无人机等飞行体、其它移动体。
根据本实施方式，关于无法由自身的移动体拍摄到的摄像范围外(包含因盲区而处于摄像范围外的区域)的区域，能够获取由其它摄像部拍摄到的摄像图像，并将由其它摄像部拍摄到的摄像图像与由自身的移动体拍摄到的摄像图像一起进行图像合成，来得到视觉确认用合成图像。因此，能够不限定于自身的摄像范围而生成与移动体的运行状态、周围的状态等相应的适当的图像，用户对于搭载于车辆等移动体的摄像机的摄像范围外的区域也能够进行确认。
如上所述，本实施方式的驾驶辅助装置、驾驶辅助方法以及程序是用于辅助车辆等移动体的驾驶的驾驶辅助装置，例如包括由具有处理器和存储器的合成部12等构成的处理部(例如处理设备)、以及具有通信功能的获取部11(例如摄像机接口、通信接口等接口)。例如，在本车辆10中具有获取部11和合成部12。获取部11输入并获取由搭载于自身的移动体(本车辆10)的摄像部(摄像机21A、21B、21C、21D)拍摄移动体的周围所得到的自身图像和由其它摄像部(其它车辆30的摄像机31)拍摄到的他者图像。作为处理部的合成部12将包括自身图像和他者图像的多个图像进行合成，来生成视觉确认用合成图像。由此，对于自身图像的摄像范围外，也能够获取他者图像来进行合成，从而能够扩大视觉确认用合成图像中所示的范围。例如，能够通过视觉确认用合成图像来掌握存在于自身的移动体的摄像范围外的其它移动体、人物等物体的存在。因而，能够生成与车辆等移动体的运行状态、周围的状态等相应的适当的图像来进行驾驶辅助。
另外，作为处理部的合成部12在生成视觉确认用合成图像时，可以将合成多个自身图像所得到的第一合成图像与合成多个他者图像所得到的第二合成图像进行合成。另外，作为处理部的合成部12在生成视觉确认用合成图像时，可以将多个自身图像与一个或多个他者图像的各个图像进行合成。另外，作为处理部的合成部12在生成视觉确认用合成图像时，可以将合成多个自身图像所得到的第一合成图像与一个或多个他者图像进行合成。由此，能够根据状况将自身图像与他者图像适当地进行合成来生成视觉确认用合成图像。
另外，作为处理部的合成部12可以提取自身图像和他者图像的各图像中的特征点，并基于特征点的似然度将包括自身图像和他者图像的多个图像进行合成。由此，能够以基于各图像中的特征点的似然度使特征点的三维位置一致的方式将各像素重新配置在三维空间上，来将多个摄像图像进行合成。此外，可以检测自身的移动体的摄像部与其它摄像部的各摄像部的相对位置，并基于各摄像部的位置信息来生成合成图像。由此，能够基于各摄像部的位置信息来将多个摄像图像的各像素重新配置在三维空间上，从而将多个摄像图像进行合成。
另外，作为处理部的合成部12可以将自身图像和他者图像的各个图像中的被摄体的各像素重新配置在三维空间上，进行向规定的视点位置转换的视点转换处理后将多个图像进行合成，来生成视觉确认用合成图像。由此，生成进行了视点转换处理后的合成图像，并显示例如从自身的移动体的正上方俯视的鸟瞰图像、从规定的视点位置看到的俯瞰图像等，使用户能够容易地确认当前的周围状况。
另外，作为处理部的合成部12可以将进行合成所得到的图像提供给显示部13，使得通过显示部13(例如显示设备)显示视觉确认用合成图像。由此，使显示部13显示视觉确认用合成图像，从而用户能够容易地确认当前的周围状况。此外，通过在作为自身的移动体的本车辆10中具备显示部13，用户能够容易地确认表示当前的周围状况的视觉确认用合成图像。
另外，显示部13可以是包括AR-HUD的显示装置。通过将AR-HUD用作显示部13，用户能够在朝向前方的状态下视觉确认周围的实像和视觉确认用合成图像，能够提高驾驶时的操作性和可视性。
另外，也可以是，在视觉确认用合成图像的图像中存在规定的物体的情况下，作为处理部的合成部12向通知部发送通知信息，使得通过通知部向用户通知规定的物体的存在。由此，通过例如声音、光等向用户进行通知，由此能够向用户通知在周围存在规定的物体、周围状况变为规定的状态。此外，通过在作为自身的移动体的本车辆10中具备通知部，用户能够容易地识别当前的周围状况。
另外，也可以是，自身的移动体是本车辆10，其它摄像部是搭载于作为其它移动体的其它车辆30的摄像部(摄像机31)，或者是搭载于在本车辆10行驶的道路或停车场中设置的关联设备的摄像部。由此，对于本车辆的摄像范围外，也能够从其它车辆或者关联设备的基础设施的摄像部获取他者图像来进行合成，能够通过视觉确认用合成图像来掌握存在于本车辆的摄像范围外的其它车辆、人物等障碍物的存在。
另外，也可以是，作为本车辆的第一车辆10A具有获取部11、作为处理部的合成部12以及用于显示视觉确认用合成图像的显示部13，作为其它车辆的第二车辆30A具有摄像部，在第一车辆10A的行进方向与第二车辆30A的行进方向相交的情况下，第一车辆的获取部11从第二车辆获取由第二车辆的摄像部(摄像机31)拍摄到的他者图像，第一车辆的作为处理部的合成部12将由第一车辆所具备的摄像部(摄像机21A、21B、21C、21D)拍摄到的自身图像与从第二车辆获取到的他者图像进行合成。由此，例如在路口的场景中，能够识别出处于本车辆的摄像范围外的其它车辆，能够确认其它车辆从摄像范围外的接近。
另外，也可以是，作为本车辆的第一车辆10A具有获取部11、作为处理部的合成部12以及用于显示视觉确认用合成图像的显示部13，作为其它车辆的第二车辆30A具有摄像部，在第二车辆30A正停止在第一车辆10A行驶的行驶车道的情况下，第一车辆的获取部11从第二车辆获取由第二车辆的摄像部(摄像机31)拍摄到的他者图像，第一车辆的作为处理部的合成部12将由第一车辆所具备的摄像部(摄像机21A、21B、21C、21D)拍摄到的自身图像与从第二车辆获取到的他者图像进行合成。由此，例如在存在停放车辆的场景中，能够识别出处于本车辆的摄像范围外的盲区的物体，能够事先掌握处于其它车辆的阴影处的人物等障碍物的存在，对于冲出等能够做出应对。
另外，也可以是，作为本车辆的第一车辆10A具有获取部11、作为处理部的合成部12以及用于显示视觉确认用合成图像的显示部13，作为其它车辆的第二车辆30A具有摄像部，在第一车辆10A的行驶车道与第二车辆30A的行驶车道合流的情况下，第一车辆的获取部11从第二车辆获取由第二车辆的摄像部(摄像机31)拍摄到的他者图像，第一车辆的作为处理部的合成部12将由第一车辆所具备的摄像部(摄像机21A、21B、21C、21D)拍摄到的自身图像与从第二车辆获取到的他者图像进行合成。由此，例如在合流的场景中，能够扩大本车辆能够确认的区域，能够识别出处于摄像范围外或者盲区的其它车辆，因此能够进一步提高车辆合流时的安全性。
另外，也可以是，作为本车辆的第一车辆10A具有获取部11、作为处理部的合成部12以及用于显示视觉确认用合成图像的显示部13，作为其它车辆的第二车辆30A具有摄像部，第二车辆30A是包括第一车辆的行进方向前方的车辆和第一车辆的前方的处于该车辆的相向方向的车辆在内的车辆中的至少一个车辆，第一车辆的获取部11从第二车辆获取由第二车辆的摄像部(摄像机31)拍摄到的他者图像，第一车辆的作为处理部的合成部12将由第一车辆所具备的摄像部(摄像机21A、21B、21C、21D)拍摄到的自身图像与从第二车辆获取到的他者图像进行合成。由此，例如在拥堵等场景中，能够识别出处于本车辆的摄像范围外的其它车辆等的状况，能够大范围地掌握本车辆无法拍摄到的区域的停放车辆、拥堵、路面冻结、道路的凸凹、事故等事件发生以及交通状况。
另外，也可以是，作为本车辆的第一车辆10A具有用于显示视觉确认用合成图像的显示部13，作为其它车辆的第二车辆30A具有摄像部，能够与本车辆及其它车辆进行通信的服务器装置具有获取部11和作为处理部的合成部12，第二车辆30A是包括第一车辆的行进方向前方的车辆和第一车辆的前方的处于该车辆的相向方向的车辆在内的车辆中的至少一个车辆，服务器装置的获取部11从第二车辆获取由第二车辆的摄像部(摄像机31)拍摄到的他者图像，服务器装置的作为处理部的合成部12将由第一车辆所具备的摄像部(摄像机21A、21B、21C、21D)拍摄到的自身图像与从第二车辆获取到的他者图像进行合成，服务器装置向第一车辆的显示部13发送视觉确认用合成图像。由此，能够将很多摄像图像进行合成来显示俯瞰大范围的俯瞰图像的合成图像，能够容易地识别出例如前方数km的道路状况等更大范围内的事件发生、当前的道路状况、交通状况。
另外，也可以是，作为本车辆的第一车辆10A具有获取部11、作为处理部的合成部12以及用于显示视觉确认用合成图像的显示部13，作为其它车辆的第二车辆30A具有摄像部，在第一车辆正在停车场中进行入库或出库、且第二车辆停在停车场内的任一位置的情况下，第一车辆的获取部11从第二车辆获取由第二车辆的摄像部(摄像机31)拍摄到的他者图像，第一车辆的作为处理部的合成部12将由第一车辆所具备的摄像部(摄像机21A、21B、21C、21D)拍摄到的自身图像与从第二车辆获取到的他者图像进行合成。由此，例如在停车场的场景中，能够识别出本车辆无法拍摄到的区域的物体，能够在入库出库的起步时或行驶时事先掌握处于其它车辆的阴影中的人物等障碍物的存在，对于人物等从停放车辆的阴影中的冲出也能够做出应对。
以上，参照附图对各种实施方式进行了说明，但本公开不限定于上述的例子，这是不言而喻的。如果是本领域技术人员，则明确可知的是，在权利要求书所记载的范畴内，能够想到各种变更例、修正例、置换例、附加例、删除例、等同例，并且能够理解这些当然也属于本公开的技术范围。另外，也可以在不脱离发明的主旨的范围内将上述的各种实施方式中的各构成要素任意地组合。
此外，本申请以2019年12月25日申请的日本专利申请(特愿2019-235099)为优先权主张基础，该申请的内容作为参照被引用到本申请中。
产业上的可利用性
本公开具有能够生成与车辆等移动体的运行状态、周围的状态等相应的适当的图像来进行驾驶辅助的效果，作为用于辅助车辆等移动体的驾驶的驾驶辅助装置、驾驶辅助方法以及程序是有用的。
附图标记说明
10：本车辆；10A：第一车辆；11：获取部；12：合成部；13：显示部；21A、21B、21C、21D、31：摄像机；30：其它车辆；30A：第二车辆；30B：第三车辆；40：人物；51：干线公路；52：岔道；53、56：道路；54：合流车道；55：主车道；57：停车场；58：停车位；100A、100B、100C、100D、100E：合成图像；120、130：摄像范围。

Claims (18)

1.一种驾驶辅助装置，用于辅助移动体的驾驶，所述驾驶辅助装置具备：
获取部，其获取由搭载于自身的移动体的摄像部拍摄所述移动体的周围所得到的自身图像和由其它摄像部拍摄到的他者图像；以及
处理部，其将包括所述自身图像和所述他者图像的多个图像进行合成，来生成视觉确认用合成图像。
2.根据权利要求1所述的驾驶辅助装置，其中，
所述处理部在生成所述视觉确认用合成图像时，将合成多个所述自身图像所得到的第一合成图像与合成多个所述他者图像所得到的第二合成图像进行合成。
3.根据权利要求1所述的驾驶辅助装置，其中，
所述处理部在生成所述视觉确认用合成图像时，将多个所述自身图像与一个或多个所述他者图像的各个图像进行合成。
4.根据权利要求1所述的驾驶辅助装置，其中，
所述处理部在生成所述视觉确认用合成图像时，将合成多个所述自身图像所得到的第一合成图像与一个或多个所述他者图像进行合成。
5.根据权利要求1～4中的任一项所述的驾驶辅助装置，其中，
所述处理部提取所述自身图像和所述他者图像的各图像中的特征点，并基于所述特征点的似然度来将包括所述自身图像和所述他者图像的多个图像进行合成。
6.根据权利要求1～5中的任一项所述的驾驶辅助装置，其中，
所述处理部将所述自身图像和所述他者图像的各个图像中的被摄体的各像素重新配置在三维空间上，进行向规定的视点位置转换的视点转换处理后将多个图像进行合成，来生成所述视觉确认用合成图像。
7.根据权利要求1～6中的任一项所述的驾驶辅助装置，其中，
所述处理部将进行所述合成所得到的图像提供给显示部，使得通过所述显示部显示所述视觉确认用合成图像。
8.根据权利要求7所述的驾驶辅助装置，其中，
所述显示部是包括增强现实平视显示器即AR-HUD的显示装置。
9.根据权利要求1～8中的任一项所述的驾驶辅助装置，其中，
在所述视觉确认用合成图像的图像中存在规定的物体的情况下，所述处理部向通知部发送通知信息，使得通过所述通知部向用户通知所述规定的物体的存在。
10.根据权利要求1所述的驾驶辅助装置，其中，
所述自身的移动体是本车辆，
所述其它摄像部是搭载于作为其它移动体的其它车辆的摄像部，或者是搭载于在所述本车辆行驶的道路或停车场中设置的关联设备的摄像部。
11.根据权利要求10所述的驾驶辅助装置，其中，
作为所述本车辆的第一车辆具有所述获取部、所述处理部以及用于显示所述视觉确认用合成图像的显示部，
作为所述其它车辆的第二车辆具有摄像部，
在所述第一车辆的行进方向与所述第二车辆的行进方向相交的情况下，
所述第一车辆的获取部从所述第二车辆获取由所述第二车辆的摄像部拍摄到的他者图像，
所述第一车辆的处理部将由所述第一车辆所具备的摄像部拍摄到的自身图像与从所述第二车辆获取到的他者图像进行合成。
12.根据权利要求10所述的驾驶辅助装置，其中，
作为所述本车辆的第一车辆具有所述获取部、所述处理部以及用于显示所述视觉确认用合成图像的显示部，
作为所述其它车辆的第二车辆具有摄像部，
在所述第二车辆正停止在所述第一车辆行驶的行驶车道的情况下，
所述第一车辆的获取部从所述第二车辆获取由所述第二车辆的摄像部拍摄到的他者图像，
所述第一车辆的处理部将由所述第一车辆所具备的摄像部拍摄到的自身图像与从所述第二车辆获取到的他者图像进行合成。
13.根据权利要求10所述的驾驶辅助装置，其中，
作为所述本车辆的第一车辆具有所述获取部、所述处理部以及用于显示所述视觉确认用合成图像的显示部，
作为所述其它车辆的第二车辆具有摄像部，
在所述第一车辆的行驶车道与所述第二车辆的行驶车道合流的情况下，
所述第一车辆的获取部从所述第二车辆获取由所述第二车辆的摄像部拍摄到的他者图像，
所述第一车辆的处理部将由所述第一车辆所具备的摄像部拍摄到的自身图像与从所述第二车辆获取到的他者图像进行合成。
14.根据权利要求10所述的驾驶辅助装置，其中，
作为所述本车辆的第一车辆具有所述获取部、所述处理部以及用于显示所述视觉确认用合成图像的显示部，
作为所述其它车辆的第二车辆具有摄像部，
所述第二车辆是包括所述第一车辆的行进方向前方的车辆和所述第一车辆的前方的处于该车辆的相向方向的车辆在内的车辆中的至少一个车辆，
所述第一车辆的获取部从所述第二车辆获取由所述第二车辆的摄像部拍摄到的他者图像，
所述第一车辆的处理部将由所述第一车辆所具备的摄像部拍摄到的自身图像与从所述第二车辆获取到的他者图像进行合成。
15.根据权利要求10所述的驾驶辅助装置，其中，
作为所述本车辆的第一车辆具有用于显示所述视觉确认用合成图像的显示部，
作为所述其它车辆的第二车辆具有摄像部，
能够与所述本车辆及所述其它车辆进行通信的服务器装置具有所述获取部和所述处理部，
所述第二车辆是包括所述第一车辆的行进方向前方的车辆和所述第一车辆的前方的处于该车辆的相向方向的车辆在内的车辆中的至少一个车辆，
所述服务器装置的获取部从所述第二车辆获取由所述第二车辆的摄像部拍摄到的他者图像，
所述服务器装置的处理部将由所述第一车辆所具备的摄像部拍摄到的自身图像与从所述第二车辆获取到的他者图像进行合成，
所述服务器装置向所述第一车辆的显示部发送所述视觉确认用合成图像。
16.根据权利要求10所述的驾驶辅助装置，其中，
作为所述本车辆的第一车辆具有所述获取部、所述处理部以及用于显示所述视觉确认用合成图像的显示部，
作为所述其它车辆的第二车辆具有摄像部，
在所述第一车辆正在停车场中进行入库或出库、且所述第二车辆停在所述停车场内的任一位置的情况下，
所述第一车辆的获取部从所述第二车辆获取由所述第二车辆的摄像部拍摄到的他者图像，
所述第一车辆的处理部将由所述第一车辆所具备的摄像部拍摄到的自身图像与从所述第二车辆获取到的他者图像进行合成。
17.一种驾驶辅助方法，是用于辅助移动体的驾驶的驾驶辅助装置中的驾驶辅助方法，所述驾驶辅助方法包括以下步骤：
获取由搭载于自身的移动体的摄像部拍摄所述移动体的周围所得到的自身图像和由其它摄像部拍摄到的他者图像；以及
将包括所述自身图像和所述他者图像的多个图像进行合成，来生成视觉确认用合成图像。
18.一种程序，用于使计算机执行驾驶辅助方法的各步骤，所述驾驶辅助方法用于辅助移动体的驾驶，所述驾驶辅助方法包括以下步骤：
获取由搭载于自身的移动体的摄像部拍摄所述移动体的周围所得到的自身图像和由其它摄像部拍摄到的他者图像；以及
将包括所述自身图像和所述他者图像的多个图像进行合成，来生成视觉确认用合成图像。
CN202080089687.4A 2019-12-25 2020-09-29 驾驶辅助装置、驾驶辅助方法以及程序 Pending CN114902309A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-235099 2019-12-25
JP2019235099A JP2021103481A (ja) 2019-12-25 2019-12-25 運転支援装置、運転支援方法及びプログラム
PCT/JP2020/036877 WO2021131201A1 (ja) 2019-12-25 2020-09-29 運転支援装置、運転支援方法及びプログラム

Publications (1)

Publication Number Publication Date
CN114902309A true CN114902309A (zh) 2022-08-12

Family

ID=76575864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080089687.4A Pending CN114902309A (zh) 2019-12-25 2020-09-29 驾驶辅助装置、驾驶辅助方法以及程序

Country Status (5)

Country Link
US (1) US20220319192A1 (zh)
JP (1) JP2021103481A (zh)
CN (1) CN114902309A (zh)
DE (1) DE112020006319T5 (zh)
WO (1) WO2021131201A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210316734A1 (en) * 2020-04-14 2021-10-14 Subaru Corporation Vehicle travel assistance apparatus
CN116348283A (zh) 2020-10-16 2023-06-27 凸版印刷株式会社 层叠膜、包装袋、包装体以及层叠膜的制造方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005326956A (ja) * 2004-05-12 2005-11-24 Alpine Electronics Inc 駐車場空きスペース案内装置及び駐車場空きスペース案内方法
US20070139523A1 (en) * 2005-12-15 2007-06-21 Toshio Nishida Photographing apparatus, image signal choosing apparatus, driving assisting apparatus and automobile
JP2008217813A (ja) * 2008-04-08 2008-09-18 Sumitomo Electric Ind Ltd 衝突情報提供装置及び方法
JP2014089491A (ja) * 2012-10-29 2014-05-15 Hitachi Consumer Electronics Co Ltd 映像処理システム
CN104349026A (zh) * 2013-08-06 2015-02-11 现代自动车株式会社 用于提供环视监视图像的装置和方法
JP2016082409A (ja) * 2014-10-17 2016-05-16 株式会社Ｊｖｃケンウッド 無線通信装置
JP2017068640A (ja) * 2015-09-30 2017-04-06 ヤマハ株式会社 車両間データ通信装置
KR20180006733A (ko) * 2016-07-11 2018-01-19 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
CN108327719A (zh) * 2018-01-31 2018-07-27 京东方科技集团股份有限公司 辅助车辆行驶的方法及装置
CN109803867A (zh) * 2016-10-11 2019-05-24 三星电子株式会社 用于将视线确保图像提供给车辆的方法及用于其的电子设备和计算机可读记录介质
CN109936702A (zh) * 2017-12-18 2019-06-25 福特全球技术公司 用于车辆自成像的车辆间协作
CN110085055A (zh) * 2018-01-24 2019-08-02 福特全球技术公司 用于车辆自高估计的车辆间合作

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2309453A3 (en) 1998-07-31 2012-09-26 Panasonic Corporation Image displaying apparatus and image displaying method
JP4643860B2 (ja) * 2001-06-12 2011-03-02 クラリオン株式会社 車両用視覚支援装置及び支援方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005326956A (ja) * 2004-05-12 2005-11-24 Alpine Electronics Inc 駐車場空きスペース案内装置及び駐車場空きスペース案内方法
US20070139523A1 (en) * 2005-12-15 2007-06-21 Toshio Nishida Photographing apparatus, image signal choosing apparatus, driving assisting apparatus and automobile
JP2007164549A (ja) * 2005-12-15 2007-06-28 Hitachi Ltd 撮像装置、映像信号の選択装置、運転支援装置、自動車
JP2008217813A (ja) * 2008-04-08 2008-09-18 Sumitomo Electric Ind Ltd 衝突情報提供装置及び方法
JP2014089491A (ja) * 2012-10-29 2014-05-15 Hitachi Consumer Electronics Co Ltd 映像処理システム
CN104349026A (zh) * 2013-08-06 2015-02-11 现代自动车株式会社 用于提供环视监视图像的装置和方法
JP2016082409A (ja) * 2014-10-17 2016-05-16 株式会社Ｊｖｃケンウッド 無線通信装置
JP2017068640A (ja) * 2015-09-30 2017-04-06 ヤマハ株式会社 車両間データ通信装置
KR20180006733A (ko) * 2016-07-11 2018-01-19 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
CN109803867A (zh) * 2016-10-11 2019-05-24 三星电子株式会社 用于将视线确保图像提供给车辆的方法及用于其的电子设备和计算机可读记录介质
CN109936702A (zh) * 2017-12-18 2019-06-25 福特全球技术公司 用于车辆自成像的车辆间协作
CN110085055A (zh) * 2018-01-24 2019-08-02 福特全球技术公司 用于车辆自高估计的车辆间合作
CN108327719A (zh) * 2018-01-31 2018-07-27 京东方科技集团股份有限公司 辅助车辆行驶的方法及装置

Also Published As

Publication number Publication date
WO2021131201A1 (ja) 2021-07-01
DE112020006319T5 (de) 2022-11-24
US20220319192A1 (en) 2022-10-06
JP2021103481A (ja) 2021-07-15

Similar Documents

Publication Publication Date Title
US11027654B2 (en) Vehicle vision system with compressed video transfer via DSRC link
JP5070809B2 (ja) 運転支援装置、運転支援方法、及び、プログラム
US6396535B1 (en) Situation awareness system
EP1961613B1 (en) Driving support method and driving support device
US8624717B2 (en) Image processor, storage medium storing an image processing program and vehicle-mounted terminal
JP2008250503A (ja) 運転支援装置
DE112015001534T5 (de) Fahrzeugerkennungsbenachrichtigungsvorrichtung und Fahrzeugerkennungsbenachrichtigungssystem
JP2001101566A (ja) 交通安全確認システム
CN102458964A (zh) 用于车辆停泊中的摄像机系统
JP4093026B2 (ja) 道路環境情報通知装置、車載報知装置、情報センタ内装置、及び道路環境情報通知プログラム
US20220319192A1 (en) Driving assistance device, driving assistance method, and non-transitory computer-readable medium
US20130021453A1 (en) Autostereoscopic rear-view display system for vehicles
US20190135169A1 (en) Vehicle communication system using projected light
CN107406072B (zh) 车辆辅助系统
JP2002367080A (ja) 車両用視覚支援方法及び装置
JP4214841B2 (ja) 周囲状況認識システム
US11697425B1 (en) Method and system for assisting drivers in locating objects that may move into their vehicle path
JP2020065141A (ja) 車両の俯瞰映像生成システム及びその方法
US11397322B2 (en) Image providing system for vehicle, server system, and image providing method for vehicle
JP4848644B2 (ja) 障害物認識システム
JP4986070B2 (ja) 車両用周囲監視装置
WO2011135778A1 (ja) 画像処理装置、カーナビゲーションシステム、及び路上カメラシステム
CN110794821B (zh) 车载控制装置、场端定位装置、车辆控制系统及车辆
CN109070799B (zh) 移动体周围显示方法及移动体周围显示装置
US20190111918A1 (en) Vehicle system with safety features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20220812

WD01 Invention patent application deemed withdrawn after publication