CN114206674A - 周边影像生成装置、周边影像生成方法以及程序 - Google Patents

周边影像生成装置、周边影像生成方法以及程序 Download PDF

Info

Publication number
CN114206674A
CN114206674A CN202080056408.4A CN202080056408A CN114206674A CN 114206674 A CN114206674 A CN 114206674A CN 202080056408 A CN202080056408 A CN 202080056408A CN 114206674 A CN114206674 A CN 114206674A
Authority
CN
China
Prior art keywords
image
occlusion region
peripheral
unit
peripheral image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080056408.4A
Other languages
English (en)
Inventor
小口贵弘
服部阳介
关川雄介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN114206674A publication Critical patent/CN114206674A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供周边影像生成装置、周边影像生成方法以及程序。周边影像生成装置(1)具备：影像输入部(10)，输入由多个照相机(20)拍摄到的周边影像数据；影像合成部(12)，合成周边影像数据生成从规定的视点观察到的合成影像；立体形状估计部(13)，基于周边影像数据估计位于周边的物体的立体形状；遮挡区域估计部(14)，使用立体形状的估计结果，估计合成影像中从规定的视点观察不到的遮挡区域；推断部(15)，使用深度学习推断遮挡区域的影像；以及影像重叠部(16)，将由推断部(15)推断出的影像与合成影像的遮挡区域重叠。

Description

周边影像生成装置、周边影像生成方法以及程序
相关申请的交叉引用
本申请主张于2019年8月9日申请的专利申请编号2019－147985的优先权，并通过参照在此引用其全部内容。
技术领域
本公开涉及周边影像生成装置、周边影像生成方法、以及程序。
背景技术
以往，为了正确地识别车辆周边的状况，已知有将搭载于车辆的照相机拍摄到的影像提供给驾驶员的装置。例如，专利文献1公开了将设置于车辆的前方、后方、左侧以及右侧的照相机拍摄到的影像修正为顶视图形式，并提供给驾驶员的周边影像生成装置的发明。
专利文献1：日本特表2012－514558号公报
在上述那样的顶视图影像中，若想要合成数m以上的区域，则有被位于周边的物体遮挡的区域成为陡立的影像，越接近画面端越难以直观地把握这样的状况。
发明内容
本公开鉴于上述背景，目的在于提供不管物体的存在，而能够生成没有不协调感的周边影像的周边影像生成装置等。
本公开为了解决上述课题采用以下的技术手段。在权利要求书所记载的括号内的附图标记是表示与作为一个方式后述的实施方式所记载的具体单元的对应关系的一个例子，并不对本公开的技术范围进行限定。
本公开所涉及的周边影像生成装置具备：影像输入部，输入由多个照相机拍摄到的周边影像数据；影像合成部，合成上述周边影像数据生成从规定的视点观察到的合成影像；立体形状估计部，基于上述周边影像数据估计位于周边的物体的立体形状；遮挡区域估计部，使用上述立体形状的估计结果，估计上述合成影像中从上述规定的视点观察不到的遮挡区域；推断部，使用深度学习推断上述遮挡区域的影像；以及影像重叠部，将由上述推断部推断出的影像与上述合成影像的上述遮挡区域重叠。此外，立体形状估计部也可以基于由测距传感器检知到的检知数据，估计立体形状。
根据本公开，对于被位于周边的物体遮挡的区域也能够显示没有不协调感的影像。
附图说明
图1是表示第一实施方式的周边影像生成装置的构成的图。
图2是表示GAN的构成的图。
图3是表示第一实施方式的周边影像生成装置的动作的图。
图4是表示第二实施方式的周边影像生成装置的构成的图。
图5是表示第二实施方式的周边影像生成装置的动作的图。
图6是表示第三实施方式的周边影像生成装置的构成的图。
图7是表示第三实施方式的周边影像生成装置的动作的图。
具体实施方式
以下，参照附图对本公开的实施方式的周边影像生成装置进行说明。以下说明的实施方式的周边影像生成装置搭载于车辆，用于生成并显示车辆的周边的顶视图影像。在实施方式中，作为一个例子，对在停车场中生成周边影像的场景进行说明。此外，本公开的周边影像生成装置的用途并不限定于车辆，也可以在其它的用途中使用。
(第一实施方式)
图1是表示第一实施方式的周边影像生成装置1的构成的图。周边影像生成装置1与搭载于车辆的四台照相机20、和显示器21连接。四台照相机20是分别拍摄车辆的前后左右的照相机20。显示器21可以与导航装置的显示器21兼用，显示通过照相机20拍摄到的影像。
周边影像生成装置1具有：影像输入部10，输入由四台照相机20拍摄到的周边影像数据；影像处理部11，对输入到影像输入部10的周边影像数据进行处理生成顶视图影像；影像输出部17，输出顶视图影像；存储器18；以及电源部19。影像输出部17将影像数据发送给显示器21。
影像处理部11具备：影像合成部12，合成周边影像数据生成从车辆的上方观察到的顶视图影像；立体形状估计部13，基于周边影像数据估计位于周边的物体的立体形状；遮挡区域估计部14，使用立体形状的估计结果，估计合成影像中从规定的视点观察不到的遮挡区域；推断部15，使用深度学习推断遮挡区域的影像；以及影像重叠部16，将由推断部15推断出的影像重叠于合成影像的遮挡区域。
影像合成部12合成输入到影像输入部10的来自四台照相机20的影像数据，生成顶视图影像。影像合成部12例如能够使用专利文献1所记载的那样的公知技术。
立体形状估计部13对输入到影像输入部10的来自各照相机20的影像数据使用SfM(Structure from Motion：运动结构恢复)的技术，估计在影像中拍摄到的物体的立体形状。SfM例如是记载于织田和夫著“解说：Structure from Motion(SfM)第一回SfM的概要和束调整”照片测量和遥感55卷3号的技术。立体形状估计部13重叠根据各照相机20的影像数据估计出的结果，估计位于车辆周边的物体的立体形状。
遮挡区域估计部14使用估计出的物体的立体形状的信息，估计顶视图影像中被物体遮挡而观察不到的遮挡区域，并对遮挡区域进行遮蔽。
推断部15使用通过深度学习制成的生成器推断遮挡区域的影像。在本实施方式中，作为深度学习，使用GAN(对抗生成网络)。
图2是用于对GAN进行说明的图。GAN具备Generator：发生器(以下，也称为“G”)和Discriminator：鉴别器(以下，也称为“D”)。“G”是生成欺骗“D”的图像的神经网络模型，“D”是将由“G”生成的图像(伪数据)识别为正确的图像(真数据)的神经网络模型。在GAN中，交替地进行“G”和“D”的学习。这里，首先，对“G”的学习进行叙述。对向量z进行取样并给予“G”，输出图像(伪数据)。将该图像给予“D”，使其判定真/伪。更新“G”的参数，进行学习，以便通过“D”判定为真。由此，“G”生成欺骗“D”的图像。
接下来，固定“G”的参数，进行“D”的学习。更新“D”的参数，以便对“D”给予了教师数据(真数据)时的输出与给予了在“G”生成的图像(伪数据)时的输出之差增大。由此，能够识别在“G”生成的图像(伪数据)。
通过交替地反复上述的“G”和“D”的学习，“G”能够生成接近真实物体的图像。
推断部15具有预先通过GAN生成的Generator(生成器)。此外，基于GAN的Generator的学习也可以使用实际的停车场的影像，但也可以使用利用CG制成停车场的图像，并在CG图像中自动地标记遮挡区域的教师数据。根据利用CG生成停车场的图像的方法，能够容易地准备大量的教师数据。
推断部15使用Generator推断被遮蔽的遮挡区域的影像，作为将在遮挡区域估计部14进行了遮蔽的区域作为欠缺部的填补问题。
影像重叠部16将由推断部15推断出的遮挡区域的影像与顶视图影像重叠。影像重叠部16以与顶视图影像不同的显示方式重叠由推断部15估计出的影像，以明确为观察不到的区域。不同的显示方式例如是对推断出的影像进行半透明的着色等。
以上，对本实施方式的周边影像生成装置1的构成进行了说明，上述的周边影像生成装置1的硬件的例子是具备CPU、RAM、ROM、硬盘、以及通信接口等的ECU。预先在RAM或者ROM储存具有实现上述的各功能的模块的程序，通过由CPU执行该程序，实现上述的周边影像生成装置1。这样的程序也包含于本公开的范围。以下说明的其它的实施方式也相同地能够通过程序实现。
图3是表示第一实施方式的周边影像生成装置1的动作的图。周边影像生成装置1若从四台照相机20输入影像数据(S10)，则合成四台照相机20的影像数据生成顶视图影像(S11)。另外，与此并行地，周边影像生成装置1对影像数据使用SfM的技术估计在影像拍摄到的物体的立体形状(S12)。
接下来，周边影像生成装置1使用物体的立体形状的信息，估计顶视图影像中观察不到的遮挡区域(S13)。接着，周边影像生成装置1通过GAN推断遮挡区域的影像(S14)，并将推断出的影像与顶视图影像重叠(S15)。
以上，对第一实施方式的周边影像生成装置1的构成以及动作进行了说明。
第一实施方式的周边影像生成装置1推断被物体遮挡而观察不到的遮挡区域的影像，并重叠推断出的影像所以能够显示没有不协调感的顶视图影像。另外，以与顶视图影像不同的显示方式将推断出的影像重叠，所以能够使驾驶员识别实际上观察不到的遮挡区域。由此，能够避免驾驶员相信推断出的影像进行驾驶操作这样的风险。另外，也有提醒对有人、摩托车等突然出现的可能性的遮挡区域进行注意的效果。
在本实施方式中，作为推断遮挡区域的影像的手段，对使用GAN的例子进行了说明，但也可以通过GAN以外进行影像的推断。例如，也可以使用变分自动编码器(VAE)、自回归模型，进行遮挡区域的影像的推断。
此外，若对应用本实施方式的周边影像生成装置1的合适的场景进行说明，则是利用自动驾驶进行停车的自动泊车。这是因为在该场景下，驾驶员不进行驾驶，所以即使将推断出的影像与遮挡区域重叠也没有问题，所以是没有不协调感的影像很重要。
(第二实施方式)
图4是表示第二实施方式的周边影像生成装置2的构成的图。第二实施方式的周边影像生成装置2除了在第一实施方式进行了说明的构成之外，还具备从LIDAR22获取检知数据的检知数据获取部23。在第二实施方式中，立体形状估计部13使用从LIDAR22获取的检知数据，估计位于车辆周边的物体的立体形状。
图5是表示第二实施方式的周边影像生成装置2的动作的图。
周边影像生成装置2若从四台照相机20输入影像数据(S20)，则合成四台照相机20的影像数据生成顶视图影像(S21)。另外，与此并行地，周边影像生成装置2获取来自LIDAR22的数据(S22)，并基于获取的数据估计位于车辆周边的物体的立体形状(S23)。
接下来，周边影像生成装置2使用物体的立体形状的信息，估计顶视图影像中观察不到的遮挡区域(S24)。接着，周边影像生成装置2通过GAN推断遮挡区域的影像(S25)，并将推断出的影像与顶视图影像重叠(S26)。
以上，对第二实施方式的周边影像生成装置2的构成以及动作进行了说明。第二实施方式的周边影像生成装置2与第一实施方式相同，能够显示没有不协调感的顶视图影像。另外，在第二实施方式中，能够使用从LIDAR22获取的数据精度良好地估计物体的立体形状。
在本实施方式中，虽然举出了物体的立体形状的估计使用LIDAR22的数据的例子，但也能够使用LIDAR22以外的测距传感器。例如，能够使用雷达、超声波声呐、毫米波雷达等。
(第三实施方式)
图6是表示第三实施方式的周边影像生成装置3的构成的图。第三实施方式的周边影像生成装置3在并不使用深度学习估计遮挡区域的影像，而使用车辆放置的环境的图像生成这一点上不同。
第三实施方式的周边影像生成装置3具有通信部24，与管理停车场的停车场管理装置30进行通信。停车场管理装置30具备存储了管理的停车场的图像的存储部。停车场管理装置30若从搭载于车辆的周边影像生成装置3要求停车场的图像的发送，则将该图像发送给周边影像生成装置3。
第三实施方式的周边影像生成装置3的影像处理部11代替第一实施方式的周边影像生成装置1具备的推断部15，而具备遮挡区域影像生成部25。遮挡区域影像生成部25对从停车场管理装置30接收的停车场的图像进行加工生成遮挡区域的影像。既可以从停车场的图像切出遮挡区域的形状，也可以对停车场的图像进行过滤使图像模糊，之后切出遮挡区域的形状。
图7是表示第三实施方式的周边影像生成装置3的动作的图。周边影像生成装置3若从四台照相机20输入影像数据(S30)，则合成四台照相机20的影像数据生成顶视图影像(S31)。另外，与此并行地，周边影像生成装置3对影像数据使用SfM的技术估计在影像拍摄到的物体的立体形状(S32)。
接下来，周边影像生成装置3使用物体的立体形状的信息，估计顶视图影像中观察不到的遮挡区域(S33)。接着，周边影像生成装置3从停车场管理装置30获取停车场的图像(S34)，使用获取的图像生成遮挡区域的影像(S35)，并将生成的影像与顶视图影像重叠(S36)。
以上，对第三实施方式的周边影像生成装置3的构成以及动作进行了说明。
第三实施方式的周边影像生成装置3与上述的实施方式相同，能够显示没有不协调感的顶视图影像。另外，在第三实施方式中，使用停车场的图像，所以容易生成遮挡区域的影像。遮挡区域是通过照相机20不能获取影像数据的区域，所以通过没有不协调感地显示不能获取影像数据的情况，能够降低起因于遮挡区域的风险。
此外，在本实施方式中，举出了获取车辆实际所在的停车场的图像作为放置车辆的环境的图像的例子，但也可以不使用车辆实际放置的停车场本身的图像，而使用车辆放置的停车场这一种类的环境的图像，生成遮挡区域的影像。
本公开作为生成周边的影像的装置有用，例如能够用于生成车辆的周边影像。

Claims (9)

1.一种周边影像生成装置(1)，具备：
影像输入部(10)，输入由多个照相机(20)拍摄到的周边影像数据；
影像合成部(12)，合成上述周边影像数据生成从规定的视点观察到的合成影像；
立体形状估计部(13)，基于上述周边影像数据估计位于周边的物体的立体形状；
遮挡区域估计部(14)，使用上述立体形状的估计结果，估计上述合成影像中从上述规定的视点观察不到的遮挡区域；
推断部(15)，使用深度学习推断上述遮挡区域的影像；以及
影像重叠部(16)，将由上述推断部推断出的影像与上述合成影像的上述遮挡区域重叠。
2.一种周边影像生成装置，具备：
影像输入部，输入由多个照相机拍摄到的周边影像数据；
影像合成部，合成上述周边影像数据生成从规定的视点观察到的合成影像；
检知数据获取部(23)，获取由测距传感器(22)检知到的检知数据；
立体形状估计部，基于上述检知数据估计位于周边的物体的立体形状；
遮挡区域估计部，使用上述立体形状的估计结果，估计上述合成影像中从上述规定的视点观察不到的遮挡区域；
推断部，使用深度学习推断上述遮挡区域的影像；以及
影像重叠部，将由上述推断部推断出的影像与上述合成影像的上述遮挡区域重叠。
3.根据权利要求1或者2所述的周边影像生成装置，其中，
上述多个照相机搭载于车辆，
上述影像合成部合成从上述车辆的上方的顶视图影像。
4.根据权利要求1～3中任意一项所述的周边影像生成装置，其中，
上述影像重叠部以与上述合成影像不同的显示方式将由上述推断部估计出的影像与上述遮挡区域重叠。
5.一种周边影像生成装置，具备：
影像输入部，输入由搭载于车辆的多个照相机拍摄到的周边影像数据；
影像合成部，合成上述周边影像数据生成从上述车辆的上方的顶视图影像；
立体形状估计部，基于上述周边影像数据或者测距传感器的检知数据，估计位于周边的物体的立体形状；
遮挡区域估计部，使用上述立体形状的估计结果，估计上述顶视图影像中从上述车辆的上方观察不到的遮挡区域；
遮挡区域影像生成部，从存储了放置上述车辆的环境的图像的存储装置获取上述环境的图像，并基于上述环境的图像生成上述遮挡区域的影像；以及
影像重叠部，以与上述顶视图影像不同的显示方式将由上述遮挡区域影像生成部生成的影像与上述顶视图影像的上述遮挡区域重叠。
6.一种周边影像生成方法，是生成周边的影像的方法，具备：
输入由多个照相机拍摄到的周边影像数据的步骤；
合成上述周边影像数据生成从规定的视点观察到的合成影像的步骤；
基于上述周边影像数据估计位于周边的物体的立体形状的步骤；
使用上述立体形状的估计结果，估计上述合成影像中从上述规定的视点观察不到的遮挡区域的步骤；
使用深度学习推断上述遮挡区域的影像的步骤；以及
将推断出的影像与上述合成影像的上述遮挡区域重叠的步骤。
7.一种周边影像生成方法，是生成周边的影像的方法，具备：
输入由多个照相机拍摄到的周边影像数据的步骤；
合成上述周边影像数据生成从规定的视点观察到的合成影像的步骤；
获取由测距传感器检知到的检知数据的步骤；
基于上述检知数据估计位于周边的物体的立体形状的步骤；
使用上述立体形状的估计结果，估计上述合成影像中从上述规定的视点观察不到的遮挡区域的步骤；
使用深度学习推断上述遮挡区域的影像的步骤；以及
将推断出的影像与上述合成影像的上述遮挡区域重叠的步骤。
8.一种程序，是用于生成周边的影像的程序，其中，
使计算机执行：
输入由多个照相机拍摄到的周边影像数据的步骤；
合成上述周边影像数据生成从规定的视点观察到的合成影像的步骤；
基于上述周边影像数据估计位于周边的物体的立体形状的步骤；
使用上述立体形状的估计结果，估计上述合成影像中从上述规定的视点观察不到的遮挡区域的步骤；
使用深度学习推断上述遮挡区域的影像的步骤；以及
将推断出的影像与上述合成影像的上述遮挡区域重叠的步骤。
9.一种程序，是用于生成周边的影像的程序，其中，
使计算机执行：
输入由多个照相机拍摄到的周边影像数据的步骤；
合成上述周边影像数据生成从规定的视点观察到的合成影像的步骤；
获取由测距传感器检知到的检知数据的步骤；
基于上述检知数据估计位于周边的物体的立体形状的步骤；
使用上述立体形状的估计结果，估计上述合成影像中从上述规定的视点观察不到的遮挡区域的步骤；
使用深度学习推断上述遮挡区域的影像的步骤；以及
将推断出的影像与上述合成影像的上述遮挡区域重叠的步骤。
CN202080056408.4A 2019-08-09 2020-07-22 周边影像生成装置、周边影像生成方法以及程序 Pending CN114206674A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019147985A JP7251401B2 (ja) 2019-08-09 2019-08-09 周辺映像生成装置、周辺映像生成方法、およびプログラム
JP2019-147985 2019-08-09
PCT/JP2020/028542 WO2021029203A1 (ja) 2019-08-09 2020-07-22 周辺映像生成装置、周辺映像生成方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN114206674A true CN114206674A (zh) 2022-03-18

Family

ID=74569578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080056408.4A Pending CN114206674A (zh) 2019-08-09 2020-07-22 周边影像生成装置、周边影像生成方法以及程序

Country Status (5)

Country Link
US (1) US20220156985A1 (zh)
JP (1) JP7251401B2 (zh)
CN (1) CN114206674A (zh)
DE (1) DE112020003788T5 (zh)
WO (1) WO2021029203A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020101637A1 (de) * 2020-01-24 2021-07-29 Bayerische Motoren Werke Aktiengesellschaft Erzeugen einer Draufsicht auf ein Kraftfahrzeug

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034898A (ja) * 1999-07-21 2001-02-09 Toyota Central Res & Dev Lab Inc 探査不能領域推定装置及び運転支援システム
JP2010072836A (ja) * 2008-09-17 2010-04-02 Toyota Motor Corp 周辺監視装置
CN105667518A (zh) * 2016-02-25 2016-06-15 福州华鹰重工机械有限公司 车道检测的方法及装置
JP2018122627A (ja) * 2017-01-30 2018-08-09 株式会社デンソー 車両制御装置
JP2018142297A (ja) * 2017-02-27 2018-09-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理装置およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4600760B2 (ja) * 2005-06-27 2010-12-15 アイシン精機株式会社 障害物検出装置
KR100966288B1 (ko) 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
GB2559760B (en) * 2017-02-16 2019-08-28 Jaguar Land Rover Ltd Apparatus and method for displaying information
JP7003730B2 (ja) 2018-02-27 2022-01-21 トヨタ自動車株式会社 金属積層造形方法
US10901416B2 (en) * 2018-07-19 2021-01-26 Honda Motor Co., Ltd. Scene creation system for autonomous vehicles and methods thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034898A (ja) * 1999-07-21 2001-02-09 Toyota Central Res & Dev Lab Inc 探査不能領域推定装置及び運転支援システム
JP2010072836A (ja) * 2008-09-17 2010-04-02 Toyota Motor Corp 周辺監視装置
CN105667518A (zh) * 2016-02-25 2016-06-15 福州华鹰重工机械有限公司 车道检测的方法及装置
JP2018122627A (ja) * 2017-01-30 2018-08-09 株式会社デンソー 車両制御装置
JP2018142297A (ja) * 2017-02-27 2018-09-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理装置およびプログラム

Also Published As

Publication number Publication date
DE112020003788T5 (de) 2022-06-30
JP7251401B2 (ja) 2023-04-04
US20220156985A1 (en) 2022-05-19
JP2021029037A (ja) 2021-02-25
WO2021029203A1 (ja) 2021-02-18

Similar Documents

Publication Publication Date Title
EP2723069B1 (en) Vehicle periphery monitoring device
US9215382B1 (en) Apparatus and method for data fusion and visualization of video and LADAR data
US9633266B2 (en) Image processing apparatus and method that synthesizes an all-round image of a vehicle's surroundings
EP2481637B1 (en) Parking Assistance System and Method
KR101862199B1 (ko) 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법
EP2402906A2 (en) Apparatus and method for providing 3D augmented reality
EP2437494A1 (en) Device for monitoring area around vehicle
US11494975B2 (en) Method for analyzing three-dimensional model and device for analyzing three-dimensional model
KR102438078B1 (ko) 어라운드뷰 제공 장치 및 방법
US20170061689A1 (en) System for improving operator visibility of machine surroundings
US10347029B2 (en) Apparatus for measuring three dimensional shape, method for measuring three dimensional shape and three dimensional shape measurement program
CN110751735B (zh) 一种基于增强现实的远程指导的方法与设备
CN110728756B (zh) 一种基于增强现实的远程指导的方法与设备
CN104677330A (zh) 一种小型双目立体视觉测距系统
CN111179329A (zh) 三维目标检测方法、装置及电子设备
JP2009093332A (ja) 車両周辺画像処理装置及び車両周辺状況提示方法
JP2016065422A (ja) 外界認識装置および外界認識装置を用いた掘削機械
CN111936829A (zh) 声学解析装置及声学解析方法
CN110969706B (zh) 增强现实设备及其图像处理方法、系统以及存储介质
CN114206674A (zh) 周边影像生成装置、周边影像生成方法以及程序
US20210056723A1 (en) Image processing device, image processing method, and monitoring system
US20230104858A1 (en) Image generation apparatus, image generation method, and non-transitory computer-readable medium
KR20160039447A (ko) 스테레오 카메라를 이용한 공간분석시스템
KR20180097004A (ko) 차량용 레이다 목표 리스트와 비전 영상의 목표물 정합 방법
CN106327465A (zh) 物体位置确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination