CN111164652B - 移动体图像生成记录显示装置和程序产品 - Google Patents

移动体图像生成记录显示装置和程序产品 Download PDF

Info

Publication number
CN111164652B
CN111164652B CN201880064353.4A CN201880064353A CN111164652B CN 111164652 B CN111164652 B CN 111164652B CN 201880064353 A CN201880064353 A CN 201880064353A CN 111164652 B CN111164652 B CN 111164652B
Authority
CN
China
Prior art keywords
moving body
virtual
main moving
information
virtual space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880064353.4A
Other languages
English (en)
Other versions
CN111164652A (zh
Inventor
笛木一正
高桥昇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiahe Fuyiai Co ltd
Original Assignee
Jiahe Fuyiai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiahe Fuyiai Co ltd filed Critical Jiahe Fuyiai Co ltd
Publication of CN111164652A publication Critical patent/CN111164652A/zh
Application granted granted Critical
Publication of CN111164652B publication Critical patent/CN111164652B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Image Generation (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

[问题]为了在将自行驱动的移动体周围的环境显示为图像时以更容易理解的形式提供信息，并且即使在记录移动体的行驶状态时也能够以更小的存储容量进行记录。[技术方案]本公开提供了一种移动体位置信息识别/显示装置，其具有：行驶状态获得部，其获得关于主移动体的行驶状态的信息，该信息包括主移动体的位置和速度；物体信息获得部，其获得关于多个物体的信息，该信息包括存在于主移动体的周围的其它移动体以及行驶道路的状态；虚拟空间构建部，其基于从行驶状态获得部和物体信息获得部获得的信息，将至少主移动体和多个物体中的每一个与虚拟模型相关联，并且将主移动体和多个物体设置在三维空间中，从而构建虚拟空间；以及二维图像生成部，其生成其中由设置在虚拟空间中的虚拟摄像机拍摄虚拟空间的二维图像，并且将二维图像输出在显示屏上，二维图像生成部根据物体相对于主移动体的速度，在二维图像中针对多个物体中的每一个向虚拟模型的显示添加预定效果，并生成二维图像。

Description

移动体图像生成记录显示装置和程序产品
技术领域
本发明涉及一种生成移动体(moving body)周围的物体的图像以记录或显示该图像的装置，以及一种执行这些操作的程序。
背景技术
存在这样一种图像转换技术，其中通过使用安装在诸如汽车的移动体中的摄像机拍摄的图像被处理并且转换成类似于从各个方向观看的移动体的图像的图像。存在一种例如所谓的“全景监视器”(注册商标)的技术，其中，通过使用安装在移动体中的多个摄像机拍摄的图像被合成以生成来自移动体的特定范围的区域的鸟瞰图图像。这种图像合成技术用于在例如反向行驶(driving in reverse)和平行停车等中在监视器上显示从移动体的驾驶员座椅难以看到的位置处的其它移动体和物体等，并将它们呈现给驾驶员。
在如上所述的图像合成技术中，实际拍摄的图像被转换并且显示在车辆中的显示装置上。因此，当图像拍摄的目标被另一个移动体暂时遮挡或者移动到摄像机的盲点时，在某些情况下该目标不能被显示。
此外，还存在一种行车记录仪，其将移动体的行驶记录为视频。一个行车记录仪通常安装在移动体的挡风玻璃附近，并且需要大容量存储装置来记录视频。
以下描述常规技术。
存在如下技术(例如，参见专利文献1)。一种设备包括输入装置、虚拟模型数据库、虚拟模型转换装置、虚拟模型重新配置装置、虚拟模型处理装置以及控制装置或显示装置。虚拟模型转换装置识别从输入装置获得的关于多个目标的信息，辨识虚拟模型数据库中的对应于每个目标的虚拟模型，并且用虚拟模型替代目标。虚拟模型重新配置装置在虚拟空间中将目标以及目标之间的关系重新配置为与其对应的虚拟模型以及虚拟模型之间的关系。虚拟模型处理装置基于重新配置的虚拟模型以及虚拟模型之间的关系来理解和确定虚拟模型以及虚拟模型之间的关系，并且向控制装置或显示装置给出指令。
此外，存在如下技术(例如，参见专利文献2)。导航装置通过使用存储在导航装置中的地图信息来生成行驶道路形状。这可以实现更逼真的道路显示。此外，导航装置执行计算，使得主车辆的显示位置被固定到显示器中预定的一个点，并且执行操作，使得指示主车辆的位置的标记、指示跟随车辆的位置的标记以及指示除跟随车辆之外的周围车辆的位置的标记被显示成叠加在道路上。这允许用户容易地确定主车辆和周围车辆之间的距离间隔。
此外，存在如下技术(例如，参见专利文献3)。当要显示其它车辆相对于主车辆的位置时，可以通过使用CCD摄像机的图像信息等来显示图像。在这种情况下，从通信处理中的数据接收其它车辆的车辆类型等，并且从数据库读取其它车辆的三维信息和周围的地图信息(地形信息)。然后，基于其它车辆相对于主车辆的位置的检测结果，实时排列和渲染(render)车辆和地形的三维模型以匹配测量结果。这允许车辆和地形作为人工现实虚拟图像显示在显示装置上。虚拟图像的视点是可移动的，并且可以显示来自自由移动的视点的图像。例如，可以在显示屏的一部分中显示操作杆，并且通过在上、下、左和右的任意方向上操作所述操作杆来移动视点。向上移动视点允许用户从较高位置三维地掌握总体状况，并且三维地检查被主车辆正前方的车辆遮挡而看不到的前方车辆的存在。此外，当视点移动到从道路的侧面观看车辆等的位置时，可以从第三人称视角从侧面显示主车辆以及主车辆前方和后方的其它车辆的状态。
此外，存在这样一种技术，其中视点转换图像生成装置将被渲染为以车辆进行建模的车辆模型图像与对应于车辆的视点转换图像的一部分进行合成(例如，参见专利文献4)。
现有技术文献
专利文献
专利文献1：日本专利申请公开No.2003-216981
专利文献2：日本专利申请公开No.平11-250396
专利文献3：日本专利申请公开No.2006-107521
专利文献4：日本专利申请公开No.2011-182059
发明内容
本发明要解决的问题
在如上所述的合成由多个摄像机拍摄的移动体的周围的视频的技术中，有时不显示摄像机视野之外的部分。此外，从自由移动的视点显示移动体的周围的视频存在限制。
在如上所述通过使用虚拟模型构建虚拟空间的技术中，存在以操作者(驾驶员)容易理解的方式将虚拟模型显示为二维图像的需求。
对于安装在移动体上的行车记录仪，在大多数情况下，只有一个行车记录仪安装在挡风玻璃附近。因此，行车记录仪仅用于记录移动体前进方向的视频，而不记录其它方向的视频。此外，在行驶期间需要大容量记录介质来始终记录视频。当安装多个摄像机来记录移动体的周围状况时，需要具有更大容量的存储装置。
本公开的技术是鉴于传统技术的上述问题而提出的，并且目的是当由驾驶员驾驶的移动体周围的环境被显示为视频时，以驾驶员更容易理解的形式提供信息，并且以更小的存储容量记录移动体的行驶状态。
解决问题的手段
本公开的技术提供了一种移动体位置信息识别显示装置，其包括：行驶状态获得部，该行驶状态获得部被配置为获得关于主移动体的行驶状态的信息，其包括主移动体的位置和速度；物体信息获得部，该物体信息获得部被配置为获得关于多个物体的信息，其包括行驶道路的形状和存在于主移动体的周围的另一移动体；虚拟空间构建部，该虚拟空间构建部被配置为，通过基于从行驶状态获得部和物体信息获得部获得的信息将至少主移动体和多个物体分别与虚拟模型相关联并且将虚拟模型布置在三维空间中来构建虚拟空间；以及二维视频生成部，该二维视频生成部被配置为生成从布置在虚拟空间中的虚拟摄像机拍摄虚拟空间的二维视频，并且将二维视频输出至显示屏。二维视频生成部生成二维视频，同时根据物体相对于主移动体的速度，向二维视频中对应于每一个物体的虚拟模型的显示添加预定效果。
本发明的效果
本公开的技术可以在主移动体周围的环境被显示为视频时以更容易理解的形式提供信息，并且可以以更小的存储容量记录移动体的行驶状态。
附图说明
图1A至图1B是示出一个实施方式中的虚拟空间和安装在实际移动体中的传感器的示例的视图。
图2是一个实施方式的功能框图。
图3是示出一个实施方式中的第一显示图像的示例的视图。
图4是示出一个实施方式中的第一显示图像的变型例的视图。
图5是示出一个实施方式中的第二显示图像的示例的视图。
图6是一个实施方式中的显示周围移动体的残像的第一流程图。
图7是一个实施方式中的显示周围移动体的残像的第二流程图。
图8是示出硬件配置的示意图。
具体实施方式
图1A至图1B是示出一个实施方式中的虚拟空间和安装在实际移动体中的传感器的示例的视图。
图1A所示的虚拟空间150基于以下信息构造，所述信息例如为从安装在图1B所示的实际移动体100R中的摄像机(101a至101d)发送的关于周围物体的视频信息、由雷达103获得的关于周围物体的相对速度和位置等的信息、由无线电天线105接收的GPS的信息、从连接到无线电网络的其它系统发送的各种信息以及从安装在移动体100R中的诸如速度计、加速度计和陀螺仪的传感器(未示出)获得的关于实际移动体100R的信息。
上述摄像机(101a至101d)、雷达103、无线电天线105和诸如速度计的传感器(未示出)是示例，并且可以使用其它适当的信息收集装置。此外，这些用于收集信息的装置可以安装在实际移动体100R内部或实际移动体100R外部。
在图1A中的虚拟空间150中，虚拟摄像机130被期望为设置成使得对应于图1B所示的实际移动体100R的虚拟移动体100基本上位于虚拟摄像机130的成像方向的中心。在虚拟摄像机130中，可以设置虚拟摄像机130的虚拟成像系统用来将虚拟空间150转换成二维图像的各种参数。虚拟摄像机130的参数包括例如虚拟摄像机130在虚拟空间中的位置、成像方向、焦距和视场角等。景深是指示在虚拟透镜系统中物体焦点对准(in focus)的深度的参数，并且在该实施方式中，景深被期望为设置成泛焦(pan focus)(具体而言，被设置为使得存在于距虚拟摄像机130的任何距离内的虚拟物体都焦点对准)。
在图1A中，从上述各种信息中识别出静止物体和在实际空间中在实际移动体100R的周围行驶的其它移动体等。在本发明的实施方式中，参考3D模型数据库，实际空间中的其它移动体和静止物体等分别与虚拟模型相关联，并且虚拟模型被布置在虚拟空间150中。
在图1A的虚拟空间中，卡车110、汽车112、公共汽车114和路边杆(roadside pole)120被布置在虚拟空间中的对应于实际移动体100R的虚拟移动体100周围。存在于虚拟空间150中的这些虚拟模型与存在于针对虚拟移动体100的实际空间中的各个物体相对应，并且根据实际物体相对于实际移动体100R的移动而在虚拟空间150中相对于虚拟移动体100持续移动。
在该实施方式中，期望为虚拟摄像机130的虚拟成像系统与虚拟移动体100在相同的方向上移动，使得虚拟移动体100总是被布置在屏幕的中心，并且虚拟成像系统跟随虚拟移动体100，使得虚拟移动体100被布置在屏幕的中心。注意，期望为虚拟摄像机130和虚拟移动体100之间的相对距离以及虚拟摄像机的成像系统的参数能够基于乘坐在实际移动体100R中的操作者(驾驶员)的指令而自由设置。显示装置被期望为安装在驾驶员座位附近，使得实际移动体100R的操作者(驾驶员)等能够观看由虚拟摄像机130拍摄的视频。
注意，例如，所识别出的两轮车(two-wheelers)和人也可以被放置在虚拟空间中。因此，在该实施方式中，期望为，对于在驾驶员驾驶时需要识别的实际物体保证可识别物体的全面性，使得这些的物体能够被布置在虚拟空间中。
尽管在图1A的虚拟空间中没有示出实际移动体100R的迎面而来的车辆，但是也期望将迎面而来的车辆包括在识别目标中。
图2是一个实施方式的功能框图。移动体测量部210从安装在实际移动体100R中的诸如速度计、加速度计和陀螺仪的传感器(未示出)接收信息。在移动体测量部210中获得的关于实际移动体100R的信息被发送到虚拟空间构建部250。
周围物体测量部220接收从安装在实际移动体100R中的摄像机(101a至101d)发送的关于周围其它移动体和物体的视频信息，由雷达103获得的关于周围其它移动体和物体的相对速度和位置等的信息，由无线电天线105接收的GPS的信息，以及来自连接到无线电网络的其它系统的各种信息(道路信息和来自安装在道路上的摄像机的视频等)。由周围物体测量部220接收的信息被发送到虚拟空间构建部250和物体识别部230。
物体识别部230基于由周围物体测量部220接收的信息来识别存在于周围的其它移动体以及诸如道路上的杆的物体，并且将识别结果发送到虚拟空间构建部250。
虚拟空间构建部250从汽车导航数据库270获得道路的形状，并且在虚拟空间150中创建道路的模型。此外，虚拟空间构建部250基于来自移动体测量部210的信息，将对应于实际移动体100R的虚拟移动体100布置在上述在虚拟空间150中创建的虚拟道路上，并且使虚拟移动体100以对应于实际移动体100R的速度在虚拟道路上行驶。虚拟移动体100的三维形状可以存储在虚拟空间构建部250中或者从3D模型数据库240获得。
此外，虚拟空间构建部250基于从物体识别部230获得的信息，从3D模型数据库获得对应于周围其它移动体和物体的虚拟模型。虚拟空间构建部250将获得的对应于周围其它移动体和物体的虚拟模型布置在虚拟空间中。虚拟空间构建部250基于周围物体测量部220的信息，使得对应于周围其它移动体和物体的虚拟模型在虚拟道路上行驶。
此外，虚拟空间构建部250将关于虚拟空间的信息发送到渲染部260和记录器部280。
渲染部260基于由操作者(驾驶员)给出的虚拟摄像机指令信息来设置虚拟摄像机130的参数，并且将关于虚拟空间150的成像的信息发送到显示装置。
渲染部260生成从虚拟摄像机130拍摄的虚拟空间150的二维视频。所生成的二维视频被发送到显示装置。对于相对于虚拟移动体100移动的其它周围移动体中的每一个，渲染部可以以不连续的方式显示周围移动体的残像(ghost)，或者以叠加在二维图像上的方式显示在当前时间点之前预定时间的其它周围移动体的视频，使得例如视频回溯的时间越久视频的透明度越高，从而使周围移动体相对于虚拟移动体100的速度易于识别。另选地，渲染部可以添加周围移动体的轨迹(模糊化，blurring)，以使得周围移动体的移动状况可被识别。可以基于操作者(驾驶员)的指令预先确定或适当地改变回溯多久来显示其它移动体的残像或视频。
注意，对于主移动体、迎面而来的移动体、相对于主移动体的速度的绝对值或相对于主移动体的速度变化的绝对值小于预定值的移动体、速度低于主移动体的移动体或静止物体等，可以不显示残像(图像残影)或过去的视频等。另选地，对于这些移动体和物体中的一些，可以不显示残像或过去的视频等。此外，显示效果可以根据移动体和物体的类型或特征而变化。
记录器部280将时刻变化的关于虚拟空间的信息存储在存储器704或存储介质760中。存储在记录器部中的信息是关于虚拟空间150的信息。因此，可以记录比记录实际行驶视频的行车记录仪的信息进一步压缩的信息。因此，可以减少消耗的存储容量。此外，所记录的时刻变化的关于虚拟空间的信息允许虚拟空间在显示器上显示为具有通过移动虚拟摄像机而在所记录信息的随后的再现中改变的视角的二维图像。
图3是示出一个实施方式中的第一显示图像的示例的视图。图3的图像是由虚拟摄像机130拍摄的虚拟空间150的图像。其中显示了当前时间点的虚拟移动体100、当前时间点的周围移动体310以及当前时间点出现在路边的杆330。
在图2中，残像312、残像314和残像316是周围移动体310的残像。
例如，残像312可以是当前时间点之前时间d的周围移动体310的残像。此外，残像312可以是透明度比周围移动体310的透明度增加Δ％的图像。因此，残像312可以是透明度比周围移动体310的透明度增加Δ％的始终在周围移动体310之前时间d的图像。在这种情况下，当周围移动体310的速度高于虚拟移动体100时，残像312看起来跟随周围移动体310。注意，上述的“透明度”是这样使用的术语：100％的透明度是指完全透明的状态，而0％的透明度是指完全不透明的状态。
另选地，残像312可以是透明度比虚拟移动体100的透明度增加Δ％的在某个时间点之前预定时间的周围移动体310的瞬时图像。具体地，周围移动体310可以每隔预定间隔时间d留下残像。在这种情况下，当周围移动体310的速度高于虚拟移动体100时，残像312看起来使得周围移动体310在移动的同时每隔预定间隔d留下周围移动体310的静止图像，其中静止图像的透明度比虚拟移动体100的透明度增加Δ％。
残像314可以是在残像312之前时间d的图像，其透明度比残像312的透明度进一步增加Δ％。残像316可以是在残像314之前时间d的图像，其透明度比残像314的透明度进一步增加Δ％。注意，透明度增加的值可以在残像与残像之间变化。此外，残像的间隔d可以在残像与残像之间变化。注意，可以预先确定留下多少残像。另选地，当残像的透明度增加并且达到或超过100％时，残像可以被删除并且从渲染目标中被排除。
如上所述地在留下周围移动体310的残像的同时生成视频允许驾驶员知道周围移动体310相对于虚拟移动体100移动得有多快。
尽管上面给出了对于其中移动虚拟摄像机130以使得即使当虚拟移动体100的速度改变时虚拟移动体100也在图像中静止的示例的描述，但是可以生成图像使得虚拟移动体100移动。
尽管在图3的示例中仅示出了一个周围移动体310，但是可以类似地显示多个周围移动体。此外，可以显示迎面而来的车辆。周围移动体310不限于四轮车，并且可以是两轮车或自行车等。
期望为在保持相对于虚拟移动体100的关系的情况下显式残像312、残像314和残像316。因此，可以在不保持相对于静止的道路或路边杆的位置关系的情况下显示残像。
注意，期望为显示静止的路边杆330而不留下残像。
图4是示出一个实施方式中的第一显示图像的变型例的视图。
图4中的模糊图像360是通过向残像312、残像314和残像316等添加模糊效果来表示周围移动体310如何移动的图像。当然，可以通过除上述处理之外的各种类型的处理来表示模糊图像。通过显示这样的效果，可以提供使操作者(驾驶员)更容易理解的视频。
图5是示出一个实施方式中的第二显示图像的示例的视图。图5示出了周围移动体410是卡车并且其速度低于虚拟移动体100的示例。在这种情况下，显示当前时间点的周围移动体410，并且在周围移动体410的前方显示按时间降序(descending chronologicalorder)排列的残像412、残像414和残像416。注意，当周围移动体410是卡车并且其速度低于虚拟移动体100时，可以不显示残像412、残像414和残像416。当如上所述周围移动体410的速度低于虚拟移动体100时，残像与卡车的前部重叠，并且人有时难以识别卡车(周围移动体410)的形状。因此，在这种情况下，有时不显示残像以允许人对于卡车(周围移动体410)的形状比对卡车的移动状况识别得更加清楚。此外，当周围移动体410相对于虚拟移动体100的速度的绝对值小于预定值时，残像的重叠严重，并且人有时难以识别卡车的形状。因此，在这种情况下，有时不显示残像以允许人对于卡车的形状比对卡车的移动状况识别得更加清楚。
如上所述，当周围移动体410相对于虚拟移动体100的速度满足一定条件时，可以改变添加到周围移动体410的显示的效果。
由于间隔时间d和透明度Δ％与在图3中相同，因此省略其描述。
图6是一个实施方式中的显示周围移动体的残像的第一流程图。每个步骤描述如下。
[步骤S500]可以通过预定间隔的中断来开始本实施方式的处理流程。注意，用于开始处理的触发不限于中断。处理进行到步骤S510。
[步骤S510]对所有周围物体重复步骤S510和步骤S526之间的步骤的处理。
[步骤S512]例如，确定基于安装在实际移动体100R中的摄像机的视频通过模式识别而识别的物体是否是新物体。当物体是新物体时(“是”)，处理进行到步骤S514。当物体是已识别的物体并且不是新物体时(“否”)，处理进行到步骤S516。
[步骤S514]确定新物体并且辨识对应的虚拟模型。当要识别的物体是新物体时，通过使用诸如模式识别和机器学习的技术来确定物体的车辆类型或物体的种类，并且辨识对应于物体的模型。在模式识别中，例如，对于移动体而言，基于诸如前照灯的位置和车身的各种设计特征之类的特性来辨识具有最接近的特性的车辆类型。通过基于所辨识的车辆类型在3D模型数据库240中搜索3D模型来获得所辨识的车辆类型的3D模型。还提取道路上的静止杆330的特性，对杆330执行物体识别，并且搜索和获得其3D模型。在虚拟空间的渲染和构建中使用所获得的3D模型。接下来，处理进行到步骤S516。
[步骤S516]确定物体并辨识虚拟模型。基于一个或更多个所识别的物体的位置，将虚拟模型布置在虚拟空间150中的适当位置。接下来，处理进行到步骤S518。
[步骤S518]将虚拟空间记录在记录器中。当操作员(驾驶员)等指示记录虚拟空间时，将该时间点的虚拟空间存储在存储器704或存储介质760中。接下来，处理进行到步骤S520。
[步骤S520]确定当前时间点之前时间d的周围移动体的模型的位置。在这种情况下，期望为将所述位置设置为使得相对于虚拟移动体100的位置被保持，并且相对于静止道路或路边杆330的位置关系可以改变。操作者(驾驶员)由此可以掌握主虚拟移动体100和其它周围移动体之间的过去的位置关系。接下来，处理进行到步骤S522。
[步骤S522]确定当前时间点之前时间2d的周围移动体的模型的位置。其它处理与步骤S520中的处理相同。接下来，处理进行到S524。
[步骤S524]确定当前时间点之前时间3d的周围移动体的模型的位置。其它处理与步骤S520中的处理相同。虽然在图6所示的实施方式中仅描述了对于在当前时间点之前时间3d的周围移动体的处理，但是可以预先确定回溯多久来处理移动体的模型。因此，实施方式中的处理不限于图6中的处理。接下来，处理进行到步骤S526。
[步骤S526]当存在任何其它未处理的物体时，处理返回到步骤S510。当没有其它未处理的物体时，处理进行到步骤S528。
[步骤S528]渲染从虚拟摄像机130拍摄的虚拟空间150的二维视频。注意，在与当前时间点的周围移动体的透明度相比，当前时间点之前时间d的模型的透明度增加了Δ％、当前时间点之前时间2d的模型的透明度增加了2Δ％、并且当前时间点之前时间3d的模型的透明度增加了3Δ％的情况下执行渲染，由此获得图3所示的图像。尽管给出了对于以均匀间隔d生成过去模型的示例的描述，但是间隔可以是不均匀的。此外，可以考虑显示装置的特性等独立地改变各个过去模型的透明度，而非以预定比率增加每个透明度。
通过执行上述处理，如图3所示，在当前时间点之前时间d的时间点的周围移动体312被显示为透明度增加了Δ％的跟随当前周围移动体310的图像。过去周围移动体314和过去周围移动体316如上所述，因此省略其描述。
通过使用图6的处理来生成其中在多个过去时间点的周围移动体(312，314，316)移动以平滑地跟随周围移动体310的视频。
执行图6的处理能够实现允许操作者(驾驶员)更容易理解周围移动体相对于虚拟移动体100如何移动的显示。
注意，为了显示如图4所示的模糊化，可以以模糊的方式显示在多个过去时间点的周围移动体(312，314，316)。另选地，可以以模糊的方式显示图7所示的过去残像。注意，模糊化的表示不限于这些方法。
图7是一个实施方式中的显示周围移动体的残像的第二流程图。下面描述每个步骤。
[步骤S600]可以通过预定间隔的中断来开始本实施方式的处理流程。注意，用于开始处理的触发不限于中断。处理进行到步骤S610。
[步骤S610]对所有周围物体重复步骤S610和步骤S626之间的步骤的处理。
[步骤S612]例如，确定基于安装在实际移动体100R中的摄像机的视频通过模式识别而识别的物体是否是新物体。当物体是新物体时(“是”)，处理进行到步骤S614。当物体是已识别的物体并且不是新物体时，处理进行到步骤S616。
[步骤S614]确定新物体并且辨识对应的虚拟模型。当要识别的物体是新物体时，通过使用模式识别技术来确定物体的车辆类型或物体的种类，并且辨识对应于物体的模型。在模式识别中，例如，对于移动体而言，基于诸如前照灯的位置和车身的各种设计特征的特性来辨识具有最接近的特性的车辆类型。通过基于所辨识的车辆类型在3D模型数据库中搜索3D模型来获得所辨识的车辆类型的3D模型。还提取道路上的静止杆330的特性，对杆330执行物体识别，并且搜索和获得其3D模型。在虚拟空间的渲染和构建中使用所获得的3D模型。接下来，处理进行到步骤S616。
[步骤S616]确定物体并辨识虚拟模型。基于一个或更多个所识别的物体的位置而将虚拟模型布置在虚拟空间150中的适当位置。接下来，处理进行到步骤S618。
[步骤S618]将虚拟空间记录在记录器中。当操作员指示记录虚拟空间时，将该时间点的虚拟空间存储在存储器704或存储介质760中。接下来，处理进行到步骤S620。
[步骤S620]检查是否已经经过间隔时间d1。当已经经过间隔时间d1时(“是”)，将间隔的测量值重置为零，并且处理进行到步骤S622。当还没有经过间隔时间d1时(“否”)，处理进行到步骤S624。
[步骤S622]将当前时间点的周围移动体的模型的渲染图像留下作为残像。处理进行到步骤S622。通过该步骤，在每个间隔时间d1逐个生成多个残像。
[步骤S624]每个残像的透明度增加Δ％。透明度达到或超过100％的残像可以从渲染目标中被排除。期望为保持残像与虚拟移动体100的位置关系。注意，即使当透明度没有达到或超过100％时，也可以从渲染目标中排除预定时间或更长时间之前的残像。注意，可以在步骤S628中立即执行渲染。处理进行到步骤S626。
[步骤S626]当存在任何其它未处理的物体时，处理返回到步骤S610。当没有其它未处理的物体时，处理进行到步骤S628。
[步骤S628]渲染从虚拟摄像机130拍摄的虚拟空间150的二维视频。注意，在当前时间点之前时间d的残像的透明度增加Δ％、当前时间点之前时间2d的残像的透明度增加2Δ％，并且当前时间点之前时间3d的残像的透明度增加3Δ％的情况下执行渲染，从而可以获得图3所示的图像。尽管给出了对于以均匀间隔d1生成残像的示例的描述，但是间隔可以是不均匀的。此外，可以考虑到显示装置的特性等独立地改变各个过去模型的透明度，而非以预定比率增加每个透明度。
通过执行上述处理，如图3所示，显示当前周围移动体310的图像，同时以时间间隔d1留下多个残像，其中每个残像的透明度比前一残像增加Δ％。
通过使用图7的处理，在每个间隔时间d1生成周围移动体310的残像(312、314、316)。
执行图7的处理能够实现允许操作者(驾驶员)更容易理解周围移动体相对于虚拟移动体100如何移动的显示。
<硬件配置>
图8是示出一个实施方式中的硬件配置700的示图。
硬件配置700包括CPU 702、存储器704、通信控制装置706、输入接口708、显示器控制器710、外部存储器控制器712和输出接口714。
诸如因特网和控制器局域网(CAN)731等的网络连接到通信控制装置706。触敏传感器740、GPS 742和摄像机744等连接到输入接口708。显示器750连接到显示器控制器710。外部存储器控制器712可以从存储介质760读取数据和向存储介质760写入数据。扬声器770等连接到输出接口。
存储介质760可以是RAM、ROM、CD-ROM、DVD-ROM、硬盘或存储卡等。
上述实施方式的程序可以由具有硬件配置700的计算机执行。此外，实施方式的程序可以实现为要由计算机执行的方法。实施方式的部分或全部程序可以由操作系统执行。此外，部分程序可以由硬件实现。程序可以存储在存储介质760或存储器704中。
注意，只要不存在矛盾，前述实施方式中的程序的步骤可以同时执行或者在顺序改变的情况下执行。
前述实施方式可以实现为硬件装置。
前述实施方式并不限制权利要求中描述的本发明，并且应理所当然地被视为示例。
附图标记说明
210 移动体测量部
220 周围物体测量部
230 物体识别部
240 3D模型数据库
250 虚拟空间构建部
260 渲染部
270 汽车导航数据库
280 记录器部

Claims (6)

1.一种移动体位置信息识别显示装置，该移动体位置信息识别显示装置包括：
行驶状态获得部，该行驶状态获得部被配置为获得关于主移动体的行驶状态的信息，所述关于主移动体的行驶状态的信息包括所述主移动体的位置和速度；
物体信息获得部，该物体信息获得部被配置为获得关于多个物体的信息，所述关于多个物体的信息包括行驶道路的形状和存在于所述主移动体的周围的另一移动体；
虚拟空间构建部，该虚拟空间构建部被配置为基于从所述行驶状态获得部和所述物体信息获得部所获得的信息，通过将至少所述主移动体以及所述多个物体中的每一个分别与多个虚拟模型中的每一个相关联，并且通过将相关联的虚拟模型布置在三维空间中，来构建虚拟空间；以及
二维视频生成部，该二维视频生成部被配置为生成从被布置在所述虚拟空间中的虚拟摄像机拍摄所述虚拟空间的二维视频，并且向显示屏输出所述二维视频，其中
所述二维视频生成部在根据物体相对于所述主移动体的速度将预定效果添加到所述二维视频中的对应于所述物体的虚拟模型的显示的情况下生成所述二维视频，并且所述效果是透明度随着时间增加的离散显示的残像，或者是轨迹，其中，所述残像或所述轨迹示出在过去所述物体相对于所述主移动体的位置关系。
2.根据权利要求1所述的移动体位置信息识别显示装置，其中
当所述效果是所述透明度随着时间增加的离散显示的残像时，所述残像是在当前时间点之前预定时间的时间点的虚拟模型的视频，并且
所述预定时间越长，所述虚拟模型的视频的透明度越高。
3.根据权利要求1所述的移动体位置信息识别显示装置，其中，所述效果不被添加到对应于以下物体的虚拟模型：朝向所述主移动体迎面而来的物体、相对于所述主移动体的速度的绝对值或相对于所述主移动体的速度变化的绝对值小于预定值的物体、速度低于所述主移动体的物体或静止的物体。
4.根据权利要求1所述的移动体位置信息识别显示装置，该移动体位置信息识别显示装置还包括被配置为记录所述虚拟空间或所述二维视频的记录部。
5.一种非暂时性计算机可读介质，该非暂时性计算机可读介质存储使计算机执行处理的移动体位置信息识别显示程序，所述处理包括：
获得关于主移动体的行驶状态的信息，所述关于主移动体的行驶状态的信息包括所述主移动体的位置和速度；
获得关于多个物体的信息，所述关于多个物体的信息包括行驶道路的形状和存在于所述主移动体的周围的另一移动体；
基于在获得所述关于主移动体的行驶状态的信息和获得所述关于多个物体的信息时所获得的信息，通过将至少所述主移动体以及所述多个物体中的每一个分别与多个虚拟模型中的每一个相关联，并且通过将相关联的虚拟模型布置在三维空间中，来构建虚拟空间；以及
生成从被布置在所述虚拟空间中的虚拟摄像机拍摄所述虚拟空间的二维视频，并且向显示屏输出所述二维视频，其中
生成所述二维视频的操作在根据物体相对于所述主移动体的速度将预定效果添加到所述二维视频中的对应于所述物体的虚拟模型的显示的情况下生成所述二维视频，并且所述效果是透明度随着时间增加的离散显示的残像，或者是轨迹，其中，所述残像或所述轨迹示出在过去所述物体相对于所述主移动体的位置关系。
6.根据权利要求5所述的非暂时性计算机可读介质，其中，所述效果不被添加到对应于以下物体的虚拟模型：朝向所述主移动体迎面而来的物体、相对于所述主移动体的速度的绝对值或相对于所述主移动体的速度变化的绝对值小于预定值的物体、速度低于所述主移动体的物体或静止的物体。
CN201880064353.4A 2017-10-02 2018-10-01 移动体图像生成记录显示装置和程序产品 Active CN111164652B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-192431 2017-10-02
JP2017192431A JP6543313B2 (ja) 2017-10-02 2017-10-02 移動体用画像生成記録表示装置及びプログラム
PCT/JP2018/036758 WO2019069875A1 (ja) 2017-10-02 2018-10-01 移動体用画像生成記録表示装置及びプログラム

Publications (2)

Publication Number Publication Date
CN111164652A CN111164652A (zh) 2020-05-15
CN111164652B true CN111164652B (zh) 2023-12-08

Family

ID=65995397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880064353.4A Active CN111164652B (zh) 2017-10-02 2018-10-01 移动体图像生成记录显示装置和程序产品

Country Status (6)

Country Link
US (1) US10896542B2 (zh)
EP (1) EP3693930A4 (zh)
JP (1) JP6543313B2 (zh)
KR (1) KR102349915B1 (zh)
CN (1) CN111164652B (zh)
WO (1) WO2019069875A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020095465A (ja) * 2018-12-12 2020-06-18 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
CN113574866B (zh) 2019-02-28 2024-08-02 斯塔特斯公司 校准捕捉广播视频的移动相机的系统及方法
CN110708594B (zh) * 2019-09-26 2022-03-29 三星电子（中国）研发中心 一种内容影像的生成方法及系统
CN114520875B (zh) * 2022-01-28 2024-04-02 西安维沃软件技术有限公司 视频处理方法、装置及电子设备
JP7438515B2 (ja) 2022-03-15 2024-02-27 オムロン株式会社 俯瞰データ生成装置、学習装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット
JP7364269B2 (ja) * 2022-03-15 2023-10-18 Ｎｅｃプラットフォームズ株式会社 物体検知装置、画像処理表示方法及びプログラム
WO2023176854A1 (ja) * 2022-03-15 2023-09-21 オムロン株式会社 俯瞰データ生成装置、学習装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1258370A (zh) * 1998-03-20 2000-06-28 西铁城时计株式会社 磁记录装置
JP2006107521A (ja) * 2005-10-17 2006-04-20 Denso Corp 移動体用通信装置
CN101048209A (zh) * 2004-09-09 2007-10-03 科乐美数码娱乐株式会社 图像生成装置、荷重显示方法、记录媒体及程序
CN104515531A (zh) * 2013-09-30 2015-04-15 本田技研工业株式会社 增强的3-维(3-d)导航
WO2016147547A1 (ja) * 2015-03-16 2016-09-22 株式会社デンソー 画像生成装置
WO2017003013A1 (ko) * 2015-07-01 2017-01-05 엘지전자 주식회사 차량 주행 보조 장치, 이의 동작 방법, 및 이를 포함하는 차량
CN107004361A (zh) * 2014-12-09 2017-08-01 三菱电机株式会社 碰撞风险计算装置、碰撞风险显示装置以及车体控制装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6972756B1 (en) * 1997-11-25 2005-12-06 Kabushiki Kaisha Sega Enterprises Image generating device
JPH11250396A (ja) 1998-02-27 1999-09-17 Hitachi Ltd 車両位置情報表示装置および方法
JPH11339192A (ja) * 1998-05-25 1999-12-10 Hitachi Ltd 車両用表示装置
JP3442736B2 (ja) * 2000-11-30 2003-09-02 コナミ株式会社 画像処理装置、画像処理方法及び情報記憶媒体
JP2002278662A (ja) * 2001-03-22 2002-09-27 Namco Ltd ゲーム装置、ゲーム処理用プログラム、およびそのプログラムを記録した記録媒体
JP2003216981A (ja) 2002-01-25 2003-07-31 Iwane Kenkyusho:Kk 自動作業システム
WO2005088970A1 (ja) 2004-03-11 2005-09-22 Olympus Corporation 画像生成装置、画像生成方法、および画像生成プログラム
JP2006092156A (ja) 2004-09-22 2006-04-06 Namco Ltd プログラム、情報記憶媒体及び画像生成装置
JP4534922B2 (ja) * 2005-09-16 2010-09-01 株式会社デンソー 仮想先行車画像表示システム
GB0807953D0 (en) * 2008-05-01 2008-06-11 Ying Ind Ltd Improvements in motion pictures
JP5273068B2 (ja) 2010-02-26 2013-08-28 三菱自動車工業株式会社 車両周辺監視装置
JP5681569B2 (ja) 2011-05-31 2015-03-11 富士通テン株式会社 情報処理システム、サーバ装置、および、車載装置
JP6062041B2 (ja) * 2012-05-07 2017-01-18 本田技研工業株式会社 道路を基準にした風景のビデオ画像から仮想表示面を生成する方法
US8892358B2 (en) * 2013-03-14 2014-11-18 Robert Bosch Gmbh System and method for distortion correction in three-dimensional environment visualization
US20150104757A1 (en) * 2013-10-15 2015-04-16 Mbfarr, Llc Driving assessment and training method and apparatus
US10321117B2 (en) * 2014-04-11 2019-06-11 Lucasfilm Entertainment Company Ltd. Motion-controlled body capture and reconstruction

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1258370A (zh) * 1998-03-20 2000-06-28 西铁城时计株式会社 磁记录装置
CN101048209A (zh) * 2004-09-09 2007-10-03 科乐美数码娱乐株式会社 图像生成装置、荷重显示方法、记录媒体及程序
JP2006107521A (ja) * 2005-10-17 2006-04-20 Denso Corp 移動体用通信装置
CN104515531A (zh) * 2013-09-30 2015-04-15 本田技研工业株式会社 增强的3-维(3-d)导航
CN107004361A (zh) * 2014-12-09 2017-08-01 三菱电机株式会社 碰撞风险计算装置、碰撞风险显示装置以及车体控制装置
WO2016147547A1 (ja) * 2015-03-16 2016-09-22 株式会社デンソー 画像生成装置
JP2016172469A (ja) * 2015-03-16 2016-09-29 株式会社デンソー 画像生成装置
WO2017003013A1 (ko) * 2015-07-01 2017-01-05 엘지전자 주식회사 차량 주행 보조 장치, 이의 동작 방법, 및 이를 포함하는 차량

Also Published As

Publication number Publication date
EP3693930A4 (en) 2021-06-30
JP6543313B2 (ja) 2019-07-10
WO2019069875A1 (ja) 2019-04-11
US20200234497A1 (en) 2020-07-23
KR20200054322A (ko) 2020-05-19
US10896542B2 (en) 2021-01-19
KR102349915B1 (ko) 2022-01-10
EP3693930A1 (en) 2020-08-12
JP2019067174A (ja) 2019-04-25
CN111164652A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN111164652B (zh) 移动体图像生成记录显示装置和程序产品
US11657604B2 (en) Systems and methods for estimating future paths
CN109215433B (zh) 用于自动驾驶仿真的基于视觉的驾驶场景生成器
JP4696248B2 (ja) 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
CN111595357B (zh) 可视化界面的显示方法、装置、电子设备和存储介质
US11082616B2 (en) Overlooking image generation system for vehicle and method thereof
JP6697115B2 (ja) 移動体用画像生成記録表示装置及びプログラム
EP3896604A1 (en) Vehicle driving and monitoring system; method for maintaining a sufficient level of situational awareness; computer program and computer readable medium for implementing the method
EP3859390A1 (en) Method and system for rendering a representation of an evinronment of a vehicle
CN113815627A (zh) 用于确定车辆乘员的命令的方法和系统
JP5825713B2 (ja) 車両用危険場面再現装置
JP2021118002A (ja) 車両映像に基づく車間距離の測定方法、車間距離測定装置、電子機器、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
US10864856B2 (en) Mobile body surroundings display method and mobile body surroundings display apparatus
CN114842455B (zh) 障碍物检测方法、装置、设备、介质、芯片及车辆
CN112805200B (zh) 交通场景的快照图像
JP2019109393A (ja) 静止物体地図情報生成装置
WO2020073270A1 (en) Snapshot image of traffic scenario
WO2020073271A1 (en) Snapshot image of traffic scenario
WO2020073268A1 (en) Snapshot image to train roadmodel
WO2020073272A1 (en) Snapshot image to train an event detector
CN116868251A (zh) 显示控制装置以及显示控制程序
JP2024124855A (ja) 車両用制御装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230922

Address after: Kanagawa

Applicant after: Jiahe fuyiai Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: Kandra Japan Co.,Ltd.

GR01 Patent grant
GR01 Patent grant