CN113033412B - 基于实景融合的交通态势监控方法、装置、设备及介质 - Google Patents

基于实景融合的交通态势监控方法、装置、设备及介质 Download PDF

Info

Publication number
CN113033412B
CN113033412B CN202110326140.8A CN202110326140A CN113033412B CN 113033412 B CN113033412 B CN 113033412B CN 202110326140 A CN202110326140 A CN 202110326140A CN 113033412 B CN113033412 B CN 113033412B
Authority
CN
China
Prior art keywords
live
monitored
action
video
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110326140.8A
Other languages
English (en)
Other versions
CN113033412A (zh
Inventor
陈晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An International Smart City Technology Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN202110326140.8A priority Critical patent/CN113033412B/zh
Publication of CN113033412A publication Critical patent/CN113033412A/zh
Application granted granted Critical
Publication of CN113033412B publication Critical patent/CN113033412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Educational Administration (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Geometry (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明实施例公开了一种基于实景融合的交通态势监控方法、装置、设备及介质。该方法属于监控技术领域，其包括：获取待监控现场对应的实景图片的场景信息，并对场景信息进行3D建模以得到与待监控现场对应的三维实景模型；获取多个实景摄像机采集到的与待监控现场相对应的多个待监控现场视频；将获取到的多个待监控现场视频与三维实景模型进行融合以生成初始实景融合图；将初始实景融合图输入至预设运行系统以使预设运行系统生成目标实景融合图。本申请实施例打破了孤立的、分割的监控模式，构建了实景融合的监控场景，可实时的获取交通整体态势。

Description

基于实景融合的交通态势监控方法、装置、设备及介质
技术领域
本发明涉及监控技术领域，尤其涉及一种基于实景融合的交通态势监控方法、装置、设备及介质。
背景技术
随着城市交通设施的不断完善，交通工具数量日益增加，交通压力急剧增大。为了缓和城市交通的各种问题，实际应用中，通常会在道路两旁架设足量摄像机，通过对这些摄像机的视频进行实时监控得出该区域内的交通态势，但由于分镜头监控视频众多，监控者不能及时发现异常，做出预警；同时因分镜头监控模式具有画面相互孤立、缺乏关联性的应用局限，难以直观获取监控区域的交通整体态势。
发明内容
本发明实施例提供了一种基于实景融合的交通态势监控方法、装置、设备及介质，旨在解决现有监控无法实时获取监控区的交通整体态势的问题。
第一方面，本发明实施例提供了一种基于实景融合的交通态势监控方法，其包括：
获取待监控现场对应的实景图片的场景信息，并对所述场景信息进行3D建模以得到与所述待监控现场对应的三维实景模型；
获取多个实景摄像机采集到的与所述待监控现场相对应的多个待监控现场视频；
将获取到的所述多个待监控现场视频与所述三维实景模型进行融合以生成初始实景融合图；
将所述初始实景融合图输入至预设运行系统以使所述预设运行系统生成目标实景融合图。
第二方面，本发明实施例还提供了一种基于实景融合的交通态势监控装置，其包括：
建模单元，用于获取待监控现场对应的实景图片的场景信息，并对所述场景信息进行3D建模以得到与所述待监控现场对应的三维实景模型；
获取单元，用于获取多个实景摄像机采集到的与所述待监控现场相对应的多个待监控现场视频；
第一生成单元，用于将获取到的所述多个待监控现场视频与所述三维实景模型进行融合以生成初始实景融合图；
第二生成单元，用于将所述初始实景融合图输入至预设运行系统以使所述预设运行系统生成目标实景融合图。
第三方面，本发明实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。
本发明实施例提供了一种基于实景融合的交通态势监控方法、装置、设备及介质。其中，所述方法包括：获取待监控现场对应的实景图片的场景信息，并对所述场景信息进行3D建模以得到与所述待监控现场对应的三维实景模型；获取多个实景摄像机采集到的与所述待监控现场相对应的多个待监控现场视频；将获取到的所述多个待监控现场视频与所述三维实景模型进行融合以生成初始实景融合图；将所述初始实景融合图输入至预设运行系统以使所述预设运行系统生成目标实景融合图。本发明实施例的技术方案，将待监控现场视频与三维实景模型进行融合生成实景融合图，无需监控者查看多个监控视频，从而打破了孤立的、分割的监控模式，构建了实景融合的监控场景，可实时的获取交通整体态势。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于实景融合的交通态势监控方法的流程示意图；
图2为本发明实施例提供的一种基于实景融合的交通态势监控方法的子流程示意图；
图3为本发明实施例提供的一种基于实景融合的交通态势监控方法的子流程示意图；
图4为本发明实施例提供的一种基于实景融合的交通态势监控方法的子流程示意图；
图5为本发明实施例提供的一种基于实景融合的交通态势监控方法的子流程示意图；
图6为本发明实施例提供的一种基于实景融合的交通态势监控方法的子流程示意图；
图7为本发明实施例提供的一种基于实景融合的交通态势监控装置的示意性框图；
图8为本发明实施例提供的基于实景融合的交通态势监控装置的建模单元的示意性框图；
图9为本发明实施例提供的基于实景融合的交通态势监控装置的第一建模子单元的示意性框图；
图10为本发明实施例提供的基于实景融合的交通态势监控装置的第一生成单元的示意性框图；
图11为本发明实施例提供的基于实景融合的交通态势监控装置的预处理单元的示意性框图；
图12为本发明实施例提供的基于实景融合的交通态势监控装置的信息配准单元的示意性框图；
图13为本发明实施例提供的基于实景融合的交通态势监控装置的第二生成子单元的示意性框图；以及
图14为本发明实施例提供的一种计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
请参阅图1，图1是本发明实施例提供的一种基于实景融合的交通态势监控方法的流程示意图。本发明实施例的基于实景融合的交通态势监控方法可应用于终端中，例如手提电脑、笔记本电脑、台式电脑等智能终端设备，通过安装于所述终端上的应用程序来实现所述基于实景融合的交通态势监控方法，从而打破了孤立的、分割的监控模式，构建了实景融合的监控场景，可实时的获取交通整体态势。如图1所示，该方法包括以下步骤S100-S130。
S100、获取待监控现场对应的实景图片的场景信息，并对所述场景信息进行3D建模以得到与所述待监控现场对应的三维实景模型。
在本发明实施例中，首先获取待监控现场对应的实景图片的场景信息，其中，所述场景信息包括静态场景信息和动态场景信息，所述静态场景信息包括多个静态对象，所述动态场景信息包括多个动态对象。具体地，是通过3d Max建模软件加载所述实景图片并从所述实景图片中获取多个静态对象和多个动态动态，获取多个静态对象和多个动态对象之后，再分别对多个静态对象和多个动态对象进行3D建模以生成Obj格式的静态对象模型和Fbx格式的动态对象模型，然后将静态对象模型和动态对象模型按预设比例叠加至所述实景图片上即可得到与所述待监控现场对应的三维实景模型。在本实施例中，三维实景模型,它是一种利用3dMax建模软件对实景图片进行处理后生成的一种三维虚拟展示技术。3dMax建模软件是Discreet公司开发的基于PC系统的三维动画渲染和制作软件。
请参阅图2，在一实施例中，例如在本发明实施例中，所述步骤S100包括如下步骤S101-S103。
S101、获取待监控现场对应的实景图片的静态场景信息和动态场景信息，其中，所述静态场景信息包括多个静态对象，所述动态场景信息包括多个动态对象；
S102、分别将所述静态场景信息中的每个所述静态对象和所述动态场景信息中的每个所述动态对象进行3D建模以得到Obj格式的静态对象模型和Fbx格式的动态对象模型；
S103、将所述静态对象模型和所述动态对象模型按预设比例叠加至所述实景图片上以生成三维实景模型。
在本发明实施例中，获取待监控现场对应的实景图片的静态场景信息和动态场景信息之后，会分别对所述静态场景信息中的每个静态对象和所述动态场景信息中的每个动态对象进行3D建模以得到与所述待监控现场对应的三维实景模型。具体地，是分别将所述静态场景信息中的每个所述静态对象和所述动态场景信息中的每个所述动态对象输入至3dMax建模软件以输出Obj格式的静态对象模型和Fbx格式的动态对象模型；将所述静态对象模型和所述动态对象模型按预设比例叠加至所述实景图片上以生成三维实景模型。其中，静态场景信息包括指示牌、道路、路灯、树木等静态对象；动态场景信息包括公交车、自行车、小轿车等动态对象。在实际应用中，是将所述实景图片输入至3d Max建模软件，并在3dMax建模软件里面设置相应建模参数，例如匹配单位，建模参数设置完成之后，3dMax建模软件获取所述实景图片中的多个静态对象和多个动态对象，并分别对多个静态对象和多个动态对象进行建模以生成Obj格式的静态对象模型和Fbx格式的动态对象模型，然后将静态对象模型和动态对象模型按预设比例叠加至所述实景图片上即可得到三维实景模型。
需要说明的是，在本发明实施例中，Fbx格式的动态场景模型相比于Obj格式的静态场景模型可支持动画，更方面后续控制其运行行为。
S110、获取多个实景摄像机采集到的与所述待监控现场相对应的多个待监控现场视频。
在本发明实施例中，对所述场景信息进行3D建模得到三维实景模型之后，获取多个实景摄像机采集到的与所述待监控现场相对应的多个待监控现场视频。可理解地，多个待监控现场视频为多个实景摄像机在同一时间段内从不同视角对待监控现场进行拍摄的视频。
需要说明的是，在其它实施例中，也可采用其它视频采集设备采集待监控现场视频，根据具体情况而定。
S120、将获取到的所述多个待监控现场视频与所述三维实景模型进行融合以生成初始实景融合图。
在本发明实施例中，获取到所述多个待监控现场视频之后，将所述多个待监控现场视频与所述三维实景模型进行融合以生成初始实景融合图。其中，三维实景它是运用数码相机对现有场景进行多角度环视拍摄然后进行后期缝合并加载播放程序来完成的一种三维虚拟展示技术。
请参阅图3，在一实施例中，例如在本发明实施例中，所述步骤S120包括如下步骤S121-S123。
S121、对每个所述待监控现场视频进行预处理以得到目标待监控现场视频。
在本发明实施例中，将获取到的所述多个待监控现场视频与所述三维实景模型进行融合生成初始实景融合地图之前，需要对每个所述待监控现场视频进行预处理以得到目标待监控现场视频。其中，预处理指的是先对每个所述待监控现场视频进行视频格式的判断，若所述待监控现场视频的视频格式为非预设视频格式，则将所述待监控现场视频的视频格式转换为所述预设视频格式，之后再对转换视频格式之后的所述待监控现场视频进行色彩和亮度调整即可得到目标待监控现场视频。
请参阅图4，在一实施例中，例如在本发明实施例中，所述步骤S120包括如下步骤S1211-S1213。
S1211、判断每个所述待监控现场视频的视频格式是否为预设视频格式，若所述待监控现场视频的视频格式为非预设视频格式，则执行步骤S1212，否则执行步骤S1213；
S1212、将所述待监控现场视频的视频格式转换为所述预设视频格式以得到第一待监控现场视频；
S1213、对所述第一待监控现场视频进行色彩和亮度调整以得到第二待监控现场视频，并将所述第二待监控现场视频作为目标待监控现场视频。
在本发明实施例中，对每个所述待监控现场视频进行预处理，具体地，判断每个所述待监控现场视频的视频格式是否为预设视频格式，其中，预设视频格式为m3u8格式视频，若所述待监控现场视频的视频格式为非预设视频格式，表明需要对所述待监控现场视频进行视频格式的转换以得到第一待监控现场视频，在本实施例中，之所以将非预设视频格式转换为预设视频格式m3u8，是因为m3u8格式视频可以做多码率的适配，根据网络带宽，自动选择一个适合自己码率的文件进行播放，保证视频流的流畅。其中，非预设视频格式包括WAV、AVI、AVI、MKV、MOV、MPEG-4等。得到第一待监控现场视频后，再对所述第一待监控现场视频进行色彩和亮度调整以得到第二待监控现场视频，并将所述第二待监控现场视频作为目标待监控现场视频。可理解地，若所述待监控现场视频的视频格式为预设视频格式，则直接执行对所述第一待监控现场视频进行色彩和亮度调整以得到第二待监控现场视频，并将所述第二待监控现场视频作为目标待监控现场视频的步骤。在本实施例中，之所以对所述第一待监控现场视频进行色彩和亮度调整，是为了在后续步骤中能更好的生成初始实景融合图。
S122、对所述目标待监控现场视频与所述三维实景模型进行信息配准以得到json配准文件。
在本发明实施例中，对所述每个待监控现场视频进行预处理得到所述目标待监控现场视频之后，将所述目标待监控现场视频与所述三维实景模型进行信息配准以得到json配准文件。具体地，先获取每个所述实景摄像机的预设参数，然后根据获取到的所述预设参数在所述三维实景模型中创建与每个所述实景摄像机对应的投影面，最后根据创建的所述投影面和所述目标待监控现场视频进行信息配准以生成json配准文件。
请参阅图5，在一实施例中，例如在本发明实施例中，所述步骤S122包括如下步骤S1221-S1222。
S1221、获取每个所述实景摄像机的预设参数，并根据所述预设参数在三维实景模型中创建与每个所述实景摄像机对应的投影面；
S1222、对所述投影面和所述目标待监控现场视频进行信息配准以生成json配准文件。
在本发明实施例中，将所述目标待监控现场视频与所述三维实景模型进行信息配准以得到json配准文件。具体地，首先获取每个所述实景摄像机的预设参数，并根据所述预设参数在三维实景模型中创建与每个所述实景摄像机对应的投影面；其中预设参数包括所述实景摄像机的位置、视角、高度、倾斜角度等参数；创建所述投影面之后，对所述投影面和所述目标待监控现场视频进行信息配准以生成json配准文件。具体地，是使得每个目标待监控现场视频都能投射至相应的投影面，且对每个投影面进行裁剪以使相邻视频中的画面进行拼接融合形成一个整体的监控视频画面后再生成相应的json配准文件，可理解地，本发明实施例中，之所以要生成json配准文件，是为了后续能在支持WebGL的浏览器页面中显示生成的初始实景融合图。其中，json配准文件是.json格式的文件。WebGL(全写WebGraphics Library)是一种3D绘图协议，这种绘图技术标准允许把JavaScript和OpenGL ES2.0结合在一起，通过增加OpenGL ES2.0的一个JavaScript绑定，WebGL可以为HTML5Canvas提供硬件3D加速渲染，这样Web开发人员就可以借助系统显卡来在浏览器里更流畅地展示3D场景和模型了，还能创建复杂的导航和数据视觉化。
S123、根据所述目标待监控现场视频和所述json配准文件生成初始实景融合图。
在本发明实施例中，对所述目标待监控现场视频与所述三维实景模型进行信息配准以得到json配准文件之后，根据所述目标待监控现场视频和所述json配准文件可生成初始实景融合图。具体地，首先解析所述json配准文件以得到所述投影面，得到所述投影面之后，再将与所述目标待监控现场视频对应的视频流投射至所述投影面以生成初始实景融合图。
请参阅图6，在一实施例中，例如在本发明实施例中，所述步骤S123包括如下步骤S1231-S1232。
S1231、解析所述json配准文件以得到所述投影面；
S1232、将与所述目标待监控现场视频对应的视频流投射至所述投影面以生成初始实景融合图。
在本发明实施例中，生成json配准文件之后，根据所述json配准文件和所述目标待监控现场视频可生成初始实景融合图。具体地，解析所述json配准文件以得到所述目标投影面；将与所述目标待监控现场视频对应的视频流投射至对应的投影面以生成初始实景融合图。可理解地，当监控者视角发生变化时，为使所述视频流叠加至投影面生成的初始实景融合图无差异，在本发明实施例中，采用了神经超采样算法对视频流进行了渲染。
需要说明的是，在本发明实施例中，初始实景融合图为在待监控现场的三维实景模型上叠加了待监控现场视频，即若待监控现场为一交叉路口，对交叉路口进行3D建模得到相应的三维实景模型之后，将待监控现场视频覆盖到三维实景模型交叉路口之上形成的地图即为初始实景融合图。可理解地，待监控现场视频中动态对象，例如车辆，以三维实景模型中的动态对象车辆为映射对象进行投射。
S130、将所述初始实景融合图输入至预设运行系统以使所述预设运行系统生成目标实景融合图。
在本发明实施例中，生成初始实景融合图之后，将所述初始实景融合图输入至预设运行系统以使所述预设运行系统生成目标实景融合图，监控者通过查看目标实景融合图就可查看所述待监控现场的交通状况。其中，预设运行系统为现有的路口运行仿真系统。在实际应用中，将所述初始实景融合图输入至预设运行系统，所述预设运行系统先将预设车辆模型叠加至所述初始实景融合图的动态对象车辆模型上，然后根据预先配置的运行规则，所述预设运行系统使用内置的Dijkstra算法实时规划出行驶路线，基于规划出的所述行驶路线再通过内置的梯度下降法对其进行平滑处理以得到目标行驶路线，最后使叠加至所述初始实景融合图中的车辆模型按照所述目标行驶路线行驶从而生成目标实景融合图。其中，预先配置的运行规则为红灯表示禁止通行，绿灯表示准许通行，黄灯表示警示等规则。
图7是本发明实施例提供的一种基于实景融合的交通态势监控装置200的示意性框图。如图7所示，对应于以上基于实景融合的交通态势监控方法，本发明还提供一种基于实景融合的交通态势监控装置200。该基于实景融合的交通态势监控装置200包括用于执行上述基于实景融合的交通态势监控方法的单元，该装置可以被配置于终端中。具体地，请参阅图7，该基于实景融合的交通态势监控装置200包括建模单元201、获取单元202、第一生成单元203以及第二生成单元204。
其中，所述建模单元201用于获取待监控现场对应的实景图片的场景信息，并对所述场景信息进行3D建模以得到与所述待监控现场对应的三维实景模型；所述获取单元202用于获取多个实景摄像机采集到的与所述待监控现场相对应的多个待监控现场视频；所述第一生成单元203用于将获取到的所述多个待监控现场视频与所述三维实景模型进行融合以生成初始实景融合图；所述第二生成单元204用于将所述初始实景融合图输入至预设运行系统以使所述预设运行系统生成目标实景融合图。
在某些实施例，例如本实施例中，如图8所示，所述建模单元201包括获取子单元2011及第一建模子单元2012。
其中，所述获取子单元2011用于获取待监控现场对应的实景图片的静态场景信息和动态场景信息，其中，所述静态场景信息包括多个静态对象，所述动态场景信息包括多个动态对象；所述第一建模子单元2012用于分别对所述静态场景信息中的每个所述静态对象和所述动态场景信息中的每个所述动态对象进行3D建模以得到与所述待监控现场对应的三维实景模型。
在某些实施例，例如本实施例中，如图9所示，所述第一建模子单元2012包括第二建模子单元20121及第一生成子单元20122。
其中，所述第二建模子单元20121用于分别将所述静态场景信息中的每个所述静态对象和所述动态场景信息中的每个所述动态对象进行3D建模以得到Obj格式的静态对象模型和Fbx格式的动态对象模型；所述第一生成子单元20122用于将所述静态对象模型和所述动态对象模型按预设比例叠加至所述实景图片上以生成三维实景模型。
在某些实施例，例如本实施例中，如图10所示，所述第一生成单元203包括预处理单元2031、信息配准单元2032以及第二生成子单元2033。
其中，所述预处理单元2031用于对每个所述待监控现场视频进行预处理以得到目标待监控现场视频；所述信息配准单元2032用于对所述目标待监控现场视频与所述三维实景模型进行信息配准以得到json配准文件；所述第二生成子单元2033用于根据所述目标待监控现场视频和所述json配准文件生成初始实景融合图。
在某些实施例，例如本实施例中，如图11所示，所述预处理单元2031包括判断单元20311、转换单元20312以及处理单元20313。
其中，所述判断单元20311用于判断每个所述待监控现场视频的视频格式是否为预设视频格式；所述转换单元20312用于若所述待监控现场视频的视频格式为非预设视频格式，则将所述待监控现场视频的视频格式转换为所述预设视频格式以得到第一待监控现场视频；所述处理单元20313用于对所述第一待监控现场视频进行色彩和亮度调整以得到第二待监控现场视频，并将所述第二待监控现场视频作为目标待监控现场视频。
在某些实施例，例如本实施例中，如图12所示，所述信息配准单元2032包括创建单元20321及信息配准子单元20322。
其中，所述创建单元20321用于获取每个所述实景摄像机的预设参数，并根据所述预设参数在三维实景模型中创建与每个所述实景摄像机对应的投影面；所述信息配准子单元20322用于对所述投影面和所述目标待监控现场视频进行信息配准以生成json配准文件。
在某些实施例，例如本实施例中，如图13所示，所述第二生成子单元2033包括解析单元20331及第三生成子单元20332。
其中，所述解析单元20331用于解析所述json配准文件以得到所述投影面；所述第三生成子单元20332用于将与所述目标待监控现场视频对应的视频流投射至所述投影面以生成初始实景融合图。
请参阅图14，图14是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备300为终端，终端可以是平板电脑、笔记本电脑和台式电脑等具有通信功能的电子设备。
参阅图14，该计算机设备300包括通过系统总线301连接的处理器302、存储器和网络接口305，其中，存储器可以包括存储介质303和内存储器304。
该存储介质303可存储操作系统3031和计算机程序3032。该计算机程序3032被执行时，可使得处理器302执行一种基于实景融合的交通态势监控方法。
该处理器302用于提供计算和控制能力，以支撑整个计算机设备300的运行。
该内存储器304为存储介质303中的计算机程序3032的运行提供环境，该计算机程序3032被处理器302执行时，可使得处理器302执行一种基于实景融合的交通态势监控方法。
该网络接口305用于与其它设备进行网络通信。本领域技术人员可以理解，图14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备300的限定，具体的计算机设备300可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器302用于运行存储在存储器中的计算机程序3032，以实现如下步骤：获取待监控现场对应的实景图片的场景信息，并对所述场景信息进行3D建模以得到与所述待监控现场对应的三维实景模型；获取多个实景摄像机采集到的与所述待监控现场相对应的多个待监控现场视频；将获取到的所述多个待监控现场视频与所述三维实景模型进行融合以生成初始实景融合图；将所述初始实景融合图输入至预设运行系统以使所述预设运行系统生成目标实景融合图。
在某些实施例，例如本实施例中，处理器302在实现所述获取待监控现场对应的实景图片的场景信息，并对所述场景信息进行3D建模以得到与所述待监控现场对应的三维实景模型步骤时，具体实现如下步骤：获取待监控现场对应的实景图片的静态场景信息和动态场景信息，其中，所述静态场景信息包括多个静态对象，所述动态场景信息包括多个动态对象；分别对所述静态场景信息中的每个所述静态对象和所述动态场景信息中的每个所述动态对象进行3D建模以得到与所述待监控现场对应的三维实景模型。
在某些实施例，例如本实施例中，处理器302在实现所述分别对所述静态场景信息中的每个所述静态对象和所述动态场景信息中的每个所述动态对象进行3D建模以得到与所述待监控现场对应的三维实景模型步骤时，具体实现如下步骤：分别将所述静态场景信息中的每个所述静态对象和所述动态场景信息中的每个所述动态对象进行3D建模以得到Obj格式的静态对象模型和Fbx格式的动态对象模型；将所述静态对象模型和所述动态对象模型按预设比例叠加至所述实景图片上以生成三维实景模型。
在某些实施例，例如本实施例中，处理器302在实现所述将获取到的所述多个待监控现场视频与所述三维实景模型进行融合以生成初始实景融合图步骤时，具体实现如下步骤：对每个所述待监控现场视频进行预处理以得到目标待监控现场视频；对所述目标待监控现场视频与所述三维实景模型进行信息配准以得到json配准文件；根据所述目标待监控现场视频和所述json配准文件生成初始实景融合图。
在某些实施例，例如本实施例中，处理器302在实现所述对每个所述待监控现场视频进行预处理以得到目标待监控现场视频步骤时，具体实现如下步骤：判断每个所述待监控现场视频的视频格式是否为预设视频格式；若所述待监控现场视频的视频格式为非预设视频格式，则将所述待监控现场视频的视频格式转换为所述预设视频格式以得到第一待监控现场视频；对所述第一待监控现场视频进行色彩和亮度调整以得到第二待监控现场视频，并将所述第二待监控现场视频作为目标待监控现场视频。
在某些实施例，例如本实施例中，处理器302在实现所述对所述目标待监控现场视频与所述三维实景模型进行信息配准以得到json配准文件步骤时，具体实现如下步骤：获取每个所述实景摄像机的预设参数，并根据所述预设参数在三维实景模型中创建与每个所述实景摄像机对应的投影面；对所述投影面和所述目标待监控现场视频进行信息配准以生成json配准文件。
在某些实施例，例如本实施例中，处理器302在实现所述根据所述目标待监控现场视频和所述json配准文件生成初始实景融合图步骤时，具体实现如下步骤：解析所述json配准文件以得到所述投影面；将与所述目标待监控现场视频对应的视频流投射至所述投影面以生成初始实景融合图。
应当理解，在本申请实施例中，处理器302可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器302还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该计算机程序被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序。该计算机程序被处理器执行时使处理器执行如下步骤：获取待监控现场对应的实景图片的场景信息，并对所述场景信息进行3D建模以得到与所述待监控现场对应的三维实景模型；获取多个实景摄像机采集到的与所述待监控现场相对应的多个待监控现场视频；将获取到的所述多个待监控现场视频与所述三维实景模型进行融合以生成初始实景融合图；将所述初始实景融合图输入至预设运行系统以使所述预设运行系统生成目标实景融合图。
在某些实施例，例如本实施例中，所述处理器在执行所述计算机程序而实现所述获取待监控现场对应的实景图片的场景信息，并对所述场景信息进行3D建模以得到与所述待监控现场对应的三维实景模型步骤时，具体实现如下步骤：获取待监控现场对应的实景图片的静态场景信息和动态场景信息，其中，所述静态场景信息包括多个静态对象，所述动态场景信息包括多个动态对象；分别对所述静态场景信息中的每个所述静态对象和所述动态场景信息中的每个所述动态对象进行3D建模以得到与所述待监控现场对应的三维实景模型。
在某些实施例，例如本实施例中，所述处理器在执行所述计算机程序而实现所述分别对所述静态场景信息中的每个所述静态对象和所述动态场景信息中的每个所述动态对象进行3D建模以得到与所述待监控现场对应的三维实景模型步骤时，具体实现如下步骤：分别将所述静态场景信息中的每个所述静态对象和所述动态场景信息中的每个所述动态对象进行3D建模以得到Obj格式的静态对象模型和Fbx格式的动态对象模型；将所述静态对象模型和所述动态对象模型按预设比例叠加至所述实景图片上以生成三维实景模型。
在某些实施例，例如本实施例中，所述处理器在执行所述计算机程序而实现所述将获取到的所述多个待监控现场视频与所述三维实景模型进行融合以生成初始实景融合图步骤时，具体实现如下步骤：对每个所述待监控现场视频进行预处理以得到目标待监控现场视频；对所述目标待监控现场视频与所述三维实景模型进行信息配准以得到json配准文件；根据所述目标待监控现场视频和所述json配准文件生成初始实景融合图。
在某些实施例，例如本实施例中，所述处理器在执行所述计算机程序而实现所述对每个所述待监控现场视频进行预处理以得到目标待监控现场视频步骤时，具体实现如下步骤：判断每个所述待监控现场视频的视频格式是否为预设视频格式；若所述待监控现场视频的视频格式为非预设视频格式，则将所述待监控现场视频的视频格式转换为所述预设视频格式以得到第一待监控现场视频；对所述第一待监控现场视频进行色彩和亮度调整以得到第二待监控现场视频，并将所述第二待监控现场视频作为目标待监控现场视频。
在某些实施例，例如本实施例中，所述处理器在执行所述计算机程序而实现所述对所述目标待监控现场视频与所述三维实景模型进行信息配准以得到json配准文件步骤时，具体实现如下步骤：获取每个所述实景摄像机的预设参数，并根据所述预设参数在三维实景模型中创建与每个所述实景摄像机对应的投影面；对所述投影面和所述目标待监控现场视频进行信息配准以生成json配准文件。
在某些实施例，例如本实施例中，所述处理器在执行所述计算机程序而实现所述根据所述目标待监控现场视频和所述json配准文件生成初始实景融合图步骤时，具体实现如下步骤：解析所述json配准文件以得到所述投影面；将与所述目标待监控现场视频对应的视频流投射至所述投影面以生成初始实景融合图。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，尚且本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (5)

1.一种基于实景融合的交通态势监控方法，其特征在于，包括：
获取待监控现场对应的实景图片的场景信息，并对所述场景信息进行3D建模以得到与所述待监控现场对应的三维实景模型；
获取多个实景摄像机采集到的与所述待监控现场相对应的多个待监控现场视频；
对每个所述待监控现场视频进行预处理以得到目标待监控现场视频；
获取每个所述实景摄像机的预设参数，并根据所述预设参数在三维实景模型中创建与每个所述实景摄像机对应的投影面，其中，所述预设参数包括所述实景摄像机的位置、视角、高度以及倾斜角度；
对所述投影面和所述目标待监控现场视频进行信息配准以生成json配准文件；
根据所述目标待监控现场视频和所述json配准文件生成初始实景融合图；
将所述初始实景融合图输入至预设运行系统以使所述预设运行系统生成目标实景融合图；
其中，所述获取待监控现场对应的实景图片的场景信息，并对所述场景信息进行3D建模以得到与所述待监控现场对应的三维实景模型，包括：
获取待监控现场对应的实景图片的静态场景信息和动态场景信息，其中，所述静态场景信息包括多个静态对象，所述动态场景信息包括多个动态对象;
分别将所述静态场景信息中的每个所述静态对象和所述动态场景信息中的每个所述动态对象进行3D建模以得到Obj格式的静态对象模型和Fbx格式的动态对象模型；
将所述静态对象模型和所述动态对象模型按预设比例叠加至所述实景图片上以生成三维实景模型；
其中，所述根据所述目标待监控现场视频和所述json配准文件生成初始实景融合图，包括：
解析所述json配准文件以得到所述投影面；
将与所述目标待监控现场视频对应的视频流投射至所述投影面以生成初始实景融合图。
2.根据权利要求1所述的方法，其特征在于，所述对每个所述待监控现场视频进行预处理以得到目标待监控现场视频，包括：
判断每个所述待监控现场视频的视频格式是否为预设视频格式；
若所述待监控现场视频的视频格式为非预设视频格式，则将所述待监控现场视频的视频格式转换为所述预设视频格式以得到第一待监控现场视频；
对所述第一待监控现场视频进行色彩和亮度调整以得到第二待监控现场视频，并将所述第二待监控现场视频作为目标待监控现场视频。
3.一种基于实景融合的交通态势监控装置，其特征在于，包括：
建模单元，用于获取待监控现场对应的实景图片的场景信息，并对所述场景信息进行3D建模以得到与所述待监控现场对应的三维实景模型；
获取单元，用于获取多个实景摄像机采集到的与所述待监控现场相对应的多个待监控现场视频；
预处理单元，用于对每个所述待监控现场视频进行预处理以得到目标待监控现场视频；
创建单元，用于获取每个所述实景摄像机的预设参数，并根据所述预设参数在三维实景模型中创建与每个所述实景摄像机对应的投影面，其中，所述预设参数包括所述实景摄像机的位置、视角、高度以及倾斜角度；
信息配准子单元，用于对所述投影面和所述目标待监控现场视频进行信息配准以生成json配准文件；
第二生成子单元，用于根据所述目标待监控现场视频和所述json配准文件生成初始实景融合图；
第二生成单元，用于将所述初始实景融合图输入至预设运行系统以使所述预设运行系统生成目标实景融合图；
其中，所述建模单元包括获取子单元、第二建模子单元以及第一生成子单元；
所述获取子单元用于获取待监控现场对应的实景图片的静态场景信息和动态场景信息，其中，所述静态场景信息包括多个静态对象，所述动态场景信息包括多个动态对象;
所述第二建模子单元用于分别将所述静态场景信息中的每个所述静态对象和所述动态场景信息中的每个所述动态对象进行3D建模以得到Obj格式的静态对象模型和Fbx格式的动态对象模型；
所述第一生成子单元用于将所述静态对象模型和所述动态对象模型按预设比例叠加至所述实景图片上以生成三维实景模型；
其中，所述第二生成子单元包括解析单元及第三生成子单元；
所述解析单元用于解析所述json配准文件以得到所述投影面；
所述第三生成子单元用于将与所述目标待监控现场视频对应的视频流投射至所述投影面以生成初始实景融合图。
4.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-2中任一项所述的方法。
5.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-2中任一项所述的方法。
CN202110326140.8A 2021-03-26 2021-03-26 基于实景融合的交通态势监控方法、装置、设备及介质 Active CN113033412B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110326140.8A CN113033412B (zh) 2021-03-26 2021-03-26 基于实景融合的交通态势监控方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110326140.8A CN113033412B (zh) 2021-03-26 2021-03-26 基于实景融合的交通态势监控方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN113033412A CN113033412A (zh) 2021-06-25
CN113033412B true CN113033412B (zh) 2023-08-22

Family

ID=76474348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110326140.8A Active CN113033412B (zh) 2021-03-26 2021-03-26 基于实景融合的交通态势监控方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113033412B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114120642B (zh) * 2021-11-23 2022-12-06 深圳大学 一种道路车流三维重建方法、计算机设备及存储介质
CN114928718A (zh) * 2022-04-29 2022-08-19 厦门图扑软件科技有限公司 视频监控方法、装置、电子设备及存储介质
CN114972658B (zh) * 2022-07-27 2022-10-25 浙江中测新图地理信息技术有限公司 一种数据驱动的三维场景动态模型映射方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103716586A (zh) * 2013-12-12 2014-04-09 中国科学院深圳先进技术研究院 一种基于三维空间场景的监控视频融合系统和方法
CN105407278A (zh) * 2015-11-10 2016-03-16 北京天睿空间科技股份有限公司 一种全景视频交通态势监控系统及方法
CN106373148A (zh) * 2016-08-31 2017-02-01 中国科学院遥感与数字地球研究所 多路视频图像配准融合到三维数字地球系统的设备及方法
CN107958482A (zh) * 2016-10-17 2018-04-24 杭州海康威视数字技术股份有限公司 一种三维场景模型构建方法及装置
CN110310306A (zh) * 2019-05-14 2019-10-08 广东康云科技有限公司 基于实景建模与智能识别的目标跟踪方法、系统及介质
CN110992484A (zh) * 2019-11-20 2020-04-10 中电科新型智慧城市研究院有限公司 一种交通动态视频在真景三维平台中的显示方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103716586A (zh) * 2013-12-12 2014-04-09 中国科学院深圳先进技术研究院 一种基于三维空间场景的监控视频融合系统和方法
CN105407278A (zh) * 2015-11-10 2016-03-16 北京天睿空间科技股份有限公司 一种全景视频交通态势监控系统及方法
CN106373148A (zh) * 2016-08-31 2017-02-01 中国科学院遥感与数字地球研究所 多路视频图像配准融合到三维数字地球系统的设备及方法
CN107958482A (zh) * 2016-10-17 2018-04-24 杭州海康威视数字技术股份有限公司 一种三维场景模型构建方法及装置
CN110310306A (zh) * 2019-05-14 2019-10-08 广东康云科技有限公司 基于实景建模与智能识别的目标跟踪方法、系统及介质
CN110992484A (zh) * 2019-11-20 2020-04-10 中电科新型智慧城市研究院有限公司 一种交通动态视频在真景三维平台中的显示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
虚实融合的实景视频WebGIS系统;余亦豪 等;《系统仿真学报》;第30卷(第07期);第2568-2575页 *

Also Published As

Publication number Publication date
CN113033412A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN113033412B (zh) 基于实景融合的交通态势监控方法、装置、设备及介质
Kikuchi et al. Future landscape visualization using a city digital twin: Integration of augmented reality and drones with implementation of 3D model-based occlusion handling
US10769843B1 (en) 3D scene engineering simulation and real-life scene fusion system
KR101569600B1 (ko) 증강 현실 표현을 위한 2차원 이미지 캡쳐
US10084994B2 (en) Live streaming video over 3D
CN103716586A (zh) 一种基于三维空间场景的监控视频融合系统和方法
US20100091036A1 (en) Method and System for Integrating Virtual Entities Within Live Video
CN109741431B (zh) 一种二三维一体化电子地图框架
Wang et al. A synthetic dataset for Visual SLAM evaluation
Shi et al. An integrated traffic and vehicle co-simulation testing framework for connected and autonomous vehicles
Stahl et al. An open-source scenario architect for autonomous vehicles
CN112053440A (zh) 单体化模型的确定方法及通信装置
Komorkiewicz et al. FPGA-based hardware-in-the-loop environment using video injection concept for camera-based systems in automotive applications
Kikuchi et al. Diminished reality using semantic segmentation and generative adversarial network for landscape assessment: evaluation of image inpainting according to colour vision
CN105847751A (zh) 基于地图的全局监控方法及装置
Fukuda et al. Integration of a structure from motion into virtual and augmented reality for architectural and urban simulation: demonstrated in real architectural and urban projects
Gomes Jr et al. Semi-automatic methodology for augmented panorama development in industrial outdoor environments
Pfeffer et al. Video injection methods in a real-world vehicle for increasing test efficiency
CN114820504B (zh) 图像融合偏差的检测方法、装置、电子设备及存储介质
Laux et al. Build Your Own Training Data--Synthetic Data for Object Detection in Aerial Images
Tian et al. Latency-aware Road Anomaly Segmentation in Videos: A Photorealistic Dataset and New Metrics
Wei Research on digital twin city platform based on unreal engine
KR20220108911A (ko) 증강현실 gps연동 인공지능 이미지분석 건물안전 시스템
Wang et al. Real‐time fusion of multiple videos and 3D real scenes based on optimal viewpoint selection
US20160085427A1 (en) System and method of sharing spatial data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant