CN111556362A - 一种车身广告植入方法、装置、电子设备及存储介质 - Google Patents

一种车身广告植入方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111556362A
CN111556362A CN202010195199.3A CN202010195199A CN111556362A CN 111556362 A CN111556362 A CN 111556362A CN 202010195199 A CN202010195199 A CN 202010195199A CN 111556362 A CN111556362 A CN 111556362A
Authority
CN
China
Prior art keywords
image
vehicle
processed
images
vehicle body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010195199.3A
Other languages
English (en)
Inventor
胡飞
胡波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Wanmian Intelligent Technology Co Ltd
Original Assignee
Shanghai Wanmian Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Wanmian Intelligent Technology Co Ltd filed Critical Shanghai Wanmian Intelligent Technology Co Ltd
Priority to CN202010195199.3A priority Critical patent/CN111556362A/zh
Publication of CN111556362A publication Critical patent/CN111556362A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种车身广告植入方法、装置、电子设备及存储介质。该方法包括：获取待处理视频对应的多帧待处理图像；针对每帧待处理图像进行车体检测，获得车辆的轨迹图像集；其中，轨迹图像集包括连续的多帧待处理图像，且连续的多帧待处理图像中均包括同一车辆；针对每辆车的轨迹图像集中的多帧待处理图像进行语义分割，获得目标区域；获取广告图像，将广告图像植入待处理图像对应的目标区域中。本申请实施例通过对待处理图像进行车体检测，自动检测出包含车辆的图像，并对包含车辆的图像进行语义分割获得目标区域，最后将广告图像植入目标区域中，全过程自动化实现，无需人工植入，提高了对广告植入的效率。

Description

一种车身广告植入方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种车身广告植入方法、装置、电子设备及存储介质。
背景技术
都市剧、短视频中，车辆是频繁出现的物体，而车辆本身又是户外广告极佳的途径，具有很强的现代感和视觉冲击力。为了起到宣传效果，往往会在视频中车辆的车身上植入广告。
现有技术中，在车身上植入广告的方法是通过人工对视频中的每帧画面进行判断，判断该画面上是否有车辆，并在有车辆的画面中将广告植入车身上，其植入广告的效率很低。
发明内容
本申请实施例的目的在于提供一种车身广告植入方法、装置、电子设备及存储介质，用以提高对视频中的车身植入广告的效率。
第一方面，本申请实施例提供一种车身广告植入方法，包括：获取待处理视频对应的多帧待处理图像；针对每帧待处理图像进行车体检测，获得车辆的轨迹图像集；其中，所述轨迹图像集包括连续的多帧待处理图像，且连续的多帧待处理图像中均包括同一车辆；针对每辆车的轨迹图像集中的多帧待处理图像进行语义分割，获得目标区域；获取广告图像，将所述广告图像植入待处理图像对应的目标区域中。
本申请实施例通过对待处理图像进行车体检测，自动检测出包含车辆的图像，并对包含车辆的图像进行语义分割获得目标区域，最后将广告图像植入目标区域中，全过程自动化实现，无需人工植入，提高了对广告植入的效率。
进一步地，所述针对每帧待处理图像进行车体检测，获得车辆的轨迹图像集，包括：利用车体检测模型对每帧待处理图像进行车体检测，获得包含车辆的待处理图像中的车体信息；将相邻两帧包含车辆的待处理图像的车体信息进行匹配，获得车辆的轨迹图像集。本申请实施例通过比较相邻两帧待处理图像的车体信息判断待处理图像中的车辆是否为同一辆，从而可以获得属于同一辆车的轨迹图像集，以便于后续对同一辆车的车体植入广告，避免了待处理视频内容杂乱。
进一步地，所述将相邻两帧包含车辆的待处理图像的车体信息进行匹配，获得车辆的轨迹图像集，包括：计算相邻两帧待处理图像的车体信息之间的交并比，若所述交并比大于预设阈值，则相邻两帧待处理图像中的车辆为同一车辆，将属于同一车辆的连续多帧待处理图像作为所述车辆的轨迹图像集。本申请实施例通过计算相邻两帧待处理图像中的车体信息的交并比能够准确的确定这两帧待处理图像中的车是否是同一辆。
进一步地，在利用车体检测模型对每帧待处理图像进行车体检测之前，所述方法还包括：获取第一训练样本集，所述第一训练样本集包括多张第一训练图像以及每张第一训练图像对应的第一标签；其中，所述第一训练图像包括至少一辆车，所述第一标签包括车辆的轮廓；将所述第一训练图像输入车体检测模型中，所述车体检测模型输出对应的第一预测结果；根据所述第一预测结果和对应的第一训练图像的第一标签对所述车体检测模型中的参数进行优化，获得训练好的车体检测模型。本申请实施例通过对车体检测模型进行训练，获得的训练好的车体检测模型能够准确识别出待处理图像中是否包含车辆。
进一步地，所述针对每辆车的轨迹图像集中的多帧待处理图像进行语义分割，获得目标区域，包括：利用车辆分割模型对每辆车的轨迹图像集中的多帧待处理图像进行语义分割，获得待处理图像中车辆的车身、车窗和轮胎；根据所述车身、车窗和轮胎获得目标区域。本申请实施例通过对待处理图像进行语义分割，车辆的车身、车窗和轮胎，根据车身、车窗和轮胎能够准确定位出目标区域。
进一步地，所述根据所述车身、车窗和轮胎获得目标区域，包括：以最左侧轮胎的右边缘作第一垂线，以最右侧轮胎的左边缘作第二垂线，对第一垂线和第二垂线之间的车窗的轮廓点作霍夫变换，获得车窗分割线；利用所述第一垂线、第二垂线和车窗分割线对车身进行分割，获得所述目标区域。本申请实施例通过根据车身、车窗和轮胎，并利用霍夫变换能够更加准确获得待植入广告的目标区域。
进一步地，在利用车辆分割模型对每辆车的轨迹图像集中的多帧待处理图像进行语义分割之前，所述方法还包括：获取第二训练样本集，所述第二训练样本集包括多张第二训练图像以及每张第二训练图像对应的第二标签；其中，所述第二训练图像包括至少一辆车，所述第二标签包括车辆的车身、轮胎和车窗；将所述第二训练图像输入车辆分割模型中，所述车辆分割模型输出对应的第二预测结果；根据所述第二预测结果和对应的第二训练图像的第二标签对所述车辆分割模型中的参数进行优化，获得训练好的车辆分割模型。本申请实施例通过对车辆分割模型进行训练，获得的训练后的车辆分割模型能够准确地将车身、车窗和轮胎分割出来。
进一步地，所述利用车辆分割模型对每辆车的轨迹图像集中的多帧待处理图像进行语义分割，包括：利用对象检测模型对多帧待处理图像进行对象检测，获得包含单个车辆的检测框；根据所述检测框对待处理图像进行裁剪，获得裁剪后的图像；利用车辆分割模型对裁剪后的图像进行语义分割。本申请实施例对识别获得的车辆进行剪裁，将背景部分去除能够减少后续计算的工作量。
进一步地，在将所述广告图像植入待处理图像对应的目标区域中之前，所述方法还包括：利用分类模型对所述目标区域进行分类检测，获得所述目标区域对应的类别，所述类别为正常、遮挡或有广告；所述将所述广告图像植入所述目标区域中，包括：统计各车辆对应的类别为正常的目标区域数量所占所述车辆的总目标区域数量的比值，将所述广告图像植入比值大于预设值的车辆对应的目标区域中。由于类别为正常的目标区域才能够植入广告，若正常的目标区域对应的帧数太少，则用户无法看清广告内容，也便失去了植入广告的意义，因此，本申请实施例通过将广告图像植入比值大于预设值的车辆对应的正常的目标区域中，能够保证广告植入的效果。
进一步地，在利用分类模型对所述目标区域进行分类检测之前，所述方法还包括：获取第三训练样本集，所述第三训练样本集包括多张第三训练图像以及每张第三训练图像对应的第三标签；其中，所述第三训练图像包括待植入广告的车身区域，所述第三标签包括正常、遮挡和有广告中的一种；将所述第三训练图像输入分类模型中，所述分类模型输出对应的第三预测结果；根据所述第三预测结果和对应的第三训练图像的第三标签对所述车辆分割模型中的参数进行优化，获得训练好的分类模型。本申请实施例通过对分类模型进行训练，获得的训练好的分类模型能够准确地识别目标区域的类别。
进一步地，所述将所述广告图像植入比值大于预设值的车辆对应的目标区域中，包括：根据每张类别为正常的待处理图像的目标区域对所述广告图像进行调整，获得调整后的广告图像；将所述调整后的广告图像植入到对应的目标区域中。通过对广告图像进行调整，可以使得广告图像与目标区域相匹配。
进一步地，所述将所述广告图像植入比值大于预设值的车辆对应的目标区域中，包括：从类别为正常的待处理图像中选择目标区域面积最大的待处理图像；根据面积最大的待处理图像的目标区域对所述广告图像进行仿射变换，获得第一变换后广告图像以及第一变换矩阵；将所述第一变换后广告图像植入所述面积最大的待处理图像的目标区域中；将剩余的类别为正常的待处理图像的目标区域分别与所述面积最大的待处理图像的目标区域进行配准，获得第二变换矩阵；根据所述第一变换矩阵和第二变换矩阵对所述广告图像进行变换，获得第二变换后广告图像；将所述第二变换后广告图像植入对应的目标区域中。本申请实施例通过对广告图像进行变换，可以使得广告图像与目标区域相匹配，提高了对广告植入的效率。
第二方面，本申请实施例提供一种车身广告植入装置，包括：视频获取模块，用于获取待处理视频对应的多帧待处理图像；车体检测模块，用于针对每帧待处理图像进行车体检测，获得车辆的轨迹图像集；其中，所述轨迹图像集包括连续的多帧待处理图像，且连续的多帧待处理图像中均包括同一车辆；分割模块，用于针对每辆车的轨迹图像集中的多帧待处理图像进行语义分割，获得目标区域；植入模块，用于获取广告图像，将所述广告图像植入所述目标区域中。
第三方面，本申请实施例提供一种电子设备，包括：处理器、存储器和总线，其中，所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面的方法。
第四方面，本申请实施例提供一种非暂态计算机可读存储介质，包括：所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的方法。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的车身广告植入方法流程示意图；
图2为本申请实施例提供一种车体检测模型训练流程示意图；
图3为本申请实施例提供的车辆分割模型训练流程示意图；
图4(a)为本申请实施例提供的待处理图像；
图4(b)为本申请实施例提供的对象检测模型输出的结果；
图4(c)为本申请实施例提供的裁剪后的图像；
图5为本申请实施例提供的车体分割示意图；
图6为本申请实施例提供的分类模型训练流程示意图；
图7为本申请实施例提供的广告植入流程示意图；
图8为本申请实施例提供的装置结构示意图；
图9为本申请实施例提供的电子设备实体结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
数字植入广告(Virtual Product Placement，简称VPP，又称"虚拟植入广告"、"Digital Product Placement"、"DPP")，是指利用虚拟品牌植入(VBI)技术，将虚拟的、原视频中不存在的品牌符号融入影视中的广告方式，给观众留下印象，以达到营销目的。
目前在视频的车身中植入广告的方式是通过人工对视频中的每一帧图像进行操作。即针对每帧图像先判断该图像中是否有车辆，一般是汽车，如果没有，则跳过并处理下一帧图像；如果当帧图像中有车辆，则手动将要植入的广告贴在车辆的车身空白处。由于视频中车辆本身大小不同外，镜头与车辆的距离不同，呈现在视频中车辆的像素大小也不同。因此，工作人员在将广告图像植入到车身空白处时，还需要手动调节广告图像的大小，使其与车身空白处相匹配。
由于一段视频是由很多帧图像拼接构成，视频越长包括的图像帧数越多，那么就需要人工植入图像的处理时间越长，使得工作人员的工作量繁重，并且，植入广告的效率很低。
为了能够降低人工成本，并且提高广告的植入效率，本申请实施例提供一种车身广告植入方法，该方法可以应用于终端设备(也可以称为电子设备)以及服务器；其中，该终端设备可以是智能手机、平板电脑、计算机、个人数字助理(Personal Digital Assitant，PDA)等；服务器具体可以为应用服务器，也可以为Web服务器。
为了便于理解本申请实施例提供的技术方法，下面以终端设备作为执行主体为例，对本申请实施例提供的车身广告植入方法的应用场景进行介绍。
图1为本申请实施例提供的车身广告植入方法流程示意图，如图1所示，该方法包括：
步骤101：获取待处理视频对应的多帧待处理图像。
终端设备可以先获取待处理视频，然后对待处理视频进行分帧处理，获得待处理视频对应的多帧待处理图像。其中，终端设备获取的待处理视频可以是从网络上获取，也可以是通过终端设备上的采集装置采集获得，还可以是通过其他视频采集装置采集后传输给终端设备。本申请实施例不对待处理视频的获取方式做具体限定。另外，终端设备也可以直接获取待处理视频对应的多帧待处理图像，其分帧的操作由其他设备执行，其他设备将分帧完成的待处理图像发送给终端设备。
步骤102：针对每帧待处理图像进行车体检测，获得车辆的轨迹图像集；其中，所述轨迹图像集包括连续的多帧待处理图像，且连续的多帧待处理图像中均包括同一车辆。
一般情况下，车辆在视频中会出现一段时间，例如出现2秒，假设视频帧率为30，那么这段时间可以对应60帧待处理图像，这60帧待处理图像可以作为该车辆的轨迹图像集。因此，可以针对每帧待处理图像进行车体检测，获得车辆的轨迹图像集。应当说明的是，由于待处理视频中可能包括多段有车辆的片段，并且可以是同一车辆的片段，也可以是不同车辆的片段。因此，可以获得的至少一辆车的至少一个轨迹图像集，并且每一个轨迹图像集中包括了连续的多帧待处理图像，且连续的每帧待处理图像中均包含了同一车辆。
应当说明的是，若一个轨迹图像集中包括的待处理图像的帧数较少，则出现在视频中的时长较短，用户在观看视频时可能无法看清车身上的广告内容，从而起不到宣传的效果。因此，在一些实施例中，为了保证广告的宣传效果，在获得到车辆的轨迹图像集之后，可以将待处理图像的帧数少于预设阈值的轨迹图像集剔除。其中，预设阈值可以根据实际情况进行设定，本申请实施例对此不作具体限定。
步骤103：针对每辆车的轨迹图像集中的多帧待处理图像进行语义分割，获得目标区域。
在获得轨迹图像集之后，终端设备对轨迹图像集中的每帧待处理图像进行语义分割，获得每帧待处理图像对应的目标区域。其中，语义分割的目的是将车辆的车身进行分割，从而获得植入广告的目标区域。
步骤104：获取广告图像，将所述广告图像植入待处理图像对应的目标区域中。
设备终端可以从数据库中获取广告图像，也可以从其他终端获取。在获取到广告图像后，将该广告图像植入到目标区域中。可以理解的是，广告图像植入到目标区域的过程可以理解为是图像融合的过程，即，将广告图像与目标区域进行融合，以实现在车身上显示广告内容。
本申请实施例通过对待处理图像进行车体检测，自动检测出包含车辆的图像，并对包含车辆的图像进行语义分割获得目标区域，最后将广告图像植入目标区域中，全过程自动化实现，无需人工植入，提高了对广告植入的效率。
在上述实施例的基础上，图2为本申请实施例提供一种车体检测模型训练流程示意图，如图2所示，可以理解的是，本申请实施例提供的终端设备也可以用来进行车体检测模型的训练，当然，也可以使用其他设备进行车体检测模型的训练，本申请实施例中的终端设备可以直接使用训练好的车体检测模型。该车体检测模型的训练方法包括以下步骤：
步骤201：获取第一训练样本集，所述第一训练样本集包括多张第一训练图像以及每张第一训练图像对应的第一标签；其中，所述第一训练图像包括至少一辆车，所述第一标签包括车辆的轮廓。
用户可以从网络上或者本地的视频中获取多张图像，这些图像中可以包含车辆，也可以有一部分图像中没有包含车辆，将这些图像称为第一训练图像，并且用户可以对每张第一训练图像进行标注，即将第一训练图像中的车辆轮廓标注出来，作为该第一训练图像对应的第一标签。若第一训练图像中包括多辆车，则分别将每辆车的轮廓标注出来。若第一训练图像中没有包含车辆，则第一训练图像对应的第一标签为空。将多张第一训练图像集以及对应的第一标签构成第一训练样本集。
可以理解的是，为了保证基于第一训练样本集训练得到的车体检测模型具备较好的模型性能，通常需要获取大量的训练样本；当然，为了减少终端设备的数据处理量，也可以根据实际需求减少所获取的训练样本的数量，在此不对所获取的训练样本的数量做具体限定。
步骤202：将所述第一训练图像输入车体检测模型中，所述车体检测模型输出对应的第一预测结果。
在获取到用于训练车体检测模型的训练样本后，终端设备可以采用机器学习算法，利用所获取的训练样本对预置在终端设备内的车体检测模型进行训练，以对该车体检测模型的模型参数进行不断地优化，待该车体检测模型满足训练结束条件后，获得训练好的车体检测模型。
具体训练车体检测模型时，终端设备可以将第一训练图像输入车体检测模型中，该车体检测模型通过对该第一训练图像进行分析处理，输出该第一训练图像对应的第一预测结果，该第一预测结果为对第一训练图像中车辆的标注信息。可以理解的是，若第一训练图像中没有车辆，则输出的第一预测结果为空。
步骤203：根据所述第一预测结果和对应的第一训练图像的第一标签对所述车体检测模型中的参数进行优化，获得训练好的车体检测模型。
根据车体检测模型输出的第一预测结果和第一训练图像对应的第一标签构建损失函数，进而，根据该损失函数对车体检测模型中的模型参数进行调整，从而实现对车体检测模型的优化。当车体检测模型满足训练结束条件时，可以根据当前车体检测模型的模型结构和模型参数生成训练好的车体检测模型。
在车体检测模型的训练过程中，判断是否满足训练结束的条件，可以利用测试样本对对应的第一模型进行验证。测试样本与训练样本类似，第一模型是指利用多个训练样本对对应的模型进行第一轮训练优化得到的模型；具体的，终端设备将测试样本输入到对应的第一模型中，第一模型对测试样本进行相应的处理，得到对应的预测结果；进而根据测试样本中的标签与预测结果计算预测准确率。当预测准确率大于预设阈值时，即可认为第一模型的模型性能已能够满足需求，则可以将第一模型作为训练好的模型。若小于或等于预设阈值，则需要进行第二轮的训练，直到预测准确率大于预设阈值为止。
应理解，上述预设阈值可以根据实际情况进行设置，在此不对该预设阈值做具体限定。
此外，判断是否满足训练结束条件时，还可以根据经多轮训练得到的多个模型，确定是否继续对模型进行训练。具体的，可以利用测试样本分别对经多轮训练得到的多个模型进行验证。若判断经各轮训练得到的模型的预测准确率之间的差距较小，则认为车体检测模型的性能已经没有提升空间，可以选取预测准确率最高的模型作为最终训练好的车体检测模型。
本申请实施例通过对车体检测模型进行训练，获得的训练好的车体检测模型能够准确识别出待处理图像中是否包含车辆。
在上述实施例的基础上，所述针对每帧待处理图像进行车体检测，获得车辆的轨迹图像集，包括：
利用车体检测模型对每帧待处理图像进行车体检测，获得包含车辆的待处理图像中的车体信息；
将相邻两帧包含车辆的待处理图像的车体信息进行匹配，获得车辆的轨迹图像集。
设备终端利用车体检测模型对每帧待处理图像进行分析处理，其中，车体检测模型可以是通过上述实施例提供的车体检测模型的训练方法训练获得。在进行车体检测时，将每帧待处理图像输入车体检测模型中，该车体检测模型分别对每张待处理图像进行分析，输出待处理图像对应的车体信息。可以理解的是，若待处理图像中包括车辆，则车体信息为待处理图像中对车辆轮廓标注后，轮廓框内的掩码图像。若待处理图像中没有车辆，则车体信息为空。
通过利用车体检测模型的检测后，若相邻两帧待处理图像中包括车辆，则将这两帧待处理图像的车体信息进行匹配。具体可以是，计算相邻两帧待处理图像的车体信息之间的交并比(Intersection over Union，IoU)，若交并比大于预设阈值，则相邻两帧待处理图像中的车辆为同一车辆，将属于同一车辆的连续多帧待处理图像作为所述车辆的轨迹图像集。其中，预设阈值可以为0.9，也可以根据实际情况进行预先设定，本申请实施例对此不作具体限定。
可以理解的是，相邻两帧待处理图像的车体信息之间的交并比的计算方法为，将相邻两帧待处理图像的车体掩码图像重叠起来，判断相交的像素点个数占像素点并集的比值，该比值即为交并比。
可以理解的是，本申请实施例中的车辆是指汽车，包括：轿车、越野车、公交车、货车等。
本申请实施例通过比较相邻两帧待处理图像的车体信息判断待处理图像中的车辆是否为同一辆，从而可以获得属于同一辆车的轨迹图像集，以便于后续对同一辆车的车体植入广告，避免了待处理视频内容杂乱。
图3为本申请实施例提供的车辆分割模型训练流程示意图，如图3所示，可以理解的是，该车辆分割模型的训练方法与上述实施例中的车体检测模型的训练方法类似，可以理解的是，本申请实施例提供的终端设备也可以用来进行车体检测模型的训练，当然，也可以使用其他设备进行车体检测模型的训练，本申请实施例中的终端设备可以直接使用训练好的车体检测模型。该训练方法包括：
步骤301：获取第二训练样本集，所述第二训练样本集包括多张第二训练图像以及每张第二训练图像对应的第二标签；其中，所述第二训练图像包括至少一辆车，所述第二标签包括车辆的车身、轮胎和车窗。
步骤302：将所述第二训练图像输入车辆分割模型中，所述车辆分割模型输出对应的第二预测结果。其中，第二预测结果是在第二训练图像中标注出车辆的车身、轮胎和车窗。
步骤303：根据所述第二预测结果和对应的第二训练图像的第二标签对所述车辆分割模型中的参数进行优化，获得训练好的车辆分割模型。
其训练结束的标准与上述实施例中车体检测模型的训练结束的标准类似，此处不再赘述。
在上述实施例的基础上，所述针对每辆车的轨迹图像集中的多帧待处理图像进行语义分割，获得目标区域，包括：
利用车辆分割模型对每辆车的轨迹图像集中的多帧待处理图像进行语义分割，获得待处理图像中车辆的车身、车窗和轮胎；
根据所述车身、车窗和轮胎获得目标区域。
在具体的实施过程中，由于待处理视频中包括至少一辆车的至少一个轨迹图像集，因此，可以分别针对每辆车的每个轨迹图像集进行后续处理。将每辆车的轨迹图像集中的多帧待处理图像进行语义分割。其中，可以预先训练车辆分割模型，然后将待处理图像输入到车辆分割模型中，车辆分割模型对待处理图像进行分析处理，输出该待处理图像中车辆的车身、车窗和轮胎。即，在该待处理图像中将车辆的车身、车窗和轮胎标注出来。
应当说明的是，车辆分割模型可以采用上述实施例提供的训练方法进行训练，也可以通过其他设备进行训练，本申请实施例对此不做具体限定。
在标注出车身、车窗和轮胎之后，可以根据车身、车窗和轮胎获得目标区域。
在上述实施例的基础上，所述利用车辆分割模型对每辆车的轨迹图像集中的多帧待处理图像进行语义分割，包括：
利用对象检测模型对多帧待处理图像进行对象检测，获得包含单个车辆的检测框；
根据所述检测框对待处理图像进行裁剪，获得裁剪后的图像；
利用车辆分割模型对裁剪后的图像进行语义分割。
在具体的实施过程中，对象检测模型也是预先训练好的，对象检测是指利用图像处理与模式识别等领域的理论和方法，检测出图像中存在的目标对象，确定这些目标对象的语义类别，并标定出目标对象在图像中的位置。对象检测模型可以通过多种类型的网络来构建，例如：基于卷积神经网络特征的区域(Regions with CNN features，R-CNN)、FastR-CNN等。通过将待处理图像输入到对象检测模型中，对象检测模型输出待处理图像中车辆的最小矩形框。图4(a)为本申请实施例提供的待处理图像；图4(b)为本申请实施例提供的对象检测模型输出的结果，即包含单个车辆的检测框。
在获得包含单个车辆的检测框之后，根据检测框对待处理图像进行裁剪，图4(c)为本申请实施例提供的裁剪后的图像。通过对待处理图像进行裁剪，可以将背景部分去除，从而在后续的图像处理过程中，减少了计算的工作量。
在获得裁剪后的图像之后，利用车辆分割模型对裁剪后的图像进行语义分割，获得待处理图像中车辆的车身、车窗和轮胎。
在上述实施例的基础上，在获得待处理图像中车辆的车身、车窗和轮胎后，可以根据车身、车窗和轮胎获得目标区域。具体为：以最左侧轮胎的右边缘作第一垂线，以最右侧轮胎的左边缘作第二垂线，对第一垂线和第二垂线之间的车窗的轮廓点作霍夫变换，获得车窗分割线；利用所述第一垂线、第二垂线和车窗分割线对车身进行分割，获得所述目标区域。车窗分割线是以车窗的下沿的拟合直线，近似于水平先，其具体获得方法如下：
对第一垂线和第二垂线之间的车窗轮廓点作霍夫变换，可以得到一系列直线。假定某车窗轮廓点离直线的距离d小于指定的阈值(例如2像素)，则认为该点在直线上。一个车窗轮廓点可以在多条直线上。可以算出每条直线上的车窗轮廓点数量。去除车窗轮廓点数量低于预先设定值(比如车辆宽度像素值*0.01)的直线。对余下的直线，计算每条直线的重心点，重心点计算方法如下：对该直线上的每个轮廓点的x，y坐标分别相加，再除以车窗轮廓点的数量，便得到重心点的坐标(X，Y)。取余下直线里，重心点坐标Y值最小的直线，即为车窗分割线。
应当说明的是，第一垂线和第二垂线不一定是绝对的垂线，其可以有稍微的倾斜。
如图5所示，图5为本申请实施例提供的车体分割示意图。图中的车辆为4轮的汽车，由于车身侧面的面积较大，因此一般情况下会在车辆的一侧植入广告，沿汽车的最左侧轮胎的右边缘作第一垂线L1，沿汽车最右侧轮胎的左边缘左第二垂线L2，一般情况下，在L1和L2之间会有车窗，对车窗的下边缘作霍夫变换，可以获得多条边缘拟合直线，将最下方的拟合直线作为车窗分割线L3。将L1右侧、L2左侧和L3下侧的车身区域作为目标区域S。
应当说明的是，三轮、六轮或更多个轮胎的车辆均是按照上面的方法获得目标区域。待处理图像和裁剪后的图像可以视为四通道图像，即，(Red，Green，Blue，Mask)，获得目标区域的图像可以视为五通道图像，即，(Red，Green，Blue，Mask，MaskROI)。其中，Red，Green，Blue为三元色通道，Mask为车体的标签；MaskROI为目标区域的标签。
在上述实施例的基础上，图6为本申请实施例提供的分类模型训练流程示意图，如图6所示，该训练方法与上述实施例中的车体检测模型的训练方法类似，包括：
步骤401：获取第三训练样本集，所述第三训练样本集包括多张第三训练图像以及每张第三训练图像对应的第三标签；其中，所述第三训练图像包括待植入广告的车身区域，所述第三标签包括正常、遮挡和有广告中的一种。第三训练样本集中的第三训练图像可以来自于多条视频，视频可以从网络上获取，也可以是本地存储的视频。第三训练图像中的待植入广告的车身区域可以是通过上述实施例中的目标区域获得的方法实现，然后人工对其进行标注，获得每张第三训练图像的第三标签。三种第三标签的第三训练图像的数量的比例可以近似为1:1:1。分类模型可以但不限于残差神经网络(ResNet)，VGG模型等。
步骤402：将所述第三训练图像输入分类模型中，所述分类模型输出对应的第三预测结果；第三预测结果为正常、遮挡或有广告。
步骤403：根据所述第三预测结果和对应的第三训练图像的第三标签对所述车辆分割模型中的参数进行优化，获得训练好的分类模型。
在上述实施例的基础上，在将所述广告图像植入待处理图像对应的目标区域中之前，所述方法还包括：
利用分类模型对所述目标区域进行分类检测，获得所述目标区域对应的类别，所述类别为正常、遮挡或有广告；
所述将所述广告图像植入所述目标区域中，包括：
统计各车辆对应的类别为正常的目标区域数量所占所述车辆的总目标区域数量的比值，将所述广告图像植入比值大于预设值的车辆对应的目标区域中。
在具体的实施过程中，由于在视频中，车辆的目标区域前面有可能有行人、建筑物等遮挡，如果不考虑遮挡因素，那么有可能导致植入的广告有一部分在车体上，另一部分在遮挡物上。对于已经有广告的车辆，如果再往车辆的目标区域上植入广告，则会造成广告重叠。因此在获得目标区域后，为了保证广告植入的效果，在植入广告之前，需要先对目标区域进行识别，判断目标区域中是否被遮挡或者目标区域上是否已经有广告。
可以将目标区域从待处理图像中裁剪出来，并将裁剪后的目标区域输入到分类模型中，分类模型对目标区域进行处理，输出目标区域对应的类别。若目标区域的类别为正常，则说明该目标区域没有被遮挡，也没有广告，可以进行广告的植入。如果目标区域的类别为遮挡或有广告，则说明该目标区域无法植入广告。
如果一个轨迹图像集中能够植入广告的待处理图像的数量较少，那么即便后续植入了广告，也放映出来用户也看不清楚，效果不佳。即，轨迹图像集中类别为正常的目标区域数量占该轨迹图像集中的目标区域的总数量的比值大于预设值，那么则将广告图像植入该轨迹图像集中类别为正常的目标区域中。同样地，如果轨迹图像集中类别为正常的目标区域数量占该轨迹图像集中的目标区域的总数量的比值不大于预设值，则将该轨迹图像集剔除处理。
例如，轨迹图像集中共有100张待处理图像，经过分类模型进行分类后，结果为正常的80张，类别为遮挡的有10张，类别为有广告的有10张。因此，类别为正常的目标区域占待处理图像数量的比例为80％。假设预设值为75％，那么该轨迹图像集中的类别为正常的目标区域可以被植入广告。
由于类别为正常的目标区域才能够植入广告，若正常的目标区域对应的帧数太少，则用户无法看清广告内容，也便失去了植入广告的意义，因此，本申请实施例通过将广告图像植入比值大于预设值的车辆对应的正常的目标区域中，能够保证广告植入的效果。
在另一实施例中，还可以根据类别为遮挡和有广告的目标区域占总待处理图像数量的比值来判断轨迹图像集中的目标区域是否可以植入广告图像。具体为，若类别为遮挡的目标区域数量占轨迹图像集中待处理图像的总数量的比值小于第一预设阈值，且类别为有广告的目标区域数量占轨迹图像集中待处理图像的总数量的比值小于第二预设阈值，则说明可以对该轨迹图像集中的类别为正常的目标区域进行广告图像的植入。可以理解的是，第一预设阈值和第二预设阈值可以根据实际情况进行确定，本申请实施例对此不做具体限定。
本申请实施例通过对广告图像进行调整，可以使得广告图像与目标区域相匹配。
在上述实施例的基础上，所述将所述广告图像植入比值大于预设值的车辆对应的目标区域中，包括：
根据每张类别为正常的待处理图像的目标区域对所述广告图像进行调整，获得调整后的广告图像；
将所述调整后的广告图像植入到对应的目标区域中。
在具体的实施过程中，由于待处理视频中的车辆可能在行驶，或者采集车辆的装置在移动，因此，轨迹图像集中的目标区域大小可能不同，因此，在将广告图像植入目标区域时，需要将广告图像根据目标区域进行调整，从而，使得广告图像能够植入在目标区域内。在对广告图像进行调整时，可以根据每个类别为正常的目标区域对广告图像进行调整，并将调整后的广告图像植入到对应的目标区域中。
在上述实施例的基础上，图7为本申请实施例提供的广告植入流程示意图，如图7所示，包括：
步骤501：从类别为正常的待处理图像中选择目标区域面积最大的待处理图像；目标区域的面积可以通过目标区域占的像素点的个数确定，像素点个数越多，面积越大。也可以根据目标区域的长宽来确定。
步骤502：根据面积最大的待处理图像的目标区域对所述广告图像进行仿射变换，获得第一变换后广告图像以及第一变换矩阵m0，使得获得的第一变换后广告图像能够贴在面积最大的目标区域的合适位置。
步骤503：将所述第一变换后广告图像植入所述面积最大的待处理图像的目标区域中；
步骤504：将剩余的类别为正常的待处理图像的目标区域分别与所述面积最大的待处理图像的目标区域进行配准，获得第二变换矩阵；将剩余的类别为正常的待处理图像的目标区域分别与所述面积最大的待处理图像的目标区域进行配准的方法包括但不限于尺度不变特征变换(Scale-invariant feature transform，SIFT)、SIFT的改进算法(SpeededUpRobustFeatures，SURF)、快速特征点提取和描述算法(Oriented FAST andRotated BRIEF，ORB)和BRISK算法等关键点匹配方法，即，采用关键点匹配方法获取两幅图像间的匹配的关键点对，再通过随机抽样一致性(RANSAC)算法计算获得配准后的第二变换矩阵m1。
步骤505：根据所述第一变换矩阵和第二变换矩阵对所述广告图像进行变换，获得第二变换后广告图像；具体为：将第一变换矩阵与第二变换矩阵相乘，获得第三变换矩阵，利用第三变换矩阵对广告图像进行变换，获得第二变换后广告图像。
步骤506：将所述第二变换后广告图像植入对应的目标区域中。
步骤507：是否全部植入广告；判断剩余的类别为正常的待处理图像食肉全部植入广告，若全部植入，则结束，否则执行步骤504；
步骤508：结束。
本申请实施例通过对广告图像进行变换，可以使得广告图像与目标区域相匹配，提高了对广告植入的效率。
图8为本申请实施例提供的装置结构示意图，该装置可以是电子设备上的模块、程序段或代码。应理解，该装置与上述图1方法实施例对应，能够执行图1方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括：视频获取模块601、车体检测模块602、分割模块603和植入模块604，其中：
视频获取模块601用于获取待处理视频对应的多帧待处理图像；车体检测模块602用于针对每帧待处理图像进行车体检测，获得车辆的轨迹图像集；其中，所述轨迹图像集包括连续的多帧待处理图像，且连续的多帧待处理图像中均包括同一车辆；分割模块603用于针对每辆车的轨迹图像集中的多帧待处理图像进行语义分割，获得目标区域；植入模块604用于获取广告图像，将所述广告图像植入所述目标区域中。
在上述实施例的基础上，车体检测模块602具体用于：
利用车体检测模型对每帧待处理图像进行车体检测，获得包含车辆的待处理图像中的车体信息；
将相邻两帧包含车辆的待处理图像的车体信息进行匹配，获得车辆的轨迹图像集。
在上述实施例的基础上，车体检测模块602具体用于：
计算相邻两帧待处理图像的车体信息之间的交并比，若所述交并比大于预设阈值，则相邻两帧待处理图像中的车辆为同一车辆，将属于同一车辆的连续多帧待处理图像作为所述车辆的轨迹图像集。
在上述实施例的基础上，该装置还包括第一训练模块，用于：
获取第一训练样本集，所述第一训练样本集包括多张第一训练图像以及每张第一训练图像对应的第一标签；其中，所述第一训练图像包括至少一辆车，所述第一标签包括车辆的轮廓；
将所述第一训练图像输入车体检测模型中，所述车体检测模型输出对应的第一预测结果；
根据所述第一预测结果和对应的第一训练图像的第一标签对所述车体检测模型中的参数进行优化，获得训练好的车体检测模型。
在上述实施例的基础上，分割模块603具体用于：
利用车辆分割模型对每辆车的轨迹图像集中的多帧待处理图像进行语义分割，获得待处理图像中车辆的车身、车窗和轮胎；
根据所述车身、车窗和轮胎获得目标区域。
在上述实施例的基础上，分割模块603具体用于：
利用对象检测模型对多帧待处理图像进行对象检测，获得包含单个车辆的检测框；
根据所述检测框对待处理图像进行裁剪，获得裁剪后的图像；
利用车辆分割模型对裁剪后的图像进行语义分割。
在上述实施例的基础上，分割模块603具体用于：
以最左侧轮胎的右边缘作第一垂线，以最右侧轮胎的左边缘作第二垂线，对第一垂线和第二垂线之间的车窗的轮廓点作霍夫变换，获得车窗分割线；
利用所述第一垂线、第二垂线和车窗分割线对车身进行分割，获得所述目标区域。
在上述实施例的基础上，该装置还包括第二训练模块，用于：
获取第二训练样本集，所述第二训练样本集包括多张第二训练图像以及每张第二训练图像对应的第二标签；其中，所述第二训练图像包括至少一辆车，所述第二标签包括车辆的车身、轮胎和车窗；
将所述第二训练图像输入车辆分割模型中，所述车辆分割模型输出对应的第二预测结果；
根据所述第二预测结果和对应的第二训练图像的第二标签对所述车辆分割模型中的参数进行优化，获得训练好的车辆分割模型。
在上述实施例的基础上，这装置还包括分类模块，用于：
利用分类模型对所述目标区域进行分类检测，获得所述目标区域对应的类别，所述类别为正常、遮挡或有广告；
植入模块604具体用于：
统计各车辆对应的类别为正常的目标区域数量所占所述车辆的总目标区域数量的比值，将所述广告图像植入比值大于预设值的车辆对应的目标区域中。
在上述实施例的基础上，这装置还包括第三训练模块，用于：
获取第三训练样本集，所述第三训练样本集包括多张第三训练图像以及每张第三训练图像对应的第三标签；其中，所述第三训练图像包括待植入广告的车身区域，所述第三标签包括正常、遮挡和有广告中的一种；
将所述第三训练图像输入分类模型中，所述分类模型输出对应的第三预测结果；
根据所述第三预测结果和对应的第三训练图像的第三标签对所述车辆分割模型中的参数进行优化，获得训练好的分类模型。
在上述实施例的基础上，植入模块604具体用于：
根据每张类别为正常的待处理图像的目标区域对所述广告图像进行调整，获得调整后的广告图像；
将所述调整后的广告图像植入到对应的目标区域中。
在上述实施例的基础上，植入模块604还具体用于：
从类别为正常的待处理图像中选择目标区域面积最大的待处理图像；
根据面积最大的待处理图像的目标区域对所述广告图像进行仿射变换，获得第一变换后广告图像以及第一变换矩阵；
将所述第一变换后广告图像植入所述面积最大的待处理图像的目标区域中；
将剩余的类别为正常的待处理图像的目标区域分别与所述面积最大的待处理图像的目标区域进行配准，获得第二变换矩阵；
根据所述第一变换矩阵和第二变换矩阵对所述广告图像进行变换，获得第二变换后广告图像；
将所述第二变换后广告图像植入对应的目标区域中。
图9为本申请实施例提供的电子设备实体结构示意图，如图9所示，所述电子设备，包括：处理器(processor)701、存储器(memory)702和总线703；其中，
所述处理器701和存储器702通过所述总线703完成相互间的通信；
所述处理器701用于调用所述存储器702中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：获取待处理视频对应的多帧待处理图像；针对每帧待处理图像进行车体检测，获得车辆的轨迹图像集；其中，所述轨迹图像集包括连续的多帧待处理图像，且连续的多帧待处理图像中均包括同一车辆；针对每辆车的轨迹图像集中的多帧待处理图像进行语义分割，获得目标区域；获取广告图像，将所述广告图像植入待处理图像对应的目标区域中。
处理器701可以是一种集成电路芯片，具有信号处理能力。上述处理器701可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中公开的各种方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器702可以包括但不限于随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取待处理视频对应的多帧待处理图像；针对每帧待处理图像进行车体检测，获得车辆的轨迹图像集；其中，所述轨迹图像集包括连续的多帧待处理图像，且连续的多帧待处理图像中均包括同一车辆；针对每辆车的轨迹图像集中的多帧待处理图像进行语义分割，获得目标区域；获取广告图像，将所述广告图像植入待处理图像对应的目标区域中。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取待处理视频对应的多帧待处理图像；针对每帧待处理图像进行车体检测，获得车辆的轨迹图像集；其中，所述轨迹图像集包括连续的多帧待处理图像，且连续的多帧待处理图像中均包括同一车辆；针对每辆车的轨迹图像集中的多帧待处理图像进行语义分割，获得目标区域；获取广告图像，将所述广告图像植入待处理图像对应的目标区域中。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种车身广告植入方法，其特征在于，包括：
获取待处理视频对应的多帧待处理图像；
针对每帧待处理图像进行车体检测，获得车辆的轨迹图像集；其中，所述轨迹图像集包括连续的多帧待处理图像，且连续的多帧待处理图像中均包括同一车辆；
针对每辆车的轨迹图像集中的多帧待处理图像进行语义分割，获得目标区域；
获取广告图像，将所述广告图像植入待处理图像对应的目标区域中。
2.根据权利要求1所述的方法，其特征在于，所述针对每帧待处理图像进行车体检测，获得车辆的轨迹图像集，包括：
利用车体检测模型对每帧待处理图像进行车体检测，获得包含车辆的待处理图像中的车体信息；
将相邻两帧包含车辆的待处理图像的车体信息进行匹配，获得车辆的轨迹图像集。
3.根据权利要求2所述的方法，其特征在于，所述将相邻两帧包含车辆的待处理图像的车体信息进行匹配，获得车辆的轨迹图像集，包括：
计算相邻两帧待处理图像的车体信息之间的交并比，若所述交并比大于预设阈值，则相邻两帧待处理图像中的车辆为同一车辆，将属于同一车辆的连续多帧待处理图像作为所述车辆的轨迹图像集。
4.根据权利要求2所述的方法，其特征在于，在利用车体检测模型对每帧待处理图像进行车体检测之前，所述方法还包括：
获取第一训练样本集，所述第一训练样本集包括多张第一训练图像以及每张第一训练图像对应的第一标签；其中，所述第一训练图像包括至少一辆车，所述第一标签包括车辆的轮廓；
将所述第一训练图像输入车体检测模型中，所述车体检测模型输出对应的第一预测结果；
根据所述第一预测结果和对应的第一训练图像的第一标签对所述车体检测模型中的参数进行优化，获得训练好的车体检测模型。
5.根据权利要求1所述的方法，其特征在于，所述针对每辆车的轨迹图像集中的多帧待处理图像进行语义分割，获得目标区域，包括：
利用车辆分割模型对每辆车的轨迹图像集中的多帧待处理图像进行语义分割，获得待处理图像中车辆的车身、车窗和轮胎；
根据所述车身、车窗和轮胎获得目标区域。
6.根据权利要求5所述的方法，其特征在于，所述利用车辆分割模型对每辆车的轨迹图像集中的多帧待处理图像进行语义分割，包括：
利用对象检测模型对多帧待处理图像进行对象检测，获得包含单个车辆的检测框；
根据所述检测框对待处理图像进行裁剪，获得裁剪后的图像；
利用车辆分割模型对裁剪后的图像进行语义分割。
7.根据权利要求5所述的方法，其特征在于，所述根据所述车身、车窗和轮胎获得目标区域，包括：
以最左侧轮胎的右边缘作第一垂线，以最右侧轮胎的左边缘作第二垂线，对第一垂线和第二垂线之间的车窗的轮廓点作霍夫变换，获得车窗分割线；
利用所述第一垂线、第二垂线和车窗分割线对车身进行分割，获得所述目标区域。
8.根据权利要求5所述的方法，其特征在于，在利用车辆分割模型对每辆车的轨迹图像集中的多帧待处理图像进行语义分割之前，所述方法还包括：
获取第二训练样本集，所述第二训练样本集包括多张第二训练图像以及每张第二训练图像对应的第二标签；其中，所述第二训练图像包括至少一辆车，所述第二标签包括车辆的车身、轮胎和车窗；
将所述第二训练图像输入车辆分割模型中，所述车辆分割模型输出对应的第二预测结果；
根据所述第二预测结果和对应的第二训练图像的第二标签对所述车辆分割模型中的参数进行优化，获得训练好的车辆分割模型。
9.根据权利要求1所述的方法，其特征在于，在将所述广告图像植入待处理图像对应的目标区域中之前，所述方法还包括：
利用分类模型对所述目标区域进行分类检测，获得所述目标区域对应的类别，所述类别为正常、遮挡或有广告；
所述将所述广告图像植入所述目标区域中，包括：
统计各车辆对应的类别为正常的目标区域数量所占所述车辆的总目标区域数量的比值，将所述广告图像植入比值大于预设值的车辆对应的目标区域中。
10.根据权利要求9所述的方法，其特征在于，在利用分类模型对所述目标区域进行分类检测之前，所述方法还包括：
获取第三训练样本集，所述第三训练样本集包括多张第三训练图像以及每张第三训练图像对应的第三标签；其中，所述第三训练图像包括待植入广告的车身区域，所述第三标签包括正常、遮挡和有广告中的一种；
将所述第三训练图像输入分类模型中，所述分类模型输出对应的第三预测结果；
根据所述第三预测结果和对应的第三训练图像的第三标签对所述车辆分割模型中的参数进行优化，获得训练好的分类模型。
11.根据权利要求9所述的方法，其特征在于，所述将所述广告图像植入比值大于预设值的车辆对应的目标区域中，包括：
根据每张类别为正常的待处理图像的目标区域对所述广告图像进行调整，获得调整后的广告图像；
将所述调整后的广告图像植入到对应的目标区域中。
12.根据权利要求9所述的方法，其特征在于，所述将所述广告图像植入比值大于预设值的车辆对应的目标区域中，包括：
从类别为正常的待处理图像中选择目标区域面积最大的待处理图像；
根据面积最大的待处理图像的目标区域对所述广告图像进行仿射变换，获得第一变换后广告图像以及第一变换矩阵；
将所述第一变换后广告图像植入所述面积最大的待处理图像的目标区域中；
将剩余的类别为正常的待处理图像的目标区域分别与所述面积最大的待处理图像的目标区域进行配准，获得第二变换矩阵；
根据所述第一变换矩阵和第二变换矩阵对所述广告图像进行变换，获得第二变换后广告图像；
将所述第二变换后广告图像植入对应的目标区域中。
13.一种车身广告植入装置，其特征在于，包括：
视频获取模块，用于获取待处理视频对应的多帧待处理图像；
车体检测模块，用于针对每帧待处理图像进行车体检测，获得车辆的轨迹图像集；其中，所述轨迹图像集包括连续的多帧待处理图像，且连续的多帧待处理图像中均包括同一车辆；
分割模块，用于针对每辆车的轨迹图像集中的多帧待处理图像进行语义分割，获得目标区域；
植入模块，用于获取广告图像，将所述广告图像植入所述目标区域中。
14.一种电子设备，其特征在于，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1-12任一项所述的方法。
15.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令被计算机运行时，使所述计算机执行如权利要求1-12任一项所述的方法。
CN202010195199.3A 2020-03-19 2020-03-19 一种车身广告植入方法、装置、电子设备及存储介质 Pending CN111556362A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010195199.3A CN111556362A (zh) 2020-03-19 2020-03-19 一种车身广告植入方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010195199.3A CN111556362A (zh) 2020-03-19 2020-03-19 一种车身广告植入方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111556362A true CN111556362A (zh) 2020-08-18

Family

ID=72002906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010195199.3A Pending CN111556362A (zh) 2020-03-19 2020-03-19 一种车身广告植入方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111556362A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116074581A (zh) * 2023-01-31 2023-05-05 北京奇艺世纪科技有限公司 一种植入位置确定方法、装置、电子设备及存储介质
CN116074582A (zh) * 2023-01-31 2023-05-05 北京奇艺世纪科技有限公司 一种植入位置确定方法、装置、电子设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010025404A (ko) * 2000-12-22 2001-04-06 유명현 카메라 동작 분석을 이용한 가상 광고 삽입 장치 및 방법
US20050271248A1 (en) * 2004-06-02 2005-12-08 Raytheon Company Vehicular target acquisition and tracking using a generalized hough transform for missile guidance
CN105684011A (zh) * 2013-06-27 2016-06-15 英特尔公司 自适应嵌入视觉广告内容到媒体内容中
US9420353B1 (en) * 2008-07-15 2016-08-16 Google Inc. Finding and populating spatial ad surfaces in video
US20170171639A1 (en) * 2015-12-09 2017-06-15 Le Holdings (Beijing) Co., Ltd. Method and electronic device for loading advertisement to videos
US20190026603A1 (en) * 2017-07-19 2019-01-24 Beijing ICETech Science & Technology Co., Ltd. Method and system for vehicle recognition
CN109389064A (zh) * 2018-09-27 2019-02-26 东软睿驰汽车技术（沈阳）有限公司 一种车辆特征获取方法及装置
CN109658442A (zh) * 2018-12-21 2019-04-19 广东工业大学 多目标跟踪方法、装置、设备及计算机可读存储介质
CN109996107A (zh) * 2017-12-29 2019-07-09 百度在线网络技术（北京）有限公司 视频生成方法、装置和系统
CN110163640A (zh) * 2018-02-12 2019-08-23 华为技术有限公司 一种在视频中植入广告的方法及计算机设备
CN110458820A (zh) * 2019-08-06 2019-11-15 腾讯科技（深圳）有限公司 一种多媒体信息植入方法、装置、设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010025404A (ko) * 2000-12-22 2001-04-06 유명현 카메라 동작 분석을 이용한 가상 광고 삽입 장치 및 방법
US20050271248A1 (en) * 2004-06-02 2005-12-08 Raytheon Company Vehicular target acquisition and tracking using a generalized hough transform for missile guidance
US9420353B1 (en) * 2008-07-15 2016-08-16 Google Inc. Finding and populating spatial ad surfaces in video
CN105684011A (zh) * 2013-06-27 2016-06-15 英特尔公司 自适应嵌入视觉广告内容到媒体内容中
US20170171639A1 (en) * 2015-12-09 2017-06-15 Le Holdings (Beijing) Co., Ltd. Method and electronic device for loading advertisement to videos
US20190026603A1 (en) * 2017-07-19 2019-01-24 Beijing ICETech Science & Technology Co., Ltd. Method and system for vehicle recognition
CN109996107A (zh) * 2017-12-29 2019-07-09 百度在线网络技术（北京）有限公司 视频生成方法、装置和系统
CN110163640A (zh) * 2018-02-12 2019-08-23 华为技术有限公司 一种在视频中植入广告的方法及计算机设备
CN109389064A (zh) * 2018-09-27 2019-02-26 东软睿驰汽车技术（沈阳）有限公司 一种车辆特征获取方法及装置
CN109658442A (zh) * 2018-12-21 2019-04-19 广东工业大学 多目标跟踪方法、装置、设备及计算机可读存储介质
CN110458820A (zh) * 2019-08-06 2019-11-15 腾讯科技（深圳）有限公司 一种多媒体信息植入方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李冬梅等: "基于Hough变换的车窗提取算法", 《中国测试技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116074581A (zh) * 2023-01-31 2023-05-05 北京奇艺世纪科技有限公司 一种植入位置确定方法、装置、电子设备及存储介质
CN116074582A (zh) * 2023-01-31 2023-05-05 北京奇艺世纪科技有限公司 一种植入位置确定方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN108009543B (zh) 一种车牌识别方法及装置
US11455805B2 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
US7302098B2 (en) Character segmentation method and apparatus
US9082038B2 (en) Dram c adjustment of automatic license plate recognition processing based on vehicle class information
US20180307911A1 (en) Method for the semantic segmentation of an image
US9547800B2 (en) System and a method for the detection of multiple number-plates of moving cars in a series of 2-D images
TWI640964B (zh) 以影像為基礎之車輛計數與分類系統
CN111191611B (zh) 基于深度学习的交通标志标号识别方法
WO2020258077A1 (zh) 一种行人检测方法及装置
CN112997190A (zh) 车牌识别方法、装置及电子设备
CN103198311A (zh) 基于拍摄的图像来识别字符的方法及装置
CN112686835B (zh) 路上障碍物检测装置、方法及计算机可读存储介质
CN111881832A (zh) 车道目标检测方法、装置、设备及计算机可读存储介质
CN111556362A (zh) 一种车身广告植入方法、装置、电子设备及存储介质
CN111160395A (zh) 图像识别方法、装置、电子设备和存储介质
CN110782409A (zh) 一种去除多运动物体阴影的方法
CN114240816A (zh) 道路环境感知方法、装置、存储介质、电子设备及车辆
CN113902740A (zh) 图像模糊程度评价模型的构建方法
CN115083008A (zh) 运动目标检测方法、装置、设备及存储介质
CN116052090A (zh) 图像质量评估方法、模型训练方法、装置、设备及介质
CN116259021A (zh) 一种车道线检测方法、存储介质和电子设备
CN111178359A (zh) 车牌号码识别方法、装置和设备及计算机存储介质
CN116246298A (zh) 一种空间占用人数统计方法、终端设备及存储介质
CN114842198A (zh) 车辆智能定损方法、装置、设备及存储介质
CN114882469A (zh) 一种基于dl-ssd模型的交通标志检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20221223