CN111178167A - 穿帮镜头审核方法、装置、电子设备及存储介质 - Google Patents

穿帮镜头审核方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111178167A
CN111178167A CN201911274077.7A CN201911274077A CN111178167A CN 111178167 A CN111178167 A CN 111178167A CN 201911274077 A CN201911274077 A CN 201911274077A CN 111178167 A CN111178167 A CN 111178167A
Authority
CN
China
Prior art keywords
target
auditing
image
prop
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911274077.7A
Other languages
English (en)
Other versions
CN111178167B (zh
Inventor
钟宜峰
陈妙
吴耀华
李琳
李鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201911274077.7A priority Critical patent/CN111178167B/zh
Publication of CN111178167A publication Critical patent/CN111178167A/zh
Application granted granted Critical
Publication of CN111178167B publication Critical patent/CN111178167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图片审核领域，公开了一种穿帮镜头审核方法、装置、电子设备及存储介质。本发明中，获取待识别的目标图像，其中，目标图像中包括至少一个目标对象；将目标图像输入至预设的图像审核模型中，用于提取目标图像中的目标对象及目标对象对应的分类信息，分类信息为对目标对象进行特征表征的信息；比对图像审核模型输出的分类信息与预设的背景数据库中的背景数据是否匹配；当分类信息与背景数据不匹配时，判定目标对象为穿帮对象。采用人工智能自动检测目标图像中的穿帮对象，节省了审核时间和成本，大大提高了审核效率。

Description

穿帮镜头审核方法、装置、电子设备及存储介质
技术领域
本发明涉及图片审核领域，特别涉及一种穿帮镜头审核方法、装置、电子设备及存储介质。
背景技术
穿帮是影视剧中出现不符合场景设定或人物设定的对象的一种情况，穿帮的存在一方面影响观剧者的体验，另一方面还会降低作品质量。
发明人发现现有技术中采用人工肉眼观看影视剧作品，寻找穿帮镜头，并采用重拍替换或剪辑的方式消除穿帮镜头。但是人工审核费时费力，且准确度有待提高。
发明内容
本发明实施例的目的在于提供一种穿帮镜头审核方法、装置、电子设备和存储介质，可以自动审核影视剧中的穿帮镜头，进而提高了审核的效率和准确度。
为解决上述技术问题，本发明的实施例提供了一种穿帮镜头审核方法，包括以下步骤：获取待识别的目标图像，其中，目标图像中包括至少一个目标对象；将目标图像输入至预设的图像审核模型中，用于提取目标图像中的目标对象及目标对象对应的分类信息，分类信息为对目标对象进行特征表征的信息；比对图像审核模型输出的分类信息与预设的背景数据库中的背景数据是否匹配；当分类信息与背景数据不匹配时，判定目标对象为穿帮对象。
本发明实施例相对于现有技术而言，利用预设的审核模型提取目标对象、实现了自动识别目标图像中的目标对象及目标对象的分类信息，并将目标对象的分类信息与预先建立的背景数据库中的背景数据进行匹配，根据匹配结果判定目标图像是否穿帮。从识别目标对象及其分类信息到与背景数据库中的背景数据匹配，全程采用计算机算法实现，不再依赖于人工肉眼审核，提升了穿帮镜头审核的效率和审核精准度。
另外，目标对象包括物品对象，背景数据包括目标图像对应影视剧的背景时间，比对图像审核模型输出的分类信息与预设的背景数据库中的背景数据是否匹配，包括：获取图像审核模型中输出的物品对象的分类时间；将分类时间与背景时间进行比对；当分类时间与背景时间不匹配时，判定目标对象为穿帮对象。图像审核模型识别出目标图像中的物品对象及物品对象的分类时间，将物品对象的分类时间与影视剧的背景时间比较，如果物品对象的的分类时间晚于影视剧的背景时间，则可以判定该物品对象为穿帮对象，以上述技术方案来判定物品对象是否穿帮，方便又高效。
另外，所述目标对象包括人脸对象，所述背景数据包括所述目标图像对应影视剧参演人员的图像指纹，所述分类信息为所述目标图像的特征向量；比对图像审核模型输出的分类信息与预设的背景数据库中的背景数据是否匹配，包括：判断审核模型输出的特征向量与背景数据库中的任一图像指纹是否匹配；当特征向量与背景数据库中的任一图像指纹都不匹配时，判定目标对象为穿帮对象。利用审核模型得到人脸对象的特征向量，将识别到的人脸对象的特征向量与背景数据库中的图像指纹匹配，若没有找到可以匹配的图像指纹，则该人脸对象问穿帮对象，采用计算机算法自动识别人脸对象并判定人脸对象是否穿帮，节省了审核时间，提高了审核效率。
另外，在判定目标对象为穿帮对象之后，还包括：消除穿帮对象。现有技术中发现图像中包含穿帮对象时，一般采用重拍图像中的场景或直接删除图像的方式。本申请方案中，在自动检测出图像中的穿帮对象后，采用计算机算法自动消除穿帮对象，进一步提高了审核效率。
另外，消除穿帮对象包括：当穿帮对象为人脸对象时，抠除人脸对象的覆盖区域得到扣除区域；利用人脸对象周围的背景图案补扣除区域。消除穿帮的人脸对象的方式是，将人脸对象的覆盖区域抠除，抠除区域用目标图像中的背景进行补全，使得抠除和补充痕迹不明显，消除效果良好，不易被发现有修改痕迹。
另外，消除穿帮对象包括：当穿帮对象为物品对象时，根据预先建立的包含道具图片的道具图片库，查询与物品对象类别相同的道具图片；计算与物品对象类别相同的道具图片和物品对象的匹配度，选择匹配度满足匹配条件的的道具图片覆盖物品对象。消除穿帮的物品对象的方式是，道具图片与物品对象类别相同且符合匹配条件，由此保证剧情场景连贯和良好的覆盖效果，提高用户的观看体验。
另外，在消除穿帮对象之后，还包括：根据预设的跟踪算法查询所有目标图像中相同的穿帮对象；将匹配度满足匹配条件的道具图片覆盖跟踪查询的所有相同的物品对象；在将匹配度满足匹配条件的道具图片覆盖跟踪查询的所有相同的物品对象之前，还包括：判断匹配度满足匹配条件的道具图片是否完全覆盖穿帮对象；如果匹配度满足匹配条件的道具图片不能完全覆盖物品对象，则调整匹配度满足匹配条件的道具图片的尺寸大小，用调整后的匹配度满足匹配条件的道具图片覆盖物品对象。当发现穿帮对象时，查找此穿帮对象在所有目标图像中的位置，并用上述筛选的满足匹配条件的道具图片覆盖所有相同的穿帮对象，确保从穿帮对象出现到穿帮对象消失的每一段连续帧中，满足匹配条件的道具图片具有一致性，并且省去了再次判定后面出现的相同的物品对象是否穿帮步骤，提升了效率。进一步的优化是，由于拍摄角度不同，同一物品对象的形状也可能不同，因此，在用相同的满足匹配条件的道具图片覆盖时，需要判断满足匹配条件的道具图片是否完全覆盖穿帮对象，防止出现不完全覆盖的问题，以达到良好的消除效果。
本发明的实施例还提供了一种穿帮镜头审核装置，包括：目标对象识别模块，用于提取目标图像中的目标对象及目标对象对应的分类信息，分类信息为对目标对象进行特征表征的信息；比对模块，用于比对分类信息与预设的背景数据库中的背景数据是否匹配。输出模块，用于当分类信息与背景数据不匹配时，判定目标对象为穿帮对象。
本发明的实施例还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，易失性存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如权利要求的穿帮镜头审核方法。
本发明的实施例还提供了一种计算机可读存储介质，存储有计算机程序，其特征在于，计算机程序被处理器执行时实现如权利要求的穿帮镜头审核方法。
附图说明
图1是根据本发明第一实施例的穿帮镜头审核方法的流程图；
图2是根据本发明第二实施例的穿帮镜头审核方法的流程图；
图3是根据本发明第三实施例的穿帮镜头审核装置的结构图；
图4是根据本发明第四实施例的电子设备的结构图。
具体实施例
现有的影视剧穿帮镜头审核方式效率低下，且准确度难以保证。审核方式具体为人工审核，或者将视频处理成图片帧分发给不同的人审核。不同的人在进行审核时，标准不同，容易造成审核误审、漏审等问题，最终影响影视剧质量，降低观众的观看体验。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
本发明第一实施例涉及一种穿帮镜头审核方法。本实施例将目标图像输入至预设的图像审核模型中，提取目标图像中的目标对象及目标对象对应的分类信息，分类信息为对目标对象进行特征表征的信息；比对图像审核模型输出的分类信息与预设的背景数据库中的背景数据是否匹配；当分类信息与背景数据不匹配时，判定目标对象为穿帮对象。通过图像审核模型自动识别目标图像中的目标对象及目标对象的分类信息，计算机对比目标对象的分类信息和背景数据库中的背景数据是否匹配，判断目标对象是否穿帮，最终实现穿帮对象的自动识别，由于判断标准是统一的，且过程由计算机执行，使穿帮的审核既高效又准确。
下面对本实施例的穿帮镜头审核方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。
本实施例中的穿帮镜头审核方法的具体流程如图1所示，参考图1：
步骤101，获取待识别的目标图像，将目标图像输入至预设的图像审核模型中，图像审核模型提取目标图像中的目标对象及目标对象对应的分类信息。
本实施例中，将影视剧作品视频原文件进行解码、抽帧后，得到一帧帧的目标图像。
具体的说，目标图像中可以不存在目标对象，也可以包含至少一个目标对象。
具体的说，目标对象包括物品对象和人脸对象，也就是说，在一帧目标图像中，物品对象的数量为至少一个或者人脸对象的数量为至少一个。
本实施例中，图像审核模型用于提取每帧目标图像中的所有目标对象及目标对象对应的分类信息，分类信息为对目标对象进行特征表征的信息。
需要说明的是，如果检测到目标图像中不存在目标对象，则不对此目标图像执行步骤102 的操作。
具体的说，采用图像审核模型中的检测框扫描目标图像，获取目标图像中的物品对象，结合图像审核模型中集成的知识图谱查询物品对象对应的分类信息。
具体的说，知识图谱为包含海量物品和与物品对应的分类信息的数据库，将物品对象输入知识图谱，查询知识图谱中与物品对象匹配的物品，将匹配的物品的分类信息作为物品对象的分类信息。
具体的说，物品对象的分类信息为物品对象的分类时间，在一个具体的实施例中，分类时间可以是物品对象的所属年代，也可以是具体的时间日期。
本实施例中，采用图像审核模型中的检测框扫描目标图像，图像审核模型用于获取目标图像中的人脸对象及人脸对象的分类信息。
具体的说，分类信息为人脸对象的特征向量，包括人脸对象的虹膜、指纹、五官、头饰中的至少一种。
步骤102，比对图像审核模型输出的分类信息与预设的背景数据库中的背景数据是否匹配。
本实施例中，背景数据库包括影视剧年代库和人脸库。
具体地说，影视剧年代库中的背景数据包括与目标图像对应影视剧的背景时间，背景时间可以是影视剧剧情发生的年代，也可以是影视剧剧情发生的具体时间日期。
本实施例中，人脸库中的背景数据包括目标图像对应影视剧参演人员的图像指纹，参演人员为参与拍摄影视剧的全部演员，包括主演、群演等所有应该出现在该部影视剧中的人物。
本实施例中，当目标对象为物品对象时，比对识别得到的物品对象的分类时间与影视剧的背景时间是否匹配。
具体的说，获取图像审核模型中输出的物品对象的分类时间；将分类时间与目标图像对应影视剧的背景时间进行比对。
具体的说，当物品对象的分类时间晚于影视剧的背景时间时，说明在拍摄该部影视剧时，物品对象还没有被生产出来，即分类信息与背景数据不匹配时，则执行103，当分类信息与背景数据不匹配时，判定该物品对象为穿帮对象。
例如，图像审核模型检测到目标图像中存在“星巴克咖啡杯”，结合知识图谱查询获得“星巴克咖啡杯”的年代为1971年(星巴克1971年成立)，晚于影视剧年代1970，即分类信息与背景数据不匹配，此时的“星巴克咖啡杯”为穿帮对象。
本实施例中，利用分类信息和背景数据进行比对，可简单快速的判断物品对象是否穿帮。并且识别、查询和判断均由计算机实现，使检测过程方便、高效及准确。
本实施例中，当目标对象为人脸对象时，比对图像审核模型输出的分类信息与预设的背景数据库中的背景数据是否匹配。
具体地说，判断审核模型输出的特征向量与背景数据库中的任一图像指纹是否匹配。当特征向量与背景数据库中的任一图像指纹都不匹配时，判定人脸对象为穿帮对象。
具体的说，将获取的所有人脸对象的特征向量与人脸库中的图像指纹进行匹配。当人脸对象的特征向量与所有图像指纹匹配失败时，即当特征向量与背景数据库中的任一图像指纹都不匹配时，则执行步骤103，当特征向量与背景数据库中的任一图像指纹都不匹配时，判定该人脸对象为穿帮对象。
本实施例中，利用审核模型得到人脸对象的特征向量，将识别到的人脸对象的特征向量与背景数据库中的图像指纹匹配，若没有找到可以匹配的图像指纹，则该人脸对象为穿帮对象，采用计算机自动识别人脸对象并判定人脸对象是否穿帮，节省了审核时间，提高了审核效率。
需要说明的是，由于一部影视作品中会包含物品对象和人脸对象的至少一种，因此，在进行目标图像识别时，会同时提取识别物品对象和物品对象的分类信息，以及人脸对象和人脸对象的特征向量，并与对应的背景数据库中的背景数据进行匹配。
进一步地，在其他实施例中，可以采用其他方式提取目标图像中的目标对象，只要能达到与本实施例相同的效果和目的的技术特征和手段，均在本申请的保护范围内。
本实施例采用人工智能实现穿帮对象的自动识别，识别标准简单准确，计算速度快，由此，节省了大量的人力，提高了审核效率，提升了检测穿帮的准确程度。
本发明的第二实施例涉及一种穿帮镜头审核方法。第二实施例与第一实施例大致相同，主要区别之处在于：在第一实施例中，检测目标图像中的目标对象是否为穿帮对象。而在本发明第二实施例中，在检测到目标对象为穿帮对象后，消除穿帮对象。本实施例中的一种穿帮镜头审核方法的流程图如图2所示，包括以下步骤：
本实施例中的步骤201、步骤202及步骤203与第一实施例中的步骤101、步骤102及步骤103的细节和作用相同，在此不做赘述。
步骤204，消除穿帮对象。
本实施例中，当穿帮对象为人脸对象时，抠除人脸对象的覆盖区域得到扣除区域；利用人脸对象周围的背景图案补扣除区域。
具体的说，当穿帮对象为人脸对象时，基于语义分割算法识别人脸对象的轮廓，抠除轮廓包围的区域，然后利用基于对抗神经网络的图像补全算法对抠除区域进行补全，在一个具体的实施例中，可以采用目标图像中已有的背景图案补全扣除区域，使补全区域在目标图像中不显突兀，以达到良好的穿帮消除效果。
本实施例中，当穿帮对象为物品对象时，根据预先建立的包含道具图片的道具图片库，查询与物品对象类别相同的道具图片。计算与物品对象类别相同的道具图片和物品对象的匹配度，选择匹配度满足匹配条件的道具图片覆盖物品对象。
具体的说，道具图片库包含道具图片及与道具图片对应的类别，如杯子中包含各种样式、大小和功用的杯子。在一个具体的实施例中，道具图片的背景可以透明背景，也可以不具有透明背景。
具体的说，将物品对象输入道具图片库，在道具图片库中查询与物品对象类别相同的道具图片。
具体的说，在查询到与物品对象类别相同的所有道具图片后，利用图像审核模型中的检测框得到物品对象所在区域的mask矩阵M，矩阵内容为0或1，矩阵内容为1表示检测框中被物品对象覆盖的覆盖区域，矩阵内容为0表示检测框中没有被物品对象覆盖的区域，将矩阵内容为1的区域作为待消除区域。
需要说明的是，检测框为一矩形框并且完全包围物品对象，检测框的各边与检测框内的物品对象的最外边缘相切。
需要说明的是，以下为了方便说明，将与物品对象类别相同的所有道具图片称为目标道具图片。
本实施例中，包围物品对象的检测框的宽为w，高为h，目标道具图片Pi∈P的宽为wi，高为hi。如果目标道具图片Pi的wi/h＞w/h，则按照比例h/hi调整目标道具图片Pi的尺寸，如果目标道具图片Pi的wi/h＜w/h，则按照比例w/wi调整目标道具图片Pi的尺寸，调整后的目标道具图片Ni∈N的尺寸为Wi*Hi。尺寸调整后的道具图片Ni的矩阵为Mi，矩阵内容为0 或1，1表示道具图片Ni的非背景区域，即道具图片Ni的覆盖区域，0表示道具图片Ni的背景区域。
计算调整后的目标道具图片Ni与物品对象的匹配度|Wi/Hi-w/h|/(w/h)|，将匹配度满足匹配条件|Wi/Hi-w/h|/(w/h)|≤p且Mi∪M＝Mi的道具图片Ni作为覆盖道具图片用以覆盖物品对象， p小于1，例如p可以等于0.9、0.8、0.7、0.3或者0.2。覆盖道具图片与物品对象的宽高比接近且形状接近，由此保证能够完全覆盖物品对象，且具体较好的穿帮消除效果。
需要说明的是，满足匹配条件的调整后的目标道具图片，即覆盖道具图片的数量大于1 时，随机选择一个覆盖道具图片用以覆盖物品对象。
需要说明的是，在进行覆盖时，覆盖道具图片的中心与物品对象的中心重合。覆盖道具图片的中心由目标道具图片的宽和高的中心决定，物品对象的中心由包围物品对象的检测框的宽和高的中心决定。
在一个具体的实施例中，包围物品对象的检测框的宽为w，高为h，目标道具图片Pi∈P 的宽为wi，高为hi。将所有目标道具图片Pi按照|wi/hi-w/h|/(w/h)进行升序排列，即与物品对象的宽高比越接近的目标道具图片Pi排位越靠前。
等比例缩放目标道具图片Pi，如果目标道具图片Pi的wi/h＞w/h，则按照比例h/hi调整目标道具图片Pi的尺寸，如果目标道具图片Pi的wi/h＜w/h，则按照比例w/wi调整目标道具图片Pi的尺寸。调整后的目标道具图片Ni∈N的尺寸为Wi*Hi。尺寸调整后的道具图片Ni的矩阵为Mi，矩阵内容为0或1，1表示道具图片的非背景区域，即道具图片的覆盖区域，0表示道具图片的背景区域。
依次查询所有尺寸调整后的目标道具图片Ni序列，将第一个符合匹配条件Mi∪M＝Mi的目标道具图片Ni作为覆盖道具图片用以覆盖物品对象。
需要说明的是，在进行覆盖时，覆盖道具图片的中心与物品对象的中心重合。
本实施例中，由于第一个符合匹配条件Mi∪M＝Mi的目标道具图片Ni，即覆盖道具图片可以完全覆盖物品对象，并且在符合匹配条件Mi∪M＝Mi的目标道具图片Ni中是宽高比最接近物品对象。由此，进一步地提高了的穿帮消除的效果，使穿帮消除不易被发现，避免了重新拍摄或者删除目标图像带来的成本大、剧情不连贯问题。
本实施例中，在消除穿帮对象之后，还包括：根据预设的跟踪算法查询所有目标图像中相同的穿帮对象；将匹配度满足匹配条件的道具图片覆盖跟踪查询的所有相同的物品对象。
具体的，匹配度满足匹配条件的道具图片为上述的覆盖道具图片。具体地，预设的跟踪算法可以查询所有目标图像中所有相同的穿帮对象。
具体的说，将覆盖道具图片覆盖跟踪查询的所有相同的物品对象。在识别出穿帮的物品对象，并获得覆盖道具图片后，利用跟踪算法查询其余所有目标图像中的与当前物品对象相同的所有物品对象，并用覆盖道具图片覆盖所有物品对象。用同一个覆盖道具图片覆盖所有相同的穿帮的物品对象，由于省却了与数据库的匹配过程，批量处理所有穿帮的物品对象，因此，大大地提高了审核效率，并且保证了用于覆盖物品对象的道具图片的统一性。
更进一步地，在将匹配度满足匹配条件的道具图片覆盖跟踪查询的所有相同的物品对象之前，还包括：判断匹配度满足匹配条件的道具图片是否完全覆盖穿帮对象；如果匹配度满足匹配条件的道具图片不能完全覆盖物品对象，则调整匹配度满足匹配条件的道具图片的尺寸大小，用调整后的匹配度满足匹配条件的道具图片覆盖物品对象。
具体的说，对同一个物品对象来说，由于镜头的角度和距离的不同，物品对象的形状和大小也会不同。因此在进行覆盖消除穿帮对象之前，判断覆盖道具图片是否可以完全覆盖穿帮对象，若可以，则进行覆盖消除穿帮，若不可以，则调整覆盖道具图片的尺寸使其完全覆盖穿帮对象，然后进行覆盖消除穿帮。
在一个具体的实施例中，在跟踪查询得到所有相同的穿帮对象后，当覆盖道具图片无法覆盖穿帮对象时，可以在道具图片库中重新选择覆盖道具图片用以覆盖穿帮对象。
本实施例中，选择的覆盖道具图片与穿帮对象宽高比接近，而且形状接近，即可以完全覆盖穿帮对象，具有良好的穿帮消除效果，消除过程由计算机程序实现，提高穿帮消除的效率。
其次，当发现穿帮对象时，利用跟踪算法查询所有目标图像中的相同的穿帮对象，并且采用相同的覆盖道具图片用以消除穿帮，确保从穿帮对象出现到穿帮对象消失的每一段连续帧中，满足匹配条件的道具图片具有一致性，并且省去了再次判定后面出现的相同的物品对象是否穿帮，有利于进一步提高穿帮消除的效率和效果。
另外，在利用相同的覆盖道具图片覆盖相同的穿帮对象时，还判断覆盖道具图片是否可以完全覆盖穿帮对象，进一步地提高了穿帮消除的效果，提高影视剧的质量和用户的观看体验。上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第三实施例涉及一种穿帮镜头审核装置，结构图如图3所示，包括：
目标对象识别模块，用于提取目标图像中的目标对象及目标对象对应的分类信息，分类信息为对目标对象进行特征表征的信息；比对模块，用于比对分类信息与预设的背景数据库中的背景数据是否匹配。输出模块，用于当分类信息与背景数据不匹配时，判定目标对象为穿帮对象。
目标对象识别模块包括物品对象识别模块和人脸对象识别模块，物品对象识别模块用于从目标图像中识别出物品对象及物品对象的分类时间，人脸对象识别模块用于从目标图像中识别出人脸对象及人脸对象的特征向量。
背景数据库包括影视剧年代库和人脸库；影视剧年代库中的背景数据为所有与目标图像对应的影视剧的背景时间。人脸库中的背景数据为参与拍摄影视剧的全部演员的图像指纹。
比对模块连接目标对象识别模块。比对断块包括物品对象比对模块和人脸比对判断模块，物品对象比对模块用于比对物品对象识别模块识别得到的物品对象的分类时间与影视剧年代库中影视剧的背景时间是否匹配；人脸对象比对模块用于比对人脸对象识别模块识别得到的人脸对象的特征向量与人脸库中的图像指纹是否匹配。
输出模块与比对模块连接，用于当物品对象的分类时间与影视剧年代库中影视剧的背景时间不匹配时，判定物品对象为穿帮对象；用于当人脸对象的特征向量与人脸库中的任一图像指纹都不匹配时，判定人脸对象为穿帮对象。
不难发现，本实施例为与第一实施例相对应的装置实施例，本实施例可与第一实施例互相配合实施。第一实施例中提到的相关技术细节在本实施例中依然有效，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在第一实施例中。
值得一提的是，本实施例中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施例中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施例中不存在其它的单元。
本申请第四实施例提供了一种电子设备，该设备具体结构如图4所示。包括至少一个处理器401；以及，与至少一个处理器401通信连接的存储器402。其中，存储器402存储有可被至少一个处理器401执行的指令，指令被至少一个处理器401执行，以使至少一个处理器 401能够执行上述实施例中的穿帮镜头审核方法。
本实施例中，处理器401以中央处理器(Central Processing Unit，CPU)为例，存储器 402以可读写存储器(Random Access Memory，RAM)为例。处理器401、存储器402可以通过总线或者其他方式连接。存储器402作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中实现穿帮镜头审核方法的程序就存储于存储器402中。处理器401通过运行存储在存储器402中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述穿帮镜头审核方法。
存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。
一个或者多个程序模块存储在存储器402中，当被一个或者多个处理器401执行时，执行上述任意方法实施例中的穿帮镜头审核方法。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本发明第五实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施例是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种穿帮镜头审核方法，其特征在于，包括：
获取待识别的目标图像，其中，所述目标图像中包括至少一个目标对象；
将所述目标图像输入至预设的图像审核模型中，用于提取所述目标图像中的目标对象及所述目标对象对应的分类信息，所述分类信息为对所述目标对象进行特征表征的信息；
比对所述图像审核模型输出的所述分类信息与预设的背景数据库中的背景数据是否匹配；
当所述分类信息与所述背景数据不匹配时，判定所述目标对象为穿帮对象。
2.根据权利要求1所述的穿帮镜头审核方法，其特征在于，所述目标对象包括物品对象；所述背景数据包括与目标图像对应影视剧的背景时间；所述比对所述图像审核模型输出的所述分类信息与预设的背景数据库中的背景数据是否匹配，包括：
获取所述图像审核模型中输出的所述物品对象的分类时间；
将所述分类时间与所述背景时间进行比对；
所述当所述分类时间与所述背景时间不匹配时，判定所述目标对象为穿帮对象。
3.根据权利要求1所述的穿帮镜头审核方法，其特征在于，所述目标对象包括人脸对象，所述背景数据包括所述目标图像对应影视剧参演人员的图像指纹，所述分类信息为所述人脸对象的特征向量；
所述比对所述图像审核模型输出的所述分类信息与预设的背景数据库中的背景数据是否匹配，包括：
判断所述审核模型输出的特征向量与背景数据库中的任一图像指纹是否匹配；
当所述特征向量与所述背景数据库中的任一图像指纹都不匹配时，判定所述目标对象为穿帮对象。
4.根据权利要求1至3中任一所述的穿帮镜头审核方法，其特征在于，在所述判定所述目标对象为穿帮对象之后，还包括：
消除所述穿帮对象。
5.根据权利要求4所述的穿帮镜头审核方法，其特征在于，所述消除穿帮对象，包括：
当所述穿帮对象为人脸对象时，抠除所述人脸对象的覆盖区域得到扣除区域；
利用所述人脸对象周围的背景图案补所述扣除区域。
6.根据权利要求4所述的穿帮镜头审核方法，其特征在于，所述消除穿帮对象，包括：当所述穿帮对象为物品对象时，根据预先建立的包含道具图片的道具图片库，查询与所述物品对象类别相同的所述道具图片；
计算与所述物品对象类别相同的所述道具图片和所述物品对象的匹配度，选择匹配度满足匹配条件的的道具图片覆盖所述物品对象。
7.根据权利要求6所述的穿帮镜头审核方法，其特征在于，在所述消除所述穿帮对象之后，还包括：
根据预设的跟踪算法查询所有所述目标图像中相同的所述穿帮对象；
将所述匹配度满足匹配条件的道具图片覆盖跟踪查询的所有相同的所述物品对象。
优选地，在所述将所述匹配度满足匹配条件的道具图片覆盖跟踪查询的所有相同的所述物品对象之前，还包括：
判断所述匹配度满足匹配条件的道具图片是否完全覆盖所述穿帮对象；
如果所述匹配度满足匹配条件的道具图片不能完全覆盖所述物品对象，则调整所述匹配度满足匹配条件的道具图片的尺寸大小，用所述调整后的所述匹配度满足匹配条件的道具图片覆盖所述物品对象。
8.一种穿帮镜头审核装置，其特征在于，包括：
目标对象识别模块，用于提取目标图像中的目标对象及所述目标对象对应的分类信息，所述分类信息为对所述目标对象进行特征表征的信息；
比对模块，用于比对所述分类信息与预设的背景数据库中的背景数据是否匹配；
输出模块，用于当所述分类信息与所述背景数据不匹配时，判定所述目标对象为穿帮对象。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述易失性存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的穿帮镜头审核方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的穿帮镜头审核方法。
CN201911274077.7A 2019-12-12 2019-12-12 穿帮镜头审核方法、装置、电子设备及存储介质 Active CN111178167B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911274077.7A CN111178167B (zh) 2019-12-12 2019-12-12 穿帮镜头审核方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911274077.7A CN111178167B (zh) 2019-12-12 2019-12-12 穿帮镜头审核方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111178167A true CN111178167A (zh) 2020-05-19
CN111178167B CN111178167B (zh) 2023-07-25

Family

ID=70657190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911274077.7A Active CN111178167B (zh) 2019-12-12 2019-12-12 穿帮镜头审核方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111178167B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114598919A (zh) * 2022-03-01 2022-06-07 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机设备和存储介质

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5578813A (en) * 1995-03-02 1996-11-26 Allen; Ross R. Freehand image scanning device which compensates for non-linear movement
JPH0998428A (ja) * 1995-09-29 1997-04-08 Denso Corp 画像信号の復号化装置
JPH0998416A (ja) * 1995-09-29 1997-04-08 Denso Corp 画像信号の符号化装置および画像の認識装置
US20090174773A1 (en) * 2007-09-13 2009-07-09 Gowdy Jay W Camera diagnostics
CN103021053A (zh) * 2012-11-22 2013-04-03 成都江法科技有限公司 一种人脸面部识别安防系统
US20140010459A1 (en) * 2012-07-09 2014-01-09 Canon Kabushiki Kaisha Apparatus, method, and non-transitory computer-readable medium
US20140147000A1 (en) * 2012-11-23 2014-05-29 National Taiwan University Image tracking device and image tracking method thereof
CN105404392A (zh) * 2015-11-03 2016-03-16 北京英梅吉科技有限公司 基于单目摄像头的虚拟穿戴方法及系统
CN106303549A (zh) * 2016-08-22 2017-01-04 北京网智天元科技股份有限公司 基于群体智能的电影纠错方法及设备
CN106372573A (zh) * 2016-08-22 2017-02-01 北京网智天元科技股份有限公司 电影穿帮镜头的检验方法及设备
CN107844758A (zh) * 2017-10-24 2018-03-27 量子云未来（北京）信息科技有限公司 智能预审片方法、计算机设备以及可读存储介质
CN108269271A (zh) * 2018-01-15 2018-07-10 深圳市云之梦科技有限公司 一种服装与人体图像穿帮、匹配迁移的方法及系统
CN108322824A (zh) * 2018-02-27 2018-07-24 四川长虹电器股份有限公司 一种将电视画面进行情景置换的方法及系统
CN108447043A (zh) * 2018-03-30 2018-08-24 腾讯科技（深圳）有限公司 一种图像合成方法、设备及计算机可读介质
CN109829850A (zh) * 2019-03-06 2019-05-31 百度在线网络技术（北京）有限公司 图像处理方法、装置、设备及计算机可读介质
CN109960453A (zh) * 2017-12-22 2019-07-02 奥多比公司 根据被引导的用户会话移除和替换图像中的对象
CN110012358A (zh) * 2019-05-08 2019-07-12 腾讯科技（深圳）有限公司 审片信息处理方法、装置
CN110008910A (zh) * 2019-04-10 2019-07-12 江西理工大学 一种影视剧穿帮镜头的检测方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5578813A (en) * 1995-03-02 1996-11-26 Allen; Ross R. Freehand image scanning device which compensates for non-linear movement
JPH0998428A (ja) * 1995-09-29 1997-04-08 Denso Corp 画像信号の復号化装置
JPH0998416A (ja) * 1995-09-29 1997-04-08 Denso Corp 画像信号の符号化装置および画像の認識装置
US20090174773A1 (en) * 2007-09-13 2009-07-09 Gowdy Jay W Camera diagnostics
US20140010459A1 (en) * 2012-07-09 2014-01-09 Canon Kabushiki Kaisha Apparatus, method, and non-transitory computer-readable medium
CN103021053A (zh) * 2012-11-22 2013-04-03 成都江法科技有限公司 一种人脸面部识别安防系统
US20140147000A1 (en) * 2012-11-23 2014-05-29 National Taiwan University Image tracking device and image tracking method thereof
CN105404392A (zh) * 2015-11-03 2016-03-16 北京英梅吉科技有限公司 基于单目摄像头的虚拟穿戴方法及系统
CN106303549A (zh) * 2016-08-22 2017-01-04 北京网智天元科技股份有限公司 基于群体智能的电影纠错方法及设备
CN106372573A (zh) * 2016-08-22 2017-02-01 北京网智天元科技股份有限公司 电影穿帮镜头的检验方法及设备
CN107844758A (zh) * 2017-10-24 2018-03-27 量子云未来（北京）信息科技有限公司 智能预审片方法、计算机设备以及可读存储介质
CN109960453A (zh) * 2017-12-22 2019-07-02 奥多比公司 根据被引导的用户会话移除和替换图像中的对象
CN108269271A (zh) * 2018-01-15 2018-07-10 深圳市云之梦科技有限公司 一种服装与人体图像穿帮、匹配迁移的方法及系统
CN108322824A (zh) * 2018-02-27 2018-07-24 四川长虹电器股份有限公司 一种将电视画面进行情景置换的方法及系统
CN108447043A (zh) * 2018-03-30 2018-08-24 腾讯科技（深圳）有限公司 一种图像合成方法、设备及计算机可读介质
CN109829850A (zh) * 2019-03-06 2019-05-31 百度在线网络技术（北京）有限公司 图像处理方法、装置、设备及计算机可读介质
CN110008910A (zh) * 2019-04-10 2019-07-12 江西理工大学 一种影视剧穿帮镜头的检测方法
CN110012358A (zh) * 2019-05-08 2019-07-12 腾讯科技（深圳）有限公司 审片信息处理方法、装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
徐广培;: "电视剪辑前期与后期的重要性", 西部广播电视 *
胡桂棋: "影视制作流程视域下穿帮镜头的规避", 《新闻研究导刊》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114598919A (zh) * 2022-03-01 2022-06-07 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机设备和存储介质
CN114598919B (zh) * 2022-03-01 2024-03-01 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111178167B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
Fattal Dehazing using color-lines
US9367756B2 (en) Selection of representative images
KR101023733B1 (ko) 인트라-모드 관심 영역 비디오 오브젝트 세그멘테이션
US8355079B2 (en) Temporally consistent caption detection on videos using a 3D spatiotemporal method
WO2012074361A1 (en) Method of image segmentation using intensity and depth information
CN105684046B (zh) 生成图像组成
TW201907736A (zh) 視訊摘要的生成方法及裝置
KR20170015639A (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
CN107135401A (zh) 关键帧选取方法及系统
CN111695495A (zh) 人脸识别方法、电子设备及存储介质
CN110472561B (zh) 足球进球类型识别方法、装置、系统及存储介质
US9286707B1 (en) Removing transient objects to synthesize an unobstructed image
CN111178167B (zh) 穿帮镜头审核方法、装置、电子设备及存储介质
CN110769262B (zh) 一种视频图像压缩方法、系统、设备和存储介质
JP5116017B2 (ja) 動画検索方法およびシステム
CN111444822B (zh) 对象识别方法和装置、存储介质和电子装置
Jayanth et al. Automated classification of cricket pitch frames in cricket video
Sankoh et al. Dynamic camera calibration method for free-viewpoint experience in sport videos
JP2001167273A (ja) 顔面検出方法及びその装置、コンピュータ可読媒体
Ekin et al. Spatial detection of TV channel logos as outliers from the content
Gomes et al. Automatic detection of TV commercial blocks: A new approach based on digital on-screen graphics classification
CN108540867B (zh) 影片校正方法及系统
KR20220026907A (ko) 3차원 영상 제작 서비스 제공 장치 및 방법
Lertchuwongsa et al. Mixed color/level lines and their stereo-matching with a modified hausdorff distance
Gelasca et al. Intuitive strategy for parameter setting in video segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant