CN112884866B - 一种黑白视频的上色方法、装置、设备及存储介质 - Google Patents

一种黑白视频的上色方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112884866B
CN112884866B CN202110022909.7A CN202110022909A CN112884866B CN 112884866 B CN112884866 B CN 112884866B CN 202110022909 A CN202110022909 A CN 202110022909A CN 112884866 B CN112884866 B CN 112884866B
Authority
CN
China
Prior art keywords
color
image
black
frame
white
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110022909.7A
Other languages
English (en)
Other versions
CN112884866A (zh
Inventor
蒋紫东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202110022909.7A priority Critical patent/CN112884866B/zh
Publication of CN112884866A publication Critical patent/CN112884866A/zh
Application granted granted Critical
Publication of CN112884866B publication Critical patent/CN112884866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration by non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description

Abstract

本发明实施例提供了一种黑白视频的上色方法、设备及存储介质，该方法包括：获取黑白视频对应的彩色参考视频，对彩色参考视频中的彩色图像进行场景分类，基于分类结果分别确定代表不同场景的彩色图像；对黑白视频进行上色处理时，并不需要人工选择每帧黑白图像的参考图像，而是针对每帧黑白图像，在所确定的代表不同场景的彩色图像中，确定与该帧黑白图像相匹配的彩色图像，作为该帧黑白图像的参考帧图像，利用参考帧图像，对该帧黑白图像进行上色；可见，本方案中，不需要相关技术人员人工选择每帧黑白图像的参考图像，提高了对黑白视频上色的效率。

Description

一种黑白视频的上色方法、装置、设备及存储介质
技术领域
本发明涉及智能分析技术领域，特别是涉及一种黑白视频的上色方法、装置、设备及存储介质。
背景技术
在黑白视频的修复工作中包括对黑白视频进行上色的工作，上色工作使得黑白视频的颜色更加丰富，提高了黑白视频的表现力，同时，还能够提升观众的观看体验。
目前，主要的黑白视频上色方案包括：针对黑白视频的每帧黑白图像，首先由技术人员选择合适的彩色参考图像，再将黑白图像中的像素点与彩色参考图像中的像素点进行匹配，根据匹配成功的彩色参考图像中的像素点对应的颜色信息，生成黑白图像中的像素点的颜色信息，从而实现对每帧黑白图像的上色，最后再将上色后的每帧黑白图像进行连接，完成对黑白视频的上色工作。
然而，上述方案中，彩色参考图像需要由技术人员进行人工选择，在实际黑白视频的修复工作中，针对黑白视频的每帧图像，都需要技术人员选择该帧图像对应的彩色参考图像，使得技术人员需要人工选择大量的彩色参考图像，导致上色效率低下。
发明内容
本发明实施例的目的在于提供一种黑白视频的上色方法、装置、设备及存储介质，以提高对黑白视频上色的效率。具体技术方案如下：
为达到上述目的，本发明实施例提供了一种黑白视频的上色方法，包括：
获取待处理黑白视频；
获取所述待处理黑白视频对应的彩色参考视频；
对所述彩色参考视频中的彩色图像进行场景分类，基于分类结果分别确定代表不同场景的彩色图像；
针对所述待处理黑白视频中的每帧黑白图像，从所述代表不同场景的彩色图像中，确定与该帧黑白图像相匹配的彩色图像，作为该帧黑白图像的参考帧图像；利用所述参考帧图像，对该帧黑白图像进行上色。
可选的，所述对所述彩色参考视频中的彩色图像进行场景分类，包括：
针对所述彩色参考视频中的每帧彩色图像，识别能够反应该帧彩色图像中物体结构的属性特征；
依次确定所述彩色参考视频中的当前帧彩色图像；
分别计算所述当前帧彩色图像的属性特征与已进行场景分类的彩色图像的属性特征的相似度；
判断是否存在满足预设条件的相似度；若存在，则确定所述当前帧彩色图像对应的场景为所述满足预设条件的相似度对应的场景；若不存在，则确定所述当前帧彩色图像对应的场景为新的场景。
可选的，所述依次确定所述彩色参考视频中的当前帧彩色图像之后，还包括：
若不存在已进行场景分类的彩色图像，则确定所述当前帧彩色图像对应的场景为新的场景。
可选的，所述基于分类结果分别确定代表不同场景的彩色图像，包括：
针对所述彩色参考视频中的每种场景，从属于该种场景的彩色图像中，将预设数量帧彩色图像确定为代表该种场景的彩色图像。
可选的，所述针对所述待处理黑白视频中的每帧黑白图像，从所述代表不同场景的彩色图像中，确定与该帧黑白图像相匹配的彩色图像，作为该帧黑白图像的参考帧图像，包括：
针对所述待处理黑白视频中的每帧黑白图像，识别能够反应该帧黑白图像中物体结构的属性特征；
基于所述属性特征，从所述代表不同场景的彩色图像中，确定与该帧黑白图像中物体结构相匹配的彩色图像，作为该帧黑白图像的参考帧图像。
可选的，所述获取所述待处理黑白视频对应的彩色参考视频，包括：
获取所述待处理黑白视频对应的标签；
查找与所述标签相匹配的彩色视频，作为彩色参考视频。
可选的，所述利用所述参考帧图像，对该帧黑白图像进行上色，包括：
确定该帧黑白图像中的待上色目标；
确定所述参考帧图像中与所述待上色目标相匹配的彩色目标；
利用所述彩色目标的颜色信息，对所述待上色目标进行上色。
为达到上述目的，本发明实施例还提供了一种黑白视频的上色装置，包括：
第一获取模块，用于获取待处理黑白视频；
第二获取模块，用于获取所述待处理黑白视频对应的彩色参考视频；
第一确定模块，用于对所述彩色参考视频中的彩色图像进行场景分类，基于分类结果分别确定代表不同场景的彩色图像；
第二确定模块，用于针对所述待处理黑白视频中的每帧黑白图像，从所述代表不同场景的彩色图像中，确定与该帧黑白图像相匹配的彩色图像，作为该帧黑白图像的参考帧图像；
上色模块，用于利用所述参考帧图像，对该帧黑白图像进行上色。
为达到上述目的，本发明实施例还提供了一种电子设备，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任意一种黑白视频的上色方法。
为达到上述目的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种黑白视频的上色方法。
应用本发明所示实施例，获取黑白视频对应的彩色参考视频，对彩色参考视频中的彩色图像进行场景分类，基于分类结果分别确定代表不同场景的彩色图像；对黑白视频进行上色处理时，并不需要人工选择每帧黑白图像的参考图像，而是针对每帧黑白图像，在所确定的代表不同场景的彩色图像中，确定与该帧黑白图像相匹配的彩色图像，作为该帧黑白图像的参考帧图像，利用参考帧图像，对该帧黑白图像进行上色；可见，本方案中，不需要相关技术人员人工选择每帧黑白图像的参考图像，提高了对黑白视频上色的效率。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的黑白视频的上色方法的第一种流程示意图；
图2为本发明实施例提供的一种具体实施方式的流程示意图；
图3为本发明实施例提供的黑白视频的上色方法的第二种流程示意图；
图4为本发明实施例提供的一种黑白视频的上色装置的结构示意图；
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了达到上述目的，本发明实施例提供了一种黑白视频的上色方法、装置、设备及存储介质，该方法可以应用于各种电子设备，具体不做限定。下面首先对该黑白视频的上色方法进行详细介绍。
图1为本发明实施例提供的黑白视频的上色方法的第一种流程示意图，包括：
S101：获取待处理黑白视频。
待处理黑白视频可以为黑白电影、利用胶片呈现的黑白录像，等等，具体待处理黑白视频不做限定；待处理黑白视频可以理解为需要进行上色处理的黑白视频。
S102：获取待处理黑白视频对应的彩色参考视频。
一种实施方式中，S102可以包括：获取待处理黑白视频对应的标签；查找与标签相匹配的彩色视频，作为彩色参考视频。
举例来说，可以获取待处理黑白视频对应的标签，如待处理黑白视频对应的标签为言情题材；这样，可以在彩色视频库中查找与待处理黑白视频的标签相匹配彩色参考视频。其中，标签相匹配可以理解为彩色参考视频的标签与待处理黑白视频的标签相同，或者也可以理解为彩色参考视频的标签与待处理黑白视频的标签相似。本发明实施例对彩色视频库不做限定。
一种情况下，待处理黑白视频的标签可以为待处理黑白视频的题材，题材可以为言情题材、战争题材、悬疑题材，等等，具体待处理黑白视频的题材不做限定。举例来说，若待处理黑白视频的题材为悬疑题材，那么，可以将彩色视频库中悬疑题材的彩色视频确定为彩色参考视频；或者，由于恐怖题材和悬疑题材为相似题材，也可以将彩色视频库中恐怖题材的彩色视频确定为彩色参考视频。
或者，另一种实施方式中，可以由相关技术人员选择与待处理黑白视频的题材相似的彩色视频，作为彩色参考视频。
S103：对彩色参考视频中的彩色图像进行场景分类，基于分类结果分别确定代表不同场景的彩色图像。
一种实施方式中，S103可以包括：针对彩色参考视频中的每帧彩色图像，识别能够反应该帧彩色图像中物体结构的属性特征；依次确定彩色参考视频中的当前帧彩色图像；分别计算当前帧彩色图像的属性特征与已进行场景分类的彩色图像的属性特征的相似度；判断是否存在满足预设条件的相似度；若存在，则确定当前帧彩色图像对应的场景为满足预设条件的相似度对应的场景；若不存在，则确定当前帧彩色图像对应的场景为新的场景。
举例来说，可以针对彩色参考视频中的每帧彩色图像，对该帧彩色图像进行复小波变换，得到复小波变换图像，对复小波变换图像提取结构信息，作为能够反应该帧彩色图像中物体结构的属性特征；或者，也可以针对彩色参考视频中的每帧彩色图像，对该帧彩色图像提取结构信息，作为能够反应该帧彩色图像中物体结构的属性特征，等等，具体识别能够反应该帧彩色图像中物体结构的属性特征的方式不做限定。
举例来说，可以按照视频的帧序号，依次确定当前帧彩色图像，或者也可以在彩色参考视频中的彩色图像中随机确定当前帧彩色图像，具体确定当前帧彩色图像的方式不做限定。
举例来说，可以计算当前帧彩色图像的属性特征与已进行场景分类的彩色图像的属性特征的余弦相似度；或者，也可以计算当前帧彩色图像的属性特征与已进行场景分类的彩色图像的属性特征的欧氏距离。其中，计算相似度可以为计算属性特征之间的余弦相似度、欧氏距离、曼哈顿距离等，具体计算相似度的方式不做限定。
举例来说，预设条件可以为相似度大于第一预设阈值、相似度与预设值的差值小于第二预设阈值，等等，具体预设条件不做限定；第一预设阈值可以为0.7、0.8，等等，具体不做限定；预设值可以为1、0.5，等等，具体不做限定；第二预设阈值可以为0.2、0.3，等等，具体不做限定；第二预设阈值可以小于第一预设阈值。
一种情况下，若不存在已进行场景分类的彩色图像，则确定当前帧彩色图像对应的场景为新的场景。
举例来说，可以将彩色参考视频中的第一帧彩色图像确定为当前帧彩色图像，若不存在已进行场景分类的彩色图像，那么，可以确定第一帧彩色图像对应的场景为新的场景，也就是说，确定当前帧彩色图像对应的场景为新的场景。
这样，若预设条件为相似度大于第一预设阈值0.7，假设当前帧彩色图像为彩色参考视频的第二帧彩色图像，那么可以计算第二帧彩色图像的属性特征与第一帧彩色图像的属性特征的相似度，如可以计算第二帧彩色图像的属性特征与第一帧彩色图像的属性特征的余弦相似度，若计算得到的相似度为0.8，则满足预设条件，存在满足预设条件的相似度；此时，可以确定第二帧彩色图像对应的场景为第一帧彩色图像对应的场景。若计算得到的相似度为0.5，则不满足预设条件，不存在满足预设条件的相似度；此时，可以确定第二帧彩色图像对应的场景为新的场景。其中，计算相似度的方式可以为计算属性特征之间的余弦相似度、欧氏距离、曼哈顿距离等，具体计算相似度的方式不做限定。
或者，另一种情况下，可以预先设定多种场景模板，如森林场景模板、城市场景模板，等等，具体场景模板不做限定；每种场景模板中至少包含一幅属于该场景的彩色图像。可以针对每种场景模板，将当前帧彩色图像与该场景模板中的彩色图像进行相似度计算；判断相似度是否满足预设条件；若是，则确定当前帧彩色图像对应的场景为该场景模板对应的场景；若否，则确定当前帧彩色图像对应的场景为新的场景。
举例来说，可以预先设定森林场景模板中包含彩色图像A，城市场景模板中包含彩色图像B；若预设条件为相似度大于第一预设阈值0.7，假设当前帧彩色图像为彩色参考视频的第二帧彩色图像，那么可以分别计算第二帧彩色图像与森林场景模板中包含的彩色图像A的相似度、以及第二帧彩色图像与城市场景模板中包含的彩色图像B的相似度，如可以识别能够反应彩色图像中物体结构的属性特征，计算属性特征之间的余弦相似度，若计算得到的第二帧彩色图像的属性特征与森林场景模板中包含彩色图像A的属性特征的相似度为0.6，第二帧彩色图像的属性特征与城市场景模板中包含彩色图像B的属性特征的相似度为0.8，那么第二帧彩色图像的属性特征与城市场景模板中包含的彩色图像B的属性特征的相似度满足预设条件，则存在满足预设条件的相似度，可以确定第二帧彩色图像对应的场景为城市场景。若计算得到的第二帧彩色图像的属性特征与森林场景模板中包含的彩色图像A的属性特征的相似度为0.6，第二帧彩色图像的属性特征与城市场景模板中包含的彩色图像B的属性特征的相似度为0.5，那么不存在满足预设条件的相似度，可以确定第二帧彩色图像对应的场景为新的场景。
一种实施方式中，S103可以包括：针对彩色参考视频中的每种场景，从属于该种场景的彩色图像中，将预设数量帧彩色图像确定为代表该种场景的彩色图像。
其中，预设数量可以为1、2、3，等等，具体预设数量不做限定。
上述一种实施方式中，对彩色参考视频中的彩色图像进行场景分类，得到了彩色参考视频中彩色图像的分类结果；这样，可以基于分类结果，分别将每种场景中的1帧彩色图像确定为代表该种场景的彩色图像；后续在选择黑白图像的参考帧图像时，可以直接从代表每种场景的彩色图像中进行选择。
这样，相比于直接在彩色参考视频的全部彩色图像中选择黑白图像的参考帧图像，本实施方式在每种场景的彩色图像中，将预设数量帧彩色图像确定为代表该种场景的彩色图像，缩小了参考帧图像的选择范围，在后续选择黑白图像的参考帧图像时可以直接在代表每种场景的彩色图像中进行选择，从而减少了选择过程中的数据量。
S104：针对待处理黑白视频中的每帧黑白图像，从所述代表不同场景的彩色图像中，确定与该帧黑白图像相匹配的彩色图像，作为该帧黑白图像的参考帧图像。
一种实施方式中，S104可以包括：针对待处理黑白视频中的每帧黑白图像，识别能够反应该帧黑白图像中物体结构的属性特征；基于属性特征，从代表不同场景的彩色图像中，确定与该帧黑白图像中物体结构相匹配的彩色图像，作为该帧黑白图像的参考帧图像。
举例来说，可以针对待处理黑白视频中的每帧黑白图像，对该帧黑白图像进行复小波变换，得到复小波变换图像，对复小波变换图像提取结构信息，作为能够反应该帧黑白图像中物体结构的属性特征；或者，也可以针对待处理黑白视频中的每帧黑白图像，对该帧黑白图像提取结构信息，作为能够反应该帧黑白图像中物体结构的属性特征，等等，具体识别能够反应该帧黑白图像中物体结构的属性特征的方式不做限定。
一种情况下，针对每帧黑白图像，可以识别能够反映该帧黑白图像中物体结构的属性特征，作为黑白特征；针对每张代表不同场景的彩色图像，识别能够反映该彩色图像中物体结构的属性特征，作为彩色特征。计算该帧黑白图像的黑白特征与代表不同场景的彩色图像的彩色特征的相似度，将相似度由高到低进行排序，得到相似度最高的彩色特征对应的彩色图像，可以确定该帧黑白图像的参考帧图像为相似度最高的彩色特征对应的彩色图像，也就是说，从代表不同场景的彩色图像中，确定与该帧黑白图像中物体结构相匹配的彩色图像，作为该帧黑白图像的参考帧图像。假设有四帧代表不同场景的彩色图像，分别是彩色图像A、彩色图像B、彩色图像C和彩色图像D，分别识别能够反应这四帧彩色图像中物体结构的属性特征，得到彩色图像A中物体结构的彩色特征a、彩色图像B中物体结构的彩色特征b、彩色图像C中物体结构的彩色特征c和彩色图像D中物体结构的彩色特征d。那么针对待处理黑白视频中的黑白图像A，识别能够反映黑白图像A中物体结构的属性特征a；计算黑白图像A的黑白特征a与这四帧代表不同场景的彩色图像的彩色特征的相似度，得到黑白特征a与彩色特征a的相似度为0.5、黑白特征a与彩色特征b的相似度为0.4、黑白特征a与彩色特征c的相似度为0.7、黑白特征a与彩色特征d的相似度为0.8，那么可以得到相似度最高的彩色特征为彩色特征d，可以确定黑白图像A的参考帧图像为彩色图像D。
或者，另一种情况下，针对每帧黑白图像，可以识别能够反映该帧黑白图像中物体结构的属性特征，作为黑白特征；针对每张代表不同场景的彩色图像，识别能够反映该彩色图像中物体结构的属性特征，作为彩色特征。计算该帧黑白图像的黑白特征与代表不同场景的彩色图像的彩色特征的相似度，将相似度大于预设相似度阈值的彩色图像确定为该帧黑白图像的参考帧图像，也就是说，从代表不同场景的彩色图像中，确定与该帧黑白图像中物体结构相匹配的彩色图像，作为该帧黑白图像的参考帧图像。假设有四帧代表不同场景的彩色图像，分别是彩色图像A、彩色图像B、彩色图像C和彩色图像D，分别识别能够反应这四帧彩色图像中物体结构的属性特征，得到彩色图像A中物体结构的彩色特征a、彩色图像B中物体结构的彩色特征b、彩色图像C中物体结构的彩色特征c和彩色图像D中物体结构的彩色特征d。那么针对待处理黑白视频中的黑白图像A，识别能够反映黑白图像A中物体结构的属性特征a；计算黑白图像A的黑白特征a与这四帧代表不同场景的彩色图像的彩色特征的相似度，得到黑白特征a与彩色特征a的相似度为0.5、黑白特征a与彩色特征b的相似度为0.4、黑白特征a与彩色特征c的相似度为0.7、黑白特征a与彩色特征d的相似度为0.8，，若预设相似度阈值为0.6，那么可以将彩色图像C和彩色图像D确定为黑白图像A的参考帧图像。其中，预设相似度阈值可以为0.6、0.7，等等，具体预设相似度阈值不做限定。
或者，另一种实施方式中，S104可以包括：针对黑白视频中的各帧黑白图像进行场景分类，基于分类结果将该帧黑白图像与彩色参考视频的各种场景进行匹配，将匹配成功的场景对应的代表该场景的彩色图像作为该帧黑白图像的参考帧图像。
举例来说，代表森林场景的彩色图像为彩色图像A、代表城市场景的彩色图像为彩色图像B，对黑白视频中的黑白图像A进行场景分类后，得到黑白图像A的分类结果为森林场景，则黑白图像A与森林场景匹配成功，可以将彩色图像A作为黑白图像A的参考帧图像。其中，场景可以为森林场景、城市场景，等等，具体场景不做限定。
S105：利用参考帧图像，对该帧黑白图像进行上色。
一种实施方式中，S105可以包括：确定该帧黑白图像中的待上色目标；确定参考帧图像中与待上色目标相匹配的彩色目标；利用彩色目标的颜色信息，对待上色目标进行上色。
举例来说，可以确定该帧黑白图像中的待上色目标，对该待上色目标进行特征提取，得到上色目标特征；对参考帧图像进行特征提取，得到参考特征；将上色目标特征与参考特征进行匹配，根据匹配结果，获取与上色目标特征相匹配的参考特征对应的颜色信息，也就是说获取与待上色目标相匹配的彩色目标的颜色信息；利用该颜色信息对待上色目标进行上色。其中，特征提取的方式可以为提取灰度特征、提取纹理特征，等等，具体特征提取的方式不做限定。
或者，其他实施方式中，可以利用基于参考图的上色算法，根据参考帧图像，对该帧黑白图像进行上色。上述一种实施方式中，确定了黑白图像的参考帧图像为彩色图像D，那么可以利用基于参考图的上色算法，根据彩色图像D，对黑白图像A进行上色。其中，本发明实施例对具体基于参考图的上色算法不做限定。
下面介绍一种具体的实施方式，参考图2所示：
获取待处理黑白视频；获取所述待处理黑白视频对应的彩色参考视频；对所述彩色参考视频中的彩色图像进行场景分类，基于分类结果分别确定代表不同场景的彩色图像；将代表不同场景的彩色图像存储在参考帧池中。后续选择黑白图像的参考帧图像时，可以直接在参考帧池中进行选择。
举例来说，针对彩色参考视频中的每帧彩色图像，识别能够反应该帧彩色图像中物体结构的属性特征；可以按照彩色参考视频的帧序号，依次确定当前帧彩色图像。将所述彩色参考视频的第一帧彩色图像确定为当前帧彩色图像，将第一帧彩色图像对应的场景记为场景1；将所述彩色参考视频的第二帧彩色图像确定为当前帧彩色图像，计算第二帧彩色图像的属性特征与已进行场景分类的第一帧彩色图像的属性特征的余弦相似度；判断是否存在满足预设条件的相似度；若存在，则确定第二帧彩色图像对应的场景为场景1；若不存在，则确定第二帧彩色图像对应的场景为新的场景，记为场景2。
假设，第二帧彩色图像的属性特征与已进行场景分类的第一帧彩色图像的属性特征的相似度不满足预设条件，则不存在满足预设条件的相似度，那么，将第二帧彩色图像对应的场景记为场景2。
将所述彩色参考视频的第三帧彩色图像确定为当前帧彩色图像，计算第三帧彩色图像的属性特征与已进行场景分类的彩色图像的属性特征的相似度；判断是否存在满足预设条件的相似度；若存在，则确定第三帧彩色图像对应的场景为满足预设条件的相似度对应的场景；若不存在，则确定第三帧彩色图像对应的场景为新的场景。
举例来说，若第三帧彩色图像的属性特征与第一帧彩色图像的属性特征的相似度满足预设条件，第三帧彩色图像的属性特征与第二帧彩色图像的属性特征的相似度不满足预设条件，则可以确定第三帧彩色图像对应的场景为场景1。
以此类推，可以按照彩色参考视频的帧序号，依次确定当前帧彩色图像；分别计算所述当前帧彩色图像的属性特征与已进行场景分类的彩色图像的属性特征的相似度；判断是否存在满足预设条件的相似度；若存在，则确定所述当前帧彩色图像对应的场景为所述满足预设条件的相似度对应的场景；若不存在，则确定所述当前帧彩色图像对应的场景为新的场景。
针对所述彩色参考视频中的每种场景，从属于该种场景的彩色图像中，将预设数量帧彩色图像确定为代表该种场景的彩色图像，将确定为代表该种场景的彩色图像存储在参考帧池中。举例来说，可以从属于该种场景的彩色图像中，将1帧彩色图像确定为代表该种场景的彩色图像；若彩色参考视频中包含了20种场景，则可以分别确定代表20种场景的20帧彩色图像；将这20帧彩色图像存储到参考帧池中。其中，场景种类数可以为10种、20种，等等，具体场景种类数不做限定。
将待处理黑白视频逐帧分解，针对所述待处理黑白视频的第1帧黑白图像至第n帧黑白图像中的第k帧黑白图像，识别能够反应第k帧黑白图像中物体结构的属性特征，从所述代表不同场景的彩色图像中，确定与第k帧黑白图像的属性特征相匹配的彩色图像，作为第k帧黑白图像的参考帧图像。可以理解为，在参考帧池中，寻找第k帧黑白图像的参考帧图像。具体过程上述内容已详细介绍，这里不做赘述。其中，n表示任意正整数，k表示1～n中的任意正整数，k小于等于n。
利用第k帧黑白图像的参考帧图像，对第k帧黑白图像进行上色，得到上色后的第k帧黑白图像。具体过程上述内容已详细介绍，这里不做赘述。
应用本发明图1所示实施例，获取黑白视频对应的彩色参考视频，对彩色参考视频中的彩色图像进行场景分类，基于分类结果分别确定代表不同场景的彩色图像；对黑白视频进行上色处理时，并不需要人工选择每帧黑白图像的参考图像，而是针对每帧黑白图像，在所确定的代表不同场景的彩色图像中，确定与该帧黑白图像相匹配的彩色图像，作为该帧黑白图像的参考帧图像，利用参考帧图像，对该帧黑白图像进行上色；可见，本方案中，不需要相关技术人员人工选择每帧黑白图像的参考图像，提高了对黑白视频上色的效率。
图3为本发明实施例提供的黑白视频的上色方法的第二种流程示意图，包括：
S301：获取待处理黑白视频。
待处理黑白视频可以为黑白电影、利用胶片呈现的黑白录像，等等，具体待处理黑白视频不做限定；待处理黑白视频可以理解为需要进行上色处理的黑白视频。
S302：获取待处理黑白视频对应的标签；查找与标签相匹配的彩色视频，作为彩色参考视频。
一种实施方式中，S302可以包括：获取待处理黑白视频对应的标签；查找与标签相匹配的彩色视频，作为彩色参考视频。
举例来说，可以获取待处理黑白视频对应的标签，如待处理黑白视频对应的标签为言情题材；这样，可以在彩色视频库中查找与待处理黑白视频的标签相匹配彩色参考视频。其中，标签相匹配可以理解为彩色参考视频的标签与待处理黑白视频的标签相同，或者也可以理解为彩色参考视频的标签与待处理黑白视频的标签相似。本发明实施例对彩色视频库不做限定。
一种情况下，待处理黑白视频的标签可以为待处理黑白视频的题材，题材可以为言情题材、战争题材、悬疑题材，等等，具体待处理黑白视频的题材不做限定。举例来说，若待处理黑白视频的题材为悬疑题材，那么，可以将彩色视频库中悬疑题材的彩色视频确定为彩色参考视频；或者，由于恐怖题材和悬疑题材为相似题材，也可以将彩色视频库中恐怖题材的彩色视频确定为彩色参考视频。
S303：针对彩色参考视频中的每帧彩色图像，识别能够反应该帧彩色图像中物体结构的属性特征。
举例来说，可以针对彩色参考视频中的每帧彩色图像，对该帧彩色图像进行复小波变换，得到复小波变换图像，对复小波变换图像提取结构信息，作为能够反应该帧彩色图像中物体结构的属性特征；或者，也可以针对彩色参考视频中的每帧彩色图像，对该帧彩色图像提取结构信息，作为能够反应该帧彩色图像中物体结构的属性特征，等等，具体识别能够反应该帧彩色图像中物体结构的属性特征的方式不做限定。
S304：依次确定彩色参考视频中的当前帧彩色图像；分别计算当前帧彩色图像的属性特征与已进行场景分类的彩色图像的属性特征的相似度。
举例来说，可以按照视频的帧序号，依次确定当前帧彩色图像，或者也可以在彩色参考视频中的彩色图像中随机确定当前帧彩色图像，具体确定当前帧彩色图像的方式不做限定。
举例来说，可以按照彩色参考视频的帧序号，依次确定当前帧彩色图像。如首先将第一帧彩色图像确定为当前帧彩色图像，进行后续分别计算当前帧彩色图像的属性特征与已分类的每种场景中的彩色图像的属性特征的余弦相似度；判断是否存在满足预设条件的相似度；若是，则确定当前帧彩色图像对应的场景为满足预设条件的相似度对应的场景；若否，则确定当前帧彩色图像对应的场景为新的场景后，再将第二帧彩色图像确定为当前帧彩色图像。
举例来说，可以计算当前帧彩色图像的属性特征与已进行场景分类的彩色图像的属性特征的余弦相似度；或者，也可以计算当前帧彩色图像的属性特征与已进行场景分类的彩色图像的属性特征的欧氏距离。其中，计算相似度可以为计算属性特征之间的余弦相似度、欧氏距离、曼哈顿距离等，具体计算相似度的方式不做限定。
举例来说，可以预先设定多种场景模板，如森林场景模板、城市场景模板，等等，具体场景模板不做限定；每种场景模板中至少包含一幅属于该场景的彩色图像。如预先设定森林场景模板中包含彩色图像A，城市场景模板中包含彩色图像B；若预设条件为相似度大于第一预设阈值0.7，假设当前帧彩色图像为彩色参考视频的第二帧彩色图像，那么可以分别计算第二帧彩色图像与森林场景模板中包含的彩色图像A的相似度、以及第二帧彩色图像与城市场景模板中包含的彩色图像B的相似度，如可以识别能够反应彩色图像中物体结构的属性特征，计算属性特征之间的余弦相似度，若计算得到的第二帧彩色图像的属性特征与森林场景模板中包含彩色图像A的属性特征的相似度为0.6，第二帧彩色图像的属性特征与城市场景模板中包含彩色图像B的属性特征的相似度为0.8。
S305：判断是否存在满足预设条件的相似度。若存在，可以执行S306；若不存在，可以执行S307。
其中，预设条件可以为相似度大于第一预设阈值、相似度与预设值的差值小于第二预设阈值，等等，具体预设条件不做限定；第一预设阈值可以为0.7、0.8，等等，具体不做限定；预设值可以为1、0.5，等等，具体不做限定；第二预设阈值可以为0.2、0.3，等等，具体不做限定；第二预设阈值可以小于第一预设阈值。
举例来说，若预设条件为相似度大于第一预设阈值0.7，上述一种实施方式中，计算得到第二帧彩色图像的属性特征与森林场景中包含的彩色图像A的属性特征的相似度为0.6，第二帧彩色图像的属性特征与城市场景中包含的彩色图像B的属性特征的相似度为0.8，那么第二帧彩色图像的属性特征与城市场景中包含的彩色图像B的属性特征的相似度满足预设条件，则存在满足预设条件的相似度，可以执行S306。若计算得到的第二帧彩色图像的属性特征与森林场景中包含的彩色图像A的属性特征的相似度为0.6，第二帧彩色图像的属性特征与城市场景中包含的彩色图像B的属性特征的相似度为0.5，那么不存在满足预设条件的相似度，可以执行S307。
S306：确定当前帧彩色图像对应的场景为满足预设条件的相似度对应的场景。
上述一种实施方式中，若计算得到第二帧彩色图像的属性特征与森林场景中包含的彩色图像A的属性特征的相似度为0.6，第二帧彩色图像的属性特征与城市场景中包含的彩色图像B的属性特征的相似度为0.8，则判定存在第二帧彩色图像的属性特征与城市场景中包含的彩色图像B的属性特征的相似度满足预设条件，那么可以确定第二帧彩色图像对应的场景为城市场景。
S307：确定当前帧彩色图像对应的场景为新的场景。
上述一种实施方式中，若计算得到的第二帧彩色图像的属性特征与森林场景中包含的彩色图像A的属性特征的相似度为0.6，第二帧彩色图像的属性特征与城市场景中包含的彩色图像B的属性特征的相似度为0.5，则判定不存在满足预设条件的相似度，则可以确定当前帧彩色图像对应的场景为新的场景。
S308：针对彩色参考视频中的每种场景，从属于该种场景的彩色图像中，将预设数量帧彩色图像确定为代表该种场景的彩色图像。
其中，预设数量可以为1、2、3，等等，具体预设数量不做限定。
上述一种实施方式中，对彩色参考视频中的彩色图像进行场景分类，得到了彩色参考视频中彩色图像的分类结果；这样，可以基于分类结果，分别将每种场景中的1帧彩色图像确定为代表该种场景的彩色图像；后续在选择黑白图像的参考帧图像时，可以直接从代表每种场景的彩色图像中进行选择。
这样，相比于直接在彩色参考视频的全部彩色图像中选择黑白图像的参考帧图像，本实施方式在每种场景的彩色图像中，将预设数量帧彩色图像确定为代表该种场景的彩色图像，缩小了参考帧图像的选择范围，在后续选择黑白图像的参考帧图像时可以直接在代表每种场景的彩色图像中进行选择，从而减少了选择过程中的数据量。
S309：针对待处理黑白视频中的每帧黑白图像，识别能够反应该帧黑白图像中物体结构的属性特征。
举例来说，可以针对待处理黑白视频中的每帧黑白图像，对该帧黑白图像进行复小波变换，得到复小波变换图像，对复小波变换图像提取结构信息，作为能够反应该帧黑白图像中物体结构的属性特征；或者，也可以针对待处理黑白视频中的每帧黑白图像，对该帧黑白图像提取结构信息，作为能够反应该帧黑白图像中物体结构的属性特征，等等，具体识别能够反应该帧黑白图像中物体结构的属性特征的方式不做限定。
举例来说，针对每帧黑白图像，可以识别能够反映该帧黑白图像中物体结构的属性特征，作为黑白特征；针对每张代表不同场景的彩色图像，识别能够反映该彩色图像中物体结构的属性特征，作为彩色特征。计算该帧黑白图像的黑白特征与代表不同场景的彩色图像的彩色特征的相似度，将相似度由高到低进行排序，得到相似度最高的彩色特征对应的彩色图像，可以确定该帧黑白图像的参考帧图像为相似度最高的彩色特征对应的彩色图像，也就是说，从代表不同场景的彩色图像中，确定与该帧黑白图像中物体结构相匹配的彩色图像，作为该帧黑白图像的参考帧图像。假设有四帧代表不同场景的彩色图像，分别是彩色图像A、彩色图像B、彩色图像C和彩色图像D，分别识别能够反应这四帧彩色图像中物体结构的属性特征，得到彩色图像A中物体结构的彩色特征a、彩色图像B中物体结构的彩色特征b、彩色图像C中物体结构的彩色特征c和彩色图像D中物体结构的彩色特征d。那么针对待处理黑白视频中的黑白图像A，识别能够反映黑白图像A中物体结构的属性特征a；计算黑白图像A的黑白特征a与这四帧代表不同场景的彩色图像的彩色特征的相似度，得到黑白特征a与彩色特征a的相似度为0.5、黑白特征a与彩色特征b的相似度为0.4、黑白特征a与彩色特征c的相似度为0.7、黑白特征a与彩色特征d的相似度为0.8。
S310：基于属性特征，从代表不同场景的彩色图像中，确定与该帧黑白图像中物体结构相匹配的彩色图像，作为该帧黑白图像的参考帧图像。
一种情况下，可以将相似度由高到低进行排序，得到相似度最高的彩色图像，可以确定该帧黑白图像的参考帧图像为相似度最高的彩色图像。
举例来说，若黑白图像A的黑白特征a与彩色图像A的彩色特征a的相似度为0.5、黑白图像A的黑白特征a与彩色图像B的彩色特征b的相似度为0.4、黑白图像A的黑白特征a与彩色图像C的彩色特征c的相似度为0.7、黑白图像A的黑白特征a与彩色图像D的彩色特征d的相似度为0.8，那么可以得到相似度最高的彩色图像为彩色图像D，可以确定黑白图像A的参考帧图像为彩色图像D。
或者，另一种情况下，可以将相似度大于预设相似度阈值的彩色图像确定为该帧黑白图像的参考帧图像。
举例来说，若黑白图像A的黑白特征a与彩色图像A的彩色特征a的相似度为0.5、黑白图像A的黑白特征a与彩色图像B的彩色特征b的相似度为0.4、黑白图像A的黑白特征a与彩色图像C的彩色特征c的相似度为0.7、黑白图像A的黑白特征a与彩色图像D的彩色特征d的相似度为0.8，若预设相似度阈值为0.6，那么可以将彩色图像C和彩色图像D确定为黑白图像A的参考帧图像。其中，预设相似度阈值可以为0.6、0.7，等等，具体预设相似度阈值不做限定。
S311：利用参考帧图像，对该帧黑白图像进行上色。
举例来说，可以利用基于参考图的上色算法，根据参考帧图像，对该帧黑白图像进行上色。上述一种实施方式中，确定了黑白图像的参考帧图像为彩色图像D，那么可以利用基于参考图的上色算法，根据彩色图像D，对黑白图像A进行上色。其中，本发明实施例对具体基于参考图的上色算法不做限定。
应用本发明图3所示实施例，获取黑白视频对应的彩色参考视频，对彩色参考视频中的彩色图像进行场景分类，基于分类结果分别确定代表不同场景的彩色图像；对黑白视频进行上色处理时，并不需要人工选择每帧黑白图像的参考图像，而是针对每帧黑白图像，在所确定的代表不同场景的彩色图像中，确定与该帧黑白图像相匹配的彩色图像，作为该帧黑白图像的参考帧图像，利用参考帧图像，对该帧黑白图像进行上色；可见，本方案中，不需要相关技术人员人工选择每帧黑白图像的参考图像，提高了对黑白视频上色的效率。
与上述方法实施例相对应，本发明实施例还提供了一种黑白视频的上色装置，如图4所示，包括：
第一获取模块401，用于获取待处理黑白视频；
第二获取模块402，用于获取所述待处理黑白视频对应的彩色参考视频；
第一确定模块403，用于对所述彩色参考视频中的彩色图像进行场景分类，基于分类结果分别确定代表不同场景的彩色图像；
第二确定模块404，用于针对所述待处理黑白视频中的每帧黑白图像，从所述代表不同场景的彩色图像中，确定与该帧黑白图像相匹配的彩色图像，作为该帧黑白图像的参考帧图像；
上色模块405，用于利用所述参考帧图像，对该帧黑白图像进行上色。
一种实施方式中，所述第一确定模块403包括：第一识别子模块、第一确定子模块、计算子模块、判断子模块(图中未示出)，其中，
第一识别子模块，用于针对所述彩色参考视频中的每帧彩色图像，识别能够反应该帧彩色图像中物体结构的属性特征；
第一确定子模块，用于依次确定所述彩色参考视频中的当前帧彩色图像；
计算子模块，用于分别计算所述当前帧彩色图像的属性特征与已进行场景分类的彩色图像的属性特征的相似度；
判断子模块，用于判断是否存在满足预设条件的相似度；若存在，则确定所述当前帧彩色图像对应的场景为所述满足预设条件的相似度对应的场景；若不存在，则确定所述当前帧彩色图像对应的场景为新的场景。
一种实施方式中，所述装置还包括：
第二确定子模块(图中未示出)，用于若不存在已进行场景分类的彩色图像，则确定所述当前帧彩色图像对应的场景为新的场景。
一种实施方式中，所述第一确定模块403，具体用于：针对所述彩色参考视频中的每种场景，从属于该种场景的彩色图像中，将预设数量帧彩色图像确定为代表该种场景的彩色图像。
一种实施方式中，所述第二确定模块404包括：第二识别子模块、第三确定子模块(图中未示出)，其中，
第二识别子模块，用于针对所述待处理黑白视频中的每帧黑白图像，识别能够反应该帧黑白图像中物体结构的属性特征；
第三确定子模块，用于基于所述属性特征，从所述代表不同场景的彩色图像中，确定与该帧黑白图像中物体结构相匹配的彩色图像，作为该帧黑白图像的参考帧图像。
一种实施方式中，所述第二获取模块402，具体用于：
获取所述待处理黑白视频对应的标签；
查找与所述标签相匹配的彩色视频，作为彩色参考视频。
一种实施方式中，所述上色模块405，具体用于：
确定该帧黑白图像中的待上色目标；
确定所述参考帧图像中与所述待上色目标相匹配的彩色目标；
利用所述彩色目标的颜色信息，对所述待上色目标进行上色。
应用本发明所示实施例，获取黑白视频对应的彩色参考视频，对彩色参考视频中的彩色图像进行场景分类，基于分类结果分别确定代表不同场景的彩色图像；对黑白视频进行上色处理时，并不需要人工选择每帧黑白图像的参考图像，而是针对每帧黑白图像，在所确定的代表不同场景的彩色图像中，确定与该帧黑白图像相匹配的彩色图像，作为该帧黑白图像的参考帧图像，利用参考帧图像，对该帧黑白图像进行上色；可见，本方案中，不需要相关技术人员人工选择每帧黑白图像的参考图像，提高了对黑白视频上色的效率。
本发明实施例还提供了一种电子设备，如图5所示，包括处理器501和存储器502，
存储器502，用于存放计算机程序；
处理器501，用于执行存储器502上所存放的程序时，实现上述任意一种黑白视频的上色方法。
上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一黑白视频的上色方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一黑白视频的上色方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、设备实施例、计算机可读存储介质实施例、以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种黑白视频的上色方法，其特征在于，包括：
获取待处理黑白视频；
获取所述待处理黑白视频对应的彩色参考视频；
对所述彩色参考视频中的彩色图像进行场景分类，基于分类结果分别确定代表不同场景的彩色图像；
针对所述待处理黑白视频中的每帧黑白图像，从所述代表不同场景的彩色图像中，确定与该帧黑白图像相匹配的彩色图像，作为该帧黑白图像的参考帧图像；利用所述参考帧图像，对该帧黑白图像进行上色。
2.根据权利要求1所述的方法，其特征在于，所述对所述彩色参考视频中的彩色图像进行场景分类，包括：
针对所述彩色参考视频中的每帧彩色图像，识别能够反应该帧彩色图像中物体结构的属性特征；
依次确定所述彩色参考视频中的当前帧彩色图像；
分别计算所述当前帧彩色图像的属性特征与已进行场景分类的彩色图像的属性特征的相似度；
判断是否存在满足预设条件的相似度；若存在，则确定所述当前帧彩色图像对应的场景为所述满足预设条件的相似度对应的场景；若不存在，则确定所述当前帧彩色图像对应的场景为新的场景。
3.根据权利要求2所述的方法，其特征在于，所述依次确定所述彩色参考视频中的当前帧彩色图像之后，还包括：
若不存在已进行场景分类的彩色图像，则确定所述当前帧彩色图像对应的场景为新的场景。
4.根据权利要求2所述的方法，其特征在于，所述基于分类结果分别确定代表不同场景的彩色图像，包括：
针对所述彩色参考视频中的每种场景，从属于该种场景的彩色图像中，将预设数量帧彩色图像确定为代表该种场景的彩色图像。
5.根据权利要求1所述的方法，其特征在于，所述针对所述待处理黑白视频中的每帧黑白图像，从所述代表不同场景的彩色图像中，确定与该帧黑白图像相匹配的彩色图像，作为该帧黑白图像的参考帧图像，包括：
针对所述待处理黑白视频中的每帧黑白图像，识别能够反应该帧黑白图像中物体结构的属性特征；
基于所述属性特征，从所述代表不同场景的彩色图像中，确定与该帧黑白图像中物体结构相匹配的彩色图像，作为该帧黑白图像的参考帧图像。
6.根据权利要求1所述的方法，其特征在于，所述获取所述待处理黑白视频对应的彩色参考视频，包括：
获取所述待处理黑白视频对应的标签；
查找与所述标签相匹配的彩色视频，作为彩色参考视频。
7.根据权利要求1所述的方法，其特征在于，所述利用所述参考帧图像，对该帧黑白图像进行上色，包括：
确定该帧黑白图像中的待上色目标；
确定所述参考帧图像中与所述待上色目标相匹配的彩色目标；
利用所述彩色目标的颜色信息，对所述待上色目标进行上色。
8.一种黑白视频的上色装置，其特征在于，包括：
第一获取模块，用于获取待处理黑白视频；
第二获取模块，用于获取所述待处理黑白视频对应的彩色参考视频；
第一确定模块，用于对所述彩色参考视频中的彩色图像进行场景分类，基于分类结果分别确定代表不同场景的彩色图像；
第二确定模块，用于针对所述待处理黑白视频中的每帧黑白图像，从所述代表不同场景的彩色图像中，确定与该帧黑白图像相匹配的彩色图像，作为该帧黑白图像的参考帧图像；
上色模块，用于利用所述参考帧图像，对该帧黑白图像进行上色。
9.一种电子设备，其特征在于，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
CN202110022909.7A 2021-01-08 2021-01-08 一种黑白视频的上色方法、装置、设备及存储介质 Active CN112884866B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110022909.7A CN112884866B (zh) 2021-01-08 2021-01-08 一种黑白视频的上色方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110022909.7A CN112884866B (zh) 2021-01-08 2021-01-08 一种黑白视频的上色方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112884866A CN112884866A (zh) 2021-06-01
CN112884866B true CN112884866B (zh) 2023-06-06

Family

ID=76047168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110022909.7A Active CN112884866B (zh) 2021-01-08 2021-01-08 一种黑白视频的上色方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112884866B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116823973B (zh) * 2023-08-25 2023-11-21 湖南快乐阳光互动娱乐传媒有限公司 一种黑白视频上色方法、装置及计算机可读介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4149185A (en) * 1977-03-04 1979-04-10 Ralph Weinger Apparatus and method for animated conversion of black and white video to color
CN1035747A (zh) * 1988-03-10 1989-09-20 色化公司 利用运动检测的黑白信号着色法
CN101477695A (zh) * 2009-01-05 2009-07-08 东南大学 一种图像和视频快速着色的方法
CN103164843A (zh) * 2011-12-15 2013-06-19 无锡中星微电子有限公司 一种医学影像彩色化方法
AU2018100325A4 (en) * 2018-03-15 2018-04-26 Nian, Xilai MR A New Method For Fast Images And Videos Coloring By Using Conditional Generative Adversarial Networks
CN109920018A (zh) * 2019-01-23 2019-06-21 平安科技（深圳）有限公司 基于神经网络的黑白照片色彩恢复方法、装置及存储介质
CN109920012A (zh) * 2019-02-25 2019-06-21 西南石油大学 基于卷积神经网络的图像着色系统及方法
CN110648375A (zh) * 2018-06-26 2020-01-03 微软技术许可有限责任公司 基于参考信息的图像彩色化
CN110717953A (zh) * 2019-09-25 2020-01-21 北京影谱科技股份有限公司 基于cnn-lstm组合模型的黑白图片的着色方法和系统
CN111862250A (zh) * 2020-06-12 2020-10-30 北京百度网讯科技有限公司 视频的色彩转换方法、装置、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019133303A (ja) * 2018-01-30 2019-08-08 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 情報処理装置、情報処理プログラム及び情報処理方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4149185A (en) * 1977-03-04 1979-04-10 Ralph Weinger Apparatus and method for animated conversion of black and white video to color
CN1035747A (zh) * 1988-03-10 1989-09-20 色化公司 利用运动检测的黑白信号着色法
CN101477695A (zh) * 2009-01-05 2009-07-08 东南大学 一种图像和视频快速着色的方法
CN103164843A (zh) * 2011-12-15 2013-06-19 无锡中星微电子有限公司 一种医学影像彩色化方法
AU2018100325A4 (en) * 2018-03-15 2018-04-26 Nian, Xilai MR A New Method For Fast Images And Videos Coloring By Using Conditional Generative Adversarial Networks
CN110648375A (zh) * 2018-06-26 2020-01-03 微软技术许可有限责任公司 基于参考信息的图像彩色化
CN109920018A (zh) * 2019-01-23 2019-06-21 平安科技（深圳）有限公司 基于神经网络的黑白照片色彩恢复方法、装置及存储介质
CN109920012A (zh) * 2019-02-25 2019-06-21 西南石油大学 基于卷积神经网络的图像着色系统及方法
CN110717953A (zh) * 2019-09-25 2020-01-21 北京影谱科技股份有限公司 基于cnn-lstm组合模型的黑白图片的着色方法和系统
CN111862250A (zh) * 2020-06-12 2020-10-30 北京百度网讯科技有限公司 视频的色彩转换方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
一种给黑白视频着色的方法;董兆华,张明敏,潘志庚;计算机工程(第04期);全文 *
基于深度神经网络的视觉媒体风格转换方法研究;陈冬冬;《中国博士学位论文全文数据库（电子期刊） 信息科技辑》;全文 *
颜色传输技术在影视制作和处理中的应用;赵国英\n\n\n\n,李华;影视技术(第06期);全文 *

Also Published As

Publication number Publication date
CN112884866A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN106547744B (zh) 一种图像检索方法及系统
CN107358596B (zh) 一种基于图像的车辆定损方法、装置、电子设备及系统
CN111737522B (zh) 视频匹配方法、基于区块链的侵权存证方法和装置
US8358837B2 (en) Apparatus and methods for detecting adult videos
US20150363635A1 (en) Rule-Based Video Importance Analysis
EP3203417B1 (en) Method for detecting texts included in an image and apparatus using the same
US9679380B2 (en) Emotion modification for image and video content
CN111753673A (zh) 一种视频数据的检测方法和装置
CN111079816A (zh) 图像的审核方法、装置和服务器
CN109325539B (zh) 绝缘子掉串检测方法及装置
CN114998595B (zh) 弱监督语义分割方法、语义分割方法及可读存储介质
CN112733666A (zh) 一种难例图像的搜集、及模型训练方法、设备及存储介质
CN111339368B (zh) 基于视频指纹的视频检索方法、装置和电子设备
CN113297420A (zh) 视频图像处理方法、装置、存储介质及电子设备
CN112884866B (zh) 一种黑白视频的上色方法、装置、设备及存储介质
US8165387B2 (en) Information processing apparatus and method, program, and recording medium for selecting data for learning
WO2020125100A1 (zh) 一种图像检索方法、装置以及设备
CN114155363A (zh) 换流站车辆识别方法、装置、计算机设备和存储介质
CN111062388B (zh) 基于深度学习的广告文字的识别方法、系统、介质及设备
CN112686247A (zh) 一种身份证号码检测方法、装置、可读存储介质和终端
CN113705666B (zh) 分割网络训练方法、使用方法、装置、设备及存储介质
CN110032933B (zh) 一种图像数据的获取方法、装置、终端及存储介质
CN110399528B (zh) 一种自动跨特征推理式目标检索方法
CN113361426A (zh) 车辆定损图像获取方法、介质、装置和电子设备
CN116052220B (zh) 行人重识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant