CN109388725A - 通过视频内容进行搜索的方法及装置 - Google Patents

Abstract

本申请提出了一种通过视频内容进行搜索的方法及装置，其中方法包括：通过获取用户的选择指令，并获取选择指令所对应的框选内容；对框选内容中的人物或物体进行抠图以生成人物或物体的图像，进而根据人物或物体的图像进行搜索以生成搜索结果。由此，可以实现基于播放中的视频内容进行实时搜索，获取与用户框选的内容相对应的搜索结果，不仅可以丰富视频搜索方式，还可以满足用户的实际搜索需求，提升用户的使用体验。并且，无需用户线下进行提问或搜索，进一步简化了用户操作，改善了用户的使用体验。

Description

通过视频内容进行搜索的方法及装置

技术领域

本申请涉及计算机技术领域，尤其涉及一种通过视频内容进行搜索的方法及装置。

背景技术

随着移动终端技术及互联网技术的快速发展，视频和短视频在网络上的传播范围越来越广泛，用户可以根据自身需求在终端设备上安装不同类别的应用程序(Application，简称APP)，或者通过个人电脑来播放视频。用户在使用计算机设备观看视频时，会进一步的获取视频中自己感兴趣内容的详细信息。

现有技术中，当用户对视频中展现的内容感兴趣时，只能通过线下在搜索引擎进行提问或搜索，获取对应的详细信息，操作步骤较为繁琐。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种通过视频内容进行搜索的方法，以解决现有技术中对于播放中的视频的内容进行搜索时，用户只能采用线下在搜索引擎或搜索软件进行提问或搜索，导致步骤操作繁琐，影响用户体验的技术问题。

本申请的第二个目的在于提出一种通过视频内容进行搜索的装置。

本申请的第三个目的在于提出一种计算机设备。

本申请的第四个目的在于提出一种非临时性计算机可读存储介质。

本申请的第五个目的在于提出一种计算机程序产品。

为达上述目的，本申请第一方面实施例提出了一种通过视频内容进行搜索的方法，包括：

获取用户的选择指令，并获取所述选择指令所对应的框选内容；

对所述框选内容中的人物或物体进行抠图以生成所述人物/物体的图像；以及

根据所述人物/物体的图像进行搜索以生成搜索结果。

本申请实施例的通过视频内容进行搜索的方法，通过获取用户的选择指令，并获取选择指令所对应的框选内容；对框选内容中的人物或物体进行抠图以生成人物或物体的图像，进而根据人物或物体的图像进行搜索以生成搜索结果。由此，可以实现基于播放中的视频内容进行实时搜索，获取与用户框选的内容相对应的搜索结果，不仅可以丰富视频搜索方式，还可以满足用户的实际搜索需求，提升用户的使用体验。并且，无需用户线下进行提问或搜索，进一步简化了用户操作，改善了用户的使用体验。

为达上述目的，本申请第二方面实施例提出了一种通过视频内容进行搜索的装置，包括：

获取模块，用于获取用户的选择指令，并获取所述选择指令所对应的框选内容；

抠图模块，用于对所述框选内容中的人物或物体进行抠图以生成所述人物/物体的图像；以及

搜索模块，用于根据所述人物/物体的图像进行搜索以生成搜索结果。

本申请实施例的通过视频内容进行搜索的装置，通过获取用户的选择指令，并获取选择指令所对应的框选内容；对框选内容中的人物或物体进行抠图以生成人物或物体的图像，进而根据人物或物体的图像进行搜索以生成搜索结果。由此，可以实现基于播放中的视频内容进行实时搜索，获取与用户框选的内容相对应的搜索结果，不仅可以丰富视频搜索方式，还可以满足用户的实际搜索需求，提升用户的使用体验。并且，无需用户线下进行提问或搜索，进一步简化了用户操作，改善了用户的使用体验。

为达上述目的，本申请第三方面实施例提出了一种计算机设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行上述实施例中所述的通过视频内容进行搜索的方法。

为了实现上述目的，本申请第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本申请上述实施例中所述的通过视频内容进行搜索的方法。

为了实现上述目的，本申请第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时实现如本申请上述实施例中所述的通过视频内容进行搜索的方法。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例所提供的一种通过视频内容进行搜索的方法的流程示意图；

图2为本申请实施例所提供的一种在计算机设备中正在播放的视频页面框选内容的示例图；

图3为本申请实施例所提供的一种对框选内容进行抠图操作后的示例图；

图4为本申请实施例所提供的一种显示搜索结果的示例图；

图5为本申请实施例所提供的另一种通过视频内容进行搜索的方法的流程示意图；

图6为本申请实施例所提供的一种通过视频内容进行搜索的方法的结构示意图；

图7示出了适于用来实现本申请实施方式的示例性计算机设备的框图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的通过视频内容进行搜索的方法和装置。

图1为本申请实施例所提供的一种通过视频内容进行搜索的方法的流程示意图。

本申请实施例以该通过视频内容进行搜索的方法被配置于通过视频内容进行搜索的装置中来举例说明，该通过视频内容进行搜索的装置可以被配置于任何计算机设备中。

其中，计算机设备可以为个人电脑(Personal Computer，简称PC)、云端设备、移动设备等，移动设备例如可以为手机、平板电脑、个人数字助理、穿戴式设备、车载设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。

如图1所示，该通过视频内容进行搜索的方法包括以下步骤：

步骤101，获取用户的选择指令，并获取选择指令所对应的框选内容。

其中，用户的选择指令，是指用户在计算机设备屏幕上进行选择的指令。

本申请实施例中，当用户通过计算机设备上的视频类APP观看视频时，或者，当用户通过各大视频网站观看视频时，若用户对视频中的某个人物或者物体感兴趣时，用户可以触发用户的选择指令，即在计算机设备的屏幕上显示的正在观看中的视频页面中框选出感兴趣的内容。

作为一种示例，在移动终端的视频类APP上观看视频时，用户可以通过手势在触摸屏上框选出视频中感兴趣的内容；或者，在个人电脑上观看视频时，用户可以通过鼠标点击屏幕的方式框选出视频中感兴趣的内容。

需要说明的是，用户的选择指令所对应的框选内容，可以是用户在观看视频时的任意时刻选择在该视频页面中的任意内容，可以为视频中显示的人物、也可以为动物、植物以及其余物体等等。

举例来说，计算机设备中正在播放的视频中出现一只猫，用户可以在观看视频的屏幕上框选出这只猫；或者视频中出现一辆车，用户可以在观看视频的屏幕上框选出这辆车。

参见图2，还可以举例说明，图2中显示的为计算机设备正在播放的视频页面，用户可以在播放该视频的计算机设备上，框选出该视频页面的任意内容，例如，标号为1的选择框里框选出的视频页面中的人物，标号为2的选择框里框选出的视频页面中相片，标号为3的选择框里框选出的视频页面中花等等。

具体地，在视频播放的过程中，通过视频内容进行搜索的装置可以探测用户的选择指令，进一步获取用户选择指令所对应的框选内容，进而触发步骤102，当未探测到用户的选择指令时，可以继续播放视频。

步骤102，对框选内容中的人物或物体进行抠图以生成人物或物体的图像。

其中，抠图，是图像处理中最常做的操作之一，就是把图片或影像的某一部分从原始图片或影像中分离出来成为单独的图像。

本申请实施例中，通过视频内容进行搜索的装置探测到用户的选择指令时，进一步的获取用户选择指令所对应的框选内容，当确定用户选择指令多对应的框选内容后，对框选内容中的人物或物体进行抠图，从而生成人物或物体相对应的图像。

需要解释的是，本申请中，对对框选内容中的人物或物体进行抠图，从而根据框选出的内容生成人物或物体相对应的图像为二进制图像内容。其中，二进制图片，是指图片是二进制文件，图片保存在磁盘是二进制文件，实际就是称作文本文件。

举例来说，在计算机设备中正在播放的视频时，播放画面中出现了一朵花，用户通过框选操作框选出这朵花，进一步的通过视频内容进行搜索的装置对框选出的花进行抠图，进而生成一幅包含该花的二进制图像。

作为一种可能的实现方式，通过视频内容进行搜索的装置探测到用户的选择指令时，对用户框选内容的二维坐标框的位置进行识别来确定用户框选内容的起始位置，并对用户框选内容的二维坐标框的位置进行识别来确定用户框选内容的结束位置，进而确定出所框选内容的选框位置，进一步的将所框选的内容生成二进制图像。对生成的二进制图像中的人物或物体进行抠图操作，进而生成该人物或物体的图像。例如，对图2中标号为1的框选内容进行抠图操作，生成如图3所示的该人物的图像。

举例来说，在计算机设备上播放视频时，通过视频内容进行搜索的装置识别出用户框选内容的起始位置的二维坐标为[X1，Y1]，其中，X1为距离计算机设备屏幕的左侧距离，Y1为距离计算机设备屏幕的上侧距离。进一步的，识别出用户框选内容的结束位置的二维坐标为[X2，Y2]，其中，X2为距离计算机设备屏幕的左侧距离，Y2为距离计算机设备屏幕的上侧距离。进而确定出所框选内容的选框位置，进一步的将所框选的内容生成二进制图像。对生成的二进制图像中的人物或物体进行抠图操作，进而生成该人物或物体的图像。

作为另一种可能的实现方式，可以通过机器学习针对不同图像的边缘特征进行训练，得到机器学习模型，通过机器学习模型根据用户框选内容的边缘像素点对人物或物体进行抠图以生成对应的人物或物体的图像。

步骤103，根据人物或物体的图像进行搜索以生成搜索结果。

本申请实施例中，通过视频内容进行搜索的装置对用户框选出的内容进行抠图后，生成对应的人物或物体的图像，进而将人物或物体的图像通过网络发送至搜索软件或搜索浏览器，进一步的，根据人物或物体图像中的内容进行搜索，通过搜索软件或者搜索浏览器对人物或物体图像进行搜索后，生成对应的搜索结果，进而在播放中的视频页面展示该搜索结果。

作为一种可能的实现方式，视频帧中呈现有搜索对象的区域只有一个时，此时，为了不影响用户观看当前视频画面，可以将符合用户框选内容中人物或物体的搜索结果在视频帧的预设区域进行展示，例如，可以将搜索结果展示在当前播放页面的最下端、最右端、最左端等等，或者，还可以将搜索结果展示在视频帧中搜索对象的下端、上端、左端、右端等等，对此不作限制。

而当中呈现有搜索对象的区域为至少两个时，对应的搜索结果同样为至少两个，为了便于用户区分每个框选内容对应的搜索结果，可以将对应的搜索结果展示在视频帧中相应框选内容的下端、上端、左端、或右端。

举例而言，当用户的选择指令对应的框选内容为播放中的视频页面的一朵花时，符合该框选内容的搜索结果可以为：牡丹花，此时，可以在视频帧中用户框选内容的下端展示符合该框选内容的搜索结果。

还例如，将图3中抠图后生成的关于人物的图像，通过网络协议发送至搜索软件或搜索浏览器进行搜索，搜索完成后通过网络传输将搜索结果反馈至播放页面进行展示。如图4的播放视频页面右侧虚线框内展示的为搜索结果。

需要说明的是，为了便于用户观看视频，本示例中将搜素结果展示在播放视频页面的右端，这仅作为一种展示方式，也可以展示在视频页面的左端、下端等，具体的展示位置在此不做限定。

本申请实施例的通过视频内容进行搜索的方法，通过获取用户的选择指令，并获取选择指令所对应的框选内容，对框选内容中的人物或物体进行抠图以生成人物或物体的图像，进而根据人物或物体的图像进行搜索以生成搜索结果。由此，可以实现基于播放中的视频内容进行实时搜索，获取与用户框选的内容相对应的搜索结果，不仅可以丰富视频搜索方式，还可以满足用户的实际搜索需求，提升用户的使用体验。并且，无需用户线下进行提问或搜索，进一步简化了用户操作，改善了用户的使用体验。

为了清楚说明上一实施例，本实施例提供了另一种通过视频内容进行搜索的方法，图5为本申请实施例所提供的另一种通过视频内容进行搜索的方法。

如图5所示，该通过视频内容进行搜索的方法可以包括以下步骤：

步骤201，获取用户的选择指令，并获取选择指令所对应的框选内容。

本申请实施例中，步骤201的执行过程，可以参见上述实施例中步骤101的执行过程，在此不做赘述。

步骤202，获取框选内容中各个像素点的像素值。

其中，像素点，是计算机设备的显示器显示画面的最小发光单位，由红、绿、蓝三个像素单元组成。

可以理解的是，计算机设备进行视频播放的过程中，播放中的视频画面是由一帧一帧的图像组成的，而图像是由一个个像素点组成的，因此可以通过视频内容获取技术获取到用户框选内容中各个像素点的像素值。

步骤203，通过机器学习模型根据各个像素点的像素值识别人物或物体的边缘像素点。

作为一种可能的实现方式，机器学习模型的训练过程是首先通过获取多个第一样本图像和第二样本图像，并且人工标注框选内容中目标人物或物体的边缘像素点在第一样本图像中的坐标集合，再将多个第一样本图像和第二样本图像输入机器学习模型进行训练。其中，第一样本图像为原始图，第二样本图像为原始图被扣除人物或物体之后的剩余图。进而，通过将大量的第一样本图像和第二样本图像输入机器学习模型中，训练出人物或物体的抠图模型。

本申请实施例中，可以采集用户播放中视频的每一帧图像，作为机器学习模型的训练样本，并对训练样本中人物或物体的边缘像素点进行标注，利用标注后的训练样本通过机器学习对抠图模型进行训练，可以通过训练后机器学习模型根据各个像素点的像素值识别人物或物体的边缘像素点。

步骤204，根据人物或物体的边缘像素点对人物或物体进行抠图以生成人物或物体的图像。

本申请实施例中，根据人物或物体的边缘像素点能够识别出人物或物体的边缘轮廓，进而播放视频的计算机设备利用现有的抠图工具对识别出的人物或物体进行抠图操作，并通过图形处理器(Graphics Processing Unit,GPU)加速计算技术，对框选的内容进行精细化处理，以生成对应人物或物体的图像。例如，对视频中的人物进行框选时，可能会框选到人物周围的其余物体，如书本，桌椅等，此时，可以通过GPU加速计算技术对抠图后的图像进行处理，得到仅包含人物的图像。例如对图2中标号为1的选框中框选出的内容进行处理，得到如图3中精细的人物图像。

其中，GPU加速计算是指同时利用图形处理器和中央处理器(Central ProcessingUnit/Processor,CPU)，加快科学、分析、工程、消费和企业应用程序的运行速度，因此GPU的计算速度要高于CPU的计算速度，该计算方法属于现有技术，此处不再做详细叙述。

进一步的，将人物或物体的图像通过网络发送至搜索软件或搜索浏览器，进一步的，根据人物或物体图像中的内容进行搜索，通过搜索软件或者搜索浏览器对人物或物体图像进行搜索后，生成对应的搜索结果。

步骤205，调用相应的绘制模板。

其中，绘制模板，是预先设计好的模板样式。

本申请实施例中，对于不同类型的搜索结果设置了不同的类型标志位，并且不同的类型标志位对应不同的模板，进而根据不同的搜索结果类型调用相应的绘制模板。例如，搜索结果为视频类型时，对应的模板为视频模板；搜索结果为百科类型数据结果时，对应的模板为百科类模板等等。

需要说明的是，移动设备和个人电脑的显示屏大小不同，因此，播放视频的计算设备不同，用于展示搜素结果的绘制模板也不相同，例如，当搜索结果为视频模板时，在个人电脑上以视频的方式展示搜素结果，但是由于移动设备的显示屏幕较小，如果还以视频的方式显示搜索结果可能会出现画面不清晰或者覆盖观看中视频的现象，因此可以选择文字模板对搜索结果进行展示。

作为一种示例，根据人物或物体的边缘像素点对人物或物体进行抠图后生成的图像为一辆汽车，从而根据识图服务，根据上传图片从而搜索到互联网上与这张图片中的汽车相似的其他图片资源，同时也能在百科类数据库中找到这张图片中汽车的相关信息。进而可以根据搜索结果选择对应的百科类绘制模板。

步骤206，根据绘制模板和搜索结果生成绘制结果并反馈。

本申请实施例中，根据绘制模板和搜索结果生成对应的绘制结果，从而将绘制结果反馈至播放中的视频页面中进行展示。

本申请实施例的通过视频内容进行搜索的方法，通过获取用户的选择指令，并获取选择指令所对应的框选内容，获取框选内容中各个像素点的像素值，通过机器学习模型根据各个像素点的像素值识别人物或物体的边缘像素点，根据人物或物体的边缘像素点对人物或物体进行抠图以生成人物或物体的图像，进而调用相应的绘制模板，根据绘制模板和搜索结果生成绘制结果并反馈。由此，通过机器学习模型对用户框选内容进行抠图以生成人物或物体的图像，进而获取与用户框选的内容相对应的搜索结果，并通过相应的模板显示在视频页面，不仅可以丰富视频搜索方式，还可以满足用户的实际搜索需求，提升用户的使用体验。

为了实现上述实施例，本申请还提出一种通过视频内容进行搜索的装置。

图6为本申请实施例提供的一种通过视频内容进行搜索的装置的结构示意图。

如图6所示，该通过视频内容进行搜索的装置100包括：获取模块110、抠图模块120以及搜索模块130。

获取模块110，用于获取用户的选择指令，并获取所述选择指令所对应的框选内容；

抠图模块120，用于对所述框选内容中的人物或物体进行抠图以生成所述人物或物体的图像；以及

搜索模块130，用于根据所述人物/物体的图像进行搜索以生成搜索结果。

作为一种可能的实现方式，抠图模块，还可以包括：

第一获取单元，用于获取所述框选内容中各个像素点的像素值；

识别单元，用于通过机器学习模型根据所述各个像素点的像素值识别人物或物体的边缘像素点；以及

抠图单元，用于根据所述人物/物体的边缘像素点对所述人物或物体进行抠图以生成所述人物或物体的图像。

作为另一种可能的实现方式，识别单元，还可以用于获取多个第一样本图像和第二样本图像，其中，所述第一样本图像为原始图，所述第二样本图像为所述原始图被扣除人物或物体之后的剩余图；

将多个所述第一样本图像和所述第二样本图像输入所述机器学习模型进行训练。

作为另一种可能的实现方式，该通过视频内容进行搜索的装置，还可以包括：

调用模块，用于调用相应的绘制模板；

生成模块，用于根据所述绘制模板和所述搜索结果生成绘制结果并反馈。

作为另一种可能的实现方式，调用模块，还可以包括：

第一获取单元，用于获取所述搜索结果的所属类型；

调用单元，用于根据所述搜索结果的所属类型调用相应的绘制模板。

本申请实施例的通过视频内容进行搜索的装置，通过获取用户的选择指令，并获取选择指令所对应的框选内容；对框选内容中的人物或物体进行抠图以生成人物或物体的图像，进而根据人物或物体的图像进行搜索以生成搜索结果。由此，可以实现基于播放中的视频内容进行实时搜索，获取与用户框选的内容相对应的搜索结果，不仅可以丰富视频搜索方式，还可以满足用户的实际搜索需求，提升用户的使用体验。并且，无需用户线下进行提问或搜索，进一步简化了用户操作，改善了用户的使用体验。

需要说明的是，前述对通过视频内容进行搜索的方法实施例的解释说明也适用于该实施例的通过视频内容进行搜索的装置，此处不再赘述。

为了实现上述实施例，本申请实施例还提出了一种计算机设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行上述实施例中所述的通过视频内容进行搜索的方法。

为了实现上述实施例，本申请实施例还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本申请上述实施例中所述的通过视频内容进行搜索的方法。

为了实现上述实施例，本申请实施例还提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时实现如本申请上述实施例中所述的通过视频内容进行搜索的方法。

图7示出了适于用来实现本申请实施方式的示例性计算机设备的框图。图7显示的计算机设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图7所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。

计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local AreaNetwork；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种通过视频内容进行搜索的方法，其特征在于，包括：

获取用户的选择指令，并获取所述选择指令所对应的框选内容；

对所述框选内容中的人物或物体进行抠图以生成所述人物或物体的图像；以及

根据所述人物或物体的图像进行搜索以生成搜索结果。

2.根据权利要求1所述的通过视频内容进行搜索的方法，其特征在于，所述对所述框选内容中的人物或物体进行抠图以生成所述人物或物体的图像，包括：

获取所述框选内容中各个像素点的像素值；

通过机器学习模型根据所述各个像素点的像素值识别人物或物体的边缘像素点；以及根据所述人物或物体的边缘像素点对所述人物或物体进行抠图以生成所述人物或物体的图像。

3.根据权利要求2所述的通过视频内容进行搜索的方法，其特征在于，所述机器学习模型通过以下步骤训练获得：

获取多个第一样本图像和第二样本图像，其中，所述第一样本图像为原始图，所述第二样本图像为所述原始图被扣除人物或物体之后的剩余图；

将多个所述第一样本图像和所述第二样本图像输入所述机器学习模型进行训练。

4.根据权利要求1所述的通过视频内容进行搜索的方法，其特征在于，在所述根据所述人物或物体的图像进行搜索以生成搜索结果之后，还包括：

调用相应的绘制模板；

根据所述绘制模板和所述搜索结果生成绘制结果并反馈。

5.根据权利要求4所述的通过视频内容进行搜索的方法，其特征在于，所述调用相应的绘制模板，包括：

获取所述搜索结果的所属类型；

根据所述搜索结果的所属类型调用相应的绘制模板。

6.一种通过视频内容进行搜索的装置，其特征在于，包括：

获取模块，用于获取用户的选择指令，并获取所述选择指令所对应的框选内容；

抠图模块，用于对所述框选内容中的人物或物体进行抠图以生成所述人物或物体的图像；以及

搜索模块，用于根据所述人物/物体的图像进行搜索以生成搜索结果。

7.根据权利要求6所述的通过视频内容进行搜索的装置，其特征在于，所述抠图模块，包括：

第一获取单元，用于获取所述框选内容中各个像素点的像素值；

识别单元，用于通过机器学习模型根据所述各个像素点的像素值识别人物或物体的边缘像素点；以及

抠图单元，用于根据所述人物/物体的边缘像素点对所述人物或物体进行抠图以生成所述人物或物体的图像。

8.根据权利要求6所述的通过视频内容进行搜索的装置，其特征在于，所述装置，还包括：

调用模块，用于调用相应的绘制模板；

生成模块，用于根据所述绘制模板和所述搜索结果生成绘制结果并反馈。

9.根据权利要求8所述的通过视频内容进行搜索的装置，其特征在于，所述调用模块，包括：

第一获取单元，用于获取所述搜索结果的所属类型；

调用单元，用于根据所述搜索结果的所属类型调用相应的绘制模板。

10.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-5中任一所述的通过视频内容进行搜索的方法。

11.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的通过视频内容进行搜索的方法。

12.一种计算机程序产品，其特征在于，当所述计算机程序产品中的指令由处理器执行时，执行如权利要求1-5中任一所述的通过视频内容进行搜索的方法。