CN104184923B - 用于视频中检索人物信息的系统和方法 - Google Patents

Abstract

本发明提供一种用于视频中检索人物信息的系统和方法，所述系统，包括：人脸获取单元，用于获取视频中选定人脸的代码信息并发送信息检索指令；信息检索单元，用于根据所述信息检索指令获取与所述选定人脸对应的人物信息；以及信息显示单元，用于显示所述人物信息的标签。由此可见，利用所述系统和方法，采用人脸识别方式实时获取电视节目中出现的人脸的代码信息，发送的不是人脸图片，而是经过算法生成的数据，提高了检索的性能。同时，通过显示人物信息的标签，使用户可以直接对人物进行了解，无需通过电脑进行查看，减少了用户操作的复杂度，增加了用户使用的便利性。

Description

用于视频中检索人物信息的系统和方法

技术领域

本发明涉及电子技术领域，尤其涉及一种用于视频中检索人物信息的系统和方法，该系统以通信方式连接到多个信息源，并能够从用户接收要求从所述信息源提取相关人物信息的隐式或者显式请求。

背景技术

随着信息技术的发展，基于数字电视的各种增值业务也不断地涌现，数字电视终端的技术也不断地更新，可以支持双向回传、MP3(Moving Picture Experts Group AudioLayer III，图像连续格式的音频技术)播放、USB(Universal Serial Bus，通用串行总线)外部存储、PVR(Personal Video Recorder，个人视频录像)录制等。

然而，当用户看电视时，时常会发生用户会对获悉有关该用户正在观看的节目中的人物的详细信息以及感兴趣的情况。然而，目前的系统未能提供用于检索与诸如男演员或女演员或者运动员之类的相关的人物信息的系统。例如，EP1031964涉及了一种自动搜索设备。举例来说，一位访问200个电视台的用户说出他对观看例如Robert Redford电影或游戏演出的愿望，语音识别系统引发对可获得内容的搜索以及根据请求给用户呈现选择。因此，所述系统是一种高级的频道选择系统，但是不会到所呈现的频道之外去为用户获取附加信息。此外，U.S.5,596,705为用户呈现了例如电影的多层展示(presentation)，电视观众可以观看电影或者利用该系统公式化查询，以便获得关于这部电影的附加信息，但并未利用人脸识别技术进行相关人物信息的检索。

此外，也没有这样一种可用的系统，该系统将跨越各种媒体类型整合信息检索能力到一起，所述媒体类型诸如是电视和因特网，并且该系统还能够从多个频道和站点中提取有关这类人物的信息。在EP915621当中公开的一个系统中，URL被嵌入到发送的封闭式字幕(closed caption)部分中，以便能提取该URL来与电视信号同步地检索相应的web页面。然而，这种系统没有考虑到用户交互。

由此，想要一种用于允许用户创建对人物信息进行检索的系统和方法，所述请求由可访问多个信息源的计算设备加以处理，以便检索与请求的人物相关的信息。

发明内容

本发明的目的在于提供一种用于视频中检索人物信息的系统和方法，实时获取并显示视频中出现的人物的信息，可以减少操作的复杂度，提升用户的体验度。

根据本发明的一方面，提供一种用于视频中检索人物信息的系统，包括：

人脸获取单元，用于获取视频中选定人脸的代码信息并发送信息检索指令，所述代码信息为预先添加到视频码流中的附加信息；

信息检索单元，用于根据所述信息检索指令获取与所述代码信息对应的人物信息；以及

信息显示单元，用于显示所述人物信息的标签。

在所述系统中，所述人脸获取单元可以包括：

人脸识别模块，用于对视频中的人脸进行识别，获取对应的人脸位置信息；

人脸选定模块，用于选定至少一个所述人脸位置信息，并根据选定的人脸位置信息获取对应的选定人脸的代码信息，发送携带所述选定人脸的代码信息的信息检索指令。

在所述系统中，所述人脸选定模块还可以包括静态选定模式和动态选定模式：

当所述人脸选定模块采用静态选定模式时，视频画面静止，所述人脸选定模块获取用户在当前静止视频画面中选定人脸的代码信息；

当所述人物选定模块采用动态选定模式时，视频画面播放，所述人脸选定模块根据预定的时间间隔自动获取当前播放视频画面中出现人脸的代码信息。

进一步的，在所述系统中，所述的人脸位置信息还可以包括当前视频画面中的人脸坐标和人脸形状大小。

在所述系统中，所述信息检索单元可以包括：

人物匹配模块，用于根据所述信息检索指令中携带的所述选定人脸的代码信息与预先存储的标识信息进行匹配，若匹配成功，则直接获取与所述选定人脸的代码信息对应的人物信息；和/或

网络获取模块，当所述选定人脸的代码信息与所述预先存储的标识信息匹配失败时，用于从网络侧检索与所述选定人脸的代码信息对应的人物信息；或者直接从网络侧检索与所述选定人脸的代码信息对应的人物信息。

进一步的，在所述系统中，所述信息检索单元还可以包括：

时间戳模块，用于对于获取的所述人物信息进行时间戳标记。

进一步的，在所述系统中，所述预先存储的标识信息可以包括在视频码流中附加的人脸代码信息列表和人物信息列表。

在所述系统中，所述信息显示单元可以包括：

静态信息显示模块，当所述人脸选定模块采用静态选定模式时，用于在当前静止视频画面中显示获取的所述人物信息的标签；

动态信息显示模块，当所述人物选定模块采用动态选定模式时，用于在当前播放视频画面中跟随所述选定人脸的位置动态显示获取的所述人物信息的标签。

进一步的，在所述系统中，所述信息显示单元还可以包括：

清单显示模块，用于显示当前视频界面上出现人脸的人物清单；

人物标签显示模块，用于显示用户选定所述人物清单中相应人物对应的人物信息的标签。

在所述系统中，进一步还可包括：

关注存储单元，用于接收用户根据所述人物信息的标签发送的关注请求，将所述用户选定的标签存储为关注对象；

关注更新单元，用于当接收到用户根据所述关注对象发送的信息检索指令时，更新与所述关注对象对应的人物信息。

根据本发明的另一方面，提供一种用于视频中检索人物信息的方法，包括：

获取视频中选定人脸的代码信息并发送信息检索指令；

根据所述信息检索指令获取与所述代码信息对应的人物信息；以及

显示所述人物信息的标签。

根据本发明的用于视频中检索人物信息的系统和方法，采用人脸识别方式实时获取电视节目中出现的人脸的代码信息，发送的不是人脸图片，而是经过算法生成的数据，提高了检索的性能。同时，通过显示人物信息的标签，使用户可以直接对人物进行了解，无需通过电脑进行查看，减少了用户操作的复杂度，增加了用户使用的便利性。

附图说明

通过下面结合附图进行的对实施例的描述，本发明的上述和/或其它目的和优点将会变得更加清楚，其中：

图1示出根据本发明示例性实施例的用于视频中检索人物信息的系统的结构示意图；

图2示出根据本发明示例性实施例提供的人脸获取单元的结构示意图；

图3示出根据本发明示例性实施例提供的信息检索单元的结构示意图；

图4示出根据本发明示例性实施例提供的信息显示单元的结构示意图；

图5示出根据本发明另一示例性实施例提供的信息显示单元的结构示意图；

图6示出根据本发明另一示例性实施例提供的人物信息的标签显示的示意图；

图7示出根据本发明另一示例性实施例的用于视频中检索人物信息的系统的结构示意图；

图8示出根据本发明另一示例性实施例的用于视频中检索人物信息的方法流程图。

具体实施方式

现将详细参照本发明的实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。

图1示出根据本发明示例性实施例的用于视频中检索人物信息的系统结构示意图。如图1所示，在根据本发明示例性实施例的系统S内，包括：人脸获取单元1，用于获取视频中选定人脸的代码信息并发送信息检索指令，所述代码信息为预先添加到视频码流中的附加信息；信息检索单元2，用于根据所述信息检索指令获取与所述代码信息对应的人物信息；以及信息显示单元3，用于显示所述人物信息的标签。

具体实现中，前端系统在制作编排节目时，将与节目关联人物的人脸代码信息和人脸位置信息作为附加信息加入到视频码流中(如EPG附加信息)，所述关联人物可以是节目中出现的演员、嘉宾、主持人、节目包含的图片中、描述中或VCR中出现的人物等等。所述人脸获取单元1获取的方式可以是自动获取，如在换台或点播时，也可以是触发获取，如用户在观看某一节目的过程中，通过遥控器发送指令。

具体的，参见图2，为本发明实施例提供的人脸获取单元1的结构示意图，如图2所示，所述人脸获取单元包括：人脸识别模块11，用于对视频中的人脸进行识别，获取对应的人脸位置信息；人脸选定模块12，用于选定至少一个所述人脸位置信息，并根据选定的人脸位置信息获取对应的选定人脸的代码信息，发送携带所述选定人脸的代码信息的信息检索指令。

具体实现中，首先利用现有的人脸识别技术对当前视频画面中出现的人脸进行识别，获取当前视频画面中出现人脸的位置信息，例如，当前视频画面中出现2个人脸A和B，利用人脸识别模块11分别识别出人脸A和人脸B所在的位置信息。其中，所述的位置信息可以包括当前视频画面中的人脸坐标和人脸形状大小，例如，带一个顶点的坐标和长宽的矩形或中心坐标、旋转角度和长短轴大小的椭圆等。然后，选定人脸A和人脸B所在位置信息中的至少1个，根据选定的人脸A和/或人脸B的位置信息与视频码流中附加的人脸位置信息进行匹配，从而获取对应的人脸A和/或人脸B的代码信息，并发送携带人脸A和/或人脸B的代码信息的信息检索指令。

作为优选的实施方式，所述人脸选定模块12还可以包括静态选定模式和动态选定模式：当所述人脸选定模块采用静态选定模式时，视频画面静止，所述人脸选定模块获取用户在当前静止视频画面中选定人脸的代码信息，如用户在观看视频时，通过遥控器或界面选择触发静态选定模式，暂停当前视频画面，在当前视频画面中的人脸处显示标识框，由用户移动焦点选定人脸，从而获取选定人脸的代码信息。当所述人物选定模块采用动态选定模式时，视频画面播放，所述人脸选定模块根据预定的时间间隔自动获取当前播放视频画面中出现人脸的代码信息，如用户在观看视频时，通过摇控器或界面选择触发动态选定模式，根据预定的时间间隔在当前视频画面中的人脸处显示标识框，默认所有显示标识框的人脸为选定人脸，从而获取选定人脸的代码信息。

具体实现中，用户如果对当中的某一个人物感兴趣，可以根据使用习惯和需要选择不同的选定模式，从而获取该人物对应的人物信息进行显示，无需通过电脑进行查看，减少了用户操作的复杂度，提升了用户的体验度。

具体的，参见图3，为本发明实施例提供的信息检索单元2的结构示意图。如图3所示，所述信息检索单元2包括：人物匹配模块21，用于根据所述信息检索指令中携带的所述选定人脸的代码信息与预先存储的标识信息进行匹配，若匹配成功，则直接获取与所述选定人脸的代码信息对应的人物信息；和/或，网络获取模块22，当所述选定人脸的代码信息与所述预先存储的标识信息匹配失败时，用于从网络侧检索与所述选定人脸的代码信息对应的人物信息，或者直接从网络侧检索与所述选定人脸的代码信息对应的人物信息。更优选的，所述信息检索单元2还可以包括：时间戳模块23，用于对于获取的所述人物信息进行时间戳标记。

具体实现中，所述系统S中预先缓存了一组与人脸的代码信息对应的标识信息，当获取了选定人脸的代码信息后，将其与预先缓存的标识信息进行匹配，若匹配成功，则直接获取与选定人脸的代码信息对应的人物信息，若匹配失败，则从网络侧(如互联网或者广电网)检索与选定人脸的代码信息对应的人物信息。其中，所述人物信息可以包括人物照片、人物名称、人物详细介绍、人物代表作品、人物相关新闻等。更优选的，还可以对获取的人物信息进行时间戳标记。

具体的，参见图4，为本发明实施例提供的所述信息显示单元3的结构示意图。如图4所示，所述信息显示单元3可以包括：静态信息显示模块31，当所述人脸选定模块采用静态选定模式时，用于在当前静止视频画面中显示获取的所述人物信息的标签；动态信息显示模块32，当所述人物选定模块采用动态选定模式时，用于在当前播放视频画面中跟随所述选定人脸的位置动态显示获取的所述人物信息的标签。

具体实现中，当用户在观看视频时，通过遥控器或界面选择触发静态选定模式，暂停当前视频画面，在当前视频画面中的人脸处显示标识框，由用户移动焦点选定人脸，从而在当前视频画面上显示指向焦点的标签。当用户在观看视频时，通过摇控器或界面选择触发动态选定模式，根据预定的时间间隔在当前视频画面中的人脸处显示标识框，默认所有显示标识框的人脸为选定人脸，从而在当前视频画面上显示指向人脸的标签，标签随人脸的移动而移动。

此外，作为优选的实施方式，如图5所示，所述信息显示单元3还可以包括：清单显示模块33，用于显示当前视频界面上出现人脸的人物清单；人物标签显示模块34，用于显示用户选定所述人物清单中相应人物对应的人物信息的标签。

具体实现中，当用户在观看视频时，通过摇控器或界面选择触发动态选定模式，显示当前视频界面上出现人脸的人物清单，其中，所述人物清单可以按照所述时间戳标记的顺序进行排序，当用户选定人物清单中相应的人物时，显示对应的人物信息的标签，以方便用户进行查看。

更优选的，所述信息显示单元3将与视频画面相关联的所有人物的标签显示在可滚动显示的列表中，具体地，根据当前时间点对所有人物的标签按照所述时间戳标记的顺序进行排序，优先将当前时间点出现的人物对应的标签显示在列表的起始位置。

请一并参见图6，为本发明实施例提供的人物信息的标签显示的示意图，当电视频道的节目中当前时间点出现的人物为人物A，则显示在屏幕上的可滚动显示的列表中，所述人物A的标签显示在所述列表的起始位置，而在所述列表中位于所述人物A后面的其它标签的显示方式可以按照时间顺序先显示从节目开始时间点至所述当前时间点的所有与所述节目相关联人物的标签，再按照时间顺序显示从所述当前时间点至节目结束时间点的所有与所述节目相关联人物的标签；也可以按照时间顺序先显示从所述当前时间点至节目结束时间点的所有与所述节目相关联人物的标签，再按照时间顺序显示从节目开始时间点至所述当前时间点的所有与所述节目相关联人物的标签。可以理解的是，图6所示实例仅为举例，实际应用中，当所述标签所在的列表显示在屏幕的其它三侧中的任意一侧时，也可以参见图6所示实例。

具体的，参见图7，为本发明实施例提供的另一种用于视频中检索人物信息的系统的结构示意图。如图7所示，本发明实施例的系统S内，包括：人脸获取单元1，用于获取视频中选定人脸的代码信息并发送信息检索指令；信息检索单元2，用于根据所述信息检索指令获取与所述选定人脸对应的人物信息；信息显示单元3，用于显示所述人物信息的标签；以及关注存储单元4，用于接收用户根据所述人物信息的标签发送的关注请求，将所述用户选定的标签存储为关注对象；关注更新单元5，用于当接收到用户根据所述关注对象发送的信息检索指令时，更新与所述关注对象对应的人物信息。其中，人脸获取单元1、信息检索单元2和信息显示单元3的结构可以参见图2-4所示实施例的相关描述，在此不进行赘述。

具体实现中，当信息显示单元3显示与当前正在播放视频相关联的至少一个人物信息的标签之后，显示关注提示窗口，当所述关注提示窗口一段时间后，如果没有接收到用户的指令，所述关注提示窗口可以被隐藏。关注提示窗口隐藏后，用户通过遥控器发送的触发指令可以触发数字电视终端再次显示关注提示窗口。其中，所述关注提示窗口中包括“加关注”选项，假设用户选定的人脸为人物A，则人物A对应的标签可以包含人物A的照片、代表作品、人物简介以及与所述人物A相关联的新闻和其他人物的照片，用户可以通过遥控器等控制设备控制选择“关注”选项以发送对该人物A的关注请求，从而将该人物A保存为关注对象。

关注更新单元5，用于当接收到用户根据所述关注对象发送的信息检索指令时，更新与所述关注对象对应的人物信息。

具体实现中，当用户需要查看保存的关注对象时，可以通过遥控器或界面发送信息检索指令，以选择查看某个关注对象，所述关注更新单元5根据该关注对象的代码信息，查找该关注对象对应的人物信息，优选的，通过互联网或者广电网获取该关注对象的人物信息，并将该关注对象对应的人物信息进行更新。所述关注更新单元5更新的该关注对象对应的人物信息，包括人物照片、人物名称、人物详细介绍、人物代表作品、人物相关新闻等。

应注意，上述单元不仅可利用单独的器件来实施，还可采用基于硬件设计或编程的逻辑编程器件(诸如CPLD或FPGA器件)来实现，也可利用具有相关运算能力的数字信号处理器件(诸如DSP等器件)来实现。或者，可采用软件编程的方式来实现上述单元。

以上示出的用于视频中检索人物信息的系统，用户如果对当中的某一个人物感兴趣，可以根据使用习惯和需要选择不同的选定模式，从而获取该人物对应的人物信息进行显示，无需通过电脑进行查看，减少了用户操作的复杂度，提升了用户的体验度。

图8示出根据本发明示例性实施例的用于视频中检索人物信息的方法的流程图。图8所示的方法可由前述用于视频中检索人物信息的系统来执行，作为示例，所述系统可以是数字电视。

如图8所示，在步骤S10，获取视频中选定人脸的代码信息并发送信息检索指令；作为示例，当前视频画面中出现2个人脸A和人脸B，利用人脸识别模块11分别识别出人脸A和人脸B所在的位置信息。其中，所述的位置信息可以包括当前视频画面中的人脸坐标和人脸形状大小，例如，带一个顶点的坐标和长宽的矩形或中心坐标、旋转角度和长短轴大小的椭圆等。然后，选定人脸A和人脸B所在位置信息中的至少1个，根据选定的人脸A和/或人脸B的位置信息与视频码流中附加的人脸位置信息进行匹配，从而获取对应的人脸A和/或人脸B的代码信息，并发送携带人脸A和/或人脸B的代码信息的信息检索指令。

在步骤S20，根据所述信息检索指令获取与所述代码信息对应的人物信息；作为示例，当获取了选定人脸的代码信息后，将其与预先缓存的标识信息进行匹配，若匹配成功，则直接获取与选定人脸的代码信息对应的人物信息，若匹配失败，则从网络侧(如互联网或者广电网)检索与选定人脸的代码信息对应的人物信息。其中，所述人物信息可以包括人物照片、人物名称、人物详细介绍、人物代表作品、人物相关新闻等。更优选的，还可以对获取的人物信息进行时间戳标记。

在步骤S30，显示所述人物信息的标签；作为示例，当用户在观看视频时，通过遥控器或界面选择触发静态选定模式，暂停当前视频画面，在当前视频画面中的人脸处显示标识框，由用户移动焦点选定人脸，从而在当前视频画面上显示指向焦点的标签。当用户在观看视频时，通过摇控器或界面选择触发动态选定模式，根据预定的时间间隔在当前视频画面中的人脸处显示标识框，默认所有显示标识框的人脸为选定人脸，从而在当前视频画面上显示指向人脸的标签，标签随人脸的移动而移动。

此外，作为优选方式，用户还可以根据使用习惯和需要选择不同的选定模式，以及对于感兴趣的人物，可以增加关注并对关注对象的人物信息进行更新，无需通过电脑进行查看，减少了用户操作的复杂度，提升了用户的体验度。

根据本发明的用于视频中检索人物信息的系统和方法，采用人脸识别方式实时获取电视节目中出现的人脸的代码信息，发送的不是人脸图片，而是经过算法生成的数据，提高了检索的性能。同时，通过显示人物信息的标签，使用户可以直接对人物进行了解，无需通过电脑进行查看，减少了用户操作的复杂度，增加了用户使用的便利性。

本发明的以上各个实施例仅仅是示例性的，而本发明并不受限于此。本领域技术人员应该理解：在不脱离本发明的原理和精神的情况下，可对这些实施例进行改变，其中，本发明的范围在权利要求及其等同物中限定。

Claims (9)

1.一种用于视频中检索人物信息的系统，包括：

人脸获取单元，用于对视频中的人脸进行识别，获取对应的人脸位置信息,将选定的至少一个人脸位置信息与预先添加到视频码流中对应的人脸位置信息进行匹配而获取视频中选定人脸的代码信息并发送携带所述选定人脸的代码信息的信息检索指令，所述代码信息为预先添加到视频码流中的与节目关联人物的人脸代码附加信息；

所述人脸位置信息包括当前视频画面中的人脸坐标和人脸形状大小；

信息检索单元，用于根据所述信息检索指令与预先存储的标识信息进行匹配，获取与所述代码信息对应的人物信息；其中，所述预先存储的标识信息包括在视频码流中附加的人脸代码信息列表和人物信息列表；以及，

信息显示单元，用于显示所述人物信息的标签。

2.如权利要求1所述的系统，其中：所述人脸获取单元包括：

人脸识别模块，用于对视频中的人脸进行识别，获取对应的人脸位置信息；

人脸选定模块，用于选定至少一个所述人脸位置信息，并根据选定的人脸位置信息获取对应的选定人脸的代码信息，发送携带所述选定人脸的代码信息的信息检索指令。

3.如权利要求2所述的系统，其中：所述人脸选定模块包括静态选定模式和动态选定模式，

当所述人脸选定模块采用静态选定模式时，视频画面静止，所述人脸选定模块获取用户在当前静止视频画面中选定人脸的代码信息；

当所述人物选定模块采用动态选定模式时，视频画面播放，所述人脸选定模块根据预定的时间间隔自动获取当前播放视频画面中出现人脸的代码信息。

4.如权利要求1所述的系统，其中，所述信息检索单元包括：

人物匹配模块，用于根据所述信息检索指令中携带的所述选定人脸的代码信息与预先存储的标识信息进行匹配，若匹配成功，则直接获取与所述选定人脸的代码信息对应的人物信息；和/或

网络获取模块，当所述选定人脸的代码信息与所述预先存储的标识信息匹配失败时，用于从网络侧检索与所述选定人脸的代码信息对应的人物信息；或者直接从网络侧检索与所述选定人脸的代码信息对应的人物信息。

5.如权利要求4所述的系统，其中，所述信息检索单元还包括：

时间戳模块，用于对于获取的所述人物信息进行时间戳标记。

6.如权利要求3所述的系统，其中，所述信息显示单元包括：

静态信息显示模块，当所述人脸选定模块采用静态选定模式时，用于在当前静止视频画面中显示获取的所述人物信息的标签；

动态信息显示模块，当所述人物选定模块采用动态选定模式时，用于在当前播放视频画面中跟随所述选定人脸的位置动态显示获取的所述人物信息的标签。

7.如权利要求5所述的系统，其中，所述信息显示单元进一步还包括：

清单显示模块，用于显示当前视频界面上出现人脸的人物清单；

人物标签显示模块，用于显示用户选定所述人物清单中相应人物对应的人物信息的标签。

8.如权利要求1所述的系统，其中，进一步还包括：

关注存储单元，用于接收用户根据所述人物信息的标签发送的关注请求，将所述用户选定的标签存储为关注对象；

关注更新单元，用于当接收到用户根据所述关注对象发送的信息检索指令时，更新与所述关注对象对应的人物信息。

9.一种用于视频中检索人物信息的方法，包括：

对视频中的人脸进行识别，获取对应的人脸位置信息,将选定的至少一个人脸位置信息与预先添加到视频码流中对应的人脸位置信息进行匹配而获取视频中选定人脸的代码信息并发送携带所述选定人脸的代码信息的信息检索指令，所述代码信息为预先添加到视频码流中的与节目关联人物的人脸代码附加信息；

所述人脸位置信息包括当前视频画面中的人脸坐标和人脸形状大小；

根据所述信息检索指令与预先存储的标识信息进行匹配，获取与所述代码信息对应的人物信息；其中，所述预先存储的标识信息包括在视频码流中附加的人脸代码信息列表和人物信息列表；以及

显示所述人物信息的标签。