CN106233746A - 内容辨识装置以及内容辨识方法 - Google Patents

内容辨识装置以及内容辨识方法 Download PDF

Info

Publication number
CN106233746A
CN106233746A CN201580020600.7A CN201580020600A CN106233746A CN 106233746 A CN106233746 A CN 106233746A CN 201580020600 A CN201580020600 A CN 201580020600A CN 106233746 A CN106233746 A CN 106233746A
Authority
CN
China
Prior art keywords
fingerprint
identification
content
identification data
presentation content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580020600.7A
Other languages
English (en)
Other versions
CN106233746B (zh
Inventor
薮博史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN106233746A publication Critical patent/CN106233746A/zh
Application granted granted Critical
Publication of CN106233746B publication Critical patent/CN106233746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content

Abstract

本发明提供一种内容辨识装置以及内容辨识方法，既能提高影像内容的辨识精度又能降低影像内容的辨识所涉及的处理。该辨识数据生成装置具备指纹生成部、筛选部和核对部。指纹生成部针对获取到的多个影像内容候选来分别生成指纹。筛选部利用从外部输入的辨识数据所含的附属信息来筛选影像内容候选。核对部核对由筛选部筛选出的影像内容候选的指纹和辨识数据所含的指纹，从影像内容候选之中确定与辨识数据所含的指纹对应的影像内容。

Description

内容辨识装置以及内容辨识方法
技术领域
本公开涉及对影像内容进行辨识的内容辨识装置以及内容辨识方法。
背景技术
已提出利用经由云来辨识内容的技术的通信服务的方案。若利用该技术，则能够实现对所输入的影像进行辨识并经由通信网络获取与该影像关联的附加信息、将获取到的附加信息与影像内容一起显示于显示画面的电视接收装置(以下简记为“电视机”)。对所输入的影像进行辨识的技术被称作“ACR(Automatic Content Recognition：自动内容识别)”。
ACR有时利用指纹技术。专利文献1以及专利文献2公开了指纹技术。在该技术中，探测映在影像内的图像帧中的面部等的轮廓，基于探测到的轮廓来生成指纹，将所生成的指纹与数据库中蓄积的数据进行核对。
在先技术文献
专利文献
专利文献1：美国专利申请公开第2010/0318515号说明书
专利文献2：美国专利申请公开第2008/0310731号说明书
发明内容
本公开提供既能提高影像内容的辨识精度又能降低影像内容的辨识所涉及的处理的内容辨识装置以及内容辨识方法。
本公开中的内容辨识装置具备指纹生成部、筛选部和核对部。指纹生成部针对获取到的多个影像内容候选来分别生成指纹。筛选部利用从外部输入的辨识数据所含的附属信息来筛选影像内容候选。核对部核对由筛选部筛选出的影像内容候选的指纹和辨识数据所含的指纹，从影像内容候选之中确定与辨识数据所含的指纹对应的影像内容。
本公开中的内容辨识装置既能提高影像内容的辨识精度又能降低影像内容的辨识所涉及的处理。
附图说明
图1是表示实施方式1中的内容辨识系统的一构成例的框图。
图2是表示实施方式1中的接收装置的一构成例的框图。
图3是示意性地表示实施方式1中的接收装置所发送的辨识数据的一例的图。
图4是示意性地表示实施方式1中的指纹数据库所保存的辨识数据的一例的图。
图5是示意性地表示实施方式1中的影像提取部所提取的各帧速率的图像帧和静态区域的关系的一例的图。
图6是示意性地表示实施方式1中的影像提取部所提取的各帧速率的图像帧和动态区域的关系的一例的图。
图7是表示实施方式1中的指纹生成部的一构成例的框图。
图8是表示实施方式1中的内容辨识系统所具备的内容辨识装置的一动作例的流程图。
图9是表示实施方式1中的生成辨识数据时的处理的一例的流程图。
图10是示意性地表示实施方式1中的辨识数据的生成处理过程之中的图像帧的变化的一例的图。
图11是表示实施方式1中的图像帧间的变化量的计算处理的一例的流程图。
图12是示意性地表示实施方式1中的图像帧的缩减变换处理的一例的图。
图13是示意性地表示实施方式1中的图像帧间的变化量的计算处理的一例的图。
图14是表示实施方式1中的静态指纹的生成处理的一例的流程图。
图15是示意性地表示实施方式1中的基于图像帧间的变化量而生成的静态指纹的一例的图。
图16是表示实施方式1中的动态指纹的生成处理的一例的流程图。
图17是示意性地表示实施方式1中的未生成动态指纹的图像帧的一例的图。
图18是示意性地表示实施方式1中的基于图像帧间的变化量而生成的动态指纹的一例的图。
图19是表示实施方式1中的指纹过滤部所执行的过滤处理的一例的流程图。
图20是表示实施方式1中的指纹过滤部所执行的属性过滤处理的一例的流程图。
图21是示意性地表示实施方式1中的指纹过滤部所执行的属性过滤处理的一具体例的图。
图22是表示实施方式1中的指纹过滤部所执行的属性序列过滤处理的一例的流程图。
图23是示意性地表示实施方式1中的指纹过滤部所执行的属性序列过滤处理的一具体例的图。
图24是表示实施方式1中的辨识数据的核对处理的一例的流程图。
图25是示意性地表示实施方式1中的静态指纹的核对处理的一例的图。
图26是示意性地表示实施方式1中的动态指纹的核对处理的一例的图。
图27是表示实施方式1中的影像内容的辨识条件的一例的图。
图28是示意性地表示实施方式1中的影像内容的核对处理的一例的图。
图29是用于说明关于影像内容的辨识而成为问题的点的图。
具体实施方式
以下，适当参照附图来详细说明实施方式。不过，存在省略必要以上的详细说明的情况。例如，存在省略已经熟知的事项的详细说明以及对于实质上相同的构成的重复说明等的情况。这是为了避免以下的说明变得不必要的冗余，使得本领域的技术人员易于理解。
另外，所附的附图以及以下的说明是为使本领域的技术人员充分理解本公开而提供的，并非根据这些内容来限定要求保护的范围所记载的主题。
此外，各图只是示意图，不一定是严格意义上图示出的图。此外，在各图中，对于相同的构成要素赋予相同的符号。
(实施方式1)
[1-1.内容辨识系统]
首先，利用图1来说明本实施方式中的内容辨识系统。
图1是表示实施方式1中的内容辨识系统1的一构成例的框图。
如图1所示，内容辨识系统1具备：广播站2、STB(Set Top Box：机顶盒)3、接收装置10、内容辨识装置20和广告服务器装置30。
广播站2是构成为将影像内容变换为影像信号并作为电视广播信号(以下，仅记为“广播信号”)进行广播的发送装置。影像内容例如是通过无线或有线的广播或通信而被广播的广播内容，包含电视节目等节目内容、和商用消息(CM)等广告用的影像内容(以下，记为“广告内容”)。节目内容和广告内容伴随着时间的经过而相互切换。
广播站2向STB3以及内容辨识装置20发送影像内容。例如，广播站2通过广播而向STB3发送影像内容，并且通过通信而向内容辨识装置20发送影像内容。
STB3是构成为接收从广播站2广播的广播信号并输出基于接收到的广播信号的影像信号等的调谐器/解码器。STB3从由广播站2广播的广播信号之中，接收基于用户的指示而选台的广播频道。然后，对接收到的广播频道的影像内容进行解码，将解码出的影像内容经由通信路径而输出至接收装置10。另外，通信路径例如是HDMI(注册商标)(High-Definition Multimedia Interface：高清晰度多媒体接口)等。
接收装置10例如是电视机等影像接收装置。接收装置10经由通信网络105而与内容辨识装置20以及广告服务器装置30连接。接收装置10从接收到的影像内容的帧序列之中提取多个图像帧，基于提取出的图像帧来生成辨识数据。接收装置10将所生成的辨识数据发送至内容辨识装置20，从内容辨识装置20接收影像内容的辨识结果。接收装置10基于影像内容的辨识结果而从广告服务器装置30获取附加信息，将获取到的附加信息与影像内容一起实质上实时地显示于显示画面。
另外，辨识数据例如是表征影像内容的数据，是用于影像内容的辨识(例如ACR)的数据。具体而言，辨识数据包含基于图像帧间的图像的变化而生成的指纹(哈希值)。
此外，图像帧是构成影像内容的图片。在图像帧中包含逐行扫描方式下的帧、隔行扫描方式下的场等。
内容辨识装置20例如是服务器装置。内容辨识装置20根据所输入的多个影像内容来生成各个辨识数据，通过核对从这些辨识数据之中筛选出的辨识数据和从接收装置10发送的辨识数据，由此来执行影像内容的辨识处理。以下，将影像内容的辨识处理也记为“图像辨识处理”或“图像辨识”。若该核对成功，则内容辨识装置20从这多个影像内容之中选择一个影像内容来作为图像辨识的结果。即，这多个影像内容分别是有可能作为与从接收装置10发送的辨识数据对应的影像内容而被选择的影像内容的候选。因此，在此以下将内容辨识装置20接收到的影像内容也记为“影像内容候选”。内容辨识装置20是图像辨识装置的一例，是构成为进行影像内容的辨识(例如ACR)的装置。
例如，内容辨识装置20从多个广播站2接收广播中的多个影像内容候选，进行辨识数据的生成。并且，内容辨识装置20接收从接收装置10发送的辨识数据，利用接收到的辨识数据和影像内容候选的辨识数据，实质上实时地进行影像内容的辨识(图像辨识处理)。
广告服务器装置30例如是分发与内容辨识装置2对影像内容的辨识结果关联的附加信息的服务器装置。例如，广告服务器装置30是保持各种商品的广告来分发的广告分发服务器。
另外，在本实施方式中，内容辨识装置20和广告服务器装置30分别是相互独立的服务器装置，但可以在1台Web服务器中包含内容辨识装置20和广告服务器装置30。
以下，说明接收装置10、内容辨识装置20以及广告服务器装置30的各构成。
[1-1-1.接收装置]
首先，利用图1以及图2来说明本实施方式中的接收装置10。
图2是表示实施方式1中的接收装置10的一构成例的框图。另外，图2表示接收装置10的主要的硬件构成。
如图1所示，接收装置10具备：影像接收部11、影像提取部12、附加信息获取部13、影像输出部14和辨识部100。更详细而言，如图2所示，接收装置10还具备：控制部15、操作信号接收部16和HTTP(Hyper Text Transfer Protocol：超文本传输协议)收发部17。此外，如图2所示，附加信息获取部13具备：附加信息保存部18和附加信息显示控制部19。
控制部15是构成为对接收装置10所具备的各构成要素进行控制的处理部。控制部15具备非易失性存储器、CPU(Central Processing Unit：中央处理单元)、易失性存储器。非易失性存储器例如是ROM(Read Only Memory：只读存储器)等，保存有程序(应用程序等)。CPU构成为执行其程序。易失性存储器例如是RAM(Random Access Memory：随机存取存储器)等，作为CPU动作时的临时作业区域来使用。
操作信号接收部16是构成为接收从操作部(未图示)输出的操作信号的电路。操作信号是为了操作接收装置10而用户对操作部(例如远程控制器。以下记为“遥控”)进行操作由此从该操作部输出的信号。另外，在操作部是具有陀螺仪传感器的遥控的情况下，操作信号接收部16也可以构成为接收从该遥控输出的与遥控自身的物理运动有关的信息(用户摇晃遥控、使遥控倾斜、改变遥控的朝向等时的表示运动的信号)。
HTTP收发部17是构成为经由通信网络105而与内容辨识装置20以及广告服务器装置30通信的接口。HTTP收发部17例如是符合IEEE802.3标准的有线LAN(Local AreaNetwork：局域网)用的通信适配器。
HTTP收发部17例如经由通信网络105而向内容辨识装置20发送辨识数据。此外，HTTP收发部17经由通信网络105而接收从内容辨识装置20发送的影像内容的辨识结果。
此外，HTTP收发部17例如获取从广告服务器装置30经由通信网络105发送的附加信息。获取到的附加信息经由控制部15而保存至附加信息保存部18。
影像接收部11具有构成为接收影像内容的接收电路以及解码器(未图示)。影像接收部11例如基于由操作信号接收部16接收到的操作信号，进行所接收的广播频道的选台、从外部输入的信号的选择等。
如图2所示，影像接收部11具备：影像输入部11a、第1外部输入部11b和第2外部输入部11c。
影像输入部11a是构成为输入例如由天线(未图示)接收的广播信号(在图2中记为“TV广播信号”)等从外部发送来的影像信号的电路。
第1外部输入部11b以及第2外部输入部11c是构成为输入从STB3以及影像信号记录再生装置(未图示)等外部设备发送来的影像信号(在图2中记为“外部输入信号”)的接口。第1外部输入部11b例如是HDMI(注册商标)端子，通过适于HDMI(注册商标)的线缆而与STB3连接。
影像提取部12从构成由影像接收部11接收到的影像内容的帧序列之中，以给定的帧速率提取多个图像帧。例如，在影像内容的帧速率为60fps(Frames Per Second：帧频)的情况下，影像提取部12以30fps、或20fps、或15fps这样的帧速率来提取多个图像帧。另外，若后级的辨识部100具有能够处理60fps的影像的处理能力，则影像提取部12也可以提取构成影像内容的帧序列的所有图像帧。
附加信息获取部13作为获取信息的电路以及通信接口来动作。附加信息获取部13基于辨识部100获取到的影像内容的辨识结果，从广告服务器装置30之中获取附加信息。
影像输出部14是构成为将由影像接收部11接收到的影像内容输出于显示画面的显示控制电路。显示画面例如是液晶显示装置、有机EL(Electro Luminescence：电致发光)等显示器。
附加信息保存部18是构成为保存附加信息的存储装置。附加信息保存部18例如是闪存等非易失性存储元件。例如，附加信息保存部18可以除了保持从广告服务器装置30获取到的附加信息之外，还保持EPG(Electronic Program Guide：电子节目指南)等节目元信息。
附加信息显示控制部19构成为将从广告服务器装置30获取到的附加信息叠加于由影像接收部11接收到的影像内容(例如节目内容)。附加信息显示控制部19例如在节目内容所含的各图像帧中叠加附加信息来生成叠加图像，并将所生成的叠加图像输出于影像输出部14。影像输出部14将叠加图像输出于显示画面，从而在显示画面显示出叠加有附加信息的节目内容。
辨识部100是构成为生成辨识数据的处理部。辨识部100将所生成的辨识数据发送至内容辨识装置20，并从内容辨识装置20接收辨识结果。
如图1所示，辨识部100具备：指纹生成部110、指纹发送部120和辨识结果接收部130。
指纹生成部110是辨识数据生成电路的一例。指纹生成部110利用由影像提取部12提取出的多个图像帧来生成辨识数据。具体而言，指纹生成部110基于帧间的图像的变化，按每个帧间来生成指纹。例如，指纹生成部110每当获取由影像提取部12提取出的图像帧时，在与之前刚刚获取到的图像帧之间计算变化量，并基于计算出的变化量来生成指纹。所生成的指纹被输出至指纹发送部120。
另外，关于指纹生成部110的详细动作以及所生成的指纹的具体例将后述。
指纹发送部120将由指纹生成部110生成的辨识数据发送至内容辨识装置20。具体而言，指纹发送部120经由图2所示的HTTP收发部17以及通信网络105而向内容辨识装置20发送辨识数据。
图3是示意性地表示实施方式1中的接收装置10所发送的辨识数据40的一例的图。
如图3所示，在辨识数据40中包含多个指纹43、和与各指纹43建立了对应的定时信息41以及类别信息42。
定时信息41是表示生成指纹43的时刻的信息。类别信息42是表示指纹43的种类的信息。类别信息42有表示帧间的图像的变化相对小的静态指纹(以下也记载为“A类型”)的信息、和表示帧间的图像的变化相对大的动态指纹(以下也记载为“B类型”)的信息这两个种类。
指纹43是基于构成影像内容的帧序列所含的多个图像帧的帧间的图像的变化而生成的信息(例如哈希值)。如图3所示，指纹43包含“018”、“184”等多个特征量。指纹43的详细内容将后述。
指纹发送部120将辨识数据40发送至内容辨识装置20。此时，每当由指纹生成部110生成辨识数据40时，指纹发送部120依次发送所生成的辨识数据40。
此外，接收装置10将附属信息发送至内容辨识装置20。关于附属信息将后述。接收装置10可以将附属信息包含在辨识数据40中来发送，也可以与辨识数据40独立地进行发送。或者，也可以是包含在辨识数据40中来发送的附属信息和与辨识数据40独立地进行发送的附属信息这两者。
辨识结果接收部130从内容辨识装置20接收影像内容的辨识结果。具体而言，辨识结果接收部130经由图2所示的通信网络105以及HTTP收发部17而从内容辨识装置20接收辨识数据。
在影像内容的辨识结果中包含用于确定影像内容的信息。该信息例如是表示广播影像内容的广播站的信息、表示影像内容的名称的信息等。辨识结果接收部130将影像内容的辨识结果输出至附加信息获取部13。
[1-1-2.内容辨识装置]
接下来，利用图1来说明本实施方式中的内容辨识装置20。
如图1所示，内容辨识装置20具备：内容接收部21、指纹数据库(以下记为“指纹DB”)22、指纹过滤部23、指纹核对部24、指纹历史记录信息DB25和指纹生成部2110。另外，在图2的内容辨识装置20中仅示出指纹DB22，其他块进行了省略。
内容接收部21构成为具备接收电路以及解码器，接收从广播站2发送的影像内容。在有多个广播站2的情况下，内容接收部21接收由多个广播站2分别生成并发送的所有影像内容。如上所述，这些接收到的影像内容是影像内容候选。内容接收部21将接收到的影像内容候选输出至指纹生成部2110。
指纹生成部2110按照每个影像内容候选来生成辨识数据50。具体而言，指纹生成部2110基于构成接收到的影像内容候选的帧序列的图像帧间的变化，按每个图像帧来生成指纹53。因此，指纹生成部2110以接收到的影像内容候选的帧速率来生成指纹53。例如，若影像内容候选的帧速率为60fps，则指纹生成部2110在1秒钟内生成60个指纹53。
另外，内容辨识装置20所具备的指纹生成部2110例如可以是与接收装置10的辨识部100所具备的指纹生成部110实质上相同的构成以及动作。关于指纹生成部2110的详细内容，利用图7而在后面阐述。
指纹DB22是保存多个影像内容候选的辨识数据50的数据库。在指纹DB22中，例如用于相互识别多个影像内容的识别信息(例如内容ID(IDentifier))和辨识数据50相互建立对应地进行保存。内容辨识装置20每当由内容接收部21接收到新的影像内容时，由指纹生成部2110生成新的指纹53来更新指纹DB22。
指纹DB22存储于内容辨识装置20所具备的存储装置(例如HDD(Hard Disk Drive：硬盘驱动器)等)。另外，指纹DB22可以存储于设置在内容辨识装置20的外部的存储装置。
在此，利用图4来说明指纹DB22所保存的辨识数据50。
图4是示意性地表示实施方式1中的指纹DB22所保存的辨识数据50的一例的图。
在图4所示的例子中，在指纹DB22中，作为辨识数据50而保存有辨识数据50a、辨识数据50b和辨识数据50c。辨识数据50a、辨识数据50b和辨识数据50c是辨识数据50的一例。在图4所示的例子中，辨识数据50a是与影像内容α1对应的辨识数据50，辨识数据50b是与影像内容β1对应的辨识数据50，辨识数据50c是与影像内容γ1对应的辨识数据50。另外，影像内容α1是从广播站α，影像内容β1是从广播站β，影像内容γ1是从广播站γ，分别在大致相同的时刻广播的影像内容候选。
如图4所示，辨识数据50a包含多个指纹53a，辨识数据50b包含多个指纹53b，辨识数据50c包含多个指纹53c。指纹53a、指纹53b和指纹53c是指纹53的一例。指纹53a与定时信息51a和类别信息52a建立了对应，指纹53b与定时信息51b和类别信息52b建立了对应，指纹53c与定时信息51c和类别信息52c建立了对应。定时信息51a、定时信息51b和定时信息51c是定时信息51的一例，类别信息52a、类别信息52b和类别信息52c是类别信息52的一例。另外，定时信息51是与图3所示的定时信息41同样的数据(即，表示生成指纹53的时刻的信息)，类别信息52是与图3所示的类别信息42同样的数据(即，表示指纹53的种类的信息)，指纹53是与图3所示的指纹43同样的数据。
内容辨识装置20的指纹过滤部23是筛选部的一例，利用从外部输入的辨识数据40所含的附属信息对影像内容候选进行筛选(以下记为“过滤”)。具体而言，指纹过滤部23利用与从广播站2接收到的影像内容候选有关的附属信息和从接收装置10获取到的附属信息，对为了在图像辨识处理中用于核对(即，为了设为核对的对象)而从指纹DB22读出的辨识数据50进行过滤而使其减少。如此，指纹过滤部23通过该过滤处理对在图像辨识处理中设为核对对象的影像内容候选进行筛选。
在附属信息中包含上述的类别信息42、52。
指纹过滤部23利用类别信息42、52来进行属性过滤以及属性序列过滤。关于属性过滤以及属性序列过滤的详细内容，利用图20～图23而在后面阐述。
在附属信息中可以包含表示发送由接收装置10接收的影像内容的广播站2的位置的信息(以下记为“地理信息”)、或表示接收装置10的位置的地理信息。地理信息例如可以是表示基于接收装置10的IP(Internet Protocol：因特网协议)地址而确定的地域的信息。
在附属信息中包含地理信息的情况下，指纹过滤部23利用该地理信息来进行区域过滤处理。所谓区域过滤处理，是指将由在地理信息所表示的地域中无法视听的广播站2所广播的影像内容候选从图像辨识处理中的核对对象之中排除的处理。
此外，在附属信息中可以包含与接收装置10建立了对应的用户有关的信息(以下记为“用户信息”)。在用户信息中例如包含表示用户的兴趣、爱好、年龄、性别或职业等的信息。表示用户通过接收装置10接收到的影像内容的历史记录的信息可以包含在用户信息中。
在附属信息中包含用户信息的情况下，指纹过滤部23利用该用户信息来进行人物简介过滤处理。所谓人物简介过滤处理，是指将与用户信息所表示的用户的特征、爱好等不一致的影像内容候选从图像辨识处理中的核对对象之中排除的处理。
另外，在由指纹过滤部23进行人物简介过滤处理的情况下，期望在指纹DB22中使表示影像内容的特征的信息(以下记为“内容信息”)与指纹53建立对应地进行保存。在内容信息中例如包含表示期待视听该影像内容的用户的特征的信息。在内容信息中可以包含该影像内容的体裁、期待视听该影像内容的用户的年龄段、性别等。
内容辨识装置20的指纹核对部24是核对部的一例。指纹核对部24核对由指纹过滤部23筛选出的辨识数据50所含的指纹53和从接收装置10发送至内容辨识装置20的辨识数据40所含的指纹43，从多个影像内容候选之中确定与辨识数据40所含的指纹43对应的影像内容。如此，基于指纹43来确定影像内容是“影像内容的辨识”。
指纹核对部24将从接收装置10发送并由内容辨识装置20接收到的指纹43的特征量分别与由指纹过滤部23筛选并从指纹DB22读出的辨识数据50所含的指纹53的所有特征量进行核对。由此，指纹核对部24对与从接收装置10发送至内容辨识装置20的辨识数据40对应的影像内容进行辨识。
在图3、图4所示的例子中，指纹核对部24将指纹43与指纹53a、53b、53c进行核对。指纹43和指纹53a均包含“018”、“184”等彼此相同的多个特征量。因此，指纹核对部24作为图像辨识的结果而将表示与指纹53a对应的影像内容α1的信息返回给接收装置10。
关于指纹核对部24的详细动作，利用图24～图28而在后面阐述。
指纹历史记录信息DB25是内容辨识装置20从接收装置10接收到的辨识数据40按照时间序列(例如接收顺序)保持的数据库。指纹历史记录信息DB25存储于内容辨识装置20所具备的存储器等存储装置(未图示)。若内容辨识装置20从接收装置10接收到辨识数据40，则指纹历史记录信息DB25追加该辨识数据40来更新。
另外，在指纹历史记录信息DB25中，可以按照接收顺序来保持在预先规定的期间内内容辨识装置20接收到的辨识数据40。预先规定的期间例如可以是内容辨识装置20从接收装置10接收到辨识数据40之后至基于该辨识数据40的图像辨识处理结束为止的期间。
另外，内容辨识装置20在图像辨识处理的结果为未能确定与从接收装置10发送出的辨识数据40对应的影像内容的情况下，可以将表示未完成图像辨识的信息发送至接收装置10，或者不发送任何信息。
另外，内容辨识装置20具备通信部(未图示)，经由该通信部以及通信网络105而与接收装置10进行通信。例如，内容辨识装置20经由该通信部来接收从接收装置10发送的辨识数据40，并经由该通信部而将基于接收到的辨识数据40的图像辨识的结果发送至接收装置10。
[1-1-3.广告服务器装置]
接下来，说明广告服务器装置30。
广告服务器装置30是构成为分发与从广播站2发送的影像内容有关的附加信息的Web服务器。如图1所示，广告服务器装置30具备附加信息DB31。
附加信息DB31是按照每个影像内容将表征影像内容的信息和附加信息相互建立了对应的数据库。在附加信息DB31中，例如内容ID和附加信息相互建立了对应。
附加信息DB31存储于广告服务器装置30所具备的存储装置(例如HDD等)。另外，附加信息DB31可以存储于设置在广告服务器装置30的外部的存储装置。
附加信息例如是表示在影像内容内所显示之物(例如广告对象的商品等)的性质的信息。附加信息例如是商品的规格、销售店(例如，销售店的住址、URL(Uniform ResourceLocator：统一资源定位符)、电话号码等)、制造者、使用方法、功效等与商品有关的信息。
[1-2.指纹生成部]
接下来，说明本实施方式中的指纹生成部110。
指纹生成部110构成为基于构成影像内容的帧序列中的静态区域以及动态区域的至少一者来生成指纹。指纹生成部110例如能够通过集成电路等来实现。
以下，首先利用图5以及图6来说明静态区域以及动态区域。
图2的影像提取部12构成为从构成影像内容的帧序列之中以给定的帧速率来提取多个图像帧。该帧速率基于辨识部100中的处理能力等来设定。在本实施方式中，说明从广播站2广播的影像内容的帧速率为60fps、影像提取部12以30fps、20fps、15fps三个帧速率来提取图像帧时的动作例。另外，影像提取部12并非以多个帧速率来提取图像帧。图5、图6只是表示所提取的帧速率不同时的动作例。在图5、图6所示的例子中，影像提取部12以30fps、或20fps、或15fps的任意一个帧速率来提取图像帧。
[1-2-1.静态区域]
所谓静态区域，是指两个图像帧间图像的变化量比预先规定的阈值(以下记为“第1阈值”)小的区域。静态区域例如是图像中的背景或运动、变化小的被摄体所占的区域等。静态区域通过在图像帧间计算图像的变化量来决定。
图5是示意性地表示实施方式1中的影像提取部12所提取的各帧速率的图像帧和静态区域的关系的一例的图。
关于在图5中作为一例示出的广播影像的影像内容，在影像中无大幅变化的同一场景由9帧构成。在影像内，虽然2人被摄体运动，但背景不动。
如图5所示，无论影像提取部12以30fps、20fps、15fps的哪种帧速率来提取图像帧，在各帧速率下决定出的静态区域均相互类似，且均与在所广播的60fps的影像内容中决定出的静态区域类似。
鉴于这些内容可知，无论提取图像帧时的帧速率为30fps、20fps、15fps的哪种帧速率，通过相互核对在影像提取部12所提取的图像帧中决定出的静态区域和在所广播的影像内容中决定出的静态区域，均能够实现影像内容的辨识。静态区域是在图像帧中背景以及运动、变化小的被摄体等所占的区域，给定的期间(例如几秒钟)是存在于图像帧内的可能性高的区域。因此，通过利用静态区域，从而能够实现高精度的辨识。
在内容辨识装置20中，接收从广播站2广播的影像内容，基于该影像内容中的静态区域来生成静态指纹，并保存于指纹DB22。因此，内容辨识装置20从接收装置10接收到在接收装置10中基于接收中的影像内容而生成的静态指纹时，能够由接收装置10来辨识接收中的影像内容。
[1-2-2.动态区域]
所谓动态区域，是指两个图像帧间图像的变化量比预先规定的阈值(以下记为“第2阈值”)大的区域。动态区域例如是场景切换时图像发生大幅变化的区域等。
图6是示意性地表示实施方式1中的影像提取部12所提取的各帧速率的图像帧和动态区域的关系的一例的图。
在图6中作为一例示出的影像内容包含场景的切换。图6所示的影像内容包含随着时间的经过而切换的第1场景～第3场景这三个场景。第1场景包含图像帧A001～A003，第2场景包含图像帧A004～A006，第3场景包含图像帧A007～A009。
动态区域通过在图像帧间计算图像的变化量来决定。
在图6所示的例子中，无论在30fps、20fps、15fps的哪种情况下，在影像提取部12所提取的多个图像帧中均包含三个场景各自的图像帧。因而，若在时间上相邻的两个图像帧间计算图像的变化量，则在场景切换前后的图像帧中计算出较大的变化量。另外，在图6中，作为一例而示出从第1场景向第2场景切换时的动态区域。
例如，在图6的30fps下，第1场景和第2场景的切换是图像帧A003和图像帧A005。因此，在图6的30fps下，在图像帧A003与图像帧A005之间产生动态区域。同样，在图6的20fps下，在图像帧A001与图像帧A004之间产生动态区域，在图6的15fps下，在图像帧A001与图像帧A005之间产生动态区域。
另一方面，在所广播的60fps的影像内容中，第1场景和第2场景的切换是图像帧A003和图像帧A004。因此，在所广播的影像内容中，在图像帧A003与图像帧A004之间产生动态区域。
即，所广播的60fps的影像内容中的动态区域和由影像提取部12提取的30fps、20fps、15fps的每一个下的动态区域，如图6所示，相互类似。
如此，无论影像提取部12以30fps、20fps、15fps的哪种帧速率来提取图像帧，在各帧速率下分别决定出的动态区域均相互类似，且均与在所广播的60fps的影像内容中决定出的动态区域类似。
鉴于这些内容可知，无论提取图像帧时的帧速率为30fps、20fps、15fps的哪种帧速率，通过相互核对基于影像提取部12所提取的图像帧而决定的动态区域和在所广播的影像内容中决定出的动态区域，均能够实现影像内容的辨识。动态区域是通过场景的切换等而图像发生大幅变化的区域，是引起特征图像变化的区域。因此，通过利用动态区域，从而能够实现高精度的辨识。此外，由于基于特征图像的变化来进行辨识，因此与以往相比能够削减辨识所需的帧数，能够使得辨识所涉及的处理变得高速。
在内容辨识装置20中，接收从广播站2广播的影像内容，基于该影像内容中的动态区域来生成动态指纹，并保存于指纹DB22。因此，内容辨识装置20从接收装置10接收到在接收装置10中基于接收中的影像内容而生成的动态指纹时，能够由接收装置10来辨识接收中的影像内容。
[1-2-3.构成]
接下来，利用图7来说明本实施方式中的指纹生成部110。
图7是表示实施方式1中的指纹生成部110的一构成例的框图。
另外，内容辨识装置20所具备的指纹生成部2110具有与接收装置10所具备的指纹生成部110实质上相同的构成、动作，因此省略重复说明。
如图7所示，指纹生成部110具备：图像获取部111、和数据生成部112。
图像获取部111获取由影像提取部12提取出的多个图像帧。
数据生成部112基于由图像获取部111获取到的多个图像帧的帧间的图像的变化来生成指纹作为辨识数据。
指纹有静态指纹和动态指纹这两个种类。静态指纹是基于帧间的图像的变化量比预先设定的阈值(以下设为“第1阈值”)小的区域(以下设为“静态区域”)而生成的指纹。动态指纹是基于帧间的图像的变化量比预先设定的阈值(以下设为“第2阈值”)大的区域(以下设为“动态区域”)而生成的指纹。
辨识数据包含静态指纹和动态指纹的至少一者。另外，根据第1阈值的值以及第2阈值的值而存在静态指纹以及动态指纹均未生成的情况。在该情况下，辨识数据不包含静态指纹以及动态指纹的任一者。
如图7所示，数据生成部112具备：标度变换部210、差分计算部220、决定部230和生成部240。
标度变换部210针对由图像获取部111获取到的多个图像帧来分别执行标度变换。具体而言，标度变换部210针对各图像帧来执行灰度标度变换以及缩减变换。
所谓灰度标度变换，是指将彩色图像变换为灰度标度图像。标度变换部210将图像帧的各像素所具有的颜色信息变换为亮度值，由此将彩色图像变换为灰度标度图像。本公开并不限定该变换方法。例如，标度变换部210可以从各像素之中提取RGB的一个要素，并将该一个要素变换为对应的像素的亮度值。另外，亮度值是表示像素的明亮度的数值，是像素值的一例。或者，标度变换部210可以利用NTSC系加权平均法或简单平均法等来计算亮度值。
所谓缩减变换，是指将构成一个图像帧的像素的数变换为比原始的像素数少的像素数。标度变换部210执行缩减变换，从而将图像帧的图像变换为由更少像素数构成的图像。本公开并不限定该变换方法。例如，标度变换部210可以将各图像分割为分别包含多个像素的多个块，按照每个块来计算一个数值，由此来进行缩减变换。此时，标度变换部210可以按照每个块来计算亮度值的平均值、中间值等，设为表征该块的明亮度的数值。
另外，在本实施方式中，标度变换部210虽然进行灰度标度变换以及缩减变换双方，但本公开丝毫并不限定于该构成。标度变换部210可以仅进行其中的任意一方，或者可以均不进行。即，数据生成部112可以不具备标度变换部210。
差分计算部220根据由图像获取部111获取到的多个图像帧来分别生成图像变化帧。图像变化帧通过计算时间上相邻的两个图像帧(例如，时间上连续的两个图像帧)间的亮度值的差分来生成。因此，图像变化帧表示时间上相邻的两个图像帧间的亮度值的变化量(以下记为“亮度变化值”)。另外，亮度变化值是像素变化值的一例，是表示作为像素值的一例的亮度值的变化量的值。差分计算部220利用由标度变换部210进行了灰度标度变换以及缩减变换的图像帧来生成图像变化帧。
决定部230具备：静态区域决定部231、和动态区域决定部232。
决定部230将由差分计算部220生成的图像变化帧的各亮度变化值的绝对值与第1阈值以及第2阈值进行比较。然后，决定亮度变化值的绝对值比第1阈值小的静态区域、以及亮度变化值的绝对值比第2阈值大的动态区域的至少一者。具体而言，决定部230分别计算图像变化帧的各亮度变化值的绝对值，通过分别执行该绝对值是否小于第1阈值的判定和该绝对值是否大于第2阈值的判定，由此来决定静态区域以及动态区域。
另外，亮度变化值的绝对值的计算可以由差分计算部220来进行。
第1阈值以及第2阈值被设定了预先规定的数值，基于亮度变化值的可取的范围来决定。例如，第1阈值以及第2阈值在亮度变化值的绝对值的最大值的0％～20％的范围内规定。若列举具体的一例，则在亮度变化值的绝对值的最大值为255的情况下，第1阈值为“1”，第2阈值为“20”。另外，这些数值只不过是简单的一例。各阈值期望适当设定。第1阈值和第2阈值可以是彼此相同的数值，也可以是彼此不同的数值。此外，第2阈值期望是比第1阈值大的数值，但第2阈值也可以是比第1阈值小的数值。
决定部230所具备的静态区域决定部231将图像变化帧的亮度变化值的绝对值分别与第1阈值进行比较，通过判定该绝对值是否小于第1阈值，由此来决定静态区域。例如，在第1阈值为“1”的情况下，静态区域决定部231将亮度变化值为“0”的区域设为静态区域。亮度变化值为“0”的区域是在时间上相邻的两个图像帧间亮度值实质上不变化的区域。
决定部230所具备的动态区域决定部232将图像变化帧的亮度变化值的绝对值分别与第2阈值进行比较，通过判定该绝对值是否大于第2阈值，由此来决定动态区域。例如，在第2阈值为“20”的情况下，动态区域决定部232将亮度变化值的绝对值为“21”以上的区域设为动态区域。亮度变化值的绝对值为“21”以上的区域是在时间上相邻的两个图像帧间亮度值变化21以上的区域。
另外，静态区域决定部231以及动态区域决定部232在判定中利用基于由标度变换部210进行了灰度标度变换以及缩减变换的图像帧的图像变化帧的亮度变化值的绝对值。
生成部240具备：静态指纹生成部241、和动态指纹生成部242。
静态指纹生成部241判定从静态区域决定部231输出的静态区域是否占图像变化帧内的预先规定的比例(以下设为“第1比例”)以上。并且，静态指纹生成部241在静态区域为第1比例以上的情况下，基于静态区域按如下方式生成静态指纹。否则，不生成静态指纹。在图像变化帧内所占的静态区域的范围大的情况下，换言之在时间上相邻的两个图像帧间图像的变化少的情况下，静态指纹生成部241生成静态指纹。
静态指纹生成部241在静态区域中过滤用于生成图像变化帧的两个图像帧的一者来生成静态帧。关于该过滤将后述。并且，静态指纹生成部241将所生成的静态帧设为静态指纹。静态帧是包含用于生成图像变化帧的两个图像帧的一者的静态区域的亮度值且静态区域以外的区域的亮度值为一定值(例如“0”)的帧。静态帧的详细内容将后述。
动态指纹生成部242判定从动态区域决定部232输出的动态区域是否占图像变化帧内的预先规定的比例(以下设为“第2比例”)以上。并且，动态指纹生成部242在动态区域为第2比例以上的情况下，基于动态区域按如下方式生成动态指纹。否则，不生成动态指纹。在图像变化帧内所占的动态区域的范围大的情况下，换言之在时间上相邻的两个图像帧间图像的变化多的情况下，动态指纹生成部242生成动态指纹。
动态指纹生成部242在动态区域中过滤图像变化帧来生成动态帧。关于该过滤将后述。并且，动态指纹生成部242将所生成的动态帧设为动态指纹。动态帧是包含图像变化帧的动态区域的亮度值且动态区域以外的区域的亮度值为一定值(例如“0”)的帧。动态帧的详细内容将后述。
另外，第1比例以及第2比例被设定了预先规定的数值。例如，第1比例以及第2比例在20％～40％的范围内规定。若列举具体的一例，则第1比例以及第2比例分别为30％。另外，这些数值只不过是简单的一例。第1比例以及第2比例期望适当设定。第1比例和第2比例可以是彼此相同的数值，也可以是彼此不同的数值。
通过以上的构成，指纹生成部110按照每个图像帧来生成静态指纹以及动态指纹的任意一者。或者，均不生成。即，在从影像内容之中获取到N个图像帧的情况下，指纹生成部110生成将静态指纹以及动态指纹合在一起最大程度包含N-1个的指纹。
另外，连续的同一场景内生成的各静态指纹相互类似的可能性高。因此，静态指纹生成部241在连续的多个图像帧反映同一场景的情况下，可以从由同一场景生成的多个静态指纹之中选择一个静态指纹来输出。
在现有技术中，图像帧的核对需要轮廓探测等负荷较重的处理。但是，在本实施方式中，基于图像帧间的图像的变化来生成指纹。图像帧间的图像的变化的检测能够以差分的计算等负荷较轻的处理来执行。即，在本实施方式中的指纹生成部110之中，能够以负荷较轻的处理来生成指纹。这些在指纹生成部2110中也是同样的。
[1-3.动作]
接下来，利用图8～图28来说明本实施方式中的内容辨识系统1的动作。
[1-3-1.整体的动作]
首先，利用图8来说明本实施方式中的内容辨识系统1的整体的动作。
图8是表示实施方式1中的内容辨识系统1所具备的内容辨识装置20的一动作例的流程图。
首先，内容接收部21从广播站2接收影像内容(步骤S1)。
内容接收部21在接收装置10接收之前先从多个广播站2接收广播中的多个影像内容。内容接收部21可以预先接收广播之前的影像内容。如上所述，内容接收部21接收多个影像内容分别作为影像内容候选。
然后，指纹生成部2110生成辨识数据(步骤S2)。
具体而言，指纹生成部2110生成与内容接收部21接收到的多个影像内容候选分别对应的指纹。关于指纹生成的详细内容，利用图9而在后面阐述。
接下来，指纹生成部2110将在步骤S2中生成的辨识数据保存于指纹DB22(步骤S3)。
具体而言，如在图4中示出的一例那样，指纹生成部2110将在步骤S2中生成的指纹53与定时信息51以及类别信息52建立对应，并将建立了对应的这些数据作为辨识数据50保存于指纹DB22。此时，指纹生成部2110可以将指纹53例如按照每个广播站2进行保存。此外，可以将用于人物简介过滤的内容信息与指纹53建立对应地进行保存。
内容辨识装置20判断从接收装置10是否接收到辨识数据40(步骤S4)。
内容辨识装置20判断出从接收装置10未接收到辨识数据40的情况下(步骤S4的“否”)，返回步骤S1，执行步骤S1以后的处理。内容辨识装置20直至从接收装置10接收到辨识数据40为止，反复执行步骤S1～步骤S3的处理。
内容辨识装置20判断出从接收装置10接收到辨识数据40的情况下(步骤S4的“是”)，指纹过滤部23对保存于指纹DB22的辨识数据50进行过滤(步骤S5)。关于该过滤的详细内容，利用图19而在后面阐述。
然后，指纹核对部24针对在步骤S5中过滤后的辨识数据50，核对在步骤S4中从接收装置10接收到的辨识数据40(步骤S6)。关于核对的详细内容，利用图24而在后面阐述。
指纹核对部24判断步骤S6中的核对是否已完成(步骤S7)。
在指纹核对部24未完成步骤S6的核对的情况下(步骤S7的“否”)，内容辨识装置20返回步骤S1，执行步骤S1以后的处理。
在指纹核对部24已完成步骤S6的核对的情况下(步骤S7的“是”)，内容辨识装置20将步骤S6的核对结果(即，图像辨识的结果)发送至接收装置10(步骤S8)。
接收装置10从内容辨识装置20接收图像辨识的结果，从而能够基于接收到的图像辨识的结果来执行附加信息的叠加显示等处理。
在步骤S8后，内容辨识装置20判定是否结束影像内容的辨识处理(步骤S9)。本公开并不限定步骤S9中的判定方法。例如，在预先规定的期间内从接收装置10未发送辨识数据40时，内容辨识装置20可以设定为在步骤S9中进行“是”的判定。或者，在从接收装置10接收到表示处理结束的信息时，内容辨识装置20可以设定为在步骤S9中进行“是”的判定。
在从接收装置10向内容辨识装置20发送了新的辨识数据40时，内容辨识装置20不结束影像内容的辨识处理(步骤S9的“否”)，返回步骤S1，反复执行步骤S1以后的一系列处理。在结束影像内容的辨识处理的情况下(步骤S9的“是”)，内容辨识装置20结束与图像辨识有关的处理。
[1-3-2.辨识数据的生成]
接下来，利用图9～图18来说明在本实施方式中生成辨识数据时的处理(图8的步骤S2的处理)的详细内容。
首先，利用图9来说明生成辨识数据时的处理的概要。
图9是表示实施方式1中的生成辨识数据时的处理的一例的流程图。图9的流程图表示在图8的步骤S2中执行的处理的概要。
首先，指纹生成部2110关于在步骤S1中由内容接收部21接收到的多个影像内容候选的各图像帧，来计算图像帧间的图像的变化量(步骤S20)。关于图像的变化量的计算的详细内容，利用图11～图13而在后面阐述。
另外，在接收装置10所具备的指纹生成部110中，根据由影像提取部12提取出的多个图像帧来计算图像帧间的图像的变化量(步骤S20)。这点是指纹生成部110与指纹生成部2110的差异。但是，除了该点之外，指纹生成部110和指纹生成部2110实质上进行相同的动作。
然后，指纹生成部2110生成静态指纹(步骤S21)。
指纹生成部2110基于图像变化帧来决定静态区域，基于决定出的静态区域来生成静态指纹。关于静态指纹的生成的详细内容，利用图14、图15而在后面阐述。
接下来，指纹生成部2110生成动态指纹(步骤S22)。
指纹生成部2110基于图像变化帧来决定动态区域，基于决定出的动态区域来生成动态指纹。关于动态指纹的生成的详细内容，利用图16～图18而在后面阐述。
另外，步骤S21中的静态指纹的生成处理和步骤S22中的动态指纹的生成处理，可以其中一方先执行，或者可以相互并行地执行。
在此，在图10中列举一例来说明辨识数据的生成处理过程中的图像帧的变化。
图10是示意性地表示实施方式1中的辨识数据的生成处理过程中的图像帧的变化的一例的图。
另外，在图10中示意性地示出：内容接收部21在步骤S1中获取到的影像内容候选所含的多个图像帧(a)、在后述的步骤S200中进行了灰度标度变换的图像帧(b)、在后述的步骤S201中进行了缩减变换的图像帧(c)、在后述的步骤S202中计算出的变化量(d)、以及在步骤S21以及步骤S22中生成的指纹(e)。
首先，在图10的图像帧(a)中，示出在图8所示的步骤S1中从影像内容候选之中获取到9个图像帧A001～A009时的例子。在图10所示的例子中，图像帧A001～A009分别包含在第1场景～第3场景的三个场景的任意一个场景中。图像帧A001～A003包含在第1场景中，图像帧A004～A006包含在第2场景中，图像帧A007～A009包含在第3场景中。图像帧A001～A009是所谓的彩色图像，包含颜色信息。
然后，在图10的图像帧(b)中，示出针对在图8的步骤S1中提取出的9个图像帧A001～A009而分别在后述的图11的步骤S200中进行灰度标度变换时的例子。由此，图像帧A001～A009所含的颜色信息按照每个像素被变换为亮度值。
接下来，在图10的图像帧(c)中，示出针对在后述的图11的步骤S200中进行了灰度标度变换的9个图像帧A001～A009而分别在后述的图11的步骤S201中进行了缩减变换时的例子。由此，构成图像帧的像素数被削减。另外，在图10的图像帧(c)中，示出一个图像帧被分割为5块×5块的25个块时的例子。这能够换言之为将构成一个图像帧的像素的数缩减变换为25个。图10的图像帧(c)所示的各块的亮度值根据构成各块的多个像素的亮度值来计算。关于各块的亮度值，通过按照每个块来计算构成块的多个像素的亮度值的平均值、中间值等，由此能够计算。
另外，在图10的图像帧(c)中，各块的浓淡对应于亮度值的大小。亮度值越大，则越使得该块更浓地示出，亮度值越小，则越使得该块更淡地示出。
然后，在图10的变化量(d)中，示出根据在后述的图11的步骤S201中进行了缩减变换的9个图像帧A001～A009而在后述的图11的步骤S202中生成了8个图像变化帧B001～B008时的例子。在步骤S202中，通过在时间上相邻的两个图像帧间计算亮度值的变化量(即，亮度变化值)，由此来生成一个图像变化帧。在步骤S202中，例如根据进行了缩减变换的图像帧A001和图像帧A002来生成图像变化帧B001。
另外，在图10的变化量(d)中，构成图像变化帧的各块的浓淡对应于图像变化帧的亮度变化值，即，对应于进行了缩减变换的两个图像帧间的亮度值的变化量。亮度值的变化量越大，则越使得该块更浓地示出，亮度值的变化量越小，则越使得该块更淡地示出。
接下来，在图10的指纹(e)中，示出根据在后述的图11的步骤S202中生成的8个图像变化帧B001～B008而生成合计5个静态指纹以及动态指纹时的例子。
在图10所示的例子中，图像变化帧B001和图像变化帧B002均根据同一场景所含的图像帧A001～A003来生成。因而，图像变化帧B001和图像变化帧B002相互类似。因此，在步骤S21中，能够根据图像变化帧B001和图像变化帧B002生成一个静态指纹C002。关于图像变化帧B004和图像变化帧B005、以及图像变化帧B007和图像变化帧B008，也是同样的。
另一方面，在图10所示的例子中，图像变化帧B003根据成为场景切换的两个图像帧A003、A004来生成。因此，在步骤S22中，能够根据图像变化帧B003生成一个动态指纹D003。图像变化帧B006也是同样的。
在图10所示的例子中，如此根据图像帧A001～A009生成的影像内容的指纹具有：三个静态指纹C002、C005、C008和两个动态指纹D003、D006。
如此，所生成的影像内容的指纹包含一个以上的静态指纹以及一个以上的动态指纹之中的至少两个。影像内容的指纹可以仅由两个以上的静态指纹构成，可以仅由两个以上的动态指纹构成，或者也可以由一个以上的静态指纹以及一个以上的动态指纹构成。
另外，在图10的指纹(e)中，构成静态指纹或动态指纹的各块的浓淡对应于该块的亮度值的大小。
[1-3-3.标度变换以及变化量的计算]
接下来，利用图11～图13来说明在本实施方式中计算图像帧间的变化量时的处理的详细内容。
图11是表示实施方式1中的图像帧间的变化量的计算处理的一例的流程图。图11的流程图表示在图9的步骤S20中执行的处理的概要。
图12是示意性地表示实施方式1中的图像帧的缩减变换处理的一例的图。
图13是示意性地表示实施方式1中的图像帧间的变化量的计算处理的一例的图。
说明图11的流程图。首先，图7所示的标度变换部210进行提取出的多个图像帧的灰度标度变换(步骤S200)。
标度变换部210将提取出的多个图像帧之一和在时间上与该图像帧相邻的图像帧分别变换为灰度标度。另外，在本实施方式中，将提取出的一个图像帧设为“帧91”，将在时间上与帧91相邻的图像帧设为“帧92”。标度变换部210例如基于NTSC系加权平均法而将帧91、92的颜色信息变换为亮度值。
另外，在本实施方式中，将帧91后面紧随的图像帧设为帧92。但是，本公开丝毫并不限定于该构成。帧92可以是帧91前面紧挨的图像帧。或者，帧92可以是帧91前2帧以上的图像帧，或者可以是帧91后2帧以上的图像帧。
然后，标度变换部210进行被灰度标度变换后的两个图像帧的缩减变换(步骤S201)。
图12表示对图像帧A003、A004进行缩减变换的例子。在图12所示的例子中，图像帧A003相当于帧91，图像帧A004相当于帧92。
例如，如图12所示，标度变换部210将图像帧A003分割为5块×5块的25个块。在图12所示的例子中，假设各块包含9像素×9像素的81个像素。例如，图像帧A003的左上角的块如图12所示，由具有“77”、“95”等亮度值的81个像素构成。另外，这些数值只不过是简单的一例，本公开丝毫不限定于这些数值。
标度变换部210例如按照每个块来计算各块所含的多个像素的亮度值的平均值，由此来计算表征该块的亮度值。在图12所示的例子中，通过计算构成图像帧A003的左上角的块的81个像素的亮度值的平均值，由此计算出“103”这一值。如此计算出的值(平均值)是表征左上角的块的亮度值。标度变换部210如此关于构成图像帧A003的所有块来分别计算表征各块的亮度值。
由此，能够将构成图像帧的像素数变换(即，缩减)为块的数。在图12所示的例子中，将具有45像素×45像素的像素数的图像帧缩减变换为由5块×5块的25个块构成的图像帧。这能够换言之为将具有45像素×45像素的像素数的图像帧缩减变换为具有5像素×5像素的像素数的图像帧。
在图12所示的例子中，缩减变换后的图像帧A003由包含“103”、“100”等平均值的25个块构成。这可以换言之为缩减变换后的图像帧A003由具有“103”、“100”等亮度值的25个像素构成。图像帧A004也同样地被进行缩减变换。另外，在本实施方式中，存在将构成缩减变换后的图像帧的各块表现为“像素”，将按照每个块计算的亮度的平均值表现为“缩减变换后的图像帧的像素的亮度值”的情况。
接下来，图7所示的差分计算部220在缩减变换后的帧91与帧92之间计算亮度值的差分，生成由亮度值的差分(即，亮度变化值)构成的图像变化帧(步骤S202)。
例如，在图13所示的例子中，差分计算部220分别计算构成缩减变换后的帧91的各像素的亮度值与构成缩减变换后的帧92的各像素的亮度值之间的差分。此时，差分计算部220在相同位置的像素彼此之间计算亮度值的差分。例如，差分计算部220从图像帧A003的左上角的亮度值“103”之中减去图像帧A004的左上角的亮度值“89”，计算出图像变化帧B003的左上角的亮度变化值“14”。
如此，差分计算部220在缩减变换后的两个图像帧间针对所有像素(即，所有块)计算亮度值的差分，来生成图像变化帧。在图12所示的例子中，根据缩减变换后的图像帧A003、A004来生成图像变化帧B003。
[1-3-4.静态指纹的生成]
接下来，利用图14、图15来说明在本实施方式中生成静态指纹时的处理的详细内容。
图14是表示实施方式1中的静态指纹的生成处理的一例的流程图。图14的流程图表示在图9的步骤S21中执行的处理的概要。
图15是示意性地表示实施方式1中的基于图像帧间的变化量而生成的静态指纹的一例的图。
首先，图7所示的静态区域决定部231决定静态区域(步骤S210)。
静态区域决定部231计算图像变化帧的亮度变化值的绝对值，并将该绝对值与第1阈值进行比较。并且，判定亮度变化值的绝对值是否小于第1阈值，将亮度变化值的绝对值小于第1阈值的区域设为静态区域。如此决定静态区域。亮度变化值的绝对值是时间上相邻的两个图像帧间的亮度值的变化量。
例如，若第1阈值设定为“1”，则静态区域决定部231将图像变化帧的亮度变化值为“0”的区域设为静态区域，即，将在时间上相邻的两个图像帧间亮度值实质上不变化的区域设为静态区域。在该设定的情况下，在图15所示的例子中，在图像变化帧B002中作为亮度变化值而记入了“0”的13个块成为静态区域。
然后，图7所示的静态指纹生成部241在步骤S210中决定出的静态区域内对帧91进行过滤，生成静态帧(步骤S211)。
该过滤是指针对构成帧91的各块的亮度值实施如下的处理。关于在步骤S210中决定出的静态区域，直接使用与该静态区域相应的帧91的块的亮度值，关于静态区域以外的块，将亮度值设为一定值(例如“0”)。
通过对帧91进行过滤而生成的静态帧，在图15所示的例子中为静态帧C002。在静态帧C002中，关于在图像变化帧B002中亮度变化值成为“0”的块(静态区域)，直接使用帧91的亮度值，关于静态区域以外的块，亮度值成为“0”。
接下来，图7所示的静态指纹生成部241计算在步骤S210中决定出的静态区域的比例，并与第1比例进行比较，判定静态区域的比例是否为第1比例以上(步骤S212)。
静态指纹生成部241基于相对于构成图像变化帧的块的总数的、在步骤S210中设为静态区域的块数，来计算静态区域的比例。在图15所示的图像变化帧B002的例子中，构成图像变化帧的块的总数为25，静态区域的块数为13，因此静态区域的比例成为52％。因此，若第1比例例如为30％，则在图15所示的例子中，在步骤S212中判定为“是”。
在步骤S212中判定出静态区域的比例为第1比例以上的情况下(步骤S212的“是”)，静态指纹生成部241将在步骤S211中生成的静态帧作为静态指纹来保存(步骤S213)。
在图15所示的例子中，在步骤S212中判定为“是”的情况下，静态帧C002作为静态指纹C002保存于内容辨识装置20所具有的指纹DB22。另一方面，在接收装置10中，静态指纹保存于接收装置10所具有的存储装置(例如辨识部100的内部存储器等，未图示)。
在步骤S212中判定出静态区域的比例小于第1比例的情况下(步骤S212的“否”)，静态指纹生成部241不保存在步骤S211中生成的静态帧而将其废弃(步骤S214)。因此，在步骤S212中判定为“否”的情况下，不生成静态指纹。
另外，如在图4中示出的一例那样，静态指纹C002的各块的值(例如“103”、“100”等)成为指纹的特征量。
如此，在指纹生成部2110中，基于在图像帧内静态区域是否大于第1比例来生成静态指纹。即，指纹生成部2110能够从图像帧之中适当地提取背景、运动、变化小的区域等来生成静态指纹。
另外，在图14的流程图中，说明了在步骤S211中进行过滤来生成静态帧之后，在步骤S212中进行是否保存静态帧的判定的动作例，但本公开丝毫并不限定于该处理顺序。例如，各处理的次序可以设定为：在步骤S210中决定静态区域之后，执行步骤S212，在步骤S212中判定为“是”时，执行步骤S211来生成静态帧，在后续的步骤S213中将该静态帧作为静态指纹来保存。
[1-3-5.动态指纹的生成]
接下来，利用图16～图18来说明在本实施方式中生成动态指纹时的处理的详细内容。
图16是表示实施方式1中的动态指纹的生成处理的一例的流程图。图16的流程图表示在图9的步骤S22中执行的处理的概要。
图17是示意性地表示实施方式1中的未生成动态指纹的图像帧的一例的图。
图18是示意性地表示实施方式1中的基于图像帧间的变化量而生成的动态指纹的一例的图。
首先，图7所示的动态区域决定部232决定动态区域(步骤S220)。
动态区域决定部232计算图像变化帧的亮度变化值的绝对值，并将该绝对值与第2阈值进行比较。并且，判定亮度变化值的绝对值是否大于第2阈值，将亮度变化值的绝对值大于第2阈值的区域设为动态区域。如此决定动态区域。
例如，若第2阈值设定为“20”，则在图像变化帧中亮度变化值的绝对值为“21”以上的块成为动态区域。在该设定的情况下，在图17所示的例子中，在图像变化帧B002中作为亮度变化值而记入了“21”以上或“-21”以下的数值的两个块成为动态区域，在图18所示的例子中，在图像变化帧B003中作为亮度变化值而记入了“21”以上或“-21”以下的数值的11个块成为动态区域。
然后，图7所示的动态指纹生成部242在步骤S220中决定出的动态区域内对图像变化帧进行过滤，生成动态帧(步骤S221)。
该过滤是指针对构成图像变化帧的各块的亮度变化值实施如下的处理。关于在步骤S220中决定出的动态区域，直接使用与该动态区域相应的块的亮度变化值，关于动态区域以外的块，将亮度变化值设为一定值(例如“0”)。
通过对图像变化帧进行过滤而生成的动态帧，在图17所示的例子中为动态帧D002，在图18所示的例子中为动态帧D003。在动态帧D002、D003中，关于在图像变化帧B002、B003中亮度变化值成为“21”以上或“-21”以下的块(动态区域)，直接使用图像变化帧B002、B003的亮度变化值，关于动态区域以外的块，亮度变化值成为“0”。
另外，针对图像变化帧的步骤S220、步骤S221的处理，例如能够关于亮度变化值的绝对值为第2阈值以下的块而以将该亮度变化值置换为“0”的总括性处理来执行。
接下来，动态指纹生成部242计算在步骤S220中决定出的动态区域的比例，并与第2比例进行比较，判定动态区域的比例是否为第2比例以上(步骤S222)。
动态指纹生成部242基于相对于构成图像变化帧的块的总数的、在步骤S220中设为动态区域的块数，来计算动态区域的比例。在图17所示的图像变化帧B002的例子中，构成图像变化帧的块的总数为25，动态区域的块数为2，因此动态区域的比例成为8％。在图18所示的图像变化帧B003的例子中，构成图像变化帧的块的总数为25，动态区域的块数为11，因此动态区域的比例成为44％。因此，若第2比例例如为30％，则在图17所示的例子中，在步骤S222中判定为“否”，在图18所示的例子中，在步骤S222中判定为“是”。
在步骤S222中判定出动态区域的比例为第2比例以上的情况下(步骤S222的“是”)，动态指纹生成部242将在步骤S221中生成的动态帧作为动态指纹来保存(步骤S223)。
另一方面，在判定出动态区域的比例小于第2比例的情况下(步骤S222的“否”)，动态指纹生成部242不保存在步骤S221中生成的动态帧而将其废弃(步骤S224)。因此，在步骤S222中判定为“否”的情况下，不生成动态指纹。
在图18所示的例子中，在步骤S222中判定为“是”的动态帧D003作为动态指纹D003保存于内容辨识装置20所具有的指纹DB22。另一方面，在接收装置10中，动态指纹保存于接收装置10所具有的存储装置(例如辨识部100的内部存储器等，未图示)。
在图17所示的例子中，在步骤S222中判定为“否”的动态帧D002不保存而被废弃。
另外，如在图4中示出的一例那样，动态指纹D003的各块的值(例如“0”、“24”等)成为指纹的特征量。
如此，在指纹生成部2110中，基于在图像帧内动态区域是否大于第2比例来生成动态指纹。即，指纹生成部2110能够从图像帧之中适当地提取由于场景的切换等而引起图像的大幅变化的区域来生成动态指纹。
另外，在图16的流程图中，说明了在步骤S221中进行过滤来生成动态帧之后，在步骤S222中进行是否保存动态帧的判定的动作例，但本公开丝毫并不限定于该处理顺序。例如，各处理的次序可以设定为：在步骤S220中决定动态区域之后，执行步骤S222，在步骤S222中判定为“是”时，执行步骤S221来生成动态帧，在后续的步骤S223中将该动态帧作为动态指纹来保存。
[1-3-6.过滤]
接下来，利用图19～图23来说明内容辨识装置20的指纹过滤部23所执行的过滤处理。首先，利用图19来说明过滤处理的概要。
图19是表示实施方式1中的指纹过滤部23所执行的过滤处理的一例的流程图。图19的流程图表示在图8的步骤S5中执行的处理的概要。
如图19所示，内容辨识装置20的指纹过滤部23按次序执行区域过滤、人物简介过滤、属性过滤、属性序列过滤的各过滤处理，来减少图像辨识处理中的核对对象。
首先，指纹过滤部23利用附属信息所含的地理信息，针对保存于指纹DB22的影像内容候选来执行区域过滤处理(步骤S50)。
所谓区域过滤处理，是指将由在地理信息所表示的地域中无法视听的广播站2所广播的影像内容候选从图像辨识处理中的核对对象之中排除的处理。
若从接收装置10发送的附属信息中包含地理信息，则指纹过滤部23基于该地理信息来执行区域过滤处理。由此，内容辨识装置20能够减少作为图像辨识处理中的核对对象而从指纹DB22读出的指纹53，因此能够降低图像辨识所涉及的处理。
例如，若从接收装置10发送的附属信息中包含表示“东京”的地理信息，则指纹过滤部23将作为图像辨识处理中的核对对象而从指纹DB22读出的指纹53减少为由能够在东京接收的广播站2所发送的影像内容候选的指纹53。
然后，指纹过滤部23利用附属信息所含的用户信息来执行人物简介过滤处理(步骤S51)。
所谓人物简介过滤处理，是指将与用户信息所表示的用户的特征不一致的影像内容候选从图像辨识处理中的核对对象之中排除的处理。
若从接收装置10发送的附属信息中包含用户信息，则指纹过滤部23基于该用户信息来执行人物简介过滤处理。由此，内容辨识装置20能够减少在图像辨识处理中作为核对对象的指纹53，因此能够降低图像辨识所涉及的处理。
例如，若附属信息中包含表示20岁以上的年龄段的用户信息，则指纹过滤部23将不以该年龄段为视听对象的影像内容候选(例如以幼儿为视听对象的幼儿节目等)从图像辨识中的核对对象之中排除。
接下来，指纹过滤部23执行属性过滤处理(步骤S52)。
所谓属性过滤处理，是指对影像内容候选的辨识数据50所含的指纹53的类别信息52和从接收装置10发送出的辨识数据40所含的类别信息42进行比较的处理。
指纹过滤部23通过执行属性过滤处理，从而将不包含种类与从接收装置10发送出的辨识数据40所含的类别信息42相同的类别信息52的指纹53的辨识数据50从图像辨识处理中的核对对象之中排除，将包含种类与类别信息42相同的类别信息52的指纹53的辨识数据50选择为图像辨识处理中的核对对象的候选。由此，内容辨识装置20能够减少在图像辨识处理中作为核对对象的指纹53，因此能够降低图像辨识所涉及的处理。
例如，在图3、图4所示的例子中，从接收装置10发送出的辨识数据40所具有的类别信息42中包含“A类型”和“B类型”。因此，指纹过滤部23将具有只是“A类型”的类别信息52b的辨识数据50b从图像辨识处理中的核对对象之中排除。
关于属性过滤的详细内容，利用图20、图21而在后面阐述。
然后，指纹过滤部23执行属性序列过滤处理(步骤S53)。
所谓属性序列过滤处理，是指对影像内容候选的辨识数据50所含的类别信息52的排列顺序和从接收装置10发送出的辨识数据40所含的类别信息42的排列顺序进行比较的处理。另外，类别信息42、52的排列顺序可以基于定时信息41、51所表示的时刻来设定。在该情况下，该排列顺序基于指纹43、53的生成顺序来决定。
指纹过滤部23通过执行属性序列过滤处理，从而将不包含以与从接收装置10发送出的辨识数据40所含的类别信息42的排列顺序相同的顺序而排列的类别信息52的辨识数据50从图像辨识处理中的核对对象之中排除，将包含以与类别信息42相同的顺序而排列的类别信息52的辨识数据50选择为图像辨识处理中的核对对象。由此，内容辨识装置20能够减少在图像辨识处理中作为核对对象的指纹53，因此能够降低图像辨识所涉及的处理。
例如，在图3、图4所示的例子中，从接收装置10发送出的辨识数据40所含的类别信息42的排列顺序为“A类型、B类型、A类型”。因此，指纹过滤部23将包含排列为“A类型、A类型、B类型”的类别信息52c的辨识数据50c从图像辨识处理中的核对对象之中排除，将包含排列为“A类型、B类型、A类型”的类别信息52a的辨识数据50a作为图像辨识处理中的核对对象。
关于属性序列过滤的详细内容，利用图22、图23而在后面阐述。
最后，指纹过滤部23将通过步骤S50～步骤S53的各过滤处理而筛选出的影像内容候选的辨识数据50输出至指纹核对部24(步骤S54)。
并且，内容辨识装置20的指纹核对部24针对由指纹过滤部23筛选出的辨识数据50而核对从接收装置10发送出的辨识数据40，来执行图像辨识处理。并且，内容辨识装置20将该图像辨识处理的结果(即，表征包含与辨识数据40对应的辨识数据50的影像内容候选的信息)发送至接收装置10。
如以上，在内容辨识装置20中，能够通过指纹过滤部23所执行的过滤来减少在图像辨识处理时作为核对对象的辨识数据50。由此，能够降低影像内容的辨识(图像辨识)所涉及的处理。
另外，在图19中，示出指纹过滤部23针对通过步骤S50的区域过滤处理而筛选出的辨识数据50来执行步骤S51的人物简介过滤处理，针对通过该处理而筛选出的辨识数据50来执行步骤S52的属性过滤处理，针对通过该处理而筛选出的辨识数据50来执行步骤S53的属性序列过滤处理的动作例，但本公开丝毫并不限定于该处理顺序。各过滤处理的顺序可以调换。或者，各过滤处理可以独立执行。
[1-3-6-1.属性过滤]
接下来，利用图20、图21来说明内容辨识装置20的指纹过滤部23所执行的属性过滤处理。
图20是表示实施方式1中的指纹过滤部23所执行的属性过滤处理的一例的流程图。
图21是示意性地表示实施方式1中的指纹过滤部23所执行的属性过滤处理的一具体例的图。
首先，指纹过滤部23从接收装置10发送出的辨识数据40之中获取类别信息42以及定时信息41(步骤S520)。
如在图3中示出的一例那样，从接收装置10发送的辨识数据40中包含定时信息41、类别信息42以及指纹43。并且，在图21所示的例子中，从接收装置10发送的辨识数据40中，作为类别信息42而包含“A类型”，作为定时信息41而包含“07/07/2014 03：32：36.125”，指纹过滤部23在步骤S520中获取这些信息。
然后，指纹过滤部23从指纹DB22之中读出并获取多个辨识数据50(步骤S521)。
在图19所示的动作例中，指纹过滤部23获取通过步骤S50的区域过滤处理以及步骤S51的人物简介过滤处理而筛选出的辨识数据50。如在图4中示出的一例那样，在辨识数据50中包含定时信息51、类别信息52以及指纹53。在图21中示出指纹过滤部23从指纹DB22之中获取从各广播站α、β、γ、δ、ε发送并蓄积于指纹DB22的影像内容α1、β1、γ1、δ1、ε1分别对应的辨识数据50的动作例。在图21中，影像内容α1、β1、γ1、δ1、ε1分别是影像内容候选。
此时，指纹过滤部23从指纹DB22之中获取具有时刻与从接收装置10接收到的定时信息41所表示的时刻接近的定时信息51的辨识数据50(即，具有在与指纹43的生成时刻接近的时刻生成的指纹53的辨识数据50)。
另外，指纹过滤部23针对从接收装置10接收到的定时信息41而从指纹DB22之中获取处于何种程度的时间范围内的辨识数据50，期望根据内容辨识装置20的规格等来适当设定。
例如，指纹过滤部23可以从指纹DB22之中获取定时信息51所表示的时刻包含在从接收装置10接收到的定时信息41所表示的时刻与比该时刻靠前给定的时间(例如3秒等)的时刻之间的辨识数据50。
在图21中示出该给定的时间设定为2.5秒的动作例。在图21所示的动作例中，定时信息41所表示的时刻为“07/07/2014 03：32：36.125”。因此，指纹过滤部23从36.125秒减去2.5秒而计算出33.625秒。然后，从指纹DB22之中获取定时信息51所表示的时刻包含在“07/07/2014 03：32：33.625”～“07/07/2014 03：32：36.125”的范围内的辨识数据50。
接下来，指纹过滤部23利用从接收装置10获取到的类别信息42和辨识数据50所含的类别信息52，来选择在图像辨识处理中作为核对对象的辨识数据50的候选(步骤S522)。
具体而言，指纹过滤部23将不包含种类与从接收装置10获取到的类别信息42相同的类别信息52的辨识数据50从图像辨识处理中的核对对象之中排除，将包含种类与该类别信息42相同的类别信息52的辨识数据50作为图像辨识处理中的核对对象的候选。
在图21所示的例子中，指纹过滤部23从接收装置10之中获取“A类型”的类别信息42。因此，指纹过滤部23将包含“A类型”的类别信息52的辨识数据50选择为图像辨识处理中的核对对象的候选，将不包含“A类型”的类别信息52而仅包含“B类型”的类别信息52的辨识数据50从该核对对象之中排除。在图21所示的例子中，选择为图像辨识处理中的核对对象的候选的是影像内容α1、影像内容β1以及影像内容γ1的辨识数据50，影像内容δ1以及影像内容ε1的辨识数据50从该核对对象之中排除。
[1-3-6-2.属性序列过滤]
接下来，利用图22、图23来说明内容辨识装置20的指纹过滤部23所执行的属性序列过滤处理。
图22是表示实施方式1中的指纹过滤部23所执行的属性序列过滤处理的一例的流程图。
图23是示意性地表示实施方式1中的指纹过滤部23所执行的属性序列过滤处理的一具体例的图。
首先，指纹过滤部23从指纹历史记录信息DB25之中获取内容辨识装置20从接收装置10接收到的过去的辨识数据40(步骤S530)。
具体而言，指纹过滤部23若从接收装置10接收到新的辨识数据40(记为“辨识数据40n”)，则从指纹历史记录信息DB25之中读出并获取包含在辨识数据40n之前刚刚接收到的辨识数据40的过去的辨识数据40。该辨识数据40中包含指纹43和与该指纹43对应的类别信息42以及定时信息41。
在图23中，示出指纹过滤部23从接收装置10接收到新的辨识数据40n之后从指纹历史记录信息DB25之中获取蓄积于指纹历史记录信息DB25的最新的三个辨识数据40(在图23中记为“辨识数据40a”、“辨识数据40b”、“辨识数据40c”)的例子。另外，从指纹历史记录信息DB25读出的辨识数据40的数目期望根据内容辨识装置20的规格等来适当设定。
然后，指纹过滤部23基于从接收装置10接收到的辨识数据40n和从指纹历史记录信息DB25获取到的辨识数据40各自的定时信息41来生成类别信息42的序列60(步骤S531)。
序列60是指按照定时信息41所示的时刻的顺序排列类别信息42而生成的信息。在图23中，示出指纹过滤部23基于辨识数据40n和从指纹历史记录信息DB25获取到的辨识数据40a、40b、40c按照各个定时信息41所表示的时刻的顺序(时刻从新到旧的顺序)排列各类别信息42来生成序列60的例子。在图23所示的例子中，按照定时信息41所表示的时刻的顺序而成为辨识数据40n、40a、40b、40c，这些类别信息42全部为“A类型”，因此序列60成为“A类型、A类型、A类型、A类型”。
接下来，指纹过滤部23从指纹DB22之中读出并获取多个辨识数据50(步骤S532)。
具体而言，指纹过滤部23在步骤S52的属性过滤处理中从指纹DB22之中获取选择为图像辨识处理中的核对对象的候选的辨识数据50。
在图23中示出获取到从广播站α发送出的影像内容α1、从广播站β发送出的影像内容β1、从广播站γ发送出的影像内容γ1的动作例。另外，在图23所示的例子中，影像内容δ1、ε1已经在属性过滤处理中被排除。另外，在图23所示的例子中，影像内容α1、β1、γ1分别是影像内容候选。
然后，指纹过滤部23关于在步骤S532中从指纹DB22获取到的辨识数据50来分别生成序列候选61(步骤S533)。
序列候选61是以与在步骤S531中生成的序列60实质上相同的方法而生成的信息，是按照辨识数据50的定时信息51所表示的时刻的顺序(时刻从新到旧的顺序)排列辨识数据50的类别信息52而生成的信息。为了生成序列候选61，指纹过滤部23从在步骤S532中获取到的多个辨识数据50之中选择具有时刻与序列60所含的各辨识数据40的定时信息41所表示的时刻最接近的定时信息51的辨识数据50。然后，基于选择出的辨识数据50来生成序列候选61。
在图23所示的例子中，从接收装置10发送出的辨识数据40n的定时信息41所表示的时刻为“07/07/2014 03：32：36.125”。因此，指纹过滤部23关于影像内容α1、β1、γ1而分别从各辨识数据50之中选择具有表示与该时刻最接近的时刻的定时信息51的辨识数据50。在图23所示的例子中，从影像内容α1、β1、γ1各自的各辨识数据50之中选择具有时刻表示“07/07/2014 03：32：36.000”的定时信息51的辨识数据50。
指纹过滤部23关于辨识数据40a、40b、40c，也分别与辨识数据40n同样地，从影像内容α1、β1、γ1各自的各辨识数据50之中选择具有表示与定时信息41所表示的时刻最接近的时刻的定时信息51的辨识数据50。
然后，指纹过滤部23关于影像内容α1、β1、γ1而分别将该选择出的辨识数据50所含的类别信息52按照该辨识数据50所含的定时信息51所表示的时刻的顺序(时刻从新到旧的顺序)排列来生成序列候选61。在图23所示的例子中，影像内容α1的序列候选61成为“A类型、A类型、A类型、A类型”，影像内容β1的序列候选61成为“B类型、B类型、A类型、B类型”，影像内容γ1的序列候选61成为“B类型、A类型、B类型、A类型”。如此，在步骤S533中，按照每个影像内容候选来生成序列候选61。
然后，指纹过滤部23利用在步骤S531中基于辨识数据40而生成的序列60，来决定成为图像辨识的核对对象的辨识数据50(步骤S534)。
在步骤S534中，指纹过滤部23比较在步骤S531中生成的序列60和在步骤S533中生成的序列候选61。然后，指纹过滤部23选择具有以与序列60中的类别信息42相同的顺序而排列的类别信息52的序列候选61。如此选择出的序列候选61的辨识数据50成为图像辨识的核对对象。
在图23所示的例子中，在序列60中，类别信息42按照“A类型、A类型、A类型、A类型”的次序排列。因此，指纹过滤部23选择类别信息52按照“A类型、A类型、A类型、A类型”的次序排列的影像内容α1的序列候选61，排除不具有按照该次序排列的类别信息52的影像内容β1和影像内容γ1的各序列候选61。
如此，在图23所示的例子中，指纹过滤部23进行属性序列过滤处理的结果，将影像内容α1作为最终的影像内容候选，将影像内容α1的辨识数据50作为图像辨识的核对对象。
[3-7.辨识数据的核对]
接下来，利用图24～图28来说明在本实施方式中执行辨识数据的核对时的处理的详细内容。
图24是表示实施方式1中的辨识数据的核对处理的一例的流程图。图24的流程图表示在图8的步骤S6中执行的处理的概要。
图25是示意性地表示实施方式1中的静态指纹的核对处理的一例的图。
图26是示意性地表示实施方式1中的动态指纹的核对处理的一例的图。
图27是表示实施方式1中的影像内容的辨识条件的一例的图。在图27中，作为一例而示出5个辨识条件(a)～(e)。
图28是示意性地表示实施方式1中的影像内容的核对处理的一例的图。
[1-3-7-1.静态指纹的类似度]
说明图24的流程图。图1所示的指纹核对部24计算静态指纹的类似度(步骤S60)。
指纹核对部24将从接收装置10发送出的辨识数据40所含的静态指纹与由指纹过滤部23过滤后的辨识数据50(即，在步骤S534中选择为图像辨识的核对对象的辨识数据50)所含的静态指纹进行核对。并且，指纹核对部24计算从接收装置10发送出的辨识数据40所含的静态指纹与由指纹过滤部23过滤后的辨识数据50所含的静态指纹之间的类似度。
指纹核对部24将静态区域的一致程度作为类似度来计算。具体而言，指纹核对部24相互比较从接收装置10发送出的辨识数据40所含的静态指纹的静态区域的位置与由指纹过滤部23过滤后的辨识数据50所含的静态指纹的静态区域的位置。并且，指纹核对部24计数两者相互一致的区域(块)的数目，将两者一致的区域在静态指纹内所占的比例作为类似度来计算。
另外，在本实施方式中，仅仅利用是否为静态区域来判断两者是否相互一致，不考虑各块的亮度值。若彼此位于相同位置的块均为静态区域，则即便各个块的亮度值彼此不同，指纹核对部24也判定为两者一致。
在图25中示出具体例来说明指纹核对部24所进行的类似度的计算处理的一例。
图25所示的静态指纹C002是从接收装置10发送出的辨识数据40所含的静态指纹。图25所示的静态指纹C00X是由指纹过滤部23过滤后的辨识数据50所含的静态指纹。
在图25所示的例子中，静态指纹C002所具有的静态区域的块数和静态指纹CO0X所具有的静态区域的块数均为13，数目相同。但是，在位置上略有差异。在静态指纹C002与静态指纹C00X之间，静态区域的块的位置相互一致的是，静态指纹内的25个块之中从上起第1段的5个、从上起第2段的1个(亮度值为“128”的块)、以及从上起第5段的5个，合计11个块。在此，构成静态指纹的块的总数为25，因此指纹核对部24计算11/25＝44％，将计算出的44％作为静态指纹C002与静态指纹C00X之间的类似度。
并且，指纹核对部24将计算出的类似度与预先规定的静态阈值进行比较，基于该比较的结果来进行类似判定。若计算出的类似度为静态阈值以上，则指纹核对部24判定为“类似”，若计算出的类似度小于静态阈值，则指纹核对部24判定为“不类似”。在上述的例子中，若静态阈值例如设定为40％，则指纹核对部24判定为静态指纹C002和静态指纹C00X类似。另外，该静态阈值的数值只不过是简单的一例，期望适当设定。
另外，在本实施方式中，在计算静态指纹的类似度时，说明了不考虑构成静态指纹的各块所具有的亮度值的情形，但本公开丝毫并不限定于该构成。指纹核对部24也可以在计算静态指纹的类似度时，利用构成静态指纹的各块所具有的亮度值。例如，指纹核对部24可以在核对两个静态指纹时，计数不仅是位置而且亮度值也相互一致的块数，来计算静态指纹的类似度。或者，指纹核对部24也可以利用标准化互相关匹配(Normalized CrossCorrelation)来计算静态指纹的类似度。
[1-3-7-2.动态指纹的类似度]
接下来，指纹核对部24计算动态指纹的类似度(步骤S61)。
指纹核对部24将从接收装置10发送出的辨识数据40所含的动态指纹与由指纹过滤部23过滤后的辨识数据50所含的动态指纹进行核对。并且，指纹核对部24计算从接收装置10发送出的辨识数据40所含的动态指纹与由指纹过滤部23过滤后的辨识数据50所含的动态指纹之间的类似度。
指纹核对部24将动态区域的一致程度作为类似度来计算。具体而言，指纹核对部24相互比较从接收装置10发送出的辨识数据40所含的动态指纹的动态区域的位置以及亮度变化值的符号与由指纹过滤部23过滤后的辨识数据50所含的动态指纹的动态区域的位置以及亮度变化值的符号。并且，指纹核对部24计数两者相互一致的区域(块)的数目，将两者一致的区域在动态指纹内所占的比例作为类似度来计算。
另外，在本实施方式中，利用是否为动态区域以及亮度变化值的符号来判断两者是否相互一致，不考虑各块的亮度变化值的数值。若彼此位于相同位置的块均为动态区域且亮度变化值的符号彼此相同，则即便各个块的亮度变化值的数值彼此不同，指纹核对部24也判定为两者一致。
在图26中示出具体例来说明指纹核对部24所进行的类似度的计算处理的一例。
图26所示的动态指纹D003是从接收装置10发送出的辨识数据40所含的动态指纹。图26所示的动态指纹D00X是由指纹过滤部23过滤后的辨识数据50所含的动态指纹。
在图26所示的例子中，动态指纹D003所具有的动态区域的块数为11，动态指纹D00X所具有的动态区域的块数为8。并且，在动态指纹D003与动态指纹D00X之间，动态区域的块的位置以及亮度变化值的符号相互一致的是，动态指纹内的25个块之中从上起第1段的2个、从上起第2段的2个、以及从上起第5段的1个，合计5个块。在此，构成动态指纹的块的总数为25，因此指纹核对部24计算5/25＝20％，将计算出的20％作为动态指纹D003与动态指纹D00X之间的类似度。
并且，指纹核对部24将计算出的类似度与预先规定的动态阈值进行比较，基于该比较的结果来进行类似判定。若计算出的类似度为动态阈值以上，则指纹核对部24判定为“类似”，若计算出的类似度小于动态阈值，则指纹核对部24判定为“不类似”。在上述的例子中，若动态阈值例如设定为30％，则指纹核对部24判定为动态指纹D003和动态指纹D00X不类似。
另外，该动态阈值的数值只不过是简单的一例，期望适当设定。此外，上述的静态阈值和该动态阈值可以设定为彼此相同的数值，或者也可以设定为彼此不同的数值。
如此，指纹核对部24分别执行与基于在步骤S60中计算出的类似度的静态指纹有关的类似判定、和与基于在步骤S61中计算出的类似度的动态指纹有关的类似判定。
另外，在本实施方式中，在计算动态指纹的类似度时，说明了不考虑构成动态指纹的各块所具有的亮度变化值的大小的情形，但本公开丝毫并不限定于该构成。指纹核对部24也可以在计算动态指纹的类似度时，利用构成动态指纹的各块所具有的亮度变化值的绝对值。例如，指纹核对部24可以在核对两个动态指纹时，计数除了位置以及符号之外而且亮度变化值的绝对值也相互一致的块数，来计算动态指纹的类似度。或者，指纹核对部24也可以与计算静态指纹的类似度时同样地，仅利用动态区域的块的位置来计算动态指纹的类似度。或者，指纹核对部24也可以利用标准化互相关匹配来计算动态指纹的类似度。
另外，步骤S60中的静态指纹的类似度的计算处理和步骤S61中的动态指纹的类似度的计算处理，可以任一方先执行，或者也可以双方并行地执行。
[1-3-7-3.影像内容的辨识]
接下来，指纹核对部24基于指纹的类似判定的结果来进行影像内容的辨识(图像辨识)(步骤S62)。
指纹核对部24基于静态指纹的类似判定的结果、动态指纹的类似判定的结果和给定的辨识条件来进行影像内容的辨识。指纹核对部24如上所述那样核对从接收装置10发送出的辨识数据40所含的静态指纹以及动态指纹的各个指纹和由指纹过滤部23过滤后的辨识数据50所含的多个指纹53。并且，指纹核对部24基于该核对的结果和给定的辨识条件，从由指纹过滤部23过滤后的辨识数据50之中选定一个辨识数据50，并将表示与选定的辨识数据50对应的影像内容的信息作为图像辨识的结果来输出。
另外，表示影像内容的信息例如是该影像内容的文件名、广播该影像内容的广播站的频道名、EPG的ID等。
辨识条件是基于静态指纹以及动态指纹的至少一者而规定的条件。在图27中示出辨识条件的一例。另外，图27所示的辨识条件是在给定的期间内利用的条件。该给定的期间是指预先规定的帧数的期间。给定的期间例如为10帧以下的期间。
即，指纹核对部24在给定的期间内将从接收装置10发送出的辨识数据40所含的静态指纹以及动态指纹与由指纹过滤部23过滤后的辨识数据50所含的指纹53进行核对。
另外，这里的帧数是图像变化帧的帧数。因此，实际的期间相当于：在作为给定的期间而规定的帧数上乘以基于对于影像提取部12而设定的提取帧速率和内容的帧速率的系数(例如，在图5、6所示的例子中，若为30fps则是“2”，若为20fps则是“3”，若为15fps则是“4”等)所获得的期间。另外，可以将该帧数设为图像变化帧的帧数，或者也可以设为指纹的数目。
另外，在以下的说明中，“类似”表示在上述的类似判定中判定为“类似”。
在图28中作为一例而示出的辨识条件(a)～(e)如下所述。
(a)静态指纹以及动态指纹的至少一个类似。
(b)静态指纹以及动态指纹的至少两个类似。
(c)静态指纹的至少一个类似，动态指纹的至少一个类似。
(d)静态指纹或动态指纹连续两次类似。
(e)静态指纹或动态指纹连续三次类似。
指纹核对部24在基于例如辨识条件(a)来进行核对处理的情况下，按如下方式进行判断。在上述的类似判定中针对静态指纹以及动态指纹的至少一个判定为“类似”的情况下，指纹核对部24判断为已辨识出影像内容(步骤S63的“是”)。否则，指纹核对部24判断为未辨识出影像内容(步骤S63的“否”)。
例如，若给定的期间设定为3帧，则指纹核对部24在图像变化帧的3帧的期间内执行以下的处理。指纹核对部24针对从接收装置10发送出的辨识数据40所含的静态指纹以及动态指纹来进行上述的类似判定。并且，若其中的至少一个有判定为“类似”的指纹53，则指纹核对部24判断为已辨识出影像内容。并且，指纹核对部24将表示与具有该指纹53的辨识数据50对应的影像内容的信息作为图像辨识的结果来输出。
此外，指纹核对部24在基于例如辨识条件(b)来进行核对处理的情况下，按如下方式进行判断。在上述的类似判定中针对静态指纹以及动态指纹的至少两个判定为“类似”的情况下，指纹核对部24判断为已辨识出影像内容(步骤S63的“是”)。否则，指纹核对部24判断为未辨识出影像内容(步骤S63的“否”)。
另外，在该辨识条件(b)中包含：判定为两个以上的静态指纹“类似”的情况、判定为两个以上的动态指纹“类似”的情况、以及判定为一个以上的静态指纹“类似”且判定为一个以上的动态指纹“类似”的情况。
例如，若给定的期间设定为5帧，则指纹核对部24在图像变化帧的5帧的期间内执行以下的处理。指纹核对部24针对从接收装置10发送出的辨识数据40所含的静态指纹以及动态指纹来进行上述的类似判定。并且，若其中的至少两个有判定为“类似”的指纹53，则指纹核对部24判断为已辨识出影像内容。并且，指纹核对部24将表示与具有该指纹53的辨识数据50对应的影像内容的信息作为图像辨识的结果来输出。
此外，指纹核对部24在基于例如辨识条件(c)来进行核对处理的情况下，按如下方式进行判断。在上述的类似判定中针对静态指纹的至少一个以及动态指纹的至少一个判定为“类似”的情况下，指纹核对部24判断为已辨识出影像内容(步骤S63的“是”)。否则，指纹核对部24判断为未辨识出影像内容(步骤S63的“否”)。
例如，若给定的期间设定为5帧，则指纹核对部24在图像变化帧的5帧的期间内执行以下的处理。指纹核对部24针对从接收装置10发送出的辨识数据40所含的静态指纹以及动态指纹来进行上述的类似判定。并且，若静态指纹的至少一个和动态指纹的至少一个有判定为“类似”的指纹53，则指纹核对部24判断为已辨识出影像内容。并且，指纹核对部24将表示与具有该指纹53的辨识数据50对应的影像内容的信息作为图像辨识的结果来输出。
另外，在该辨识条件中，除了与判定为类似的指纹的数目有关的条件之外，还可以加入与静态指纹以及动态指纹的顺序有关的条件。
此外，指纹核对部24在基于例如辨识条件(d)来进行核对处理的情况下，按如下方式进行判断。在上述的类似判定中静态指纹或动态指纹连续两次判定为“类似”的情况下，指纹核对部24判断为已辨识出影像内容(步骤S63的“是”)。否则，指纹核对部24判断为未辨识出影像内容(步骤S63的“否”)。
另外，该辨识条件(d)具有以下的意思。从接收装置10发送出的辨识数据40所含的时间上连续的指纹43连续两次以上判定为“类似”。这包含：连续两次以上生成的静态指纹连续两次以上判定为“类似”的情况、连续两次以上生成的动态指纹连续两次以上判定为“类似”的情况、以及边相互切换边连续生成的静态指纹以及动态指纹连续两次以上判定为“类似”的情况。
例如，若给定的期间设定为5帧，则指纹核对部24在图像变化帧的5帧的期间内执行以下的处理。指纹核对部24针对从接收装置10发送出的辨识数据40所含的静态指纹以及动态指纹来进行上述的类似判定。并且，若有静态指纹或动态指纹连续两次判定为“类似”的指纹53，则指纹核对部24判断为已辨识出影像内容。并且，指纹核对部24将表示与具有该指纹53的辨识数据50对应的影像内容的信息作为图像辨识的结果来输出。
此外，指纹核对部24在基于例如辨识条件(e)来进行核对处理的情况下，按如下方式进行判断。在上述的类似判定中静态指纹或动态指纹连续三次判定为“类似”的情况下，指纹核对部24判断为已辨识出影像内容(步骤S63的“是”)。否则，指纹核对部24判断为未辨识出影像内容(步骤S63的“否”)。
另外，该辨识条件(e)具有以下的意思。从接收装置10发送出的辨识数据40所含的时间上连续的指纹43连续三次以上判定为“类似”。这包含：连续三次以上生成的静态指纹连续三次以上判定为“类似”的情况、连续三次以上生成的动态指纹连续三次以上判定为“类似”的情况、以及边相互切换边连续生成的静态指纹以及动态指纹连续三次以上判定为“类似”的情况。
例如，若给定的期间设定为8帧，则指纹核对部24在图像变化帧的8帧的期间内执行以下的处理。指纹核对部24针对从接收装置10发送出的辨识数据40所含的静态指纹以及动态指纹来进行上述的类似判定。并且，若有静态指纹或动态指纹连续三次判定为“类似”的指纹53，则指纹核对部24判断为己辨识出影像内容。并且，指纹过滤部23将表示与具有该指纹53的辨识数据50对应的影像内容的信息作为图像辨识的结果来输出。
另外，在上述的辨识条件中，通过增多判定为“类似”的指纹的数目、或连续判定为“类似”的指纹的数目，从而能够提高核对(图像辨识处理)的精度。
在图28中示意性地示出指纹核对部24基于辨识条件(e)来进行核对处理的情况下的动作的一例。在该情况下，指纹核对部24将静态指纹或动态指纹连续三次类似设为辨识条件。
例如，假设由指纹过滤部23过滤后的内容00X的指纹53按照静态指纹A、动态指纹B、静态指纹C、动态指纹D、静态指纹E的次序排列。另外，在图28中，将各个指纹记为“静态A”、“动态B”、“静态C”、“动态D”、“静态E”。
此时，假设从接收装置10发送出的指纹43按照静态指纹A、动态指纹B、静态指纹C的次序排列。另外，在图28中，将各个指纹记为“静态A”、“动态B”、“静态C”。
在该例子中，指纹核对部24在上述的类似判定中针对静态指纹A、动态指纹B、静态指纹C分别给出“类似”的判定结果。即，指纹核对部24连续三次判定为“类似”。
由此，指纹核对部24判定出从接收装置10发送出的辨识数据40所含的指纹43与内容00X的辨识数据50所含的指纹53类似。即，指纹核对部24辨识出由接收装置10接收到的影像内容为内容00X。并且，指纹核对部24将表示内容00X的信息作为核对结果来输出。
在由指纹核对部24已辨识出(图像辨识)影像内容时(步骤S63的“是”)，指纹核对部24将该图像辨识的结果输出至通信部(未图示)(步骤S64)。
内容辨识装置20的通信部(未图示)将表征从指纹核对部24接受到的图像辨识的结果的信息发送至接收装置10(图8的步骤S8)。从内容辨识装置20发送至接收装置10的信息是表征指纹核对部24基于从接收装置10发送出的辨识数据40执行图像辨识而选择出的影像内容的信息，是表征由接收装置10正接收的影像内容的信息。该信息例如是内容ID，但只要是能够确定影像内容的信息即可，可以为任何信息。接收装置10从内容辨识装置20获取该信息，由此能够从例如广告服务器装置30获取与接收中的影像内容有关的附加信息。
在指纹核对部24未辨识出影像内容时(步骤S64的“否”)，内容辨识装置20的处理返回图8的步骤S1，反复执行步骤S1以后的一系列处理。
另外，内容辨识装置20在图像辨识处理的结果为未能确定与从接收装置10发送出的辨识数据40对应的影像内容的情况下，可以将表示未能实现图像辨识的信息发送至接收装置10。或者，可以不发送任何信息。
[1-4.效果等]
如以上，在本实施方式中，内容辨识装置具备：指纹生成部、筛选部和核对部。指纹生成部针对获取到的多个影像内容候选来分别生成指纹。筛选部利用从外部输入的辨识数据所含的附属信息来筛选影像内容候选。核对部核对由筛选部筛选出的影像内容候选的指纹和辨识数据所含的指纹，从影像内容候选之中确定与辨识数据所含的指纹对应的影像内容。
另外，内容辨识装置20是内容辨识装置的一例。指纹生成部2110是指纹生成部的一例。指纹过滤部23是筛选部的一例。指纹核对部24是核对部的一例。影像内容α1、β1、γ1、δ1、ε1分别是影像内容候选的一例。指纹53是指纹的一例。辨识数据40是从外部输入的辨识数据的一例。类别信息42是附属信息的一例。指纹43是辨识数据所含的指纹的一例。
在此，关于内容辨识装置20利用指纹来辨识影像内容的情况下所产生的问题点，利用图29进行说明。图29是用于说明关于影像内容的辨识而成为问题的点的图。
如在图29中示出的一例那样，实质上实时地进行影像内容的辨识的内容辨识装置20接收从多个广播站2广播的多个影像内容，基于接收到的影像内容来生成指纹53，并将生成的指纹53保存于指纹DB22。
如此，在指纹DB22中，与接收到的影像内容的数目相应的指纹53随着时间的经过而不断蓄积。因而，蓄积于指纹DB22的指纹53成为庞大的数目。
如果内容辨识装置20不具备指纹过滤部23，则内容辨识装置20必须将从接收装置10接收到的辨识数据40所含的指纹43与蓄积于指纹DB22的庞大的数目的指纹53逐一核对，直至获得影像内容的辨识结果而需要较长的时间。
但是，本实施方式所示的内容辨识装置20将指纹过滤部23利用附属信息筛选出的辨识数据50作为辨识数据40的核对对象。因此，根据本公开，能够降低在影像内容的辨识中所使用的数据的数目，因此既能提高影像内容的辨识精度又能降低影像内容的辨识所涉及的处理。
另外，在从外部输入的辨识数据中，可以包含表示指纹的种类的类别信息来作为附属信息。此外，在内容辨识装置中，筛选部可以比较辨识数据所含的类别信息和影像内容候选的指纹的种类来进行影像内容候选的筛选。
另外，静态指纹、动态指纹是指纹的种类的一例，类别信息42是类别信息的一例。
在该构成中，例如，若类别信息为两个种类，则能够以1比特的信息量来表征类别信息，因此能够在指纹过滤部23中削减筛选所需的处理。
此外，在内容辨识装置中，筛选部可以比较从外部输入的辨识数据所含的类别信息的排列顺序和与影像内容候选的指纹的种类有关的排列顺序来进行影像内容候选的筛选。
另外，序列60是从外部输入的辨识数据所含的类别信息的排列顺序的一例，序列候选61是与影像内容候选的指纹的种类有关的排列顺序的一例。
在该构成中，指纹过滤部23能够进一步减少在指纹核对部24中用于核对的辨识数据50的数目。因此，能够在指纹核对部24中进一步降低核对所涉及的处理。
此外，从外部输入的辨识数据中可以包含表示辨识数据所含的指纹的生成时刻的信息。此外，在内容辨识装置中，筛选部可以基于表示该生成时刻的信息和影像内容候选的指纹的生成时刻来进行影像内容候选的指纹的选择。
另外，定时信息41是表示从外部输入的辨识数据所含的指纹的生成时刻的信息的一例。定时信息41是表示影像内容候选的指纹的生成时刻的信息的一例。
在该构成中，能够提高指纹过滤部23所进行的筛选的精度。
此外，在内容辨识装置中，筛选部可以从影像内容候选的指纹之中选择在与从外部输入的辨识数据所含的表示生成时刻的信息最接近的时刻生成的指纹，基于选择出的指纹的种类和该辨识数据所含的类别信息之间的比较来进行影像内容候选的筛选。
在该构成中，能够进一步提高指纹过滤部23所进行的筛选的精度。
此外，在内容辨识装置中，指纹生成部可以基于构成影像内容候选的多个图像帧的帧间的图像的变化量小于第1阈值的静态区域来生成静态指纹，基于该帧间的图像的变化量大于第2阈值的动态区域来生成动态指纹。
静态区域是在图像帧中背景以及运动、变化小的被摄体所占的区域。即，在连续的图像帧中，静态区域的被摄体的运动、变化相对小。因此，通过确定静态区域来进行图像辨识，从而能够提高图像辨识的精度。动态区域是场景的切换等产生的图像发生较大变化的区域。即，动态区域是引起特征图像变化的区域，因此通过确定动态区域来进行图像辨识，从而能够提高图像辨识的精度。此外，产生动态区域的帧相对少，因此能够削减图像辨识所需的帧数。
此外，附属信息中可以包含表示对成为从外部输入的辨识数据的生成源的影像内容进行发送的装置的位置、或发送该辨识数据的装置的位置的地理信息。
另外，广播站2是发送影像内容的装置的一例。接收装置10是发送辨识数据的装置的一例。
在该构成中，例如指纹过滤部23能够排除从接收装置10无法接收的广播站2广播的影像内容，因此能够在指纹核对部24中降低核对所涉及的处理。
此外，附属信息中可以包含发送从外部输入的辨识数据的装置所保存的用户信息。
在该构成中，例如指纹过滤部23能够排除与用户信息不符的影像内容，因此在指纹核对部24中能够降低核对所涉及的处理。
另外，这些概括性或具体形态可通过系统、装置、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过系统、装置、集成电路、计算机程序以及记录介质的任意组合来实现。
(其他实施方式)
如以上，作为在本申请中公开的技术例示，说明了实施方式1。然而，本公开中的技术并不限定于此，也能够应用于进行变更、置换、附加、省略等之后的实施方式。此外，也能够组合在上述实施方式1中说明的各构成要素来作为新的实施方式。
因此，以下例示其他的实施方式。
在实施方式1中，示出内容辨识装置20实质上实时地进行影像内容的辨识的动作例，但本公开丝毫并不限定于该动作例。例如，在接收装置10读出并显示记录介质所保存的影像内容(例如录制的节目内容)的情况下，内容辨识装置20也能够与上述的实施方式1同样地动作，来辨识影像内容。
在实施方式1中，说明了内容辨识装置20从接收装置10接收辨识数据40，进行用于辨识影像内容的过滤处理以及核对处理，并将其结果发送至接收装置10的动作例。该动作称为“在线匹配”。另一方面，由接收装置10进行用于辨识影像内容的核对处理被称为“局部匹配”。
接收装置10能够从内容辨识装置20之中获取保存于指纹DB22的辨识数据50来进行局部匹配。另外，此时，接收装置10也可以不获取保存于指纹DB22的所有辨识数据50。例如，接收装置10可以获取由指纹过滤部23执行各过滤(例如区域过滤以及人物简介过滤)之后的辨识数据50。
在实施方式1中，作为指纹过滤部23的一动作例而示出按照区域过滤、人物简介过滤、属性过滤、属性序列过滤的次序进行过滤的动作例，但本公开丝毫并不限定于该动作例。指纹过滤部23可以按照与实施方式1不同的次序来进行各过滤，或者也可以从这些过滤之中选择一个以上且三个以下来进行过滤。
在实施方式1中，示出指纹过滤部23每当进行各过滤处理时从指纹DB22之中读出并获取辨识数据50的动作例，但本公开丝毫并不限定于该动作例。例如，指纹过滤部23可以将在最初的过滤处理之前刚刚从指纹DB22读出的多个辨识数据50暂时存储于存储器等存储装置，每当在各过滤处理中排除辨识数据50时进行如下动作，即，将该辨识数据50从该存储装置之中删除。
在实施方式1中，示出对于影像内容的辨识而利用静态指纹和动态指纹两者的构成例，但本公开丝毫并不限定于该构成。可以仅利用静态指纹和动态指纹的任意一者来进行影像内容的辨识。例如，在图9的流程图中，可以仅进行步骤S21以及步骤S22的任意一者。此外，指纹生成部2110、110例如可以是仅具备静态区域决定部231以及动态区域决定部232的任意一者的构成。此外，指纹生成部2110、110例如也可以是仅具备静态指纹生成部241以及动态指纹生成部242的任意一者的构成。此外，指纹可以为三种以上。
实施方式1所示的内容辨识装置20例如能够用于广告内容的辨识。或者，也能够用于电视剧、综艺节目等节目内容的辨识。此时，接收装置10也可以从广告服务器装置30获取例如与出演者自身的人物简介、出演者穿戴的衣服、出演者造访的场所等有关的信息来作为基于图像辨识的结果的附加信息，并使获取到的这些信息叠加显示于显示中的影像。
内容辨识装置20也可以不仅是广告内容而且还接收节目内容等影像内容，来生成与该影像内容对应的指纹。并且，指纹DB22也可以不仅是广告内容而且还将与节目内容对应的指纹与内容ID建立对应地保持。
在实施方式1中，各构成要素可以由专用的硬件构成，或者可以通过执行适于各构成要素的软件程序来实现。关于各构成要素，可以通过CPU或处理器等程序执行部读出并执行硬盘或半导体存储器等记录介质所记录的软件程序来实现。在此，实现实施方式1的内容辨识装置20的软件是如下的程序。
即，该程序是用于使计算机执行内容辨识方法的程序，包括：针对获取到的多个影像内容候选来分别生成指纹的步骤；利用从外部输入的辨识数据所含的附属信息来筛选影像内容候选的步骤；核对筛选出的影像内容候选的指纹和辨识数据所含的指纹，从影像内容候选之中确定与辨识数据所含的指纹对应的影像内容的步骤。
此外，可以使上述的程序记录在记录介质中来发布或流通。例如，将所发布的程序安装于装置类，通过使装置类的处理器执行该程序，从而能够使装置类进行各种处理。
此外，上述的构成各装置的构成要素的一部分或全部可以由一个系统LSI(LargeScale Integration：大规模集成电路)构成。系统LSI是将多个构成部集成在一个芯片上进行制造而成的超多功能LSI，具体而言是构成为包含微处理器、ROM、RAM等的计算机系统。在ROM中存储有计算机程序。微处理器从ROM向RAM加载计算机程序，按照加载的计算机程序来进行运算等动作，由此系统LSI实现该功能。
此外，上述的构成各装置的构成要素的一部分或全部可以由能够与各装置进行装卸的IC卡或单个模块构成。IC卡或模块是由微处理器、ROM、RAM等构成的计算机系统。IC卡或模块可以包含上述的超多功能LSI。微处理器按照计算机程序进行动作，由此IC卡或模块实现该功能。该IC卡或该模块可以具有耐篡改性。
此外，本公开以计算机能够读取计算机程序或数字信号的记录介质、例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-Ray Disc(注册商标))、半导体存储器等中记录的形态来实现。进而，也可以这些记录介质中记录的数字信号来实现。
此外，可以经由电气通信线路、无线或有线通信线路、因特网等网络、数据广播等来传输本公开中的计算机程序或数字信号。
此外，本公开可以通过将程序或数字信号记录在记录介质中来传送，或者通过经由网络等来传送程序或数字信号，从而由独立的其他计算机系统来实施。
此外，在实施方式中，各处理(各功能)可以通过单一的装置(系统)进行集中处理来实现，或者也可以通过多个装置进行分散处理来实现。
如以上，作为本公开中的技术例示，说明了实施方式。因而，提供了所附的附图以及详细的说明。
因此，在所附的附图以及详细的说明中记载的构成要素之中，不仅包含为了解决课题所必须的构成要素，为了例示上述技术还可包含并非为了解决课题所必须的构成要素。因而，不应以这些非必须的构成要素记载在所附的附图、详细的说明中为由而立即认定为这些非必须的构成要素是必须的。
此外，上述的实施方式用于例示本公开中的技术，因此能够在要求保护的范围或其等同的范围内进行各种变更、置换、附加、省略等。
产业上的可利用性
本公开能够应用于利用通信网络来进行影像内容的辨识的内容辨识装置以及内容辨识方法。具体而言，本公开能够应用于电视机等影像接收装置或服务器装置等。
符号说明
1 内容辨识系统
2 广播站
3 STB
10 接收装置
11 影像接收部
11a 影像输入部
11b 第1外部输入部
11c 第2外部输入部
12 影像提取部
13 附加信息获取部
14 影像输出部
15 控制部
16 操作信号接收部
17 HTTP收发部
18 附加信息保存部
19 附加信息显示控制部
20 内容辨识装置
21 内容接收部
22 指纹DB
23 指纹过滤部
24 指纹核对部
25 指纹历史记录信息DB
30 广告服务器装置
31 附加信息DB
40、40a、40b、40c、40n、50、50a、50b、50c 辨识数据
41、51、51a、51b、51c 定时信息
42、52、52a、52b、52c 类别信息
43、53、53a、53b、53c 指纹
60 序列
61 序列候选
91、92 帧
100 辨识部
105 通信网络
110、2110 指纹生成部
111 图像获取部
112 数据生成部
120 指纹发送部
130 辨识结果接收部
210 标度变换部
220 差分计算部
230 决定部
231 静态区域决定部
232 动态区域决定部
240 生成部
241 静态指纹生成部
242 动态指纹生成部

Claims (10)

1.一种内容辨识装置，具备：
指纹生成部，针对获取到的多个影像内容候选来分别生成指纹；
筛选部，利用从外部输入的辨识数据所含的附属信息来筛选所述影像内容候选；和
核对部，核对由所述筛选部筛选出的所述影像内容候选的指纹和所述辨识数据所含的指纹，从所述影像内容候选之中确定与所述辨识数据所含的指纹对应的影像内容。
2.根据权利要求1所述的内容辨识装置，其中，
所述指纹至少被分类为静态指纹和动态指纹这两个种类，
在所述辨识数据中包含表示所述指纹的种类的类别信息来作为所述附属信息，
所述筛选部比较所述辨识数据所含的所述类别信息和所述影像内容候选的指纹的种类来进行所述影像内容候选的筛选。
3.根据权利要求2所述的内容辨识装置，其中，
所述筛选部比较所述辨识数据所含的所述类别信息的排列顺序和与所述影像内容候选的指纹的种类有关的排列顺序来进行所述影像内容候选的筛选。
4.根据权利要求2所述的内容辨识装置，其中，
在所述辨识数据中包含表示所述辨识数据所含的指纹的生成时刻的信息，
所述筛选部基于表示所述生成时刻的信息和所述影像内容候选的指纹的生成时刻来进行所述影像内容候选的指纹的选择。
5.根据权利要求4所述的内容辨识装置，其中，
所述筛选部从所述影像内容候选的指纹之中选择在与所述辨识数据所含的表示所述生成时刻的信息最接近的时刻生成的指纹，并基于选择出的指纹的种类与所述辨识数据所含的类别信息之间的比较来进行所述影像内容候选的筛选。
6.根据权利要求2所述的内容辨识装置，其中，
所述指纹生成部基于构成所述影像内容候选的多个图像帧的帧间的图像的变化量小于第1阈值的静态区域来生成所述静态指纹，基于所述帧间的图像的变化量大于第2阈值的动态区域来生成所述动态指纹。
7.根据权利要求1所述的内容辨识装置，其中，
在所述附属信息中包含地理信息，该地理信息表示对成为所述辨识数据的生成源的影像内容进行发送的装置的位置、或对所述辨识数据进行发送的装置的位置。
8.根据权利要求1所述的内容辨识装置，其中，
在所述附属信息中包含发送所述辨识数据的装置所保存的用户信息。
9.一种内容辨识方法，其中，
针对获取到的多个影像内容候选来分别生成指纹，
利用从外部输入的辨识数据所含的附属信息来筛选所述影像内容候选，
核对所筛选出的所述影像内容候选的指纹和所述辨识数据所含的指纹，从所述影像内容候选之中确定与所述辨识数据所含的指纹对应的影像内容。
10.一种程序，用于使计算机执行权利要求9所述的内容辨识方法。
CN201580020600.7A 2014-08-21 2015-08-19 内容辨识装置、内容辨识方法以及记录介质 Active CN106233746B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-168709 2014-08-21
JP2014168709 2014-08-21
PCT/JP2015/004112 WO2016027457A1 (ja) 2014-08-21 2015-08-19 コンテンツ認識装置およびコンテンツ認識方法

Publications (2)

Publication Number Publication Date
CN106233746A true CN106233746A (zh) 2016-12-14
CN106233746B CN106233746B (zh) 2019-07-09

Family

ID=55350420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580020600.7A Active CN106233746B (zh) 2014-08-21 2015-08-19 内容辨识装置、内容辨识方法以及记录介质

Country Status (5)

Country Link
US (1) US10200765B2 (zh)
EP (1) EP3185577B1 (zh)
JP (1) JP6432047B2 (zh)
CN (1) CN106233746B (zh)
WO (1) WO2016027457A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9607223B2 (en) * 2015-04-09 2017-03-28 Facebook, Inc. Systems and methods for defining and analyzing video clusters based on video image frames
US9723347B2 (en) * 2015-10-01 2017-08-01 Sorenson Media, Inc Frequency capping for media content
US9848214B2 (en) 2015-10-01 2017-12-19 Sorenson Media, Inc. Sequentially overlaying media content
US10432994B2 (en) 2016-02-17 2019-10-01 The Nielsen Company (Us), Llc Content comparison testing on linear media streams
US9924222B2 (en) 2016-02-29 2018-03-20 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on location
US9930406B2 (en) 2016-02-29 2018-03-27 Gracenote, Inc. Media channel identification with video multi-match detection and disambiguation based on audio fingerprint
US10063918B2 (en) 2016-02-29 2018-08-28 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on single-match
US10013614B2 (en) * 2016-06-29 2018-07-03 Google Llc Using an image matching system to improve the quality of service of a video matching system
US10306333B2 (en) 2017-09-13 2019-05-28 The Nielsen Company (Us), Llc Flagging advertisement frames for automatic content recognition
US10803038B2 (en) * 2017-09-13 2020-10-13 The Nielsen Company (Us), Llc Cold matching by automatic content recognition
US10623800B2 (en) * 2018-07-16 2020-04-14 Gracenote, Inc. Dynamic control of fingerprinting rate to facilitate time-accurate revision of media content
CN111753181A (zh) * 2019-03-28 2020-10-09 北京京东尚科信息技术有限公司 基于图像的搜索方法、装置、服务器、客户端及介质
CN112399209B (zh) * 2019-08-13 2022-06-07 大唐移动通信设备有限公司 一种视频业务识别处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060187358A1 (en) * 2003-03-07 2006-08-24 Lienhart Rainer W Video entity recognition in compressed digital video streams
EP2244208A2 (en) * 2009-03-27 2010-10-27 The Nielsen Company (US), LLC Methods and apparatus for identifying primary media content in a post-production media content presentation
CN102292726A (zh) * 2009-01-23 2011-12-21 日本电气株式会社 视频标识符提取设备
CN103581705A (zh) * 2012-11-07 2014-02-12 深圳新感易搜网络科技有限公司 视频节目识别方法和系统
CN103999473A (zh) * 2011-12-20 2014-08-20 雅虎公司 用于内容识别的音频指纹

Family Cites Families (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04245552A (ja) 1991-01-31 1992-09-02 Canon Inc データベース検索方法
JPH09185720A (ja) 1995-12-28 1997-07-15 Canon Inc 画像抽出装置
JP3731952B2 (ja) 1996-10-18 2006-01-05 シャープ株式会社 動画像検索用情報生成装置
JPH10214258A (ja) 1997-01-28 1998-08-11 Victor Co Of Japan Ltd データ処理システム
JP2000287189A (ja) 1999-03-31 2000-10-13 Toshiba Corp テレビ番組の視聴管理装置
JP3485020B2 (ja) 1999-04-09 2004-01-13 日本電気株式会社 文字認識方法及び装置ならびに記憶媒体
US8205223B2 (en) 2000-04-12 2012-06-19 Lg Electronics Inc. Method and video device for accessing information
CN100592788C (zh) 2000-04-14 2010-02-24 日本电信电话株式会社 与广播信息相关的信息取得方法、系统和装置
JP3994682B2 (ja) 2000-04-14 2007-10-24 日本電信電話株式会社 放送情報送受信システム
AU4691001A (en) 2000-04-14 2001-10-30 Nippon Telegraph & Telephone Method, system, and apparatus for acquiring information concerning broadcast information
JP2002016885A (ja) 2000-06-30 2002-01-18 Pioneer Electronic Corp 映像再生装置及び映像再生方法
US20020126990A1 (en) 2000-10-24 2002-09-12 Gary Rasmussen Creating on content enhancements
JP2002175311A (ja) 2000-12-08 2002-06-21 Nippon Telegr & Teleph Corp <Ntt> 映像情報登録方法、映像情報登録装置、映像情報検索方法及び映像情報検索装置
US6829015B2 (en) 2001-01-19 2004-12-07 Samsung Electronics Co., Ltd. Device and method for realizing transparency in an on screen display
JP2002232372A (ja) 2001-01-31 2002-08-16 Matsushita Electric Ind Co Ltd 放送番組関連情報提供装置
KR20020072453A (ko) 2001-03-10 2002-09-16 삼성전자 주식회사 재생장치 및 부가정보 서비스 서버 시스템
JP2002334010A (ja) 2001-05-11 2002-11-22 Tsubasa System Co Ltd 広域ネットワークシステム
JP2004007323A (ja) 2001-06-11 2004-01-08 Matsushita Electric Ind Co Ltd テレビジョン放送受信機
US20030084462A1 (en) 2001-10-26 2003-05-01 Junichi Kubota Digital boradcast reception device and method thereof, and printing device and method thereof
US20030149983A1 (en) 2002-02-06 2003-08-07 Markel Steven O. Tracking moving objects on video with interactive access points
JP2004104368A (ja) 2002-09-06 2004-04-02 Sony Corp 画像データ処理方法、画像データ処理プログラム及び立体画像表示装置
KR100930351B1 (ko) 2003-02-25 2009-12-08 엘지전자 주식회사 고밀도 광디스크의 그래픽 및 서브타이틀 데이터관리방법
US20040194130A1 (en) 2003-03-07 2004-09-30 Richard Konig Method and system for advertisement detection and subsitution
US7738704B2 (en) 2003-03-07 2010-06-15 Technology, Patents And Licensing, Inc. Detecting known video entities utilizing fingerprints
JP4374902B2 (ja) * 2003-05-16 2009-12-02 富士通株式会社 類似画像検索装置、類似画像検索方法、および類似画像検索プログラム
JP4109185B2 (ja) 2003-12-01 2008-07-02 日本電信電話株式会社 映像シーン区間情報抽出方法，映像シーン区間情報抽出装置，映像シーン区間情報抽出プログラムおよびそのプログラムを記録した記録媒体
JP2005167894A (ja) 2003-12-05 2005-06-23 Matsushita Electric Ind Co Ltd コンテンツ切替方法、およびチャンネル切替方法
JP2005347806A (ja) 2004-05-31 2005-12-15 Toshiba Corp 電子機器および該電子機器にて実行される番組情報取得方法
US7762760B2 (en) * 2004-06-24 2010-07-27 Paceco Corp. Method of operating a cargo container scanning crane
JP2006030244A (ja) 2004-07-12 2006-02-02 Matsushita Electric Ind Co Ltd 情報端末及びプログラム
CN101027684B (zh) 2004-09-14 2011-01-12 松下电器产业株式会社 机器控制系统及机器控制方法
EP1817908B1 (en) * 2004-11-30 2010-12-22 The University Court of the University of St. Andrews System, method for video fingerprinting
US20060200842A1 (en) 2005-03-01 2006-09-07 Microsoft Corporation Picture-in-picture (PIP) alerts
JP2006303936A (ja) 2005-04-21 2006-11-02 Matsushita Electric Ind Co Ltd コンテンツデータ、受信装置、生成装置および送信装置
US8886014B2 (en) 2005-08-11 2014-11-11 Mitsubishi Electric Corporation Video recording apparatus, scene change extraction method, and video audio recording apparatus
JP3894940B2 (ja) 2005-08-11 2007-03-22 三菱電機株式会社 映像音声記録装置
EP1954041A4 (en) 2005-09-30 2010-01-27 Pioneer Corp SUMMARY PRODUCTION EQUIPMENT AND PROGRAM THEREFOR
JP2007134948A (ja) 2005-11-10 2007-05-31 Matsushita Electric Ind Co Ltd 駐車車両搭乗者撮像装置
US20070157242A1 (en) 2005-12-29 2007-07-05 United Video Properties, Inc. Systems and methods for managing content
JP4871668B2 (ja) 2006-08-01 2012-02-08 キヤノン株式会社 画像処理システム、画像処理方法及びプログラム
JP2008040622A (ja) 2006-08-02 2008-02-21 Sharp Corp 広告提供システム、広告提供装置、広告表示装置、広告提供方法およびプログラム
JP2008116792A (ja) 2006-11-07 2008-05-22 Sharp Corp 表示制御装置、映像表示機器及び表示制御方法
JP4746568B2 (ja) 2007-01-16 2011-08-10 ヤフー株式会社 情報提供装置、情報提供方法、及びプログラム
JP4957960B2 (ja) 2007-01-29 2012-06-20 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
US8281332B2 (en) 2007-05-02 2012-10-02 Google Inc. Animated video overlays
US8229227B2 (en) 2007-06-18 2012-07-24 Zeitera, Llc Methods and apparatus for providing a scalable identification of digital video sequences
US8433611B2 (en) 2007-06-27 2013-04-30 Google Inc. Selection of advertisements for placement with content
WO2009011030A1 (ja) 2007-07-17 2009-01-22 Pioneer Corporation 情報処理システム、並びに情報処理装置及び情報処理方法
JP5203648B2 (ja) 2007-07-20 2013-06-05 オリンパス株式会社 画像抽出装置および画像抽出プログラム
JP2009088777A (ja) 2007-09-28 2009-04-23 Dentsu Inc 広告選択最適化処理装置及びその処理方法
US8060609B2 (en) 2008-01-04 2011-11-15 Sling Media Inc. Systems and methods for determining attributes of media items accessed via a personal media broadcaster
US8621505B2 (en) 2008-03-31 2013-12-31 At&T Intellectual Property I, L.P. Method and system for closed caption processing
JP4623135B2 (ja) 2008-05-08 2011-02-02 株式会社デンソー 画像認識装置
US9185349B2 (en) 2008-05-28 2015-11-10 Kyocera Corporation Communication terminal, search server and communication system
US8509571B2 (en) 2008-06-11 2013-08-13 Panasonic Corporation Pattern recognition apparatus, pattern recognition method, image processing apparatus, and image processing method
US8195689B2 (en) 2009-06-10 2012-06-05 Zeitera, Llc Media fingerprinting and identification system
US9367544B2 (en) 2008-06-18 2016-06-14 Gracenote, Inc. Method for efficient database formation and search on media devices acting synchronously with television programming
JP4640456B2 (ja) 2008-06-25 2011-03-02 ソニー株式会社 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム
US20110313856A1 (en) 2008-08-18 2011-12-22 Ipharro Media Gmbh Supplemental information delivery
WO2010021527A2 (ko) 2008-08-22 2010-02-25 Jung Tae Woo 영상에 포함된 객체를 색인하는 시스템 및 방법
US20100259684A1 (en) 2008-09-02 2010-10-14 Panasonic Corporation Content display processing device and content display processing method
CA2696147C (en) 2008-09-17 2016-02-02 Panasonic Corporation Recording medium, playback device, and integrated circuit
JP2010164901A (ja) 2009-01-19 2010-07-29 Sharp Corp Ｏｓｄ信号処理装置、ａｖ装置、映像表示システム、及びｏｓｄ表示方法
CN102461066B (zh) * 2009-05-21 2015-09-09 数字标记公司 鉴别内容信号的方法
JP5434265B2 (ja) 2009-05-22 2014-03-05 三菱電機株式会社 領域分類装置、画質改善装置、映像表示装置、およびそれらの方法
JP5320204B2 (ja) 2009-07-31 2013-10-23 日本電信電話株式会社 情報端末装置、情報検索方法、および情報検索プログラム
US8421921B1 (en) 2009-07-31 2013-04-16 Pixelworks, Inc. Post processing displays with on-screen displays
JP5440051B2 (ja) * 2009-09-11 2014-03-12 株式会社Ｊｖｃケンウッド コンテンツ同定方法、コンテンツ同定システム、コンテンツ検索装置及びコンテンツ利用装置
US8582952B2 (en) 2009-09-15 2013-11-12 Apple Inc. Method and apparatus for identifying video transitions
US8327407B2 (en) 2009-10-27 2012-12-04 Sling Media, Inc. Determination of receiving live versus time-shifted media content at a communication device
US8682145B2 (en) 2009-12-04 2014-03-25 Tivo Inc. Recording system based on multimedia content fingerprints
US20110137976A1 (en) 2009-12-04 2011-06-09 Bob Poniatowski Multifunction Multimedia Device
KR20110088334A (ko) 2010-01-28 2011-08-03 삼성전자주식회사 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 생성 방법 및 장치, 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 수신 방법 및 장치
US8355910B2 (en) 2010-03-30 2013-01-15 The Nielsen Company (Us), Llc Methods and apparatus for audio watermarking a substantially silent media content presentation
US9264785B2 (en) * 2010-04-01 2016-02-16 Sony Computer Entertainment Inc. Media fingerprinting for content determination and retrieval
JP5111627B2 (ja) 2010-04-06 2013-01-09 キヤノン株式会社 映像処理装置及び映像処理方法
JP5594002B2 (ja) 2010-04-06 2014-09-24 ソニー株式会社 画像データ送信装置、画像データ送信方法および画像データ受信装置
EP2594079B1 (en) 2010-07-12 2018-03-21 Koninklijke Philips N.V. Auxiliary data in 3d video broadcast
JP2012027687A (ja) 2010-07-23 2012-02-09 Casio Comput Co Ltd 画像処理装置及びプログラム
US9142122B2 (en) 2010-11-25 2015-09-22 Panasonic Intellectual Property Corporation Of America Communication device for performing wireless communication with an external server based on information received via near field communication
US9106871B2 (en) 2011-04-01 2015-08-11 Google Inc. Detecting which channel a local STB is displaying using a local tuner
JP2012231383A (ja) 2011-04-27 2012-11-22 Nippon Telegr & Teleph Corp <Ntt> Ｉｐｔｖサービスを利用した情報表示制御装置、表示用情報提供サーバ、情報表示制御方法、情報配信方法、情報表示制御用プログラム、および情報配信用プログラム
KR101778530B1 (ko) 2011-06-14 2017-09-15 삼성전자 주식회사 영상 처리 방법 및 장치
KR101828342B1 (ko) 2011-08-10 2018-02-12 삼성전자 주식회사 방송수신장치, 방송신호 관련 연관정보 제공방법 및 서버
KR101995425B1 (ko) 2011-08-21 2019-07-02 엘지전자 주식회사 영상 표시 장치, 단말 장치 및 그 동작 방법
US8805827B2 (en) 2011-08-23 2014-08-12 Dialogic (Us) Inc. Content identification using fingerprint matching
WO2013040533A1 (en) 2011-09-16 2013-03-21 Umami Co. Second screen interactive platform
JP5948773B2 (ja) 2011-09-22 2016-07-06 ソニー株式会社 受信装置、受信方法、プログラム、及び情報処理システム
KR101310943B1 (ko) 2011-09-26 2013-09-23 (주)엔써즈 방송 콘텐츠와 연관된 콘텐츠 연관 정보를 제공하는 시스템 및 방법
US9424350B2 (en) 2011-10-12 2016-08-23 Vixs Systems, Inc. Video processing device for embedding authored metadata and methods for use therewith
US9626798B2 (en) 2011-12-05 2017-04-18 At&T Intellectual Property I, L.P. System and method to digitally replace objects in images or video
US9204199B2 (en) 2011-12-06 2015-12-01 Lg Electronics Inc. Image display apparatus and methods for operating the same
JP2013125191A (ja) 2011-12-15 2013-06-24 Canon Inc 映像表示装置、映像表示方法及びプログラム
US20120092248A1 (en) 2011-12-23 2012-04-19 Sasanka Prabhala method, apparatus, and system for energy efficiency and energy conservation including dynamic user interface based on viewing conditions
US9578378B2 (en) 2012-01-05 2017-02-21 Lg Electronics Inc. Video display apparatus and operating method thereof
US20130198773A1 (en) 2012-01-27 2013-08-01 Xumo Llc System and method of augmenting linear broadcast advertising
US8832723B2 (en) 2012-02-07 2014-09-09 Turner Broadcasting System, Inc. Method and system for a synchronous event manager for automatic content recognition
JP5867133B2 (ja) 2012-02-10 2016-02-24 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
WO2013119082A1 (ko) 2012-02-10 2013-08-15 엘지전자 주식회사 영상 표시 장치 및 그 동작 방법
US20130230292A1 (en) 2012-03-02 2013-09-05 Care Cam Innovations, Llc Apparatus, Method and Computer-Readable Storage Medium for Media Processing and Delivery
WO2013133601A1 (en) 2012-03-05 2013-09-12 Lg Electronics Inc. Video display apparatus and operating method thereof
US9292894B2 (en) 2012-03-14 2016-03-22 Digimarc Corporation Content recognition and synchronization using local caching
RU2014145704A (ru) * 2012-05-23 2016-06-10 Сони Корпорейшн Устройство обработки информации, способ обработки информации и программа
US8645994B2 (en) 2012-06-28 2014-02-04 Microsoft Corporation Brand detection in audiovisual media
WO2014006903A1 (ja) 2012-07-06 2014-01-09 パナソニック株式会社 コンテンツ制御方法、コンテンツ制御装置およびプログラム
JP5820986B2 (ja) 2013-03-26 2015-11-24 パナソニックＩｐマネジメント株式会社 映像受信装置及び受信映像の画像認識方法
US20150026718A1 (en) 2013-07-19 2015-01-22 United Video Properties, Inc. Systems and methods for displaying a selectable advertisement when video has a background advertisement
US9456237B2 (en) 2013-12-31 2016-09-27 Google Inc. Methods, systems, and media for presenting supplemental information corresponding to on-demand media content
WO2016009637A1 (ja) * 2014-07-17 2016-01-21 パナソニックＩｐマネジメント株式会社 認識データ生成装置、画像認識装置および認識データ生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060187358A1 (en) * 2003-03-07 2006-08-24 Lienhart Rainer W Video entity recognition in compressed digital video streams
CN102292726A (zh) * 2009-01-23 2011-12-21 日本电气株式会社 视频标识符提取设备
EP2244208A2 (en) * 2009-03-27 2010-10-27 The Nielsen Company (US), LLC Methods and apparatus for identifying primary media content in a post-production media content presentation
CN103999473A (zh) * 2011-12-20 2014-08-20 雅虎公司 用于内容识别的音频指纹
CN103581705A (zh) * 2012-11-07 2014-02-12 深圳新感易搜网络科技有限公司 视频节目识别方法和系统

Also Published As

Publication number Publication date
US20170026718A1 (en) 2017-01-26
EP3185577A1 (en) 2017-06-28
JP6432047B2 (ja) 2018-12-05
CN106233746B (zh) 2019-07-09
US10200765B2 (en) 2019-02-05
EP3185577A4 (en) 2017-06-28
EP3185577B1 (en) 2018-10-24
JPWO2016027457A1 (ja) 2017-06-01
WO2016027457A1 (ja) 2016-02-25

Similar Documents

Publication Publication Date Title
CN106233746A (zh) 内容辨识装置以及内容辨识方法
CN106233747A (zh) 辨识数据生成装置、图像辨识装置以及辨识数据生成方法
CN101529467B (zh) 用于生成视频内容中感兴趣区域的方法、装置和系统
CN110795858B (zh) 家装设计图纸的生成方法和装置
CN101308501A (zh) 生成视频摘要的方法、系统及设备
CN112215171B (zh) 目标检测方法、装置、设备及计算机可读存储介质
CN103763585A (zh) 一种用户特征信息获取方法、装置和终端设备
CN107948737A (zh) 电视节目的推荐方法及装置
US20240080506A1 (en) Method to insert ad content into a video scene
CN106233742B (zh) 显示控制装置、显示控制方法以及记录介质
CN111741327B (zh) 一种媒体处理方法及媒体服务器
CN108038760A (zh) 一种基于ar技术的商品展示控制系统
CN100471220C (zh) 在小尺寸显示器上显现大静止画面的方法
CN106471815A (zh) 用于跨时间段识别对象的方法和相应装置
KR20170042889A (ko) 콘텐츠 추천 방법, 서버 및 컴퓨팅 장치
US20210365729A1 (en) Traiing method for video stabilization and image processing device using the same
CN111031366B (zh) 一种在视频中植入广告的方法及系统
CN112866748A (zh) 基于ai的视频广告植入方法和装置、设备及存储介质
CN105786995A (zh) 筛选多媒体素材的方法和装置
CN104869471A (zh) 配置电视家庭购物广播的用户界面的方法
CN110969155A (zh) 一种基于智能ar产品画册的食品宣传系统
CN117157985A (zh) 用于确定视频内容项的感知质量指标的方法、系统和介质
CN117690055A (zh) 视频图像处理方法、装置、设备及介质
CN104937948A (zh) 发送方法、接收方法、视频装置和数据库系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant