CN106233747A - 辨识数据生成装置、图像辨识装置以及辨识数据生成方法 - Google Patents

辨识数据生成装置、图像辨识装置以及辨识数据生成方法 Download PDF

Info

Publication number
CN106233747A
CN106233747A CN201580020543.2A CN201580020543A CN106233747A CN 106233747 A CN106233747 A CN 106233747A CN 201580020543 A CN201580020543 A CN 201580020543A CN 106233747 A CN106233747 A CN 106233747A
Authority
CN
China
Prior art keywords
fingerprint
image
identification
static
identification data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580020543.2A
Other languages
English (en)
Other versions
CN106233747B (zh
Inventor
薮博史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN106233747A publication Critical patent/CN106233747A/zh
Application granted granted Critical
Publication of CN106233747B publication Critical patent/CN106233747B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8453—Structuring of content, e.g. decomposing content into time segments by locking or enabling a set of features, e.g. optional functionalities in an executable program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明提供一种辨识数据生成装置、图像辨识装置以及辨识数据生成方法，既能提高图像辨识的精度又能降低图像辨识所涉及的处理。该辨识数据生成装置具备图像获取部和数据生成部。图像获取部获取构成影像内容的帧序列所含的多个图像帧。数据生成部基于由图像获取部获取到的多个图像帧的帧间的图像的变化来生成表征影像内容且用作辨识影像内容时的指纹的辨识数据。

Description

辨识数据生成装置、图像辨识装置以及辨识数据生成方法
技术领域
本公开涉及用于辨识影像内容的辨识数据生成装置、图像辨识装置以及辨识数据生成方法。
背景技术
已提出利用经由云来辨识内容的技术的通信服务的方案。若利用该技术，则能够实现对所输入的影像进行辨识并经由通信网络获取与该影像关联的附加信息、将获取到的附加信息与影像内容一起显示于显示画面的电视接收装置(以下简记为“电视机”)。对所输入的影像进行辨识的技术被称作“ACR(Automatic Content Recognition：自动内容识别)”。
ACR有时利用指纹技术。专利文献1以及专利文献2公开了指纹技术。在该技术中，探测映在影像内的图像帧中的面部等的轮廓，基于探测到的轮廓来生成指纹，将所生成的指纹与数据库中蓄积的数据进行核对。
在先技术文献
专利文献
专利文献1：美国专利申请公开第2010/0318515号说明书
专利文献2：美国专利申请公开第2008/0310731号说明书
发明内容
本公开提供既能提高图像辨识的精度又能降低图像辨识所涉及的处理的辨识数据生成装置、图像辨识装置以及辨识数据生成方法。
本公开中的辨识数据生成装置具备图像获取部和数据生成部。图像获取部获取构成影像内容的帧序列所含的多个图像帧。数据生成部基于由图像获取部获取到的多个图像帧的帧间的图像的变化来生成表征影像内容且用作辨识影像内容时的指纹的辨识数据。
本公开中的图像辨识装置具备上述的辨识数据生成装置、获取部和核对部。获取部获取分别表征多个影像内容的多个辨识数据。核对部将由数据生成部生成的辨识数据与由获取部获取到的多个辨识数据进行核对。
本公开中的辨识数据生成方法包括：图像获取步骤，获取构成影像内容的帧序列所含的多个图像帧；和生成步骤，基于获取到的多个图像帧的帧间的图像的变化来生成表征影像内容且用作辨识影像内容时的指纹的辨识数据。
本公开中的辨识数据生成装置既能提高图像辨识的精度又能降低图像辨识所涉及的处理。
附图说明
图1是表示实施方式1中的内容辨识系统的一构成例的框图。
图2是表示实施方式1中的接收装置的一构成例的框图。
图3是示意性地表示实施方式1中的影像提取部所提取的各帧速率的图像帧和静态区域的关系的一例的图。
图4是示意性地表示实施方式1中的影像提取部所提取的各帧速率的图像帧和动态区域的关系的一例的图。
图5是表示实施方式1中的指纹生成部的一构成例的框图。
图6是表示实施方式1中的内容辨识系统所具备的接收装置的一动作例的流程图。
图7是表示实施方式1中的图像辨识的处理的一例的流程图。
图8是表示实施方式1中的生成辨识数据时的处理的一例的流程图。
图9是示意性地表示实施方式1中的辨识数据的生成处理过程之中的图像帧的变化的一例的图。
图10是表示实施方式1中的图像帧间的变化量的计算处理的一例的流程图。
图11是示意性地表示实施方式1中的图像帧的缩减变换处理的一例的图。
图12是示意性地表示实施方式1中的图像帧间的变化量的计算处理的一例的图。
图13是表示实施方式1中的静态指纹的生成处理的一例的流程图。
图14是示意性地表示实施方式1中的基于图像帧间的变化量而生成的静态指纹的一例的图。
图15是表示实施方式1中的动态指纹的生成处理的一例的流程图。
图16A是示意性地表示实施方式1中的未生成动态指纹的图像帧的一例的图。
图16B是示意性地表示实施方式1中的基于图像帧间的变化量而生成的动态指纹的一例的图。
图17是表示实施方式1中的辨识数据的核对处理的一例的流程图。
图18是示意性地表示实施方式1中的静态指纹的核对处理的一例的图。
图19是示意性地表示实施方式1中的动态指纹的核对处理的一例的图。
图20是表示实施方式1中的影像内容的辨识条件的一例的图。
图21是示意性地表示实施方式1中的影像内容的核对处理的一例的图。
具体实施方式
以下，适当参照附图来详细说明实施方式。不过，存在省略必要以上的详细说明的情况。例如，存在省略已经熟知的事项的详细说明以及对于实质上相同的构成的重复说明等的情况。这是为了避免以下的说明变得不必要的冗余，使得本领域的技术人员易于理解。
另外，所附的附图以及以下的说明是为使本领域的技术人员充分理解本公开而提供的，并非根据这些内容来限定要求保护的范围所记载的主题。
此外，各图只是示意图，不一定是严格意义上图示出的图。此外，在各图中，对于相同的构成要素赋予相同的符号。
(实施方式1)
[1-1.内容辨识系统]
首先，利用图1来说明本实施方式中的内容辨识系统。
图1是表示实施方式1中的内容辨识系统1的一构成例的框图。
如图1所示，内容辨识系统1具备：广告商2、广播站3、STB(Set Top Box：机顶盒)4、接收装置10、服务器装置20和广告服务器装置30。
广告商2是构成为生成商用消息(CM)等广告用的影像内容(以下也记载为“广告内容”)的生成装置。广告商2将广告内容(在图1中记为“广告”)发送至广播站3以及服务器装置20。广告商2经由例如因特网等通信网络105而向广播站3以及服务器装置20发送广告内容。
广播站3是构成为将影像内容变换为影像信号并作为电视广播信号(以下，也简单记为“广播信号”)进行广播的发送装置。影像内容例如是通过无线或有线的广播或通信而被广播的广播内容，包含电视节目等节目内容、CM等广告用的影像内容(以下，记为“广告内容”)。节目内容和广告内容随着时间的经过而相互切换。
STB4是构成为接收从广播站3广播的广播信号并输出基于接收到的广播信号的影像信号等的调谐器/解码器。STB4从由广播站3广播的广播信号之中，接收基于用户的指示而选台的广播频道。然后，对接收到的广播频道的影像内容进行解码，将解码出的影像内容经由通信路径而输出至接收装置10。另外，通信路径例如是HDMI(注册商标)(High-Definition Multimedia Interface：高清晰度多媒体接口)等。
接收装置10例如是电视机等影像接收装置。接收装置10经由通信网络105而与服务器装置20以及广告服务器装置30连接。接收装置10构成为从接收到的影像内容的帧序列之中提取多个图像帧，针对提取出的图像帧来进行图像辨识。接收装置10从服务器装置20之中预先获取用于图像辨识的多个辨识数据来保持。接收装置10基于图像辨识的结果而从广告服务器装置30获取附加信息，将获取到的附加信息与影像内容一起实质上实时地显示于显示画面。
另外，图像帧是构成影像内容的图片。在图像帧中包含逐行扫描方式下的帧、隔行扫描方式下的场等。
服务器装置20例如是Web服务器。服务器装置20构成为获取从广告商2发送出的广告内容，通过对获取到的广告内容进行解析来生成与该广告内容对应的辨识数据。辨识数据是表征广告内容的数据(哈希值)，是在进行广告内容的辨识时用作指纹的数据。具体而言，辨识数据是基于图像帧间的图像的变化而生成的指纹。服务器装置20例如获取广告商2所生成的所有广告内容，生成与这所有广告内容分别对应的指纹，并将生成的指纹蓄积于存储部。
广告服务器装置30例如是Web服务器。广告服务器装置30构成为向接收装置10分发与接收装置10所进行的图像辨识的结果关联的附加信息。广告服务器装置30例如是保持各种商品的广告来分发的广告分发服务器。
另外，在本实施方式中，服务器装置20和广告服务器装置30分别是相互独立的Web服务器，但可以在1台Web服务器中包含服务器装置20以及广告服务器装置30。
以下，说明接收装置10、服务器装置20以及广告服务器装置30的各构成。
[1-1-1.接收装置]
首先，参照图1的同时，利用图2来说明本实施方式中的接收装置10。
图2是表示实施方式1中的接收装置10的一构成例的框图。另外，图2表示接收装置10的主要的硬件构成。
如图1所示，接收装置10具备：影像接收部11、影像提取部12、附加信息获取部13、影像输出部14和图像辨识部100。更详细而言，如图2所示，接收装置10还具备：控制部15、操作信号接收部16和HTTP(Hyper Text Transfer Protocol：超文本传输协议)收发部17。
控制部15是构成为对接收装置10所具备的各构成要素进行控制的处理部。控制部15具备非易失性存储器、CPU(Central Processing Unit：中央处理单元)、易失性存储器。非易失性存储器例如是ROM(Read Only Memory：只读存储器)等，保存有程序(应用程序等)。CPU构成为执行其程序。易失性存储器例如是RAM(Random Access Memory：随机存取存储器)等，作为CPU动作时的临时作业区域来使用。
操作信号接收部16是构成为接收从操作部(未图示)输出的操作信号的电路。操作信号是为了操作接收装置10而用户对操作部(例如远程控制器。以下记为“遥控”)进行操作由此从该操作部输出的信号。另外，在操作部是具有陀螺仪传感器的遥控的情况下，操作信号接收部16也可以构成为接收从该遥控输出的与遥控自身的物理运动有关的信息(用户摇晃遥控、使遥控倾斜、改变遥控的朝向等时的表示运动的信号)。
HTTP收发部17是构成为经由通信网络105而与服务器装置20以及广告服务器装置30通信的接口。HTTP收发部17例如是符合IEEE802.3标准的有线LAN(Local Area Network：局域网)用的通信适配器。
HTTP收发部17获取从服务器装置20经由通信网络105发送的指纹等。获取到的指纹经由控制部15而输出至图像辨识部100。此外，HTTP收发部17例如获取从广告服务器装置30经由通信网络105发送的附加信息。获取到的附加信息经由控制部15而保存至附加信息保存部18。
影像接收部11具有构成为接收影像内容的接收电路以及解码器(未图示)。影像接收部11例如基于由操作信号接收部16接收到的操作信号，进行所接收的广播频道的选台、从外部输入的信号的选择等。影像接收部11所接收的影像内容中包含广告内容。
如图2所示，影像接收部11具备：影像输入部11a、第1外部输入部11b和第2外部输入部11c。
影像输入部11a是构成为输入例如由天线(未图示)接收的广播信号(在图2中记为“TV广播信号”)等从外部发送来的影像信号的电路。
第1外部输入部11b以及第2外部输入部11c是构成为输入从STB4以及影像信号记录再生装置(未图示)等外部设备发送来的影像信号(在图2中记为“外部输入信号”)的接口。第1外部输入部11b例如是HDMI(注册商标)端子，通过适于HDMI(注册商标)的线缆而与STB4连接。
影像提取部12从构成由影像接收部11接收到的广告内容的帧序列之中，以给定的帧速率提取多个图像帧。例如，在广告内容的帧速率为60fps(Frames Per Second：帧频)的情况下，影像提取部12以30fps、或20fps、或15fps这样的帧速率来提取多个图像帧。另外，若后级的图像辨识部100具有能够处理60fps的影像的处理能力，则影像提取部12也可以提取构成广告内容的帧序列的所有图像帧。
影像输出部14是构成为将由影像接收部11接收到的影像内容输出于显示画面的显示控制电路。显示画面例如是液晶显示装置、有机EL(Electro Luminescence：电致发光)等显示器。
附加信息获取部13作为获取信息的电路以及通信接口来动作。附加信息获取部13构成为基于图像辨识部100的图像辨识的结果而从广告服务器装置30之中获取附加信息。附加信息获取部13具备：附加信息保存部18、和附加信息显示控制部19。
附加信息保存部18是构成为保存附加信息的存储装置。附加信息保存部18例如是闪存等非易失性存储元件。附加信息保存部18可以除了保持从广告服务器装置30获取到的附加信息之外，还保持EPG(Electronic Program Guide：电子节目指南)等节目元信息。
附加信息显示控制部19构成为将从广告服务器装置30获取到的附加信息叠加于由影像接收部11接收到的影像内容(例如广告内容)。附加信息显示控制部19在广告内容所含的各图像帧中叠加附加信息来生成叠加图像，并将所生成的叠加图像输出于影像输出部14。影像输出部14将叠加图像输出于显示画面，从而在显示画面显示出叠加有附加信息的广告内容。
关于图像辨识部100的详细内容将后述。
[1-1-2.服务器装置]
接下来，说明服务器装置20。
服务器装置20获取从广告商2发送的广告内容，生成与获取到的广告内容对应的辨识数据。
如图1所示，服务器装置20具备：内容接收部21、指纹DB(Data Base：数据库)22、和指纹生成部110。另外，在图2的服务器装置20中仅示出指纹DB22，省略了内容接收部21以及指纹生成部110。
内容接收部21构成为具备接收电路以及解码器，接收从广告商2发送的广告内容。内容接收部21例如接收广告商2生成并发送的所有广告内容。内容接收部21将接收到的广告内容输出至指纹生成部110。
指纹生成部110构成为按照每个广告内容来生成指纹。指纹生成部110基于构成广告内容的帧序列的图像帧间的变化来生成指纹。另外，服务器装置20所具备的指纹生成部110例如可以是与接收装置10的图像辨识部100所具备的指纹生成部110实质上相同的构成以及动作。关于指纹生成部110的详细内容，利用图5而在后面阐述。
指纹DB22是按照每个广告内容使得表征广告内容的信息和指纹相互建立对应的数据库。在指纹DB22中，例如用于相互识别多个广告内容的识别信息(例如内容ID(IDentifier))和指纹相互建立对应。服务器装置20每当由内容接收部21接收到新的广告内容时，由指纹生成部110生成新的指纹来更新指纹DB22。
指纹DB22存储于服务器装置20所具备的存储装置(例如HDD(Hard Disk Drive：硬盘驱动器)等)。另外，指纹DB22可以存储于设置在服务器装置20的外部的存储装置。
服务器装置20具备通信部(未图示)，能够经由该通信部以及通信网络105而与接收装置10进行通信。例如，服务器装置20经由该通信部来接收从接收装置10发送的请求(要求指纹DB22的请求)，并根据接收到的该请求而将指纹DB22发送至接收装置10。另外，服务器装置20在更新了指纹DB22时，可以经由通信部而将指纹DB22的更新信息发送至接收装置10。
[1-1-3.广告服务器装置]
接下来，说明广告服务器装置30。
广告服务器装置30是构成为分发与从广告商2发送的广告内容有关的附加信息的Web服务器。如图1所示，广告服务器装置30具备附加信息DB31。
附加信息DB31是按照每个广告内容将表征广告内容的信息和附加信息相互建立了对应的数据库。在附加信息DB31中，例如内容ID和附加信息相互建立了对应。
附加信息DB31存储于广告服务器装置30所具备的存储装置(例如HDD)。另外，附加信息DB31可以存储于设置在广告服务器装置30的外部的存储装置。
附加信息例如是表示在广告内容内所显示之物(例如广告对象的商品等)的性质的信息。附加信息例如是商品的规格、销售店(例如，销售店的住址、URL(Uniform ResourceLocator：统一资源定位符)、电话号码等)、制造者、使用方法、功效等与商品有关的信息。
[1-2.图像辨识部]
接下来，说明本实施方式中的图像辨识部100。
图像辨识部100是图像辨识装置的一例，是构成为进行影像内容的辨识(例如ACR)的处理部。影像内容包含影像提取部12所提取的多个图像帧，是图像辨识部100所进行的图像辨识的对象。图像辨识部100例如能够通过集成电路等来实现。
如图1所示，图像辨识部100具备：指纹生成部110、指纹获取部120、核对部130和输出部140。另外，在图2的图像辨识部100中仅示出指纹生成部110以及指纹获取部120，省略了核对部130以及输出部140。
指纹生成部110是辨识数据生成电路的一例。指纹生成部110构成为生成在辨识影像内容时利用的辨识数据。具体而言，指纹生成部110获取构成影像内容的帧序列所含的多个图像帧，并基于获取到的图像帧的帧间的图像的变化来生成辨识数据。辨识数据例如是指纹。关于指纹生成部110的详细内容，利用图5而在后面阐述。
指纹获取部120是获取部的一例。指纹获取部120获取与多个影像内容分别对应的多个辨识数据。具体而言，指纹获取部120从服务器装置20之中获取与多个影像内容分别对应的指纹。获取到的多个指纹用于与指纹生成部110所生成的影像内容的指纹之间的核对。
另外，指纹获取部120可以具备存储部(未图示)。在该情况下，指纹获取部120能够预先从服务器装置20获取多个指纹并保持于存储部。因此，核对部130能够在指纹生成部110生成指纹之后立刻开始所生成的指纹的核对。
核对部130将作为由指纹生成部110生成的辨识数据的指纹与由指纹获取部120从服务器装置20获取并保存于存储部的多个指纹进行核对。
更具体而言，核对部130将由指纹生成部110生成的指纹所含的静态指纹以及动态指纹分别与由指纹获取部120从服务器装置20获取到的多个辨识数据进行核对。并且，核对部130从服务器装置20获取到的多个辨识数据之中选定与静态指纹或动态指纹类似的辨识数据，并将与选定的辨识数据对应的信息作为核对结果来输出。例如，核对部130选定由指纹生成部110生成的辨识数据所含的一个以上的静态指纹以及一个以上的动态指纹之中的至少两个类似的辨识数据，并将与该辨识数据对应的信息作为核对结果来输出。
另外，关于静态指纹、动态指纹、核对部130的动作的详细内容将后述。
输出部140基于从核对部130接受到的核对结果，将表示影像接收部11接收到的影像内容的信息作为图像辨识的结果来输出。图像辨识的结果例如是表示影像接收部11接收到的影像内容的内容ID。
另外，核对部130未能从由指纹获取部120获取到的多个指纹之中发现与由指纹生成部110生成的指纹类似的指纹的情况下，即，未检测出与影像内容对应的内容从而未能实现图像辨识的情况下，输出部140不输出任何信息。或者，输出部140可以将表示未能实现图像辨识的信息作为图像辨识的结果来输出。
[1-3.指纹生成部]
接下来，说明本实施方式中的指纹生成部110。
指纹生成部110是辨识数据生成装置的一例。指纹生成部110构成为基于构成影像内容的帧序列中的静态区域以及动态区域的至少一者来生成指纹。指纹生成部110例如能够通过集成电路等来实现。
以下，首先利用图3以及图4来说明静态区域以及动态区域。
图2的影像提取部12构成为从构成影像内容的帧序列之中以给定的帧速率来提取多个图像帧。该帧速率基于图像辨识部100中的处理能力等来设定。在本实施方式中，说明从广播站3广播的影像内容的帧速率为60fps、影像提取部12以30fps、20fps、15fps三个帧速率来提取图像帧时的动作例。另外，影像提取部12并非以多个帧速率来提取图像帧。图3、图4只是表示所提取的帧速率不同时的动作例。在图3、图4所示的例子中，影像提取部12以30fps、或20fps、或15fps的任意一个帧速率来提取图像帧。
[1-3-1.静态区域]
所谓静态区域，是指两个图像帧间图像的变化量比预先规定的阈值(以下记为“第1阈值”)小的区域。静态区域例如是图像中的背景或运动、变化小的被摄体所占的区域等。静态区域通过在图像帧间计算图像的变化量来决定。
图3是示意性地表示实施方式1中的影像提取部12所提取的各帧速率的图像帧和静态区域的关系的一例的图。
关于在图3中作为一例而示出的广播影像的影像内容，在影像中无大幅变化的同一场景由9帧构成。在影像内，虽然2人被摄体运动，但背景不动。
如图3所示，无论影像提取部12以30fps、20fps、15fps的哪种帧速率来提取图像帧，在各帧速率下决定出的静态区域均相互类似，且均与在所广播的60fps的影像内容中决定出的静态区域类似。
鉴于这些内容可知，无论提取图像帧时的帧速率为30fps、20fps、15fps的哪种帧速率，通过相互核对在影像提取部12所提取的图像帧中决定出的静态区域和在所广播的影像内容中决定出的静态区域，均能够实现影像内容的辨识。静态区域是在图像帧中背景以及运动、变化小的被摄体等所占的区域，给定的期间(例如几秒钟)是存在于图像帧内的可能性高的区域。因此，通过利用静态区域，从而能够实现高精度的辨识。
在本实施方式中，所广播的影像内容中的静态区域由服务器装置20预先决定。因此，接收装置10通过将基于由影像提取部12所提取的图像帧而决定的静态区域与从服务器装置20获取的静态区域核对，从而能够辨识接收中的影像内容。
[1-3-2.动态区域]
所谓动态区域，是指两个图像帧间图像的变化量比预先规定的阈值(以下记为“第2阈值”)大的区域。动态区域例如是场景切换时图像发生大幅变化的区域等。
图4是示意性地表示实施方式1中的影像提取部12所提取的各帧速率的图像帧和动态区域的关系的一例的图。
在图4中作为一例而示出的影像内容包含场景的切换。图4所示的影像内容包含随着时间的经过而切换的第1场景～第3场景这三个场景。第1场景包含图像帧A001～A003，第2场景包含图像帧A004～A006，第3场景包含图像帧A007～A009。
动态区域通过在图像帧间计算图像的变化量来决定。
在图4所示的例子中，无论在30fps、20fps、15fps的哪种情况下，在影像提取部12所提取的多个图像帧中均包含三个场景各自的图像帧。因而，若在时间上相邻的两个图像帧间计算图像的变化量，则在场景切换前后的图像帧中计算出较大的变化量。另外，在图4中，作为一例而示出从第1场景向第2场景切换时的动态区域。
例如，在图4的30fps下，第1场景和第2场景的切换是图像帧A003和图像帧A005。因此，在图4的30fps下，在图像帧A003与图像帧A005之间产生动态区域。同样，在图4的20fps下，在图像帧A001与图像帧A004之间产生动态区域，在图4的15fps下，在图像帧A001与图像帧A005之间产生动态区域。
另一方面，在所广播的60fps的影像内容中，第1场景和第2场景的切换是图像帧A003和图像帧A004。因此，在所广播的影像内容中，在图像帧A003与图像帧A004之间产生动态区域。
即，所广播的60fps的影像内容中的动态区域和由影像提取部12提取的30fps、20fps、15fps的每一个下的动态区域，如图4所示，相互类似。
如此，无论影像提取部12以30fps、20fps、15fps的哪种帧速率来提取图像帧，在各帧速率下分别决定出的动态区域均相互类似，且均与在所广播的60fps的影像内容中决定出的动态区域类似。
鉴于这些内容可知，无论提取图像帧时的帧速率为30fps、20fps、15fps的哪种帧速率，通过相互核对基于影像提取部12所提取的图像帧而决定的动态区域和在所广播的影像内容中决定出的动态区域，均能够实现影像内容的辨识。动态区域是通过场景的切换等而图像发生大幅变化的区域，是引起特征图像变化的区域。因此，通过利用动态区域，从而能够实现高精度的辨识。此外，由于基于特征图像的变化来进行辨识，因此与以往相比能够削减辨识所需的帧数，能够使得辨识所涉及的处理变得高速。
在本实施方式中，所广播的影像内容中的动态区域由服务器装置20预先决定。因此，接收装置10通过将基于由影像提取部12所提取的图像帧而决定的动态区域与从服务器装置20获取的动态区域核对，从而能够辨识接收中的影像内容。
[1-3-3.构成]
接下来，利用图5来说明本实施方式中的指纹生成部110。
图5是表示实施方式1中的指纹生成部110的一构成例的框图。
如图5所示，指纹生成部110具备：图像获取部111、和数据生成部112。
图像获取部111获取由影像提取部12提取出的多个图像帧。
数据生成部112基于由图像获取部111获取到的多个图像帧的帧间的图像的变化来生成指纹作为辨识数据。指纹包含：基于帧间的图像的变化量比第1阈值小的静态区域的静态指纹、以及基于帧间的图像的变化量比第2阈值大的动态区域的动态指纹的至少一者。另外，根据第1阈值的值以及第2阈值的值而存在静态指纹以及动态指纹均未生成的情况。在该情况下，指纹不包含静态指纹以及动态指纹的任一者。
数据生成部112具备：标度变换部210、差分计算部220、决定部230和生成部240。
标度变换部210针对由图像获取部111获取到的多个图像帧来分别执行标度变换。具体而言，标度变换部210针对各图像帧来执行灰度标度变换以及缩减变换。
所谓灰度标度变换，是指将彩色图像变换为灰度标度图像。标度变换部210将图像帧的各像素所具有的颜色信息变换为亮度值，由此将彩色图像变换为灰度标度图像。本公开并不限定该变换方法。例如，标度变换部210可以从各像素之中提取RGB的一个要素，并将该一个要素变换为对应的像素的亮度值。另外，亮度值是表示像素的明亮度的数值，是像素值的一例。或者，标度变换部210可以利用NTSC系加权平均法或简单平均法等来计算亮度值。
所谓缩减变换，是指将构成一个图像帧的像素的数变换为比原始的像素数少的像素数。标度变换部210执行缩减变换，从而将图像帧的图像变换为由更少像素数构成的图像。本公开并不限定该变换方法。例如，标度变换部210可以将各图像分割为分别包含多个像素的多个块，按照每个区域来计算一个数值，由此来进行缩减变换。此时，标度变换部210可以按照每个区域来计算亮度值的平均值、中间值等，设为表征该区域的明亮度的数值。
另外，在本实施方式中，标度变换部210虽然进行灰度标度变换以及缩减变换双方，但本公开丝毫并不限定于该构成。标度变换部210可以仅进行其中的任意一方，或者可以均不进行。即，数据生成部112可以不具备标度变换部210。
差分计算部220根据由图像获取部111获取到的多个图像帧来分别生成图像变化帧。图像变化帧通过计算时间上相邻的两个图像帧(例如，时间上连续的两个图像帧)间的亮度值的差分来生成。因此，图像变化帧表示时间上相邻的两个图像帧间的亮度值的变化量(以下记为“亮度变化值”)。另外，亮度变化值是像素变化值的一例，是表示作为像素值的一例的亮度值的变化量的值。差分计算部220利用由标度变换部210进行了灰度标度变换以及缩减变换的图像帧来生成图像变化帧。
决定部230具备：静态区域决定部231、和动态区域决定部232。
决定部230将由差分计算部220生成的图像变化帧的各亮度变化值的绝对值与第1阈值以及第2阈值进行比较。然后，决定亮度变化值的绝对值比第1阈值小的静态区域、以及亮度变化值的绝对值比第2阈值大的动态区域的至少一者。具体而言，决定部230分别计算图像变化帧的各亮度变化值的绝对值，通过分别执行该绝对值是否小于第1阈值的判定和该绝对值是否大于第2阈值的判定，由此来决定静态区域以及动态区域。
另外，亮度变化值的绝对值的计算可以由差分计算部220来进行。
第1阈值以及第2阈值被设定了预先规定的数值，基于亮度变化值的可取的范围来决定。例如，第1阈值以及第2阈值在亮度变化值的绝对值的最大值的0％～20％的范围内规定。若列举具体的一例，则在亮度变化值的绝对值的最大值为255的情况下，第1阈值为“1”，第2阈值为“20”。另外，这些数值只不过是简单的一例。各阈值期望适当设定。第1阈值和第2阈值可以是彼此相同的数值，也可以是彼此不同的数值。此外，第2阈值期望是比第1阈值大的数值，但第2阈值也可以是比第1阈值小的数值。
决定部230所具备的静态区域决定部231将图像变化帧的亮度变化值的绝对值分别与第1阈值进行比较，通过判定该绝对值是否小于第1阈值，由此来决定静态区域。例如，在第1阈值为“1”的情况下，静态区域决定部231将亮度变化值为“0”的区域设为静态区域。亮度变化值为“0”的区域是在时间上相邻的两个图像帧间亮度值实质上不变化的区域。
决定部230所具备的动态区域决定部232将图像变化帧的亮度变化值的绝对值分别与第2阈值进行比较，通过判定该绝对值是否大于第2阈值，由此来决定动态区域。例如，在第2阈值为“20”的情况下，动态区域决定部232将亮度变化值的绝对值为“21”以上的区域设为动态区域。亮度变化值的绝对值为“21”以上的区域是在时间上相邻的两个图像帧间亮度值变化21以上的区域。
另外，静态区域决定部231以及动态区域决定部232在判定中利用基于由标度变换部210进行了灰度标度变换以及缩减变换的图像帧的图像变化帧的亮度变化值的绝对值。
生成部240具备：静态指纹生成部241、和动态指纹生成部242。
静态指纹生成部241判定从静态区域决定部231输出的静态区域是否占图像变化帧内的预先规定的比例(以下记为“第1比例”)以上。并且，静态指纹生成部241在静态区域为第1比例以上的情况下，基于静态区域按如下方式生成静态指纹。否则，不生成静态指纹。在图像变化帧内所占的静态区域的范围大的情况下，换言之在时间上相邻的两个图像帧间图像的变化少的情况下，静态指纹生成部241生成静态指纹。
静态指纹生成部241在静态区域中过滤用于生成图像变化帧的两个图像帧的一者来生成静态帧。关于该过滤将后述。并且，静态指纹生成部241将所生成的静态帧设为静态指纹。静态帧是包含用于生成图像变化帧的两个图像帧的一者的静态区域的亮度值且静态区域以外的区域的亮度值为一定值(例如“0”)的帧。静态帧的详细内容将后述。
动态指纹生成部242判定从动态区域决定部232输出的动态区域是否占图像变化帧内的预先规定的比例(以下记为“第2比例”)以上。并且，动态指纹生成部242在动态区域为第2比例以上的情况下，基于动态区域按如下方式生成动态指纹。否则，不生成动态指纹。在图像变化帧内所占的动态区域的范围大的情况下，换言之在时间上相邻的两个图像帧间图像的变化多的情况下，动态指纹生成部242生成动态指纹。
动态指纹生成部242在动态区域中过滤图像变化帧来生成动态帧。关于该过滤将后述。并且，动态指纹生成部242将所生成的动态帧设为动态指纹。动态帧是包含图像变化帧的动态区域的亮度值且动态区域以外的区域的亮度值为一定值(例如“0”)的帧。动态帧的详细内容将后述。
另外，第1比例以及第2比例被设定了预先规定的数值。例如，第1比例以及第2比例在20％～40％的范围内规定。若列举具体的一例，则第1比例以及第2比例分别为30％。另外，这些数值只不过是简单的一例。第1比例以及第2比例期望适当设定。第1比例和第2比例可以是彼此相同的数值，也可以是彼此不同的数值。
通过以上的构成，指纹生成部110按照每个图像帧来生成静态指纹以及动态指纹的任意一者。或者，均不生成。即，在从影像内容之中获取到N个图像帧的情况下，指纹生成部110生成将静态指纹以及动态指纹合在一起最大程度包含N-1个的指纹。
另外，连续的同一场景内生成的各静态指纹相互类似的可能性高。因此，静态指纹生成部241在连续的多个图像帧反映同一场景的情况下，可以从由同一场景生成的多个静态指纹之中选择一个静态指纹来输出。
[1-4.动作]
接下来，利用图6～图21来说明本实施方式中的内容辨识系统1的动作。另外，服务器装置20预先生成多个影像内容的指纹，并保持有使所生成的指纹和内容ID相互建立了对应的指纹DB22。
[1-4-1.整体的动作]
首先，利用图6来说明本实施方式中的内容辨识系统1的整体的动作。
图6是表示实施方式1中的内容辨识系统1所具备的接收装置10的一动作例的流程图。
若影像接收部11接收到影像内容，则影像提取部12从构成影像内容的帧序列之中以预先规定的帧速率来提取多个图像帧(步骤S1)。
图像辨识部100获取由影像提取部12提取出的多个图像帧，基于获取到的多个图像帧的帧间的变化来进行图像辨识(步骤S2)。关于图像辨识的处理的详细内容，利用图7而在后面阐述。
图像辨识部100在步骤S2中已完成图像辨识时输出图像辨识的结果，在未完成图像辨识时不输出图像辨识的结果(步骤S3)。
在步骤S3中从图像辨识部100输出了图像辨识的结果时(步骤S3的“是”)，附加信息获取部13基于该图像辨识的结果而从广告服务器装置30之中获取附加信息(步骤S4)。然后，影像输出部14将获取到的附加信息叠加于影像内容来输出。
在步骤S3中未从图像辨识部100输出图像辨识的结果时(步骤S3的“否”)，接收装置10的处理返回步骤S1，反复执行步骤S1的图像帧的提取、以及步骤S2的图像辨识。在接收装置10中未检测到与影像内容对应的内容时，不从图像辨识部100输出图像辨识的结果，在步骤S3中成为“否”。
在步骤S4之后判定影像内容是否已结束(步骤S5)。具体而言，通过影像接收部11是否能够获取影像内容，即，通过在接收装置10中是否输入了影像内容，来进行步骤S5的判定。
在步骤S5中判定为影像内容已结束的情况下(步骤S5的“是”)，内容辨识系统1的处理结束。在影像接收部11无法获取影像内容时(在接收装置10中未输入影像内容时)，在步骤S5中判定为“是”，内容辨识系统1的处理结束。
在步骤S5中判定为影像内容未结束的情况下(步骤S5的“否”)，即，若继续向接收装置10输入影像内容，则内容辨识系统1的处理返回步骤S1，反复执行步骤S1以后的一系列处理。
[1-4-2.图像辨识]
接下来，利用图7来说明本实施方式中的图像辨识部100的动作。
图7是表示实施方式1中的图像辨识的处理的一例的流程图。图7的流程图表示在图6的步骤S2中执行的处理的概要。
图像辨识部100的指纹生成部110基于在步骤S1中从影像内容的帧序列之中提取出的多个图像帧中的图像帧间的图像的变化来生成辨识数据(步骤S10)。另外，在图7中，将步骤S10记为“帧时序辨识数据生成”。关于步骤S10的详细内容，利用图8而在后面阐述。
然后，图像辨识部100的核对部130将在步骤S10中由指纹生成部110生成的辨识数据与由指纹获取部120从服务器装置20获取到的多个辨识数据进行核对(步骤S20)。另外，在图7中，将步骤S20记为“帧时序辨识数据核对”。关于步骤S20的详细内容，利用图17而在后面阐述。
[1-4-3.帧时序辨识数据生成]
接下来，利用图8～图16B来说明在本实施方式中生成辨识数据时的处理的详细内容。
首先，利用图8来说明生成辨识数据时的处理的概要。
图8是表示实施方式1中的生成辨识数据时的处理的一例的流程图。图8的流程图表示在图7的步骤S10中执行的处理的概要。
首先，指纹生成部110根据在步骤S1中提取出的多个图像帧来计算图像帧间的图像的变化量(步骤S100)。关于图像的变化量的计算的详细内容，利用图10～图12而在后面阐述。
然后，指纹生成部110生成静态指纹(步骤S110)。
指纹生成部110基于图像变化帧来决定静态区域，基于决定出的静态区域来生成静态指纹。关于静态指纹的生成的详细内容，利用图13、图14而在后面阐述。
接下来，指纹生成部110生成动态指纹(步骤S120)。
指纹生成部110基于图像变化帧来决定动态区域，基于决定出的动态区域来生成动态指纹。关于动态指纹的生成的详细内容，利用图15、图16A、16B而在后面阐述。
另外，步骤S110中的静态指纹的生成处理和步骤S120中的动态指纹的生成处理，可以其中一方先执行，或者可以相互并行地执行。
在此，在图9中列举一例来说明辨识数据的生成处理过程中的图像帧的变化。
图9是示意性地表示实施方式1中的辨识数据的生成处理过程中的图像帧的变化的一例的图。
另外，在图9中示意性地示出：在步骤S1中提取出的多个图像帧(a)、在后述的步骤S101中进行了灰度标度变换的图像帧(b)、在后述的步骤S102中进行了缩减变换的图像帧(c)、在后述的步骤S103中计算出的变化量(d)、以及在步骤S110、步骤S120中生成的指纹(e)。
首先，在图9的图像帧(a)中，示出在图6所示的步骤S1中从影像内容之中提取出9个图像帧A001～A009时的例子。在图9所示的例子中，图像帧A001～A009分别包含在第1场景～第3场景的三个场景的任意一个场景中。图像帧A001～A003包含在第1场景中，图像帧A004～A006包含在第2场景中，图像帧A007～A009包含在第3场景中。图像帧A001～A009是所谓的彩色图像，包含颜色信息。
然后，在图9的图像帧(b)中，示出针对在图6的步骤S1中提取出的9个图像帧A001～A009而分别在后述的图10的步骤S101中进行灰度标度变换时的例子。由此，图像帧A001～A009所含的颜色信息按照每个像素被变换为亮度值。
接下来，在图9的图像帧(c)中，示出针对在后述的图10的步骤S101中进行了灰度标度变换的9个图像帧A001～A009而分别在后述的图10的步骤S102中进行缩减变换时的例子。由此，构成图像帧的像素数被削减。另外，在图9的图像帧(c)中，示出一个图像帧被分割为5块×5块的25个块时的例子。这能够换言之为将构成一个图像帧的像素的数缩减变换为25个。图9的图像帧(c)所示的各块的亮度值根据构成各块的多个像素的亮度值来计算。关于各块的亮度值，通过按照每个块来计算构成块的多个像素的亮度值的平均值、中间值等，由此能够计算。
另外，在图9的图像帧(c)中，各块的浓淡对应于亮度值的大小。亮度值越大，则越使得该块更浓地示出，亮度值越小，则越使得该块更淡地示出。
然后，在图9的变化量(d)中，示出根据在后述的图10的步骤S102中进行了缩减变换的9个图像帧A001～A009而在后述的图10的步骤S103中生成8个图像变化帧B001～B008时的例子。在步骤S103中，通过在时间上相邻的两个图像帧间计算亮度值的变化量(即，亮度变化值)，由此来生成一个图像变化帧。在步骤S103中，例如根据进行了缩减变换的图像帧A001和图像帧A002来生成图像变化帧B001。
另外，在图9的变化量(d)中，构成图像变化帧的各块的浓淡对应于图像变化帧的亮度变化值，即，对应于进行了缩减变换的两个图像帧间的亮度值的变化量。亮度值的变化量越大，则越使得该块更浓地示出，亮度值的变化量越小，则越使得该块更淡地示出。
接下来，在图9的指纹(e)中，示出根据在后述的图10的步骤S103中生成的8个图像变化帧B001～B008而生成合计5个静态指纹以及动态指纹时的例子。
在图9所示的例子中，图像变化帧B001和图像变化帧B002均根据同一场景所含的图像帧A001～A003来生成。因而，图像变化帧B001和图像变化帧B002相互类似。因此，在步骤S110中，能够根据图像变化帧B001和图像变化帧B002生成一个静态指纹C002。关于图像变化帧B004和图像变化帧B005、以及图像变化帧B007和图像变化帧B008，也是同样的。
另一方面，在图9所示的例子中，图像变化帧B003根据成为场景切换的两个图像帧A003、A004来生成。因此，在步骤S120中，能够根据图像变化帧B003生成一个动态指纹D003。图像变化帧B006也是同样的。
在图9所示的例子中，如此根据图像帧A001～A009生成的影像内容的指纹具有：三个静态指纹C002、C005、C008和两个动态指纹D003、D006。
如此，所生成的影像内容的指纹包含一个以上的静态指纹以及一个以上的动态指纹之中的至少两个。影像内容的指纹可以仅由两个以上的静态指纹构成，可以仅由两个以上的动态指纹构成，或者也可以由一个以上的静态指纹以及一个以上的动态指纹构成。
另外，在图9的指纹(e)中，构成静态指纹或动态指纹的各块的浓淡对应于该块的亮度值的大小。
[1-4-4.标度变换以及变化量的计算]
接下来，利用图10～图12来说明在本实施方式中计算图像帧间的变化量时的处理的详细内容。
图10是表示实施方式1中的图像帧间的变化量的计算处理的一例的流程图。图10的流程图表示在图8的步骤S100中执行的处理的概要。
图11是示意性地表示实施方式1中的图像帧的缩减变换处理的一例的图。
图12是示意性地表示实施方式1中的图像帧间的变化量的计算处理的一例的图。
说明图10的流程图。首先，图5所示的标度变换部210进行提取出的多个图像帧的灰度标度变换(步骤S101)。
标度变换部210将提取出的多个图像帧之一和在时间上与该图像帧相邻的图像帧分别变换为灰度标度。另外，在本实施方式中，将提取出的一个图像帧设为“帧91”，将在时间上与帧91相邻的图像帧设为“帧92”。标度变换部210例如基于NTSC系加权平均法而将帧91、92的颜色信息变换为亮度值。
另外，在本实施方式中，将帧91后面紧随的图像帧设为帧92。但是，本公开丝毫并不限定于该构成。帧92可以是帧91前面紧挨的图像帧。或者，帧92可以是帧91前2帧以上的图像帧，或者可以是帧91后2帧以上的图像帧。
然后，标度变换部210进行被灰度标度变换后的两个图像帧的缩减变换(步骤S102)。
图11表示对图像帧A003、A004进行缩减变换的例子。在图11所示的例子中，图像帧A003相当于帧91，图像帧A004相当于帧92。
例如，如图11所示，标度变换部210将图像帧A003分割为5块×5块的25个块。在图11所示的例子中，假设各块包含9像素×9像素的81个像素。例如，图像帧A003的左上角的块如图11所示，由具有“77”、“95”等亮度值的81个像素构成。另外，这些数值只不过是简单的一例，本公开丝毫不限定于这些数值。
标度变换部210例如按照每个块来计算各块所含的多个像素的亮度值的平均值，由此来计算表征该块的亮度值。在图11所示的例子中，通过计算构成图像帧A003的左上角的块的81个像素的亮度值的平均值，由此计算出“103”这一值。如此计算出的值(平均值)是表征左上角的块的亮度值。标度变换部210如此关于构成图像帧A003的所有块来分别计算表征各块的亮度值。
由此，能够将构成图像帧的像素数变换(即，缩减)为块的数。在图11所示的例子中，将具有45像素×45像素的像素数的图像帧缩减变换为由5块×5块的25个块构成的图像帧。这能够换言之为将具有45像素×45像素的像素数的图像帧缩减变换为具有5像素×5像素的像素数的图像帧。
在图11所示的例子中，缩减后的图像帧A003由包含“103”、“100”等平均值的25个块构成。这可以换言之为缩减后的图像帧A003由具有“103”、“100”等亮度值的25个像素构成。图像帧A004也同样地被进行缩减变换。另外，在本实施方式中，存在将构成缩减变换后的图像帧的各块表现为“像素”，将按照每个块计算的亮度的平均值表现为“缩减变换后的图像帧的像素的亮度值”的情况。
接下来，图5所示的差分计算部220在缩减变换后的帧91与帧92之间计算亮度值的差分，生成由亮度值的差分(即，亮度变化值)构成的图像变化帧(步骤S103)。
例如，在图12所示的例子中，差分计算部220分别计算构成缩减变换后的帧91的各像素的亮度值与构成缩减变换后的帧92的各像素的亮度值之间的差分。此时，差分计算部220在相同位置的像素彼此之间计算亮度值的差分。例如，差分计算部220从图像帧A003的左上角的亮度值“103”之中减去图像帧A004的左上角的亮度值“89”，计算出图像变化帧B003的左上角的亮度变化值“14”。
如此，差分计算部220在缩减变换后的两个图像帧间针对所有像素(即，所有块)计算亮度值的差分，来生成图像变化帧。在图12所示的例子中，根据缩减变换后的图像帧A003、A004来生成图像变化帧B003。
[1-4-5.静态指纹的生成]
接下来，利用图13、图14来说明在本实施方式中生成静态指纹时的处理的详细内容。
图13是表示实施方式1中的静态指纹的生成处理的一例的流程图。图13的流程图表示在图8的步骤S110中执行的处理的概要。
图14是示意性地表示实施方式1中的基于图像帧间的变化量而生成的静态指纹的一例的图。
首先，图5所示的静态区域决定部231决定静态区域(步骤S111)。
静态区域决定部231计算图像变化帧的亮度变化值的绝对值，并将该绝对值与第1阈值进行比较。并且，判定亮度变化值的绝对值是否小于第1阈值，将亮度变化值的绝对值小于第1阈值的区域设为静态区域。如此决定静态区域。亮度变化值的绝对值是时间上相邻的两个图像帧间的亮度值的变化量。
例如，若第1阈值设定为“1”，则静态区域决定部231将图像变化帧的亮度变化值为“0”的区域设为静态区域，即，将在时间上相邻的两个图像帧间亮度值实质上不变化的区域设为静态区域。在该设定的情况下，在图14所示的例子中，在图像变化帧B002中作为亮度变化值而记入了“0”的13个块成为静态区域。
然后，图5所示的静态指纹生成部241在步骤S111中决定出的静态区域内对帧91进行过滤，生成静态帧(步骤S112)。
该过滤是指针对构成帧91的各块的亮度值实施如下的处理。关于在步骤S111中决定出的静态区域，直接使用与该静态区域相应的帧91的块的亮度值，关于静态区域以外的块，将亮度值设为一定值(例如“0”)。
通过对帧91进行过滤而生成的静态帧，在图14所示的例子中为静态帧C002。在静态帧C002中，关于在图像变化帧B002中亮度变化值成为“0”的块(静态区域)，直接使用帧91的亮度值，关于静态区域以外的块，亮度值成为“0”。
接下来，静态指纹生成部241计算在步骤S111中决定出的静态区域的比例，并与第1比例进行比较，判定静态区域的比例是否为第1比例以上(步骤S113)。
静态指纹生成部241基于相对于构成图像变化帧的块的总数的、在步骤S111中设为静态区域的块数，来计算静态区域的比例。在图14所示的图像变化帧B002的例子中，构成图像变化帧的块的总数为25，静态区域的块数为13，因此静态区域的比例成为52％。因此，若第1比例例如为30％，则在图14所示的例子中，在步骤S113中判定为“是”。
在步骤S113中判定出静态区域的比例为第1比例以上的情况下(步骤S113的“是”)，静态指纹生成部241将在步骤S112中生成的静态帧作为静态指纹来保存(步骤S114)。
在图14所示的例子中，在步骤S113中判定为“是”的情况下，静态帧C002作为静态指纹C002保存于接收装置10所具有的存储装置(例如图像辨识部100的内部存储器等，未图示)。
在步骤S113中判定出静态区域的比例小于第1比例的情况下(步骤S113的“否”)，静态指纹生成部241不保存在步骤S112中生成的静态帧而将其废弃(步骤S115)。因此，在步骤S113中判定为“否”的情况下，不生成静态指纹。
另外，在图13的流程图中，说明了在步骤S112中进行过滤来生成静态帧之后，在步骤S113中进行是否保存静态帧的判定的动作例，但本公开丝毫并不限定于该处理顺序。例如，各处理的次序可以设定为：在步骤S111中决定静态区域之后，执行步骤S113，在步骤S113中判定为“是”时，执行步骤S112来生成静态帧，在后续的步骤S114中将该静态帧作为静态指纹来保存。
[1-4-6.动态指纹的生成]
接下来，利用图15、图16A、16B来说明在本实施方式中生成动态指纹时的处理的详细内容。
图15是表示实施方式1中的动态指纹的生成处理的一例的流程图。
图16A是示意性地表示实施方式1中的未生成动态指纹的图像帧的一例的图。
图16B是示意性地表示实施方式1中的基于图像帧间的变化量而生成的动态指纹的一例的图。
首先，图5所示的动态区域决定部232决定动态区域(步骤S121)。
动态区域决定部232计算图像变化帧的亮度变化值的绝对值，并将该绝对值与第2阈值进行比较。并且，判定亮度变化值的绝对值是否大于第2阈值，将亮度变化值的绝对值大于第2阈值的区域设为动态区域。如此决定动态区域。
例如，若第2阈值设定为“20”，则在图像变化帧中亮度变化值的绝对值为“21”以上的块成为动态区域。在该设定的情况下，在图16A所示的例子中，在图像变化帧B002中作为亮度变化值而记入了“21”以上或“-21”以下的数值的两个块成为动态区域，在图16B所示的例子中，在图像变化帧B003中作为亮度变化值而记入了“21”以上或“-21”以下的数值的11个块成为动态区域。
然后，图5所示的动态指纹生成部242在步骤S121中决定出的动态区域内对图像变化帧进行过滤，生成动态帧(步骤S122)。
该过滤是指针对构成图像变化帧的各块的亮度变化值实施如下的处理。关于在步骤S121中决定出的动态区域，直接使用与该动态区域相应的块的亮度变化值，关于动态区域以外的块，将亮度变化值设为一定值(例如“0”)。
通过对图像变化帧进行过滤而生成的动态帧，在图16A所示的例子中为动态帧D002，在图16B所示的例子中为动态帧D003。在动态帧D002、D003中，关于在图像变化帧B002、B003中亮度变化值成为“21”以上或“-21”以下的块(动态区域)，直接使用图像变化帧B002、B003的亮度变化值，关于动态区域以外的块，亮度变化值成为“0”。
另外，针对图像变化帧的步骤S121、步骤S122的处理，例如能够关于亮度变化值的绝对值为第2阈值以下的块而以将该亮度变化值置换为“0”的总括性处理来执行。
接下来，动态指纹生成部242计算在步骤S121中决定出的动态区域的比例，并与第2比例进行比较，判定动态区域的比例是否为第2比例以上(步骤S123)。
动态指纹生成部242基于相对于构成图像变化帧的块的总数的、在步骤S121中设为动态区域的块数，来计算动态区域的比例。在图16A所示的图像变化帧B002的例子中，构成图像变化帧的块的总数为25，动态区域的块数为2，因此动态区域的比例成为8％。在图16B所示的图像变化帧B003的例子中，构成图像变化帧的块的总数为25，动态区域的块数为11，因此动态区域的比例成为44％。因此，若第2比例例如为30％，则在图16A所示的例子中，在步骤S123中判定为“否”，在图16B所示的例子中，在步骤S123中判定为“是”。
在步骤S123中判定出动态区域的比例为第2比例以上的情况下(步骤S123的“是”)，动态指纹生成部242将在步骤S122中生成的动态帧作为动态指纹来保存(步骤S124)。
另一方面，在判定出动态区域的比例小于第2比例的情况下(步骤S123的“否”)，动态指纹生成部242不保存在步骤S122中生成的动态帧而将其废弃(步骤S125)。因此，在步骤S123中判定为“否”的情况下，不生成动态指纹。
在图16B所示的例子中，在步骤S123中判定为“是”的动态帧D003作为动态指纹D003保存于接收装置10所具有的存储装置(例如图像辨识部100的内部存储器等，未图示)。
在图16A所示的例子中，在步骤S123中判定为“否”的动态帧D002不保存而被废弃。
另外，在图15的流程图中，说明了在步骤S122中进行过滤来生成动态帧之后，在步骤S123中进行是否保存动态帧的判定的动作例，但本公开丝毫并不限定于该处理顺序。例如，各处理的次序可以设定为：在步骤S121中决定动态区域之后，执行步骤S123，在步骤S123中判定为“是”时，执行步骤S122来生成动态帧，在后续的步骤S124中将该动态帧作为动态指纹来保存。
[1-4-7.帧时序辨识数据核对]
接下来，利用图17～图21来说明在本实施方式中执行辨识数据的核对时的处理的详细内容。
图17是表示实施方式1中的辨识数据的核对处理的一例的流程图。图17的流程图表示在图7的步骤S20中执行的处理的概要。
图18是示意性地表示实施方式1中的静态指纹的核对处理的一例的图。
图19是示意性地表示实施方式1中的动态指纹的核对处理的一例的图。
图20是表示实施方式1中的影像内容的辨识条件的一例的图。在图20中，作为一例而示出5个辨识条件(a)～(e)。
图21是示意性地表示实施方式1中的影像内容的核对处理的一例的图。
[1-4-7-1.静态指纹的类似度]
说明图17的流程图。图1以及图2所示的核对部130计算静态指纹的类似度(步骤S200)。
核对部130将由指纹生成部110生成的指纹所含的静态指纹与由指纹获取部120从服务器装置20获取到的多个指纹各自所含的静态指纹(以下也记为“数据库所含的静态指纹”)进行核对。并且，核对部130计算由指纹生成部110生成的静态指纹和数据库所含的多个静态指纹各自之间的类似度。另外，从服务器装置20获取到的多个指纹是蓄积于服务器装置20的指纹DB22的指纹。
核对部130将静态区域的一致程度作为类似度来计算。具体而言，核对部130相互比较由指纹生成部110生成的静态指纹的静态区域的位置和由指纹获取部120获取到的静态指纹的静态区域的位置。并且，核对部130计数两者相互一致的区域(块)的数目，将两者一致的区域在静态指纹内所占的比例作为类似度来计算。
另外，在本实施方式中，仅仅利用是否为静态区域来判断两者是否相互一致，不考虑各块的亮度值。若彼此位于相同位置的块均为静态区域，则即便各个块的亮度值彼此不同，核对部130也判定为两者一致。
在图18中示出具体例来说明核对部130所进行的类似度的计算处理的一例。
图18所示的静态指纹C002是由指纹生成部110生成的静态指纹。此外，图18所示的静态指纹C00X是由指纹获取部120从服务器装置20获取到的静态指纹。另外，在图18中，将静态指纹C002记为“辨识数据所含的静态指纹”，将静态指纹C00X记为“数据库所含的静态指纹”。
在图18所示的例子中，静态指纹C002所具有的静态区域的块数和静态指纹C00X所具有的静态区域的块数均为13，数目相同。但是，在位置上略有差异。在静态指纹C002与静态指纹C00X之间，静态区域的块的位置相互一致的是，静态指纹内的25个块之中从上起第1段的5个、从上起第2段的1个(亮度值为“128”的块)、以及从上起第5段的5个，合计11个块。在此，构成静态指纹的块的总数为25，因此核对部130计算11/25＝44％，将计算出的44％作为静态指纹C002与静态指纹C00X之间的类似度。
并且，核对部130将计算出的类似度与预先规定的静态阈值进行比较，基于该比较的结果来进行类似判定。若计算出的类似度为静态阈值以上，则核对部130判定为“类似”，若计算出的类似度小于静态阈值，则核对部130判定为“不类似”。在上述的例子中，若静态阈值例如设定为40％，则核对部130判定为静态指纹C002和静态指纹C00X类似。另外，该静态阈值的数值只不过是简单的一例，期望适当设定。
另外，在本实施方式中，在计算静态指纹的类似度时，说明了不考虑构成静态指纹的各块所具有的亮度值的情形，但本公开丝毫并不限定于该构成。核对部130也可以在计算静态指纹的类似度时，利用构成静态指纹的各块所具有的亮度值。例如，核对部130可以在核对两个静态指纹时，计数不仅是位置而且亮度值也相互一致的块数，来计算静态指纹的类似度。或者，核对部130也可以利用标准化互相关匹配(Normalized Cross Correlation)来计算静态指纹的类似度。
[1-4-7-2.动态指纹的类似度]
接下来，核对部130计算动态指纹的类似度(步骤S210)。
核对部130将由指纹生成部110生成的指纹所含的动态指纹与由指纹获取部120从服务器装置20获取到的多个指纹各自所含的动态指纹(以下也记为“数据库所含的动态指纹”)进行核对。并且，核对部130计算由指纹生成部110生成的动态指纹和数据库所含的多个动态指纹各自之间的类似度。
核对部130将动态区域的一致程度作为类似度来计算。具体而言，核对部130相互比较由指纹生成部110生成的动态指纹的动态区域的位置以及亮度变化值的符号与由指纹获取部120获取到的动态指纹的动态区域的位置以及亮度变化值的符号。并且，核对部130计数两者相互一致的区域(块)的数目，将两者一致的区域在动态指纹内所占的比例作为类似度来计算。
另外，在本实施方式中，利用是否为动态区域以及亮度变化值的符号来判断两者是否相互一致，不考虑各块的亮度变化值的数值。若彼此位于相同位置的块均为动态区域且亮度变化值的符号彼此相同，则即便各个块的亮度变化值的数值彼此不同，核对部130也判定为两者一致。
在图19中示出具体例来说明核对部130所进行的类似度的计算处理的一例。
图19所示的动态指纹D003是由指纹生成部110生成的动态指纹。此外，图19所示的动态指纹D00X是由指纹获取部120从服务器装置20获取到的动态指纹。另外，在图19中，将动态指纹D003记为“辨识数据所含的动态指纹”，将动态指纹D00X记为“数据库所含的动态指纹”。
在图19所示的例子中，动态指纹D003所具有的动态区域的块数为11，动态指纹D00X所具有的动态区域的块数为8。并且，在动态指纹D003与动态指纹D00X之间，动态区域的块的位置以及亮度变化值的符号相互一致的是，动态指纹内的25个块之中从上起第1段的2个、从上起第2段的2个、以及从上起第5段的1个，合计5个块。在此，构成动态指纹的块的总数为25，因此核对部130计算5/25＝20％，将计算出的20％作为动态指纹D003与动态指纹D00X之间的类似度。
并且，核对部130将计算出的类似度与预先规定的动态阈值进行比较，基于该比较的结果来进行类似判定。若计算出的类似度为动态阈值以上，则核对部130判定为“类似”，若计算出的类似度小于动态阈值，则核对部130判定为“不类似”。在上述的例子中，若动态阈值例如设定为30％，则核对部130判定为动态指纹D003和动态指纹D00X不类似。
另外，该动态阈值的数值只不过是简单的一例，期望适当设定。此外，上述的静态阈值和该动态阈值可以设定为彼此相同的数值，或者也可以设定为彼此不同的数值。
如此，核对部130分别执行与基于在步骤S200中计算出的类似度的静态指纹有关的类似判定、和与在步骤S210中计算出的动态指纹有关的类似判定。
另外，在本实施方式中，在计算动态指纹的类似度时，说明了不考虑构成动态指纹的各块所具有的亮度变化值的大小的情形，但本公开丝毫并不限定于该构成。核对部130也可以在计算动态指纹的类似度时，利用构成动态指纹的各块所具有的亮度变化值的绝对值。例如，核对部130可以在核对两个动态指纹时，计数除了位置以及符号之外而且亮度变化值的绝对值也相互一致的块数，来计算动态指纹的类似度。或者，核对部130也可以与计算静态指纹的类似度时同样地，仅利用动态区域的块的位置来计算动态指纹的类似度。或者，核对部130也可以利用标准化互相关匹配来计算动态指纹的类似度。
另外，步骤S200中的静态指纹的类似度的计算处理和步骤S210中的动态指纹的类似度的计算处理，可以任一方先执行，或者也可以双方并行地执行。
[1-4-7-3.内容辨识]
接下来，核对部130基于指纹的类似判定的结果来进行影像内容的辨识(步骤S220)。
核对部130基于静态指纹的类似判定的结果、动态指纹的类似判定的结果和给定的辨识条件来进行影像内容的辨识。核对部130如上所述那样核对由指纹生成部110生成的指纹所含的静态指纹以及动态指纹的各个指纹和由指纹获取部120从服务器装置20获取到的多个指纹。并且，核对部130基于该核对的结果和给定的辨识条件，从由指纹获取部120获取到的多个指纹之中选定一个指纹，并将与选定的指纹对应的信息作为核对结果来输出。
辨识条件是基于静态指纹以及动态指纹的至少一者而规定的条件。在图20中示出辨识条件的一例。另外，图20所示的辨识条件是在给定的期间内利用的条件。该给定的期间是指预先规定的帧数的期间。给定的期间例如为10帧以下的期间。
即，核对部130在给定的期间内将由指纹生成部110生成的静态指纹以及动态指纹分别与由指纹获取部120获取到的静态指纹以及动态指纹进行核对。
另外，这里的帧数是图像变化帧的帧数。因此，实际的期间相当于：在作为给定的期间而规定的帧数上乘以基于对于影像提取部12而设定的提取帧速率和内容的帧速率的系数(例如，在图3、4所示的例子中，若为30fps则是“2”，若为20fps则是“3”，若为15fps则是“4”等)所获得的期间。另外，可以将该帧数设为图像变化帧的帧数，或者也可以设为指纹的数目。
另外，在以下的说明中，“类似”表示在上述的类似判定中判定为“类似”。
在图20中作为一例而示出的辨识条件(a)～(e)如下所述。
(a)静态指纹以及动态指纹的至少一个类似。
(b)静态指纹以及动态指纹的至少两个类似。
(c)静态指纹的至少一个类似，动态指纹的至少一个类似。
(d)静态指纹或动态指纹连续两次类似。
(e)静态指纹或动态指纹连续三次类似。
核对部130在基于例如辨识条件(a)来进行核对处理的情况下，按如下方式进行判断。在上述的类似判定中针对静态指纹以及动态指纹的至少一个判定为“类似”的情况下，核对部130判断为已辨识出影像内容(步骤S230的“是”)。否则，核对部130判断为未辨识出影像内容(步骤S230的“否”)。
例如，若给定的期间设定为3帧，则核对部130在图像变化帧的3帧的期间内执行以下的处理。核对部130针对由指纹生成部110生成的指纹所含的静态指纹以及动态指纹来进行上述的类似判定。并且，若其中的至少一个有判定为“类似”的指纹，则核对部130判断为已辨识出影像内容。并且，核对部130将与该指纹对应的信息作为核对结果来输出。
此外，核对部130在基于例如辨识条件(b)来进行核对处理的情况下，按如下方式进行判断。在上述的类似判定中针对静态指纹以及动态指纹的至少两个判定为“类似”的情况下，核对部130判断为已辨识出影像内容(步骤S230的“是”)。否则，核对部130判断为未辨识出影像内容(步骤S230的“否”)。
另外，在该辨识条件(b)中包含：判定为两个以上的静态指纹“类似”的情况、判定为两个以上的动态指纹“类似”的情况、以及判定为一个以上的静态指纹“类似”且判定为一个以上的动态指纹“类似”的情况。
例如，若给定的期间设定为5帧，则核对部130在图像变化帧的5帧的期间内执行以下的处理。核对部130针对由指纹生成部110生成的指纹所含的静态指纹以及动态指纹来进行上述的类似判定。并且，若其中的至少两个有判定为“类似”的指纹，则核对部130判断为已辨识出影像内容。并且，核对部130将与该指纹对应的信息作为核对结果来输出。
此外，核对部130在基于例如辨识条件(c)来进行核对处理的情况下，按如下方式进行判断。在上述的类似判定中针对静态指纹的至少一个以及动态指纹的至少一个判定为“类似”的情况下，核对部130判断为已辨识出影像内容(步骤S230的“是”)。否则，核对部130判断为未辨识出影像内容(步骤S230的“否”)。
例如，若给定的期间设定为5帧，则核对部130在图像变化帧的5帧的期间内执行以下的处理。核对部130针对由指纹生成部110生成的指纹所含的静态指纹以及动态指纹来进行上述的类似判定。并且，若静态指纹的至少一个和动态指纹的至少一个有判定为“类似”的指纹，则核对部130判断为已辨识出影像内容。并且，核对部130将与该指纹对应的信息作为核对结果来输出。
另外，在该辨识条件中，除了与判定为类似的指纹的数目有关的条件之外，还可以加入与静态指纹以及动态指纹的顺序有关的条件。
此外，核对部130在基于例如辨识条件(d)来进行核对处理的情况下，按如下方式进行判断。在上述的类似判定中静态指纹或动态指纹连续两次判定为“类似”的情况下，核对部130判断为已辨识出影像内容(步骤S230的“是”)。否则，核对部130判断为未辨识出影像内容(步骤S230的“否”)。
另外，该辨识条件(d)具有以下的意思。在指纹生成部110中生成的时间上连续的指纹连续两次以上判定为“类似”。这包含：连续两次以上生成的静态指纹连续两次以上判定为“类似”的情况、连续两次以上生成的动态指纹连续两次以上判定为“类似”的情况、以及边相互切换边连续生成的静态指纹以及动态指纹连续两次以上判定为“类似”的情况。
例如，若给定的期间设定为5帧，则核对部130在图像变化帧的5帧的期间内执行以下的处理。核对部130针对由指纹生成部110生成的指纹所含的静态指纹以及动态指纹来进行上述的类似判定。并且，若有静态指纹或动态指纹连续两次判定为“类似”的指纹，则核对部130判断为已辨识出影像内容。并且，核对部130将与该指纹对应的信息作为辨识结果来输出。
此外，核对部130在基于例如辨识条件(e)来进行核对处理的情况下，按如下方式进行判断。在上述的类似判定中静态指纹或动态指纹连续三次判定为“类似”的情况下，核对部130判断为已辨识出影像内容(步骤S230的“是”)。否则，核对部130判断为未辨识出影像内容(步骤S230的“否”)。
另外，该辨识条件(e)具有以下的意思。在指纹生成部110中生成的时间上连续的指纹连续三次以上判定为“类似”。这包含：连续三次以上生成的静态指纹连续三次以上判定为“类似”的情况、连续三次以上生成的动态指纹连续三次以上判定为“类似”的情况、以及边相互切换边连续生成的静态指纹以及动态指纹连续三次以上判定为“类似”的情况。
例如，若给定的期间设定为8帧，则核对部130在图像变化帧的8帧的期间内执行以下的处理。核对部130针对由指纹生成部110生成的指纹所含的静态指纹以及动态指纹来进行上述的类似判定。并且，若有静态指纹或动态指纹连续三次判定为“类似”的指纹，则核对部130判断为已辨识出影像内容。并且，核对部130将与该指纹对应的信息作为辨识结果来输出。
另外，在上述的辨识条件中，通过增多判定为“类似”的指纹的数目、或连续判定为“类似”的指纹的数目，从而能够提高核对(内容辨识)的精度。
在图21中示意性地示出核对部130基于辨识条件(e)来进行核对处理的情况下的动作的一例。在该情况下，核对部130将静态指纹或动态指纹连续三次类似设为辨识条件。
例如，假设从服务器装置20的指纹DB22获取到的内容00X的指纹按照静态指纹A、动态指纹B、静态指纹C、动态指纹D、静态指纹E的次序排列。另外，在图21中，将各个指纹记为“静态A”、“动态B”、“静态C”、“动态D”、“静态E”。
此时，假设由影像接收部11接收到的影像内容所生成的指纹按照静态指纹A、动态指纹B、静态指纹C的次序排列。另外，在图21中，将各个指纹记为“静态A”、“动态B”、“静态C”。
在该例子中，核对部130在上述的类似判定中针对静态指纹A、动态指纹B、静态指纹C分别给出“类似”的判定结果。即，核对部130连续三次判定为“类似”。
由此，核对部130判定出由影像接收部11接收到的影像内容的指纹与从服务器装置20获取到的内容00X的指纹类似。即，核对部130辨识出由影像接收部11接收到的影像内容为内容00X。并且，核对部130将表示内容00X的信息(与内容00X的指纹对应的信息)作为核对结果来输出。
在由核对部130已辨识出影像内容、且从核对部130输出了核对结果时(步骤S230中的“是”)，输出部140将基于从核对部130接受到的核对结果的图像辨识的结果输出至附加信息获取部13(步骤S240)。该图像辨识的结果是表示与由指纹获取部120从服务器装置20获取到的多个指纹之中的一个指纹对应的影像内容的信息，是表示判定出与由影像接收部11接收到的影像内容的指纹类似的指纹所对应的影像内容的信息。表示该影像内容的信息例如是内容ID，但本公开并不限定该信息。只要是能够确定影像内容的信息，则可以为任何信息。
在核对部130无法辨识影像内容、且未从核对部130输出核对结果时(步骤S230中的“否”)，接收装置10的处理返回步骤S1，反复执行步骤S1以后的一系列处理。
[1-5.效果等]
如以上，在本实施方式中，辨识数据生成装置具备图像获取部和数据生成部。图像获取部获取构成影像内容的帧序列所含的多个图像帧。数据生成部基于由图像获取部获取到的多个图像帧的帧间的图像的变化来生成表征影像内容且用作辨识影像内容时的指纹的辨识数据。
此外，在本实施方式中，图像辨识装置具备：辨识数据生成装置、获取部和核对部。获取部获取分别表征多个影像内容的多个辨识数据。核对部将由数据生成部生成的辨识数据与由获取部获取到的多个辨识数据进行核对。
另外，指纹生成部110是辨识数据生成装置的一例。图像获取部111是图像获取部的一例。指纹是辨识数据的一例。数据生成部112是数据生成部的一例。图像辨识部100是图像辨识装置的一例。指纹获取部120是获取部的一例。核对部130是核对部的一例。
根据该构成，由于基于图像帧间的图像的变化来生成辨识数据(指纹)，因此既能提高图像辨识的精度又能降低图像辨识所涉及的处理。例如，帧间的图像的变化能够以差分的计算等负荷较轻的处理来执行。另一方面，在现有技术中，图像帧的核对等需要轮廓探测等负荷较重的处理。因此，根据本公开，与现有技术相比，能够降低处理来生成指纹。
在该辨识数据生成装置中，数据生成部可以生成下述辨识数据，即，包含：基于帧间的图像的变化量比第1阈值小的静态区域的静态指纹、以及基于帧间的图像的变化量比第2阈值大的动态区域的动态指纹的至少一者。
例如，静态区域是在图像帧中背景以及运动、变化小的被摄体等所占的区域。即，在连续的图像帧中，静态区域的被摄体的运动、变化相对小。因此，通过确定静态区域来进行图像辨识，从而能够提高图像辨识的精度。动态区域是场景的切换等产生的图像发生较大变化的区域。即，动态区域是引起特征图像变化的区域，因此通过确定动态区域来进行图像辨识，从而能够提高图像辨识的精度。此外，产生动态区域的帧相对少，因此与以往相比能够削减图像辨识所需的帧数。
在该辨识数据生成装置中，数据生成部可以具备：差分计算部、决定部和生成部240。差分计算部可以通过计算由图像获取部获取到的多个图像帧之中的时间上相邻的两个图像帧间的像素值的差分作为像素变化值，由此来生成图像变化帧。决定部可以决定图像变化帧内的像素变化值的绝对值比第1阈值小的静态区域、以及图像变化帧内的像素变化值的绝对值比第2阈值大的动态区域的至少一者。生成部可以基于由决定部决定出的静态区域以及动态区域的至少一者来生成静态指纹以及动态指纹的至少一者。
另外，差分计算部220是差分计算部的一例。决定部230是决定部的一例。生成部240是生成部的一例。
在该辨识数据生成装置中，生成部可以在静态区域占图像变化帧内的第1比例以上的情况下，基于静态区域来生成静态指纹。
由此，能够适当地提取背景以及运动、变化小的被摄体。
在该辨识数据生成装置中，生成部可以在静态区域内对两个图像帧的一个进行过滤来生成静态帧，并将所生成的静态帧设为静态指纹。
由此，通过将图像帧内的静态区域以外的区域的亮度值设为例如“0”等，从而能够削减静态指纹的信息量。
在该辨识数据生成装置中，生成部可以在动态区域占图像变化帧内的第2比例以上的情况下，基于动态区域来生成动态指纹。
由此，能够适当地提取场景的切换等引起图像较大变化的部分。
在该辨识数据生成装置中，生成部可以在动态区域内对图像变化帧进行过滤来生成动态帧，并将所生成的动态帧设为动态指纹。
由此，通过将图像帧内的动态区域以外的区域的亮度变化值设为例如“0”等，从而能够削减动态指纹的信息量。
在该图像辨识装置中，数据生成部可以生成下述辨识数据，即，包含：基于帧间的图像的变化量比第1阈值小的静态区域的一个以上的静态指纹、以及基于帧间的图像的变化量比第2阈值大的动态区域的一个以上的动态指纹的至少两个。核对部可以通过将由数据生成部生成的辨识数据所含的静态指纹以及动态指纹分别与由获取部获取到的多个辨识数据进行核对，由此来选定与静态指纹或动态指纹类似的辨识数据，并将与选定的辨识数据对应的信息作为核对结果来输出。
另外，数据生成部112是数据生成部的一例。
由此，能够适当地提取背景以及运动、变化小的被摄体。此外，能够适当地提取场景的切换等引起图像较大变化的部分。
在该图像辨识装置中，核对部可以选定与由数据生成部生成的辨识数据所含的静态指纹以及动态指纹的至少两个类似的辨识数据，并将与选定的辨识数据对应的信息作为核对结果来输出。
由此，能够利用静态指纹以及动态指纹的至少两个的判定结果来进行图像辨识，因此能够进一步提高图像辨识的精度。
此外，在本实施方式中，辨识数据生成方法包括：图像获取步骤，获取构成影像内容的帧序列所含的多个图像帧；和生成步骤，基于获取到的多个图像帧的帧间的图像的变化来生成表征影像内容且用作辨识影像内容时的指纹的辨识数据。
由此，能够进一步降低图像辨识所涉及的处理。
另外，这些概括性或具体形态可通过系统、装置、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过系统、装置、集成电路、计算机程序以及记录介质的任意组合来实现。
(其他实施方式)
如以上，作为在本申请中公开的技术例示，说明了实施方式1。然而，本公开中的技术并不限定于此，也能够应用于进行变更、置换、附加、省略等之后的实施方式。此外，也能够组合在上述实施方式1中说明的各构成要素来作为新的实施方式。
因此，以下例示其他的实施方式。
在实施方式1中，示出对于影像内容的辨识而利用静态指纹和动态指纹两者的构成例，但本公开丝毫并不限定于该构成。可以仅利用静态指纹和动态指纹的任意一者来进行影像内容的辨识。例如，在图8的流程图中，可以仅进行步骤S110以及步骤S120的任意一者。指纹生成部110例如可以是仅具备静态区域决定部231以及动态区域决定部232的任意一者的构成。此外，指纹生成部110例如也可以是仅具备静态指纹生成部241以及动态指纹生成部242的任意一者的构成。
在实施方式1中，虽然说明了对广告内容进行图像辨识的动作例，但图像辨识的对象丝毫并不限定于广告内容。接收装置10所进行的图像辨识的对象例如可以是电视剧、综艺节目等节目内容。在该情况下，接收装置10能够获取例如与出演者自身的人物简介、出演者穿戴的衣服、出演者造访的场所等有关的信息来作为附加信息，并将其叠加于影像而在显示画面进行显示。
服务器装置20也可以生成与节目内容等的广告内容以外的影像内容对应的指纹。指纹DB22也可以将节目内容所对应的指纹与内容ID建立对应地进行保持。
在实施方式1中，各构成要素可以由专用的硬件构成，或者可以通过执行适于各构成要素的软件程序来实现。关于各构成要素，可以通过CPU或处理器等程序执行部读出并执行硬盘或半导体存储器等记录介质所记录的软件程序来实现。在此，实现实施方式的接收装置的软件是如下的程序。
即，该程序是用于使计算机执行辨识数据生成方法的程序，辨识数据生成方法包括：图像获取步骤，获取构成影像内容的帧序列所含的多个图像帧；和生成步骤，基于获取到的多个图像帧的帧间的图像的变化来生成表征影像内容且用作辨识影像内容时的指纹的辨识数据。
此外，可以使上述的程序记录在记录介质中来发布或流通。例如，将所发布的程序安装于装置类，通过使装置类的处理器执行该程序，从而能够使装置类进行各种处理。
此外，上述的构成各装置的构成要素的一部分或全部可以由一个系统LSI(LargeScale Integration：大规模集成电路)构成。系统LSI是将多个构成部集成在一个芯片上进行制造而成的超多功能LSI，具体而言是构成为包含微处理器、ROM、RAM等的计算机系统。在ROM中存储有计算机程序。微处理器从ROM向RAM加载计算机程序，按照加载的计算机程序来进行运算等动作，由此系统LSI实现该功能。
此外，上述的构成各装置的构成要素的一部分或全部可以由能够与各装置进行装卸的IC卡或单个模块构成。IC卡或模块是由微处理器、ROM、RAM等构成的计算机系统。IC卡或模块可以包含上述的超多功能LSI。微处理器按照计算机程序进行动作，由此IC卡或模块实现该功能。该IC卡或该模块可以具有耐篡改性。
此外，本公开以计算机能够读取计算机程序或数字信号的记录介质、例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-Ray Disc(注册商标))、半导体存储器等中记录的形态来实现。进而，也可以这些记录介质中记录的数字信号来实现。
此外，可以经由电气通信线路、无线或有线通信线路、因特网等网络、数据广播等来传输本公开中的计算机程序或数字信号。
此外，本公开可以通过将程序或数字信号记录在记录介质中来传送，或者通过经由网络等来传送程序或数字信号，从而由独立的其他计算机系统来实施。
此外，在实施方式中，各处理(各功能)可以通过单一的装置(系统)进行集中处理来实现，或者也可以通过多个装置进行分散处理来实现。
如以上，作为本公开中的技术例示，说明了实施方式。因而，提供了所附的附图以及详细的说明。
因此，在所附的附图以及详细的说明中记载的构成要素之中，不仅包含为了解决课题所必须的构成要素，为了例示上述技术还可包含并非为了解决课题所必须的构成要素。因而，不应以这些非必须的构成要素记载在所附的附图、详细的说明中为由而立即认定为这些非必须的构成要素是必须的。
此外，上述的实施方式用于例示本公开中的技术，因此能够在要求保护的范围或其等同的范围内进行各种变更、置换、附加、省略等。
产业上的可利用性
本公开能够应用于利用通信网络来进行影像内容的辨识的辨识数据生成装置、图像辨识装置以及辨识数据生成方法。具体而言，本公开能够应用于电视机等影像接收装置或服务器装置等。
符号说明
1 内容辨识系统
2 广告商
3 广播站
4 STB
10 接收装置
11 影像接收部
11a 影像输入部
11b 第1外部输入部
11c 第2外部输入部
12 影像提取部
13 附加信息获取部
14 影像输出部
15 控制部
16 操作信号接收部
17 HTTP收发部
18 附加信息保存部
19 附加信息显示控制部
20 服务器装置
21 内容接收部
22 指纹DB
30 广告服务器装置
31 附加信息DB
91、92 帧
100 图像辨识部
110 指纹生成部
111 图像获取部
112 数据生成部
120 指纹获取部
130 核对部
140 输出部
210 标度变换部
220 差分计算部
230 决定部
231 静态区域决定部
232 动态区域决定部
240 生成部
241 静态指纹生成部
242 动态指纹生成部

Claims (10)

1.一种辨识数据生成装置，具备：
图像获取部，获取构成影像内容的帧序列所含的多个图像帧；和
数据生成部，基于由所述图像获取部获取到的所述多个图像帧的帧间的图像的变化来生成辨识数据，该辨识数据表征所述影像内容且用作辨识所述影像内容时的指纹。
2.根据权利要求1所述的辨识数据生成装置，其中，
所述数据生成部生成所述辨识数据，该辨识数据包含：基于所述帧间的图像的变化量比第1阈值小的静态区域的静态指纹、以及基于所述帧间的图像的变化量比第2阈值大的动态区域的动态指纹的至少一者。
3.根据权利要求2所述的辨识数据生成装置，其中，
所述数据生成部具备：
差分计算部，计算由所述图像获取部获取到的所述多个图像帧之中的时间上相邻的两个图像帧间的像素值的差分来作为像素变化值，由此生成图像变化帧；
决定部，决定所述图像变化帧内的像素变化值的绝对值比所述第1阈值小的静态区域、以及所述图像变化帧内的像素变化值的绝对值比所述第2阈值大的动态区域的至少一者；和
生成部，基于由所述决定部决定出的所述静态区域以及所述动态区域的至少一者来生成所述静态指纹以及所述动态指纹的至少一者。
4.根据权利要求3所述的辨识数据生成装置，其中，
在所述静态区域占所述图像变化帧内的第1比例以上的情况下，所述生成部基于所述静态区域来生成所述静态指纹。
5.根据权利要求3所述的辨识数据生成装置，其中，
在所述动态区域占所述图像变化帧内的第2比例以上的情况下，所述生成部基于所述动态区域来生成所述动态指纹。
6.一种图像辨识装置，具备：
权利要求1所述的辨识数据生成装置；
获取部，获取分别表征多个影像内容的多个辨识数据；和
核对部，将由所述数据生成部生成的辨识数据与由所述获取部获取到的所述多个辨识数据进行核对。
7.根据权利要求6所述的图像辨识装置，其中，
所述数据生成部生成辨识数据，该辨识数据包含：基于所述帧间的图像的变化量比第1阈值小的静态区域的一个以上的静态指纹、以及基于所述帧间的图像的变化量比第2阈值大的动态区域的一个以上的动态指纹之中的至少两个，
所述核对部将由所述数据生成部生成的所述辨识数据所含的所述静态指纹以及所述动态指纹分别与由所述获取部获取到的所述多个辨识数据进行核对，由此来选定与所述静态指纹或所述动态指纹类似的辨识数据，并将与选定的所述辨识数据对应的信息作为核对结果来输出。
8.根据权利要求7所述的图像辨识装置，其中，
所述核对部选定与由所述数据生成部生成的所述辨识数据所含的所述静态指纹以及所述动态指纹的至少两个类似的辨识数据，并将与选定的所述辨识数据对应的信息作为核对结果来输出。
9.一种辨识数据生成方法，包括：
图像获取步骤，获取构成影像内容的帧序列所含的多个图像帧；和
生成步骤，基于获取到的多个图像帧的帧间的图像的变化来生成辨识数据，该辨识数据表征所述影像内容且用作辨识所述影像内容时的指纹。
10.一种程序，用于使计算机执行权利要求9所述的辨识数据生成方法。
CN201580020543.2A 2014-07-17 2015-07-13 辨识数据生成装置及方法、图像辨识装置以及记录介质 Active CN106233747B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-147176 2014-07-17
JP2014147176 2014-07-17
PCT/JP2015/003527 WO2016009637A1 (ja) 2014-07-17 2015-07-13 認識データ生成装置、画像認識装置および認識データ生成方法

Publications (2)

Publication Number Publication Date
CN106233747A true CN106233747A (zh) 2016-12-14
CN106233747B CN106233747B (zh) 2019-07-09

Family

ID=55078145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580020543.2A Active CN106233747B (zh) 2014-07-17 2015-07-13 辨识数据生成装置及方法、图像辨识装置以及记录介质

Country Status (5)

Country Link
US (1) US10616613B2 (zh)
EP (1) EP3171609B1 (zh)
JP (1) JP6471359B2 (zh)
CN (1) CN106233747B (zh)
WO (1) WO2016009637A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10200765B2 (en) * 2014-08-21 2019-02-05 Panasonic Intellectual Property Management Co., Ltd. Content identification apparatus and content identification method
US10013614B2 (en) * 2016-06-29 2018-07-03 Google Llc Using an image matching system to improve the quality of service of a video matching system
US11328322B2 (en) * 2017-09-11 2022-05-10 [24]7.ai, Inc. Method and apparatus for provisioning optimized content to customers
KR102503152B1 (ko) * 2018-07-03 2023-02-24 삼성디스플레이 주식회사 유기 발광 표시 장치 및 이의 구동 방법
CN110198475B (zh) * 2018-11-09 2022-02-25 腾讯科技（深圳）有限公司 视频处理方法、装置、设备、服务器与可读存储介质
US10971161B1 (en) 2018-12-12 2021-04-06 Amazon Technologies, Inc. Techniques for loss mitigation of audio streams
US11336954B1 (en) * 2018-12-12 2022-05-17 Amazon Technologies, Inc. Method to determine the FPS on a client without instrumenting rendering layer
US11368400B2 (en) 2018-12-13 2022-06-21 Amazon Technologies, Inc. Continuously calibrated network system
US11356326B2 (en) 2018-12-13 2022-06-07 Amazon Technologies, Inc. Continuously calibrated network system
US11252097B2 (en) 2018-12-13 2022-02-15 Amazon Technologies, Inc. Continuous calibration of network metrics
US11016792B1 (en) 2019-03-07 2021-05-25 Amazon Technologies, Inc. Remote seamless windows
US11245772B1 (en) 2019-03-29 2022-02-08 Amazon Technologies, Inc. Dynamic representation of remote computing environment
US11461168B1 (en) 2019-03-29 2022-10-04 Amazon Technologies, Inc. Data loss protection with continuity
US20210209203A1 (en) * 2020-01-06 2021-07-08 Accenture Global Solutions Limited Methods and systems for protecting digital content against artificial intelligence-based unauthorized manipulation of the digital content
CN111565300B (zh) * 2020-05-22 2020-12-22 深圳市百川安防科技有限公司 基于对象的视频文件处理方法、设备及系统
CN113920463A (zh) * 2021-10-19 2022-01-11 平安国际智慧城市科技股份有限公司 基于视频指纹的视频匹配方法、装置、设备及存储介质
CN116996639A (zh) * 2023-02-13 2023-11-03 深圳Tcl新技术有限公司 投屏帧率获取方法、装置、计算机设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004080073A2 (en) * 2003-03-07 2004-09-16 Half Minute Media Ltd Method and system for video segment detection and substitution
JP2007134948A (ja) * 2005-11-10 2007-05-31 Matsushita Electric Ind Co Ltd 駐車車両搭乗者撮像装置
CN101473345A (zh) * 2006-06-29 2009-07-01 汤姆森许可贸易公司 对数字视频进行面向对象的加指纹的系统和方法
CN102177726A (zh) * 2008-08-21 2011-09-07 杜比实验室特许公司 用于音频和视频签名生成和检测的特征优化和可靠性估计
CN102292726A (zh) * 2009-01-23 2011-12-21 日本电气株式会社 视频标识符提取设备

Family Cites Families (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04245552A (ja) 1991-01-31 1992-09-02 Canon Inc データベース検索方法
JPH09185720A (ja) 1995-12-28 1997-07-15 Canon Inc 画像抽出装置
JP3731952B2 (ja) * 1996-10-18 2006-01-05 シャープ株式会社 動画像検索用情報生成装置
JPH10214258A (ja) 1997-01-28 1998-08-11 Victor Co Of Japan Ltd データ処理システム
JP2000287189A (ja) 1999-03-31 2000-10-13 Toshiba Corp テレビ番組の視聴管理装置
JP3485020B2 (ja) 1999-04-09 2004-01-13 日本電気株式会社 文字認識方法及び装置ならびに記憶媒体
US8205223B2 (en) 2000-04-12 2012-06-19 Lg Electronics Inc. Method and video device for accessing information
JP3994682B2 (ja) 2000-04-14 2007-10-24 日本電信電話株式会社 放送情報送受信システム
EP1286541B1 (en) 2000-04-14 2012-05-02 Nippon Telegraph And Telephone Corporation Method, system, and apparatus for acquiring information concerning broadcast information
US7712123B2 (en) 2000-04-14 2010-05-04 Nippon Telegraph And Telephone Corporation Method, system, and apparatus for acquiring information concerning broadcast information
JP2002016885A (ja) 2000-06-30 2002-01-18 Pioneer Electronic Corp 映像再生装置及び映像再生方法
US20020126990A1 (en) 2000-10-24 2002-09-12 Gary Rasmussen Creating on content enhancements
JP2002175311A (ja) 2000-12-08 2002-06-21 Nippon Telegr & Teleph Corp <Ntt> 映像情報登録方法、映像情報登録装置、映像情報検索方法及び映像情報検索装置
US6829015B2 (en) 2001-01-19 2004-12-07 Samsung Electronics Co., Ltd. Device and method for realizing transparency in an on screen display
JP2002232372A (ja) 2001-01-31 2002-08-16 Matsushita Electric Ind Co Ltd 放送番組関連情報提供装置
KR20020072453A (ko) 2001-03-10 2002-09-16 삼성전자 주식회사 재생장치 및 부가정보 서비스 서버 시스템
JP2002334010A (ja) 2001-05-11 2002-11-22 Tsubasa System Co Ltd 広域ネットワークシステム
JP2004007323A (ja) 2001-06-11 2004-01-08 Matsushita Electric Ind Co Ltd テレビジョン放送受信機
US20030084462A1 (en) 2001-10-26 2003-05-01 Junichi Kubota Digital boradcast reception device and method thereof, and printing device and method thereof
US20030149983A1 (en) 2002-02-06 2003-08-07 Markel Steven O. Tracking moving objects on video with interactive access points
JP2004104368A (ja) 2002-09-06 2004-04-02 Sony Corp 画像データ処理方法、画像データ処理プログラム及び立体画像表示装置
KR100930351B1 (ko) 2003-02-25 2009-12-08 엘지전자 주식회사 고밀도 광디스크의 그래픽 및 서브타이틀 데이터관리방법
US7809154B2 (en) 2003-03-07 2010-10-05 Technology, Patents & Licensing, Inc. Video entity recognition in compressed digital video streams
US7738704B2 (en) 2003-03-07 2010-06-15 Technology, Patents And Licensing, Inc. Detecting known video entities utilizing fingerprints
JP4374902B2 (ja) 2003-05-16 2009-12-02 富士通株式会社 類似画像検索装置、類似画像検索方法、および類似画像検索プログラム
JP4109185B2 (ja) 2003-12-01 2008-07-02 日本電信電話株式会社 映像シーン区間情報抽出方法，映像シーン区間情報抽出装置，映像シーン区間情報抽出プログラムおよびそのプログラムを記録した記録媒体
JP2005167894A (ja) 2003-12-05 2005-06-23 Matsushita Electric Ind Co Ltd コンテンツ切替方法、およびチャンネル切替方法
JP2005347806A (ja) 2004-05-31 2005-12-15 Toshiba Corp 電子機器および該電子機器にて実行される番組情報取得方法
JP2006030244A (ja) 2004-07-12 2006-02-02 Matsushita Electric Ind Co Ltd 情報端末及びプログラム
US20070233285A1 (en) 2004-09-14 2007-10-04 Kakuya Yamamoto Apparatus Control System and Apparatus Control Method
US20060200842A1 (en) 2005-03-01 2006-09-07 Microsoft Corporation Picture-in-picture (PIP) alerts
JP2006303936A (ja) 2005-04-21 2006-11-02 Matsushita Electric Ind Co Ltd コンテンツデータ、受信装置、生成装置および送信装置
WO2007017970A1 (ja) 2005-08-11 2007-02-15 Mitsubishi Denki Kabushiki Kaisha 映像記録装置、シーンチェンジ抽出方法、及び映像音声記録装置
JP3894940B2 (ja) 2005-08-11 2007-03-22 三菱電機株式会社 映像音声記録装置
EP1954041A4 (en) 2005-09-30 2010-01-27 Pioneer Corp SUMMARY PRODUCTION EQUIPMENT AND PROGRAM THEREFOR
US20070157242A1 (en) 2005-12-29 2007-07-05 United Video Properties, Inc. Systems and methods for managing content
JP4871668B2 (ja) 2006-08-01 2012-02-08 キヤノン株式会社 画像処理システム、画像処理方法及びプログラム
JP2008040622A (ja) 2006-08-02 2008-02-21 Sharp Corp 広告提供システム、広告提供装置、広告表示装置、広告提供方法およびプログラム
JP2008116792A (ja) 2006-11-07 2008-05-22 Sharp Corp 表示制御装置、映像表示機器及び表示制御方法
JP4746568B2 (ja) 2007-01-16 2011-08-10 ヤフー株式会社 情報提供装置、情報提供方法、及びプログラム
JP4957960B2 (ja) * 2007-01-29 2012-06-20 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
US8281332B2 (en) 2007-05-02 2012-10-02 Google Inc. Animated video overlays
US8229227B2 (en) 2007-06-18 2012-07-24 Zeitera, Llc Methods and apparatus for providing a scalable identification of digital video sequences
US8433611B2 (en) 2007-06-27 2013-04-30 Google Inc. Selection of advertisements for placement with content
WO2009011030A1 (ja) 2007-07-17 2009-01-22 Pioneer Corporation 情報処理システム、並びに情報処理装置及び情報処理方法
JP5203648B2 (ja) 2007-07-20 2013-06-05 オリンパス株式会社 画像抽出装置および画像抽出プログラム
JP2009088777A (ja) 2007-09-28 2009-04-23 Dentsu Inc 広告選択最適化処理装置及びその処理方法
US8060609B2 (en) 2008-01-04 2011-11-15 Sling Media Inc. Systems and methods for determining attributes of media items accessed via a personal media broadcaster
US8621505B2 (en) 2008-03-31 2013-12-31 At&T Intellectual Property I, L.P. Method and system for closed caption processing
JP4623135B2 (ja) 2008-05-08 2011-02-02 株式会社デンソー 画像認識装置
EP2306717B1 (en) 2008-05-28 2019-10-09 Kyocera Corporation Communication terminal, search server, and communication system
US8509571B2 (en) 2008-06-11 2013-08-13 Panasonic Corporation Pattern recognition apparatus, pattern recognition method, image processing apparatus, and image processing method
US8195689B2 (en) 2009-06-10 2012-06-05 Zeitera, Llc Media fingerprinting and identification system
US9367544B2 (en) 2008-06-18 2016-06-14 Gracenote, Inc. Method for efficient database formation and search on media devices acting synchronously with television programming
JP4640456B2 (ja) 2008-06-25 2011-03-02 ソニー株式会社 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム
MX2011001959A (es) 2008-08-18 2012-02-08 Ipharro Media Gmbh Entrega de informacion complementaria.
KR101336736B1 (ko) 2008-08-22 2013-12-04 정태우 영상에 포함된 객체를 식별하는 방법
WO2010026745A1 (ja) 2008-09-02 2010-03-11 パナソニック株式会社 コンテンツ表示処理装置及びコンテンツ表示処理方法
EP2352304B1 (en) 2008-09-17 2015-07-01 Panasonic Intellectual Property Management Co., Ltd. Recording medium, reproduction device, and integrated circuit
JP2010164901A (ja) 2009-01-19 2010-07-29 Sharp Corp Ｏｓｄ信号処理装置、ａｖ装置、映像表示システム、及びｏｓｄ表示方法
US8260055B2 (en) 2009-03-27 2012-09-04 The Nielsen Company (Us), Llc Methods and apparatus for identifying primary media content in a post-production media content presentation
JP5434265B2 (ja) 2009-05-22 2014-03-05 三菱電機株式会社 領域分類装置、画質改善装置、映像表示装置、およびそれらの方法
JP5320204B2 (ja) 2009-07-31 2013-10-23 日本電信電話株式会社 情報端末装置、情報検索方法、および情報検索プログラム
US8421921B1 (en) 2009-07-31 2013-04-16 Pixelworks, Inc. Post processing displays with on-screen displays
JP5440051B2 (ja) 2009-09-11 2014-03-12 株式会社Ｊｖｃケンウッド コンテンツ同定方法、コンテンツ同定システム、コンテンツ検索装置及びコンテンツ利用装置
US8582952B2 (en) 2009-09-15 2013-11-12 Apple Inc. Method and apparatus for identifying video transitions
US8327407B2 (en) 2009-10-27 2012-12-04 Sling Media, Inc. Determination of receiving live versus time-shifted media content at a communication device
US8682145B2 (en) 2009-12-04 2014-03-25 Tivo Inc. Recording system based on multimedia content fingerprints
US20110137976A1 (en) 2009-12-04 2011-06-09 Bob Poniatowski Multifunction Multimedia Device
KR20110088334A (ko) 2010-01-28 2011-08-03 삼성전자주식회사 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 생성 방법 및 장치, 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 수신 방법 및 장치
US8355910B2 (en) 2010-03-30 2013-01-15 The Nielsen Company (Us), Llc Methods and apparatus for audio watermarking a substantially silent media content presentation
JP5111627B2 (ja) 2010-04-06 2013-01-09 キヤノン株式会社 映像処理装置及び映像処理方法
JP5594002B2 (ja) 2010-04-06 2014-09-24 ソニー株式会社 画像データ送信装置、画像データ送信方法および画像データ受信装置
US9986220B2 (en) 2010-07-12 2018-05-29 Koninklijke Philips N.V. Auxiliary data in 3D video broadcast
JP2012027687A (ja) 2010-07-23 2012-02-09 Casio Comput Co Ltd 画像処理装置及びプログラム
WO2012070251A1 (ja) 2010-11-25 2012-05-31 パナソニック株式会社 通信機器
US9106871B2 (en) * 2011-04-01 2015-08-11 Google Inc. Detecting which channel a local STB is displaying using a local tuner
JP2012231383A (ja) 2011-04-27 2012-11-22 Nippon Telegr & Teleph Corp <Ntt> Ｉｐｔｖサービスを利用した情報表示制御装置、表示用情報提供サーバ、情報表示制御方法、情報配信方法、情報表示制御用プログラム、および情報配信用プログラム
KR101778530B1 (ko) 2011-06-14 2017-09-15 삼성전자 주식회사 영상 처리 방법 및 장치
KR102060449B1 (ko) * 2011-08-05 2019-12-30 소니 주식회사 수신 장치, 수신 방법, 프로그램 및 정보 처리 시스템
KR101828342B1 (ko) 2011-08-10 2018-02-12 삼성전자 주식회사 방송수신장치, 방송신호 관련 연관정보 제공방법 및 서버
KR101995425B1 (ko) 2011-08-21 2019-07-02 엘지전자 주식회사 영상 표시 장치, 단말 장치 및 그 동작 방법
US8805827B2 (en) 2011-08-23 2014-08-12 Dialogic (Us) Inc. Content identification using fingerprint matching
US20130111514A1 (en) 2011-09-16 2013-05-02 Umami Co. Second screen interactive platform
JP5948773B2 (ja) 2011-09-22 2016-07-06 ソニー株式会社 受信装置、受信方法、プログラム、及び情報処理システム
KR101310943B1 (ko) 2011-09-26 2013-09-23 (주)엔써즈 방송 콘텐츠와 연관된 콘텐츠 연관 정보를 제공하는 시스템 및 방법
US8842879B2 (en) 2011-10-12 2014-09-23 Vixs Systems, Inc Video processing device for embedding time-coded metadata and methods for use therewith
US9626798B2 (en) 2011-12-05 2017-04-18 At&T Intellectual Property I, L.P. System and method to digitally replace objects in images or video
US9204199B2 (en) 2011-12-06 2015-12-01 Lg Electronics Inc. Image display apparatus and methods for operating the same
JP2013125191A (ja) 2011-12-15 2013-06-24 Canon Inc 映像表示装置、映像表示方法及びプログラム
US20120092248A1 (en) 2011-12-23 2012-04-19 Sasanka Prabhala method, apparatus, and system for energy efficiency and energy conservation including dynamic user interface based on viewing conditions
WO2013103273A1 (en) 2012-01-05 2013-07-11 Lg Electronics Inc. Video display apparatus and operating method thereof
US20130198773A1 (en) 2012-01-27 2013-08-01 Xumo Llc System and method of augmenting linear broadcast advertising
US8832723B2 (en) 2012-02-07 2014-09-09 Turner Broadcasting System, Inc. Method and system for a synchronous event manager for automatic content recognition
US20150020094A1 (en) 2012-02-10 2015-01-15 Lg Electronics Inc. Image display apparatus and method for operating same
JP5867133B2 (ja) 2012-02-10 2016-02-24 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US20130230292A1 (en) 2012-03-02 2013-09-05 Care Cam Innovations, Llc Apparatus, Method and Computer-Readable Storage Medium for Media Processing and Delivery
US9516365B2 (en) 2012-03-05 2016-12-06 Lg Electronics Inc. Video display apparatus and operating method thereof
US9292894B2 (en) 2012-03-14 2016-03-22 Digimarc Corporation Content recognition and synchronization using local caching
US8645994B2 (en) 2012-06-28 2014-02-04 Microsoft Corporation Brand detection in audiovisual media
US9977823B2 (en) 2012-07-06 2018-05-22 Panasonic Intellectual Property Corporation Of America Content control method, content control apparatus, and program
JP5820986B2 (ja) 2013-03-26 2015-11-24 パナソニックＩｐマネジメント株式会社 映像受信装置及び受信映像の画像認識方法
US20150026718A1 (en) 2013-07-19 2015-01-22 United Video Properties, Inc. Systems and methods for displaying a selectable advertisement when video has a background advertisement
US9456237B2 (en) 2013-12-31 2016-09-27 Google Inc. Methods, systems, and media for presenting supplemental information corresponding to on-demand media content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004080073A2 (en) * 2003-03-07 2004-09-16 Half Minute Media Ltd Method and system for video segment detection and substitution
JP2007134948A (ja) * 2005-11-10 2007-05-31 Matsushita Electric Ind Co Ltd 駐車車両搭乗者撮像装置
CN101473345A (zh) * 2006-06-29 2009-07-01 汤姆森许可贸易公司 对数字视频进行面向对象的加指纹的系统和方法
CN102177726A (zh) * 2008-08-21 2011-09-07 杜比实验室特许公司 用于音频和视频签名生成和检测的特征优化和可靠性估计
CN102292726A (zh) * 2009-01-23 2011-12-21 日本电气株式会社 视频标识符提取设备

Also Published As

Publication number Publication date
US10616613B2 (en) 2020-04-07
EP3171609A1 (en) 2017-05-24
US20170034542A1 (en) 2017-02-02
EP3171609B1 (en) 2021-09-01
CN106233747B (zh) 2019-07-09
EP3171609A4 (en) 2017-06-07
JP6471359B2 (ja) 2019-02-20
WO2016009637A1 (ja) 2016-01-21
JPWO2016009637A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
CN106233747A (zh) 辨识数据生成装置、图像辨识装置以及辨识数据生成方法
CN106233746B (zh) 内容辨识装置、内容辨识方法以及记录介质
CN103718166A (zh) 信息处理设备、信息处理方法和计算机程序产品
US20110227914A1 (en) Generation of a depth map
CN103763585A (zh) 一种用户特征信息获取方法、装置和终端设备
CN103890810A (zh) 图像处理设备、方法和计算机程序产品
KR101895846B1 (ko) 소셜 네트워킹 툴들과의 텔레비전 기반 상호작용의 용이화
US20240080506A1 (en) Method to insert ad content into a video scene
US20210383126A1 (en) Media Processing Method and Media Server
CN106233742B (zh) 显示控制装置、显示控制方法以及记录介质
US9817471B2 (en) Method for adding information and server apparatus
KR20170001792A (ko) 개인 맞춤형 콘텐츠 서비스 시스템 및 방법
JP2011071819A (ja) レコメンデーションサーバ、レコメンド決定方法およびプログラム
CN110381339B (zh) 图片传输方法及装置
CN112752110A (zh) 视频呈现方法及装置、计算设备、存储介质
CN111031366B (zh) 一种在视频中植入广告的方法及系统
CN104869471A (zh) 配置电视家庭购物广播的用户界面的方法
KR101280804B1 (ko) 영상 콘텐츠의 영상을 분석하는 장치 및 방법
EP3099077B1 (en) Method for displaying a content from 4d light field data
KR20210152739A (ko) 전자장치 및 그 제어방법
CN113704543A (zh) 电影推荐方法及装置
EP3977401A1 (en) Evaluating visual quality of digital content
CN118015176A (zh) 图像渲染方法、装置和存储介质及电子设备
CN117732042A (zh) 画面数据处理方法、装置、电子设备、介质及程序产品
CN113704542A (zh) 用于电影推荐的电影知识引擎构建方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant