CN110100445A - 信息处理系统、信息处理装置和程序 - Google Patents

信息处理系统、信息处理装置和程序 Download PDF

Info

Publication number
CN110100445A
CN110100445A CN201780080013.6A CN201780080013A CN110100445A CN 110100445 A CN110100445 A CN 110100445A CN 201780080013 A CN201780080013 A CN 201780080013A CN 110100445 A CN110100445 A CN 110100445A
Authority
CN
China
Prior art keywords
client
metadata
base colors
information
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780080013.6A
Other languages
English (en)
Other versions
CN110100445B (zh
Inventor
仓林修一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cy Game Co
Original Assignee
Cy Game Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cy Game Co filed Critical Cy Game Co
Publication of CN110100445A publication Critical patent/CN110100445A/zh
Application granted granted Critical
Publication of CN110100445B publication Critical patent/CN110100445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/31—Arrangements for monitoring the use made of the broadcast services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/38—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space
    • H04H60/40—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space for identifying broadcast time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/59—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/68—Systems specially adapted for using specific information, e.g. geographical or meteorological information
    • H04H60/73—Systems specially adapted for using specific information, e.g. geographical or meteorological information using meta-information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33—Arrangements for monitoring the users' behaviour or opinions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供使得能够通过使用照相机的“登记”操作以高精度和高速度来确认未指定的大量观看者正在观看特定视频的技术。服务器(2)的基准颜色列表生成单元(202)在从节目信息管理单元(205)报告的定时，基于存储在CLDB(400)中的基准颜色列表来生成基准颜色列表。S元数据生成单元(204)根据存储在RVDB(300)中的TV节目信息和基准颜色列表来生成S元数据。用户终端(1)的C元数据生成单元(102)根据构成拍摄图像的各个帧的各信息和基准颜色列表来生成C元数据。正当性判断单元(206)基于所获得的C元数据、由CMDB(500)提取的S元数据和由节目信息管理单元(205)管理的节目详细信息来判断是许可还是拒绝用户登记。

Description

信息处理系统、信息处理装置和程序
技术领域
本发明涉及信息处理系统、信息处理装置和程序。
背景技术
近来，通过将电视广播与智能电话等上的应用连动，根据特定电视广播等的观看状况来提供服务，这是广泛且普遍地实践的。
在提供这样的服务时，使用智能电话等的照相机通过“登记(check-in)”操作来确认观看者正在观看特定电视节目的技术是非常有用的。
传统上，通过使用二维条形码或可听范围之外的声波来进行登记。然而，利用这些技术，需要在画面上显示与内容不直接相关的代码等，或者需要特殊的扬声器。因此，无法将这些技术直接应用于电视广播。
在这方面可以应用于电视广播的技术是如下技术：从预先存储在系统中的视频中提取特征量，并且基于特征量进行登记的比较(例如参见专利文献1)。还存在如下技术：将通过使用移动电话拍摄电视视频而获得的图像的信息直接发送到服务器，并且通过使用图像信息来进行登记的比较(例如参见专利文献2)。
现有技术文献
专利文献
日本特开平10-320400
日本特开2005-215922
发明内容
发明要解决的问题
然而，例如，利用上述专利文献1的技术，由于可以使用用户预先准备的特征量作为查询，因此针对不正当行为(所谓的作弊行为)存在脆弱的问题。
另一方面，利用上述专利文献2的技术，由于将所拍摄的图像信息本身发送到服务器侧并且在服务器侧进行比较，因此尽管该技术即使在不可信的输入下也适用，但是存在如下的问题：由于将图像信息本身发送到服务器侧，因此难以允许大量观看者同时登记(即，可扩展性低)。
如上所述，通过使用智能电话等登记电视广播的技术涉及许多问题。
为了克服现有技术的这些问题，存在开发如下登记技术的需求，该登记技术使得可以实现以下三个特征：即，允许大量观看者同时登记的可扩展性；能够处理电视接收器和智能电话的类型的多样性的能力；以及通过使用伪装的电视视频对不正当登记的防止。
鉴于上述情况做出了本发明，并且本发明的目的是提供使得能够通过使用照相机的“登记”操作以高精度和高速度确认未指定的大量观看者正在观看特定视频的技术。
用于解决问题的方案
为了实现上述目的，根据本发明的一个方面的信息处理系统是：
一种信息处理系统，包括客户端和服务器，
其中，各个客户端包括：
视频获得部件，用于在包括由多个单位图像构成的视频的内容根据预定时间表正在被广播并且正在被预定重放装置接收并重放时，获得视频信息作为表示客户端侧视频的信息，其中所述视频信息是作为使用预定摄像装置在预定时间段拍摄用于显示所述视频的显示面的图像的结果而获得的；
基准颜色列表获得部件，用于基于在所述内容的广播中的或广播开始之前的特定时间段期间从所述服务器发送的发送信息，来获得由N个基准颜色的序列表示的基准颜色列表，其中N是大于或等于2的整数；
客户端侧元数据生成部件，用于将构成所述客户端侧视频的M个单位图像中的各个单位图像设置为处理对象，基于所述基准颜色列表来将所述处理对象中的各个像素或各个块分类至所述N个基准颜色其中之一，生成表示针对所述处理对象的所述N个基准颜色的分布的信息，并且生成表示针对所述M个单位图像各自的分布的信息作为所述客户端侧视频的元数据，其中M是大于或等于2的整数；以及
元数据发送控制部件，用于执行控制，以将所述客户端侧视频的所述元数据发送到所述服务器，以及
其中，所述服务器包括：
基准颜色列表等生成部件，用于在所述内容的广播之前或广播中，生成所述基准颜色的种类和序列其中至少之一在各个客户端之间或在所述客户端所属的各个组之间不同的基准颜色列表本身、或者所述基准颜色列表的创建所需的信息作为所述发送信息；
基准颜色列表等发送控制部件，用于执行控制，以针对所述各个客户端或针对所述各个组，在所述内容的广播中的或广播开始之前的特定时间段期间，将所述发送信息发送到所述客户端；
服务器侧元数据生成部件，用于将构成所述内容中的所述视频的所述多个单位图像中的各个单位图像设置为处理对象，基于针对所述各个客户端或针对所述各个组的所述基准颜色列表来将所述处理对象中的各个像素或各个块分类至所述N个基准颜色其中之一，生成表示针对所述处理对象的所述N个基准颜色的分布的信息，并且生成表示针对所述多个单位图像各自的分布的信息作为服务器侧元数据；以及
判断部件，用于将所述客户端侧视频的元数据与所述服务器侧元数据中的针对所述M个单位图像的元数据进行比较，并且基于比较结果来判断所述客户端侧视频的正当性。
还提供了根据本发明的一个方面的信息处理方法和程序作为与根据本发明的方面的信息处理系统相对应的方法和程序。
发明的效果
本发明使得可以提供使得能够通过使用照相机的“登记”操作以高精度和高速度确认未指定的大量观看者正在观看特定视频的技术。
附图说明
图1是示出根据本发明实施例的信息处理系统的概要的框图。
图2是示出根据本发明实施例的聚类为基准颜色的方法的示例的图。
图3是示出根据本发明实施例的颜色匹配度计算处理的过程的示例的图。
图4是示出根据本发明实施例的用于创建基准颜色列表的基准颜色的示例的图。
图5是示出根据本发明实施例的用户终端的硬件结构的示例的框图。
图6是示出根据本发明实施例的服务器的硬件结构的示例的框图。
图7是示出图5中的用户终端和图6中的服务器的功能结构的示例的功能框图。
图8是用于说明由图5中的用户终端执行的登记判断处理的流程的流程图。
图9是用于说明由图6中的服务器执行的正当性判断准备处理和正当性判断处理的流程的流程图。
图10是用于说明由用户终端和服务器执行的登记判断处理和正当性判断处理的流程的箭头图。
图11是示出用户获取对象TV画面的方法的示例的图。
具体实施方式
下面将参考附图来描述本发明的实施例。
应当理解，以下被简称为“图像”的情况应当被解释成包括“运动图像”和“静止图像”这两者。
此外，“运动图像”应当被解释成包括分别通过以下第一处理至第三处理来显示的图像。
第一处理是指用于针对平面图像(2D图像)中的物体(例如，动画角色)的各动作、在随着时间的经过而连续地在多个静止图像的系列之间进行切换的同时显示这多个静止图像的系列的处理。具体地，二维动画、即类似于所谓的翻书动画(book flipping)的处理是第一处理的示例。
第二处理是指用于预先设置与立体图像(基于3D模型的图像)中的物体(例如，动画角色)的各动作相对应的运动并且在随着时间的经过而改变该运动的同时显示该物体的处理。具体地，三维动画是第二处理的示例。
第三处理是指用于准备与物体(例如，动画角色)的各动作相对应的视频(即，运动图像)并且随着时间的经过而绘制该视频的处理。
这里，“视频(即，运动图像)”由多个帧或场等的图像(下文中称为“单位图像”)构成。在下面描述的示例中，假设单位图像是帧。
此外，在下面描述的实施例中，视频通过电视广播传输，并且“电视”在下文中将缩写为“TV”。
为了使用实时拍摄的TV视频来实现登记(正当性的确认)，本发明实现了在用户终端上执行用于分析诸如TV节目等的视频的处理的分布式架构。
将参考图1来描述根据本发明实施例的信息处理系统的概要。
信息处理系统实现用于实时确认用户正在观看空中的TV广播等的“登记”。
这里，“登记”是指检查某用户是否进行了特定的动作或过程。
特别地，本实施例中的“登记”是指用于实时检查某用户是否正在观看特定TV节目等的技术。
具体地，图1所示的信息处理系统可以实现以下三个特征：允许大量观看者同时登记的可扩展性；处理电视机、智能电话等的类型的多样性的能力；以及通过使用用于验证正当性的伪装的数据(稍后描述的元数据)来对不正当登记的防止。
因此，图1所示的信息处理系统对于假设大规模观看的TV广播或因特网广播是有用的。
服务提供商可以例如在智能电话等上所提供的游戏等的各种服务的应用中利用TV广播等的这种登记的结果。
接着，将参考图1来描述由根据本发明实施例的信息处理系统所执行的一系列处理。
图1所示的信息处理系统执行包括所有用户共同的处理a、特定于各个用户或组的处理b以及用于登记认证的处理c的一系列处理。
图1所示的信息处理系统是包括用户所使用的用户终端和服务器2的系统。
用户终端1和服务器2经由诸如因特网等的预定网络彼此连接。
注意，尽管图1中仅示出一个用户终端1，但实际上存在大量用户，并且存在与用户数量相对应的大量用户终端1。
这里，例如，用户终端1是由用户操作的智能电话，并且在电视机的显示画面上显示由服务器2执行的用于登记的TV节目等的视频的情况下，用户终端1拍摄或以其它方式获取显示画面的显示面。在本说明书中，主要包括用作电视机的显示面的部分的视频被称为“TV视频”。
服务器2由服务提供商管理，并执行与某用户是否正在观看特定TV节目等有关的登记。
接着，将描述所有用户共同的处理a和特定于各个用户或组的处理b。所有用户共同的处理a和特定于各个用户或组的处理b构成在用户终端1上执行的视频分析处理。
所有用户共同的处理a是前处理阶段的处理，其中所有用户都生成共同信息。
特定于各个用户或组的处理b是后处理阶段中的处理，其中生成在各个用户之间或在多个用户所属的各个组之间不同的信息(稍后描述的元数据)。
所有用户共同的前处理阶段的处理中，用户终端1中包括的照相机等响应于用户的操作而拍摄在电视机的显示面上所显示的内容(例如，TV广播节目)的视频，并输出作为结果获得的TV视频信息。
TV视频信息是关于构成内容的视频的特定时间窗(例如表示沿时间方向的特定范围)的信息，即与特定时间窗中所包括的所有帧或多个帧有关的各个信息。与各个帧有关的信息是映射到(例如表示HSV空间的)具有均匀性的颜色空间的信息，即包括像素值形式的颜色空间的各个元素的信息。
这里，具有均匀性的颜色空间是指如下的颜色空间，该颜色空间被设计为使得该颜色空间的坐标上的两个点之间的距离最大程度地与肉眼对色差的感知一致。
通常，用于表示用户终端1上的颜色的RGB空间是不具有均匀性的颜色空间，并且该空间中的两个任意点之间的距离与肉眼对色差的感知显著不同。也就是说，从用户终端1的照相机等获得的图像信息是RGB图像信息，并且需要将各个像素值转换为具有均匀性的颜色空间(诸如HSV等)中的像素值。
从RGB到HSV的转换可以如下面给出的式(1)至(3)中那样定义。
[式1]
V＝max(R，G，B) (1)
[式2]
[式3]
以上是对所有用户共同的处理a的描述。接着将参考图1和随后的附图来描述特定于各个用户或组的处理b的详情以及用于登记认证的处理c。
接着，将参考图2来描述将构成帧的各个像素的颜色聚类为预定颜色的方法，即在前面描述的后处理阶段中采用的方法(例如，图1所示的特定于各个用户或组的处理b)。
这里，作为用于描述聚类的前提，将描述聚类颜色列表(下文中称为“基准颜色列表”)。在本实施例中，作为可用作聚类基准的颜色样本集(下文中称为“基准颜色”)，例如准备大约120个颜色，并且将表示这些颜色的信息存储在服务器2中。此外，采用由从大约120个颜色中选择的与N(N是大于或等于2的整数)个颜色有关的信息的序列表示的列表作为基准颜色列表。
图2是示出在根据本发明实施例的信息处理系统中采用的聚类到基准颜色的方法的示例的图。图2中的图像α表示通过使用用户终端1的照相机等拍摄的图像本身。
此外，图2中的图像β1是作为使用由上述基准颜色中的90个颜色组成的基准颜色列表进行聚类的结果而获得的图像。通过该聚类，图像α的各个复杂色彩被分类为用作基准的90个颜色之一。
此外，图2中的图像β2是作为使用由上述基准颜色中的30个颜色组成的基准颜色列表进行聚类的结果而获得的图像，其表示与作为使用90个颜色聚类的结果所获得的图像β1相比仅具有甚至更单调的色彩的原始图像α。
如上所述，可以通过使用由各种预定颜色组成的基准颜色列表来适当地聚类图像α的复杂色彩。
通过对诸如90个颜色或30个颜色等的N个有限颜色进行聚类，不论TV接收器、智能电话等的类型的多样性如何，都再现与原始图像(图2中的图像α)相比具有高相似度的图像(图2中的图像β1或图像β2)。因此，可以处理TV接收器、智能电话等的类型的多样性。
将参考图3来描述颜色匹配度计算处理(例如，图1中的登记认证处理c)。
图3是示出在根据本发明实施例的信息处理系统中采用的颜色匹配度计算处理的过程的示例的图。
在描述服务器2侧的颜色匹配度计算处理之前，将简要描述在用户终端1侧执行的处理。
首先，当在电视机的显示面上正显示需要登记的TV节目等的视频C时，用户终端1拍摄视频C以获得表示所拍摄的视频C1的信息。
表示所拍摄的视频C1的信息在前面描述的前处理阶段(例如，图1中的所有用户共同的处理a)中进行修剪，由此除了显示面之外的部分(具体地，除了显示TV节目的显示面之外的例如监视器的部分、背景等)被去除，从而产生表示TV视频C1的信息。
此外，使用基准颜色列表CL对表示作为修剪结果所获得的TV视频C1的信息进行聚类，从而生成元数据作为表示TV视频C1的分析结果的信息。
尽管聚类方法不受特别限制，但是这里采用基于原始图像颜色和基准颜色之间的距离的计算来进行聚类的方法。出于该距离计算的目的，尽管可以想到使用Godlove色差系统或CIE 2000等，但是在本实施例中，采用通过评价试验而验证为有效的锥形空间中的欧几里德距离。
如上所述，本说明书中的术语“元数据”指的是与视频信息本身不同的信息，具体地，表示与视频的至少一部分(例如，预定数量的帧中的各个帧)有关的分析结果的信息。
在本实施例中，对构成要处理的视频的时间序列中的各个帧进行聚类，并且根据各个帧的聚类结果生成元数据。具体地，例如，采用如下面给出的式(4)中定义的时间序列颜色直方图矩阵M作为元数据。
在图3中，TV视频C2是根据作为对表示TV视频C1的信息进行聚类的结果而获得的信息所显示的视频。原始视频D1是根据作为对表示原始视频D的信息进行聚类的结果而获得的信息所显示的视频。在图3中描绘了TV视频C2和原始视频D1仅为了便于说明，而在本实施例中，实际上没有生成表示TV视频C2的信息和表示原始视频D1的信息。即，在本实施例中，在将TV视频C1或原始视频D视为要处理的视频的情况下，生成如下面给出的式(4)中定义的时间序列颜色直方图矩阵M作为元数据。
[式4]
这里，n和m表示大于或等于1的任意整数，并且m对应于所辨别的颜色种类的数量即直方图区间的数量，以及n对应于构成要处理的视频的时间序列的帧数。
在用户终端1侧执行的处理中，要处理以生成元数据的视频是TV视频C1。因此，对于表示TV视频C1的信息，执行使用前面描述的基准颜色列表CL的聚类。根据该聚类的结果，生成时间序列颜色直方图矩阵M作为元数据。
通过如上所述在用户终端1侧执行的处理所生成的元数据在下文中将被称为“C元数据”。
接着，将描述服务器2侧的处理。
在服务器2侧，存储表示需要登记的TV节目的原始视频D的信息。服务器2使用前面描述的基准颜色列表CL来对表示原始视频D的信息进行聚类。如将参考图7详细描述的，使用相同的基准颜色列表作为上述两个基准颜色列表CL。
根据该聚类的结果，服务器2生成时间序列颜色直方图矩阵M作为元数据。
通过如上所述在服务器2侧执行的处理所生成的元数据在下文中将被称为“S元数据”。
在生成这样的S元数据之后，当从用户终端1提供C元数据以用于登记时，服务器2计算C元数据与S元数据中要比较的部分之间的相似度(差分)。服务器2在通过顺次地移动S元数据中的帧来移动要比较的部分的同时重复计算相似度(差分)。服务器2基于通过重复计算所计算出的多个相似度(差分)来判断是许可还是拒绝登记。
这里，S元数据中要比较的部分指的是下面描述的部分。具体地，S元数据是构成需要登记的TV节目等的整个原始视频的时间序列的各个帧的直方图的集合。另一方面，C元数据是构成TV节目等的TV视频的部分(在用户终端1侧拍摄时正在广播的部分)的时间序列的各个帧的直方图的集合。因此，在S元数据中，可以与C元数据进行比较的部分、即构成原始视频的一部分的时间序列的各个帧的直方图的集合是要比较的部分。
具体地，在构成需要登记的TV节目等的整个原始视频的帧中，将特定帧视为起始帧的情况下，包括起始帧的时间序列的M(M表示C元数据中的帧数(直方图的数量))个单独帧的颜色直方图的集合用作要比较的部分。
当进行随后的帧移动时，改变S元数据中要比较的部分，并且每当要比较的部分改变时，单独计算与C元数据的相似度(差分)。
具体地，例如，在将C元数据发送到服务器2的时刻(或者生成C元数据的时刻、或者拍摄与C元数据相对应的TV视频的时刻等)略微之前的时刻广播的原始视频的相应帧被最初设置为起始帧。包括起始帧的时间序列的M个单独帧的颜色直方图的集合被最初设置为要比较的部分。根据后述的广播时间信息、广播区域信息等来判断广播最初的起始帧的时刻。然后，计算S元数据中要比较的最初部分与C元数据之间的最初相似度(差分)。
然后，将在时间上比已经用作起始帧的帧晚的帧设置为新的起始帧(进行对应于一帧的帧移动)。将包括起始帧的时间序列的M个单独帧的颜色直方图的集合新设置为要比较的部分。也就是说，要比较的部分发生改变。新计算S元数据中要比较的改变部分与C元数据之间的相似度(差分)。
每当作为重复针对各帧的帧移动的结果而改变要比较的部分时，新计算S元数据中要比较的改变部分与C元数据之间的相似度(差分)。
基于通过重复针对各帧的帧移动所计算出的这多个相似度(差分)，判断是许可还是拒绝登记。例如，在多个相似度(差分)中的最高相似度大于或等于特定值(最小差分小于或等于特定值)的情况下，接受用户的登记(正当性)。换句话说，在作为上述重复帧移动的结果而设置的要比较的多个部分中，存在与C元数据相同的要比较的部分，或者与C元数据的相似度大于或等于特定值(差分小于或等于特定值)的要比较的部分的情况下，接受用户的登记(正当性)。
具体地，在图3的示例中，如同将表示TV视频C1的信息和表示原始视频D的信息彼此进行比较一样，将所生成的元数据彼此进行比较，从而执行图1中的登记认证处理c。
与此相对，由于图像数据具有大量信息，因此如果图像数据被直接发送到服务器2，则会挤塞网络带宽，这使得可扩展性剧烈恶化。
具体地，例如，在使用由120个颜色组成的基准颜色列表并且通过每秒分析三个帧来生成5秒元数据的情况下，通过将120个颜色与4个字节(浮点)、3帧、5秒相乘获得针对单次登记所发送的元数据的大小，这总计大约7千字节。
与此相对，在每秒分析3帧并且直接发送5秒的图像信息的情况下，即使使用诸如JPEG(联合图像专家组)等的压缩算法，该信息也接近约3000千字节。因此，与生成元数据的情况相比，图像信息的大小至少大400倍。由于这些信息量会挤塞直接网络带宽，因此可扩展性剧烈恶化。
此外，在服务器2直接接收到图像信息的情况下，服务器2必须额外进行元数据分析，这导致服务器2中的CPU负荷的极大增加。
如上所述，如果图像信息被直接发送到服务器2，则无法实现允许大量观看者同时登记的可扩展性水平。
因此，在本实施例中，图像信息被转换为具有较少信息量的C元数据，具体为从用户终端1发送到服务器2的时间序列颜色直方图矩阵M(图1的示例中的时间序列颜色直方图矩阵CMD)。然后，将C元数据与以从原始视频创建的时间序列颜色直方图矩阵M(图1的示例中的时间序列颜色直方图矩阵SMD)的形式的S元数据中的要比较的部分进行比较，从而进行登记认证。
以这种方式，在服务器2侧要处理的信息量剧烈减少，这使得可以实现允许大量观看者同时登记的可扩展性水平。
此外，在广播需要登记的TV节目等(内容)时的或之前的特定时间段期间，将为了创建这样的时间序列颜色直方图矩阵M(元数据)所需的基准颜色列表从服务器2发送到用户终端1。
因此，第三方基本上无法再现基准颜色列表并伪造C元数据。也就是说，可以防止不正当登记。
图4是示出在根据本发明实施例的信息处理系统中采用的用于创建基准颜色列表的基准颜色的示例的图。
参照图4，例如，10个颜色，即R/V、YR/V、Y/V、......、配置在首行中。这些颜色分别表示各个基准颜色的色相。例如，R/V表示色相为红色，并且色调鲜明。
这里，色调是指亮度和饱和度之间的平衡，并且例如色调被分类为12级。也就是说，在图4的示例中，由10种色相和12种色调的乘法产生的总共120个颜色被采用作为基准颜色并包括在列表中。
此外，如上所述，本实施例中的登记处理的最大特征在于，通过在紧挨广播之前将针对各用户或各组不同的基准颜色列表分发给用户终端1或通过使用户终端1在登记时下载这样的基准颜色列表，在用户终端1侧生成不能预先创建并且不能与其它用户共享的登记数据(C元数据)。
具体地，通过在诸如紧挨着登记之前的定时在服务器2侧确定基于图4的基准颜色列表，可以防止在用户终端1侧聚类的结果的不正当篡改或者将聚类的结果发送到实际上没有正观看视频的其它用户以允许该用户登记。
也就是说，为了在用户终端1侧生成与在服务器2侧生成的时间序列颜色直方图矩阵M(S元数据)具有高度匹配的C元数据，需要使用与服务器2侧相同的基准颜色列表，并且还输入与服务器2侧相同的视频，这使得可以实现防止不正当登记。
换句话说，通过动态地分发基准颜色列表，可以防止在用户之间共享C元数据和通过预先分析而批量生成C元数据这两者。
如上所述，在本实施例中，通过动态地分发基准颜色列表，同时实现了通过分布式处理的可扩展性改进和作弊防止，这在以前是不可能的。
图5是示出根据本发明实施例的用户终端1的硬件结构的框图。
用户终端1由智能电话等实现。
用户终端1包括CPU(中央处理单元)21、ROM(只读存储器)22、RAM(随机存取存储器)23、总线24、输入/输出接口25、触摸操作输入单元26、显示单元27、输入单元28、存储单元29、通信单元30、摄像单元31和驱动器32。
CPU 21根据记录在ROM 22中的程序或从存储单元29加载到RAM 23中的程序来执行各种处理。
RAM 23还适当地存储CPU 21执行各种处理时所需的信息等。
CPU 21、ROM 22和RAM 23经由总线24彼此连接。输入/输出接口25也连接到总线24。触摸操作输入单元26、显示单元27、输入单元28、存储单元29、通信单元30、摄像单元31和驱动器31连接到输入/输出接口25。
触摸操作输入单元26例如包括层叠在显示单元27上的用于检测进行触摸操作的位置的坐标的电容或电阻(压敏)位置输入传感器。
显示单元27由诸如液晶显示器等的显示器实现，并显示诸如与游戏相关的图像等的各种图像。
如上所述，在本实施例中，触摸屏包括触摸操作输入单元26和显示单元27。
在本说明书中，所谓的“显示介质”并不仅仅是指显示单元27，而是指包括触摸操作输入单元26和显示单元27的“触摸屏”。
输入单元28由各种硬件按钮等构成，并使得能够根据用户进行的指示操作来输入各种信息。
存储单元29由硬盘或DRAM(动态随机存取存储器)等实现，并存储各种信息。
通信单元30控制经由包括因特网的网络(未示出)与其它装置(服务器(未示出)和其它用户终端(未示出))执行的通信。
摄像单元31是用于拍摄被摄体的图像的照相机等。
根据需要设置驱动器32。将由磁盘、光盘、磁光盘或半导体存储器等实现的可移动介质41适当加载在驱动器32中。根据需要将通过驱动器32从可移动介质41读取的程序安装在存储单元29中。
此外，类似于存储单元29，可移动介质41还可以存储在存储单元29中存储的各种信息。
图6是示出根据本发明实施例的服务器2的硬件结构的框图。
服务器2包括CPU 51、ROM 52、RAM 53、总线54、输入/输出接口55、输出单元56、输入单元57、存储单元58、通信单元59和驱动器60。
由于服务器2的结构基本上与用户终端1的去除了其触摸屏和摄像单元31的结构相同，因此这里将省略其描述。这同样适用于可移动介质61。
通过图5中的用户终端1和图6中的服务器2的上述各种硬件和各种软件之间的协作，可以在用户终端1和服务器2上进行各种处理。
具体地，用户终端1和服务器2具有图7所示的功能结构，以执行各种处理。
图7是示出图1中的用户终端1和服务器2的功能结构的示例的功能框图。
如图7所示，用户终端1的CPU 21用作用户接口控制单元101、C元数据生成单元102、C元数据发送控制单元103、基准颜色列表获得单元104和判断获得单元105。
此外，服务器2的CPU 51用作C元数据获得单元201、基准颜色列表生成单元202、基准颜色列表发送控制单元203、S元数据生成单元204、节目信息管理单元205、正当性判断单元206和判断发送控制单元207。
此外，在服务器2的存储单元58的区域中，设置有RVDB(原始视频数据库)300、CLDB(颜色列表数据库)400、CMDB(颜色元数据数据库)500和TVPDB(TV节目数据库)600。
图7中由虚线表示的框表示这些框对应于前面参考图1描述的处理a、处理b和处理c中的、图7的引导线所指示的处理。
假设与从广播站广播的各种TV节目有关的各种信息(下文统称为“节目详细信息”)，诸如各种TV节目的关于广播时间的信息(下文称为“广播时间信息”)和关于广播区域的信息(下文称为“广播区域信息”)预先存储在TVPDB600中。
节目信息管理单元205管理这样的节目详细信息，并且例如在在需要登记的TV节目的广播时间之前或者广播期间的预定定时，节目信息管理单元205向基准颜色列表生成单元202等通知该意思。
基准颜色列表生成单元202基于存储在CLDB 400中的基准颜色列表来针对各个用户、或多个用户所属的各个组生成基准颜色列表。这里，CLDB400是存储当前有效的多个基准颜色列表的数据库。生成基准颜色列表的定时不受特别限制，只要它早于将基准颜色列表发送到用户终端1的定时即可，并且可以恰好在该发送定时之前或是预定的较早定时。也就是说，可以预先生成基准颜色列表。
基准颜色列表发送控制单元203执行控制，以在从节目信息管理单元205报告的定时(即，在需要登记的TV节目的广播时间之前或在广播期间的预定定时)将基准颜色列表生成单元202所生成的基准颜色列表发送到用户终端1。
此外，由基准颜色列表生成单元202生成的基准颜色列表还在生成基准颜色列表之后的预定定时(即，在需要登记的TV节目的广播时间之前或在广播期间的预定定时)(其不一定与向用户终端1发送基准颜色列表的定时一致)提供给S元数据生成单元204。
S元数据生成单元204从RVDB 300获得表示需要登记的TV节目的原始视频的信息。S元数据生成单元204通过使用基准颜色列表生成单元202针对各个用户或组所生成的基准颜色列表，对构成所获得的原始视频的各个帧的各信息进行聚类。然后，S元数据生成单元204针对各个用户或组，生成用于构成聚类后的视频的时间序列的各个帧的颜色直方图的集合作为S元数据。
将以这种方式生成的S元数据存储在CMDB 500中。在CMDB 500中，将S元数据与用于生成该S元数据的基准颜色列表相关联地存储。
接着，将描述用户在登记时的用户终端1的功能结构。
用户接口控制单元101通过使用触摸屏来执行用户接口的控制。用户接口控制单元101包括视频获得单元121和显示控制单元122。
当进行登记时，在显示画面上显示需要登记的TV节目等的视频的状态下，用户通过操作用户终端1的摄像单元31等以包括显示画面的方式来拍摄TV节目的显示画面的图像。
视频获得单元121以帧为单位获得表示由用户终端1的摄像单元31等如此拍摄的视频的信息。如上所述，这里的视频信息是表示包括RGB信息的RGB图像的信息。视频获得单元121执行与所有用户共同的图1中的处理a相对应的处理。
这里，如上所述，在针对各个用户或各个组的基准颜色列表中，应用于用户终端1的基准颜色列表在需要登记的TV节目的广播时间之前或在广播期间的预定定时被发送到用户终端1。
因此，基准颜色列表获得单元104经由通信单元30获得如上所述从服务器2发送的基准颜色列表。
C元数据生成单元102通过使用由基准颜色列表获得单元104获得的基准颜色列表，对构成视频获得单元121获得的视频的各个帧的各信息进行聚类。然后，C元数据生成单元102生成构成聚类后的视频的时间序列的各个帧的颜色直方图的集合作为C元数据。
C元数据发送控制单元103执行控制，以经由通信单元30将由C元数据生成单元102生成的C元数据发送到服务器2。
如上所述从用户终端1发送的C元数据被服务器2接收，然后在服务器2处用于判断是许可还是拒绝登记。然后，从服务器2向用户终端1发送表示许可或拒绝的判断结果。
因此，判断获得单元105经由通信单元30获得从服务器2发送的判断结果。
显示控制单元122执行控制，以在显示单元27上显示由判断获得单元105获得的判断结果。
上面已经描述了在用户登记时的用户终端1的功能结构。接着，将描述在如上所述用户进行登记时服务器2侧的功能结构。
如上所述，C元数据获得单元201经由通信单元59获得从用户终端1发送的C元数据。
正当性判断单元206从CMDB 500提取通过使用用于生成所获得的C元数据的相同基准颜色列表而生成的S元数据。这里，所提取的内容不一定是整个S元数据；使得能够进行前面描述的帧移动(起始帧的时间序列顺次移动)的量，即使得能够在重复帧移动的同时与C元数据进行顺次比较的量就足够了。
这里，存在这样的情况：即使广播的节目是相同的，同时广播的内容也根据广播时间段或广播区域而不同。因此，正当性判断单元206还在考虑由节目信息管理单元205管理的广播时间信息、广播区域信息等的同时确定要提取的内容。
使用以这种方式利用CMDB 500提取的S元数据，正当性判断单元206在按时间顺序顺次移动前面描述的起始帧的同时(在重复帧移动的同时)，以包括起始帧的方式顺次地设置要比较的部分。每当设置要比较的部分时，正当性判断单元206分别计算要比较的部分与由C元数据获得单元201获得的C元数据之间的相似度(差分)。
在重复计算的结果中存在与C元数据相同的、或者与C元数据的相似度大于或等于特定值的要比较的部分的情况下，正当性判断单元206接受用户的登记(正当性)。
具体地，例如，在本实施例中，采用匹配度评价函数来计算S元数据中要比较的部分与C元数据之间的相似度(差分)。
本实施例中的匹配度评价函数可以被定义为对如下两者之间的匹配度进行评价并以大于或等于0的实数的形式返回各帧的匹配度的函数：根据表示原始视频的信息所生成的时间序列颜色直方图矩阵M(例如，S元数据)中的要比较的部分、以及根据表示从用户终端1拍摄显示画面的图像的结果获得的TV视频的信息而生成的时间序列颜色直方图矩阵Q(例如，C元数据)。下面详细给出该公式。
[式5]
frameshifting(M，Q)函数是用于对在时间序列颜色直方图矩阵M的各个帧被分别视为起始帧的情况下的要比较的各个部分与时间序列颜色直方图矩阵Q之间的各个匹配度进行评价的函数。Sm表示代表在时间序列颜色直方图矩阵M的各个帧被分别视为起始帧的情况下的要比较的各个部分与时间序列颜色直方图矩阵Q之间的匹配度的得分(下文中称为“匹配度得分”)。匹配度得分Sm是大于或等于0的实数值，优选地在0到1的范围内归一化的实数值。
也就是说，正当性判断单元206通过重复k帧移动来计算k+1个匹配度得分S0至Sk。然后，正当性判断单元206通过使用例如匹配度得分S0至Sk中最接近0的匹配度得分来判断是许可还是拒绝登记。
判断发送控制单元207执行控制，以向用户终端1发送正当性判断单元206关于是许可还是拒绝登记的判断结果。
上面已经参考图7描述了用户终端1和服务器2的功能结构的示例。
接着，将参考图8和随后的附图来描述由具有图7中的功能结构的用户终端1和服务器2所执行的处理流程。
图8是用于说明用户终端1侧的处理流程的示例的流程图。
图9是用于说明服务器2侧的处理流程的示例的流程图。
此外，图10中示出用户终端1侧的处理与服务器2侧的处理之间的关系。
具体地，图10是用于说明用户终端1侧的处理与服务器2侧的处理之间的关系的箭头图。
如上所述，在登记时，在需要在显示画面上显示登记的TV节目等的视频的状态下，用户通过使用用户终端1的摄像单元31拍摄包括显示画面的图像。然后，开始图8所示的用户终端1上的处理，并执行以下一系列处理步骤。
在步骤S1中，用户接口控制单元101的视频获得单元121对从摄像单元31输出的视频信息进行修剪处理等，以获得表示TV视频的信息。
在步骤S2中，基准颜色列表获得单元104判断是否存在基准颜色列表。
在服务器2已经生成基准颜色列表并且在广播需要登记的TV节目等之前已经由用户终端1获得基准颜色列表的情况下，通过基准颜色列表获得单元104来检测基准颜色列表，并且步骤S2中的判断结果为“是”。在这种情况下，不执行步骤S3和S4，并且处理直接进入步骤S5。
另一方面，在用户终端1尚未获得基准颜色列表的情况下，步骤S2中的判断结果为“否”，并且处理进入步骤S3。然后，在执行步骤S3和S4中的处理之后，处理进入步骤S5。
在步骤S3中，基准颜色列表获得单元104请求服务器2发送基准颜色列表。
然后，在服务器2侧判断为满足发送条件(参见稍后描述的步骤S22)，并且发送基准颜色列表(参见稍后描述的步骤S23)。
在步骤S4中，基准颜色列表获得单元104获得从服务器2发送的基准颜色列表。
在步骤S5中，C元数据生成单元102通过使用在步骤S2中检测到的或在步骤S4中获得的基准颜色列表，根据在步骤S1中获得的TV视频信息来生成C元数据。
在步骤S6中，C元数据发送控制单元103将在步骤S5中生成的C元数据发送到服务器2。
然后，服务器2获得C元数据(参见步骤S41中的“是”和稍后描述的步骤S42)，并提取通过使用用于生成C元数据的相同基准颜色列表所生成的S元数据的一部分(参见稍后描述的步骤S43)。然后，基于C元数据和S元数据的提取部分判断是许可还是拒绝用户登记(正当性)(参见后面描述的步骤S44)，并且将判断结果发送到用户终端1(参见后面描述的步骤S45)。
在步骤S7中，判断获得单元105获得经由通信单元30从服务器2发送的判断结果。
在步骤S8中，用户接口控制单元101的显示控制单元122在显示单元27上显示在步骤S7中获得的判断结果。
在步骤S9中，用户终端1的CPU 21判断是否已经发出处理终止指示。这里，尽管处理终止指示不受特别限制，但是在本实施例中采用用户终端1的电源切断。也就是说，当在用户终端1处切断电源时，步骤S9中的判断结果为“是”，并且终止用户终端1处的处理。
另一方面，除非在用户终端1处切断电源，否则步骤S9中的判断结果为“否”，处理返回到步骤S1，并且重复随后的处理。
将参考图9来描述与参考图8描述的用户终端1侧的处理相关联的服务器2侧的处理流程。
首先，将描述作为后述的图9的(b)中的处理之前的预备处理而执行的图9的(a)中的处理。
尽管图9的(a)中的处理定时不受特别限制，只要定时在图9的(b)中的处理之前即可，但是该处理应该在需要登记的TV节目等的广播之前或期间的预定定时开始。这是因为，作为反作弊措施的有效性随着基准颜色列表的生成定时变得尽可能接近其使用定时而增加。
在步骤S21中，基准颜色列表生成单元202从CLDB 400生成基准颜色列表。
在步骤S22中，基准颜色列表发送控制单元203判断是否满足步骤S21中生成的基准颜色列表的发送条件。
这里，可以采用各种条件作为基准颜色列表的发送条件。假设两个条件，具体地，在该示例中采用到达在需要登记的TV节目等的广播之前或期间的特定定时以及从用户终端1发出发送请求(执行图8中的步骤S3的处理)。
在判断为两个发送条件都不满足的情况下，步骤S22中的判断结果为“否”，并且处理返回到步骤S21。
另一方面，在满足两个发送条件中的至少一个发送条件的情况下，步骤S22中的判断结果为“是”，并且处理进入步骤S23。
在步骤S23中，基准颜色列表发送控制单元203将基准颜色列表发送到用户终端1。
在步骤S24中，S元数据生成单元204根据步骤S21中生成的基准颜色列表和存储在RVDB 300中的表示TV广播节目等的原始视频的信息来生成S元数据。
在步骤S25中，S元数据生成单元204将步骤S24中生成的S元数据存储在CMDB 500中。
在步骤S26中，服务器2的CPU 51判断是否已经发出处理终止指示。这里，虽然处理终止指示不受特别限制，但是在本实施例中采用服务器2的电源切断。也就是说，当在服务器2处切断电源时，步骤S26中的判断结果为“是”，并且终止服务器2处的处理。
另一方面，除非在服务器2处切断电源，否则步骤S26中的判断结果为“否”，处理返回到步骤S21，并且重复后续处理。
接着，将描述图9的(b)中的服务器2侧的处理流程。
在步骤S41中，C元数据获得单元201判断是否已经从用户终端1发送了C元数据。
如果C元数据获得单元201未检测到已经发送了C元数据，则步骤S41中的判断结果为“否”，并且处理返回到步骤S41。
另一方面，如果在图8的步骤S6中从用户终端1发送了C元数据并且由C元数据获得单元201检测到该C元数据，则步骤S41中的判断结果为“是”，并且处理进入步骤S42。
在步骤S42中，C元数据获得单元201获得从用户终端1发送的C元数据。
在步骤S43中，正当性判断单元206从CMDB 500中提取通过使用用于生成步骤S42中获得的C元数据的相同基准颜色列表所生成的S元数据的一部分(参见图9的(a)中的步骤S24)。
在步骤S44中，正当性判断单元206基于在步骤S43中提取的S元数据的部分和在步骤S42中获得的C元数据来判断是许可还是拒绝登记。
在步骤S45中，判断发送控制单元207将关于是许可还是拒绝登记的判断结果发送到用户终端1。
在步骤S46中，服务器2的CPU 51判断是否已经发出处理终止指示。这里，虽然处理终止指示不受特别限制，但是在本实施例中采用服务器2的电源切断。也就是说，当在服务器2处切断电源时，步骤S46中的判断结果为“是”，并且终止服务器2处的处理。
另一方面，除非在服务器2处切断电源，否则步骤S46中的判断结果为“否”，处理返回到步骤S41，并且重复后续处理。
最后，将参考图11来描述用户读取TV视频的方法。
图11是示出用户获取对象TV画面的方法的示例的图。
图11中的状态是用户已启动用于拍摄TV视频的应用软件的状态。在这种状态下，在显示单元27上设置TV视频读取区域301和说明显示区域302。
用户将对象TV节目的画面保持在TV视频读取区域301的中央并拍摄TV视频，然后开始前面描述的登记处理。
这里，在说明显示区域302中显示消息“将示出动画的TV画面放置在框内并等待三秒钟”。也就是说，说明显示区域302显示示出用于帮助用户平滑地拍摄TV视频的说明等的消息。
尽管用于拍摄TV视频的操作方法可以是任何方法，但是例如可以是在显示单元27的一部分处进行触摸操作的情况下可以拍摄的操作方法。可选地，尽管未示出，但是可以在显示单元上单独设置拍摄按钮。
尽管上面已经描述了本发明的实施例，但是应该注意，本发明不限于上述实施例，并且在可以实现本发明的目的的范围内的修改、改进等包括在本发明中。
例如，尽管在上述实施例中在服务器2侧生成基准颜色列表，但是不必须在服务器2侧或用户终端1侧生成基准颜色列表。
例如，可以通过采用如下的配置来生成基准颜色列表：用户终端1拥有预先定义的预定类型的颜色的固定集合，并且服务器2向用户终端1发送以使得基准颜色的序列在各个用户终端1之间或在各个组之间不同的方式所生成的基准颜色列表的顺序信息。
注意，术语“生成基准颜色列表”在这里指的是如上所述从预先准备的预定数量的颜色中选择N(N是大于或等于2且小于该预定数量的整数)个颜色作为基准颜色、并确定N个基准颜色的序列的一系列处理步骤。
例如，尽管在上述实施例中描述了基准颜色的数量是N，但是这里的数量N是包含N个种类的概念的概念。
此外，尽管在上述实施例中使用全部相互不同的N个颜色作为基准颜色，但是在基准颜色列表的序列中可以包括相同的颜色。也就是说，颜色的种类数小于这里所谓的N的情况包含在本发明的技术范围内。
此外，在上述实施例中使用的匹配度评价函数不依赖于任何特定的匹配度评价函数，并且可以采用任意匹配度函数。例如，可以想到采用以下匹配度评价函数。该公式在下面详细给出。
[式6]
这里，n表示沿时间轴的时间序列颜色直方图矩阵Q的大小，并且m对应于基准颜色的数量。k对应于起始帧沿时间轴移动的帧数。
作为另一示例，作为用于计算直方图之间的非相似度的任意函数，可以采用下式来代替直方图差分。该公式在下面详细给出。
[式7]
这里，Mi表示与原始图像的第i帧相对应的直方图，Qi表示与第i个查询视频(TV视频等)相对应的直方图，并且距离函数dist是用于以范围为0到1的实数值的形式计算这些直方图之间的距离的任意函数。
通过使用由此获得的多个匹配度和当前时间，确认为从用户发送的C元数据与当前正在广播的原始视频的S元数据匹配。
此外，例如，将简要描述尚未在实施例的上下文中描述的本发明的示例实现。与主要执行IO密集型处理的普通应用服务器相反，根据本发明的信息处理系统执行内部处理主要是矩阵计算的CPU密集型处理，因此不能期望通过使用高速缓存来提高计算速度。
因此，优选地，在允许从客户端的用户终端1直接访问服务器2以进行登记的情况下，根据登记的峰值通过负载平衡器应用负载分配。
此外，由于在将登记结果存储在数据库中时发生数据库流量的拥塞，因此期望定期更新登记结果。即使例如500,000个用户同时登记，这也抑制DB拥塞的发生。
此外，根据本发明的信息处理系统可以以两个独立的API的形式实现，其中一个API是用于向服务器2查询用于聚类的基准颜色列表的API，另一个API是用于实际上接受登记的API。用户终端1调用作为第一API的基准颜色列表API以接收基准颜色列表，并且通过使用基准颜色列表来分析从照相机获得的视频。然后，用户终端1将分析结果发送到作为第二API的登记API，从而完成登记处理。
此外，例如，可以通过硬件或通过软件来执行上述一系列处理步骤。
也就是说，图7中的功能结构仅是示例，并且对该示例没有特别限制。
也就是说，信息处理系统设置有使得能够执行作为整体的上述一系列处理步骤的功能就足够了，并且用于实现这些功能的功能块的选择不特别局限于图7中的示例。此外，这些功能块的位置不特别局限于图7中的位置，并且可以是任意设置的。
此外，可以仅通过硬件、仅通过软件、或者通过硬件和软件的组合来实现各功能块。
此外，例如，在通过软件来执行该一系列处理步骤的情况下，经由网络或从记录介质将构成软件的程序安装在计算机等上。
该计算机可以是嵌入专用硬件中的计算机。
可选地，该计算机可以是在将各种程序安装在计算机上的情况下能够执行各种功能的计算机，诸如服务器、或者通用智能电话或个人计算机等。
此外，例如，包括这种程序的记录介质是通过与装置的主体单元分离地分布以向用户提供程序的可移动介质(未示出)、以嵌入在装置的主体单元中的形式向用户提供记录介质等来实现的。
在本说明书中，在记录介质上所记录的程序中所描述的步骤不仅可以包括按照时间顺序顺次执行的处理、而且还可以包括没有按时间顺序顺次执行的而是并列或分别执行的处理。
此外，在本说明书中，术语“系统”应当被解释成表示由多个装置或多个部件等构成的设备整体。
换句话说，根据本发明的信息处理系统可以以如下配置的各种形式实现。
具体地，根据本发明的信息处理系统如下就足够了：
一种信息处理系统，包括客户端(例如，图1中的用户终端1)和服务器(例如，图1中的服务器2)，
其中，各个客户端包括：
视频获得部件(例如，图7中的视频获得单元121)，用于在包括由多个单位图像构成的视频的内容根据预定时间表正在被广播并且正在被预定的重放装置接收并重放时，获得视频信息作为表示客户端侧视频的信息，其中所述视频信息是作为使用预定摄像装置在预定时间段拍摄用于显示所述视频的显示面的图像的结果而获得的；
基准颜色列表获得部件(例如，图7中的基准颜色列表获得单元104)，用于基于在所述内容的广播中的或广播开始之前的特定时间段期间从所述服务器发送的发送信息，来获得由N个基准颜色的序列表示的基准颜色列表，其中N是大于或等于2的整数；
客户端侧元数据生成部件(例如，图7中的C元数据生成单元102)，用于将构成所述客户端侧视频的M个单位图像中的各个单位图像设置为处理对象，基于所述基准颜色列表来将所述处理对象中的各个像素或各个块分类至所述N个基准颜色其中之一，生成表示针对所述处理对象的所述N个基准颜色的分布的信息，并且生成表示针对所述M个单位图像各自的分布的信息作为所述客户端侧视频的元数据，其中M是大于或等于2的整数；以及
元数据发送控制部件(图7中的C元数据发送控制单元103)，用于执行控制，以将所述客户端侧视频的元数据发送到所述服务器，以及
其中，所述服务器包括：
基准颜色列表等生成部件(例如，图7中的基准颜色列表生成单元202)，用于在所述内容的广播之前或广播中，生成所述基准颜色的种类和序列其中至少之一在各个客户端之间或在所述客户端所属的各个组之间不同的基准颜色列表本身、或者所述基准颜色列表的创建所需的信息作为所述发送信息；
基准颜色列表等发送控制部件(例如，图7中的基准颜色列表发送控制单元203)，用于执行控制，以针对所述各个客户端或针对所述各个组，在所述内容的广播中的或广播开始之前的特定时间段期间，将所述发送信息发送到所述客户端；
服务器侧元数据生成部件(例如，图7中的S元数据生成部件204)，用于将构成所述内容中的所述视频的所述多个单位图像中的各个单位图像设置为处理对象，基于针对所述各个客户端或针对所述各个组的基准颜色列表来将所述处理对象中的各个像素或各个块分类至所述N个基准颜色其中之一，生成表示针对所述处理对象的所述N个基准颜色的分布的信息，并且生成表示针对所述多个单位图像各自的分布的信息作为服务器侧元数据；以及
判断部件(例如，图7中的正当性判断单元206)，用于将所述客户端侧视频的元数据与所述服务器侧元数据中的针对所述M个单位图像的元数据进行比较，并且基于比较结果来判断所述客户端侧视频的正当性。
这使得可以通过使用照相机的“登记”操作来以高精度且高速度确认未指定的大量观看者正在观看特定视频。
具体地，根据本发明的信息处理系统可以实现以下三个特性：即，允许大量观看者同时登记的可扩展性；处理电视机和智能电话的装置类型的多样性的能力；以及使用用于正当性验证的伪装的元数据来对不正当登记的防止。
更具体地，根据本发明的信息处理系统具有以下优点。
由于根据本发明的信息处理系统生成的元数据的大小是几千字节，因此可以通过网络高速传输元数据。此外，由于用作用于登记认证的核心功能的帧移动色差度量(frameshifting color difference metrics)是相对快速的算法，因此可以实时进行登记认证。实时特性允许(例如，由于照明差或保持智能电话的不适当方式而导致的)认证失败的用户重试登记。
根据本发明的信息处理系统是不需要在视频内容中嵌入二维码或特征图像等的非侵入式登记认证机制。因此，不需要修改视频内容以实现登记。
为了通过使用根据本发明的信息处理系统的动态基准颜色改变功能来生成与在服务器侧生成的S元数据(时间序列颜色直方图矩阵)具有高匹配度的C元数据，需要使用与服务器侧相同的基准颜色列表(即，用于聚类的颜色列表)，并且还输入与服务器侧相同的视频信息，这使得进行作弊极其困难。
例如，根据本发明的信息处理系统的动态基准颜色改变功能使得可以设置基准颜色列表，该基准颜色列表使得更容易根据特定广播时机的颜色来提取颜色特征。这使得可以进一步提高认证精度。
例如，根据本发明的信息处理系统的动态基准颜色改变功能使得可以设置基准颜色列表，该基准颜色列表使得更容易根据特定类型的智能电话的照相机的特性来提取颜色特征。这使得可以进一步提高认证精度。
本发明还可以是信息处理装置，其在包括客户端和服务器的信息处理系统中用作客户端，该信息处理装置包括：
视频获得部件(例如，图7中的视频获得单元121)，用于在包括由多个单位图像构成的视频的内容根据预定时间表正在被广播并且正在被预定重放装置接收并重放时，获得视频信息作为表示客户端侧视频的信息，其中所述视频信息是作为使用预定摄像装置在预定时间段拍摄用于显示所述视频的显示面的图像的结果而获得的；
基准颜色列表获得部件(例如，图7中的基准颜色列表获得单元104)，用于基于在所述内容的广播中的或广播开始之前的特定时间段期间从所述服务器发送的发送信息，来获得由N个基准颜色的序列表示的基准颜色列表，其中，在所述基准颜色列表中，基准颜色的种类和序列其中至少之一在各个客户端之间或在所述客户端所属的各个组之间不同，N是大于或等于2的整数；
客户端侧元数据生成部件(例如，图7中的C元数据生成单元102)，用于将构成所述客户端侧视频的M个单位图像中的各个单位图像设置为处理对象，基于所述基准颜色列表来将所述处理对象中的各个像素或各个块分类至所述N个基准颜色其中之一，生成表示针对所述处理对象的所述N个基准颜色的分布的信息，并且生成表示针对所述M个单位图像各自的分布的信息作为所述客户端侧视频的元数据，其中M是大于或等于2的整数；以及
元数据发送控制部件(例如，图7中的C元数据发送控制单元103)，用于执行控制，以将所述客户端侧视频的元数据作为用于判断所述客户端侧视频的正当性的信息发送到所述服务器。
这使得可以通过使用照相机的“登记”操作来以高精度且高速度确认未指定的大量观看者正在观看特定视频。
也就是说，通过使用照相机的“登记”操作，可以实现本发明的优点：即，允许大量观看者同时登记的可扩展性；处理电视机、智能电话等的类型的多样性的能力；以及通过使用用于正当性验证的伪装的元数据来对不正当登记的防止。
此外，所述服务器可以基于与所述客户端侧视频的元数据相同的基准颜色列表，根据所述内容的视频来生成服务器侧元数据，并将所述服务器侧元数据与所述客户端侧视频的元数据进行比较，以判断所述客户端侧视频的正当性，以及
所述客户端侧视频的元数据和所述服务器侧元数据中的针对所述M个单位图像的元数据可以是矩阵，其中在所述矩阵中，各行和各列中的一者的元素是时间上连续的M个单位图像，并且各行和各列中的另一者的元素是所述N个基准颜色。
因此，客户端侧元数据(例如，图7中的C元数据)和服务器侧元数据(例如，图7中的S元数据)可以由相同格式的矩阵表示，其中该矩阵具有包括基于相同基准颜色列表所获得的相同基准颜色作为元素的行或列、以及具有M个单位图像作为元素的列或行。由于客户端(例如，图1中的用户终端1)的身份是登记的条件，因此变得难以伪造客户端侧元数据，这使得可以执行更准确的“登记”操作。此外，通过使用以相同格式的矩阵形式的表示，可以以进行计算以比较各个时间序列单位图像的直方图的高速处理的形式来快速进行登记。
此外，视频获得部件还可以包括提取部件(例如，图7中的视频获得单元121的功能)，用于从表示所述客户端侧视频的信息中，分别提取表示所述M个单位图像的各信息中的与用于显示所述内容的显示面相对应的信息，以及
所述客户端侧元数据生成部件可以使用所述提取部件分别提取的信息作为所述处理对象。
这使得可以从表示客户端侧视频的信息中去除除了表示显示面的信息之外的信息，从而提取表示在显示面上显示的内容视频(TV视频等)的信息，这使得可以进行更准确的“登记”操作。
此外，本发明可以是一种信息处理装置，其用作包括客户端和服务器的信息处理系统中的服务器，
其中，在所述客户端处进行以下操作的情况下：
在包括由多个单位图像构成的视频的内容根据预定时间表正在被广播并且正在被预定重放装置接收并重放时，获得视频信息作为表示客户端侧视频的信息，其中所述视频信息是作为使用预定摄像装置在预定时间段拍摄用于显示所述视频的显示面的图像的结果而获得的(例如，图7中的视频获得单元121)，
基于在所述内容的广播中的或广播开始之前的特定时间段期间从所述服务器发送的发送信息，来获得由N个基准颜色的序列表示的基准颜色列表，其中N是大于或等于2的整数(例如，图7中的基准颜色列表获得单元104)，
将构成所述客户端侧视频的M个单位图像中的各个单位图像设置为处理对象，基于所述基准颜色列表来将所述处理对象中的各个像素或各个块分类至所述N个基准颜色其中之一，生成表示针对所述处理对象的所述N个基准颜色的分布的信息，并且生成表示针对所述M个单位图像各自的分布的信息作为所述客户端侧视频的元数据，其中M是大于或等于2的整数(例如，图7中的C元数据生成单元102)，以及
将所述客户端侧视频的元数据发送到所述服务器，
所述信息处理装置包括：
基准颜色列表等生成部件(例如，图7中的基准颜色列表生成单元202)，用于在所述内容的广播之前或广播中，生成所述基准颜色的种类和序列其中至少之一在各个客户端之间或在所述客户端所属的各个组之间不同的基准颜色列表本身、或者所述基准颜色列表的创建所需的信息作为所述发送信息；
基准颜色列表等发送控制部件(例如，图7中的基准颜色列表发送控制单元203)，用于执行控制，以针对所述各个客户端或针对所述各个组，在所述内容的广播中的或广播开始之前的特定时间段期间，将所述发送信息发送到所述客户端；
服务器侧元数据生成部件(例如，图7中的S元数据生成单元204)，用于将构成所述内容中的所述视频的所述多个单位图像中的各个单位图像设置为处理对象，基于针对所述各个客户端或针对所述各个组的基准颜色列表来将所述处理对象中的各个像素或各个块分类至所述N个基准颜色其中之一，生成表示针对所述处理对象的所述N个基准颜色的分布的信息，并且生成表示针对所述多个单位图像各自的分布的信息作为服务器侧元数据；以及
判断部件(例如，图7中的正当性判断单元206)，用于将所述客户端侧视频的元数据与所述服务器侧元数据中的针对所述M个单位图像的元数据进行比较，并且基于比较结果来判断所述客户端侧视频的正当性。
这使得可以通过使用照相机的“登记”操作来以高精度且高速度确认未指定的大量观看者正在观看特定视频。
因此，通过使用照相机的“登记”操作，可以实现本发明的优点：即，允许大量观看者同时登记的可扩展性；处理电视机、智能电话等的类型的多样性的能力；以及通过使用用于正当性验证的伪装的元数据来对不正当登记的防止。
此外，所述客户端侧视频的元数据和所述服务器侧元数据中的针对所述M个单位图像的元数据可以是矩阵，其中在所述矩阵中，各行和各列中的一者的元素是时间上连续的M个单位图像，并且各行和各列中的另一者的元素是所述N个基准颜色。
因此，客户端侧元数据(例如，图7中的C元数据)和服务器侧元数据(例如，图7中的S元数据)可以由相同格式的矩阵表示，其中该矩阵具有包括基于相同基准颜色列表所获得的相同基准颜色作为元素的行或列、以及具有M个单位图像作为元素的列或行。由于客户端(例如，图1中的用户终端1)的身份是登记的条件，因此变得难以伪造客户端侧元数据，这使得可以执行更准确的“登记”操作。此外，通过使用以相同格式的矩阵形式的表示，可以以进行计算以比较各个时间序列单位图像的直方图的高速处理的形式来快速进行登记。
此外，所述判断部件可以通过使用比所述服务器侧元数据中获得所述客户端侧视频的元数据的时刻早预定时间的单位图像作为起始图像来开始处理，在逐一移动用作所述起始图像的单位图像的情况下，重复执行用于将针对从所述起始图像起在时间上连续的M个单位图像的元数据与所述客户端侧视频的元数据进行比较的处理，以及根据执行结果来判断所述客户端侧视频的正当性。
这使得可以利用时间上连续的图像来准确地进行“登记”操作，这使得可以进行更准确的“登记”操作。
此外，所述基准颜色列表等发送控制部件可以将针对所述各个客户端或针对所述各个组的基准颜色列表与操作所述客户端的用户的ID或所述用户所属的组的ID相关联，以及执行控制，以在所述内容的广播中的或广播开始之前的特定时间段期间，将针对所述各个客户端或针对所述各个组的基准颜色列表作为所述发送信息发送到所述客户端。
这使得可以针对各个用户或各个组使用不同的基准颜色列表，这使得可以有效地防止使用不正当手段的“登记”操作。
此外，信息处理装置可以包括用于管理所述内容的广播时间的第一管理部件，而且基于所述第一管理部件的判断结果，所述基准颜色列表等生成部件可以生成所述发送信息，并且所述基准颜色列表等发送控制部件可以执行控制以发送所述发送信息。
这使得可以进行准确反映内容的广播时间的“登记”操作，这使得可以进行更准确的“登记”操作。
此外，信息处理装置可以包括用于管理内容的广播区域的第二管理部件，而且基于所述第二管理部件的判断结果，所述基准颜色列表等生成部件可以生成所述发送信息，并且所述基准颜色列表等发送控制部件可以执行控制以发送所述发送信息。
这使得可以进行准确地反映内容的广播区域之间的差异的“登记”操作，这使得可以进行更准确的“登记”操作。
附图标记列表
1 用户终端
2 服务器
21 CPU
27 显示单元
51 CPU
101 用户接口控制单元
102 C元数据生成单元
103 C元数据发送控制单元
104 基准颜色列表获得单元
105 判断获得单元
121 视频获得单元
122 显示控制单元
201 C元数据获得单元
202 基准颜色列表生成单元
203 基准颜色列表发送控制单元
204 S元数据生成单元
205 节目信息管理单元
206 正当性判断单元
207 判断发送控制单元
300 RVDB
400 CLDB
500 CMDB
600 TVPDB

Claims (12)

1.一种信息处理系统，包括客户端和服务器，
其中，各个客户端包括：
视频获得部件，用于在包括由多个单位图像构成的视频的内容根据预定时间表正在被广播并且正在被预定重放装置接收并重放时，获得视频信息作为表示客户端侧视频的信息，其中所述视频信息是作为使用预定摄像装置在预定时间段拍摄用于显示所述视频的显示面的图像的结果而获得的；
基准颜色列表获得部件，用于基于在所述内容的广播中的或广播开始之前的特定时间段期间从所述服务器发送的发送信息，来获得由N个基准颜色的序列表示的基准颜色列表，其中N是大于或等于2的整数；
客户端侧元数据生成部件，用于将构成所述客户端侧视频的M个单位图像中的各个单位图像设置为处理对象，基于所述基准颜色列表来将所述处理对象中的各个像素或各个块分类至所述N个基准颜色其中之一，生成表示针对所述处理对象的所述N个基准颜色的分布的信息，并且生成表示针对所述M个单位图像各自的分布的信息作为所述客户端侧视频的元数据，其中M是大于或等于2的整数；以及
元数据发送控制部件，用于执行控制，以将所述客户端侧视频的所述元数据发送到所述服务器，以及
其中，所述服务器包括：
基准颜色列表等生成部件，用于在所述内容的广播之前或广播中，生成所述基准颜色的种类和序列其中至少之一在各个客户端之间或在所述客户端所属的各个组之间不同的基准颜色列表本身、或者所述基准颜色列表的创建所需的信息作为所述发送信息；
基准颜色列表等发送控制部件，用于执行控制，以针对所述各个客户端或针对所述各个组，在所述内容的广播中的或广播开始之前的特定时间段期间，将所述发送信息发送到所述客户端；
服务器侧元数据生成部件，用于将构成所述内容中的所述视频的所述多个单位图像中的各个单位图像设置为处理对象，基于针对所述各个客户端或针对所述各个组的所述基准颜色列表来将所述处理对象中的各个像素或各个块分类至所述N个基准颜色其中之一，生成表示针对所述处理对象的所述N个基准颜色的分布的信息，并且生成表示针对所述多个单位图像各自的分布的信息作为服务器侧元数据；以及
判断部件，用于将所述客户端侧视频的元数据与所述服务器侧元数据中的针对所述M个单位图像的元数据进行比较，并且基于比较结果来判断所述客户端侧视频的正当性。
2.一种信息处理装置，其在包括客户端和服务器的信息处理系统中用作客户端，所述信息处理装置包括：
视频获得部件，用于在包括由多个单位图像构成的视频的内容根据预定时间表正在被广播并且正在被预定重放装置接收并重放时，获得视频信息作为表示客户端侧视频的信息，其中所述视频信息是作为使用预定摄像装置在预定时间段拍摄用于显示所述视频的显示面的图像的结果而获得的；
基准颜色列表获得部件，用于基于在所述内容的广播中的或广播开始之前的特定时间段期间从所述服务器发送的发送信息，来获得由N个基准颜色的序列表示的基准颜色列表，其中，在所述基准颜色列表中，基准颜色的种类和序列其中至少之一在各个客户端之间或在所述客户端所属的各个组之间不同，N是大于或等于2的整数；
客户端侧元数据生成部件，用于将构成所述客户端侧视频的M个单位图像中的各个单位图像设置为处理对象，基于所述基准颜色列表来将所述处理对象中的各个像素或各个块分类至所述N个基准颜色其中之一，生成表示针对所述处理对象的所述N个基准颜色的分布的信息，并且生成表示针对所述M个单位图像各自的分布的信息作为所述客户端侧视频的元数据，其中M是大于或等于2的整数；以及
元数据发送控制部件，用于执行控制，以将所述客户端侧视频的所述元数据作为用于判断所述客户端侧视频的正当性的信息发送到所述服务器。
3.根据权利要求2所述的信息处理装置，
其中，所述服务器基于与用于所述客户端侧视频的元数据的基准颜色列表相同的基准颜色列表，根据所述内容的所述视频来生成服务器侧元数据，并且将所述服务器侧元数据与所述客户端侧视频的元数据进行比较，以判断所述客户端侧视频的正当性，以及
其中，所述客户端侧视频的元数据和所述服务器侧元数据中的针对所述M个单位图像的元数据是矩阵，其中在所述矩阵中，各行和各列中的一者的元素是时间上连续的M个单位图像，并且各行和各列中的另一者的元素是所述N个基准颜色。
4.根据权利要求2或3所述的信息处理装置，还包括：
提取部件，用于从表示所述客户端侧视频的信息中，分别提取表示所述M个单位图像的各信息中的与用于显示所述内容的所述显示面相对应的信息，
其中，所述客户端侧元数据生成部件使用所述提取部件分别提取的信息作为所述处理对象。
5.一种程序，用于使包括客户端和服务器的信息处理系统中的客户端执行控制处理，所述控制处理包括：
视频获得步骤，用于在包括由多个单位图像构成的视频的内容根据预定时间表正在被广播并且正在被预定重放装置接收并重放时，获得视频信息作为表示客户端侧视频的信息，其中所述视频信息是作为使用预定摄像装置在预定时间段拍摄用于显示所述视频的显示面的图像的结果而获得的；
基准颜色列表获得步骤，用于基于在所述内容的广播中的或广播开始之前的特定时间段期间从所述服务器发送的发送信息，来获得由N个基准颜色的序列表示的基准颜色列表，其中，所述基准颜色列表是通过所述服务器在所述内容的广播中或广播之前针对各个客户端或针对所述客户端所属的各个组而生成的，N是大于或等于2的整数；
客户端侧元数据生成步骤，用于将构成所述客户端侧视频的M个单位图像中的各个单位图像设置为处理对象，基于所述基准颜色列表来将所述处理对象中的各个像素或各个块分类至所述N个基准颜色其中之一，生成表示针对所述处理对象的所述N个基准颜色的分布的信息，并且生成表示针对所述M个单位图像各自的分布的信息作为所述客户端侧视频的元数据，其中M是大于或等于2的整数；以及
元数据发送控制步骤，用于执行控制，以将所述客户端侧视频的元数据作为用于判断所述客户端侧视频的正当性的信息发送到所述服务器。
6.一种信息处理装置，其用作包括客户端和服务器的信息处理系统中的服务器，
其中，在所述客户端处进行如下的操作的情况下：
在包括由多个单位图像构成的视频的内容根据预定时间表正在被广播并且正在被预定重放装置接收并重放时，获得视频信息作为表示客户端侧视频的信息，其中所述视频信息是作为使用预定摄像装置在预定时间段拍摄用于显示所述视频的显示面的图像的结果而获得的，
基于在所述内容的广播中的或广播开始之前的特定时间段期间从所述服务器发送的发送信息，来获得由N个基准颜色的序列表示的基准颜色列表，其中N是大于或等于2的整数，
将构成所述客户端侧视频的M个单位图像中的各个单位图像设置为处理对象，基于所述基准颜色列表来将所述处理对象中的各个像素或各个块分类至所述N个基准颜色其中之一，生成表示针对所述处理对象的所述N个基准颜色的分布的信息，并且生成表示针对所述M个单位图像各自的分布的信息作为所述客户端侧视频的元数据，其中M是大于或等于2的整数，以及
将所述客户端侧视频的所述元数据发送到所述服务器，
所述信息处理装置包括：
基准颜色列表等生成部件，用于在所述内容的广播之前或广播中，生成所述基准颜色的种类和序列其中至少之一在各个客户端之间或在所述客户端所属的各个组之间不同的基准颜色列表本身、或者所述基准颜色列表的创建所需的信息作为所述发送信息；
基准颜色列表等发送控制部件，用于执行控制，以针对所述各个客户端或针对所述各个组，在所述内容的广播中的或广播开始之前的特定时间段期间，将所述发送信息发送到所述客户端；
服务器侧元数据生成部件，用于将构成所述内容中的所述视频的所述多个单位图像中的各个单位图像设置为处理对象，基于针对所述各个客户端或针对所述各个组的所述基准颜色列表来将所述处理对象中的各个像素或各个块分类至所述N个基准颜色其中之一，生成表示针对所述处理对象的所述N个基准颜色的分布的信息，并且生成表示针对所述多个单位图像各自的分布的信息作为服务器侧元数据；以及
判断部件，用于将所述客户端侧视频的元数据与所述服务器侧元数据中的针对所述M个单位图像的元数据进行比较，并且基于比较结果来判断所述客户端侧视频的正当性。
7.根据权利要求6所述的信息处理装置，
其中，所述客户端侧视频的元数据和所述服务器侧元数据中的针对所述M个单位图像的元数据是矩阵，其中在所述矩阵中，各行和各列中的一者的元素是时间上连续的M个单位图像，并且各行和各列中的另一者的元素是所述N个基准颜色。
8.根据权利要求6或7所述的信息处理装置，
其中，所述判断部件：
通过使用比所述服务器侧元数据中获得所述客户端侧视频的元数据的时刻早预定时间的单位图像作为起始图像来开始处理，
在逐一移动用作所述起始图像的单位图像的情况下，重复执行用于将针对从所述起始图像起在时间上连续的M个单位图像的元数据与所述客户端侧视频的元数据进行比较的处理，以及
根据执行结果来判断所述客户端侧视频的正当性。
9.根据权利要求6至8中任一项所述的信息处理装置，
其中，所述基准颜色列表等发送控制部件：
将针对所述各个客户端或针对所述各个组的所述基准颜色列表与操作所述客户端的用户的ID或所述用户所属的组的ID相关联，以及
执行控制，以在所述内容的广播中的或广播开始之前的特定时间段期间，将针对所述各个客户端或针对所述各个组的所述基准颜色列表作为所述发送信息发送到所述客户端。
10.根据权利要求6至9中任一项所述的信息处理装置，还包括：
第一管理部件，用于管理所述内容的广播时间，
其中，基于所述第一管理部件的判断结果，所述基准颜色列表等生成部件生成所述发送信息，并且所述基准颜色列表等发送控制部件执行控制以发送所述发送信息。
11.根据权利要求6至9中任一项所述的信息处理装置，还包括：
第二管理部件，用于管理所述内容的广播区域，
其中，基于所述第二管理部件的判断结果，所述基准颜色列表等生成部件生成所述发送信息，并且所述基准颜色列表等发送控制部件执行控制以发送所述发送信息。
12.一种程序，用于使包括客户端和服务器的信息处理系统中的服务器执行控制处理，
其中，在所述客户端处进行如下的操作的情况下：
在包括由多个单位图像构成的视频的内容根据预定时间表正在被广播并且正在被预定重放装置接收并重放时，获得视频信息作为表示客户端侧视频的信息，其中所述视频信息是作为使用预定摄像装置在预定时间段拍摄用于显示所述视频的显示面的图像的结果而获得的，
基于在所述内容的广播中的或广播开始之前的特定时间段期间从所述服务器发送的发送信息，来获得由N个基准颜色的序列表示的基准颜色列表，其中N是大于或等于2的整数，
将构成所述客户端侧视频的M个单位图像中的各个单位图像设置为处理对象，基于所述基准颜色列表来将所述处理对象中的各个像素或各个块分类至所述N个基准颜色其中之一，生成表示针对所述处理对象的所述N个基准颜色的分布的信息，并且生成表示针对所述M个单位图像各自的分布的信息作为所述客户端侧视频的元数据，其中M是大于或等于2的整数，以及
将所述客户端侧视频的所述元数据发送到所述服务器，
所述程序使所述控制处理包括：
基准颜色列表等生成步骤，用于在所述内容的广播之前或广播中，生成所述基准颜色的种类和序列其中至少之一在各个客户端之间或在所述客户端所属的各个组之间不同的基准颜色列表本身、或者所述基准颜色列表的创建所需的信息作为所述发送信息；
基准颜色列表等发送控制步骤，用于执行控制，以针对所述各个客户端或针对所述各个组，在所述内容的广播中的或广播开始之前的特定时间段期间，将所述发送信息发送到所述客户端；
服务器侧元数据生成步骤，用于将构成所述内容中的所述视频的所述多个单位图像中的各个单位图像设置为处理对象，基于针对所述各个客户端或针对所述各个组的所述基准颜色列表来将所述处理对象中的各个像素或各个块分类至所述N个基准颜色其中之一，生成表示针对所述处理对象的所述N个基准颜色的分布的信息，并且生成表示针对所述多个单位图像各自的分布的信息作为服务器侧元数据；以及
判断步骤，用于将所述客户端侧视频的元数据与所述服务器侧元数据中的针对所述M个单位图像的元数据进行比较，并且基于比较结果来判断所述客户端侧视频的正当性。
CN201780080013.6A 2016-12-26 2017-11-07 信息处理系统、信息处理装置和计算机可读介质 Active CN110100445B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-251688 2016-12-26
JP2016251688A JP6148785B1 (ja) 2016-12-26 2016-12-26 情報処理システム、情報処理装置及びプログラム
PCT/JP2017/040157 WO2018123279A1 (ja) 2016-12-26 2017-11-07 情報処理システム、情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
CN110100445A true CN110100445A (zh) 2019-08-06
CN110100445B CN110100445B (zh) 2021-10-29

Family

ID=59061104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780080013.6A Active CN110100445B (zh) 2016-12-26 2017-11-07 信息处理系统、信息处理装置和计算机可读介质

Country Status (5)

Country Link
US (1) US10904499B2 (zh)
JP (1) JP6148785B1 (zh)
KR (1) KR102142530B1 (zh)
CN (1) CN110100445B (zh)
WO (1) WO2018123279A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408403A (zh) * 2018-09-10 2021-09-17 创新先进技术有限公司 活体检测方法、装置和计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202306549U (zh) * 2011-11-03 2012-07-04 北京电子科技学院 一种基于光流方法的视频检索系统
JP2014123839A (ja) * 2012-12-20 2014-07-03 Yomiuri Telecasting Corp コンテンツ配信システム端末、コンテンツ配信方法、及びプログラム
CN106156284A (zh) * 2016-06-24 2016-11-23 合肥工业大学 基于随机多视角哈希的大规模近重复视频检索方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3467911B2 (ja) * 1995-05-18 2003-11-17 富士ゼロックス株式会社 画像変換装置
JP3780623B2 (ja) 1997-05-16 2006-05-31 株式会社日立製作所 動画像の記述方法
KR100320400B1 (ko) 1999-06-16 2002-01-12 김외준 도자기 제조방법
US6782126B2 (en) * 2001-02-20 2004-08-24 International Business Machines Corporation Method for combining feature distance with spatial distance for segmentation
US7191103B2 (en) * 2001-08-08 2007-03-13 Hewlett-Packard Development Company, L.P. Predominant color identification in digital images
JPWO2005011294A1 (ja) * 2003-07-28 2007-09-27 日本電気株式会社 視聴調査システム
JP4413633B2 (ja) 2004-01-29 2010-02-10 株式会社ゼータ・ブリッジ 情報検索システム、情報検索方法、情報検索装置、情報検索プログラム、画像認識装置、画像認識方法および画像認識プログラム、ならびに、販売システム
JP2007049584A (ja) * 2005-08-12 2007-02-22 Casio Comput Co Ltd 宣伝支援システム及びプログラム
JP2011077607A (ja) * 2009-09-29 2011-04-14 Jvc Kenwood Holdings Inc 放送システム、送信装置、送信方法、受信装置、および受信方法
CN103649928B (zh) * 2012-05-31 2017-03-08 松下知识产权经营株式会社 图像阅览系统、接收侧便携终端、图像服务器、以及图像阅览方法
JP2015069492A (ja) * 2013-09-30 2015-04-13 株式会社日立ソリューションズ インセンティブシステム
US20160360205A1 (en) * 2015-06-08 2016-12-08 Industrial Technology Research Institute Video encoding methods and systems using adaptive color transform

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202306549U (zh) * 2011-11-03 2012-07-04 北京电子科技学院 一种基于光流方法的视频检索系统
JP2014123839A (ja) * 2012-12-20 2014-07-03 Yomiuri Telecasting Corp コンテンツ配信システム端末、コンテンツ配信方法、及びプログラム
CN106156284A (zh) * 2016-06-24 2016-11-23 合肥工业大学 基于随机多视角哈希的大规模近重复视频检索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李坤伦等: "视频检测的颜色直方图目标匹配算法", 《电脑与信息技术》 *

Also Published As

Publication number Publication date
CN110100445B (zh) 2021-10-29
WO2018123279A1 (ja) 2018-07-05
US20190313068A1 (en) 2019-10-10
US10904499B2 (en) 2021-01-26
KR102142530B1 (ko) 2020-08-07
JP2018106408A (ja) 2018-07-05
KR20190084281A (ko) 2019-07-16
JP6148785B1 (ja) 2017-06-14

Similar Documents

Publication Publication Date Title
Ghadiyaram et al. A subjective and objective study of stalling events in mobile streaming videos
US11115724B2 (en) Visual hash tags via trending recognition activities, systems and methods
US20200382570A1 (en) Systems and methods of facilitating live streaming of content on multiple social media platforms
US9098807B1 (en) Video content claiming classifier
US20140115621A1 (en) Intra-Video Ratings
CN110691633B (zh) 用于确定响应的反应时间以及使用户界面与正在渲染的内容同步的方法和系统
US10499097B2 (en) Methods, systems, and media for detecting abusive stereoscopic videos by generating fingerprints for multiple portions of a video frame
US11388561B2 (en) Providing a summary of media content to a communication device
CN110659604A (zh) 视频检测方法、装置、服务器及存储介质
CN113254696A (zh) 一种封面图像获取方法及装置
CN110100445A (zh) 信息处理系统、信息处理装置和程序
Bertini et al. Smartphone verification and user profiles linking across social networks by camera fingerprinting
CN110490162A (zh) 基于人脸识别解锁功能显示人脸变化的方法、装置和系统
KR101351818B1 (ko) 이동통신 단말기의 현재 상황에 적합한 컨텐츠를 재생하는방법
Gardlo et al. A QoE evaluation methodology for HD video streaming using social networking
WO2022089220A1 (zh) 图像数据处理方法、装置、设备、存储介质及产品
CN112235592B (zh) 直播方法、直播处理方法、装置、计算机设备
JP6779174B2 (ja) プログラム及び情報処理方法
CN116193149A (zh) 直播数据处理方法、装置、设备及计算机可读存储介质
US11222494B2 (en) Indexing a video surveillance stream to match an access control credential or token with best facial image detected at a security portal method of operation and system
WO2017197817A1 (zh) 一种数据处理方法、装置、电子设备及服务器
EP3596628B1 (en) Methods, systems and media for transforming fingerprints to detect unauthorized media content items
CN115484467A (zh) 直播视频的处理方法、装置、计算机可读介质及电子设备
CN114765693A (zh) 直播流内容处理方法和装置、存储介质及电子设备
Tanaka et al. LiveWatch: The interactive live casting system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40004869

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant