CN102209184A - 电子装置、再现控制系统、再现控制方法和用于其的程序 - Google Patents

电子装置、再现控制系统、再现控制方法和用于其的程序 Download PDF

Info

Publication number
CN102209184A
CN102209184A CN2011100714830A CN201110071483A CN102209184A CN 102209184 A CN102209184 A CN 102209184A CN 2011100714830 A CN2011100714830 A CN 2011100714830A CN 201110071483 A CN201110071483 A CN 201110071483A CN 102209184 A CN102209184 A CN 102209184A
Authority
CN
China
Prior art keywords
content
item
scenes
metamessage
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011100714830A
Other languages
English (en)
Other versions
CN102209184B (zh
Inventor
鹿岛浩司
坂口竜己
押领司宏
江岛公志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102209184A publication Critical patent/CN102209184A/zh
Application granted granted Critical
Publication of CN102209184B publication Critical patent/CN102209184B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45457—Input to filtering algorithms, e.g. filtering a region of the image applied to a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

提供电子装置、再现控制系统、再现控制方法和用于其的程序。电子装置包括：存储器，用于存储每一个均包括场景的第一和第二内容，以及每一个均指示第一和第二内容的每个场景的特征的元信息项；再现器，用于再现第一和第二内容；操作接收器，用于接收用户对于操作的输入；控制器，用于控制存储器存储指示用户在第一内容再现期间对于每个场景的操作历史的操作历史信息项，同时其与每个场景的元信息项相关联，基于元信息项计算第一与第二内容的场景之间的相似性，并控制再现器以在第二内容再现期间，基于操作历史信息项和相似性，改变对于每个场景的再现模式。

Description

电子装置、再现控制系统、再现控制方法和用于其的程序
技术领域
本发明涉及能够再现内容(如，视频)的电子装置、使用该电子装置的再现控制系统以及该电子装置中的再现控制方法和程序。
背景技术
在某些情况下，为了以更高兴的方式观看诸如分别由数码摄像机和数码相机拍摄的视频和静态图像之类的内容，用户根据其喜好执行编辑工作(包括选择场景、校正画质、添加视觉效果等)。然而，上述编辑工作尤其对于不习惯于编辑工作的用户来说是非常麻烦的。实际上，存在很少的用户愿意花时间执行上述编辑工作。在许多情况下，内容在拍摄之后维持不变。另外，存在许多从未观看的内容。
作为用于根据用户喜好控制每个内容的再现模式的方法之一，可以想到的是使用每个内容的再现历史(观看历史)的方法。例如，日本专利申请特开No.2009-278342(下文称为专利文献1)公开了下列技术。确切地，在该技术中，在存在第一视频内容和作为第一视频内容后续的第二视频内容，第一视频内容包括第二视频的预览，并且第二视频内容包括第一视频内容的先前情节的情况下，如果确定在第二视频内容的再现之前已经再现了第一视频内容，则在第二视频内容的再现期间，省略先前情节的再现。另一方面，如果确定在第一视频内容的再现之前已经再现了第二视频内容，则在第一视频内容的再现期间，省略预览的再现。
发明内容
然而，专利文献1中描述的技术依赖于第一视频内容和第二视频内容是连续的视频内容的假设，因此在各内容之间的关系是未知的情况下，例如在观看用户拍摄的视频内容的情况下，可能不能应用上述技术。
进一步，专利文献1中描述的技术是控制是否仅再现与主故事分离的子内容(如预览和先前情节)的技术。因此，可能不能确定用户对于视频内容的每一个场景的喜好，从而可能不能控制再现模式。
鉴于如上所述的情况，存在这样的需求：提供能够根据用户的喜好来针对内容的每一个场景改变再现模式的电子装置、使用该电子装置的再现控制系统以及该电子装置中的再现控制方法和程序。
根据本发明的实施例，提供了一种电子装置，包括存储器、再现器、操作接收器和控制器。存储器存储每一个均包括多个场景的第一内容和第二内容，以及每一个均指示第一内容和第二内容的多个场景中的每一个场景的特征的元信息项。再现器再现第一内容和第二内容。操作接收器接收用户对于操作的输入。控制器控制存储器存储用于指示用户在第一内容再现期间对于多个场景中的每一个的操作历史的操作历史信息项，而操作历史信息项与多个场景中的每一个的元信息项相关联。进一步，控制器基于元信息项计算第一内容的多个场景中的每一个与第二内容的多个场景中的每一个之间的相似性，并控制再现器以在第二内容再现期间，基于操作历史信息项和计算出的相似性，改变对于多个场景中的每一个场景的再现模式。
通过该配置，电子装置能够基于第一内容和第二内容之间的相似性以及对于第一内容的每一个场景的操作历史信息项，改变对于每一个场景的第二内容的再现模式。因此，电子装置能够以反映用户对于每一个场景的喜好的模式来再现内容，而不使得用户执行麻烦的编辑工作。这里，操作历史信息项例如是指关于特定再现操作(例如，快进操作、快倒操作、以慢动作的播放以及跳跃和播放)的信息项。再现模式的改变例如是指代替执行正常的再现处理，执行以慢动作的播放、跳跃播放、各种效果处理等。
电子装置可以进一步包括：传感器，配置为检测用于指示用户在第一内容再现期间对于多个场景中的每一个的观看状态历史的观看状态历史信息项。在这种情况下，所述控制器可控制存储器与操作历史信息项一起存储观看状态历史信息项，同时观看状态历史信息项与多个场景中的每一个的元信息项相关联。进一步，控制器可控制再现器在第二内容再现期间，基于操作历史信息项、观看状态历史信息项和相似性，改变对于多个场景中的每一个的再现模式。
据此，电子装置不仅考虑操作历史信息项，而且还考虑观看状态历史信息项。因此，电子装置能够高精度地确定用户对于每一个场景的喜好，由此在再现模式的变化中反映用户的喜好。这里，观看状态历史信息项例如是指观看用户的数量、用户的名字、用户的面部表情(情绪)、眼睛是否被引导至内容和视图的方向、行为、笑、评论和用户的激动状态。传感器例如是相机、麦克风、人体传感器或生物传感器。
控制器可基于操作历史信息项和观看状态历史信息项来计算指示用户对于第一内容的多个场景中的每一个的喜好的喜好程度，并可基于计算出的喜好程度和计算出的相似性来计算第二内容的多个场景中的每一个的优先级。进一步，控制器可控制再现器优先再现具有控制器计算出的高优先级的场景。
据此，电子装置能够基于操作历史信息项和观看状态历史信息项，适当地确定对于第一视频内容的每一个场景的喜好，由此优先地再现被确定为用户对其具有肯定喜好的场景的、与第一内容的场景类似的第二内容的场景。
存储器可为多个场景中的每一个存储不同种类的元信息项。在这种情况下，控制器可计算对于第一视频内容的多个场景中的每一个场景的元信息项中的每一个元信息项的喜好程度，并可针对多个场景中的每一个通过将把喜好程度乘以相似性所获得的值进行求和来计算多个场景中的每一个的优先级。
据此，电子装置基于不同的元信息项来计算第二优先级，因而电子装置能够在更精确反映用户喜好的同时控制第二内容的再现。
电子装置可进一步包括通信单元，其配置为与不同的电子装置通信。在这种情况下，所述控制器可针对多个场景中的每一个产生用于改变第二内容的再现模式的控制信号。进一步，控制器可控制通信单元以便与该控制信号一起将存储的第二内容发送到不同的电子装置。
据此，电子装置与控制信号一起将第二内容发送到不同的电子装置。因此，电子装置能够在根据用户喜好针对每一个场景改变第二内容的再现模式的同时来再现该不同的电子装置中的第二内容。即，电子装置能够自动化工作，其中电子装置的用户根据用户的喜好来编辑内容，并将内容发送到不同电子装置的用户。
通信单元可以从不同的电子装置接收被存储在不同的电子装置中的操作历史信息项和观看状态历史信息项。在这种情况下，控制器可以基于接收到的操作历史信息项、接收到的观看状态历史信息项和计算出的相似性来产生控制信号。
据此，电子装置能够在根据不同电子装置的用户的喜好来改变第二内容的再现模式的同时，在不同的电子装置中再现第二内容。进一步，电子装置能够接收关于不同电子装置的第二内容的操作历史信息项和观看状态历史信息项，由此掌握该不同的电子装置的用户对于第二内容的再现模式的改变的反应。进一步，鉴于该反应，电子装置也能够产生和发送新的控制信号，以便更精确地对应于该不同的电子装置的用户的喜好。
根据本发明的另一实施例，提供了一种再现控制系统，包括第一电子装置和第二电子装置。第一电子装置包括产生器、提取器和发送器。产生器产生第一内容和第二内容，其每一个均包括多个场景。提取器从产生的第一内容和产生的第二内容的多个场景中的每一个提取指示多个场景中的每一个的特征的元信息项。发送器与元信息项一起发送第一内容和第二内容。第二电子装置包括接收器、存储器、再现器、操作接收器和控制器。接收器接收发送的第一内容、发送的第二内容和发送的元信息项。存储器存储接收到的第一内容、接收到的第二内容和接收到的元信息项。再现器再现第一内容和第二内容。操作接收器接收用户对于操作的输入。控制器控制存储器存储用于指示用户在第一内容再现期间对于多个场景中的每一个的操作历史的操作历史信息项，而操作历史信息项与多个场景中的每一个的元信息项相关联。进一步，控制器基于元信息项计算第一内容的多个场景中的每一个与第二内容的多个场景中的每一个之间的相似性，并控制再现器以在第二内容再现期间，基于操作历史信息项和计算出的相似性，改变对于多个场景中的每一个场景的再现模式。
根据本发明的又一个实施例，提供了一种再现控制方法，包括：存储每一个均包括多个场景的第一内容和第二内容，以及每一个均指示第一内容和第二内容的多个场景中的每一个场景的特征的元信息项。再现第一内容和第二内容。存储用于指示用户在第一内容再现期间对于多个场景中的每一个的操作历史的操作历史信息项，而操作历史信息项与多个场景中的每一个的元信息项相关联。基于元信息项计算第一内容的多个场景中的每一个与第二内容的多个场景中的每一个之间的相似性。进一步，在第二内容再现期间，基于操作历史信息项和计算出的相似性，针对多个场景中的每一个场景改变再现模式。
根据本发明的又一个实施例，提供了一种程序，其使得电子装置执行第一存储步骤、再现步骤、第二存储步骤、计算步骤和改变步骤。在第一存储步骤中，存储每一个均包括多个场景的第一内容和第二内容，以及每一个均指示第一内容和第二内容的多个场景中的每一个场景的特征的元信息项。在再现步骤中，再现第一内容和第二内容。在第二存储步骤中，存储用于指示用户在第一内容再现期间对于多个场景中的每一个的操作历史的操作历史信息项，而操作历史信息项与多个场景中的每一个的元信息项相关联。在计算步骤中，基于元信息项计算第一内容的多个场景中的每一个与第二内容的多个场景中的每一个之间的相似性。在改变步骤中，在第二内容再现期间，基于操作历史信息项和计算出的相似性，针对多个场景中的每一个场景改变再现模式。
如上所述，根据本发明的实施例，可以根据用户的喜好，针对内容的每一个场景来改变再现模式。
根据下面对于本发明优选实施例的详细描述，如附图中所示，本发明的这些和其它目标、特征和优点将变得更加明显。
附图说明
图1是示出根据本发明实施例的电视的硬件配置的框图；
图2是示出本发明实施例中用于内容的再现控制的再现控制应用中包括的功能块的框图；
图3是示出根据本发明实施例的电视的再现控制处理的流程的流程图；
图4是每一个均示出本发明实施例中计算每一个场景的再现优先级的方法的图；以及
图5是示出本发明另一个实施例中的再现控制应用中包括的功能块的框图。
具体实施方式
下文参照附图描述本发明的实施例。
[电视的硬件配置]
图1是示出根据本发明实施例的电视机的硬件配置的框图。
如图1所示，电视机100(下文称为电视100)包括CPU 1、闪速存储器2、动态RAM(DRAM)3、内部总线4、遥控器光接收单元5、数字天线输入端子6、数字调谐器7、通信单元8、MPEG解码器9、视频信号处理电路11、图形产生单元12、显示驱动电路13、显示器14、音频信号处理电路15、音频信号放大电路16、扬声器17、传感器18和外部接口(I/F)19。
数字天线输入端子6输入经由数字天线(未示出)接收到的数字广播的广播信号。数字调谐器7选择经由广播信号指定的信道的信号，并将该信号输出到MPEG解码器9。通信单元8包括例如NIC，并经由因特网35执行电视100与不同设备之间的通信处理。
MPEG解码器9对于以MPEG规范编码的广播信号、由外部设备输入的视频或静态图像的内容信号以及经由通信单元8接收到的内容信号进行解码。然后，在经解码的信号之中，MPEG解码器9将视频信号输出到视频信号处理电路11，并将音频信号输出到音频信号处理电路15。
视频信号处理电路11使输入的视频信号经历必要的图像处理，并将经处理的视频信号输出到图形产生单元12。图形产生单元12通过屏显(OSD，On-screen display)处理，合成输入的视频信号和图形用户界面(GUI)屏幕等。然后，视频信号处理电路11输出合成的一个。例如，显示驱动电路113将从图形产生单元12提供的视频信号进行数模转换，并根据模拟视频信号来驱动显示器14。显示器14例如包括液晶显示器、等离子显示面板(PDP)和EL显示器，并显示从显示驱动电路13输入的模拟视频信号。
音频信号处理电路15使输入的音频信号经历必要的音频处理，然后，将经处理的音频输出到音频信号放大电路16。音频信号放大电路16控制输入的音频信号以具有必要的音量，并将控制的音频信号输出到扬声器17，以便再现它。
CPU 1在必要的情况下访问DRAM 3等，以便总体地控制电视100的各个块。
闪速存储器2是非易失性存储器，其中，除了要由CPU 12执行的OS之外，还稳定地存储包括各种应用的程序、各种参数等的固件。特别地，在该实施例中，如将在稍后描述的那样，电视100能够根据内容的用户的观看历史，控制内容的每一个场景的再现模式。闪速存储器2还存储用于上述再现控制的再现控制应用。
DRAM 3用作CPU 1的工作区。DRAM 3是用于临时保存OS、程序、经处理的数据等的存储器。
CPU 1、闪速存储器2和DRAM 3连接到内部总线4，并且CPU 1、闪速存储器2和DRAM 3对于彼此是可访问的。以这种方式，总体地控制电视100。
遥控器光接收单元5从遥控器10接收遥控信号形式的用户操作，并将遥控信号输出到CPU 1。据此，执行电视100的控制处理，其包括根据用户的操作来接收或再现内容等。遥控器10例如包括各种操作部分，其包含分别与广播频道对应的数字键、菜单按钮、播放按钮、暂停按钮、快进按钮、快倒按钮等。
传感器18例如是相机、麦克风、人体传感器或生物传感器，并检测用户在内容再现期间的观看状态。观看状态例如包括观看用户的数量、用户的名字、用户的面板表情(情绪)、眼睛是否被指引到内容和视图的方向、行为、笑、评论、用户的激动状态。传感器18安装在适于从用户获得某些信息的位置(例如，电视100的前上部或前下部)。
例如，遵循高清多媒体接口(HDMI)或通用串行总线(USB)的通信规范，外部I/F 19例如从拍摄装置(如，数码相机或数码摄像机)或不同的外部设备输入内容信号。
[电视的软件配置]
如上所述，电视100能够通过再现控制应用，根据用户的观看历史来控制内容的再现模式。图2是示出电视100中的内容的再现控制的再现控制应用中包括的功能块的框图。
如图2所示，电视100包括读取单元21、视频解码器22、音频解码器23、静态图像解码器24、视频分析单元25、音频分析单元26、静态图像分析单元27、上语义信息分析单元28、个人再现控制单元29、观看历史管理单元30和个人观看历史存储单元31。
读取单元21从拍摄装置200(如，数码相机或数码摄像机)读取视频内容和静态图像数据项。针对与日期、时间段等对应的每一个组读取静态图像数据项。在读取的数据是视频内容的情况下，读取单元21将视频内容划分为视频数据项和音频数据项。然后，读取单元21将视频数据项输出到视频解码器22，并将音频数据项输出到音频解码器23。否则，读取单元21将静态图像数据项输出到静态图像解码器24。
视频解码器22解码上述视频数据项，并将经解码的视频数据项输出到视频分析单元25。音频解码器23解码上述音频数据项，并将经解码的音频数据项输出到音频分析单元26。静态图像解码器24解码上述静态图像数据项，并将经解码的静态图像数据项输出到静态图像分析单元27。
视频分析单元25从视频数据项提取客观特征信息项，并基于特征信息项提取下元(meta)信息(语义信息)项。类似地，音频分析单元26和静态图像分析单元27从音频数据项和静态图像数据项提取客观特征信息项，并分别基于特征信息项提取下元信息项。对于下元信息项的上述提取，还使用Understanding Video Events：A Survey of Methods for Automatic Interpretation of Semantic Occurrences in Video，Gal Lavee，Ehud Rivlin，and Michael Rudzsky，IEEE TRANSACTIONS ON SYSTEMS，MAN，AND CYBERNETICS-PART C：APPLICATIONS AND REVIEWS，VOL.39，NO.5，September 2009中描述的技术。
例如，在提取特征信息项时，视频分析单元25执行基于图像的处理(如颜色/纹理特征提取、梯度(gradient)计算、边缘提取)和基于对象的处理(如，人/脸的检测/识别、对象的识别、人/脸/对象的动作检测/速度检测)。在检测人时，视频分析单元25例如使用指示人的形状的特征滤波器，以从视频中检测包括个人(人)的区域。在检测面部时，视频分析单元25例如使用示出了眼、鼻、眉毛、脸颊等之间的位置关系、皮肤信息等的特征的特征滤波器，以从视频中检测包括面部(一个或多个)的区域。
另外，视频分析单元25不仅能够识别人或面部的存在和不存在，而且还能够识别特定人。例如，边缘强度图像特征、频率强度图像特征、高阶自相关特征和颜色转换的图像特征可以用于特定人的识别。例如，在使用边缘强度图像特征的情况下，视频分析单元25存储灰度图像和边缘强度图像作为待识别目标的人的特征数据项(例如，与用户相关联的父母、孩子、伙伴和朋友)。然后，视频分析单元25从检测到面部的人的面部图像中提取如上所述的灰度图像和边缘强度图像，并对两个灰度图像和两个边缘强度图像执行图案匹配，由此识别特定人的面部。
进一步，在对象识别中，视频分析单元25使用作为上述事件特征信息项存储的识别模型，以确定在视频中是否包括作为待识别目标的对象。识别模型通过机械学习(如，支持向量机(SVM，support vector machine))从用于学习的图像中预先构造。
另外，除了视频中的人和对象之外，视频分析单元25还能够识别背景。例如，视频分析单元25使用模型(其通过机械学习(如，SVM)从用于学习的图像中预先构造)以将视频中的背景分类为包括例如城市、室内、户外、海岸、水中、夜景、日落、雪景和拥挤场景的场景。
这里，在视频内容包括多个场景的情况下，视频分析单元25从视频内容中检测视觉特征(如，突变或渐变)，并在提取下元信息项之前将视频内容分类为多个场景。
在提取特征信息项时，音频分析单元26例如从音频数据项中检测人的语音、人的语音以外的环境声音以及这些声音的强度/音调中的特征。为了识别人的语音和环境声音，例如，使用具有等于或高于预定值的强度的音频的持续时间。
在提取特征信息项时，静态图像分析单元27在可以由视频分析单元25执行的分析处理之中，执行静态处理，包括颜色/纹理信息提取、梯度计算、边缘提取、人/脸/对象检测、背景的识别。
进一步，在数据项包括文本等的标签(标记)信息项的情况下，分析单元25到27还提取其标签信息项作为特征信息项。标签信息项例如包括指示事件内容的信息项以及拍摄日期和时间、拍摄地点的信息项等。
分析单元25到27基于提取出的特征信息项，提取添加了更多特定意义的下元信息(语义信息)项。
例如，视频分析单元25基于提取出的人的特征和面部特征，识别个人、性别、年龄、面部表情、位置、服装、人数和排列作为下元信息项。进一步，视频分析单元25基于动作特征，识别包括积极/消极活动、快/慢活动、站/坐/走/跑等的活动，并识别手势等。
例如，音频分析单元26从提取出的音频特征提取掌声、欢呼、扬声器声音、与语音对应的感受、笑、尖叫、所说内容、基于反射的空间的大小，作为下元信息项。
静态图像分析单元27在可以由视频分析单元25识别的元信息项之中，识别不与动作特征相关联的元信息项。
对于下元信息项的提取，可以使用各种方法，例如包括通过状态空间表示的方法(如，贝叶斯网络、有限状态机、条件随机场(CRF)和隐式马尔科夫模型(HMM))、通过离散事件系统的方法(如，皮特里网、约束补偿模型和语义模型(如，逻辑方法、现有技术中的图案识别/分类(如，SVM)、最近相邻方法、神经网络))。
上语义信息分析单元28基于由分析单元25到27提取的下元信息项，分析上元信息项。然后，上语义信息分析单元28导出能够全局地描述视频的一个景或一组静态图像(即，事件)的最上元信息项。对于该事件导出处理，还使用Event Mining in Multimedia Streams： Research on identifying and analyzing events and activities in media collectionshad led to new techn
确切地，上语义信息分析单元28根据下元信息项，逐渐地增大与5W1H(Who(谁)、What(什么)、When(何时)、Where(哪里)、Why(为什么)、How(如何))对应的多个信息项的抽象级别，并最终将每一个场景分类为一个事件。
例如，在从视频或静态图像提取关于人的元信息项(如，“孩子的数量”、“父母和孩子的数量”和“体操服”)、关于人的动作的元信息项(如，“积极运动”和“跑步”)、关于普通对象的元信息项(如，“学校建筑”)的情况下，从音频提取“通过扬声器的人的语音”、“掌声”、“欢呼声”等的元信息项，并且获得包括“小学”的位置信息项、“秋季”的季节(日期和时间)信息项等的信息项，作为其它元信息项，上语义信息分析单元28组合这些信息项，然后到达“小学运动会”的事件。另外，在还提取关于用户或其家人的元信息项的情况下，上语义信息分析单元28能够更确切地确定上述事件作为“孩子X的小学运动会”。
在上语义信息分析单元28导出关于每一个内容的场景的事件之后，个人再现控制单元29在用户提供用于再现内容的指令时进行控制，以对于内容中包括的每一个场景改变内容的再现模式。再现模式的改变包括如下处理，所述处理包含待再现的场景的选择、再现方法的选择等。
在观看历史信息项与场景的每一个事件(其由上语义信息分析单元28导出)相关联并且与用于导出场景的事件的元信息项相关联的同时，观看历史管理单元30在个人观看历史存储单元31中存储关于电视100的用户的内容的观看历史信息项。进一步，观看历史管理单元30管理存储的观看历史信息项。这里，观看历史信息项包括操作历史信息项和观看状态历史信息项。操作历史信息项是指例如关于用户在每一个内容的再现期间通过遥控器10执行的特定再现操作(例如，快进操作、快倒操作、以慢动作的播放以及跳跃和播放)的信息项。观看状态历史信息项是指例如关于观看用户的数量、用户的名字、用户的面部表情(情绪)、眼睛是否被引导至内容和视图的方向、行为、笑、评论、用户的激动状态的信息项，它们由传感器18在每一个内容的再现期间检测。在内容的再现期间指定用户的名字的情况下，对于每一个用户存储观看历史信息项。将上述元信息项分类为分别与例如5W1H对应的要素，并进行存储。
个人再现控制单元29基于观看历史管理单元30管理的观看历史信息项，分析用户对于过去根据事件和元信息项再现的内容的每一个场景的喜好，并改变作为要再现目标的内容的每一个场景的再现模式，以便场景匹配用户的喜好。
[电视的操作]
接下来，将进行由此配置的电视100的再现控制操作的描述。在下文中，尽管在考虑电视100的CPU 1作为主操作对象的同时描述电视100的再现控制操作，但是还与其它硬件和其它软件(如，再现控制应用程序)协作地执行操作。图3是示出电视100的再现控制处理的流程的流程图。
当从用户提供用于再现特定内容的指令时，首先，CPU 1读取存储在个人观看历史存储单元31中的观看历史信息项(步骤41)。当CPU 1可以指定用户(其已经提供了用于再现的指令)时，通过传感器18，CPU 1读取与指定的用户相关联的观看历史信息项。
接下来，CPU 1读取与观看历史信息项相关联的元信息项(步骤42)。然后，CPU 1基于读取的观看历史信息项和读取的元信息项，确定作为待再现目标的内容的每一个场景的再现方法。根据针对每一个场景计算出的再现优先级来执行再现方法的确定。图4是每一个均示出计算每一个场景的再现优先级的方法的视图。在下文中，参照图3和图4描述计算再现优先级的处理。
首先，CPU 1对于5W1H的各个要素，计算读取的观看历史信息项与元信息项之间的匹配程度(相似性)(步骤43)。
这里，在计算匹配程度之前，CPU 1基于每一个场景的观看历史信息项，将每一个场景分类为用户喜欢的场景或用户不喜欢的场景，即：对于用户来说肯定的场景或对于用户来说否定的场景。进一步，CPU 1对于每一个分类的肯定/否定场景，管理5W1H中的元信息项。
例如，在指示用户观看的内容的某一场景已倒带和重放了许多次并且以慢动作播放的操作历史信息项被存储为观看历史信息项之一的情况下，将上述场景分类为用户感兴趣的肯定场景。另一方面，在指示用户观看的内容的某一场景已经快进和跳过的操作历史信息项被存储为观看历史信息项之一的情况下，将上述场景分类为用户不感兴趣的否定场景。
进一步，作为观看历史信息项，不仅参照操作历史信息项，而且参照每一个场景的观看状态历史信息项。例如，在某一场景的再现期间检测到用户的笑脸的情况下，将该场景分类为肯定场景。另一方面，在某一场景期间检测到用户的悲伤的脸或生气的脸的情况下，或者在用户的眼睛未被引导至电视100(用户没有观看场景)的情况下，将上述场景分类为否定场景。进一步，例如，在尽管存储了指示某一场景已被倒带和重放了多次的操作历史信息项，但用户还没有观看上述场景，或者在上述场景的再现期间检测到用户的悲伤的脸的情况下，将该场景分类为否定场景。
对于肯定/否定场景的分类处理，不仅可以使用如上所述的统一方法，而且还可以使用运用学习(learning)的方法。进一步，可以将难以分类为肯定场景或否定场景的场景分类为中性场景。
在图4的示例中，例如，在已经再现的视频内容中，如图4A所示，将“去年运动会上的赛跑”的场景(事件)分类为肯定场景，并且如图4B所示，将“去年运动会上的进场”的场景(事件)分类为否定场景。每一个场景包括以5W1H的要素分类的元信息项。例如，元信息项是指示每一个场景的5W1H的文本信息项。针对至少一个要素，从一个场景(事件)提取至少一个或多个文本信息项。
CPU 1将对应于以肯定场景分类的场景和以否定场景分类的场景的5W1H的最上元信息项和对应于尚未再现的内容的场景(场景A到D)的5W1H的上元信息项进行比较，由此计算其间的匹配程度。
在这种情况下，例如，对于5W1H的每一个要素，通过使用公式：“在观看历史中的场景与作为待再现目标的每一个场景之间匹配的元信息项的数量/观看历史中场景的元信息项的数量”来计算每一个匹配程度。然而，本发明不限于此。例如，CPU 1可以使用词库，由此计算作为元信息项的词或文本之间的匹配程度。
接下来，CPU 1确定要在每一个计算出的匹配程度上相乘的权重(步骤44)。尽管在该实施例中，权重是固定的，但是如果需要的话，可以由用户定制权重，或者可以通过机械学习来更新。对于肯定的场景将权重设置为正值，或者对于否定的场景将其设置为负值。尽管例如以固定权重按照谁(Who)＞什么(What)＝如何(How)＞何时(When)＞哪里(Where)＞为什么(Why)的顺序而增大的方式来分配对于5W1H的每一个要素的固定权重，但是本发明不限于此。进一步，也可以将长时间之前添加的权重设置得小于最近添加的权重，以便抑制长时间之前添加的权重的效果。该设置基于当用户观看同一内容多次时，用户的喜好随着时间而改变的考虑。
进一步，代替或者除了与5W1H对应的最上元信息项，也可以将最低元信息项或中间元信息项彼此比较。在这种情况下，尽管也对于最低元信息项或中间元信息项分配上述权重，但是将最低元信息项设置得小于添加到最高元信息项的权重，由此抑制那些权重的效果。
CPU 1将分别分配给要素的权重乘以要素的匹配程度，并且将加权的匹配程度相加在一起(∑(权重×匹配程度))，由此计算对于每一个分类的肯定场景和否定场景的再现优先级P和N(步骤45)。此时，CPU 1可以不把权重乘以要素的匹配程度，并且可以不把加权的匹配程度相加在一起，并且例如，在谁和如何的要素或者谁和什么的要素二者均匹配或不匹配的情况下，CPU 1可以单独相加或相减其再现优先级。
然后，如图4C所示，CPU 1求和彼此对应的分类的肯定场景和否定场景的再现优先级，由此计算总的再现优先级T(P+N)(步骤46)。在图4的示例中，例如，将尚未再现的场景A(“今年的运动会上的赛跑”的事件)和尚未再现的场景C(“今年的海水浴场上玩球”的事件)确定为每一个均具有高优先级的场景。另一方面，将尚未再现的场景B(“今年的运动会上的进场”)和尚未再现的场景D(“今年的海水浴场上的拥挤”)考虑为每一个均具有低优先级的场景。
如图4所示，不仅改变场景(场景A和场景B)的再现模式，其直接(以较低级别)类似于“去年的运动会上的赛跑”的场景和“去年的运动会上的进场”的场景(其是作为观看历史信息项的待比较目标)，而且改变场景(如，场景C和场景D)的再现模式，其上元信息项类似于观看历史信息项的场景，而场景不类似于较低级别中的观看历史信息项的场景。即，例如，在观看历史信息项中存储了“孩子X参与的赛跑的场景已被倒带和回放了两次”的信息项的情况下，鉴于此，将“孩子X得到体育活动”的场景确定为用户特别感兴趣的场景。因此，例如，“孩子X和其父亲正在玩球”的场景具有更高的总再现优先级。另一方面，在观看历史信息项中存储了“已经倒带了进场的场景”的信息项的情况下，鉴于此，将“不包括孩子X，但包括其它人”的场景确定为用户不感兴趣的场景。因此，例如，包括“存在大量海船的海岸”的场景具有更低的总再现优先级。
返回参考图3，接下来，CPU 1基于每一个计算出的总再现优先级T，确定作为要再现目标的内容的每一个场景的再现模式。首先，CPU 1确定是否应该再现作为要处理目标的场景(步骤47)。这里，是否应该再现作为要处理目标的场景取决于上述总再现优先级T是否显著地低(例如，等于或小于-50)。在作为要处理目标的场景的总再现优先级T显著地低的情况下(步骤47处的否)，跳过场景的再现(步骤49)。
这里，在累积极少观看历史信息项的早期步骤中，对于如上所述的匹配程度的计算公式中的分母小，其结果是匹配程度急剧改变。因此，在不累积等于或大于预定值的观看历史信息项的这种步骤中，CPU 1可以校正(添加处理)上述总再现优先级，以便再现尽可能多的场景。据此，可以防止执行用户不期望的跳过处理(其结果是用户感到不舒服)。
确定是否应该再现作为要处理目标的场景(步骤47处的是)，CPU 1基于总再现优先级T，确定该场景的再现方法和效果(步骤48)。在需要图像处理以实现确定的再现方法和确定的效果的情况下(步骤50处的否)，CPU 1执行适当的图像处理(步骤51)，并通过确定的再现方法和确定的效果来再现和绘制该场景(步骤52)。
例如，CPU 1对具有显著高的整体执行优先级T(例如，等于或大于50)的场景执行例如慢动作播放、flash模式的播放、停止动作播放。例如，对要素How(如何)中包括元信息项“跑步”的场景执行慢动作播放或flash模式的播放，这允许用户识别动作本身，并改变场景中的动作。进一步，对要素How中包括元信息项“笑”的场景执行停止动作播放，这允许用户观看稳定的好看的笑脸。
进一步，CPU 1对具有适度高的总再现优先级T(例如，范围为25～50)的场景执行如下处理：例如，再现场景两次、放大场景中的对象(用户可能对其感兴趣)，并向场景添加各种效果。例如，针对要素How中包括元信息项“踢球”的场景，重复地再现踢的动作，这给出对于踢的动作的印象。在这种情况下，当回放场景时，可以以慢动作再现场景。进一步，针对要素Who中包括元信息项“孩子X”的场景，对孩子X执行放大处理，这允许强调孩子X作为场景中的主要人物。进一步，针对要素Who中包括元信息项“婴儿”和“宠物”的场景，执行可爱的图像装饰效果，这使得“婴儿”和“宠物”更加可爱。
进一步，CPU 1对具有适度低的总再现优先级T(例如，范围为-50～-25)的场景执行例如快倒和摘要显示，这提升了用户的观看效率。基于上述元信息项，可以预先产生用于摘要显示的视频。
[结论]
如上所述，根据此实施例，电视100能够在元信息项与事件相关联的同时，基于针对每一个场景存储的观看历史信息项，改变作为要再现目标的内容的每一个场景的再现模式。因此，电视100能够以反映用户喜好的模式，对每一个场景执行再现，而不使得用户执行麻烦的编辑工作。
[变型示例]
本发明不限于上述的本发明实施例，而是在不脱离本发明精神的情况下可以进行各种修改。
尽管在每一个上述实施例中，再现控制处理是对于电视100的用户的处理，但是可以将以改变的再现模式的内容提供到不同设备的用户。在这种情况下，当个人再现控制单元29改变作为要再现目标的内容的再现模式时，个人再现控制单元29产生用于执行该改变的控制信号。然后，例如，当用户提供将内容发送到不同设备的指令时，通信单元8或外部接口19与内容一起发送产生的控制信号。据此，当向不同用户提供内容时，电视100的用户可以使得不同设备的用户观看再现模式下的内容(其已经根据电视100的用户对于每一个场景的喜好而改变)，而不执行麻烦的编辑处理。
进一步，在这种情况下，在每一个上述实施例中，观看历史管理单元30可以从不同设备接收不同设备的用户的观看历史信息项(其在不同设备中累积)，并且可以将观看历史信息项存储在个人观看历史存储单元31中。然后，个人再现控制单元29可以基于不同设备的用户的观看历史信息项来产生上述控制信号。据此，电视100的用户可以向不同设备提供已经对于每一个场景根据不同设备的用户的喜好而改变的内容，由此使得不同设备的用户观看已经对于每一个场景根据不同设备的用户的喜好而改变的内容。即，电视100能够实现与发送内容编辑以便对应于不同设备的用户的要求相同的效果。另外，电视100还能够接收要再现的、提供到不同设备的内容的观看历史信息项。以这种方式，电视100能够反馈不同设备的用户的反应以便执行再现模式的新变化，由此在相同内容或不同内容中反映再现模式的新变化，并向不同用户提供反映再现模式的新变化的内容。
尽管在每一个上述实施例中，作为要再现目标的内容的再现模式依赖于观看历史信息项，但是也可以根据变化来编辑和更新所存储的内容本身。图5是示出这种情况下再现控制应用中包括的功能块的图。
如图5所示，除了图2所示的功能块之外，电视150还包括编辑单元32。例如，编辑单元32根据用户的指令，编辑从拍摄装置200读取的内容。进一步，电视150能够以内容反映应用于作为要再现目标的内容的再现模式的变化的这种方式来编辑内容。编辑可以由用户手动地执行，或者可以由个人再现控制单元29自动地执行。即，在个人观看历史存储单元31中累积关于变化的再现模式下的内容的观看历史，然后，在用户选择在编辑时反应该变化的情况下，编辑单元32执行所述变化。否则，在再现所改变再现模式下的内容的时间点，通过个人再现控制单元29，与再现模式的变化对应地自动编辑内容。据此，所改变再现模式下再现的内容将从下次起，在与改变对应地编辑内容的状态下再现。
进一步，用户可以向不同设备的用户发送编辑内容，以便不同设备的用户观看该内容。在这种情况下，电视150可以接收不同设备的用户的观看历史信息项，由此基于观看历史信息项来编辑内容。
在每一个上述实施例中，由电视100提取下元信息项和上元信息项中的任何一个。然而，可以由另一个设备提取它们中的至少一部分，并且当将图像输入到电视100时可以与图像一起输入。例如，当拍摄画面时，画面的下元信息项可以由拍摄装置200(如，数码相机或数码摄像机)提取，并可以与画面一起输入到电视100，并且电视100可以从下元信息项提取上元信息项。进一步，例如，可以由拍摄装置200提取例如在面部检测或夜景检测的情况下可以用相对小的操作量提取的下元信息项，并可以由电视100提取例如在动作检测或普通对象识别的情况下具有对于提取所需要的相对大的操作量的元信息项。另外，代替电视100，可以由网络上的服务器提取元信息项，并且可以经由通信单元8将提取出的元信息项输入到电视100。
另外，电视100在每一个上述实施例中执行的处理可以由任何其它电子装置执行，包括个人计算机(PC)、数码相机、数码摄像机、蜂窝电话、智能电话、记录/再现装置、游戏机、个人数字助理(PDA)、电子书终端、电子字典、便携式AV设备等。进一步，数码相机和数码摄像机可以具有从数码相机和数码摄像机自身拍摄的视频或静态图像中提取下或上元信息项的能力。可替代地，用于拍摄视频内容和静态图像内容的相机可以提供至除了数码相机和数码摄像机以外的装置，以便可以由该装置提取下或上元信息项。
本申请包含与2010年3月31日向日本专利局提交的日本优先权专利申请JP 2010-084556中公开的主题有关的主题，其全部内容通过引用的方式合并在此。
本领域的技术人员应该理解，根据设计要求和其它因素，可以出现各种修改、组合、部分组合和变更，只要其在所附权利要求书或其等效体的范围内即可。

Claims (9)

1.一种电子装置，包括：
存储器，配置为存储每一个均包括多个场景的第一内容和第二内容，以及每一个均指示第一内容和第二内容的多个场景中的每一个场景的特征的元信息项；
再现器，配置为再现第一内容和第二内容；
操作接收器，配置为接收用户对于操作的输入；
控制器，配置为控制存储器存储用于指示用户在第一内容再现期间对于多个场景中的每一个的操作历史的操作历史信息项，而操作历史信息项与多个场景中的每一个的元信息项相关联，基于元信息项计算第一内容的多个场景中的每一个与第二内容的多个场景中的每一个之间的相似性，并控制再现器以在第二内容再现期间，基于操作历史信息项和计算出的相似性，改变对于多个场景中的每一个场景的再现模式。
2.根据权利要求1所述的电子装置，进一步包括：
传感器，配置为检测用于指示用户在第一内容再现期间对于多个场景中的每一个的观看状态历史的观看状态历史信息项，其中
所述控制器控制存储器与操作历史信息项一起存储观看状态历史信息项，同时观看状态历史信息项与多个场景中的每一个的元信息项相关联，并控制再现器在第二内容再现期间，基于操作历史信息项、观看状态历史信息项和相似性，改变对于多个场景中的每一个的再现模式。
3.根据权利要求2所述的电子装置，其中
所述控制器基于操作历史信息项和观看状态历史信息项来计算指示用户对于第一内容的多个场景中的每一个的喜好的喜好程度，基于计算出的喜好程度和计算出的相似性来计算第二内容的多个场景中的每一个的优先级，并控制再现器优先再现具有控制器计算出的高优先级的场景。
4.根据权利要求3所述的电子装置，其中
所述存储器为多个场景中的每一个存储不同种类的元信息项，并且
所述控制器计算对于第一视频内容的多个场景中的每一个场景的元信息项中的每一个元信息项的喜好程度，并针对多个场景中的每一个通过将把喜好程度乘以相似性所获得的值进行求和来计算多个场景中的每一个的优先级。
5.根据权利要求2所述的电子装置，进一步包括：
通信单元，配置为与不同的电子装置通信，其中
所述控制器针对多个场景中的每一个产生用于改变第二内容的再现模式的控制信号，并控制通信单元以便与该控制信号一起，将存储的第二内容发送到不同的电子装置。
6.根据权利要求5所述的电子装置，其中
所述通信单元从该不同的电子装置接收被存储在该不同的电子装置中的操作历史信息项和观看状态历史信息项，并且
所述控制器基于接收到的操作历史信息项、接收到的观看状态历史信息项和计算出的相似性来产生控制信号。
7.一种再现控制系统，包含：
第一电子装置，包括
产生器，配置为产生每一个均包括多个场景的第一内容和第二内容；
提取器，配置为从产生的第一内容和产生的第二内容的多个场景中的每一个提取指示多个场景中的每一个的特征的元信息项，以及
发送器，配置为与元信息项一起发送第一内容和第二内容；和第二电子装置，包括
接收器，配置为接收发送的第一内容、发送的第二内容和发送的元信息项，
存储器，配置为存储接收到的第一内容、接收到的第二内容和接收到的元信息项，
再现器，配置为再现第一内容和第二内容，
操作接收器，配置为接收用户对于操作的输入，以及
控制器，配置为控制存储器存储用于指示用户在第一内容再现期间对于多个场景中的每一个的操作历史的操作历史信息项，而操作历史信息项与多个场景中的每一个的元信息项相关联，基于元信息项计算第一内容的多个场景中的每一个与第二内容的多个场景中的每一个之间的相似性，并控制再现器以在第二内容再现期间，基于操作历史信息项和计算出的相似性，改变对于多个场景中的每一个场景的再现模式。
8.一种再现控制方法，包括：
存储每一个均包括多个场景的第一内容和第二内容，以及每一个均指示第一内容和第二内容的多个场景中的每一个场景的特征的元信息项；
再现第一内容和第二内容；
存储用于指示用户在第一内容再现期间对于多个场景中的每一个的操作历史的操作历史信息项，而操作历史信息项与多个场景中的每一个的元信息项相关联；
基于元信息项计算第一内容的多个场景中的每一个与第二内容的多个场景中的每一个之间的相似性；
在第二内容再现期间，基于操作历史信息项和计算出的相似性，改变对于多个场景中的每一个场景的再现模式。
9.一种程序，其使得电子装置执行如下步骤：
存储每一个均包括多个场景的第一内容和第二内容，以及每一个均指示第一内容和第二内容的多个场景中的每一个场景的特征的元信息项；
再现第一内容和第二内容；
存储用于指示用户在第一内容再现期间对于多个场景中的每一个的操作历史的操作历史信息项，而操作历史信息项与多个场景中的每一个的元信息项相关联；
基于元信息项计算第一内容的多个场景中的每一个与第二内容的多个场景中的每一个之间的相似性；
在第二内容再现期间，基于操作历史信息项和计算出的相似性，改变对于多个场景中的每一个场景的再现模式。
CN201110071483.0A 2010-03-31 2011-03-24 电子装置、再现控制系统、再现控制方法 Expired - Fee Related CN102209184B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010084556A JP2011217197A (ja) 2010-03-31 2010-03-31 電子機器、再生制御システム、再生制御方法及びプログラム
JP084556/10 2010-03-31

Publications (2)

Publication Number Publication Date
CN102209184A true CN102209184A (zh) 2011-10-05
CN102209184B CN102209184B (zh) 2015-04-15

Family

ID=44697829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110071483.0A Expired - Fee Related CN102209184B (zh) 2010-03-31 2011-03-24 电子装置、再现控制系统、再现控制方法

Country Status (3)

Country Link
US (2) US8442389B2 (zh)
JP (1) JP2011217197A (zh)
CN (1) CN102209184B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778443B (zh) * 2014-02-20 2017-05-03 公安部第三研究所 基于主题模型方法和领域规则库实现场景分析描述的方法
CN111095934A (zh) * 2017-09-15 2020-05-01 三星电子株式会社 用于提供内容的方法和终端

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9384609B2 (en) 2012-03-14 2016-07-05 Autoconnect Holdings Llc Vehicle to vehicle safety and traffic communications
US20140309852A1 (en) 2013-04-15 2014-10-16 Flextronics Ap, Llc Automatic vehicle diagnostic detection and communication
US9412273B2 (en) 2012-03-14 2016-08-09 Autoconnect Holdings Llc Radar sensing and emergency response vehicle detection
WO2014172380A1 (en) 2013-04-15 2014-10-23 Flextronics Ap, Llc Altered map routes based on user profile information
US9378601B2 (en) 2012-03-14 2016-06-28 Autoconnect Holdings Llc Providing home automation information via communication with a vehicle
US20140328570A1 (en) * 2013-01-09 2014-11-06 Sri International Identifying, describing, and sharing salient events in images and videos
US9244924B2 (en) * 2012-04-23 2016-01-26 Sri International Classification, search, and retrieval of complex video events
US20140099080A1 (en) * 2012-10-10 2014-04-10 International Business Machines Corporation Creating An Abridged Presentation Of A Media Work
CN104737231B (zh) * 2012-10-26 2017-10-27 索尼公司 信息处理设备、信息处理方法、程序和信息处理系统
JP2014090386A (ja) * 2012-10-31 2014-05-15 Sony Corp 情報処理システム、情報処理装置、およびプログラム
US20140267611A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Runtime engine for analyzing user motion in 3d images
WO2014207903A1 (ja) * 2013-06-28 2014-12-31 楽天株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US9510030B2 (en) * 2014-02-13 2016-11-29 Piksel, Inc. Delivering media content to a content consuming user
TWI540894B (zh) * 2014-06-13 2016-07-01 國立臺灣大學 顯示系統及其節目選擇方法
US9451321B2 (en) * 2014-07-16 2016-09-20 Red Hat, Inc. Content management with biometric feature recognition
JP6492849B2 (ja) * 2015-03-24 2019-04-03 富士ゼロックス株式会社 ユーザプロファイル作成装置、動画像分析装置、動画像再生装置、及びユーザプロファイル作成プログラム
KR102310241B1 (ko) 2015-04-29 2021-10-08 삼성전자주식회사 소스 디바이스, 그의 제어 방법, 싱크 디바이스 및 그의 화질 개선 처리 방법
KR20170009037A (ko) * 2015-07-15 2017-01-25 삼성전자주식회사 영상 컨텐츠 제공 장치 및 영상 컨텐츠 제공 방법
US10692126B2 (en) 2015-11-17 2020-06-23 Nio Usa, Inc. Network-based system for selling and servicing cars
US20180012196A1 (en) 2016-07-07 2018-01-11 NextEv USA, Inc. Vehicle maintenance manager
US9928734B2 (en) 2016-08-02 2018-03-27 Nio Usa, Inc. Vehicle-to-pedestrian communication systems
US10031523B2 (en) 2016-11-07 2018-07-24 Nio Usa, Inc. Method and system for behavioral sharing in autonomous vehicles
US10694357B2 (en) 2016-11-11 2020-06-23 Nio Usa, Inc. Using vehicle sensor data to monitor pedestrian health
US10410064B2 (en) 2016-11-11 2019-09-10 Nio Usa, Inc. System for tracking and identifying vehicles and pedestrians
US10708547B2 (en) 2016-11-11 2020-07-07 Nio Usa, Inc. Using vehicle sensor data to monitor environmental and geologic conditions
US10699305B2 (en) 2016-11-21 2020-06-30 Nio Usa, Inc. Smart refill assistant for electric vehicles
US10249104B2 (en) 2016-12-06 2019-04-02 Nio Usa, Inc. Lease observation and event recording
US10074223B2 (en) 2017-01-13 2018-09-11 Nio Usa, Inc. Secured vehicle for user use only
US9984572B1 (en) 2017-01-16 2018-05-29 Nio Usa, Inc. Method and system for sharing parking space availability among autonomous vehicles
US10031521B1 (en) 2017-01-16 2018-07-24 Nio Usa, Inc. Method and system for using weather information in operation of autonomous vehicles
US10471829B2 (en) 2017-01-16 2019-11-12 Nio Usa, Inc. Self-destruct zone and autonomous vehicle navigation
US10286915B2 (en) 2017-01-17 2019-05-14 Nio Usa, Inc. Machine learning for personalized driving
US10464530B2 (en) 2017-01-17 2019-11-05 Nio Usa, Inc. Voice biometric pre-purchase enrollment for autonomous vehicles
US10897469B2 (en) 2017-02-02 2021-01-19 Nio Usa, Inc. System and method for firewalls between vehicle networks
US10234302B2 (en) 2017-06-27 2019-03-19 Nio Usa, Inc. Adaptive route and motion planning based on learned external and internal vehicle environment
US10710633B2 (en) 2017-07-14 2020-07-14 Nio Usa, Inc. Control of complex parking maneuvers and autonomous fuel replenishment of driverless vehicles
US10369974B2 (en) 2017-07-14 2019-08-06 Nio Usa, Inc. Control and coordination of driverless fuel replenishment for autonomous vehicles
US10837790B2 (en) 2017-08-01 2020-11-17 Nio Usa, Inc. Productive and accident-free driving modes for a vehicle
US10635109B2 (en) 2017-10-17 2020-04-28 Nio Usa, Inc. Vehicle path-planner monitor and controller
US10606274B2 (en) 2017-10-30 2020-03-31 Nio Usa, Inc. Visual place recognition based self-localization for autonomous vehicles
US10935978B2 (en) 2017-10-30 2021-03-02 Nio Usa, Inc. Vehicle self-localization using particle filters and visual odometry
US10717412B2 (en) 2017-11-13 2020-07-21 Nio Usa, Inc. System and method for controlling a vehicle using secondary access methods
KR102426089B1 (ko) * 2018-02-13 2022-07-28 삼성전자주식회사 전자 장치 및 전자 장치의 요약 영상 생성 방법
US10369966B1 (en) 2018-05-23 2019-08-06 Nio Usa, Inc. Controlling access to a vehicle using wireless access devices
KR102585777B1 (ko) 2018-05-29 2023-10-10 삼성전자주식회사 전자 장치 및 그 제어방법
JP7158902B2 (ja) * 2018-06-13 2022-10-24 ヤフー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
US11330313B2 (en) * 2019-08-02 2022-05-10 Dell Products L.P. Crowd rating media content based on micro-expressions of viewers
CN110414625B (zh) * 2019-08-06 2022-11-08 北京字节跳动网络技术有限公司 确定相似数据的方法、装置、电子设备及存储介质
CN115804081A (zh) * 2020-07-15 2023-03-14 索尼集团公司 信息处理装置、信息处理方法和程序
JP7116200B2 (ja) * 2021-01-06 2022-08-09 株式会社三井住友銀行 Ａｒプラットフォームシステム、方法およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293384A (ja) * 2004-04-02 2005-10-20 Nippon Telegr & Teleph Corp <Ntt> コンテンツレコメンドシステムと方法、及びコンテンツレコメンドプログラム
CN101110253A (zh) * 2006-04-05 2008-01-23 索尼株式会社 记录、再现、记录和再现装置与方法
US20080044085A1 (en) * 2006-08-18 2008-02-21 Kabushiki Kaisha Toshiba Method and apparatus for playing back video, and computer program product
US20080154958A1 (en) * 2006-12-20 2008-06-26 Microsoft Corporation Expanding media content item information

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4869147B2 (ja) * 2007-05-10 2012-02-08 キヤノン株式会社 画像記録再生装置
JP4525794B2 (ja) 2008-05-14 2010-08-18 ソニー株式会社 電子機器、コンテンツ再生方法、プログラム及び記録媒体
US7796190B2 (en) * 2008-08-15 2010-09-14 At&T Labs, Inc. System and method for adaptive content rendition
CN102265609A (zh) * 2008-12-26 2011-11-30 富士通株式会社 节目数据处理装置、方法和程序

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293384A (ja) * 2004-04-02 2005-10-20 Nippon Telegr & Teleph Corp <Ntt> コンテンツレコメンドシステムと方法、及びコンテンツレコメンドプログラム
CN101110253A (zh) * 2006-04-05 2008-01-23 索尼株式会社 记录、再现、记录和再现装置与方法
US20080044085A1 (en) * 2006-08-18 2008-02-21 Kabushiki Kaisha Toshiba Method and apparatus for playing back video, and computer program product
US20080154958A1 (en) * 2006-12-20 2008-06-26 Microsoft Corporation Expanding media content item information

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778443B (zh) * 2014-02-20 2017-05-03 公安部第三研究所 基于主题模型方法和领域规则库实现场景分析描述的方法
CN111095934A (zh) * 2017-09-15 2020-05-01 三星电子株式会社 用于提供内容的方法和终端
US11210525B2 (en) 2017-09-15 2021-12-28 Samsung Electronics Co., Ltd. Method and terminal for providing content
CN111095934B (zh) * 2017-09-15 2022-04-19 三星电子株式会社 用于提供内容的方法和终端

Also Published As

Publication number Publication date
US20110243530A1 (en) 2011-10-06
JP2011217197A (ja) 2011-10-27
US20130243407A1 (en) 2013-09-19
US9208227B2 (en) 2015-12-08
US8442389B2 (en) 2013-05-14
CN102209184B (zh) 2015-04-15

Similar Documents

Publication Publication Date Title
CN102209184B (zh) 电子装置、再现控制系统、再现控制方法
CN102207954B (zh) 电子设备、内容推荐方法及其程序
US10341461B2 (en) System and method for automatically recreating personal media through fusion of multimodal features
CN110364146B (zh) 语音识别方法、装置、语音识别设备及存储介质
CN106021496A (zh) 视频搜索方法及视频搜索装置
CN103686344B (zh) 增强视频系统及方法
US9858967B1 (en) Section identification in video content
US20140328570A1 (en) Identifying, describing, and sharing salient events in images and videos
US20140188997A1 (en) Creating and Sharing Inline Media Commentary Within a Network
JP6122792B2 (ja) ロボット制御装置、ロボット制御方法及びロボット制御プログラム
JP2011215963A (ja) 電子機器、画像処理方法及びプログラム
JP2012038239A (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2012038240A (ja) 情報処理装置、情報処理方法、及び、プログラム
TWI658375B (zh) 互動式影音分享方法及系統
CN112752121B (zh) 一种视频封面生成方法及装置
CN113194346A (zh) 一种显示设备
CN110769279B (zh) 视频处理方法和装置
CN112004131A (zh) 一种显示系统
CN114339285A (zh) 知识点的处理方法、视频处理方法、装置及电子设备
CN113132780A (zh) 一种视频合成的方法、装置、电子设备及可读存储介质
CN113411674A (zh) 视频的播放控制方法、装置、电子设备及存储介质
CN106936830B (zh) 一种多媒体数据的播放方法和装置
US10575058B2 (en) Method and a system for enabling an user to consume a video or audio content understandable with respect to a preferred language
CN112261321A (zh) 字幕处理方法、装置及电子设备
US20240236429A1 (en) Navigating content by relevance

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150415

Termination date: 20210324

CF01 Termination of patent right due to non-payment of annual fee