CN102244788B - 信息处理方法、信息处理装置和丢失恢复信息生成装置 - Google Patents

信息处理方法、信息处理装置和丢失恢复信息生成装置 Download PDF

Info

Publication number
CN102244788B
CN102244788B CN201110116295.5A CN201110116295A CN102244788B CN 102244788 B CN102244788 B CN 102244788B CN 201110116295 A CN201110116295 A CN 201110116295A CN 102244788 B CN102244788 B CN 102244788B
Authority
CN
China
Prior art keywords
information
reproduction mode
loss recovery
dynamic image
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110116295.5A
Other languages
English (en)
Other versions
CN102244788A (zh
Inventor
柏木晓史
野间英树
榎并嗣智
真锅芳宏
阿部友一
河上达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102244788A publication Critical patent/CN102244788A/zh
Application granted granted Critical
Publication of CN102244788B publication Critical patent/CN102244788B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了信息处理方法、信息处理装置、场景元数据提取装置、丢失恢复信息生成装置和程序，其中，信息处理方法包括以下步骤：分析包括图像数据和音频数据的运动图像内容，并且针对构成运动图像内容的各场景，提取表征各场景的场景元数据；根据运动图像内容的再现环境和用户所设置的设置信息中的至少一个，确定运动图像内容的再现模式；根据所确定的再现模式，使用场景元数据来生成丢失恢复信息，其中，该丢失恢复信息用于恢复通过改变运动图像内容的再现模式而丢失的丢失信息；以及根据在所确定的再现模式下要再现的运动图像内容，输出所生成的丢失恢复信息。

Description

信息处理方法、信息处理装置和丢失恢复信息生成装置
技术领域
本发明涉及信息处理方法、信息处理装置和丢失恢复信息生成装置。
背景技术
在我们日常生活中，存在各种内容再现装置。例如，可使用电视机、DVD录像机、蓝光录像机、个人计算机(PC)等来再现运动图像内容，并且可使用音频装置等来再现音乐内容。随着上述装置的小型化和高性能化的实现，已经引入了诸如游戏机、移动电话、便携式音频播放器和电子书阅读器等的更多便携式终端。另外，预期未来与音乐和运动图像的各种再现模式相对应的装置(诸如，目前的音频播放器和移动电话)的数量、以及与各装置相对应的内容的数量将增加。
然而，尽管与各装置相对应的再现模式的数量增加，但即使对于相同内容，再现模式或用户的视听环境也是不同的，因而，用户对内容的理解程度的差异这一问题尚未得以改善。已经提出了噪声消除技术等，作为改善由于外部噪声而难以听见音频声音的视听环境的方法，但该技术仅排除了妨碍内容再现的因素，并且不能够补偿由于再现模式的改变所引起的信息丢失。
作为针对该问题的一种改进，如日本专利申请公开第63-40936号中所示，已提出了如下方法：其根据内容上出现的人物所说的语音来生成字符串、并向用户呈现该字符串。例如，使用该技术能够将音频数据转换成如同书那样的基于文本的数据。
发明内容
然而，如果使用与日本专利申请公开第63-40936号相关的技术将运动图像内容转换成文本数据，则仅在诸如旁白、对话等内容内所说的言词成为对象。因而，当改变再现模式时，场景信息的旁白或对话中未包括的、表示某一场景中保持不说话的人物的面部表情、谁和该人物位于一起、该场景是早晨还是晚上以及该人物在何处的所有内容均丢失。
考虑到前述情况，期望提供如下信息处理方法、信息处理装置、场景元数据提取装置、丢失恢复信息生成装置和程序：其可以恢复当改变再现模式时从音频数据和视频数据中丢失的信息。
根据本发明的实施例，提供了一种信息处理方法，该信息处理方法包括以下步骤：分析包括图像数据和音频数据的运动图像内容，并且针对构成运动图像内容的各场景，提取表征各场景的场景元数据；根据运动图像内容的再现环境和用户所设置的设置信息中的至少一个，确定运动图像内容的再现模式；根据所确定的再现模式，使用场景元数据来生成丢失恢复信息，其中，该丢失恢复信息用于恢复因改变运动图像内容的再现模式而丢失的丢失信息；以及根据在所确定的再现模式下要再现的运动图像内容，输出所生成的丢失恢复信息。
在提取场景元数据的步骤中，优选地，从运动图像内容提取第一元数据，并且使用第一元数据来提取源自图像数据的场景元数据和源自音频数的场景元数据。
在生成丢失恢复信息的步骤中，可主要使用源自因再现模式的改变而未输出的数据的场景元数据来生成丢失恢复信息。
可基于从以下至少一个输出的传感器输出来确定运动图像内容的再现环境：对用户或周围环境进行成像的摄像装置、获取周围环境声音的声音收集麦克风、感测用户的动作的传感器和获取表示当前位置的信息的传感器。
在输出丢失恢复信息的步骤中，可根据再现模式确定当输出丢失恢复信息时的输出模式。
根据本发明的另一实施例，提供了一种信息处理装置，该信息处理装置包括：场景元数据提取单元，用于分析包括图像数据和音频数据的运动图像内容，并且针对构成运动图像内容的各场景，提取表征各场景的场景元数据；再现模式确定单元，用于根据运动图像内容的再现环境和用户所设置的设置信息中的至少一个，确定运动图像内容的再现模式；丢失恢复信息生成单元，用于根据再现模式确定单元所确定的再现模式，使用场景元数据来生成丢失恢复信息，其中，该丢失恢复信息用于恢复因改变运动图像内容的再现模式而丢失的丢失信息；以及丢失恢复信息输出单元，用于根据在再现模式确定单元所确定的再现模式下要再现的运动图像内容，输出丢失恢复信息生成单元所生成的丢失恢复信息。
根据本发明的另一实施例，提供了一种场景元数据提取装置，该场景元数据提取装置包括：场景元数据提取单元，用于分析包括图像数据和音频数据的运动图像内容，并且针对构成运动图像内容的各场景提取表征各场景的场景元数据；数据输出单元，用于相互关联并输出运动图像内容和场景元数据提取单元所提取的场景元数据。
根据本发明的另一实施例，提供了一种丢失恢复信息生成装置，该丢失恢复信息生成装置包括：场景元数据获取单元，用于获取场景元数据，其中，该场景元数据表征构成包括图像数据和音频数据的运动图像内容的各场景；再现模式确定单元，用于根据运动图像内容的再现环境和用户所设置的设置信息中的至少一个，确定运动图像内容的再现模式；丢失恢复信息生成单元，用于根据再现模式确定单元所确定的再现模式，使用场景元数据来生成丢失恢复信息，其中，该丢失恢复信息用于恢复因改变运动图像内容的再现模式而丢失的丢失信息；以及丢失恢复信息输出单元，用于根据在再现模式确定单元所确定的再现模式下要再现的运动图像内容，输出丢失恢复信息生成单元所生成的所述丢失恢复信息。
根据本发明的另一实施例，提供了一种程序，该程序用于使计算机实现以下功能：场景元数据提取功能，用于分析包括图像数据和音频数据的运动图像内容，并且针对构成运动图像内容的各场景提取表征各场景的场景元数据；再现模式确定功能，用于根据运动图像内容的再现环境和用户所设置的设置信息中的至少一个，确定运动图像内容的再现模式；丢失恢复信息生成功能，用于根据通过再现模式确定功能所确定的再现模式，使用场景元数据来生成丢失恢复信息，其中，该丢失恢复信息用于恢复因改变运动图像内容的再现模式而丢失的丢失信息；以及丢失恢复信息输出功能，用于根据在通过再现模式确定功能所确定的再现模式下要再现的运动图像内容，输出通过丢失恢复信息生成功能所生成的丢失恢复信息。
根据本发明的另一实施例，提供了一种程序，该程序用于使计算机实现以下功能：场景元数据提取功能，用于分析包括图像数据和音频数据的运动图像内容，并且针对构成运动图像内容的各场景提取表征各场景的场景元数据；数据输出功能，用于相互关联并输出运动图像内容和通过场景元数据提取功能所提取的场景元数据。
根据本发明的另一实施例，提供了一种程序，该程序用于使计算机实现以下功能：场景元数据获取功能，用于获取场景元数据，其中，该场景元数据表征构成包括图像数据和音频数据的运动图像内容的各场景；再现模式确定功能，用于根据运动图像内容的再现环境和用户所设置的设置信息中的至少一个，确定运动图像内容的再现模式；丢失恢复信息生成功能，用于根据通过再现模式确定功能所确定的再现模式，使用场景元数据来生成丢失恢复信息，其中，该丢失恢复信息用于恢复因改变运动图像内容的再现模式而丢失的丢失信息；以及丢失恢复信息输出功能，用于根据在通过再现模式确定功能所确定的再现模式下要再现的运动图像内容，输出通过丢失恢复信息生成功能所生成的丢失恢复信息。
根据如上所述的本发明，可以恢复当改变再现模式时从音频数据和视频数据中丢失的信息。
附图说明
图1是示出根据本发明的第一实施例的信息处理系统的说明图；
图2是说明根据同一实施例的信息处理装置的说明图；
图3是示出根据同一实施例的信息处理装置的示例的说明图；
图4是示出根据同一实施例的信息处理装置的配置的框图；
图5是说明根据同一实施例的信息处理装置的说明图；
图6是说明根据同一实施例的信息处理装置的说明图；
图7是说明根据同一实施例的信息处理装置的说明图；
图8是说明根据同一实施例的信息处理装置的说明图；
图9是示出根据同一实施例的场景元数据提取单元的配置的框图；
图10是示出根据同一实施例的场景元数据生成处理的示例的说明图；
图11是示出根据同一实施例的丢失恢复信息生成处理的示例的说明图；
图12是示出根据同一实施例的场景元数据提取方法的总体流程的流程图；
图13是示出根据同一实施例的场景元数据生成方法的流程示例的流程图；
图14是示出根据同一实施例的内容输出方法的流程示例的流程图；
图15是示出根据同一实施例的再现模式确定方法的流程示例的流程图；
图16是示出根据本发明的第二实施例的信息处理系统的说明图；
图17是示出根据同一实施例的场景元数据提取装置的配置的框图；
图18是示出根据同一实施例的丢失恢复信息生成装置的配置的框图；以及
图19是示出根据本发明实施例的信息处理装置的硬件配置的框图。
具体实施方式
根据本发明的实施例，提供了一种信息处理方法，该信息处理方法包括以下步骤：分析包括图像数据和音频数据的运动图像内容，并且针对构成运动图像内容的各场景，提取表征各场景的场景元数据；根据运动图像内容的再现环境和用户所设置的设置信息中的至少一个，确定运动图像内容的再现模式；根据所确定的再现模式，使用场景元数据来生成丢失恢复信息，其中，该丢失恢复信息用于恢复因改变运动图像内容的再现模式而丢失的丢失信息；以及根据在所确定的再现模式下要再现的运动图像内容，输出所生成的丢失恢复信息。
根据本发明的另一实施例，提供了一种信息处理装置，该信息处理装置包括：场景元数据提取单元，用于分析包括图像数据和音频数据的运动图像内容，并且针对构成运动图像内容的各场景，提取表征各场景的场景元数据；再现模式确定单元，用于根据运动图像内容的再现环境和用户所设置的设置信息中的至少一个，确定运动图像内容的再现模式；丢失恢复信息生成单元，用于根据再现模式确定单元所确定的再现模式，使用场景元数据来生成丢失恢复信息，其中，该丢失恢复信息用于恢复因改变运动图像内容的再现模式而丢失的丢失信息；以及丢失恢复信息输出单元，用于根据在再现模式确定单元所确定的再现模式下要再现的运动图像内容，输出丢失恢复信息生成单元所生成的丢失恢复信息。
根据本发明的另一实施例，提供了一种场景元数据提取装置，该场景元数据提取装置包括：场景元数据提取单元，用于分析包括图像数据和音频数据的运动图像内容，并且针对构成运动图像内容的各场景提取表征各场景的场景元数据；数据输出单元，用于相互关联并输出运动图像内容和场景元数据提取单元所提取的场景元数据。
根据本发明的另一实施例，提供了一种丢失恢复信息生成装置，该丢失恢复信息生成装置包括：场景元数据获取单元，用于获取场景元数据，其中，该场景元数据表征构成包括图像数据和音频数据的运动图像内容的各场景；再现模式确定单元，用于根据运动图像内容的再现环境和用户所设置的设置信息中的至少一个，确定运动图像内容的再现模式；丢失恢复信息生成单元，用于根据再现模式确定单元所确定的再现模式，使用场景元数据来生成丢失恢复信息，其中，该丢失恢复信息用于恢复因改变运动图像内容的再现模式而丢失的丢失信息；以及丢失恢复信息输出单元，用于根据在再现模式确定单元所确定的再现模式下要再现的运动图像内容，输出丢失恢复信息生成单元所生成的所述丢失恢复信息。
下文中，将参考附图来详细描述本发明的优选实施例。在本说明书和附图中，具有基本相同的功能配置的元件由相同的附图标记来表示，并且省略对其的重复描述。
将按以下顺序给出描述。
(1)第一实施例
(1-1)信息处理系统
(1-2)信息处理系统的配置
(1-3)场景元数据和丢失恢复信息生成处理的具体示例
(1-4)信息处理方法
(2)第二实施例
(2-1)信息处理系统
(2-2)场景元数据提取装置的配置
(2-3)丢失恢复信息生成装置的配置
(3)根据本发明实施例的信息处理装置的硬件配置
(4)总结
(第一实施例)
<信息处理系统>
首先，将参考图1来描述根据本发明的第一实施例的信息处理系统。图1是示出根据本实施例的信息处理系统1的说明图。
根据本实施例的信息处理系统1至少包括网络3、以及通过网络3彼此可通信的内容提供服务器5、全球定位系统(GPS)7和信息处理装置10。
网络3是使得内容提供服务器5、GPS7和信息处理装置10能够彼此进行双向通信的通信线路网络。例如，该网络由公共线路网络(诸如，因特网、电话线路网络、卫星通信网络、广播通信路径等)、或者专用线路网络(诸如，广域网(WAN)、局域网(LAN)、因特网协议-虚拟专用网(IP-VPN)、以太网(注册商标)、无线LAN等)构成，而与有线/无线类型无关。
内容提供服务器5是管理包括随着时间变化的图像数据和音频数据的运动图像内容的服务器。将所管理的运动图像内容的实体数据(realdata)提供给根据本实施例的信息处理装置10。内容提供服务器5可管理与运动图像内容相关联的各种元数据以及运动图像内容的实体数据。在这种情况下，内容提供服务器5可以将与运动图像内容相关联的元数据连同该运动图像内容的实体数据一起提供给信息处理装置10。
内容提供服务器5的示例可以是提供TV广播或IPTV广播的服务器、向用户分发各种内容的服务器等。内容提供服务器5可以是连接至诸如因特网的公共网络的服务器，或者可以是家用网络上所设置的具有服务器功能的各种装置。
GPS7是用于基于从GPS卫星发送的信号指定地球上的位置的系统。信息处理装置10可以通过接收从GPS卫星发送的多个信号，计算表示地球上的当前位置的位置信息。信息处理装置10可使用所计算出的位置信息，实现各种功能，或者向其它装置提供各种功能。
信息处理装置10是根据各种再现模式再现从内容提供服务器5等获取的运动图像的装置。如果根据与将运动图像内容再现为运动图像的再现模式不同的其他再现模式执行再现，则信息处理装置10可以改变运动图像内容再现模式。
图2是说明信息处理装置10所执行的运动图像再现的模式的改变的说明图。如图2所示，信息处理装置10可以将包括图像和音频声音的运动图像内容转换成仅包括音频声音的音频内容。信息处理装置10可以将运动图像内容转换成包括静止图像和打印文字的如同图画书那样的内容(此外，如同漫画书那样的内容以及图画书)。信息处理装置10可以将运动图像内容转换成仅包括打印文字的打印内容。图2所示的示例是信息处理装置10所执行的再现模式改变处理的示例。如以下所述，信息处理装置10可以将运动图像内容转换成与图2所示的再现模式不同的其他再现模式。
当如上所述改变再现模式时，存在可能丢失运动图像内容中所包括的信息的一部分的可能性。具体地，如果转换对象是运动图像内容，则存在以下问题：由于在没有观看到视频的状态下所有的视觉信息丢失，因此，与在原始的再现模式下观看内容时相比，用户对内容的理解程度显著降低。这也得到人类对来自视觉的信息最敏感的梅拉宾法则(lawofMehrabian)支持。
为了恢复所丢失的信息，根据本实施例的信息处理装置10生成用于补偿信息丢失的替代信息。即，信息处理装置10针对构成运动图像内容的各场景，生成以下要详细描述的场景元数据，并且还使用所生成的场景元数据来生成恢复丢失的内容的信息。如果改变内容再现模式，则信息处理装置10使用场景元数据，针对由于转换而很可能丢失的信息生成用于恢复所丢失的内容的信息，并且连同转换后的内容一起再现用于恢复所丢失的内容的信息。由此，信息处理装置10即使在改变内容再现模式的情况下也可以抑制由于转换而引起的信息丢失，并且可以防止用户难以理解内容的现象。
可将根据本实施例的信息处理装置10实现为诸如PC或各种服务器等的计算机，或者实现为诸如便携式音乐播放器、便携式游戏机、移动电话、智能电话、PDA(个人数字助理)或触摸屏平板等的便携式电子装置。可将根据本实施例的信息处理装置10实现为诸如电视机、DVD录像机、蓝光录像机等各种录像机。
下文中，将描述根据本实施例的信息处理装置10是如图3所示的便携式电子装置的示例。图3是示出根据本实施例的信息处理装置10的示例的说明图。
如图3所示，根据本实施例的信息处理装置10包括显示包括内容的各种信息的显示屏幕、用于操作信息处理装置10的操作按钮和作为输出音频声音的输出装置的扬声器。这里，显示屏幕可包括作为输入装置的触摸面板。
可在信息处理装置10中设置用于感测用户的状态或周围状况的各种传感器。例如，这些传感器的示例可以是对用户或周围环境进行成像的摄像装置、或者获取环境声音的声音收集麦克风。除这些传感器以外，还可使用感测用户的动作的传感器(下文中，也称为动作传感器)、以及获取表示当前位置的信息的传感器(下文中，也称为位置传感器)。
这里，例如，动作传感器可以是3轴加速度传感器(这里，包括加速度传感器、重力传感器、下落检测传感器等)、或3轴陀螺仪传感器(这里，包括角速度传感器、摄像装置抖动校正传感器、地磁传感器等)。例如，位置传感器可以是接收从GPS输出的数据的GPS传感器。这里，可以使用上述的传感器作为用以根据射频识别(RFID)、Wi-Fi接入点或无线基站的信息检测当前位置的纬度/经度的位置传感器。
信息处理装置10可以不包括所有这些传感器，或者可以根本不包括传感器。
以上已经简要描述了根据本实施例的信息处理装置1。在根据本实施例的信息处理装置10中，可包括能够搜索各种信息的搜索引擎、用于管理数据库等的搜索服务器等。
<信息处理装置的配置>
接着，将参考图4来描述根据本实施例的信息处理装置的配置。图4是示出根据本实施例的信息处理装置10的配置的框图。
根据本实施例的信息处理装置10主要包括内容获取单元101、场景元数据提取单元103、传感器输出分析单元105、再现模式确定单元107、丢失恢复信息生成单元109、内容再现单元111、丢失恢复信息输出单元113和存储单元115。
例如，内容获取单元101由中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)、通信装置等来实现。内容获取单元101从内容提供服务器5或能够与信息处理装置10相互进行通信的装置获取包括图像数据和音频数据的运动图像内容。内容获取单元101可以连同运动图像内容一起获取与该运动图像内容相关联的元数据。运动图像内容的元数据可与该运动图像内容本身的实体数据相关联或嵌入该实体数据中。内容获取单元101可从不同于内容获取目的地的位置(例如，搜索服务器或EPG等的元数据管理数据库)获取运动图像内容的元数据。
内容获取单元101可将所获取的运动图像内容的实体数据或元数据存储在存储单元115等中。内容获取单元101可将所获取的运动图像内容的实体数据和元数据输出至稍后要描述的场景元数据提取单元103和内容再现单元111。
例如，场景元数据提取单元103由CPU、ROM、RAM、通信装置等来实现。场景元数据提取单元103通过分析从内容获取单元101输出的运动图像内容的实体数据，针对构成运动图像内容的各场景，提取表征各场景的特征元数据。场景元数据提取单元103在提取场景元数据时，可以使用从内容获取单元101输出的元数据。
这里，将参考图5来简要描述能够从运动图像内容中提取的元数据。图5是说明元数据的说明图。
在本发明中，如图5所示，可以将能够从运动图像内容中提取的元数据大致分成基本元数据和场景元数据这两种类型。
这里，基本元数据是通过分析运动图像内容或与该运动图像内容预先关联的元数据来获得的。基本元数据是在无需进一步处理分析结果的情况下获得的数据，并且是一种通过分析运动图像内容所获得的基本信息。如图5所示，基本元数据的示例包括内容节目名、与字幕有关的信息(字幕信息)、与背景图像有关的信息(背景图像信息)、与人物的名字、面部、声音和动作有关的信息(人物信息)、与环境声音有关的信息(环境声音信息)等。在上述信息中，字幕信息、背景图像信息、人物信息、环境声音信息等存在于构成内容的各场景中。除上述信息以外，通过分析运动图像内容而获得的元数据(或与该内容预先关联的元数据的大部分)可与基本元数据相对应。
场景元数据存在于构成运动图像内容的各场景中，并且是表征各场景的元数据。场景元数据是从分析内容的各场景的结果中获得的，并且是使用上述基本元数据而生成的。表征各场景的示例可以是人物状态、人物之间的交互、人物的周围环境(包括背景图像或BGM)等。更具体地，如图5所示，场景元数据是与场景的时间带有关的信息(时间带信息)、与场景的季节有关的信息(季节信息)、地理信息、与人物的状态或面部表情有关的信息(人物信息)、人与人之间关系信息等。除上述信息以外，可以将通过分析各场景所获得的信息或基于基本元数据生成的信息看成与场景元数据相对应。
首先，场景元数据提取单元103通过分析从内容获取单元101输出的运动图像内容的实体数据或与该内容相关联的元数据，提取基本元数据。此后，场景元数据提取单元103使用所提取的基本元数据提取场景元数据。下文中，将参考具体示例来描述提取场景元数据的具体方法。
如果针对每个场景组织(arrange)所提取的场景元数据，则场景元数据提取单元103将所组织的所提取场景元数据输出至稍后要描述的丢失恢复信息生成单元109。场景元数据提取单元103可以数据库、查询表等形式将组织结果记录在存储单元115等上。
可在信息处理装置10获取新的运动图像内容时执行场景元数据提取处理，或者可每隔预定时段定期地执行场景元数据提取处理，或者可根据内容再现来与该内容再现并行地同时执行场景元数据提取处理。也就是说，优选地，根据在信息处理装置10执行处理时可利用的资源来适当地执行场景元数据提取处理。
例如，传感器输出分析单元105由CPU、ROM、RAM、通信装置等来实现。如果上述传感器安装在信息处理装置10上，则传感器输出分析单元105分析从安装的传感器输出的信息(传感器信息)。传感器输出分析单元105分析在能够获取的传感器信息的范围中、什么是包括与用户的状态有关的信息或与用户的周围环境有关的信息的运动图像内容的再现环境，并将所获得的分析结果输出至稍后要描述的再现模式确定单元107。
例如，图6中示出从传感器输出分析单元105的分析结果获得的信息(下文中，也称为感测信息)。也就是说，感测信息包括与用户的身体状态有关的信息，诸如，根据对用户的眼部的成像与眼部有关的信息、与用户的耳部有关的信息、和根据对用户的面部的成像与面部有关的信息。传感器输出分析单元105还可分析作为与用户的身体状态有关的信息的高级别信息，诸如，与用户的视力或听力有关的信息(用户是否具有视觉或听觉障碍)、与用户的身体状态或精神状态有关的信息等。
传感器输出分析单元105还可使用例如对用户的面部的成像结果，提取与用户的年龄或性别有关的信息。传感器输出分析单元105可通过分析来自摄像装置的输出，识别用户所执行的诸如手语、眨眼等动作(姿势)，并且获得与用户的动作有关的信息。传感器输出分析单元105可通过分析来自动作传感器等的输出来指定用户的动作(诸如，用户步行、停止、坐下、乘坐火车等)，并且获得与用户的动作有关的信息。传感器输出分析单元105还可通过分析来自声音收集麦克风的输出，执行对有无特定音调(曲调、哼唱等)的模式识别，并且获得与声音有关的信息。传感器输出分析单元105还可以将与时间有关的信息、从GPS等获取的位置信息或与用户的移动历史有关的信息指定为感测信息。
除图6所示的信息以外，传感器输出分析单元105可以使用通过分析从各种传感器获得的传感器输出而获得的信息作为感测信息。
传感器输出分析单元105将如上所述获得的感测信息输出至稍后要描述的再现模式确定单元107。可将与所获得的感测信息有关的历史信息存储在稍后要描述的存储单元115等中。
例如，再现模式确定单元107由CPU、ROM、RAM等来实现。再现模式确定单元107基于从传感器输出分析单元105输出的感测信息、预设的设置信息、通过用户操作输入的输入信息等，确定再现运动图像内容的模式。由此，再现模式确定单元107确定被认为在包括与用户的状态有关的信息、与用户的周围环境有关的信息等的运动图像再现环境中最佳的再现模式。
这里，如果存在用以指定运动图像内容再现模式的用户操作，则再现模式确定单元107将通过用户操作所指定的再现模式确定为运动图像内容再现模式。
如果不存在用以指定再现模式的用户操作，则再现模式确定单元107响应于用户所设置的设置信息或从传感器输出分析单元105输出的感测信息，确定适合于再现环境的再现模式。
这里，没有特别限制用户所设置的设置信息项，而是例如可将图7中包括的项看作为用户设置项。也就是说，除指定用户的信息(诸如，用户的名字、年龄(出生日期)、性别和地址等)以外，用户设置项是指定观看时间的信息和指定默认再现模式的信息。例如，在指定观看时间的信息中写入可以观看运动图像内容的时间(诸如，30分钟、1小时等)。例如，根据本实施例的信息处理装置10可以设置在通过执行转换成如同图画书那样的内容的转换来再现运动图像内容时的帧数等，以使得可以在使用上述信息设置的时间内观看所有运动图像内容。
再现模式确定单元107可以使用感测信息来确定再现模式。例如，如果与周围声音的音量有关的信息等于或大于预定阈值，则再现模式确定单元107可以判断可输出音频声音的状况，并且可以选择可以将音频声音连同图像一起输出的再现模式。如果周围声音的音量小于预定阈值，则再现模式确定单元107可以判断音频声音输出很可能对周围造成麻烦的状况，并且可以选择没有输出音频声音的再现模式。使用位置信息作为一条感测信息，再现模式确定单元107可例如通过在搜索服务器等中搜索由该位置信息所表示的场所，检查用户位于的具体场所。再现模式确定单元107可通过考虑根据位置信息指定的具体场所，确定再现模式。例如，如果通过搜索位置信息而判断出用户处于应当限制音频声音输出的状况下(诸如，在图书馆中)，则再现模式确定单元107可以响应于这种判断结果，选择不输出音频声音的再现模式。
优选地，适当地设置使用上述感测信息来判断再现模式的算法，并且本发明不限于上述示例。
当确定了再现模式时，可以适当设置通过用户操作进行的指定、感测信息和设置信息中的任一个优先。然而，在用户当场的意愿优先的意义上，优选通过用户操作进行的指定优先。
如果如上所述确定了再现模式，则再现模式确定单元107将表示所确定的再现模式的信息输出至稍后要描述的丢失恢复信息生成单元109、内容再现单元111和丢失恢复信息输出单元113。用户可将所确定的再现模式的历史信息或与用于选择所确定的再现模式的基础有关的历史信息存储在存储单元115等中。可以通过存储历史信息并更新判断算法，在确定下次或随后的再现模式时，更加适当地执行判断。
例如，丢失恢复信息生成单元109由CPU、ROM、RAM、通信装置等来实现。当在通过改变运动图像内容的再现模式再现转换后的内容时，丢失恢复信息生成单元109生成用于恢复因再现模式的改变而丢失的信息的信息。
例如，可以考虑将运动图像内容的再现模式改变为仅输出音频声音的再现模式的情况。在这种情况下，使用来自原始运动图像内容的视频提供给用户的各种信息因再现模式的改变而丢失。在这种情况下，这种信息成为丢失信息。丢失恢复信息生成单元109生成使用来自原始运动图像内容的视频而提供给用户的、并且因上述改变而丢失的信息，作为丢失恢复信息。在这种情况下，无需说明，将要生成的丢失恢复信息生成为使用音频声音要提供给用户的信息。
可考虑将运动图像内容的再现模式改变为仅输出视频的再现模式的情况。在这种情况下，使用来自原始运动图像内容的音频声音提供给用户的各种信息因再现模式的改变而丢失。在这种情况下，这种信息成为丢失信息。丢失恢复信息生成单元109生成使用来自原始运动图像内容的音频声音提供给用户的、并且因上述改变而丢失的信息，作为丢失恢复信息。在这种情况下，无需说明，将要生成的丢失恢复信息生成为使用诸如屏幕上显示的字幕等的视频要提供给用户的信息。
图8是示出内容的再现模式与丢失恢复信息的再现模式之间的对应关系的示例的图。如果如图8所示、运动图像内容的再现模式改变为如同图画书那样的内容(即，以静止图像和字幕再现的内容)，则将要生成的丢失恢复信息在显示屏幕上作为反射式字幕(telop)输出。如果再现模式改变为打印内容(即，不具有静止图像或运动图像的内容)，则将要生成的丢失恢复信息作为描述场景的文本输出。如果再现模式改变为静音状态下的视频内容，则将要生成的丢失恢复信息在显示屏幕上作为反射式字幕输出。如果将运动图像内容转换成音频内容，则将要生成的丢失恢复信息作为旁白(即，音频信息)输出。
如上所述，通过考虑内容的再现模式是视觉还是听觉或者是运动图像还是静止图像，以区别格式表示当改变再现模式时很可能丢失的信息，来获得丢失恢复信息。因而，根据有效视觉信息、以在显示屏幕上显示文本的反射式字幕形式输出丢失恢复信息，或者根据有效听觉信息、以旁白的形式输出丢失恢复信息。
如上所述，丢失恢复信息生成单元109响应于表示从再现模式确定单元107输出的再现模式的信息，生成丢失恢复信息。在这种情况下，丢失恢复信息生成单元109至少使用从场景元数据提取单元103输出的场景元数据，生成丢失恢复信息。当生成丢失恢复信息时，丢失恢复信息生成单元109可以使用经由网络所获取的各种信息(诸如，基本元数据、搜索服务器的搜索结果等)以及场景元数据，生成丢失恢复信息。
没有特别限制生成丢失恢复信息的方法。例如，可以通过生成与从场景元数据提取单元103输出的场景元数据组合的字符串或者通过进一步将该字符串转换成音频声音，生成丢失恢复信息。可将任何已知的方法用作根据字符串生成朗读声的音频声音的方法，例如，可利用在日本专利申请公开第10-161847号中所提出的技术。
如果如上所述、以适合于再现模式的格式生成丢失恢复信息，则丢失恢复信息生成单元109将所生成的丢失恢复信息输出至稍后要描述的丢失恢复信息输出单元113。优选地，丢失恢复信息生成单元109将如上所述生成的丢失恢复信息存储在稍后要描述的存储单元115中。由此，如果在适合于所存储的丢失恢复信息的再现模式下重新输出具有丢失恢复信息的运动图像内容，则可以通过重新使用所存储的丢失恢复信息来抑制新生成丢失恢复信息的负荷。
当生成另一场景的丢失恢复信息时，可利用存储单元115等中存储的丢失恢复信息。可以使用另一场景的丢失恢复信息和所关注场景的丢失恢复来生成考虑了场景之间的转变的丢失恢复信息。
丢失恢复信息生成单元109可生成丢失恢复信息，以使得可以通过将运动图像再现链接或相应场景的音频链接嵌入如同图画书那样的内容的各帧中，根据所选择的帧的位置恢复并再现运动图像内容。丢失恢复信息生成单元109可以基于来自诸如因特网的网络的信息、收视率或声音高潮程度，确定在转换成如同图画书那样的内容时的帧率。如果生成丢失恢复信息作为旁白，则丢失恢复信息生成单元109还可使用模版等选择用户所期望的声音。
例如，内容再现单元111由CPU、ROM、RAM、通信装置等来实现。内容再现单元111参考表示从再现模式确定单元107输出的内容的再现模式的信息，并且在相应的再现模式下再现运动图像内容。如果与从再现模式确定单元107输出的信息相对应的再现模式不同于运动图像内容的原始再现模式，则内容再现单元111通过将该内容转换成相应的再现模式来再现该内容。
内容再现单元111可以通过参考预设的内容观看时间和用户的观看速度，动态地改变如同图画书那样的内容的帧率。
这里，如果再现已执行了再现模式改变处理的内容，则内容再现单元111与稍后要描述的丢失恢复信息输出单元113协作执行转换后的内容再现处理。由此，可以在插入用于恢复因转换成适当场景而丢失的内容的信息的同时再现内容。
例如，丢失恢复信息输出单元113由CPU、ROM、RAM等来实现。丢失恢复信息输出单元113以适合于从再现模式确定单元107输出的再现模式(即，如图8所示的再现模式)的格式，输出丢失恢复信息生成单元109所生成的丢失恢复信息。这里，当输出丢失恢复信息时，丢失恢复信息生成单元109与内容再现单元111协作输出适合于内容再现单元111再现的场景的丢失恢复信息。
丢失恢复信息输出单元113还可以使用传感器输出分析单元115的分析结果，输出考虑了用户的特征的丢失恢复信息。例如，如果内容再现模式改变为如同图画书那样的内容，则可以响应于用户的年龄或身体信息，将作为反射式字幕给出的丢失恢复信息转换成平假名字符，或者改变字符大小。丢失恢复信息输出单元113可根据用户的观看时间或观看速度改变如同图画书那样的内容的帧率或要显示的反射式字幕的数量，以使得在移动至用户所设置的目的地期间完成内容观看。
存储单元115是根据本实施例的信息处理装置10中所设置的存储装置的示例。在存储单元115中，记录了诸如与运动图像内容再现有关的历史信息、与运动图像内容转换处理有关的历史信息等各种历史信息。在存储单元115中，记录了场景元数据提取单元103使用的各种字典或数据库等。在存储单元115中，适当记录了当根据本实施例的信息处理装置10执行任意处理时需要存储的各种参数或处理期间的进度等、各种数据库等。
在存储单元115中，根据本实施例的信息处理装置10中所设置的各处理单元可以自由执行读取/写入操作。
<场景元数据提取单元的配置>
随后，将参考图9来描述根据本实施例的场景元数据提取单元的详细配置。图9是示出根据本实施例的场景元数据提取单元的配置的框图。
如图9所示，根据本实施例的场景元数据提取单元103还包括基本元数据提取单元121、图像分析单元123、音频分析单元125、文本分析单元127和场景元数据生成单元129。
例如，基本元数据提取单元121由CPU、ROM、RAM、通信装置等来实现。基本元数据提取单元121在从内容获取单元101输出的运动图像内容中提取如图5所示的基本元数据。基本元数据提取单元121可从外部设置的各种数据库获取基本元数据。基本元数据提取单元121将所提取的基本元数据连同从内容获取单元101输出的内容的实体数据一起输出至稍后要描述的图像分析单元123、音频分析单元125和文本分析单元127。优选地，基本元数据提取单元121将所提取的基本元数据记录在存储单元115等中。
例如，图像分析单元123由CPU、ROM、RAM、通信装置等来实现。图像分析单元123使用从基本元数据提取单元121输出的基本元数据和内容的实体数据，分析构成该内容的图像数据。
首先，图像分析单元123执行在构成内容的各场景的静止图像中分离该静止图像中所包括的人物、诸如物理对象等的对象和背景图像的处理。对象分离处理是通过在对静止图像数据应用高通滤波之后执行众所周知的面部识别处理、物理体识别处理或移动体识别处理等来实现的。此后，图像分析单元123使用存储单元115等中所存储的各种字典文件或存在于网络等上的搜索服务器，并且执行根据所获得的对象指定来自静止图像的要素数据的处理。在需要时，图像分析单元123可计算表示人物的同现关系(即，人与人之间关系)的指数。
图像分析单元123通过对静止图像数据应用低通滤波来执行分离背景图像的处理。此后，图像分析单元123执行在所获得的背景图像中指定表示背景图像的亮度的数值或指定平均颜色值或色温的处理。
例如，从静止图像获得的要素数据的类型可以是背景、人物的面部、背景对象、反射式字幕等的区别、或者对象的名称等。背景包括亮度、颜色、色温等的信息，其中，可从该信息中估计对象场景的时间带、天气、季节等。可以从人物的面部获取名字、嘴角的状态(向上、向下等)和唇动。由此，图像分析单元123可以指定人物的面部表情。除上述信息以外，图像分析单元123还可以分析人物的姿势。
图像分析单元123可以与稍后要描述的音频分析单元125和文本分析单元127相互协作执行各处理。
图像分析单元123将对构成内容的图像数据的分析结果输出至稍后要描述的场景元数据生成单元129。图像分析单元123可将所获得的分析结果以数据库、查询表等形式存储在存储单元115中，并且可将与该分析结果有关的历史信息存储在存储单元115中。
例如，音频分析单元125由CPU、ROM、RAM、通信装置等来实现。音频分析单元125使用从基本元数据提取单元121输出的内容的实体数据和基本元数据，分析构成该内容的音频数据。
音频分析单元125通过分析构成运动图像内容的音频数据，提取图像分析单元123检测到面部的时段的音频数据v1。音频分析单元125在检测到面部的时段期间，提取所检测到的面部的嘴部移动的时段的音频数据v2。此外，音频分析单元125计算音频数据v2与音频数据v1之间的差V。
这里，假定音频数据v1仅包括环境声音，而不包括面部被检测到的人物的说话声音。另一方面，假定音频数据v2包括环境声音和面部被检测到的人物的说话声音。因此，假定二者之间的差V排除了环境声音并且仅包括面部被检测到的人物的说话声音。
音频分析单元125可以通过傅立叶变换对所获得的差V进行变换，并且可以指定作为该变换结果所获得的差V的频率分布作为该人物说出的音频成分。除上述方法以外，例如，可以通过使用登记了多个人物的声纹的数据库执行声纹分析来指定正在说话的人物。可以通过提取说话声音的语调、强度、口音、音调等来指定正在说话的人物的状态。
音频分析单元125可以通过对说话声音执行众所周知的音频识别处理，来根据内容生成字符串。
另一方面，如果所获得的环境声音中包括诸如BGM的乐曲，则音频分析单元125可以使用网络上存在的搜索服务器等指定所包括的乐曲的名称或风格。音频分析单元125可以通过使用登记了各种声音波形的数据库执行波形分析，来指定所包括的声音的类型或来源。
音频分析单元125可以与图像分析单元123和文本分析单元127相互协作执行各处理。
音频分析单元125将对构成内容的音频数据的分析结果输出至稍后要描述的场景元数据生成单元129。音频分析单元125可将所获得的分析结果以数据库、查询表等形式存储在存储单元115中，并且可将与该分析结果有关的历史信息存储在存储单元115中。
例如，文本分析单元127由CPU、ROM、RAM、通信装置等来实现。文本分析单元127使用从基本元数据提取单元121输出的内容的实体数据和基本元数据，分析该内容中所包括的文本(字符串)。
例如，文本分析单元127通过分析基本元数据提取单元121所提取的字幕信息或反射式字幕，提取显示屏幕上所显示的字符串作为要素数据。文本分析单元127可通过分析音频分析单元125所提取的音频识别结果，指定人物的说话内容。
文本分析单元127可以对字幕信息、反射式字幕等的字符串或者表示音频识别结果的字符串执行形态分析，并且可以从其结果中提取特有名词。可以通过分析所提取的特有名词，提取面部被检测到的人物的名字、职务、设定的用语等。当执行字符串的形态分析时，文本分析单元127使用存储单元115等中所存储的各种字典文件。在需要时，文本分析单元127可执行语法分析处理或语义分析处理。
文本分析单元127可以使用图像分析单元123或音频分析单元125的分析结果，指定字幕等中所包括的字符串的说话者。也就是说，可以指定与在通过图像分析检测到的面部中的嘴部移动的时间相对应的字符串作为相应的人物的说话内容。
文本分析单元127将内容中所包括的字符串数据或对从该内容中提取的字符串数据的分析结果输出至稍后要描述的场景元数据生成单元129。文本分析单元127可将所获得的分析结果以数据库、查询表等形式存储在存储单元115中，并且可将与该分析结果有关的历史信息存储在存储单元115中。
根据本实施例，图像分析单元123、音频分析单元125和文本分析单元127可以在针对构成各场景的图像、音频声音和文本计算各种特征量之后，计算在场景之间所计算出的特征量的相似度。由此，这些分析单元可以使用针对先前分析的场景的分析结果，分析所关注的场景。这里，没有特别限制所计算出的特征量。可以通过应用众所周知的特征量计算方法来执行各种计算。
图像分析单元123、音频分析单元125和文本分析单元127使用机器学习技术学习分析结果，以使得可在各处理单元中执行分析处理。
例如，场景元数据生成单元129由CPU、ROM、RAM、通信装置等来实现。场景元数据生成单元129使用分别从图像分析单元123、音频分析单元125和文本分析单元127输出的分析结果，生成表征构成运动图像内容的各场景的场景元数据。由此，生成了源自构成运动图像内容的图像数据的场景元数据和源自构成运动图像内容的音频数据的场景元数据。
场景元数据生成单元129将所生成的场景元数据输出至丢失恢复信息生成单元109。优选地，场景元数据生成单元129将所生成的场景元数据以数据库、查询表等形式存储在存储单元115等中。由此，场景元数据生成单元129可以使用先前生成的场景元数据生成所关注的场景的场景元数据。
以上已示出根据本实施例的信息处理装置10的功能示例。使用通用构件或电路来构成上述各个部件，或者可由针对各部件的功能的专用硬件来构成上述各个部件。可由CPU等执行各部件的所有功能。因此，可以响应于执行本实施例时的技术水平适当地改变要使用的配置。
可以制造用于实现如上所述根据本实施例的信息处理装置的各功能的计算机程序，并将该计算机程序安装在PC等上。此外，可以提供存储有上述计算机程序的计算机可读记录介质。例如，记录介质是磁盘、光盘、磁光盘、闪存等。在不使用记录介质的情况下，还可例如经由网络来分发上述计算机程序。
<场景元数据和丢失恢复信息生成处理的具体示例>
接下来，将参考图10和图11来简要描述生成场景元数据和丢失恢复信息的处理的具体示例。图10是说明场景元数据生成处理的说明图，以及图11是说明丢失恢复信息生成处理的说明图。
下文中，基本元数据提取单元121针对某一运动图像内容的场景A，提取如图10所示的基本元数据501。在场景A中，在静止图像中示出两个人，并且包括了BGM和与这两个人之间的会话相对应的数据作为音频数据。假定在静止图像中显示了“去埃及旅行！”的反射式字幕，并且在内容本身中包括了字幕信息。
场景元数据提取单元103的图像分析单元123使用包括在所提取的基本元数据501中的静止图像，执行诸如频率分离、面部识别、移动体识别等各种分析处理。由此，图像分析单元123可以提取包括静止图像中所包括的各种对象或背景图像等的一串信息503。此后，图像分析单元123使用人物字典、环境字典等字典文件、或者搜索服务器中的图像搜索处理等，从所提取的信息503中提取源自图像数据的一串要素数据505。要素数据505包括如图10所示的各种信息。
当完成要素数据505的提取时，图像分析单元123将所提取的要素数据505输出至场景元数据生成单元129。
文本分析单元127使用基本元数据501中所包括的字幕信息执行字符串提取处理，并且提取两种类型的对话507。此后，文本分析单元127与图像分析单元123和音频分析单元125协作执行说话者指定处理和形态分析处理，并且提取源自运动图像内容中所包括的文本的要素数据509。源自文本的要素数据509包括如图10所示的信息。
如果完成要素数据509的提取，则文本分析单元127将所提取的要素数据509输出至场景元数据生成单元129。
音频分析单元125对基本元数据501中所包括的音频数据执行使用声纹字典的处理、波形分析处理、波形分离处理等，并且提取与说话声音和环境声音有关的数据511。此后，通过对分离出的各音频数据执行使用人物字典的处理、乐曲搜索处理等，提取源自音频数据的要素数据513。要素数据513中包括如图10所示的各种信息。
如果完成要素数据513的提取，则音频分析单元125将所提取的要素数据513输出至场景元数据生成单元129。
场景元数据生成单元129使用分别从图像分析单元123、音频分析单元125和文本分析单元127输出的要素数据，生成场景A的场景元数据，其中，该场景A的场景元数据包括源自图像数据的场景元数据和源自音频数据的场景元数据。
场景元数据生成单元129将如上所述生成的场景元数据存储在存储单元115等中，并且还将该场景元数据输出至丢失恢复信息生成单元109。
接着，将参考图11来描述丢失恢复信息生成处理的具体示例。在图11的描述中，假定将运动图像数据转换成音频内容。
丢失恢复信息生成单元109通过参考表示从再现模式确定单元107输出的再现模式的信息，指定图像数据中潜在包括的各种信息可能丢失。此后，丢失恢复信息生成单元109使用主要源自图像数据的场景元数据，生成与场景A有关的丢失恢复信息。
假定场景元数据生成单元129生成如图11所示的场景元数据。为了恢复图像数据中所包括的信息，丢失恢复信息生成单元109主要使用源自图像数据的场景元数据来生成丢失恢复信息。因而，丢失恢复信息生成单元109生成如图11所示的丢失恢复信息517。如图11所示，所生成的丢失恢复信息是根据原始视频要传送给用户的字符串，该字符串包括与场所有关的信息、与天气有关的信息和与人物的面部表情有关的信息。
通过输出如上所述生成的丢失恢复信息，信息处理装置10可以将因改变内容的再现模式而很可能丢失的信息传送至用户。
<信息处理方法>
随后，将参考图12至图15来简要描述根据本实施例的信息处理装置10所执行的各种信息处理方法的流程。
<场景元数据提取处理>
首先，将参考图12来描述场景元数据提取处理的总体流程。图12说明场景元数据提取处理的总体流程。
首先，场景元数据提取单元103的基本元数据提取单元121通过分析运动图像内容，从该运动图像内容中提取如图5所示的基本元数据(步骤S101)。此后，场景元数据提取单元103使用所提取的基本元数据提取场景元数据(步骤S103)。
随后，将参考图13来描述场景元数据提取单元103所执行的场景元数据提取处理的流程。图13是示出场景元数据提取处理的流程的流程图。
首先，场景元数据提取单元103选择构成运动图像内容的一个场景(步骤S111)。此后，图像分析单元123、音频分析单元125和文本分析单元127使用所选择的场景中的基本元数据来执行分析处理。
例如，图像分析单元123提取所选择的场景中包括的静止图像(步骤S113)，并将该静止图像分离成对象和背景(步骤S115)。此后，图像分析单元123使用各种分析处理、搜索服务器等获取对象信息(步骤S117)，并且还获取与背景图像有关的背景信息(步骤S119)。随后，图像分析单元123将所获取的对象信息和背景信息输出至场景元数据生成单元129。
音频分析单元125提取与所选择的场景相对应的音频数据(步骤S121)，并且将该音频数据分离成说话声音和环境声音(步骤S123)。此后，音频分析单元125使用各种分析处理、搜索服务器等从分离出的环境声音中获取环境声音信息(步骤S125)。音频分析单元125将音频数据的分析结果输出至文本分析单元127。随后，音频分析单元125将与所获得的环境声音有关的信息输出至场景元数据生成单元129。
文本分析单元127提取与对应于所选场景的字幕或反射式字幕有关的数据(步骤S127)。此后，文本分析单元127使用音频分析单元125的分析结果，获取与所选场景中出现的说话者有关的信息(S129)。随后，文本分析单元127将所获取的与说话者有关的信息输出至场景元数据生成单元129。
场景元数据生成单元129使用从各分析单元输出的信息，生成所关注的场景的场景元数据(步骤S131)。此后，场景元数据提取单元103判断所关注的运动图像内容中是否存在未关注的场景(S133)。如果存在未关注的场景，则场景元数据提取单元103通过返回至步骤S111继续进行处理。如果不存在未关注的场景，则场景元数据提取单元103完成场景元数据提取处理。
<转换后的内容再现处理>
随后，将参考图14来描述转换后的内容再现处理的流程。图14是示出转换后的内容再现处理的流程的流程图。
在以下给出描述之前，假定场景元数据提取单元103提取场景元数据，并且将所提取的场景元数据输出至丢失恢复信息生成单元109。
首先，信息处理装置10的传感器输出分析单元105获取来自信息处理装置10中所设置的各种传感器的输出(即，传感器信息)，并且分析该传感器信息(步骤S141)。由此，传感器输出分析单元105生成通过分析传感器信息而获得的感测信息。此后，传感器输出分析单元105将所获得的感测信息输出至再现模式确定单元107。
再现模式确定单元107获取用户设置(步骤S143)，并且还基于从传感器输出分析单元105输出的感测信息和所获取的用户设置确定内容再现模式(步骤S145)。
如果确定了再现模式，则再现模式确定单元107将表示所确定的再现模式的信息输出至丢失恢复信息生成单元109、内容再现单元111和丢失恢复信息输出单元113。
内容再现单元111基于表示从再现模式确定单元107输出的再现模式的信息，改变内容再现模式(步骤S147)。
另一方面，丢失恢复信息生成单元109基于内容再现模式和场景元数据提取单元103所提取的场景元数据，生成丢失恢复信息(步骤S149)。此后，场景元数据提取单元103基于内容再现模式确定丢失恢复信息的再现模式(S151)。
此后，内容再现单元111和丢失恢复信息输出单元113输出转换后的内容和丢失恢复信息(步骤S153)。
由此，信息处理装置10可以将因内容再现模式的改变而很可能丢失的信息传送给用户。
<再现模式确定处理>
随后，将参考图15来简要描述再现模式确定单元107所执行的再现模式确定处理的示例。图15是示出再现模式确定单元107所执行的再现模式确定处理的示例的流程图。
首先，再现模式确定单元107判断是否执行对信息处理装置10的用户操作(步骤S161)。如果执行了用户操作，则再现模式确定单元107将与该用户操作相对应的内容再现模式确定为内容再现模式。
如果没有执行用户操作，则再现模式确定单元107判断是否存在表示感测结果的感测信息(步骤S163)。如果不存在感测信息，则再现模式确定单元107暂时停止内容再现。
如果存在感测信息，则再现模式确定单元107通过参考用于对用户的面部进行成像的成像数据，判断用户是否观看信息处理装置10的显示屏幕(步骤S165)。
如果用户观看显示屏幕，则再现模式确定单元107通过参考与周围声音有关的传感器信息，判断是否听得见声音(步骤S167)。如果听得见声音，则再现模式确定单元107判断优先输出音频声音的状况，并且确定再现模式，以使得在不对运动图像内容进行转换的情况下(直接在原始再现模式下)执行再现。如果听不见声音，则再现模式确定单元107判断不优先输出音频声音的状况，并且确定再现模式，以使得在静音状态下再现运动图像内容。
另一方面，如果用户没有观看显示屏幕，则再现模式确定单元107通过参考与周围声音有关的传感器信息，判断是否听得见声音(步骤S169)。如果听得见声音，则再现模式确定单元107判断优先输出音频声音的状况，并且确定再现模式，以使得将运动图像内容再现为音频内容。如果听不见声音，则再现模式确定单元107暂时停止内容再现。
以上已描述了根据本发明实施例的信息处理装置和信息处理方法。
(第二实施例)
随后，将描述根据本发明的第二实施例的信息处理系统。在本发明的第一实施例中已描述了在一个装置内执行场景元数据的提取和丢失恢复信息的生成的情况，而在第二实施例中将描述在不同的装置中执行场景元数据提取处理和丢失恢复信息生成处理的情况。
<信息处理系统>
首先，将参考图16来描述根据本实施例的信息处理系统的配置。图16是示出根据本实施例的信息处理系统的说明图。
如图16所示，根据本实施例的信息处理系统1至少包括网络3和通过网络3彼此可通信的内容提供服务器5、GPS7、场景元数据提取装置20和丢失恢复信息生成装置30。
这里，由于网络3、内容提供服务器5和GPS7具有与根据本发明的第一实施例的网络3、内容提供服务器5和GPS7的配置和效果相同的配置和效果，因此以下将省略对它们的详细描述。
场景元数据提取装置20是在从内容提供服务器5等获取的运动图像内容中提取相应运动图像内容的场景元数据的装置。场景元数据提取装置20将所提取的场景元数据提供给丢失恢复信息生成装置30。由此，稍后要描述的丢失恢复信息生成装置30可使用场景元数据提取装置20所提取的场景元数据，生成用于恢复由于内容再现模式的改变而很可能丢失的信息的丢失恢复信息。
丢失恢复信息生成装置30使用场景元数据提取装置20所提取的场景元数据，生成丢失恢复信息，其中，该丢失恢复信息用于恢复由于运动图像内容的再现模式的改变而很可能丢失的信息。丢失恢复信息生成装置30可以使用所生成的丢失恢复信息，在改变运动图像内容的再现模式时再现该内容。
场景元数据提取装置20和丢失恢复信息生成装置30可经由网络3彼此连接，或者可经由预定线缆直接相连接。
可将根据本实施例的场景元数据提取装置20和丢失恢复信息生成装置30实现为PC或各种服务器等的计算机，或者实现为诸如便携式音乐播放器、便携式游戏机、移动电话、智能手机、PDA、或触摸屏面板的便携式电子装置。可将根据本实施例的场景元数据提取装置20和丢失恢复信息生成装置30实现为诸如电视机、DVD录像机、蓝光录像机等的各种录像机。
已简要描述了根据本实施例的信息处理系统1。根据本实施例的信息处理系统1可包括能够搜索各种信息的搜索引擎、管理数据库的搜索服务器等。
<场景元数据提取装置的配置>
随后，将参考图17来描述根据本实施例的场景元数据提取装置20的配置。图17是示出根据本实施例的场景元数据提取装置20的配置的框图。
如图17所示，根据本实施例的场景元数据提取装置20主要包括内容获取单元201、场景元数据提取单元203、数据输出单元205和存储单元207。
这里，由于根据本实施例的内容获取单元201和存储单元207具有与根据第一实施例的处理单元的配置和效果相同的配置和效果，因此下文中省略对它们的详细描述。
由于根据本实施例的场景元数据提取单元203具有与场景元数据提取单元103的配置和效果相同的配置和效果，因此除了将所提取的场景元数据存储在存储单元207中的操作以外，以下省略了对其的详细描述。
例如，数据输出单元205由CPU、ROM、RAM、通信装置等来实现。数据输出单元205响应于来自丢失恢复信息生成装置30的场景元数据发送请求，将场景元数据提取单元203所提取并且存储在存储单元207中的场景元数据输出至丢失恢复信息生成装置30。
数据输出单元205可不从存储单元207而直接从场景元数据提取单元203获取场景元数据。
以上已示出了根据本实施例的场景元数据提取装置20的功能示例。可使用通用构件或电路来构成上述各个部件，或者可由针对各部件的功能的专用硬件来构成上述各个部件。可由CPU等执行各部件的所有功能。因此，可以响应于在执行本实施例时的技术水平而适当地改变要使用的配置。
可以制造用于实现如上所述根据本实施例的场景元数据提取装置的各功能的计算机程序，并且可以将该计算机程序安装在PC等上。此外，可以提供存储有上述计算机程序的计算机可读记录介质。例如，该记录介质是磁盘、光盘、磁光盘、闪存等。还可在不使用记录介质的情况下，例如经由网络分发上述计算机程序。
<丢失恢复信息生成装置的配置>
随后，将参考图18来描述根据本实施例的丢失恢复信息生成装置30的配置。图18是示出根据本实施例的丢失恢复信息生成装置30的配置的框图。
根据本实施例的丢失恢复信息生成装置30主要包括场景元数据获取单元301、丢失恢复信息生成单元303、传感器输出分析单元305、再现模式确定单元307、内容再现单元309、丢失恢复信息输出单元311和存储单元313。
例如，场景元数据获取单元301由CPU、ROM、RAM、通信装置等来实现。场景元数据获取单元301请求场景元数据提取装置20发送场景元数据，并且从场景元数据提取装置20获取场景元数据。场景元数据获取单元301将所获取的场景元数据输出至丢失恢复信息生成单元303。
场景元数据获取单元301可从内容提供服务器5、场景元数据提取装置20等获取运动图像内容的实体数据、相应运动图像内容的元数据等。在这种情况下，场景元数据获取单元301可将运动图像内容的实体数据输出至内容再现单元309，并且还可将内容元数据输出至丢失恢复信息生成单元303。
由于丢失恢复信息生成单元303、传感器输出分析单元305、再现模式确定单元307、内容再现单元309、丢失恢复信息输出单元311和存储单元313具有与根据第一实施例的处理单元的配置和效果相同的配置和效果，因此省略了对它们的详细描述。
以上已示出了根据本实施例的丢失恢复信息生成装置30的功能示例。可使用通用构件或电路来构成上述各个部件，或者可以由针对各部件的功能的专用硬件来构成上述各个部件。可由CPU等执行各部件的所有功能。因此，可以响应于在执行本实施例时的技术水平而适当地改变要使用的配置。
可以制造用于实现如上所述根据本实施例的丢失恢复信息生成装置的各功能的计算机程序，并且可以将该计算机程序安装在PC等上。此外，可以提供存储有上述计算机程序的计算机可读记录介质。例如，该记录介质是磁盘、光盘、磁光盘、闪存等。还可在不使用记录介质的情况下，例如经由网络分发上述计算机程序。
(硬件配置)
接着，将参考图19来详细描述根据本发明实施例的信息处理装置10的硬件配置。图19是用于说明根据本发明实施例的信息处理装置10的硬件配置的框图。
信息处理装置10主要包括CPU901、ROM903和RAM905。此外，信息处理装置10还包括主总线907、桥接器909、外部总线911、接口913、传感器914、输入装置915、输出装置917、存储装置919、驱动器921、连接端口923和通信装置925。
CPU901用作运算处理装置和控制装置，并且根据ROM903、RAM905、存储装置919或可移动记录介质927中所记录的各种程序，控制信息处理装置10的总体操作或一部分操作。ROM903存储CPU901所使用的程序、运算参数等。RAM905主要存储CPU901使用的程序、和在执行这些程序期间适当地变化的参数等。这些经由由诸如CPU总线等内部总线配置的主总线907彼此相连接。
主总线907经由桥接器909连接至诸如PCI(外围部件互连/接口)总线等的外部总线911。
传感器914是检测装置，诸如感测用户的动作的传感器和获取表示当前位置的信息的传感器。作为这种传感器的示例，可以列举出包括加速度传感器、重力检测传感器、下落检测传感器等的三轴加速度传感器、包括角速度传感器、手抖(handblur)补偿传感器、地磁传感器等的三轴陀螺仪传感器、或者GPS传感器等。此外，传感器914还可配备有除上述以外的各种测量设备，诸如温度计、照度计、或湿度计等。
输入装置915是用户所操作的操作装置，诸如鼠标、键盘、触摸面板、按钮、开关和操作杆。此外，输入装置915可以是使用例如红外光或其他无线电波的远程控制装置(所谓的远程控制器)，或者可以是与信息处理装置10的操作相对应的外部连接装置929，诸如移动电话或PDA。此外，输入装置915基于例如用户利用以上操作装置输入的信息生成输入信号，并且由用于将该输入信号输出至CPU901的输入控制电路配置。信息处理装置10的用户可以将各种数据输入至信息处理装置10，并且可以通过操作该输入装置915指示信息处理装置10执行处理。
输出装置917由能够从视觉上或从听觉上向用户通知所获取的信息的装置配置。这种装置的示例包括显示装置(诸如，CRT显示装置、液晶显示装置、等离子体显示装置、EL显示装置和灯)、诸如扬声器和耳机的音频输出装置、打印机、移动电话、传真机等。例如，输出装置917输出通过信息处理装置10所执行的各种处理而获得的结果。更具体地，显示装置以文本或图像的形式显示通过信息处理装置10所执行的各种处理而获得的结果。另一方面，音频输出装置将诸如所再现的音频数据和声音数据的音频信号转换成模拟信号，并且输出该模拟信号。
存储装置919是作为信息处理装置10的存储单元的示例所配置的、用于存储数据的装置，并且用于存储数据。例如，存储装置919由诸如HDD(硬盘驱动器)的磁存储装置、半导体存储装置、光存储装置或磁光存储装置配置。该存储装置919存储CPU901要执行的程序、各种数据和从外部获得的各种数据。
驱动器921是记录介质的读写器，并且嵌入信息处理装置10中或者从外部安装到该信息处理装置。驱动器921读取所安装的可移动记录介质927(诸如，磁盘、光盘、磁光盘或半导体存储器)中所记录的信息，并且将所读取的信息输出至RAM905。此外，驱动器921可以在所安装的可移动记录介质927(诸如，磁盘、光盘、磁光盘或半导体存储器)中进行写入。例如，可移动记录介质927是DVD介质、HD-DVD介质或蓝光介质。可移动记录介质927可以是紧凑式闪存(CF；注册商标)、闪存、SD存储卡(安全数字存储卡)等。可替选地，可移动存储介质927可以是例如配备有非接触式IC芯片的IC卡(集成电路卡)或电子设备。
连接端口923是用于使得装置可以直接连接至信息处理装置10的端口。连接端口923的示例包括USB(通用串行总线)端口、IEEE1394端口、SCSI(小型计算机系统接口)端口等。连接端口923的其它示例包括RS-232C端口、光音频端子、HDMI(高清晰度多媒体接口)端口等。通过连接至该连接端口923的外部连接装置929，信息处理装置10从外部连接装置929直接获得各种数据，并将各种数据提供给外部连接装置929。
通信装置925是由例如用于连接至通信网络931的通信装置配置的通信接口。例如，通信装置925是有线或无线LAN(局域网)、蓝牙(注册商标)、用于WUSB(无线USB)的通信卡等。可替选地，通信装置925可以是用于光通信的路由器、用于ADSL(非对称数字用户线路)的路由器、用于各种通信的调制解调器等。例如，该通信装置925可以根据因特网上诸如TCP/IP的预定协议与其它通信装置发送和接收信号等。连接至通信装置925的通信网络931由经由有线或无线连接的网络等配置，并且可以是例如因特网、家用LAN、红外线通信、无线电波通信、卫星通信。
迄今为止，已示出了能够实现根据本发明实施例的信息处理装置10的功能的硬件配置的示例。可使用通用材料来配置上述的各个构成元件，或者可由各构成元件的功能所专用的硬件来配置上述的各个构成元件。因此，可以根据在执行本实施例时的技术水平来适当地改变要使用的硬件配置。
由于根据本发明的第二实施例的场景元数据提取装置20和丢失恢复信息生成装置30具有与根据第一实施例的信息处理装置10的硬件配置和效果相同的硬件配置和效果，因此省略了对其的详细描述。
(总结)
根据如上所述的本发明实施例，可以抑制由于再现模式的改变而引起的信息丢失。可以响应于用户的视听环境或再现装置来自由且动态地选择/改变运动图像内容的再现模式。用户可以通过将运动图像内容转换成如同图画书那样的内容等来按他/她自己的节奏观看内容。
以上已经参考附图详细描述了本发明的优选实施例，但本发明不限于此。本领域的技术人员应当理解，在所附权利要求或其等同方案的范围内，根据设计需要和其它因素，可进行各种修改、组合、子组合以及变更。
例如，在以上实施例中已描述了运动图像内容的示例，但除运动图像内容以外，本发明还可应用于由于数据格式的改变而丢失数据的一部分原始信息的数据。
本申请包含与2010年5月10日向日本专利局提交的日本优先权专利申请2010-108223中所公开的主题内容有关的主题内容，在此通过引用将其全部内容结合于此。

Claims (7)

1.一种信息处理方法，包括以下步骤：
分析包括图像数据和音频数据的运动图像内容，并且针对构成所述运动图像内容的各场景，提取表征各场景的场景元数据；
根据所述运动图像内容的再现环境和用户所设置的设置信息中的至少一个，确定所述运动图像内容的再现模式；
根据所确定的再现模式，使用所述场景元数据来生成丢失恢复信息，其中，所述丢失恢复信息用于恢复因改变所述运动图像内容的再现模式而丢失的丢失信息；以及
根据在所确定的再现模式下要再现的所述运动图像内容，输出所生成的所述丢失恢复信息。
2.根据权利要求1所述的信息处理方法，其中，在所述提取场景元数据的步骤中，从所述运动图像内容提取第一元数据，并且使用所述第一元数据来提取源自所述图像数据的所述场景元数据和源自所述音频数据的所述场景元数据。
3.根据权利要求2所述的信息处理方法，其中，在所述生成丢失恢复信息的步骤中，主要使用源自因所述再现模式的改变而未输出的数据的场景元数据来生成所述丢失恢复信息。
4.根据权利要求1所述的信息处理方法，其中，基于从以下至少一个输出的传感器输出来确定所述运动图像内容的再现环境：对所述用户或周围环境进行成像的摄像装置、获取周围环境声音的声音收集麦克风、感测所述用户的动作的传感器和获取表示当前位置的信息的传感器。
5.根据权利要求1所述的信息处理方法，其中，在所述输出丢失恢复信息的步骤中，根据所述再现模式确定当输出所述丢失恢复信息时的输出模式。
6.一种信息处理装置，包括：
场景元数据提取单元，用于分析包括图像数据和音频数据的运动图像内容，并且针对构成所述运动图像内容的各场景，提取表征各场景的场景元数据；
再现模式确定单元，用于根据所述运动图像内容的再现环境和用户所设置的设置信息中的至少一个，确定所述运动图像内容的再现模式；
丢失恢复信息生成单元，用于根据所述再现模式确定单元所确定的再现模式，使用所述场景元数据来生成丢失恢复信息，其中，所述丢失恢复信息用于恢复因改变所述运动图像内容的再现模式而丢失的丢失信息；以及
丢失恢复信息输出单元，用于根据在所述再现模式确定单元所确定的再现模式下要再现的所述运动图像内容，输出所述丢失恢复信息生成单元所生成的所述丢失恢复信息。
7.一种丢失恢复信息生成装置，包括：
场景元数据获取单元，用于获取场景元数据，其中，所述场景元数据表征构成包括图像数据和音频数据的运动图像内容的各场景；
再现模式确定单元，用于根据所述运动图像内容的再现环境和用户所设置的设置信息中的至少一个，确定所述运动图像内容的再现模式；
丢失恢复信息生成单元，用于根据所述再现模式确定单元所确定的再现模式，使用所述场景元数据来生成丢失恢复信息，其中，所述丢失恢复信息用于恢复因改变所述运动图像内容的再现模式而丢失的丢失信息；以及
丢失恢复信息输出单元，用于根据在所述再现模式确定单元所确定的再现模式下要再现的所述运动图像内容，输出所述丢失恢复信息生成单元所生成的所述丢失恢复信息。
CN201110116295.5A 2010-05-10 2011-05-03 信息处理方法、信息处理装置和丢失恢复信息生成装置 Expired - Fee Related CN102244788B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010108223A JP2011239141A (ja) 2010-05-10 2010-05-10 情報処理方法、情報処理装置、情景メタデータ抽出装置、欠損補完情報生成装置及びプログラム
JP2010-108223 2010-05-10

Publications (2)

Publication Number Publication Date
CN102244788A CN102244788A (zh) 2011-11-16
CN102244788B true CN102244788B (zh) 2015-11-25

Family

ID=44901991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110116295.5A Expired - Fee Related CN102244788B (zh) 2010-05-10 2011-05-03 信息处理方法、信息处理装置和丢失恢复信息生成装置

Country Status (3)

Country Link
US (1) US8521007B2 (zh)
JP (1) JP2011239141A (zh)
CN (1) CN102244788B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012164361A1 (en) * 2011-05-27 2012-12-06 Nds Limited Frequency-modulated watermarking
US9015785B2 (en) * 2011-11-29 2015-04-21 Sony Corporation Terminal apparatus, server apparatus, information processing method, program, and linking application supply system
US9233305B2 (en) * 2013-02-13 2016-01-12 Unity Technologies Finland Oy System and method for managing game-playing experiences
WO2015004840A1 (ja) * 2013-07-10 2015-01-15 パナソニックＩｐマネジメント株式会社 映像受信装置、情報表示方法および映像受信システム
JP6253671B2 (ja) * 2013-12-26 2017-12-27 株式会社東芝 電子機器、制御方法およびプログラム
US9870500B2 (en) 2014-06-11 2018-01-16 At&T Intellectual Property I, L.P. Sensor enhanced speech recognition
JP6857983B2 (ja) * 2016-08-25 2021-04-14 Jcc株式会社 メタデータ生成システム
US10740198B2 (en) * 2016-12-22 2020-08-11 Purdue Research Foundation Parallel partial repair of storage
WO2018123572A1 (ja) * 2016-12-28 2018-07-05 株式会社ソシオネクスト 映像コンテンツ受信システム、映像コンテンツ受信方法及び記録媒体
CA3063365A1 (en) * 2017-05-10 2018-11-15 Humane, LLC Wearable multimedia device and cloud computing platform with application ecosystem
JP7121378B2 (ja) * 2017-09-26 2022-08-18 Jcc株式会社 映像管理方法、映像管理装置、及び映像管理システム
TWI658817B (zh) * 2017-12-25 2019-05-11 National Taiwan Normal University 心理狀態感測方法、可攜式電子裝置及電腦可讀取的記錄媒體
NO345328B1 (en) 2019-02-01 2020-12-14 Roest Bernt Erik Method and system for extracting metadata from an observed scene.
JP2020170299A (ja) * 2019-04-02 2020-10-15 Kddi株式会社 映像検索システム、タグ管理装置、コンピュータプログラム及び映像検索方法
JP6811811B1 (ja) * 2019-07-04 2021-01-13 Jcc株式会社 メタデータ生成システム、映像コンテンツ管理システム及びプログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0863089A (ja) * 1994-08-19 1996-03-08 Japan Radio Co Ltd 頭部搭載型表示装置
EP1498872A1 (en) * 2003-07-16 2005-01-19 Alcatel Method and system for audio rendering of a text with emotional information
CN1606347A (zh) * 2004-11-15 2005-04-13 北京中星微电子有限公司 一种视频通信的方法
CN1738430A (zh) * 2004-06-17 2006-02-22 株式会社东芝 活动图像的元数据的数据结构及其再现方法
CN1870742A (zh) * 2005-05-28 2006-11-29 华为技术有限公司 一种多媒体数据的格式转换方法
CN1874574A (zh) * 2005-05-30 2006-12-06 京瓷株式会社 音频输出装置、文档阅读方法和移动终端
CN101208929A (zh) * 2005-06-23 2008-06-25 维迪亚特企业公司 用于自动依据内容的媒体转换及产生的装置、系统、方法及制品
WO2009074903A1 (en) * 2007-12-12 2009-06-18 Nokia Corporation Methods, apparatuses, and computer program products for semantic media conversion from source data to audio/video data
CN101466013A (zh) * 2007-12-18 2009-06-24 索尼株式会社 信号处理器、信号处理方法、程序和记录介质
CN101547326A (zh) * 2008-03-27 2009-09-30 株式会社东芝 通知内容场景出现的装置和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU5561996A (en) * 1995-04-21 1996-11-07 Imedia Corporation An in-home digital video unit with combined archival storage and high-access storage
JP3870486B2 (ja) * 1997-06-06 2007-01-17 ソニー株式会社 ハイブリッド記録再生装置及び記録再生方法
US6588015B1 (en) * 1998-01-14 2003-07-01 General Instrument Corporation Broadcast interactive digital radio
JP2000057037A (ja) * 1998-08-05 2000-02-25 Sony Corp 記録装置および記録方法、再生装置および再生方法、並びに記録媒体
US7379653B2 (en) * 2002-02-20 2008-05-27 The Directv Group, Inc. Audio-video synchronization for digital systems
US20080301538A1 (en) * 2005-12-02 2008-12-04 Koninklijke Philips Electronics, N.V Method and Apparatus for Detecting Video Data Errors
US20070230902A1 (en) * 2006-03-31 2007-10-04 Masstech Group Inc. Dynamic disaster recovery
JP4254836B2 (ja) * 2006-10-10 2009-04-15 ソニー株式会社 撮像装置
JP4636460B2 (ja) * 2007-03-16 2011-02-23 富士通東芝モバイルコミュニケーションズ株式会社 ストリーム再生装置
US8351757B2 (en) * 2008-11-21 2013-01-08 Mitsubishi Electric Corporation Television broadcast receiving device

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0863089A (ja) * 1994-08-19 1996-03-08 Japan Radio Co Ltd 頭部搭載型表示装置
EP1498872A1 (en) * 2003-07-16 2005-01-19 Alcatel Method and system for audio rendering of a text with emotional information
CN1738430A (zh) * 2004-06-17 2006-02-22 株式会社东芝 活动图像的元数据的数据结构及其再现方法
CN1606347A (zh) * 2004-11-15 2005-04-13 北京中星微电子有限公司 一种视频通信的方法
CN1870742A (zh) * 2005-05-28 2006-11-29 华为技术有限公司 一种多媒体数据的格式转换方法
CN1874574A (zh) * 2005-05-30 2006-12-06 京瓷株式会社 音频输出装置、文档阅读方法和移动终端
CN101208929A (zh) * 2005-06-23 2008-06-25 维迪亚特企业公司 用于自动依据内容的媒体转换及产生的装置、系统、方法及制品
WO2009074903A1 (en) * 2007-12-12 2009-06-18 Nokia Corporation Methods, apparatuses, and computer program products for semantic media conversion from source data to audio/video data
CN101466013A (zh) * 2007-12-18 2009-06-24 索尼株式会社 信号处理器、信号处理方法、程序和记录介质
CN101547326A (zh) * 2008-03-27 2009-09-30 株式会社东芝 通知内容场景出现的装置和方法

Also Published As

Publication number Publication date
US20110274406A1 (en) 2011-11-10
US8521007B2 (en) 2013-08-27
CN102244788A (zh) 2011-11-16
JP2011239141A (ja) 2011-11-24

Similar Documents

Publication Publication Date Title
CN102244788B (zh) 信息处理方法、信息处理装置和丢失恢复信息生成装置
CN112400325B (zh) 数据驱动的音频增强
CN101783886B (zh) 信息处理设备、信息处理方法和程序
JP5069687B2 (ja) コンテンツ情報の提供を受けたユーザの感情状態を分析するための方法及び装置
US10311303B2 (en) Information processing apparatus, information processing method, and program
US8750681B2 (en) Electronic apparatus, content recommendation method, and program therefor
KR20200100677A (ko) 분류기 모델과 컨텍스트 파라미터를 사용한 원격 미디어 분류 쿼리에 대한 응답
EP1865426B1 (en) Information processing apparatus, information processing method, and computer program
US7610260B2 (en) Methods and apparatus for selecting and providing content data using content data status information
EP2333778A1 (en) Digital data reproducing apparatus and method for controlling the same
JP4621758B2 (ja) コンテンツ情報再生装置、コンテンツ情報再生システム、および情報処理装置
KR20170100007A (ko) 청취 로그 및 음악 라이브러리를 생성하기 위한 시스템 및 방법
US10942563B2 (en) Prediction of the attention of an audience during a presentation
US8457407B2 (en) Electronic apparatus and image display method
JP2011118710A (ja) 楽曲推薦システム、情報処理装置、および情報処理方法
CN106488311B (zh) 音效调整方法及用户终端
KR101268987B1 (ko) 메타데이터를 자동적으로 생성/갱신하는 멀티미디어 데이터기록 방법 및 장치
US20180027090A1 (en) Information processing device, information processing method, and program
Ramsay et al. The intrinsic memorability of everyday sounds
US20160071550A1 (en) Video system for embedding excitement data and methods for use therewith
KR20120129015A (ko) 어학 컨텐츠 생성 방법 및 이를 위한 단말기
CN110324702B (zh) 视频播放过程中的信息推送方法和装置
US20200285668A1 (en) Emotional Experience Metadata on Recorded Images
JP5330005B2 (ja) デジタルフォトフレーム、情報処理システム及び制御方法
US11593426B2 (en) Information processing apparatus and information processing method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125

Termination date: 20210503