CN103797812A - 带评论运动图像生成装置及带评论运动图像生成方法 - Google Patents

带评论运动图像生成装置及带评论运动图像生成方法 Download PDF

Info

Publication number
CN103797812A
CN103797812A CN201380003084.8A CN201380003084A CN103797812A CN 103797812 A CN103797812 A CN 103797812A CN 201380003084 A CN201380003084 A CN 201380003084A CN 103797812 A CN103797812 A CN 103797812A
Authority
CN
China
Prior art keywords
comment
region
moving image
subject
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380003084.8A
Other languages
English (en)
Other versions
CN103797812B (zh
Inventor
丸山亚矢子
登一生
堀田浩市
中田干也
前川英嗣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN103797812A publication Critical patent/CN103797812A/zh
Application granted granted Critical
Publication of CN103797812B publication Critical patent/CN103797812B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Abstract

一种带评论运动图像生成装置（100），具有：显示优先度计算部（106），根据在运动图像上叠加显示的多个评论及表示该多个评论的显示位置的评论信息、和表示运动图像上的显示位置的用户信息，计算多个评论及运动图像中的多个被摄体区域的显示优先度，以便使位于用户信息所表示的显示位置的评论或者被摄体区域的显示优先度高于其它评论或者其它被摄体区域的显示优先度；评论叠加方法决定部（107），按照计算出的显示优先度决定多个评论及多个被摄体区域的显示顺序，以便作为多个评论在运动图像上的叠加方法，使显示优先度越高的评论或者被摄体区域显示在越前面；以及图像合成部（102），按照所决定的多个评论的叠加方法，在运动图像上叠加多个评论。

Description

带评论运动图像生成装置及带评论运动图像生成方法
技术领域
本发明涉及带评论运动图像生成装置及带评论运动图像生成方法，用于生成包括与被摄体对应的评论的带评论运动图像。
背景技术
近年来，随着网络的发展和便携式终端的普及，通过网络与遥远地方的对方轻松地享受借助动画内容和静态图像内容的交流已成为日常性行为。例如，存在这样的服务：即对于已有的内容，在内容的时间轴上的某个定时，用户分别利用文章写入个人的喜好或观点。这种借助内容的交流被认为今后将随着显示装置和通信技术的发展而日益增加。
在专利文献1中公开了用于实现这种交流的技术，即在运动图像上叠加记载了评论的评论区域，并在因特网上进行分发。
现有技术文献
专利文献
专利文献1：日本特开2008－148071号公报
专利文献2：日本特开2011－61528号公报
专利文献3：日本特开2004－128614号公报
专利文献4：日本国际公开第2010/116820号
专利文献5：日本特开2009－81592号公报
专利文献6：日本专利第4994525号公报
非专利文献
非专利文献1：コンピュータビジョン技術評論と将来展望/松山隆司ら編（新技術コミュニケーション社1998年）「第3章カメラキャリブレーション」
发明概要
发明要解决的问题
但是，根据过去的评论叠加方法，存在如下问题，即在评论区域彼此叠加的情况下，用户想要阅读的评论被其它评论的评论区域遮挡，用户想要观察的内容中的被摄体被评论区域遮挡，用户不想隐藏的评论或者被摄体的视觉识别性下降。
发明内容
本发明正是为了解决上述问题而提出的，其目的在于，提供一种带评论运动图像生成装置及带评论运动图像生成方法，生成被叠加了评论区域的运动图像（带评论运动图像），即通过提高对于用户而言比较重要的评论或者被摄体的视觉识别性，生成实现了用户期望的显示的带评论运动图像。
用于解决问题的手段
为了达到上述目的，本发明一个方式的带评论运动图像生成装置具有：数据取得部，从动画服务器取得运动图像，从评论信息蓄积服务器取得与所述运动图像对应的评论、和包括表示所述评论的评论区域在所述运动图像上的显示时刻及显示位置的评论信息；输入受理部，受理包括所述运动图像上的基于用户的指示时刻及指示位置在内的用户信息的输入；显示优先度计算部，根据表示各评论与被赋予了各评论的被摄体区域的对应关系的对应信息、和所述用户信息，计算所述评论区域和所述被摄体区域的显示优先度，以便使与所述指示时刻及所述指示位置对应的评论区域或者被摄体区域的显示优先度为最高，使与所述用户信息所包含的所述指示时刻及所述指示位置对应的被赋予了评论区域的评论的被摄体区域、或者对与所述用户信息所包含的所述指示时刻及所述指示位置对应的被摄体区域赋予的评论的评论区域的显示优先度，仅次于所述显示优先度为最高的所述评论区域或者所述被摄体区域；评论叠加方法决定部，决定评论区域的叠加方法，以便使所述显示优先度计算部计算出的所述显示优先度越高的所述评论区域及所述被摄体区域，在被显示于图像显示部时被叠加在越上方；图像合成部，按照所述评论叠加方法决定部决定的所述评论区域的叠加方法，生成在所述运动图像上合成了多个评论区域的带评论运动图像；以及图像输出部，输出由所述图像合成部生成的所述带评论运动图像，所述图像输出部将与位于所述用户信息所表示的所述指示位置的区域即用户选择区域对应的被摄体区域以及对所述被摄体区域赋予的评论的评论区域、或者与所述用户选择区域对应的评论区域及被赋予了所述评论区域的评论的被摄体区域，在所述图像显示部中，叠加显示在其它被摄体区域及对该其它被摄体区域赋予的评论的评论区域的上方。
另外，这些总括的或者具体的方式也可以以系统、方法、集成电路、计算机程序或者计算机可读的CD-ROM等记录介质来实现，还可以以系统、方法、集成电路、计算机程序及记录介质的任意组合来实现。
发明效果
根据本发明，能够生成能够提高视觉识别性的运动图像、而且是被叠加了评论区域的运动图像。
附图说明
图1是表示实施方式1的运动图像分发系统的结构例的图。
图2A是表示针对运动图像的评论赋予的时间性推移的图。
图2B是表示时间的推移与所显示的评论的关系的图。
图3是表示包括带评论运动图像生成装置的运动图像分发系统的整体结构例的图。
图4是表示包括带评论运动图像生成装置的运动图像分发系统的整体结构的另一例的图。
图5A是表示评论信息蓄积服务器蓄积的数据的示例的图。
图5B是表示用户ID信息服务器蓄积的数据的示例的图。
图5C是表示被摄体区域信息服务器蓄积的数据的示例的图。
图5D是表示动画服务器蓄积的数据的示例的图。
图6是表示本发明的实施方式1的带评论运动图像生成装置的结构的框图。
图7A是表示由计算机构成的带评论运动图像生成装置的硬件结构的图。
图7B是表示由计算机构成的带评论运动图像生成装置的硬件结构的图。
图8是表示带评论运动图像生成装置的动作步骤的流程图。
图9A是表示运动图像的一例的图。
图9B是表示运动图像中的被摄体区域的一例的图。
图10A是示意地表示由数据取得部取得的被摄体区域信息的图。
图10B是表示被摄体区域信息的数据结构的示例的图。
图11A是示意地表示由数据取得部取得的评论信息中的评论区域的图。
图11B是表示评论信息的数据结构的示例的图。
图12是表示不同的用户按照时间序列输入评论的状态的图。
图13是表示通过在触摸屏上的输入，由用户输入受理部受理的用户信息的一例的图。
图14是用于说明评论区域和被摄体区域的叠加的概念的图。
图15是表示暂时停止显示评论区域的显示例的图。
图16是表示将多个评论区域整合为一个评论区域进行显示的显示例的图。
图17是表示暂时将评论区域设为不显示状态进行显示的显示例的图。
图18是表示透视显示评论区域的显示例的图。
图19是用于说明用户的指定与显示优先度的关系的图。
图20是显示优先度计算部执行的处理的流程图。
图21A是示出被摄体区域信息所表示的被摄体区域的图。
图21B是表示通常的带评论运动图像的显示例的图。
图21C是表示选择了被摄体区域时的运动图像的显示例的图。
图21D是表示选择了评论区域时的运动图像的显示例的图。
图21E是表示选择了被摄体区域和评论区域时的运动图像的显示例的图。
图21F是表示选择了背景除外的所有被摄体区域时的运动图像的显示例的图。
图22是表示具有用户信息取得部的带评论运动图像生成装置的结构的框图。
图23是表示随着用户在因特网上的活动而形成的评论区域和被摄体区域的叠加顺序的变化的图。
图24是表示每当视听运动图像时即被更新的、评论区域和被摄体区域的叠加顺序及运动图像的视听履历的图。
图25A是表示实施方式1或者2的带评论运动图像生成装置生成的追随运动的评论的概念的图。
图25B是表示实施方式1或者2的带评论运动图像生成装置生成的追随运动的评论的概念的图。
图26是表示执行了快进/预览/回倒/跳跃等视听方法时的评论区域的显示例的图。
图27是表示实施方式2的运动图像分发系统的结构例的图。
图28是表示实施方式2的带评论运动图像生成装置的结构的框图。
图29A是表示具有输入装置和输入支持装置的系统的结构的框图。
图29B是输入支持装置执行的处理的流程图。
图30A是表示用于从运动图像的视听状态转入评论的输入状态的步骤的图。
图30B是表示评论的输入状态下的画面显示例的图。
图31是表示实施方式3的带评论运动图像生成装置的结构的框图。
图32是表示实施方式3的运动图像分发系统的结构例的图。
图33是表示实施方式3的带评论运动图像生成装置的应用场景的示例的图。
图34是表示利用实施方式3的带评论运动图像生成装置的用户与被摄体的位置关系的图。
具体实施方式
（作为本发明的基础的认识）
关于在“背景技术”部分中记载的过去的评论叠加方法，本发明者发现会发生以下的问题。
在专利文献1中记载的系统是具有动画服务器和评论分发服务器的系统，各用户通过网络而写入的评论首先被蓄积在评论分发服务器中，被叠加在运动图像上进行分发。每当分发及再现运动图像时由用户重新写入的评论，与实际的用户评论时刻一起，以沿着影像时间轴的形式在评论分发服务器中进行管理。被写入运动图像中的评论例如与用户评论时刻的新旧无关，在未来的分发中以沿着影像时间轴的形式进行分发。在专利文献1的服务中，针对特定场景，评论区域时常是集中的，在同一画面上产生多个评论区域。作为用于在这种情况下使评论区域彼此不叠加的研究，例如公开了如下内容：根据评论的字符数调整在画面上的评论区域的移动速度，以及在新的评论区域与旧的评论区域叠加时变更旧的评论区域的显示位置等。
在专利文献1中评论是字符信息，而在专利文献2中披露了用户能够进行手写评论的投稿的系统。在多个手写评论的评论区域之间、或者在对象运动图像中的部分影像区域（根据明暗、色彩、对比度等而区分的区域）与手写评论的评论区域之间有接触的情况下，根据用户指示来选择表示冲突的图像效果进行显示。
另外，在专利文献3中公开了能够利用发言圈在运动图像上合成显示字符符数据的聊天系统。以使通过聊天而产生的发言圈、不遮挡过去的发言圈或在某个背景图像上的规定位置分别配置及合成的多个用户的人脸图像的方式，决定发言圈的显示方法及显示位置。
另外，也提出了不通过因特网即对运动图像附加字符信息的方法。
在专利文献4中公开了在拍摄到的运动图像上显示附加数据的电影设备。例如，提出了利用字符或发言圈等显示附加数据，并使其显示位置根据运动图像中的物体移动而变化的方法。
另外，在专利文献5中同样公开了从便携式终端向个人保有的内容输入字符或图案信息的方法。作为功能之一提出了如下的功能：针对用户手动指定的物体框，使用框内的MPEG（Moving Picture Experts Group：运动图像专家组）的运动向量，赋予使字符信息及图案信息追随物体而移动的视觉效果。
如以上所述提出了对运动图像插入评论的方法，而在本公开中尤其着重于内容分发者分发的运动图像或个人保有的内容中的许多内容（下面称为“实际图像内容”）在场景中包含多个物体（被摄体）的情况。过去，在通过在这种实际图像内容上的评论而进行的交流中，生成不遮挡对于用户而言比较重要的评论或被摄体的带评论运动图像，尤其是在多个评论区域和多个物体同时存在时是很困难的。
在专利文献1中公开了防止评论区域彼此的叠加的研究，但是未能解决叠加了评论区域的运动图像自身非常不易观察的问题。尤其是不考虑运动图像中的物体位置即进行评论区域显示，因而导致位于运动图像中的物体中、例如用户觉得不想隐藏的物体的视觉识别性下降。
在专利文献2中，将运动与背景相对不同的部分影像视为运动图像中的物体，这些物体对多个评论区域产生作用。但是，没有具体记载在存在多个物体时生成部分影像的方法。并且，在评论区域和物体接触后，通过评论区域“紧贴”在物体外部的动作，能够保持该物体的视觉识别性，但是由于不考虑与其它物体的关系，因而导致其它物体的视觉识别性下降。
另一方面，在专利文献3中记述了针对表示聊天成员的多个物体配置多个发言圈的方法，但是以物体被合成在规定的位置为前提，不能应用于实际图像内容中。
在专利文献4和5中也记述了追随物体的发言圈的显示、或者考虑了物体的运动的发言圈的显示，但是都没有记述考虑到多个物体的区域信息的发言圈（评论区域）的显示方法。
为了解决这种问题，本发明的一个方式的带评论运动图像生成装置具有：数据取得部，从动画服务器取得运动图像，从评论信息蓄积服务器取得与所述运动图像对应的评论、和包括表示所述评论的评论区域在所述运动图像上的显示时刻及显示位置的评论信息；输入受理部，受理包括所述运动图像上的基于用户的指示时刻及指示位置在内的用户信息的输入；显示优先度计算部，根据表示各评论与被赋予了各评论的被摄体区域的对应关系的对应信息、和所述用户信息，计算所述评论区域和所述被摄体区域的显示优先度，以便使与所述指示时刻及所述指示位置对应的评论区域或者被摄体区域的显示优先度为最高，使与所述用户信息所包含的所述指示时刻及所述指示位置对应的被赋予了评论区域的评论的被摄体区域、或者对与所述用户信息所包含的所述指示时刻及所述指示位置对应的被摄体区域赋予的评论的评论区域的显示优先度，仅次于所述显示优先度为最高的所述评论区域或者所述被摄体区域；评论叠加方法决定部，决定评论区域的叠加方法，以便使所述显示优先度计算部计算出的所述显示优先度越高的所述评论区域及所述被摄体区域，在被显示于图像显示部时被叠加在越上方；图像合成部，按照所述评论叠加方法决定部决定的所述评论区域的叠加方法，生成在所述运动图像上合成了多个评论区域的带评论运动图像；以及图像输出部，输出由所述图像合成部生成的所述带评论运动图像，所述图像输出部将与位于所述用户信息所表示的所述指示位置的区域即用户选择区域对应的被摄体区域以及对所述被摄体区域赋予的评论的评论区域、或者与所述用户选择区域对应的评论区域及被赋予了所述评论区域的评论的被摄体区域，在所述图像显示部中，叠加显示在其它被摄体区域及对该其它被摄体区域赋予的评论的评论区域的上方。
根据这种结构，计算与用户信息所包含的指示时刻及指示坐标、即根据浏览运动图像的用户的输入而制定的时刻及坐标对应的评论区域或者被摄体区域的显示优先度，并使该显示优先度高于其它区域的显示优先度，根据计算出的显示优先度，生成将所赋予的评论的评论区域叠加合成在运动图像（运动图像数据）上的图像。由此，对于特定的被摄体区域或评论区域，在其上方叠加显示评论区域，对于其它的例如按照用户输入而指定的对于用户而言比较重要的特定的评论的评论区域或被摄体区域，不在该评论区域或被摄体区域的上方叠加其它的评论区域（例如叠加在下方等），由此防止对于用户而言比较重要的评论或被摄体区域的视觉识别性下降，能够实现用户期望的显示状态。因此，对于被叠加显示有评论区域的运动图像（下面称为带评论运动图像），能够生成提高了用户不想隐藏的评论或者被摄体的视觉识别性的运动图像。
另外，由于事前准备了各评论对应哪个被摄体区域的信息，因而能够生成诸如这样的带评论运动图像，即与用户输入所包含的运动图像中的用户输入时刻及坐标对应的被摄体区域或者评论区域被叠加显示在更上方。
例如，也可以是，所述评论叠加方法决定部还对于除与所述用户信息所包含的所述指示时刻及所述指示位置对应的评论区域或者对与所述指示时刻及所述指示位置对应的被摄体区域赋予的评论的评论区域以外的、所述多个评论区域，根据被摄体区域在该帧中的前后关系信息决定评论区域的叠加方法，以便将对位于较前方的被摄体区域赋予的评论的评论区域、叠加在位于较后方的被摄体以及对该被摄体赋予的评论的评论区域的上方，在所述图像显示部中，对于除与所述用户信息所包含的所述指示时刻及所述指示位置对应的评论区域或者对与所述指示时刻及所述指示位置对应的被摄体区域赋予的评论的评论区域以外的、所述多个评论区域，根据被摄体区域在该帧中的前后关系信息，将对位于较前方的被摄体区域赋予的评论的评论区域叠加显示在位于较后方的被摄体以及对该被摄体赋予的评论的评论区域的上方。
根据这种结构，对于用户指定的被摄体区域以外的被摄体区域，能够实现在评论区域的前后关系中也体现了被摄体区域的前后关系的带评论运动图像。
另外，也可以是，所述显示优先度计算部还对于所述评论信息中所包含的所述显示时刻越晚的评论或者表示该评论被投稿的实际时刻的投稿时刻越晚的评论，越提高该评论的评论区域的显示优先度，所述评论叠加方法决定部根据所述显示优先度决定叠加方法，以便对所述评论信息中所包含的所述显示时刻越晚的评论或者表示该评论被投稿的实际时刻的投稿时刻越晚的评论，将该评论的评论区域叠加在越上方，在所述图像显示部中，所述评论信息中所包含的所述显示时刻越晚的评论或者表示该评论被投稿的实际时刻的投稿时刻越晚的评论，该评论的评论区域被叠加显示在越上方。
根据这种结构，对于用户指定的评论以外的评论，能够生成将显示时刻或者投稿时刻越晚的评论的评论区域叠加显示在越上方的带评论运动图像。
另外，也可以是，所述带评论运动图像生成装置还具有从用户ID信息服务器取得用户信息的用户信息取得部，当用户正在视听所述运动图像的过程中、所述用户ID信息服务器上的用户ID信息被变更时，所述显示优先度计算部还根据新的用户ID信息重新计算所述评论区域及所述被摄体区域的显示优先度。
根据这种结构，即使用户不对运动图像进行直接指定，也能够进行体现了用户的喜好变化的显示。
另外，也可以是，为了对在被摄体区域和评论区域之间或者在评论区域彼此间产生叠加的像素进行半透明状的透视显示，所述评论叠加方法决定部还根据所述显示优先度计算部计算出的所述各像素所属的两个区域间的显示优先度的比率，计算所述叠加的各像素的透视度，所述评论叠加方法决定部根据所述计算出的所述透视度决定评论区域的叠加方法，使得被叠加在越上方的区域越降低透视度地进行显示，以便将评论区域和被摄体区域合成。
根据这种结构，对于在评论区域和其它评论区域之间或者在评论区域和被摄体区域之间产生了叠加的像素，能够赋予诸如能够彼此透视地观察的显示效果。
另外，也可以是，所述评论叠加方法决定部还根据记述被摄体区域之间的遮挡关系的信息决定所述评论区域的叠加方法，以便使在处于遮挡关系的被摄体区域之间，在从遮挡开始到遮挡结束的期间，使与各被摄体区域对应的评论的评论区域在遮挡开始前的位置暂时停止，在遮挡结束后将该暂时停止解除，并使各评论区域追随被摄体区域，在所述图像显示部中，在处于遮挡关系的被摄体区域之间，在从遮挡开始到遮挡结束的期间，与各被摄体区域对应的评论的评论区域在遮挡开始前的位置暂时停止显示，而在遮挡结束后该暂时停止被解除，使各评论区域追随被摄体区域而显示。
根据这种结构，对于想要观察对处于遮挡关系的被摄体双方赋予的评论的用户而言，能够进行某一方的评论区域不被另一方的评论区域遮挡、而且不繁杂的评论显示。
另外，也可以是，所述评论叠加方法决定部还根据记述被摄体区域之间的遮挡关系的信息决定所述评论区域的叠加方法，以便使在处于遮挡关系的被摄体区域之间，在从遮挡开始到遮挡结束的期间，将赋予给各被摄体区域的评论叠加在整合为一个发言圈的评论区域，在遮挡结束后将所述整合为一个发言圈的评论区域再次分离为各个发言圈的评论区域，并使各评论区域追随被摄体区域，在所述图像显示部中，在处于遮挡关系的被摄体区域之间，在从遮挡开始到遮挡结束的期间，对各被摄体区域赋予的评论作为被整合为一个发言圈的评论区域进行显示，而在遮挡结束后，所述整合为一个发言圈的评论区域被再次分离为各个发言圈的评论区域，并使各评论区域分别追随被摄体区域而显示。
根据这种结构，能够进一步强调被赋予了该评论的被摄体彼此处于暂时遮挡的关系，而且进行不繁杂的评论显示。
另外，也可以是，所述评论叠加方法决定部还根据记述被摄体区域之间的遮挡关系的信息决定所述评论区域的叠加方法，以便使在处于遮挡关系的被摄体区域之间，在从遮挡开始到遮挡结束的期间，仅叠加与位于更接近于拍摄了所述运动图像的摄像机的位置的被摄体区域、而且是进行遮挡的一侧的被摄体区域对应的评论的评论区域，而在遮挡结束后叠加所有的评论区域，在所述图像显示部中，在处于遮挡关系的被摄体区域之间，在从遮挡开始到遮挡结束的期间，仅显示与位于更接近于拍摄了所述运动图像的摄像机的位置的被摄体区域、而且是进行遮挡的一侧的被摄体区域对应的评论的评论区域，而在遮挡结束后再次开始所有评论区域的显示。
根据这种结构，能够进一步强调被摄体之间在实际场景中的前后关系，而且进行不繁杂的评论显示。
另外，也可以是，所述评论叠加方法决定部还决定所述评论区域的叠加方法及叠加时的透视度，以便使与所述进行遮挡的一侧的被摄体区域对应的评论的评论区域进行半透明状显示，而在遮挡结束后以非半透明的显示形式显示所有的评论区域，在所述图像显示部中，使与所述进行遮挡的一侧的被摄体区域对应的评论的评论区域显示为半透明状，而在遮挡结束后以非半透明的显示形式再次开始所有评论区域的显示。
根据这种结构，能够进一步强调被赋予了该评论的被摄体彼此处于暂时遮挡的关系，而且进行不繁杂的评论显示。
另外，也可以是，所述评论叠加方法决定部还决定所述评论区域的叠加方法，以便使在对所述带评论运动图像执行包括快进、预览、回倒或者跳跃的通常再现以外的视听方法的期间，仅将存在于各帧中的多个评论区域中在通常再现时叠加显示在最上位的评论区域、叠加显示在所述运动图像上，在所述图像显示部中，在执行包括快进、预览、回倒或者跳跃的通常再现以外的视听方法的期间，存在于各帧中的多个评论区域中、只有在通常再现时叠加在最上位的评论区域，被叠加显示在所述运动图像上。
根据这种结构，在快进/回倒这种用户对每1帧的信息处理花费的时间较短的情况下，仅显示重要的评论，由此能够进行体现了用户的喜好、而且用户在短时间内容易判定阅读及理解的评论显示。
另外，也可以是，用户信息取得部还取得在用户ID信息服务器或者外部保存的用户的视听履历，在用户再次视听过去已视听过的带评论运动图像时，所述显示优先度计算部还将在前一次视听时被叠加在最上方的区域的显示优先度设为最下位，在所述图像显示部中，在用户再次视听过去已视听过的带评论运动图像时，在前一次视听时被叠加显示在最上位的评论区域被叠加显示在最后方。
根据这种结构，每当观察运动图像时所显示的评论区域的前后关系即被关系，因而即使是针对同一用户的同一运动图像，也能够生成及呈现每次的叠加显示不同的带评论运动图像。
另外，也可以是，所述显示优先度计算部还对于所述多个评论，分别根据所述评论信息所表示的该评论的显示位置，计算表示该评论被赋予给哪个被摄体区域的对应信息，根据所述计算出的对应信息计算所述评论及所述被摄体区域的显示优先度，以便使与所述用户信息所包含的所述指示时刻及所述指示位置对应的被赋予了评论的被摄体区域、或者对与所述运动图像中的所述用户信息所包含的所述指示时刻及所述指示位置对应的被摄体区域赋予的评论的显示优先度，仅次于与所述用户信息所包含的所述指示时刻及所述指示位置对应的评论区域或者被摄体区域的显示优先度。
根据这种结构，即使是为了计算评论区域和被摄体区域的对应信息而无法事前得到对应信息的情况下，也能够生成诸如这样的带评论运动图像，即与用户输入所包含的运动图像中的用户输入时刻及坐标对应的被摄体区域或者评论区域被叠加显示在更上方。
另外，也可以是，所述评论信息还包括对于所述多个评论分别示出在进行该评论显示时使用的发言圈的显示位置及形状的信息，所述显示优先度计算部对于所述多个评论，分别根据示出所述评论信息所表示的所述发言圈的显示位置及形状的信息，计算表示该评论被赋予给哪个被摄体区域的对应信息，根据所述计算出的对应信息计算所述评论及所述被摄体区域的显示优先度，以便使与所述用户信息所包含的所述指示时刻及所述指示位置对应的被赋予了评论的被摄体区域、或者对与所述运动图像中的所述用户信息所包含的所述指示时刻及所述指示位置对应的被摄体区域赋予的评论的显示优先度，仅次于与所述用户信息所包含的所述指示时刻及所述指示位置对应的评论区域或者被摄体区域的显示优先度。
根据这种结构，在用户指定了被摄体区域的情况下，能够生成诸如这样的带评论运动图像，即对所指定的被摄体区域赋予的评论的评论区域被叠加显示在其它被摄体区域或评论区域的上方。
另外，也可以是，当存在与所述用户信息所包含的所述指示时刻及所述指示位置对应的评论的情况下，所述显示优先度计算部计算所述评论及所述被摄体区域的显示优先度，以便使除该评论以外的所有评论的显示优先度比所有被摄体区域的显示优先度低，当不存在与所述用户信息所包含的所述指示时刻及所述指示位置对应的评论的情况下，所述显示优先度计算部计算所述评论及所述被摄体区域的显示优先度，以便使所有评论的显示优先度比所有被摄体区域的显示优先度低。
根据这种结构，能够在除用户指定的评论以外的所有评论的上方叠加显示被摄体。
另外，也可以是，当存在与所述用户信息所包含的所述指示时刻及所述指示位置对应的被摄体区域的情况下，所述显示优先度计算部计算所述评论及所述被摄体区域的显示优先度，以便使除该被摄体区域以外的所有被摄体区域的显示优先度比所有评论的显示优先度低，当不存在与所述用户信息所包含的所述指示时刻及所述指示位置对应的被摄体区域的情况下，所述显示优先度计算部计算所述评论及所述被摄体区域的显示优先度，以便使所有被摄体区域的显示优先度比所有评论的显示优先度低。
根据这种结构，能够进行诸如评论区域被夹在用户指定的被摄体区域和其它被摄体区域之间的显示。
另外，也可以是，所述显示优先度计算部对于包括与所述用户信息所包含的所述指示时刻及所述指示位置对应的评论、和所述评论的投稿人投稿的所述评论以外的评论在内的多个评论，计算所述多个评论的显示优先度，以便使该多个评论的显示优先度比所述投稿人以外的投稿人的评论的显示优先度高。
根据这种结构，对于用户指定的评论的投稿人投稿的其它评论，能够在不需要用户每次在画面上进行指定的情况下叠加显示在更上方。
另外，也可以是，所述带评论运动图像生成装置还具有被摄体区域信息生成部，通过根据所述运动图像进行区域分割，生成表示所述运动图像中所包含的被摄体区域的被摄体区域信息。
在通常的运动图像中，往往不会事前准备与该运动图像中所包含的被摄体区域相关的信息，但根据这种结构，即使是被摄体区域未知的情况下，也能够将进行区域分割并检测被摄体区域信息的结果用作被摄体区域信息。
另外，也可以是，对于用户在运动图像中重新追加评论的情况，在追加评论之前推定该用户进行评论的可能性比较大的被摄体区域/评论区域，并以叠加显示的上方的方式变更显示状态。根据这种结构，作为输入支持装置，能够对用户进行评论的可能性大的区域进行诸如用户容易指定的显示。
另外，本发明的另一个方式的带评论运动图像生成装置具有：被摄体区域信息生成部，从便携式终端取得由摄像机拍摄的运动图像，根据所取得的所述运动图像进行区域分割，由此生成表示所述运动图像中所包含的多个被摄体区域的被摄体区域信息，所述便携式终端具有：拍摄用户的前方的所述摄像机、设置在所述用户能够视觉识别的位置的显示器、GPS（Global Positioning System：全球定位系统）以及罗盘仪；数据取得部，取得包括位于自用户起的一定范围内的多个其它便携式终端的GPS信息、和与所述多个其它便携式终端一对一对应的多个评论在内的评论信息；输入受理部，受理包括所述运动图像上的指示位置在内的用户信息的输入；评论位置推定部，根据所述用户的便携式终端及所述多个其它便携式终端的GPS信息、和所述用户的便携式终端的罗盘仪信息，计算所述多个其它便携式终端在所述运动图像上的位置，根据所计算出的所述多个其它便携式终端的位置，将具有各个其它便携式终端的被摄体的被摄体区域、与所述数据取得部取得的所述评论信息中所包含的评论相对应；显示优先度计算部，根据所述评论信息和所述用户信息计算被叠加显示在所述运动图像中的所述多个评论区域以及所述运动图像中的所述多个被摄体区域的显示优先度，以便使与位于所述用户信息所表示的显示位置的被摄体区域对应的评论的评论区域的显示优先度，比其它被摄体区域或者其它评论区域的显示优先度高；评论叠加方法决定部，作为所述多个评论区域在所述运动图像上的叠加方法，按照所述显示优先度计算部计算出的所述显示优先度决定所述多个评论区域及所述多个被摄体区域的显示顺序，以便使所述显示优先度越高的评论区域或者被摄体区域被显示在越前面，或者按照所述显示优先度计算部计算出的所述显示优先度决定所述多个评论区域及所述多个被摄体区域的显示时的透视度，以便使所述显示优先度越高的评论区域或者被摄体区域的透视度越低；图像合成部，按照所述评论叠加方法决定部决定的所述多个评论区域的叠加方法，将所述多个评论区域叠加在所述运动图像上；以及图像输出部，输出通过所述图像合成部叠加了所述多个评论区域的所述运动图像。
根据这种结构，在如AR（Augmented Reality）技术那样显示有与用户拍摄的运动图像中的被摄体对应的评论的情况下，能够生成及显示诸如与用户指定的被摄体区域对应的评论区域不被其它评论区域遮挡的带评论运动图像。
另外，这些总括的或者具体的方式也可以以系统、方法、集成电路、计算机程序或者计算机可读的CD-ROM等记录介质来实现，还可以以系统、方法、集成电路、计算机程序及记录介质的任意组合来实现。
下面，关于本发明的实施方式，使用附图进行详细说明。另外，下面说明的实施方式都是用来本发明的优选的一个具体示例。在下面的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置及连接方式、步骤、步骤的顺序等仅是一例，其主旨不是限定本发明。并且，关于下面的实施方式的构成要素中、没有在表示最上位概念的独立权利要求中记载的构成要素，仅是作为任意的构成要素进行说明。
（实施方式1）
图1表示在本实施方式中作为对象的运动图像分发系统的简单的结构例。与专利文献1相同地，具有动画服务器、评论信息蓄积服务器、用户ID信息服务器和区域信息服务器。各服务器都可以在相同的PC（PersonalComputer）中进行管理，也可以在不同的PC中进行管理。
图1所示的用户A～D通过网络浏览对各用户持有的终端（智能电话、PC或者平板PC等）分发的运动图像。在此，示出了用户A、用户B通过终端具备的键盘或软键盘等对运动图像赋予评论的示例。在此，评论是字符信息，是对应用户指定的运动图像中的时间性位置（即期望的时间及帧号码）以及空间性位置（即坐标）而赋予给运动图像的。另外，在下面的说明中，在采用运动图像这种词语的情况下，假设是指运动图像数据或者运动图像数据所表示的运动图像其本身中的任一方。
用户赋予的评论与被赋予了该评论的运动图像、该用户的用户ID、该评论所对应的（运动图像中的）时刻及坐标、该评论被投稿的实际时刻等信息一起，被随时蓄积在评论信息蓄积服务器中。并且，在用户A和用户B对某个运动图像赋予评论后，在其他的用户C和用户D视听了该运动图像时，与对应该运动图像的其它评论相同地，从评论信息蓄积服务器分发用户A和用户B的评论。并且，根据与所述评论对应的信息（在运动图像中经过的时间即动画时刻和坐标等），将评论合成在运动图像上。由此，实现在运动图像上叠加评论的显示。在以上的处理中，关于怎样显示各评论，与进行评论的实际时刻（评论的投稿时刻）及评论在运动图像中的显示时刻密切相关。
图2A表示运动图像中的时间的推移与所显示的评论的关系。在此，使用用户A、用户B对运动图像进行评论赋予的示例来说明评论赋予及显示的流程。各评论的评论长度可以由用户指定，也可以设为预先设定的长度（例如，2秒钟等）。另外，关于时间的单位，在下面是使用“秒”，但也可以使用“帧数”取代秒。
根据图2A，在运动图像上的时刻SA秒～EA秒期间显示用户A的评论，在SB秒～EB秒期间显示用户B的评论。因此，在视听该运动图像时，在SA秒～SB秒的期间显示用户A的评论，在SB秒～EA秒的期间显示用户A和用户B双方的评论，在EA秒～EB秒的期间显示用户B的评论。
另外，图2B表示实际的日期时间的推移与所显示的评论的关系。在用户A赋予（写入）评论后、用户B赋予（写入）评论之前视听了运动图像的用户D只能观察到用户A的评论。另一方面，用户C是在用户A和用户B赋予（写入）评论后视听运动图像，因而能够观察双方的评论。
另外，为了容易观察到在动画时刻及实际时刻之后赋予的评论，往往将该评论的评论区域叠加合成在更上方。
图3是表示包括带评论运动图像生成装置的运动图像分发系统的简单结构的图。带评论运动图像生成装置100通过网络向各个人的终端分发带评论运动图像。并且，带评论运动图像生成装置100通过网络从各服务器及各终端取得所赋予的评论、和输入了评论的用户的信息。
另外，本实施方式的带评论运动图像生成装置也可以通过在每个人的终端内具备该功能来实现。图4表示其示例。在该结构中，带评论运动图像生成装置100通过网络从各服务器取得信息，通过在终端内部的处理，实现带评论运动图像在终端上的显示。
图5A～图5D表示由评论信息蓄积服务器、用户ID信息服务器、被摄体区域信息服务器及动画服务器蓄积的数据的示例。在各服务器中分别存储有用于将各评论与运动图像及被摄体区域相对应所需要的信息。在本实施方式中，在决定评论的叠加方法时使用这些信息。关于所述信息的详细情况以及决定评论叠加方法的方法的详细情况，将在后面进行说明。
图6表示实施方式1的带评论运动图像生成装置100的结构。带评论运动图像生成装置100具有评论叠加信息生成部101、图像合成部102、和图像输出部103。带评论运动图像生成装置100根据运动图像110、被摄体区域信息111、评论信息112及用户信息113，生成带评论运动图像并输出给显示器120（构成图像显示部）。显示器120显示从带评论运动图像生成装置100输出的带评论运动图像。运动图像110、被摄体区域信息111及评论信息112分别被存储在前述的动画服务器、评论信息蓄积服务器及被摄体区域信息服务器中，评论叠加信息生成部101通过网络等通信路径取得这些信息。另外，被存储在评论信息蓄积服务器中的评论信息112，每当其它用户进行评论赋予时即被顺序地蓄积，其内容也随着时间的经过而变化。
评论叠加信息生成部101根据运动图像110、被摄体区域信息111、评论信息112及用户信息113，决定在运动图像上怎样显示应该在各动画时刻显示的评论。图像合成部102根据由评论叠加信息生成部101决定的评论的显示方法，生成将运动图像和评论进行合成后的带评论运动图像。图像输出部103将由图像合成部102合成后的带评论运动图像输出给显示器120。
评论叠加信息生成部101具有数据取得部104、输入受理部105、显示优先度计算部106及评论叠加方法决定部107。
数据取得部104从各服务器取得运动图像110、被摄体区域信息111及评论信息112。数据取得部104也可以是直接或者通过通信路径读出在动画服务器中存储的运动图像110的界面。
在此，被摄体区域信息111包括表示运动图像中的各被摄体的区域分割的结果的区域分割信息、和多个被摄体区域之间的前后关系的信息。并且，评论信息112包括对运动图像110赋予的评论（字符信息）、赋予了评论的动画时刻和评论坐标、实际时刻（图5A的“评论赋予时间”）、及评论形状等评论区域信息。
输入受理部105从浏览运动图像的用户使用的终端，受理包括通过用户输入而指定的时刻及坐标即指示时刻及指示坐标的用户信息113。输入受理部105例如可以是这样的界面，即直接或者通过通信路径读出对鼠标或对触摸屏进行了触摸等用户输入的运动图像110上的指示时刻和指示坐标，作为用户信息113所包含的信息。
显示优先度计算部106根据从数据取得部104和输入受理部105取得的信息，计算在运动图像110中的评论和被摄体的显示优先度。显示优先度计算部106实现如下的带评论运动图像生成，即，使与输入受理部105受理的用户信息113所包含的指示时刻及指示坐标对应的评论区域或者被摄体区域不会被其它评论区域遮挡。因此，显示优先度计算部106根据由数据取得部104取得的所述被摄体区域信息111、评论信息112和用户信息113计算显示优先度，使得用户选择的、即与指示时刻及指示坐标对应的区域的显示优先度高于其它区域的显示优先度。并且，在有可能被同时显示的多个评论之间，预先设定用于提高新的评论的评论区域的显示优先度等规则，根据所设定的规则计算所有的评论区域和被摄体区域的显示优先度。
评论叠加方法决定部107根据计算出的显示优先度，决定在运动图像110上叠加评论区域的方法。评论叠加方法决定部107根据由所述显示优先度计算部106计算出的显示优先度，决定运动图像110中的被摄体区域和评论区域的叠加方法。尤其是，通过将显示优先度较高的区域（评论区域或者被摄体区域）叠加在更上方，防止显示优先度较高的区域被显示优先度较低的其它区域遮挡。
图像合成部102根据评论叠加方法决定部107决定的评论的叠加方法，生成在运动图像110上合成了被摄体区域和评论区域的带评论运动图像。图像输出部103将由图像合成部102合成的所述带评论运动图像输出给显示器120等。
另外，在本说明书中，所谓“区域抽取”包括抽取某个特定的对象物所在的图像区域的检测技术、和对对象物不进行任何区分即分割图片中的区域的区域分割技术这两种情况，但由于检测技术和区域分割技术共同的部分比较多，因而在本说明书中不对两者进行区分。
另外，构成带评论运动图像生成装置100的各构成要素（评论叠加信息生成部101、图像合成部102、图像输出部103）可以以在计算机中执行的程序等软件来实现，也可以以电子电路或者集成电路等硬件来实现。图7A和图7B是表示由计算机构成的本实施方式的带评论运动图像生成装置100的硬件结构的图。图7A表示用于实现图3的运动图像分发系统中的带评论运动图像生成装置100的各构成要素，图7B表示用于实现图4的运动图像分发系统中的带评论运动图像生成装置100的各构成要素。上述两个示例仅是向显示器的输出路径不同，因而下面一并对结构进行说明。存储装置210存储运动图像110、被摄体区域信息111、评论信息112，并将它们输出给I/F201。计算机200取得运动图像110、被摄体区域信息111、评论信息112，进行带评论运动图像生成处理，并生成带评论运动图像。
显示器终端220a或者显示器220b取得由计算机200生成的图片并进行显示。计算机200包括I/F201、CPU202、ROM203、RAM204、HDD205和视频卡206。使计算机200进行动作的程序被预先保存在ROM203或者HDD205中。程序由作为处理器的CPU202从ROM203或者HDD205中读出到RAM204中并进行展开。CPU202执行被展开到RAM204中的程序中被代码化的各命令。I/F201根据程序的执行，将在存储装置210产生的用户输入取入到RAM204中。I/F201根据程序的执行，将运动图像110、被摄体区域信息111及评论信息112取入到RAM204中。视频卡206输出通过程序的执行而生成的带评论运动图像，显示器120显示该带评论运动图像。
另外，计算机程序不限于存储在作为半导体的ROM203或者HDD205中，也可以存储在例如CD-ROM中。并且，计算机程序也可以通过有线或无线的网络211、广播等进行传输，并取入到计算机的RAM204中。
下面，使用图8说明本实施方式的带评论运动图像生成装置100的动作。图8是表示本实施方式的带评论运动图像生成装置100的动作的流程图。
在图8中，7个步骤S301～S307分别对应于图6的各处理部101～107。即，评论叠加信息生成部101执行评论叠加信息生成步骤S301的各动作，图像合成部102执行图像合成步骤S302的各动作，图像输出部103执行图像输出步骤S303的各动作。并且，评论叠加信息生成步骤S301包括数据取得步骤S304、输入受理步骤S305、显示优先度计算步骤S06和评论叠加方法决定步骤S307这4个步骤。数据取得部104执行数据取得步骤S304的各动作，输入受理部105执行输入受理步骤S305的各动作，显示优先度计算部106执行显示优先度计算步骤S306的各动作，评论叠加方法决定部107执行评论叠加方法决定步骤S307的各动作。
首先，由评论叠加信息生成部101执行评论叠加信息生成步骤S301。评论叠加信息生成部101包括数据取得部104、输入受理部105、显示优先度计算部106及评论叠加方法决定部107，与其分别对应的评论叠加信息生成步骤S301包括数据取得步骤S304、输入受理步骤S305、显示优先度计算步骤S06和评论叠加方法决定步骤S307这4个步骤。
在数据取得步骤S304中，数据取得部104从存储装置取得运动图像110、被摄体区域信息111及评论信息112。
在本实施方式中，关于数据取得部104取得的运动图像110，假设为广播动画、或者用家庭电影拍摄的运动图像。这些运动图像110如前面所述被蓄积在动画服务器等中，数据取得部104通过有线或者无线的网络、广播等取得运动图像110。所取得的运动图像110的示例如图9A所示。在此示出了有关音乐的动画内容的示例，但作为本发明的对象的运动图像不限于此。另外，以后为了说明及附图的简化起见，对于在此示出的运动图像示例，使用如图9B那样表示被摄体区域信息的图。
另外，图10A是由数据取得部104取得的被摄体区域信息111的示意图，图10B是表示被摄体区域信息111的数据结构的示例的图。如前面所述，被摄体区域信息111包括运动图像中的各被摄体的区域分割信息、和多个被摄体区域之间的前后关系的信息。例如，作为与运动图像110对应的区域数据，假设如图10A所示能够得到背景的被摄体区域400、不同人物的被摄体区域401～403。在用箭头将各区域连接起来的矩形内示出了对应各区域的“区域信息”的示例。被摄体区域信息如在图10B示出的示例那样，具体地讲包括以下的信息。
（1）index：被摄体区域号码索引
（2）位置属性：表示同一帧内的多个被摄体之间的前后关系的信息（在本实施方式的示例中，对越接近摄像机的区域，赋予越小的值。）
（3）坐标：属于各索引的像素的坐标值
另外，图11A是由数据取得部104取得的评论信息112的评论区域的示意图，图11B是表示评论信息112的数据结构的示例的图。根据评论信息将各评论区域500～502显示在运动图像110上的示例如图11A所示。评论信息112具体地讲在图11B示出的示例那样，按照每个运动图像包括诸如以下的信息。
·动画名称（被作为评论赋予的对象的运动图像110的名称）
·显示时刻（在运动图像上的评论的显示开始时刻）
·评论（评论的字符串）
·投稿时刻（实际投稿评论的时间）
·用户（进行了评论的用户的ID）
·基点坐标（评论区域的基点位置的坐标）
·评论形状（评论区域的形状的信息）
·评论index（评论区域号码索引）
在图11A和图11B的示例中，根据评论信息112中评论index为“2”的记录，示出了将基点坐标（（x，y）=（200,200））作为基准点来显示评论区域500。并且，根据该记录的评论形状（normal1），决定评论区域500的形状及尺寸。由此，可知在运动图像110上的哪个帧中哪个区域被所述评论的区域遮挡。另外，也可以根据字符数改变评论形状和字体尺寸。
另外，在本实施方式中，例如预先将评论的显示时间长度设为00:00:05（秒），由于评论区域500的显示时刻为00:00:20，因而评论区域500被显示在运动图像110上的时刻（下面称为“动画时刻”）为00:00:20～00:00:25。在动画时刻00:00:20，评论区域501和评论区域502也仍在显示，因而显示有3个评论。由彼此不同的用户A、B、C进行评论的输入的示例如图12所示。随着动画时刻前进，显示用户A输入的评论的评论区域502、然后是显示用户B输入的评论的评论区域501、然后是显示用户C输入的评论的评论区域500按照该顺序被叠加在上方进行显示。
另外，被摄体区域是已知的。因此，例如对于某个显示时刻的评论，求出用矩形包围被赋予了评论的区域的矩形区域。并且，求出在所述某个显示时刻的所述矩形区域上的基点坐标的相对位置。另外，对于该显示时刻以后的帧，同样分别求出用矩形包围被赋予了评论的区域的矩形区域，并对各矩形区域求出诸如在所述显示时刻的基点坐标相对地持续位于矩形中的相同位置的基点坐标。通过这种处理的结果是，也可以实现诸如能够追随被赋予了评论的被摄体区域来观察所赋予的评论的显示。
另外，也可以是，预先将因每个评论而不同的显示时间长度包含在评论信息中进行保存，仅按照该显示时间长度来显示评论。无论在哪种情况下，通常在评论区域的个数为多个时，如图11A所示，产生被摄体区域401～403的显示受到妨碍、视觉识别性下降的情况。
再次参照图8，在步骤S305，输入受理部105通过用于受理鼠标或者触摸屏的输入的UI（用户界面）等，受理用户在视听时为了选择期望的区域而输入的用户信息113。用户信息113包括按照用户输入而指示的坐标（指示坐标）、以及进行输入的时刻（指示时刻），例如在触摸屏中，用户在某个时刻轻击（用手指叩击）与期望的被摄体区域相当的画面上的一点、或描画包围期望的被摄体区域的圆、或者在期望的被摄体区域上进行轻击等，由此进行用户信息113的输入。
输入受理部105也可以是这样的界面，即对于针对运动图像110进行的鼠标操作或者对触摸屏的触摸等，直接或者通过通信路径读出用户信息113所包含的指示时刻或者指示坐标。另外，用户的输入次数也可以不是一次，例如也可以是，通过分别在彼此不同的区域上触摸，能够选择多个物体。并且，也可以是，另外在运动图像显示画面上准备“画面内全选择”图标或者“动画内全选择”图标等，以方便用户选择位于某个画面内或者动画中的全部物体。
关于输入受理部105的示例，通过触摸屏进行用户信息113的输入的示例如图13所示。在这种情况下，取得用户指示的坐标（指示坐标）以及此时的运动图像110上的时刻（指示时刻）作为用户信息113，并由输入受理部105受理。另外，在后面的步骤中，通过核对区域分割信息与指示时刻及指示坐标，在该示例中能够得到“被摄体区域402被选择”这样的信息。
再次参照图8，在步骤S306，显示优先度计算部106根据被摄体区域信息111、评论信息112和用户信息113，计算评论和运动图像110中的被摄体区域的显示优先度。显示优先度计算部106决定针对各评论和各被摄体区域的显示优先度，以便实现诸如用户选择的区域（根据输入受理部105受理的所述用户信息113而求出的）不会被其它评论区域遮挡的带评论运动图像生成。关于在显示优先度计算部106计算各区域的显示优先度时作为基准的规则的一例，例如可以举出“根据数据取得部104取得的被摄体区域信息111、评论信息112和用户信息113，计算使用户选择区域的显示优先度高于其它区域的显示优先度，并在评论之间提高更新的评论的显示优先度”等。
显示优先度成为在后面的评论叠加方法决定部中决定评论（评论区域）的叠加方法的基准。图14表示基于显示优先度的评论叠加显示的示意图。在图14中示出了被摄体区域400～403和评论区域500～502。在此为了便于说明，将各评论被赋予给哪个被摄体区域的关系称为“对应”。区域500对应于被摄体区域401，评论区域501对应于被摄体区域402，评论区域502对应于被摄体区域403。评论和区域的对应信息被保存在评论信息112中。被摄体区域400～403和评论区域500～502各自的一部分相互叠加，而且仅显示叠加的区域之间的像素中被叠加在最上方的像素。
在图14的示例中，将显示优先度最低的背景区域（被摄体区域400）设为最后方，按照某种顺序以层构造状态叠加显示被摄体区域400～403和评论区域500～502。用于决定该显示顺序的是显示优先度P，显示优先度越低，被叠加在越后方，而且越不容易观察。即，图14是表示各区域的P为P401>P402>P501>P500>P403>P502>P400时的叠加显示例的图。因此，如果各区域的显示优先度P的大小的顺序变化，则各区域的叠加顺序也变化。例如，最简单地讲，在用户觉得不想遮挡的区域是被摄体区域401和被摄体区域402的情况下，通过使这些区域的显示优先度P高于其它区域，能够实现不遮挡这些区域的评论显示。
以后，在本公开中称为叠加的情况，是指这样在图像上的区域的叠加。显示优先度计算部106将在输入受理部105得到的用户信息113的坐标及时刻、与在数据取得部104得到的被摄体区域信息111进行核对，由此求出选择哪个区域。
另外，也可以是如图10B所示，“区域信息”还包括“区域属性”。区域属性是表示各被摄体区域是静止区域还是移动物区域的信息，在本实施方式中，对静止区域赋值0，对移动物区域赋值1。例如，在体育类的运动图像或者人物跳舞的运动图像等中，用户有可能选择的被摄体几乎都是移动物，因而通过具有如上所述的属性，能够更容易进行显示优先度的计算。即，也可以是，显示优先度计算部106将区域属性为0（静止区域）的区域视为背景区域，将显示优先度P始终设为最小。
另外，也可以是，“区域信息”包括表示被摄体区域之间在运动图像中的遮挡关系的信息。优选处于遮挡关系的被摄体区域的信息与动画时刻或者帧号码一并进行保存。例如，在图12的示例中所显示的运动图像中，可以针对动画时刻整体保存在动画时刻“00:00:19”被摄体C遮挡被摄体A这样的信息（被摄体的阿拉伯字母依据于图9）。
或者，也可以是，根据数据取得部104取得的区域信息计算表示同样的遮挡关系的信息。在这种情况下，在区域的边界附近计算运动向量，将属于各区域的运动向量较多地消失的区域、即当按照动画时刻关注于固定的时间段时较多的移动轨迹中断的区域，判定为在该时间段被非此类的区域遮挡等，由此能够求出遮挡关系。在事前没有表示遮挡关系的信息的情况下，通过计算能够得到遮挡信息。
通过使用如上所述取得的遮挡信息，能够实现容易观察对于用户而言比较重要的区域的运动图像。
例如，如图15（a）所示，对处于遮挡关系的被摄体赋予的接近的评论相互叠加着交错移动的情况，不能说是用户容易观察的显示。因此，评论叠加方法决定部107决定能够实现如下显示状态的叠加方法，即，使在处于遮挡关系的被摄体区域之间，在从遮挡开始到遮挡结束的期间，使与各被摄体区域对应的评论的评论区域在遮挡开始前的位置暂时停止，在遮挡结束后将该暂时停止解除，并再次开始评论的追随。由此，如图15（b）所示，在显示器120上显示有如下状态的带评论运动图像，即在处于遮挡关系的被摄体区域之间，在从遮挡开始到遮挡结束的期间，与各被摄体区域对应的评论的评论区域在遮挡开始前的位置暂时停止，在遮挡结束后再次开始评论的追随。在图15的示例中，设为在t=1时遮挡开始、在t=2时遮挡结束，能够得到在t=2时也保持在t=1时赋予给各被摄体的评论位置的显示。
通过进行如上所述的显示，尤其对于想要观察对处于遮挡关系的被摄体双方赋予的评论的用户而言，能够避免对被摄体双方赋予的评论中、赋予给一方被摄体的评论被赋予给另一方被摄体的评论遮挡的情况。因此，能够进行不繁杂而且容易观察的评论的显示。
另外，作为另一种解决方法，评论叠加方法决定部107决定能够实现如下显示的叠加方法，即，使在处于遮挡关系的被摄体区域之间，在从遮挡开始到遮挡结束的期间，进行诸如将对应各区域的评论整合为一个发言圈的显示，在遮挡结束后，将整合后的一个发言圈再分离为各个发言圈，并再次开始评论追随的显示。由此，如图16所示，在显示器120上显示有如下状态的带评论运动图像，即在处于遮挡关系的被摄体区域之间，在从遮挡开始到遮挡结束的期间，对应各区域的评论被整合为一个发言圈，在遮挡结束后，整合后的一个发言圈再被分离为各个发言圈，并再次开始评论追随。另外，评论叠加方法决定部107在进行发言圈的整合时，也可以在一个评论区域内排列显示左右两个评论，还可以排列显示上下两个评论。与图15相同地，在图16的示例中，也设为在t=1时遮挡开始、在t=2时遮挡结束，在这种情况下，简单地讲，可以在遮挡开始时的两个发言圈的中心位置显示将两个发言圈的面积进行合计后的尺寸的发言圈。另外，如图16（a）所示，也可以决定诸如能够得到仅使发言圈的前端追随被摄体区域的显示的叠加方法。或者，为了防止在被摄体区域的交错时发言圈的前端成为障碍，也可以如图16（b）所示，与图15（b）相同地，决定能够得到如下的显示的叠加方法，即在t=1时成为被整合的发言圈暂时停止的显示，并且一直保持到t=2时。
因此，对于想要观察对处于遮挡关系的被摄体双方赋予的评论的用户而言，能够进行不繁杂而且容易观察的显示。另外，能够进行诸如将被赋予了该评论的被摄体彼此暂时处于遮挡关系的情况、进一步强调地通知用户的显示。
另外，作为另一种解决方法，评论叠加方法决定部107决定能够实现如下显示的叠加方法，即，使在处于遮挡关系的被摄体区域之间，在从遮挡开始到遮挡结束的期间，仅显示与位于接近拍摄运动图像的摄像机的位置的被摄体区域、而且是进行遮挡的一侧的被摄体区域对应的评论，在遮挡结束后，再次开始所有评论的显示。由此，如图17所示，在处于遮挡关系的被摄体区域之间，在从遮挡开始到遮挡结束的期间，只有与位于接近拍摄运动图像的摄像机的位置的被摄体区域、而且是进行遮挡的一侧的被摄体区域对应的评论被显示在显示器120上，在遮挡结束后再次开始所有评论的显示（图17（b））。
与图17（a）所示的交错时的发言圈相比，在图17（b）中，能够进行更容易观察而且保持了被摄体之间在实际场景中的前后关系的、对于用户而言更直观的显示。
另外，如图18（a）所示，评论叠加方法决定部107也可以执行如下的显示方法，即在显示器120上，将与上述进行遮挡的一侧的被摄体区域对应的评论设为半透明状的显示，在遮挡结束后，如遮挡前那样以非半透明的显示形式再次开始所有评论的显示。
因此，与前面叙述的方法相同地，能够进行不繁杂、而且能够保持被摄体的视觉识别性的显示。
或者，也可以是，评论叠加方法决定部107决定能够得到如下的显示的叠加方法，将与上述被进行遮挡的一侧的被摄体区域对应的评论、叠加显示在以半透明的显示形式进行遮挡的一侧的被摄体区域上，在遮挡结束后，如遮挡前那样以非半透明的显示形式再次开始所有评论的显示。由此，如图18（b）所示，在显示器120上，与上述被进行遮挡的一侧的被摄体区域对应的评论被叠加显示在以半透明的显示形式进行遮挡的一侧的被摄体区域上，在遮挡结束后，如遮挡前那样以非半透明的显示形式再次开始所有评论的显示。
因此，能够进行在保持评论的视觉识别性的同时、又进一步强调了被摄体之间在实际场景中的前后关系的、对于用户而言更直观的显示。
另外，在图18（a）和（b）所示的任意一种显示方法中，能够进行诸如将被赋予了该评论的被摄体彼此暂时处于遮挡关系的情况、进一步强调地通知用户的显示。
另外，在图15～图18中利用不同结构来显示另一个发言圈，但这是为了便于在说明中容易观察而进行的，不一定表示实际的显示形式。实际上，例如对于所有的发言圈，当在没有正文的状态的发言圈上显示有字符时，字符的视觉识别性良好。
关于带评论运动图像的观察方式、影响各区域的视觉识别性的要素可以举出多个示例。在重视基于评论的交流的情况下，基本上是评论区域被叠加在被摄体区域的上位时，用户能够享受在运动图像上的交流。因此，实际上在许多的带评论运动图像服务中，采用评论区域遮挡被摄体区域的显示。
另外，关于评论被投稿的时间，在最新投稿的评论的评论区域被叠加在上位时，对于用户而言更容易观察，并且认为对于用户而言容易观察的显示方式是，在动画时刻方面越旧的运动图像越被埋在后方、越新的评论的评论区域越被叠加在上位。
另外，认为从直观上讲容易观察的方式是，使与更靠近前的被摄体区域对应的评论区域看起来更靠前方、即被叠加在更上位。
上述的要素以外的重要因素是用户自身的意愿。可以说将用户根据自己的意愿而选择的被摄体区域或者评论区域叠加在最上位以防止遮挡，能够生成用户最容易观察的带评论运动图像。
将以上的条件汇总为表，如图19所示。例如，在没有用户输入、即被摄体区域及评论区域都没有被选择的情况下（图19（A）），显示优先度计算部106决定使包括背景区域的被摄体区域被叠加在评论区域的下位的显示优先度（（A）的（a））。并且，显示优先度计算部106对于评论区域，决定使动画时刻越早的越被叠加在下位的显示优先度（（A）的（b））。另外，也可以是，对于评论区域，显示优先度计算部106不只按照动画时刻进行决定，而是决定使被投稿的实际时刻越晚的越被叠加在上方的显示优先度。
在作为用户输入是选择了被摄体区域、而没有选择评论区域的情况下（图19（B）），显示优先度计算部106决定使被选择的被摄体区域被叠加在最上位的显示优先度（（B）的（a））。并且，显示优先度计算部106对于未被选择的被摄体区域及评论区域，按照（A）所示的基准决定显示优先度（（B）的（b））。
在作为用户输入是选择了评论区域、而没有选择被摄体区域的情况下（图19（C）），显示优先度计算部106决定使被选择的评论区域被叠加在最上位的显示优先度（（C）的（a））。并且，显示优先度计算部106对于未被选择的被摄体区域及评论区域，按照（A）所示的基准决定显示优先度（（C）的（b））。但是，显示优先度计算部106也可以这样决定显示优先度（（C）的（a’）），使与被选择的评论区域对应的被摄体区域仅次于被选择的评论区域而被叠加在上位。
在作为用户输入是选择了评论区域和被摄体区域双方的情况下（图19（D）），显示优先度计算部106决定使被选择的评论区域被配置在最上位的显示优先度（（D）的（a））。并且，显示优先度计算部106决定使被选择的被摄体区域仅次于被选择的评论区域而配置在上位的显示优先度（（D）的（b））。并且，显示优先度计算部106对于未被选择的被摄体区域及评论区域，按照（A）所示的基准决定显示优先度（（D）的（b））。但是，显示优先度计算部106也可以这样决定显示优先度（（D）的（a’）），使与被选择的评论区域对应的被摄体区域仅次于被选择的评论区域而叠加在上位。并且，显示优先度计算部106也可以这样决定显示优先度（（D）的（b’）），使与被选择的被摄体区域对应的评论区域仅次于被选择的被摄体区域或者仅次于被选择的评论区域而叠加在上位。
通过采用将以上的条件规则化的显示优先度的计算方法，能够生成体现了作为目的的用户意愿的带评论运动图像。作为计算方法的一例，能够根据如图20所示的显示优先度计算流程进行处理（在附图中“显示优先度”被简称为“优先度”）。另外，评论区域与被摄体区域之间的对应关系可以预先存储在评论信息蓄积服务器中，也可以使用评论信息112中所包含的各评论的显示时刻及基点坐标信息，从被摄体区域信息111中搜索与在各评论的显示时刻的评论区域的基点坐标对应的坐标的被摄体区域。
按照各帧或者特定的帧确认用户是否从输入受理部105进行了输入，在没有用户输入的情况下，通过依据图20的处理（A）所示的流程的处理，能够计算出实现沿用现有技术的方法的评论显示的显示优先度。
另一方面，在有用户输入的情况下，如前面所述根据是否选择了被摄体区域或者评论区域的某一方或者双方来切换处理。因为当在被摄体区域和评论区域之间、以及评论区域之间，在属于各区域的像素之间产生了叠加时，需要决定优先显示哪个区域。通过依据图20的处理（B）、（C）、（D）所示的流程的处理，计算出基于前述的规则的期望的显示优先度。
另外，处理（A）中的处理（1）～（3）的顺序可以根据用户的喜好等进行切换。
图21A～图21F表示通过按照选择了不同区域的情况而适用图19所示的规则或者图20所示的处理流程，分别计算显示优先度的结果而得到的评论区域及被摄体区域的叠加显示例。
图21A表示与图10A所示情况相同的被摄体区域信息111所表示的、包括运动图像110及其背景的被摄体区域400～403。另外，与图11A相同地，图21B表示将某个时刻的评论区域500～502叠加后的运动图像的显示例。在此，在进行评论区域500～502的显示时使用的评论信息112与图11B所示相同。图21B表示通常的评论显示例，评论区域500～502被叠加在包括背景的被摄体区域400～403的前方。因此，背景以外的被摄体区域401～403被遮挡。另外，关于评论区域，评论的显示时刻越新的被叠加在越上方（评论区域500是最新的评论的显示区域）。另外，在本实施方式中设定成只要没有来自用户的任何指示，则被摄体区域的显示优先度是前方（近前侧）的被摄体区域的显示优先度比较高，而评论区域的显示优先度是显示时刻越新的评论，显示优先度越高（不易被其它评论区域遮挡）。另外，只要没有来自用户的任何指示，则评论区域的显示优先度高于被摄体区域的显示优先度，背景区域的显示优先度在所有区域中是最低的。
在此，如前面所述，评论区域500对应于被摄体区域401，评论区域501对应于被摄体区域402，评论区域502对应于被摄体区域403，因而在图21B所示的情况下计算出的显示优先度是P500>P501>P502>P401>P402>P403>P400。图21B表示与图19（A）或者图20的处理（A）对应的显示例。
另外，在用户选择的区域是被摄体区域402时，带评论运动图像生成装置100输出的运动图像的显示例如图21C所示。图21C表示与图19（B）或者图20的处理（B）对应的显示例。可知被摄体区域402被叠加在最前方，然后叠加与被摄体区域402对应的评论区域501，其它区域被叠加在评论区域501的后方。即，在该情况下计算出的显示优先度是P402>P501>P500>P502>P401>P403>P400。
另外，在用户选择的区域是评论区域502时，带评论运动图像生成装置100输出的运动图像的显示例如图21D所示。图21D表示与图19（C）或者图20的处理（C）对应的显示例。可知评论区域502被叠加在最前方，然后叠加与评论区域502对应的被摄体区域403，其它区域被叠加在被摄体区域403的后方。在该情况下计算出的显示优先度是P502>P403>P500>P501>P401>P402>P400。
另外，在用户选择的区域是被摄体区域402及评论区域502时，带评论运动图像生成装置100输出的运动图像的显示例如图21E所示。图21E表示与图19（D）或者图20的处理（D）对应的显示例。可知从前方起按照评论区域502、被摄体区域402、与评论区域502对应的被摄体区域403、与被摄体区域402对应的评论区域501的顺序进行叠加。并且，可知其它区域被叠加在评论区域501的后方。在该情况下计算出的显示优先度是P502>P402>P403>P501>P500>P401>P400。
在此，在用户选择的区域是全部被摄体区域401～403时，带评论运动图像生成装置100输出的运动图像的显示例如图21F所示。图21F表示图19（B）或者图20的处理（B）的情况下的显示例。可知所有的评论被叠加在被摄体区域401～403的后方、而且在作为背景的被摄体区域400的前方。即，在该情况下计算出的显示优先度是P401>P402>P403>P500>P501>P502>P400。
根据以上叙述的规则，显示优先度计算部106根据被摄体区域信息111、评论信息112和用户信息113，计算运动图像110中的各评论区域500～502、和包括背景的被摄体区域400～403的显示优先度。另外，关于显示优先度的值，只要是能够表述各区域之间的优先关系的值即可，例如在前述的说明中，由于区域数是7，因而可以将显示优先度最低的背景的显示优先度设为0，以后按照显示优先度从低到高的顺序赋予1、2、3…这样的整数值。
如上所述，最影响显示优先度的优先顺序的要素是用户有没有选择。另外，关于影响显示优先度的多个要素，可以举出被摄体区域的前后关系以及评论的投稿时刻、显示时刻的早晚等，但除上述的要素以外，例如在评论信息112包括进行了评论的人物的ID的情况下，也可以影响到具有用户预先指定的特定的用户ID的ID写入的显示优先度。
另外，在产生了显示优先度相同的区域的情况下，如例如图20的处理（A）[2]（1）-（4）所示随机地排列顺序，但也可以取而代之，通过在显示器上显示该情况，让用户选择优先显示的区域。并且，当诸如在叠加的评论之间字符数不同的情况下，例如将评论较少的评论区域显示为较小区域，并在其前方进行叠加，由此进行容易观察双方的评论的显示。
再次参照图8，在步骤S307，评论叠加方法决定部107根据显示优先度计算部106计算出的显示优先度，决定各区域的叠加方法，以便生成将运动图像110中的被摄体区域和评论区域合成后的运动图像（带评论运动图像）。
具体地讲，以将显示优先度计算部106计算出的各区域间的显示优先度较高的区域叠加在较上方的方式，求出区域间的叠加顺序。虽然叠加顺序将会与图21A～图21F的说明前后颠倒，但通过这样根据显示优先度控制区域间的叠加顺序，防止用户期望的区域被其它的评论区域或者被摄体区域遮挡。
另外，也可以是，评论叠加方法决定部107根据显示优先度计算部106计算出的显示优先度，计算区域的评论区域显示的透视度，以取代求出区域间的叠加顺序。具体地讲，对于在被摄体区域和评论区域之间或者在评论区域彼此间产生叠加的像素的透视度，将显示优先度计算部106计算出的显示优先度最高的像素设为透视度=0（完全不透视），将显示优先度较低的像素设为透视度>0。透视度能够根据显示优先度的比率等来决定。另外，为了改善视觉识别性，不仅对产生叠加的像素，也可以将该评论区域整体设为透视显示。在这种情况下，为了改善透视显示的视觉识别性，无论是指定了评论区域颜色或者评论字符颜色的情况还是没有这种指定的情况，都可以自动进行如下的变换，即用白色显示区域颜色，用黑色显示字符颜色。
在步骤S302，图像合成部102按照评论叠加方法决定部107决定的各区域的叠加方法，将在运动图像110上显示了评论的带评论运动图像进行合成。在评论叠加方法决定部107求出了评论的叠加顺序的情况下，图像合成部102按照所述评论的叠加顺序，生成将运动图像110和评论合成为层状的带评论运动图像。或者，在评论叠加方法决定部107计算评论区域显示的透视度而非叠加顺序的情况下，通过按照所述透视度决定相当于各区域的像素值，生成将运动图像110和评论合成后的带评论运动图像。
在步骤S303，图像输出部103将由所述图像合成部102合成后的带评论运动图像输出给显示器120等。
另外，本实施方式的带评论运动图像生成装置100具有受理用户信息113的输入受理部105，但是在例如与网络连接的TV或显示器等不以用户输入（时刻及坐标的指定）为前提的情况下、或者预先已知没有用户输入的情况下，带评论运动图像生成装置也可以是不具有输入受理部105的结构。具体地讲，也可以取代使用用户输入的信息，而是自动适用如下的任意一种规则作为通常期望的显示形式，以便提高被摄体的视觉识别性。
（a）仅使最前列的被摄体区域的显示优先度高于评论的显示优先度
（b）被摄体区域的显示优先度高于全部评论区域的显示优先度
另外，也可以是，本实施方式的带评论运动图像生成装置具有用户信息取得部来取代输入受理部105，或者具有输入受理部105和用户信息取得部。图22是表示具有用户信息取得部的带评论运动图像生成装置的结构的框图。带评论运动图像生成装置100A在图6所示的带评论运动图像生成装置100的结构基础上，还具有用户信息取得部114。即，带评论运动图像生成装置100A具有评论叠加信息生成部101A来取代评论叠加信息生成部101。评论叠加信息生成部101A在评论叠加信息生成部101的结构基础上，还具有用户信息取得部114。用户信息取得部114通过基于有线或者无线的通信路径，从信息分发源（用户ID信息服务器）等取得取代预先存储的用户信息113的指示坐标及指示时刻。
另外，也可以是，用户ID信息服务器另外保存浏览网页的各浏览用户的喜好或者在因特网上的活动履历等信息。也可以是，用户信息取得部114取得用户的喜好或者行动履历等信息，来取代通过因特网取得用户信息113，根据所取得的信息推定用户信息113并使用。通过具有这种结构，不需受理用户的直接输入，即可自动进行符合用户的喜好的带评论运动图像显示。
具体地讲，例如显示优先度计算部106判定在对用户正在视听的运动图像赋予的评论中，是否具有在用户ID信息服务器中保存的用户预先登记的字符串（例如特定的被摄体的名称等）、或者与用户在SNS（SocialNetworking Service（社交网络服务）：facebook（脸书）等）或因特网上的消息中分享的对象对应的字符串或者与用户按下Like按钮的对象对应的字符串。如果判定结果为真，显示优先度计算部106可以判定为用户选择了该评论的评论区域和对应该评论的被摄体区域，提高这些区域的显示优先度并叠加显示在较上方等。
尤其如图23所示，正在视听运动图像的用户有时会同时或者前后地在因特网上进行其它活动。例如，在视听运动图像的同时观看网站上的消息、在视听运动图像的同时观看SNS等。此时，例如也可以是，如图23（a）所示，在用户对SNS或者因特网上的消息按下Like按钮来分享消息即对象后，与被按下Like按钮而分享的对象对应的字符串如图23（b）所示，在运动图像的视听过程中被追加在上述的用户ID信息服务器中。在此，示出了字符串“xx”被替换为字符串“yy”而追加在用户ID信息服务器中的示例。这样，在用户ID信息根据用户在因特网上的活动履历而被变更的情况下，根据用户ID信息服务器中的新的用户ID信息，如图23（b）所示执行逐次变更叠加显示顺序的显示方法，由此用户即使不对运动图像进行用于逐次变更用户信息的触摸等动作，也能够自动进行体现了用户的喜好变化的显示。即，与对应于字符串“xx”的被摄体区域对应的评论的评论区域被叠加显示在上方。
另外，也可以是，用户ID信息服务器也保有其他评论投稿人的信息，因而在显示优先度计算处理中使用评论投稿人的用户ID或者终端号码等。例如，将各用户之间在SNS上的朋友关系或跟进状况等信息、与用户ID相关联地保存在用户ID信息服务器中，由此显示优先度计算部106能够对和运动图像的视听用户是朋友关系的投稿人所投稿的评论、或者视听用户正在跟进的投稿人所投稿的评论，进行诸如提高显示优先度的值的加权处理。在这种情况下，与前面叙述的示例相同地，通过执行体现正在视听中的SNS上的朋友关系或者跟进状况的变化来逐次变更叠加显示顺序的显示方法，能够自动进行体现了用户的喜好变化的显示。
另外，也可以直接指定用户ID，来取代用户进行被摄体区域或者评论区域的指定。在这种情况下，显示优先度计算部106视为具有所指定的用户ID的特定用户投稿的评论根据用户输入被全部选择，并进行图19（C）或者图20（C）的处理。
另外，也可以如图24所示，在用户ID信息服务器中一并保存用户的ID和用户的视听履历。用户对相同的运动图像不一定只看一次。此时，如果在用户多次视听该运动图像的期间，其它任何用户没有追加针对该运动图像的评论，则将处于已经看过的相同的评论被叠加在最上位的状态，导致每次显示相同的带评论运动图像。
因此，在用户信息取得部114中取得所述用户的视听履历，并判定用户是否再次视听相同的带评论运动图像。另外，此时显示优先度计算部106将前一次视听时被叠加显示在最上位的区域的显示优先度设为最低，使叠加在最后方进行显示，由此能够防止如上所述的每次显示相同的带评论运动图像的状态。
图24（a）表示用户第一次的视听。此时，视听时间段和所视听的运动图像的信息等被写入用户ID信息服务器中。在用户ID信息服务器中还可以写入视听时的显示优先度的信息。
如图24（b）所示，在下一次用户视听运动图像时，显示优先度计算部106向用户ID信息服务器进行询问，根据正在视听的运动图像是否已被写入用户ID信息服务器中，判定是否是已视听运动图像。当正在视听的运动图像是已视听运动图像情况下，显示优先度计算部106参照前一次视听时的显示优先度的信息，将前一次被叠加在最上方的区域的显示优先度设为最下位。另外，与第一次的运动图像的视听时相同地，带评论运动图像生成装置100按照图24（c）所示将视听履历追加在用户ID信息服务器中。
由此，在多次视听时，每当视听时，所显示的区域的叠加顺序就被更新。因此，即使是同一用户多次视听同一运动图像时，也能够生成及呈现每次的显示不同的带评论运动图像，不会总是相同评论被呈现在最前面。
另外，也可以是，在评论信息112中不包含所有帧的基点坐标。例如，如果区域信息包括相邻帧之间的各区域中的各像素的运动或者各区域整体的运动的信息，则能够根据在评论开始时刻的基点坐标、和先前求出的各区域中的像素的运动或者整体的运动，追随各区域或者区域中的像素来显示评论（图25A、图25B）。
尤其是在被摄体区域的尺寸变化的情况下，为了实现自然的追随，以保持区域信息所包含的被摄体区域的中心与评论区域的基点坐标的位置关系的方式，计算评论区域的基点坐标。即，根据在评论开始帧中的评论所对应的被摄体区域的区域尺寸、以及在被摄体区域上的评论开始时刻的基点坐标的像素位置，计算评论区域的基点坐标，以便使评论区域相对于被摄体区域的相对位置不变。例如，也可以是，通过按照被摄体区域尺寸规范化地决定从评论区域的基点坐标位置到评论对象的被摄体区域的中心的距离等，求出以后的帧中的评论区域的基点坐标。
另外，对于带评论运动图像，不仅以通常的视频速率进行再现，而且也存在执行快进/预览/回倒/跳跃等视听方法的情况。尤其是在对运动图像赋予了较多的评论的情况下，即使是用户能够以通常的速度进行判定阅读的多个评论，如果像通常的运动图像的快进/回倒那样单纯地提高帧速率或者跳过帧进行再现，也非常不容易观察带评论运动图像。
因此，在执行快进/预览/回倒/跳跃等视听方法的情况下，如图26所示，仅对被赋予给各帧的多个评论区域中被叠加显示在最上位的评论区域进行叠加显示。例如，假设在通常再现时进行如图26（a）、（c）及（e）那样的显示。此时，如果执行快进/预览/回倒/跳跃等视听方法，将是进行如图26（b）、（d）及（f）那样的显示。
在执行快进/回倒这种视听方法的期间，处于对于用户而言要求短时间的信息处理的状况，通过如上所述仅显示重要的评论，能够执行体现了用户的喜好、而且降低了用户应该处理的评论的信息量的、且容易观察的快进/回倒显示。
如以上说明的那样，根据实施方式1，根据将与用户信息所包含的运动图像上的指示时刻及指示坐标对应的评论及被摄体区域的显示优先度设为最高等规则，能够生成在运动图像上叠加显示评论区域的带评论运动图像。由此，能够实现用户期望的如下的显示状态，即对于某个被摄体区域或评论区域能够在其上叠加显示评论区域，而对其它的例如对于用户而言比较重要的评论或被摄体区域，不在其上叠加评论区域以防止被遮挡。
（实施方式2）
实施方式1的带评论运动图像生成装置100将事前取得的被摄体区域信息111作为向数据取得部104的输入进行处理，但也可以取代输入被摄体区域信息111而是在带评论运动图像生成装置内生成。即，本实施方式的带评论运动图像生成装置在内部具有生成被摄体区域信息的被摄体区域信息生成部。在这种情况下，作为实施方式2的对象的运动图像分发系统例如是如图27所示的结构例。即，也可以不具备如在图1、图3或者图4中示例的实施方式1的结构中所必须的、用于储存被摄体区域信息的区域信息服务器，因而具有通用性更高的效果。
图28表示实施方式2的带评论运动图像生成装置900的功能性结构。带评论运动图像生成装置900包括评论叠加信息生成部901、图像合成部102和图像输出部103。带评论运动图像生成装置900具有进行与图6所示的实施方式1的带评论运动图像生成装置100所包含的评论叠加信息生成部101不同的处理的评论叠加信息生成部901。
具体地讲，评论叠加信息生成部901具有取代实施方式1的数据取得部104的数据取得部902、和被摄体区域信息生成部903。数据取得部902取得运动图像110和评论信息112。被摄体区域信息生成部903以所取得的运动图像110为输入来生成被摄体区域信息。根据本实施方式的结构，由于从运动图像110求出被摄体区域信息（区域属性、位置属性、及区域分割的信息等），因而能够在不需要输入被摄体区域信息的情况下进行作为目的的带评论运动图像生成。
关于数据取得部902，与实施方式1的数据取得部104的不同之处仅在于是否受理被摄体区域信息111，因而省略详细说明。
在作为本实施方式的特征的、被摄体区域信息生成部903生成被摄体区域信息的处理中，也可以适用例如基于运动的区域分割方法。具体地讲，也可以适用如在专利文献6中说明的、根据像素的运动对运动图像进行区域分割的方法。由此具有如下效果，即使是移动体和背景的颜色相似的情况下，也能够按照进行相似的运动的每个被摄体区域更准确地进行分离。并且，由于根据包括关节中的连接作为信息的移动轨迹间距离进行区域分割，因而即使是像人那样形状大幅变化的移动体，也能够高精度地进行区域抽取。并且，在相邻的两个区域之间，例如能够将属于各区域的运动向量在区域的边界附近更多地消失的区域、即当按照动画时刻关注于固定的时间段时更多的移动轨迹中断的区域，判定为在该时间段被非此类的区域遮挡等。这样，通过关注于移动轨迹的消失等，能够判别相邻的区域之间的前后位置信息。
另外，也可以是，在本实施方式的评论信息112中不包含所有帧的基点坐标。例如，如果清楚在评论开始时刻的基点坐标，则能够根据由被摄体区域信息生成部903求出的各被摄体区域的运动来实现追随被摄体区域的评论显示（图25A、图25B）。
例如，也可以设置评论追随坐标生成部，将被摄体区域信息和评论信息112作为输入，求出以后的帧中的评论区域的基点坐标，以便保持区域的中心与评论基点的位置关系。
另外，构成被摄体区域信息生成部903的各构成要素可以以在计算机中执行的程序等软件来实现，也可以以电子电路或者集成电路等硬件来实现。
另外，被摄体区域信息生成部903也可以使用测距数据等进行区域分割。例如，通过追加如下的处理能够更准确地进行区域分割，即针对在前述的区域分割方法（专利文献6）中使用的双字符组距离（pair-wise distance），使通过测距而得到的距离相似的区域之间的双字符组距离接近，使非此类区域之间的双字符组距离疏远。另外，如果使用测距数据，则也能够在某种程度上计算出被摄体区域的前后关系，因而显示优先度计算部106既可以使用前述的求出局部的显示优先度的方法，也可以使用在实施方式1中采用的、在全部区域之间进行显示优先度的顺位排序的方法。
本实施方式的运动图像分发系统具有：信息分发源保有及运营的服务器装置；能够进行网络通信的多个个人电脑（PC）；能够进行相同的网络通信的多个便携式终端（便携式电话、智能电话、平板PC等）、基于有线或者无线的通信线路。
所述服务器装置、PC及便携式终端通过有线或者无线、直接或者通过中继基站与所述通信线路连接，并处于能够通过该通信线路相互进行信息通信的状态。
如以上说明的那样，根据实施方式2，在实施方式1的效果基础上，在运动图像中所包含的被摄体区域不明的情况下，也能够通过进行区域分割来检测被摄体区域。
另外，上述的实施方式1及2的带评论运动图像生成装置能够有效地用作输入支持装置。下面示出示例。
如在前面叙述的关于作为本发明的对象的系统的说明中所述，用户不仅能够视听带评论运动图像，而且也能够追加输入自己的评论。输入装置可以是平板电脑或PC等，关于用户在运动图像中输入及赋予评论语句的方法，例如也可以利用如专利文献1所述的已提出的几种现行方法。
图29A是表示具有输入装置和输入支持装置的系统的结构的框图。图29B是输入支持装置执行的处理的流程图。在此说明的输入支持装置是在进行所述评论的输入时进行显示控制的显示控制装置的一部分，如图29A所示，在从所述输入装置输入评论之前，受理用户从此开始输入评论的输入开始信息。作为一例，在输入装置上，如图30A的（a）所示，在画面上显示用户在赋予评论时能够选择的评论图标301。也可以是，在用户按下评论图标301后，输入装置向输入支持装置发送输入开始信息。作为另一个示例，也可以是如图30A的（b）所示，通过受理从画面下端向上方滑动等特定用户行动，输入装置向输入支持装置发送输入开始信息。
也可以是，在输入支持装置从输入装置受理了输入开始信息后，在运动图像110的再现自动暂时停止的状态下进行评论的投稿。或者，根据用户在画面上的操作，运动图像110的再现被暂时停止。
通过按照上面所述受理输入开始信息，输入支持装置能够在用户实际进行评论输入之前，取得用户产生进行评论输入的意图的情况。
在此，在对已经被赋予了许多评论的带评论运动图像继续追加评论时，用户想要追加评论的对象即被摄体区域或者评论区域有可能被其它的评论区域或者被摄体区域遮挡。为了使用户顺利向期望进行评论的对象区域输入评论，可以说优选这些区域尽量不被遮挡。因此，在如前面所述输入支持装置受理输入开始信息后，通过预先变更显示顺序来解决上述问题。
具体的示例如图30B的（a）所示。例如，在用户对左侧的被摄体302输入评论时，在与视听时相同地显示评论的状态下，如图30B的（a）所示导致被摄体遮挡，有可能难以进行评论输入。因此，如图30B的（b）所示，通过将所述被摄体显示在最上方，能够容易对特定的被摄体进行评论输入。
为了实现上述处理，需要推定用户对哪个被摄体输入评论。通常，用户的评论输入对象往往是特定的被摄体。因此，最简单地讲，将所有被摄体区域显示在其它评论区域的前面即可。
更优选的是，也可以事前将体现了用户的喜好等的信息登记在用户ID信息服务器上，仅将所述登记的被摄体的被摄体区域显示在其它的被摄体区域和评论区域的前面。此时，也可以将对该被摄体区域赋予的评论显示在其它的被摄体区域和评论区域的前面，通过这样处理，用户能够容易地在观看着对评论输入对象的被摄体区域赋予的其它评论的同时选择评论输入对象来输入评论。当然，也可以体现该用户在因特网上的活动来实时变更在所述用户ID信息服务器中保存的所述信息。
或者，也可以是，输入支持装置参照在评论信息蓄积服务器中保存的信息，例如在该用户进行评论输入的时刻以前，将已进行许多评论的对象的被摄体区域用作用户进行评论输入的可能性比较大的区域。
另外，认为也存在用户进行评论输入时想要输入针对某个评论A的评论的情况。在这种情况下，对所述评论A的视觉识别性比被摄体区域重要。因此，也可以是，输入支持装置将所述评论A的评论区域以及对应所述评论A的被摄体区域等显示在最前面。通过这样处理，用户能够容易地在观看着所述评论A的同时选择评论输入对象的区域来输入评论。
为了实现上述处理，需要推定用户输入针对哪个评论的评论。如前面叙述的示例那样，在将用户在SNS上的人际关系（社交圈）和跟进状况等信息、与用户ID相关联地保存在用户ID信息服务器中的情况下，或者在能够通过输入支持装置访问与用户ID相关联的用户的社交圈的情况下，也可以将所述用户的朋友或所述用户跟进的其它用户赋予的评论、作为用户进行评论的对象的评论。
或者，也可以采用与被保存在用户ID信息服务器中的用户喜欢的被摄体对应的评论。因此，如图30B的（c）示例的那样，能够使用户想要输入评论的特定的被摄体区域和评论区域不被遮挡。
关于在进行显示时评论区域和被摄体区域哪一方优先，可以由用户本人事前在用户ID信息服务器中进行登记，在所述用户想要输入评论的被摄体区域和评论区域中、在该帧仅存在任意一方（不能推定）的情况下，也可以设为仅使所存在（能够推定）的一方的区域优先。
（实施方式3）
实施方式1及2的带评论运动图像生成装置将从动画服务器取得的运动图像作为向数据取得部的输入来进行处理，但也可以取代从动画服务器输入运动图像，而是从使用带评论运动图像生成装置的用户持有的摄像机输入该摄像机拍摄的运动图像。
图31表示本实施方式3的带评论运动图像生成装置1400的结构。带评论运动图像生成装置1400包括被摄体区域信息生成部1402、评论叠加信息生成部1401、图像合成部102和图像输出部103。实施方式3的带评论运动图像生成装置1400是生成用于在内置带评论运动图像生成装置1400的便携式终端上显示的带评论运动图像的装置。便携式终端具有摄像机1410、显示器120、GPS1411a和罗盘仪1411b。摄像机1410拍摄用户（摄影者）的前方。显示器120显示由带评论运动图像生成装置1400生成的带评论运动图像，并以用户能够视觉识别的位置角度进行设置。GPS1411a测定便携式终端的位置信息。罗盘仪1411b测定便携式终端的方位。带评论运动图像生成装置1400将摄像机1410拍摄到的运动图像、和通过网络等通信路径从外部数据库取得的评论信息合成，由此生成能够以叠加评论区域的方式进行观察的运动图像。
被摄体区域信息生成部1402从摄像机取得运动图像，并计算被摄体区域信息。评论叠加信息生成部1401具有数据取得部1404、评论位置推定部1403、输入受理部105、显示优先度计算部106和评论叠加方法决定部107。
数据取得部1404取得包括位于自用户起的一定范围以内的其它终端的GPS信息和附加信息的评论信息1412。评论位置推定部1403根据用户使用的便携式终端（下面称为“本终端”）和他人使用的便携式终端（下面称为“其它终端”）的GPS信息、和本终端的罗盘仪信息，计算本终端的摄像机位置及摄像机轴的方向、和在本终端的运动图像上的其它终端的位置，根据这些计算结果推定各评论信息1412对应于运动图像中的哪个被摄体区域。显示优先度计算部106接受被摄体区域信息生成部1402计算出的被摄体区域信息、评论信息1412、用户信息113、和评论位置推定部1403的推定结果作为输入，计算评论的显示位置、和被摄体区域及评论的显示优先度。评论叠加方法决定部107根据显示优先度计算部106计算出的显示优先度，决定评论在运动图像上的叠加方法。
图像合成部102根据评论叠加方法决定部107决定的评论叠加方法，将评论区域叠加在运动图像上。图像输出部103将被叠加了评论的运动图像输出给图像输出部103。
图32表示以本实施方式的带评论运动图像生成装置为对象的运动图像分发系统的简单的结构例。运动图像分发系统具有评论信息蓄积服务器、用户ID信息服务器。另外，优选带评论运动图像生成装置1400能够通过网络访问EC（Electronic Commerce，电子商务）网站等外部服务器及信息。各服务器可以都在相同的PC中进行管理，也可以在不同的PC中进行管理。
用户能够事前在用户ID信息服务器中登记用户的信息。例如，用户通过便携式终端具有的键盘、软键盘、触摸操作等，输入自己已购买的商品等的照片或者运动图像、与上述商品对应的商品信息或者评论、向EC网站的链接信息、在EC网站销售的商品的信息以及与销售商品对应的评论等，由此能够将这些用户信息登记在用户ID信息服务器中。例如，用户A能够登记商品类别“连衣裙”、评论“今天的衣服搭配”、时间“2012.5.5”等。具体地讲，假设在该时间用户登记了所穿着的衣服和携带的物品等。另外，登记评论的时间也可以被自动登记。在用户本人计划穿西装等的情况下，优选用户对所登记的西装或者商品（所穿着的衣服和携带的物品）输入穿着或者携带的时间。
包含这些评论的信息（评论信息1412）包括进行评论的用户的ID、时间、照片、商品的类别、EC网站的信息（网站名称、商品号码等）等，如图32所示被重新蓄积在评论信息蓄积服务器中。
在用户A进行评论后，其它的用户B和用户C使便携式终端的摄像机（已起动）面向用户A。对应用户A的评论信息1412中、与本日的时间对应的信息，被从评论信息蓄积服务器进行分发，如图32所示，用户A的评论信息被叠加显示在用户B和用户C的便携式终端的画面上。另外，也可以是，用户B和用户C在相同日期的其它时间段，在完全不同的场所使摄像机面向用户A。也可以是，在摄像机被保持成用户A被摄入到摄像机的画面内的期间，有关用户A的信息如图32所示被持续显示。如前面所述，用户A已事前登记在此日穿着的衣服或者携带的物品。因此，在用户B和用户C的画面上显示有与用户A穿着的、例如用户A穿着的连衣裙相关的信息。因此，用户B和用户C能够在现场得知有关该连衣裙的信息（生产商、价格、可否购买等）。过去，对于这种“其他谁谁（用户A）”穿着的西装等，用户B或者用户C即使想要了解信息也不能直接向用户A本人确认。根据以上的结构，用户B和用户C能够容易知道用户A穿着的衣服等的信息。
例如，也可以如图32所示按照预先设定的配置来显示评论信息。此时，在如用户A那样评论信息被与EC网站的信息关联起来的情况下，通过使图像或者评论字符等具有链接功能，能够通过用户的输入以单触方式进入到EC网站上的商品页（能够购买的网站）。由此，能够期待促进对衣服感兴趣的用户的购买行动的效果。
另外，在图32的用户B或者用户C的画面上，在与用户A相同的画面中摄入了用户D，在用户D同样也事前登记了信息的情况下，将与用户A的信息叠加，用户A或者用户D、和分别对应的评论信息将相互遮挡。用户B或者用户C为了顺利知道想要了解的信息，需要控制怎样将用户A和用户D的被摄体区域及评论区域进行叠加显示。与此相对，在本实施方式中，通过应用在实施方式2中叙述的带评论运动图像生成装置来解决上述问题。由此，例如选择了用户A的用户B能够无遮挡地视觉识别用户A以及对应用户A的评论信息。并且，选择了用户D的用户C能够无遮挡地视觉识别用户D以及对应用户D的评论信息。
下面，详细说明本实施方式的带评论运动图像生成装置1400的结构。
如图33所示，实施方式3的带评论运动图像生成装置1400尤其是对位于面向某个用户持有的便携式终端具备的摄像机的方向的人物等被摄体，在便携式终端上设为能够视觉识别该人物的信息或者与人物保有的物品相关的信息等的状态。带评论运动图像生成装置1400在将利用便携式终端的摄像机拍摄的运动图像显示于便携式终端的显示器时，针对位于该运动图像中的特定的被摄体区域附加显示上述信息作为评论。
上述特定的被摄体区域是指该用户通过便携式终端上的触摸屏等UI而指定的被摄体区域、或者根据由数据取得部1404取得的被登记在外部数据库中的信息而确定的被摄体区域。带评论运动图像生成装置1400以不遮挡特定的被摄体区域的方式，将评论区域叠加在运动图像上。
关于被摄体区域信息生成部1402，与实施方式2的被摄体区域信息生成部902相同，因而省略说明。
关于用户指定被摄体1的场面如图34所示。输入受理部105受理用户使用触摸屏等输入的信息，并计算在图像坐标系D中的用户的指示位置。
在此，如果知道摄像机的参数及坐标系的变换矩阵，则能够计算出用户的指示位置等图像上的任意一点（xd、yd）在世界坐标系W上所指示的直线L（通过（xd、yd）和摄像机坐标系C的原点的直线）。上述参数和变换矩阵能够通过进行校准而求出。更具体的情况在非专利文献1中有详细说明，因而省略。
另一方面，各被摄体在世界坐标系W上的位置信息（xw、yw、zw）的x成分、z成分，能够根据从该被摄体保有的便携式终端发出的GPS等得到。y成分是如图34所示被摄体的身高方向的成分，例如根据各用户事前登记的身高H、或者年龄及性别求出平均身高H，并以具有宽度的形式（yw=0～H）使用。同样，也可以使用平均体宽的值使xw、zw具有宽度。
如果求出前面叙述的直线L，则在该L通过的路径上，相当于距离用户最近（xw、yw、zw）的被摄体成为用户指示的被摄体。
评论位置推定部1403根据被摄体区域信息生成部1402计算出的图像坐标系D上的相当于各被摄体区域的坐标，按照由数据取得部1404取得的位于附近的便携式终端的GPS信息，同样使用摄像机的参数和变换矩阵，推定对应各被摄体区域的便携式终端。评论位置推定部1403将与该便携式终端对应的附加信息和被摄体区域相对应，生成在运动图像上显示的评论的位置、形状、字符信息等评论显示信息。
显示优先度计算部106根据评论位置推定部1403生成的评论显示信息、被摄体区域信息生成部1402计算出的被摄体区域信息、和输入受理部105受理的用户信息113，计算显示优先度。关于自显示优先度计算部106的动作以后的动作，与实施方式1及2相同，因而省略说明。
如上所述，本实施方式的带评论运动图像生成装置1400生成保持用户期望的对被摄体区域的视觉识别的评论区域，将对应被摄体区域的附加信息按照图33所示显示在画面上。
另外，显示优先度计算部106不一定利用输入受理部105受理的用户信息113。例如，也可以是，评论信息蓄积服务器参照在评论信息蓄积服务器中蓄积的数据，另外计数属于特定的型号或者类别等的评论投稿数，由此管理型号或者类别等的人气度等。显示优先度计算部106也可以根据由评论信息蓄积服务器管理的上述信息，对显示优先度进行加权处理。
另外，也可以如前面在图32的说明中叙述的那样，在评论信息蓄积服务器中存储的评论信息具有向EC网站的链接信息、商品的型号等。在显示于各用户便携式终端上的评论区域中，用户触摸评论或图像，即可根据链接信息自动向商品购买网页等引导（画面切换）。即，链接信息可以和与各便携式终端相关联的评论一起显示于评论区域（发言圈）中，也可以单独显示。例如，通过显示向具有被摄体穿着的西装的信息的销售网站的链接信息，用户能够容易通过EC网站购买满意的西装。
根据实施方式3，在如AR技术那样显示有与用户拍摄的运动图像中的被摄体对应的评论的情况下，能够在运动图像上叠加显示评论区域，以便使与用户指定的被摄体区域对应的评论不被其它评论遮挡。
另外，也可以是，在上述各实施方式中，各构成要素利用专用的硬件构成、或者通过执行适合于各构成要素的软件程序来实现。也可以是，CPU或者处理器等的程序执行部读出在硬盘或者半导体存储器等记录介质中记录的软件程序并执行该程序，由此实现各构成要素。在此，用于实现上述各实施方式的带评论运动图像生成装置等的软件是指如下所述的程序。
即，该程序使计算机执行以下步骤：数据取得步骤，从动画服务器取得运动图像，从评论信息蓄积服务器取得与所述运动图像对应的评论、和包括所述评论在所述运动图像上的显示时刻及显示位置的评论信息；输入受理步骤，受理包括所述运动图像上的基于用户的指示时刻及指示位置在内的用户信息的输入；显示优先度计算步骤，根据所述评论信息和所述用户信息，计算与所述运动图像对应的评论、和所述运动图像中所包含的被摄体的区域即被摄体区域的显示优先度；评论叠加方法决定步骤，根据在所述显示优先度计算步骤中计算出的所述显示优先度，决定包括在叠加显示所述评论和所述被摄体区域时的显示顺序或者透视度的评论叠加方法；图像合成步骤，根据在所述评论叠加方法决定步骤中决定的所述评论叠加方法，生成在所述运动图像上合成了多个评论的带评论运动图像；以及图像输出步骤，输出在所述图像合成步骤中生成的所述带评论运动图像。
另外，上述的实施方式中的带评论运动图像生成方法及程序，也能够有效地用于生成如下的顺序来作为信息的评论叠加顺序生成方法，即将带评论的用户选择被摄体区域以及对所述被摄体赋予的评论区域、或者用户选择评论区域以及被赋予了所述评论的被摄体区域，叠加显示在其它被摄体区域以及对应其它被摄体的评论区域的上方的顺序。
另外，上述的实施方式中的带评论运动图像生成方法及程序，也能够有效地作为输出所生成的带评论运动图像的带评论运动图像输出方法使用。
以上，根据实施方式说明了本发明的一个或者多个方式的带评论运动图像生成装置，但本发明不限于该实施方式。也可以是，只要不脱离本发明的宗旨，对本实施方式进行本行业人员能够想到的各种变形而得到的方式、和将不同实施方式中的构成要素进行组合而构建的方式，都包含在本发明的一个或者多个方式的范围内。
产业上的可利用性
本发明能够用于被内置在能够利用网络上的运动图像分发服务或者SNS且能够连接网络的摄像机、TV、便携式终端、平板PC等AV设备中的带评论运动图像生成装置等。
标号说明
100、900、1400带评论运动图像生成装置；101、901、1401评论叠加信息生成部；102图像合成部；103图像输出部；104、902、1404数据取得部；105输入受理部；106显示优先度计算部；107评论叠加方法决定部；110运动图像；111被摄体区域信息；112评论信息；113用户信息；120显示器；200计算机；201I/F；202CPU；203ROM；204RAM；205HDD；206视频卡；210存储装置；220a显示器终端；220b显示器；400～403被摄体区域；500～502评论区域；903、1402被摄体区域信息生成部；1403评论位置推定部；1410摄像机；1411a GPS；1411b罗盘仪；1412评论信息。

Claims (17)

1.一种带评论运动图像生成装置，具有：
数据取得部，从动画服务器取得运动图像，从评论信息蓄积服务器取得包括与所述运动图像对应的评论、和表示所述评论的评论区域在所述运动图像上的显示时刻及显示位置在内的评论信息；
输入受理部，受理包括所述运动图像上的基于用户的指示时刻及指示位置在内的用户信息的输入；
显示优先度计算部，根据表示各评论与被赋予了各评论的被摄体区域的对应关系的对应信息、和所述用户信息，计算所述评论区域和所述被摄体区域的显示优先度，以便使与所述指示时刻及所述指示位置对应的评论区域或者被摄体区域的显示优先度为最高，使与所述用户信息所包含的所述指示时刻及所述指示位置对应的被赋予了评论区域的评论的被摄体区域、或者对与所述用户信息所包含的所述指示时刻及所述指示位置对应的被摄体区域赋予的评论的评论区域的显示优先度，仅次于所述显示优先度为最高的所述评论区域或者所述被摄体区域；
评论叠加方法决定部，决定评论区域的叠加方法，以便使所述显示优先度计算部计算出的所述显示优先度越高的所述评论区域及所述被摄体区域，在被显示于图像显示部时被叠加在越上方；
图像合成部，按照所述评论叠加方法决定部决定的所述评论区域的叠加方法，生成在所述运动图像上合成了多个评论区域的带评论运动图像；以及
图像输出部，输出由所述图像合成部生成的所述带评论运动图像，
所述图像输出部将与位于所述用户信息所表示的所述指示位置的区域即用户选择区域对应的被摄体区域以及对所述被摄体区域赋予的评论的评论区域、或者与所述用户选择区域对应的评论区域及被赋予了所述评论区域的评论的被摄体区域，在所述图像显示部中，叠加显示在其它被摄体区域及对该其它被摄体区域赋予的评论的评论区域的上方。
2.根据权利要求1所述的带评论运动图像生成装置，
所述评论叠加方法决定部还对于除与所述用户信息所包含的所述指示时刻及所述指示位置对应的评论区域或者对与所述指示时刻及所述指示位置对应的被摄体区域赋予的评论的评论区域以外的、所述多个评论区域，根据被摄体区域在该帧中的前后关系信息决定评论区域的叠加方法，以便将对位于较前方的被摄体区域赋予的评论的评论区域、叠加在位于较后方的被摄体以及对该被摄体赋予的评论的评论区域的上方，在所述图像显示部中，对于除与所述用户信息所包含的所述指示时刻及所述指示位置对应的评论区域或者对与所述指示时刻及所述指示位置对应的被摄体区域赋予的评论的评论区域以外的、所述多个评论区域，根据被摄体区域在该帧中的前后关系信息，将对位于较前方的被摄体区域赋予的评论的评论区域叠加显示在位于较后方的被摄体以及对该被摄体赋予的评论的评论区域的上方。
3.根据权利要求2所述的带评论运动图像生成装置，
所述显示优先度计算部还对于所述评论信息中所包含的所述显示时刻越晚的评论或者表示该评论被投稿的实际时刻的投稿时刻越晚的评论，越提高该评论的评论区域的显示优先度，
所述评论叠加方法决定部根据所述显示优先度决定叠加方法，以便对所述评论信息中所包含的所述显示时刻越晚的评论或者表示该评论被投稿的实际时刻的投稿时刻越晚的评论，将该评论的评论区域叠加在越上方，
在所述图像显示部中，所述评论信息中所包含的所述显示时刻越晚的评论或者表示该评论被投稿的实际时刻的投稿时刻越晚的评论，该评论的评论区域被叠加显示在越上方。
4.根据权利要求1所述的带评论运动图像生成装置，
所述带评论运动图像生成装置还具有从用户ID信息服务器取得用户信息的用户信息取得部，
当用户正在视听所述运动图像的过程中、所述用户ID信息服务器上的用户ID信息被变更时，所述显示优先度计算部还根据新的用户ID信息重新计算所述评论区域及所述被摄体区域的显示优先度。
5.根据权利要求1所述的带评论运动图像生成装置，
为了对在被摄体区域和评论区域之间或者在评论区域彼此间产生叠加的像素进行半透明状的透视显示，所述评论叠加方法决定部还根据所述显示优先度计算部计算出的所述各像素所属的两个区域间的显示优先度的比率，计算所述叠加的各像素的透视度，
所述评论叠加方法决定部根据所述计算出的所述透视度决定评论区域的叠加方法，使得被叠加在越上方的区域越降低透视度地进行显示，以便将评论区域和被摄体区域合成。
6.根据权利要求1所述的带评论运动图像生成装置，
所述评论叠加方法决定部还根据记述被摄体区域之间的遮挡关系的信息决定所述评论区域的叠加方法，以便使在处于遮挡关系的被摄体区域之间，在从遮挡开始到遮挡结束的期间，使与各被摄体区域对应的评论的评论区域在遮挡开始前的位置暂时停止，在遮挡结束后将该暂时停止解除，并使各评论区域追随被摄体区域，在所述图像显示部中，在处于遮挡关系的被摄体区域之间，在从遮挡开始到遮挡结束的期间，与各被摄体区域对应的评论的评论区域在遮挡开始前的位置暂时停止显示，而在遮挡结束后该暂时停止被解除，使各评论区域追随被摄体区域而显示。
7.根据权利要求1所述的带评论运动图像生成装置，
所述评论叠加方法决定部还根据记述被摄体区域之间的遮挡关系的信息决定所述评论区域的叠加方法，以便使在处于遮挡关系的被摄体区域之间，在从遮挡开始到遮挡结束的期间，将赋予给各被摄体区域的评论叠加在整合为一个发言圈的评论区域，在遮挡结束后将所述整合为一个发言圈的评论区域再次分离为各个发言圈的评论区域，并使各评论区域追随被摄体区域，在所述图像显示部中，在处于遮挡关系的被摄体区域之间，在从遮挡开始到遮挡结束的期间，对各被摄体区域赋予的评论作为被整合为一个发言圈的评论区域进行显示，而在遮挡结束后，所述整合为一个发言圈的评论区域被再次分离为各个发言圈的评论区域，并使各评论区域分别追随被摄体区域而显示。
8.根据权利要求1所述的带评论运动图像生成装置，
所述评论叠加方法决定部还根据记述被摄体区域之间的遮挡关系的信息决定所述评论区域的叠加方法，以便使在处于遮挡关系的被摄体区域之间，在从遮挡开始到遮挡结束的期间，仅叠加与位于更接近于拍摄了所述运动图像的摄像机的位置的被摄体区域、而且是进行遮挡的一侧的被摄体区域对应的评论的评论区域，而在遮挡结束后叠加所有的评论区域，在所述图像显示部中，在处于遮挡关系的被摄体区域之间，在从遮挡开始到遮挡结束的期间，仅显示与位于更接近于拍摄了所述运动图像的摄像机的位置的被摄体区域、而且是进行遮挡的一侧的被摄体区域对应的评论的评论区域，而在遮挡结束后再次开始所有评论区域的显示。
9.根据权利要求8所述的带评论运动图像生成装置，
所述评论叠加方法决定部还决定所述评论区域的叠加方法及叠加时的透视度，以便使与所述进行遮挡的一侧的被摄体区域对应的评论的评论区域进行半透明状显示，而在遮挡结束后以非半透明的显示形式显示所有的评论区域，在所述图像显示部中，使与所述进行遮挡的一侧的被摄体区域对应的评论的评论区域显示为半透明状，而在遮挡结束后以非半透明的显示形式再次开始所有评论区域的显示。
10.根据权利要求1所述的带评论运动图像生成装置，
所述评论叠加方法决定部还决定所述评论区域的叠加方法，以便使在对所述带评论运动图像执行包括快进、预览、回倒或者跳跃的通常再现以外的视听方法的期间，仅将存在于各帧中的多个评论区域中在通常再现时叠加显示在最上位的评论区域、叠加显示在所述运动图像上，在所述图像显示部中，在执行包括快进、预览、回倒或者跳跃的通常再现以外的视听方法的期间，存在于各帧中的多个评论区域中、只有在通常再现时叠加在最上位的评论区域，被叠加显示在所述运动图像上。
11.根据权利要求4所述的带评论运动图像生成装置，
用户信息取得部还取得在用户ID信息服务器或者外部保存的用户的视听履历，
在用户再次视听过去已视听过的带评论运动图像时，所述显示优先度计算部还将在前一次视听时被叠加在最上方的区域的显示优先度设为最下位，在所述图像显示部中，在用户再次视听过去已视听过的带评论运动图像时，在前一次视听时被叠加显示在最上位的评论区域被叠加显示在最后方。
12.一种评论叠加方法决定方法，包括以下步骤：
数据取得步骤，从动画服务器取得运动图像，从评论信息蓄积服务器取得包括与所述运动图像对应的评论、和所述评论的评论区域在所述运动图像上的显示时刻及显示位置在内的评论信息；
输入受理步骤，受理包括所述运动图像上的基于用户的指示时刻及指示位置在内的用户信息的输入；
显示优先度计算步骤，根据表示各评论与被赋予了各评论的被摄体区域的对应关系的对应信息、和所述用户信息，计算所述评论区域和所述被摄体区域的显示优先度，以便使与所述指示时刻及所述指示位置对应的评论区域或者被摄体区域的显示优先度为最高，使与所述用户信息所包含的所述指示时刻及所述指示位置对应的被赋予了评论区域的评论的被摄体区域、或者对与所述用户信息所包含的所述指示时刻及所述指示位置对应的被摄体区域赋予的评论的评论区域的显示优先度，仅次于所述显示优先度为最高的所述评论区域或者所述被摄体区域；
评论叠加方法决定步骤，决定评论区域的叠加方法，以便使在所述显示优先度计算步骤中计算出的所述显示优先度越高的所述评论区域及所述被摄体区域，在叠加显示所述评论区域和所述被摄体区域时被叠加在越上方。
13.一种带评论运动图像生成方法，包括：
权利要求12所述的评论叠加方法决定方法；
图像合成步骤，根据在所述评论叠加方法决定步骤中决定的所述评论区域的叠加方法，生成在所述运动图像上合成了多个评论区域的带评论运动图像；以及
图像输出步骤，输出在所述图像合成步骤中生成的所述带评论运动图像，
在所述图像输出步骤中，输出运动图像，该运动图像是将与位于所述用户信息所表示的所述指示位置的区域即用户选择区域对应的被摄体区域以及对应于所述被摄体区域的评论的评论区域、或者与所述用户选择区域对应的评论的评论区域以及与所述评论区域的评论对应的被摄体区域，叠加合成在其它被摄体区域以及与该其它被摄体区域对应的评论的评论区域的上方而形成的。
14.根据权利要求13所述的带评论运动图像生成方法，
所述对应信息表示被赋予了所述多个评论中的各个评论的被摄体信息，
在所述图像输出步骤中，在所述图像显示部中，将与所述用户选择区域对应的被摄体区域以及对所述被摄体区域赋予的评论的评论区域、或者与所述用户选择区域对应的评论区域以及被赋予了所述评论区域的评论的被摄体区域，叠加显示在其它被摄体区域以及对该其它被摄体区域赋予的评论的评论区域的上方。
15.一种带评论运动图像生成装置，具有：
被摄体区域信息生成部，从便携式终端取得由摄像机拍摄的运动图像，根据所取得的所述运动图像进行区域分割，由此生成表示所述运动图像中所包含的多个被摄体区域的被摄体区域信息，所述便携式终端具有：拍摄用户的前方的所述摄像机、设置在所述用户能够视觉识别的位置的显示器、GPS（Global Positioning System：全球定位系统）以及罗盘仪；
数据取得部，取得包括位于自用户起的一定范围内的多个其它便携式终端的GPS信息、和与所述多个其它便携式终端一对一对应的多个评论在内的评论信息；
输入受理部，受理包括所述运动图像上的指示位置在内的用户信息的输入；
评论位置推定部，根据所述用户的便携式终端及所述多个其它便携式终端的GPS信息、和所述用户的便携式终端的罗盘仪信息，计算所述多个其它便携式终端在所述运动图像上的位置，根据所计算出的所述多个其它便携式终端的位置，将具有各个其它便携式终端的被摄体的被摄体区域、与所述数据取得部取得的所述评论信息中所包含的评论相对应；
显示优先度计算部，根据所述评论信息和所述用户信息计算被叠加显示在所述运动图像中的所述多个评论区域以及所述运动图像中的所述多个被摄体区域的显示优先度，以便使与位于所述用户信息所表示的显示位置的被摄体区域对应的评论的评论区域的显示优先度，比其它被摄体区域或者其它评论区域的显示优先度高；
评论叠加方法决定部，作为所述多个评论区域在所述运动图像上的叠加方法，按照所述显示优先度计算部计算出的所述显示优先度决定所述多个评论区域及所述多个被摄体区域的显示顺序，以便使所述显示优先度越高的评论区域或者被摄体区域被显示在越前面，或者按照所述显示优先度计算部计算出的所述显示优先度决定所述多个评论区域及所述多个被摄体区域的显示时的透视度，以便使所述显示优先度越高的评论区域或者被摄体区域的透视度越低；
图像合成部，按照所述评论叠加方法决定部决定的所述多个评论区域的叠加方法，将所述多个评论区域叠加在所述运动图像上；以及
图像输出部，输出通过所述图像合成部叠加了所述多个评论区域的所述运动图像。
16.一种带评论运动图像生成装置，
在用户通过输入装置向运动图像中追加新的评论时，推定该用户进行评论的可能性大的被摄体区域或者评论区域，并变更为将推定出的所述被摄体区域或者所述评论区域叠加显示在最上方。
17.一种带评论运动图像生成方法，包括以下步骤：
从动画服务器取得运动图像；
从评论信息蓄积服务器取得包括与所述运动图像对应的评论、和所述评论在所述运动图像上的显示时刻及显示位置在内的评论信息；
受理包括所述运动图像上的基于用户的指示时刻及指示位置在内的用户信息的输入；以及
根据表示各评论所对应的被摄体区域的对应信息、和所述用户信息，生成在所述运动图像上合成了多个评论区域的带评论运动图像，以便使与所述指示时刻及所述指示位置对应的评论区域或者被摄体区域位于最上方，并且使与所述用户信息所包含的所述指示时刻及所述指示位置对应的被赋予了评论区域的评论的被摄体区域、或者对与所述用户信息所包含的所述指示时刻及所述指示位置对应的被摄体区域赋予的评论的评论区域，被叠加显示在仅次于所述位于最上方的所述评论区域或者所述被摄体区域的上方位置。
CN201380003084.8A 2012-07-20 2013-07-04 带评论运动图像生成装置及带评论运动图像生成方法 Expired - Fee Related CN103797812B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-161532 2012-07-20
JP2012161532 2012-07-20
PCT/JP2013/004150 WO2014013689A1 (ja) 2012-07-20 2013-07-04 コメント付き動画像生成装置およびコメント付き動画像生成方法

Publications (2)

Publication Number Publication Date
CN103797812A true CN103797812A (zh) 2014-05-14
CN103797812B CN103797812B (zh) 2018-10-12

Family

ID=49948533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380003084.8A Expired - Fee Related CN103797812B (zh) 2012-07-20 2013-07-04 带评论运动图像生成装置及带评论运动图像生成方法

Country Status (4)

Country Link
US (2) US9674582B2 (zh)
JP (1) JP5571269B2 (zh)
CN (1) CN103797812B (zh)
WO (1) WO2014013689A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104185079A (zh) * 2014-09-11 2014-12-03 北京奇艺世纪科技有限公司 用户评论展示、收集方法及装置
CN104519371A (zh) * 2014-12-31 2015-04-15 北京酷云互动科技有限公司 推送方法、推送装置和服务器
CN105847999A (zh) * 2016-03-29 2016-08-10 广州华多网络科技有限公司 一种弹幕显示的方法及显示装置
CN106162303A (zh) * 2015-04-27 2016-11-23 北京智谷睿拓技术服务有限公司 信息处理方法、信息处理装置及用户设备
CN106162370A (zh) * 2015-04-27 2016-11-23 北京智谷睿拓技术服务有限公司 信息处理方法、信息处理装置及用户设备
CN106250006A (zh) * 2015-09-25 2016-12-21 北京智谷睿拓技术服务有限公司 基于弹幕的交互方法、交互装置及用户设备
CN106303729A (zh) * 2015-05-20 2017-01-04 北京智谷睿拓技术服务有限公司 基于弹幕的交互方法、交互装置及用户设备
CN106446880A (zh) * 2015-07-30 2017-02-22 木本股份有限公司 信息提供系统以及计算机程序
WO2017143834A1 (zh) * 2016-02-26 2017-08-31 沈国晔 基于影片的共同创作系统及其方法
CN108347640A (zh) * 2017-01-22 2018-07-31 北京康得新创科技股份有限公司 基于视频的信息处理方法和装置
CN110460893A (zh) * 2018-05-08 2019-11-15 日本聚逸株式会社 动态图像分发系统及其方法和记录介质
CN111866597A (zh) * 2019-04-30 2020-10-30 百度在线网络技术（北京）有限公司 控制视频中页面元素的布局的方法、系统及存储介质
CN112154658A (zh) * 2018-05-29 2020-12-29 索尼公司 图像处理装置、图像处理方法和程序
US11044535B2 (en) 2018-08-28 2021-06-22 Gree, Inc. Video distribution system for live distributing video containing animation of character object generated based on motion of distributor user, distribution method, and storage medium storing video distribution program
US11128932B2 (en) 2018-05-09 2021-09-21 Gree, Inc. Video distribution system for live distributing video containing animation of character object generated based on motion of actors
US11202118B2 (en) 2018-05-08 2021-12-14 Gree, Inc. Video distribution system, video distribution method, and storage medium storing video distribution program for distributing video containing animation of character object generated based on motion of actor
TWI824324B (zh) * 2021-06-18 2023-12-01 日商電通股份有限公司 即時資料處理裝置、方法及程式

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10210160B2 (en) 2010-09-07 2019-02-19 Opentv, Inc. Collecting data from different sources
US9237386B2 (en) 2012-08-31 2016-01-12 Google Inc. Aiding discovery of program content by providing deeplinks into most interesting moments via social media
US9401947B1 (en) * 2013-02-08 2016-07-26 Google Inc. Methods, systems, and media for presenting comments based on correlation with content
JP6260809B2 (ja) * 2013-07-10 2018-01-17 ソニー株式会社 ディスプレイ装置、情報処理方法、及び、プログラム
US9924130B2 (en) * 2013-07-15 2018-03-20 Allego Inc. Computer based training techniques for geographically distributed individuals
US10080060B2 (en) 2013-09-10 2018-09-18 Opentv, Inc. Systems and methods of displaying content
US9426539B2 (en) * 2013-09-11 2016-08-23 Intel Corporation Integrated presentation of secondary content
EP3047396A1 (en) * 2013-09-16 2016-07-27 Thomson Licensing Browsing videos by searching multiple user comments and overlaying those into the content
JP6122768B2 (ja) * 2013-11-19 2017-04-26 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、表示方法およびコンピュータプログラム
EP2890138A1 (en) * 2013-12-30 2015-07-01 Samsung Electronics Co., Ltd Method of controlling display device for providing content and display device performing the same
CN105245960A (zh) * 2014-07-07 2016-01-13 乐视网信息技术（北京）股份有限公司 视频的弹幕显示方法及装置
JP6573755B2 (ja) * 2014-07-10 2019-09-11 富士通株式会社 表示制御方法、情報処理プログラム、及び情報処理装置
WO2016031203A1 (ja) * 2014-08-26 2016-03-03 パナソニックＩｐマネジメント株式会社 表示制御装置、および表示制御方法
US20160063589A1 (en) * 2014-08-29 2016-03-03 Shelly Xu Apparatus and method for smart photography
JP6412422B2 (ja) * 2014-12-11 2018-10-24 キヤノン株式会社 画像処理装置およびその制御方法、システム、並びにプログラム
US10699454B2 (en) 2014-12-30 2020-06-30 Facebook, Inc. Systems and methods for providing textual social remarks overlaid on media content
CN105893387B (zh) * 2015-01-04 2021-03-23 伊姆西Ip控股有限责任公司 智能多媒体处理方法和系统
KR102235707B1 (ko) * 2015-01-29 2021-04-02 한국전자통신연구원 콘텐츠 부가 정보 제공 방법 및 모바일 단말 및 콘텐츠 제어 서버
US10455291B2 (en) 2015-03-20 2019-10-22 Twitter, Inc. Live video stream sharing
US10264194B2 (en) 2015-03-26 2019-04-16 Sony Corporation Information processing device, information processing method, and program
US20160381154A1 (en) * 2015-06-23 2016-12-29 Seachange International, Inc. Predicting Geolocation Of Users On Social Networks
CN105872646A (zh) * 2015-12-10 2016-08-17 乐视网信息技术（北京）股份有限公司 一种弹幕评论输入、显示方法及装置
JP6186457B2 (ja) * 2016-01-19 2017-08-23 ヤフー株式会社 情報表示プログラム、情報表示装置、情報表示方法および配信装置
US10187666B2 (en) * 2016-01-26 2019-01-22 Twitter, Inc. Live video streaming services using one or more external devices
CN105898522A (zh) * 2016-05-11 2016-08-24 乐视控股（北京）有限公司 一种弹幕信息处理方法和装置、系统
EP3252690A1 (en) * 2016-06-02 2017-12-06 Nokia Technologies Oy Apparatus and associated methods
WO2018073765A1 (en) * 2016-10-18 2018-04-26 Robert Brouwer Messaging and commenting for videos
US10219009B2 (en) 2016-11-18 2019-02-26 Twitter, Inc. Live interactive video streaming using one or more camera devices
CN106792100B (zh) * 2016-12-30 2020-08-28 北京奇艺世纪科技有限公司 一种视频弹幕显示方法及装置
US10284806B2 (en) * 2017-01-04 2019-05-07 International Business Machines Corporation Barrage message processing
JP6178941B1 (ja) * 2017-03-21 2017-08-09 株式会社ドワンゴ リアクション選択装置、リアクション選択方法、リアクション選択プログラム
CN107040824A (zh) * 2017-04-18 2017-08-11 深圳市金立通信设备有限公司 一种发送弹幕的方法及终端
JP6198983B1 (ja) * 2017-04-26 2017-09-20 株式会社 ディー・エヌ・エー 動画を配信するためのシステム、方法、及びプログラム
JP6304847B1 (ja) * 2017-04-28 2018-04-04 株式会社コナミデジタルエンタテインメント サーバ装置、及びそれに用いられるコンピュータプログラム
US11720745B2 (en) * 2017-06-13 2023-08-08 Microsoft Technology Licensing, Llc Detecting occlusion of digital ink
CN107360459B (zh) * 2017-07-07 2021-02-02 腾讯科技（深圳）有限公司 一种弹幕的处理方法、装置和存储介质
KR101891582B1 (ko) 2017-07-19 2018-08-27 네이버 주식회사 컨텐츠 내 하이라이트 댓글을 처리하기 위한 방법 및 시스템
JP6748041B2 (ja) * 2017-08-22 2020-08-26 株式会社 ディー・エヌ・エー 動画を配信するためのシステム、方法、及びプログラム
KR101933558B1 (ko) 2017-09-14 2018-12-31 네이버 주식회사 동영상 내 하이라이트 댓글을 처리하기 위한 방법 및 시스템
CN107872714B (zh) * 2017-10-27 2020-09-18 咪咕视讯科技有限公司 一种弹幕的处理方法、终端设备以及计算机可读存储介质
JP6580109B2 (ja) * 2017-11-09 2019-09-25 株式会社ドワンゴ 投稿提供サーバ、投稿提供プログラム、ユーザプログラム、投稿提供システムおよび投稿提供方法
US11792485B2 (en) * 2017-12-22 2023-10-17 Hillel Felman Systems and methods for annotating video media with shared, time-synchronized, personal reactions
KR102037183B1 (ko) * 2018-02-09 2019-10-28 엠랩 주식회사 스트리밍 미디어에 코멘트를 맵핑하는 시스템 및 방법
DK180640B1 (en) 2018-05-07 2021-11-09 Apple Inc Devices and methods of measurement using augmented reality
CN108924659A (zh) * 2018-06-13 2018-11-30 河南趣读信息科技有限公司 一种用于小说阅读应用软件中的弹幕系统
JP2018207517A (ja) * 2018-08-17 2018-12-27 株式会社コロプラ ヘッドマウントデバイスにおける表示を制御するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および情報処理装置
US20210385554A1 (en) * 2018-10-16 2021-12-09 Sony Group Corporation Information processing device, information processing method, and information processing program
CN110198491B (zh) * 2019-05-28 2021-07-30 北京奇艺世纪科技有限公司 一种视频分享方法及装置
JP7311319B2 (ja) * 2019-06-19 2023-07-19 ファナック株式会社 時系列データ表示装置
CN112702643B (zh) * 2019-10-22 2023-07-21 上海哔哩哔哩科技有限公司 弹幕信息显示方法、装置、移动终端
US11620334B2 (en) 2019-11-18 2023-04-04 International Business Machines Corporation Commercial video summaries using crowd annotation
CN111246270B (zh) * 2020-01-14 2022-02-25 广州虎牙科技有限公司 一种显示弹幕的方法、装置、设备和存储介质
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
CN111526408A (zh) * 2020-04-09 2020-08-11 北京字节跳动网络技术有限公司 信息内容的生成和展示方法、装置及计算机可读存储介质
CN115702570A (zh) * 2020-05-06 2023-02-14 艾锐势企业有限责任公司 点播视频中的交互评论
US11556223B2 (en) * 2020-08-27 2023-01-17 Ebay Inc. Automatic feedback system using visual interactions
JP6871470B1 (ja) * 2020-09-15 2021-05-12 Kddi株式会社 情報処理装置、情報処理方法及びプログラム
CN112235629B (zh) * 2020-10-15 2023-05-30 广州博冠信息科技有限公司 一种弹幕屏蔽方法、装置、计算机设备和存储介质
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
CN113225606B (zh) * 2021-04-30 2022-09-23 上海哔哩哔哩科技有限公司 视频弹幕处理方法及装置
US20230007334A1 (en) * 2021-06-30 2023-01-05 Rovi Guides, Inc. Systems and methods of presenting video overlays
US20230140042A1 (en) * 2021-11-04 2023-05-04 Tencent America LLC Method and apparatus for signaling occlude-free regions in 360 video conferencing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004128614A (ja) * 2002-09-30 2004-04-22 Toshiba Corp 画像表示制御装置及び画像表示制御プログラム
CN101945264A (zh) * 2007-05-08 2011-01-12 孟智平 一种在视频资源中使用信息集的方法
CN102446210A (zh) * 2010-09-06 2012-05-09 索尼公司 图像处理装置、程序和图像处理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001351125A (ja) 2000-03-30 2001-12-21 Sega Corp 画像表示方法
US7432940B2 (en) * 2001-10-12 2008-10-07 Canon Kabushiki Kaisha Interactive animation of sprites in a video production
JP2005151147A (ja) * 2003-11-14 2005-06-09 Toshiba Corp 再生装置及び再生方法
JP2005204124A (ja) * 2004-01-16 2005-07-28 Matsushita Electric Ind Co Ltd カメラ装置及びネットワークシステム
JP4346571B2 (ja) * 2005-03-16 2009-10-21 富士通株式会社 音声認識システム、音声認識方法、及びコンピュータプログラム
US20070113180A1 (en) * 2005-11-15 2007-05-17 Michael Danninger Method and system for providing improved help functionality to assist new or occasional users of software in understanding the graphical elements of a display screen
JP4695583B2 (ja) 2006-12-11 2011-06-08 株式会社ドワンゴ 表示装置、コメント表示方法、及びプログラム
JP2009081592A (ja) 2007-09-26 2009-04-16 Hitachi Ltd 映像記録装置
US9158179B2 (en) * 2008-07-14 2015-10-13 The Traveling Photo Booth Inc. Photo booth systems and methods
JP2010053293A (ja) 2008-08-29 2010-03-11 Nippon Kayaku Co Ltd エポキシ樹脂組成物
JP5343676B2 (ja) 2009-04-08 2013-11-13 ソニー株式会社 画像処理装置、画像処理方法およびコンピュータプログラム
JP5235827B2 (ja) 2009-09-10 2013-07-10 株式会社エクシング 映像情報配信システム
WO2011102447A1 (ja) * 2010-02-18 2011-08-25 株式会社キャメロット 情報処理装置の動作制御システム及び動作制御方法
CN103003846B (zh) 2011-01-26 2016-07-06 松下知识产权经营株式会社 关节区域显示装置、关节区域检测装置、关节区域归属度计算装置、关节状区域归属度计算装置以及关节区域显示方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004128614A (ja) * 2002-09-30 2004-04-22 Toshiba Corp 画像表示制御装置及び画像表示制御プログラム
CN101945264A (zh) * 2007-05-08 2011-01-12 孟智平 一种在视频资源中使用信息集的方法
CN102446210A (zh) * 2010-09-06 2012-05-09 索尼公司 图像处理装置、程序和图像处理方法

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104185079A (zh) * 2014-09-11 2014-12-03 北京奇艺世纪科技有限公司 用户评论展示、收集方法及装置
CN104519371A (zh) * 2014-12-31 2015-04-15 北京酷云互动科技有限公司 推送方法、推送装置和服务器
CN106162370B (zh) * 2015-04-27 2019-08-02 北京智谷睿拓技术服务有限公司 信息处理方法、信息处理装置及用户设备
CN106162303A (zh) * 2015-04-27 2016-11-23 北京智谷睿拓技术服务有限公司 信息处理方法、信息处理装置及用户设备
CN106162370A (zh) * 2015-04-27 2016-11-23 北京智谷睿拓技术服务有限公司 信息处理方法、信息处理装置及用户设备
CN106162303B (zh) * 2015-04-27 2019-07-09 北京智谷睿拓技术服务有限公司 信息处理方法、信息处理装置及用户设备
CN106303729A (zh) * 2015-05-20 2017-01-04 北京智谷睿拓技术服务有限公司 基于弹幕的交互方法、交互装置及用户设备
CN106303729B (zh) * 2015-05-20 2019-05-21 北京智谷睿拓技术服务有限公司 基于弹幕的交互方法、交互装置及用户设备
CN106446880A (zh) * 2015-07-30 2017-02-22 木本股份有限公司 信息提供系统以及计算机程序
CN106446880B (zh) * 2015-07-30 2021-07-27 木本股份有限公司 信息提供系统
CN106250006A (zh) * 2015-09-25 2016-12-21 北京智谷睿拓技术服务有限公司 基于弹幕的交互方法、交互装置及用户设备
CN106250006B (zh) * 2015-09-25 2019-08-06 北京智谷睿拓技术服务有限公司 基于弹幕的交互方法、交互装置及用户设备
WO2017143834A1 (zh) * 2016-02-26 2017-08-31 沈国晔 基于影片的共同创作系统及其方法
CN105847999A (zh) * 2016-03-29 2016-08-10 广州华多网络科技有限公司 一种弹幕显示的方法及显示装置
CN108347640A (zh) * 2017-01-22 2018-07-31 北京康得新创科技股份有限公司 基于视频的信息处理方法和装置
CN110460893A (zh) * 2018-05-08 2019-11-15 日本聚逸株式会社 动态图像分发系统及其方法和记录介质
CN115086736A (zh) * 2018-05-08 2022-09-20 日本聚逸株式会社 动态图像分发系统及其方法和记录介质
CN110460893B (zh) * 2018-05-08 2022-06-03 日本聚逸株式会社 动态图像分发系统及其方法和记录介质
US11202118B2 (en) 2018-05-08 2021-12-14 Gree, Inc. Video distribution system, video distribution method, and storage medium storing video distribution program for distributing video containing animation of character object generated based on motion of actor
US11128932B2 (en) 2018-05-09 2021-09-21 Gree, Inc. Video distribution system for live distributing video containing animation of character object generated based on motion of actors
CN112154658A (zh) * 2018-05-29 2020-12-29 索尼公司 图像处理装置、图像处理方法和程序
US11044535B2 (en) 2018-08-28 2021-06-22 Gree, Inc. Video distribution system for live distributing video containing animation of character object generated based on motion of distributor user, distribution method, and storage medium storing video distribution program
US11336969B2 (en) 2018-08-28 2022-05-17 Gree, Inc. Video distribution system for live distributing video containing animation of character object generated based on motion of distributor user, distribution method, and storage medium storing video distribution program
CN111866597A (zh) * 2019-04-30 2020-10-30 百度在线网络技术（北京）有限公司 控制视频中页面元素的布局的方法、系统及存储介质
TWI824324B (zh) * 2021-06-18 2023-12-01 日商電通股份有限公司 即時資料處理裝置、方法及程式

Also Published As

Publication number Publication date
WO2014013689A1 (ja) 2014-01-23
JPWO2014013689A1 (ja) 2016-06-30
US20170223422A1 (en) 2017-08-03
JP5571269B2 (ja) 2014-08-13
US9998797B2 (en) 2018-06-12
CN103797812B (zh) 2018-10-12
US20140215512A1 (en) 2014-07-31
US9674582B2 (en) 2017-06-06

Similar Documents

Publication Publication Date Title
CN103797812A (zh) 带评论运动图像生成装置及带评论运动图像生成方法
US11671667B2 (en) Methods, systems, and media for presenting contextual information in connection with media content
JP5857450B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US9319745B2 (en) Media player system for product placements
US11586345B2 (en) Method and apparatus for interaction control of display page
JP2012248070A (ja) 情報処理装置、メタデータ設定方法、及びプログラム
US20150245103A1 (en) Systems and methods for identifying, interacting with, and purchasing items of interest in a video
US20140019865A1 (en) Visual story engine
CN104081783A (zh) 用于将社交消息与内容时间轴同步的方法和系统
CN109688418A (zh) 直播界面功能引导方法、设备及存储介质
US11622145B2 (en) Display device and method, and advertisement server
US9589296B1 (en) Managing information for items referenced in media content
CN103535028A (zh) 用于提供与显示的内容相关的附加内容的方法和系统
WO2019114633A1 (zh) 图像信息处理方法、装置和存储介质
KR101564161B1 (ko) 스마트 ｔｖ 환경에서 ｔｖ 콘텐츠에 상품 메타 정보를 합성하여 제공하는 시스템 및 그 방법
JP2006215842A (ja) 人物動線追跡システム及び広告表示制御システム
CN110209963A (zh) 界面显示方法、装置、设备以及存储介质
CN103270473A (zh) 用于定制显示关于媒体资产的描述性信息的方法
KR102553332B1 (ko) 라이브 방송 플랫폼에서 콘텐츠 편집 방법 및 장치
WO2024001677A1 (zh) 页面显示方法、装置、计算机设备、存储介质及程序产品
JP6106772B1 (ja) 情報表示プログラム、情報表示装置、情報表示方法および配信装置
CN116962782A (zh) 媒体信息的显示方法和装置、存储介质及电子设备
Taskan Computational Abstraction of Films for Quantitave Analysis of Cinematography

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160218

Address after: Osaka Japan

Applicant after: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181012

Termination date: 20190704