CN108141642A - 动态图像再生装置、动态图像再生方法、动态图像分发系统、存储了动态图像再生程序的存储介质以及动态图像再生程序 - Google Patents

动态图像再生装置、动态图像再生方法、动态图像分发系统、存储了动态图像再生程序的存储介质以及动态图像再生程序 Download PDF

Info

Publication number
CN108141642A
CN108141642A CN201780003112.4A CN201780003112A CN108141642A CN 108141642 A CN108141642 A CN 108141642A CN 201780003112 A CN201780003112 A CN 201780003112A CN 108141642 A CN108141642 A CN 108141642A
Authority
CN
China
Prior art keywords
mentioned
dynamic image
frame
item area
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780003112.4A
Other languages
English (en)
Inventor
小林道生
村冈彻哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Homologous Ltd Co
Original Assignee
Japan Homologous Ltd Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Homologous Ltd Co filed Critical Japan Homologous Ltd Co
Priority to CN201810366117.XA priority Critical patent/CN108712682A/zh
Publication of CN108141642A publication Critical patent/CN108141642A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供在观众对动态图像所放映的项目感兴趣时,能够以简单的方法对观众提供动态图像中的项目的信息的动态图像再生装置。使具备显示部和输入部的动态图像再生装置执行以下的(1)~(3)。(1)通过依次切换动态图像数据所包含的帧并显示在上述显示部,来将动态图像显示于上述显示部。(2)在上述帧预先设定项目区域,并与依次切换上述帧对应地切换设定上述项目区域。(3)当通过上述输入部选择了设定在显示于上述显示部的上述帧的上述项目区域时,在上述显示部显示与上述项目区域建立了对应的项目信息。

Description

动态图像再生装置、动态图像再生方法、动态图像分发系统、 存储了动态图像再生程序的存储介质以及动态图像再生程序
技术领域
本发明涉及动态图像再生装置、动态图像再生方法、动态图像分发系统、存储了动态图像再生程序的存储介质以及动态图像再生程序。
背景技术
近年来,通过用户侧的终端(例如平板型终端、智能手机、个人计算机等)收看动态图像内容的情况正在进行。例如在专利文献1~3中记载了通过用户侧的终端收看戏剧等播放节目。
专利文献1:日本特开2012-119833号公报
专利文献2:日本特开2007-306399号公报
专利文献3:日本特开2004-23425号公报
当观众对在动态图像中放映的事物(以下,有时称为“项目”)感兴趣时,存在该观众尝试其信息的收集的情况。例如,存在当观众收看戏剧时,想要购买主人公拿着的包而在因特网上搜索该包的销售网站的情况。
但是,即使观众想要检索在动态图像中放映的项目,若不知晓检索关键字,则难以搜索作为目的的项目的信息。另外,直到得到作为目的的项目的信息为止的作业(例如,检索关键字的选择、对检索网站的访问、从检索出的信息组取舍选择等)越多,则脱离率越高,存在失去难得的商机的担心。另外,也存在即使观众到达了与项目有关的信息网站,该网站的可靠性也成为问题的情况。具体而言,即使检索到了作为目的的项目的销售网站,若观众对该销售网站的可靠性抱有疑问,则也会犹豫是否购买该项目,所以在这种情况下也会失去商机。
另一方面,若有当观众对在动态图像放映的项目感兴趣时,能够将观众引导至与该项目有关的信息的系统,则例如项目的制造业者等能够成为动态图像制作者的赞助商等而拓展商机。从这样的方面来看,能够以简单的方法对观众提供动态图像中的项目的信息是重要的。
发明内容
本发明的目的在于,在观众对动态图像所放映的项目感兴趣时,能够以简单的方法对观众提供动态图像中的项目的信息。
用于实现上述目的的主要的发明的特征在于,使具备显示部和输入部的动态图像再生终端执行以下处理:通过依次切换动态图像数据所包含的帧并显示于上述显示部,来将动态图像显示于上述显示部;在上述帧预先设定项目区域,并与依次切换上述帧对应地切换设定上述项目区域;以及当通过上述输入部选择了设定在显示于上述显示部的上述帧的上述项目区域时,在上述显示部显示与上述项目区域建立了对应的项目信息。
对于本发明的其它的特征,根据后述的说明书以及附图的记载会变得清楚。
根据本发明,在观众对动态图像所放映的项目感兴趣时,能够以简单的方法对观众提供动态图像中的项目的信息。
附图说明
图1A~图1D是本实施方式的概要的说明图。
图2是在动态图像再生前显示的动态图像一览画面的说明图。
图3是动态图像再生时的基本画面的说明图。
图4A~图4C是图标显示部21B的框显示按钮211的说明图。
图5A~图5D是图标显示部21B的表演者图标212的说明图。
图6A~图6D是音乐图标213的说明图。
图7A~图7D是地点图标214的说明图。
图8是表示本实施方式的动态图像分发系统的图。
图9是动态图像数据和元数据的说明图。
图10是动态图像显示部21A所显示的图像的生成处理的流程图。
图11A以及图11B是在一个画面上(一帧上)设定了两个项目区域的情况下的说明图。
图12是元数据的创建方法的示意说明图。
图13A~图13D是用户终端10为个人计算机的情况下的说明图。
图14A是通过输入部选择了项目区域以外的区域的情况的说明图。图14B是用户终端10获取的获取数据的说明图。
具体实施方式
根据后述的说明书以及附图的记载,至少明确以下的事项。
一种动态图像再生装置,其特征在于,具备显示部、输入部、以及控制部,上述控制部通过依次切换动态图像数据所包含的帧并显示于上述显示部,来在上述显示部显示动态图像,在上述帧预先设定有项目区域,与依次切换上述帧对应地切换设定上述项目区域,当通过上述输入部选择了在显示于上述显示部的上述帧所设定的上述项目区域时,在上述显示部显示与上述项目区域建立了对应的项目信息。根据这样的动态图像再生装置,观众能够简单地获取动态图像中的项目的信息。
优选上述控制部在上述显示部显示上述帧时,将表示在上述帧设定的上述项目区域的图像显示到上述显示部。由此,观众能够简单地获取动态图像中的项目的信息。
优选在上述帧预先设定有用于设定上述项目区域的项目区域设定数据,上述控制部与依次切换上述帧对应地基于在上述帧设定的上述项目区域设定数据切换设定上述项目区域,在将上述帧显示于上述显示部时,基于上述项目区域设定数据,在上述显示部显示表示上述项目区域的图像,当通过上述输入部选择了基于上述项目区域设定数据设定的上述项目区域时,在上述显示部显示与上述项目区域设定数据建立了对应的项目信息。由此,不仅能够在项目区域的设定中使用项目区域设定数据,也能够在表示项目区域的图像的生成中使用项目区域设定数据。
优选能够选择表示上述项目区域的上述图像的显示/非显示。若使表示上述项目区域的上述图像非显示,则观众能够集中于动态图像的收看,能够欣赏动态图像。
优选在通过上述输入部选择了设定在显示于上述显示部的上述帧的上述项目区域时,显示项目图像作为上述项目信息。由此,观众能够简单地获取动态图像中的项目的信息。
优选在通过上述输入部选择了设定在显示于上述显示部的上述帧的上述项目区域时,在上述项目区域的附近显示上述项目图像。由此,观众容易识别为能够获取项目信息。
优选在通过上述输入部选择了设定在显示于上述显示部的上述帧的上述项目区域时,在表示储存了上述项目信息这一情况的储存信息显示部显示上述项目图像。由此,观众容易识别为储存了项目信息。
优选上述储存信息显示部被配置在显示上述动态图像的动态图像显示部的外侧,在通过上述输入部从设定在上述动态图像显示部的上述项目区域朝向上述储存信息显示部进行了操作时,在上述储存信息显示部显示上述项目图像。由此,观众容易理解使项目信息储存的操作。
优选预先设定事件信息作为上述项目信息,在通过上述输入部选择了设定在显示于上述显示部的上述帧的上述项目区域时,通过执行根据上述事件信息的处理,在上述显示部显示与上述项目区域建立了对应的项目信息。另外,优选上述事件信息是显示所设定的地址的网页,通过显示上述网页,在上述显示部显示与上述项目区域建立了对应的项目信息。由此,观众能够简单地获取动态图像中的项目的信息。
优选在上述帧设定有至少两个上述项目区域,在通过上述输入部选择了设定在显示于上述显示部的上述帧的两个上述项目区域的重复区域时,在上述显示部显示与一方的上述项目区域建立了对应的项目信息。另外,对设定在上述帧的两个上述项目区域设定优先顺序,当通过上述输入部选择了设定在显示于上述显示部的上述帧的两个上述项目区域的重复区域时,在上述显示部显示上述优先顺序高的一方的上述项目信息。由此,在通过上述输入部选择了两个上述项目区域的重复区域时,能够在上述显示部显示一方(上述优先顺序高的一方)的上述项目信息。
优选在上述帧设定的两个上述项目区域的一方的上述项目区域的全部范围包含在另一方的上述项目区域的情况下,上述一方的上述项目区域被设定为上述优先顺序比上述另一方的项目区域高,在通过上述输入部选择了设定在显示于上述显示部的上述帧的两个上述项目区域的重复区域时,在上述显示部显示与上述一方的上述项目区域建立了对应的项目信息。由此,观众能够选择任意的项目区域。
优选在上述帧设定有至少两个上述项目区域,并且一方的上述项目区域的全部范围包含在另一方的上述项目区域,在通过上述输入部选择了设定在显示于上述显示部的上述帧的两个上述项目区域的重复区域时,在上述显示部显示与上述一方的上述项目区域建立了对应的项目信息。由此,观众能够选择任意的项目区域。
优选在通过上述输入部选择了上述项目区域以外的区域时,从上述动态图像数据提取与所选择的区域有关的信息,获取提取数据。由此,能够获取观众的喜好信息。
优选在通过上述输入部选择了上述项目区域以外的区域时,从上述帧提取所选择的区域的附近的图像。由此,能够获取观众的喜好信息。
优选上述提取数据包含有提取源的上述帧的时间代码信息、和通过上述输入部选择的区域的坐标。由此,能够获取观众的喜好信息。
优选观众的属性信息与上述提取数据建立对应关系。由此,能够获取观众的喜好信息。
一种动态图像再生方法,是基于动态图像数据、和与上述动态图像数据对应的元数据再生动态图像的动态图像再生方法,其特征在于,进行以下处理:通过依次切换动态图像数据所包含的帧并显示于显示部,来在上述显示部显示动态图像;在上述帧预先设定项目区域,并与依次切换上述帧对应地切换设定上述项目区域;以及在通过输入部选择了设定在显示于上述显示部的上述帧的上述项目区域时,在上述显示部显示与上述项目区域建立了对应的项目信息。根据这样的动态图像再生方法,观众能够简单地获取动态图像中的项目的信息。
一种动态图像分发系统,是分发动态图像数据、和与上述动态图像数据对应的元数据的动态图像分发系统,其特征在于,具备:分发用于通过依次切换帧并使该帧显示于动态图像再生装置的显示部来使动态图像显示于上述显示部的上述动态图像数据的服务器;分发用于在上述帧预先设定项目区域,并与依次切换上述帧对应地切换设定上述项目区域的上述元数据的服务器;以及分发用于在通过上述动态图像再生装置的输入部选择了设定在显示于上述显示部的上述帧的上述项目区域时,使与上述项目区域建立了对应的项目信息显示于上述显示部的程序的服务器。根据这样的动态图像分发系统,观众能够简单地获取动态图像中的项目的信息。
另外,一种元数据创建方法,是创建元数据的元数据创建方法,其特征在于,进行以下处理:从上述动态图像数据所包含的帧中提取多个关键帧;基于提取出的关键帧的图像,设定与该关键帧对应的上述项目区域;以及基于与上述关键帧对应的上述项目区域、和其它的与上述关键帧对应的上述项目区域,对与上述关键帧以外的上述帧对应的上述项目区域进行插值设定。根据这样的元数据创建方法,能够减轻元数据创建时的作业量。
优选在上述帧设定至少两个上述项目区域,并且一方的上述项目区域的全部范围包含于另一方的上述项目区域的情况下,以当通过上述输入部选择了设定在显示于上述显示部的上述帧的两个上述项目区域的重复区域时,上述一方的上述项目区域被选择的方式,设定两个上述项目区域的优先顺序。由此,观众能够选择任意的项目区域。
一种存储了动态图像再生程序的存储介质,其特征在于,该动态图像再生程序使具备显示部和输入部的动态图像再生装置执行以下处理:通过依次切换动态图像数据所包含的帧并显示于上述显示部,来将动态图像显示于上述显示部;在上述帧预先设定项目区域,并与依次切换上述帧对应地切换设定上述项目区域;以及在通过上述输入部选择了设定在显示于上述显示部的上述帧的上述项目区域时,在上述显示部显示与上述项目区域建立了对应的项目信息。根据这样的存储了动态图像再生程序的存储介质,观众能够简单地获取动态图像中的项目的信息。
一种动态图像再生程序,其特征在于,使具备显示部和输入部的动态图像再生装置执行以下处理:通过依次切换动态图像数据所包含的帧并显示于上述显示部,来将动态图像显示于上述显示部;在上述帧预先设定项目区域,并与依次切换上述帧对应地切换设定上述项目区域;以及在通过上述输入部选择了设定在显示于上述显示部的上述帧的上述项目区域时,在上述显示部显示与上述项目区域建立了对应的项目信息。根据这样的动态图像再生程序,观众能够简单地获取动态图像中的项目的信息。
===实施方式===
<概要>
图1A~图1D是本实施方式的概要的说明图。
如图1A所示,在用户终端10(观众的例如平板型终端、智能手机等)的触摸面板11上正再生动态图像(例如戏剧)。在画面上放映着女演员拿着包的样子。在动态图像数据所包含的帧(静态图像)预先设定有项目区域,这里,在画面上的包的区域预先设定项目区域。表示项目区域的框41(图中的矩形的虚线)可以在动态图像再生中显示,若妨碍动态图像的收看则也可以非显示。在动态图像的再生时依次切换帧(静态图像)并进行显示,所以动态图像上(帧上)的包所占的区域时刻变化,为了追随动态图像而设定为项目区域也时刻变化,表示项目区域的框41(图中的矩形的虚线)也时刻变形。
如图1B所示,若用户终端10检测到对预先在动态图像设定的项目区域进行了触摸操作(用手指触摸的操作),则显示与该项目区域相对应的项目图像42A(例如缩略图像)。即使假设表示项目区域的框41(图中的矩形的虚线)为非显示,若观众在对动态图像内的包感兴趣时对触摸面板11上的包进行了触摸则也显示包的项目图像42A,所以能够识别为可获取该包的相关信息。
并且,如图1B所示,用户终端10若检测到对预先设定在动态图像的项目区域进行了滑动操作(在画面上使手指滑动的操作),则存储与该项目区域相对应的项目信息作为储存(stock)信息。如图1C所示,用户终端10若存储规定的项目信息作为储存信息,则在触摸面板11上的储存信息显示部21C显示与储存信息(被储存的项目信息)对应的项目图像42C(例如缩略图像)。即,观众在对动态图像内的包感兴趣时,若向下滑动触摸面板11上的包,则能够使该包的项目信息储存,并且能够在储存信息显示部21C确认使该包的项目信息存储到了用户终端10。
如图1D所示,用户终端10若检测到对显示于储存信息显示部21C的项目图像42C的区域进行了触摸操作(以手指点击触摸的操作),则进行按照与该项目图像42C(项目信息)相对应的事件信息的处理。这里,使包的销售商的网页的地址与包的项目信息建立对应关系,若观众对包的项目图像42C进行触摸操作,则在触摸面板11(显示部12)上显示该包的网页。此外,包的网页的显示画面是与包有关的项目信息,并且也是包的项目图像42D。网页的显示方法既可以如图1D所示那样与再生中的动态图像一起作为多画面显示,也可以单独显示。另外,按照事件信息的处理并不限定于网页的显示。
<操作画面>
图2是在动态图像再生前显示的动态图像一览画面的说明图。若启动本实施方式的动态图像再生程序,则用户终端10显示能够再生的动态图像的一览(动态图像一览画面)。用户终端10对每个能够再生的动态图像,显示缩略图像、标题、概要说明文等。用户终端10若检测到对动态图像一览画面的缩略图像的区域进行了触摸操作,则进行与该缩略图像相对应的动态图像的再生。
此外,用户终端10若对已经再生的动态图像存储了储存信息,则在动态图像一览画面显示与储存信息对应的项目图像42。此外,用户终端10若检测到对显示于动态图像一览画面的项目图像42的区域进行了触摸操作,则进行根据与该项目图像42相对应的事件信息的处理。
图3是动态图像再生时的基本画面的说明图。在该基本画面上主要设有动态图像显示部21A、图标显示部21B、以及储存信息显示部21C。
在动态图像显示部21A显示被再生的动态图像。若对基本画面上的遥控器图标22进行触摸操作,则在动态图像显示部21A显示控制器22A(控制图像)(或者使显示中的控制器22A为非显示)。用户终端10与控制器22A上的操作对应地控制动态图像的再生、快进、回放等。
在图标显示部21B显示有各种图标。这里,在图标显示部21B显示有框显示按钮211、表演者图标212、音乐图标213、以及地点图标214等。这些图标的说明将后述。若对基本画面上的情报图标23进行触摸操作,则在图标显示部21B显示中的图标组成为非显示(或者,显示非显示的图标)。
在储存信息显示部21C显示有与储存信息(所储存的项目信息)对应的项目图像42C。储存信息显示部21C被配置在动态图像显示部21A之下。由此,由于在进行图1B所示那样的滑动操作的方向配置储存信息显示部21C,所以观众容易理解使项目信息储存的操作。此外,如已经说明那样,用户终端10根据显示于储存信息显示部21C的项目图像42C的操作,来进行按照与该项目图像42C(项目信息)相对应的事件信息的处理。
除此之外,在基本画面上也能够设置用于显示网页的浏览器显示部21D(参照图1D)。
图4A~图4C是图标显示部21B的框显示按钮211的说明图。框显示按钮211是用于选择表示项目区域的框41的显示/非显示的按钮。
如图4A所示,在本实施方式中,在动态图像上的包所占的区域设定项目区域,并根据所设定的项目区域,显示表示项目区域的框41(图中的矩形的虚线)。观众通过识别在动态图像显示部21A显示框41,能够注意到何种信息与该框41建立对应关系。另外,由于在框41中有包的图像(动态图像上的包的图像),所以观众能够推测为包的信息与框41相关联。
如图4B所示,用户终端10若检测到对框显示按钮211进行了触摸操作,检测为有使框41非显示的主旨的指示,则即使对显示中的帧设定了项目区域,也使动态图像显示部21A的框41非显示。由此,观众能够不在意框41的显示,而集中于动态图像的收看,能够欣赏动态图像。特别是,由于若时刻变形的框41与动态图像重合显示则有使观众扫兴的担心,所以能够使框41非显示是优选的方式。
如图4C所示,即使框41为非显示,若对帧(静态图像)设定项目区域,且观众对该项目区域进行触摸操作,则用户终端10也与显示框41的情况相同地进行处理。即,如图4C所示,用户终端10若检测到对预先设定在动态图像的项目区域进行了触摸操作(以手指触摸的操作),则显示与该项目区域相对应的项目图像42A(例如缩略图像)。而且,用户终端10若检测到对预先设定在动态图像的项目区域进行滑动操作(在画面上使手指滑动的操作),则存储与该项目区域相对应的项目信息作为储存信息。
图5A~图5D是图标显示部21B的表演者图标212的说明图。在动态图像上放映表演者(女演员、男演员等)的场景(帧)下,预先使与该表演者有关的信息作为项目信息而建立对应关系。在与表演者有关的项目信息建立了对应关系时,用户终端10使图标显示部21B的表演者图标212变色(例如,从白色变为绿色)进行显示。观众通过识别表演者图标212的颜色变化,能够识别为可获取在动态图像中放映的表演者的相关信息。
如图5A所示,用户终端10若检测到对表演者图标212进行了触摸操作,则若与表演者有关的项目信息和该帧建立了对应,则显示与该项目信息相对应的项目图像42B(例如,表演者的缩略图像)。这里,由于在画面上放映两个表演者,且与两个表演者有关的项目信息和该帧建立了对应,所以若观众对表演者图标212进行触摸操作,则显示与这两个表演者有关的项目图像42B(缩略图像)。
如图5B所示,用户终端10若检测到对任意一个表演者的项目图像42B(缩略图像)进行了滑动操作,则存储表演者的项目信息作为储存信息。另外,如图5C所示,用户终端10在储存信息显示部21C显示表演者的缩略图像,作为与储存信息(所储存的项目信息)对应的项目图像42C。另外,如图5D所示,用户终端10若检测到对显示于储存信息显示部21C的表演者的项目图像42C进行了触摸操作,则显示例如演艺公司的网页上的该表演者的介绍页,作为按照与该项目图像42C(项目信息)相对应的事件信息的处理。
图6A~图6D是音乐图标213的说明图。在动态图像上播放音乐(所谓的BGM)的场景(帧)下,预先使与该音乐有关的信息作为项目信息而建立对应关系。用户终端10在与音乐有关的项目信息和该帧建立了对应关系时,使图标显示部21B的音乐图标213变色进行显示。观众通过识别音乐图标213的颜色变化,能够识别为可获取在动态图像上播放的音乐的相关信息。
如图6A所示,用户终端10在检测到对音乐图标213进行了触摸操作时,若与音乐有关的项目信息和该帧建立了对应,则显示与该项目信息相对应的项目图像42B(例如,唱片封套图像)。如图6B所示,用户终端10若检测到对项目图像42B(唱片封套图像)进行了滑动操作,则存储音乐的项目信息作为储存信息。另外,如图6C所示,用户终端10在储存信息显示部21C显示音乐的唱片封套图像,作为与储存信息(所储存的项目信息)对应的项目图像42C。另外,如图6D所示,用户终端10若检测到对显示于储存信息显示部21C的音乐的项目图像42C进行了触摸操作,则显示销售该音乐的网页,作为按照与该项目图像42C(项目信息)相对应的事件信息的处理。
图7A~图7D是地点图标214的说明图。在动态图像中例如放映地标的场景(帧)下,预先使与地点有关的信息作为项目信息和该帧建立对应关系。用户终端10在与地点有关的项目信息和该帧建立了对应时,使图标显示部21B的地点图标214变色进行显示。观众通过识别地点图标214的颜色变化,能够识别为可获取在动态图像上放映的地点的相关信息。
如图7A所示,用户终端10当检测到对地点图标214进行了触摸操作时,若与地点有关的项目信息和该帧建立了对应,则显示与该项目信息相对应的项目图像42B(例如,缩略图像)。如图7B所示,用户终端10若检测到对项目图像42B进行了滑动操作,则存储地点的项目信息作为储存信息。另外,如图7C所示,用户终端10在储存信息显示部21C显示该地点的缩略图像,作为与储存信息对应的项目图像42C。另外,如图7D所示,用户终端10若检测到对显示于储存信息显示部21C的地点的项目图像42C进行了触摸操作,则显示介绍该地点的网页、或者显示该地点的地图、或者显示到该地点的路径信息、或者显示该地点的介绍文,作为按照与该项目图像42C相对应的事件信息的处理。
<整体构成>
图8是表示本实施方式的动态图像分发系统的图。动态图像分发系统包含动态图像分发服务器1、元数据分发服务器3、以及用户终端10而构成。动态图像分发服务器1、元数据分发服务器3与用户终端10以能够经由通信网络9通信的方式连接。通信网络9例如是因特网、电话线路网、无线通信网、LAN、VAN等,这里假定因特网。
动态图像分发服务器1是用于分发许多的动态图像内容的服务器。在本实施方式中,动态图像分发服务器1以流媒体形式向用户终端10分发动态图像数据。其中,动态图像数据的分发方法既可以是下载形式,也可以是渐进下载形式。
元数据分发服务器3是用于分发包含上述的项目信息(项目图像42、事件信息、项目区域等与项目有关的信息)的元数据的服务器。在本实施方式中,在动态图像再生前以预加载形式分发元数据的一部分(后述的参照数据),并且以渐进下载形式分发元数据的一部分(后述的帧对应数据)。但是,元数据的分发方法并不限定于此,例如也可以是下载形式,也可以是流媒体形式。在本实施方式中,为了方便说明将元数据与动态图像数据分开进行说明,但元数据也可以储存于动态图像数据(动态图像文件)。
此外,通过元数据创建终端7创建元数据分发服务器3的元数据。对于元数据创建终端7的元数据创建方法将后述。
用户终端10是能够进行动态图像再生的信息终端(动态图像再生装置)。这里,用户终端10假定为平板型的移动终端。用户终端10具备未图示的CPU、存储器、存储装置、通信模块、以及触摸面板11(显示部12、输入部13)等硬件。在用户终端10安装有动态图像再生程序,用户终端10通过执行动态图像再生程序,来实现上述的各种动作。动态图像再生程序能够从程序分发服务器5下载到用户终端10。
用户终端10并不限定于平板型的移动终端,例如也可以是智能手机,也可以是个人计算机。在用户终端10为智能手机的情况下,与平板型的移动终端相同,通过触摸面板11构成显示部12以及输入部13。在用户终端10为个人计算机的情况下,例如由液晶显示器等构成显示部12,并通过鼠标、键盘等构成输入部13。此外,作为其它的实施方式,对于用户终端10为个人计算机的情况下的操作方法等将后述。
用户终端10具备显示部12、和输入部13。显示部12是用于显示各种画面的功能。在本实施方式中,通过触摸面板11的显示器、控制该显示器的显示的控制器等实现显示部12。输入部13是用于输入、检测来自用户的指示的功能。在本实施方式中,由触摸面板11的触摸传感器等实现输入部13。此外,在本实施方式中,虽然显示部12以及输入部13主要由触摸面板11实现,但显示部12以及输入部13也可以由不同的部件构成。控制部15是控制用户终端10的功能。控制部15具有用于对动态图像数据进行处理来再生(显示)动态图像的功能、用于对元数据(后述)进行处理的功能等。后面会明确动态图像数据、元数据的处理。另外,控制部15也具有获取网页的信息,并使网页显示的浏览器功能等。在本实施方式中,控制部15由未图示的CPU、存储了动态图像再生程序的存储器以及存储装置等实现。
通信部17是用于与通信网络9连接的功能。通信部17从动态图像分发服务器1接收动态图像数据、从元数据分发服务器3接收元数据、或向动态图像分发服务器1、元数据分发服务器3请求数据。
动态图像数据存储部是存储动态图像数据的功能。此外,动态图像数据存储部在流媒体形式的分发的情况下暂时存储动态图像数据,在下载形式的分发的情况下存储并保持下载后的动态图像数据。另外,元数据存储部是存储元数据的功能。另外,储存信息存储部是将所储存的项目信息与动态图像数据建立对应地存储的功能。
图9是动态图像数据和元数据的说明图。
动态图像数据由连续的帧(图像数据)构成。用户终端10的动态图像数据处理部根据从动态图像分发服务器1接收到的动态图像数据生成各帧,并依次切换生成的帧来使其显示于显示部12,从而再生动态图像。
元数据具有帧对应数据、和参照数据。
帧对应数据是与动态图像数据的帧建立了对应的元数据。帧对应数据以渐进下载形式从元数据分发服务器3分发到用户终端10,并存储于用户终端10的元数据存储部。
帧对应数据具备时间代码、和项目信息。时间代码是用于与帧建立对应的数据(用于与动态图像同步的数据)。帧对应数据的项目信息由项目ID、和项目区域设定数据构成。项目ID是用于与存储于参照数据的项目信息建立对应的识别符。项目区域设定数据是用于设定项目区域的数据。在本实施方式中,项目区域为矩形,所以项目区域设定数据由为了设定矩形的区域而必需的对角的两点的坐标的数据构成。但是,项目区域并不限定于矩形,例如项目区域也可以是圆形,该情况下,项目区域设定数据例如由中心点的坐标和半径的数据构成。这样,对帧预先设定了项目区域(项目区域设定数据)。但是,并不需要对全部的帧设定项目区域,例如对于不显示项目的帧,也可以不设定项目区域。如后述那样,与依次切换帧对应地依次切换设定项目区域。另外,如后述那样,项目区域设定数据不仅被使用于项目区域的设定,也被使用于表示项目区域的框41(例如参照图1A)的图像的生成。
参照数据是用于定义项目信息的内容的数据。参照数据在动态图像再生前以预加载形式从元数据分发服务器3分发到用户终端10,并存储于用户终端10的元数据存储部。
参照数据具备项目ID、属性数据、项目图像数据、以及事件信息。项目ID是项目信息的识别符。属性数据是表示项目信息的属性的数据,这里是“框”、“表演者”、“音乐”、“地点”这四个种类。但是,属性的种类并不限定于此。项目图像数据是项目图像42的数据,例如是缩略图像的数据。事件信息是用于设定在对显示于储存信息显示部21C的项目图像42(42C)进行了操作时,用户终端10应该进行的处理的信息。例如,作为事件信息,设定有启动浏览器部、应该显示的网页的地址等。
此外,也能够不设置参照数据,而在帧对应数据中定义项目信息的内容。但是,由于事件信息等的数据量较多,所以若使事件信息包含于帧对应数据则帧对应数据的数据量变多,其结果,用户终端10的处理的负担增大。对于此,在本实施方式中,通过设置参照数据,能够使帧对应数据的数据量减少。
图10是显示于动态图像显示部21A的图像的生成处理的流程图。例如在显示图1A所示的动态图像显示部21A的画面时,用户终端10的控制部15大致进行以下的处理。
首先,控制部15基于动态图像数据存储部的动态图像数据,生成应该显示的帧(静态图像)(S001)。接下来,控制部15从元数据存储部获取与该帧对应的时间代码的帧对应数据(S002)。即,控制部15获取与该帧建立了对应的项目信息。控制部15在帧对应数据包含项目区域设定数据、并且以显示框41的方式设定了框显示按钮211的情况下,基于项目区域设定数据,生成表示项目区域的框41的图像(图1A所示的矩形的虚线的图像)(S003)。然后,控制部15生成使框41的图像重叠于动态图像数据的帧(静态图像)的图像(S004)。这样生成的图像显示于动态图像显示部21A。控制部15在为了动态图像再生而使各帧(静态图像)逐个地显示在动态图像显示部21A时,反复进行上述的处理。由于在各帧设定的项目区域的坐标不同,所以若控制部15逐个显示各帧,则表示项目区域的框41也时刻变形。
此外,在显示图标显示部21B的画面时,用户终端10的控制部15大致进行以下的处理。首先,控制部15将在上述的S002获取的帧对应数据的项目ID作为关键字对参照数据进行参照,获取项目信息的属性数据。然后,控制部15基于该属性数据的有无,决定图标显示部21B的各图标的颜色,并与决定出的颜色对应地在图标显示部21B显示各种图标。由此,在动态图像再生中,当项目信息与显示中的画面建立了对应关系时,与该项目信息对应的图标显示部21B的图标变色(例如,从白色变为绿色)进行显示。
用户终端10的控制部15在如图1B所示对动态图像显示部21A进行了触摸操作时,大致进行以下的处理。首先,控制部15从触摸面板11(输入部13)获取进行了触摸操作(以手指触摸的操作)的坐标。另外,控制部15从元数据存储部获取触摸操作时的帧对应数据,获取触摸操作时的项目区域设定数据。然后,控制部15对进行了触摸操作的坐标和基于项目区域设定数据设定的项目区域进行比较,判断进行了触摸操作的坐标是否在项目区域的范围内。若进行了触摸操作的坐标在项目区域的范围内,则控制部15以该项目区域的项目ID为关键字对参照数据进行参照,获取对应的项目图像42(例如缩略图像),并在进行了触摸操作的坐标的附近显示项目图像42A。
并且,用户终端10的控制部15在如图1B所示那样进行了滑动操作(在画面上使手指滑动的操作)时,使该项目信息存储于储存信息存储部。另外,若在储存信息存储部存储了项目信息,则用户终端10的控制部15获取与该项目信息对应的项目图像42(例如缩略图像),并在储存信息显示部21C的规定区域显示该项目图像42。由此,如图1C所示,在触摸面板11(显示部12)上的储存信息显示部21C显示与储存信息(所储存的项目信息)对应的项目图像42C(例如缩略图像)。
另外,用户终端10的控制部15在如图1D所示那样对储存信息显示部21C进行了触摸操作时,大致进行以下的处理。首先,控制部15从触摸面板11(输入部13)获取进行了触摸操作(以手指触摸的操作)的坐标。另外,控制部15获取在储存信息显示部21C显示中的项目图像42C的区域。然后,控制部15对进行了触摸操作的坐标和在储存信息显示部21C显示中的项目图像42C的区域进行比较,判断进行了触摸操作的坐标是否在储存信息显示部21C的项目图像42C的范围内。若进行了触摸操作的坐标在储存信息显示部21C的项目图像42C的范围内,则控制部15将该项目图像42的项目ID作为关键字对参照数据进行参照,获取对应的项目信息的事件信息,并执行按照事件信息的处理(例如规定的网页的显示等)。
图11A是在一个画面上(一个帧上)设定了两个项目区域的情况下的说明图。在图中的右侧示出与该帧对应的时间代码的帧对应数据。在该帧对应数据包含有两个项目区域设定数据。两个项目区域设定数据示出的项目区域被设定为分别与画面上的包的区域和洋装的区域对应。这样,在帧对应数据包含两个以上的项目区域设定数据的情况下,如图中的左侧所示,控制部15基于各个项目区域设定数据,显示多个表示项目区域的框41(图中的矩形的虚线)。
在设定了两个以上的项目区域的情况下,有时存在两个项目区域的重复区域。例如,若如图11A所示,在画面上包和洋装的区域重叠,则两个项目区域一部分重复。在像这样两个项目区域一部分重复时,在对该重复区域进行了触摸操作的情况下,用户终端10的控制部15判断为选择了优先顺序较高的项目区域。项目区域的优先顺序能够预先设定于帧对应数据,该情况下,用户终端10的控制部15根据在帧对应数据设定的优先顺序,判断选择了哪个项目区域。
图11B是在一个画面上(一个帧上)设定了两个项目区域的情况下的其它的说明图。如图11B所示,有时一方的项目区域的全部范围包含于另一方的项目区域的范围。这里,包的项目区域41(#1)完全包含于洋装的项目区域41(#2)的范围。这样,在一方的项目区域的全部范围包含于另一方的项目区域的范围的情况下,以被包含的一侧的项目区域(这里是包的项目区域41(#1))与包含的一侧的项目区域41(#2)相比优先顺序高的方式,设定帧对应数据。由此,在对两个项目区域的重复区域进行了触摸操作的情况下,用户终端10的控制部15判断为选择了被包含的一侧的项目区域(这里是包的项目区域41(#1))。因此,观众能够选择任意的项目区域。
<元数据的创建方法>
在本实施方式中,如图9所示,帧对应数据(元数据)与动态图像数据的各帧建立了对应关系,在帧对应数据设定有用于设定项目区域的项目区域设定数据。由于需要设定为项目区域追随显示于画面的规定的项目(例如包),所以项目区域设定数据(两个坐标)需要对每个帧进行设定。但是,由于动态图像数据有许多的帧(例如每一秒期间为30帧),所以对所有帧的帧对应数据一个一个地进行设定的作业成为庞大的作业量。鉴于此,在本实施方式中,如以下那样设定帧对应数据,使作业量减少。
图12是元数据的创建方法的示意说明图。通过图8所示的元数据创建终端7进行以下说明的元数据的创建处理。
首先,元数据创建终端7获取应该创建元数据(帧对应数据)的动态图像数据。动态图像数据从动态图像分发服务器1下载到元数据创建终端7。
接下来,元数据创建终端7从包含许多的帧的动态图像数据中隔开时间间隔提取关键帧。关键帧既可以是每隔预先设定的规定的时间间隔(例如数秒间隔)提取的帧,也可以是根据动态图像内的情景任意地选择的帧。优选在移动激烈的位置缩短关键帧的时间间隔,并在移动缓慢的位置增长关键帧的时间间隔。提取出的关键帧的数目与动态图像数据所包含的帧的数目相比成为大幅度减少的数目。
接下来,元数据创建终端7根据各个关键帧上的规定的项目(这里是包)所占的区域,设定用于设定项目区域的两个坐标(矩形的框41的对角的两点的坐标)。这里,假设对关键帧A设定坐标(XA1,YA1)以及坐标(XA2,YA2),对关键帧B设定坐标(XB1,YB1)以及坐标(XB2,YB2),并对关键帧C设定坐标(XC1,YC1)以及坐标(XC2,YC2)。
在设定用于设定项目区域的两个坐标时,元数据创建终端7在显示器上显示关键帧的画面。作业人员使用输入装置(例如鼠标)以包含所显示的关键帧上的规定的项目的图像(这里是包的图像)的方式设定两点的坐标。元数据创建终端7将由作业人员输入的两点的坐标的位置与关键帧建立对应地进行存储。这样,能够使关键帧显示,并在观察影像(关键帧的画面)的同时设定项目区域,所以项目区域的设定作业变得便利。
接下来,元数据创建终端7创建与各帧对应的帧对应数据(元数据),并且在帧对应数据设定项目区域设定数据。此时,在与关键帧对应的项目区域设定数据设定有作业人员输入的两点的坐标。例如,在与关键帧A对应的项目区域设定数据设定有坐标(XA1,YA1)以及坐标(XA2,YA2),作为项目区域设定数据。另一方面,在关键帧以外的帧所对应的项目区域设定数据设定有使用对该帧的前后的两个关键帧输入的坐标进行了插值后的坐标。例如,在关键帧A与关键帧B之间的帧的项目区域设定数据设定有根据坐标(XA1,YA1)以及坐标(XB1,YB1)进行了插值后的坐标、和根据坐标(XA2,YA2)以及坐标(XB2,YB2)进行了插值后的坐标。这样,由于通过插值处理来设定项目区域设定数据,所以能够省略对帧的两点的坐标的设定处理,所以能够使设定作业的作业量减少。
作为对关键帧以外的帧所对应的项目区域进行插值而设定的方法,除了对两点的坐标进行直线插值来计算坐标的方法(所谓的直线插值)之外,也有利用图像解析的方法。例如,元数据创建终端7也可以提取在关键帧A中由作业人员输入的坐标(XA1,YA1)以及坐标(XA2,YA2)规定的矩形区域(相当于项目区域)的图像,并提取该矩形区域内的图像的特征量(例如颜色信息等)。同样地,元数据创建终端7提取在关键帧B中由作业人员输入的坐标(XB1,YB1)以及坐标(XB2,YB2)规定的矩形区域的图像,并提取该矩形区域内的图像的特征量。然后,元数据创建终端7从关键帧A与关键帧B之间的各帧,提取与在关键帧A提取出的两个特征量和在关键帧B提取出的特征量范围内的图像(例如规定的颜色范围的图像),并基于包围提取出的图像的矩形区域,对与该帧对应的项目区域设定数据进行插值。
此外,元数据创建终端7也能够对一个帧设定两个项目区域设定数据。另外,元数据创建终端7在设定两个项目区域设定数据时两个项目区域一部分重复的情况下,能够设定项目区域的优先顺序。特别是在一方的项目区域的全部范围包含于另一方的项目区域的范围的情况下(参照图11B),优选元数据创建终端7以被包含的一侧的项目区域(例如图11B的包的项目区域)与包含的一侧的项目区域(例如图11B的洋装的项目区域)相比优先顺序高的方式,在帧对应数据设定优先顺序。
在本实施方式中,元数据创建终端7假定为被委托了元数据的创建的元数据创建代理部件的计算机,在该计算机安装有用于使计算机执行上述的处理(图12所示的处理)的程序。而且,在本实施方式中,假定为元数据创建代理部件将创建的元数据上传到元数据分发服务器3(参照图8)。但是,也可以在因特网上公开用于使计算机执行上述的处理(图12所示的处理)的程序,而非特定人员(例如会员)能够将该程序安装于自己的计算机,这些人员能够将创建成的元数据上传到元数据分发服务器3。该情况下,优选元数据分发服务器3将元数据创建者的信息(创建者信息)、和用户对该创建者的评价信息与元数据一起建立关联进行存储。由此,用户能够基于创建者的评价信息,选择可靠性较高的元数据进行下载。
<小结>
在上述的实施方式中,动态图像再生程序使具备显示部12和输入部13的用户终端10(动态图像再生装置)依次切换动态图像数据所包含的帧并使帧显示于显示部12,由此使动态图像显示(再生)于显示部12。此时,在帧中预先设定有项目区域(参照图9),用户终端10与依次切换帧对应地切换设定项目区域。由此,设定为项目区域以追随动态图像的方式时刻变化。而且,用户终端10在通过输入部13选择了被设定在显示于显示部12的帧的项目区域时,使与项目区域相对应的项目信息(例如图1B的项目图像42A、图1C的项目图像42C、图1D的项目图像42D等)显示于显示部12。由此,观众能够简单地获取动态图像中的项目的信息。
在上述的实施方式中,当在显示部12显示帧时,使表示设定在帧的项目区域的框41的图像显示于显示部12。由此,能够识别设定在帧的项目区域的范围。但是,也能够如图4B以及图4C所示,使框41非显示。另外,表示项目区域的图像并不限定于框41,例如也可以是半透明的矩形图像。
在上述的实施方式中,在通过输入部13选择了设定在显示中的帧的项目区域时,显示项目图像作为项目信息(例如图1B的项目图像42A、图1C的项目图像42C、图1D的项目图像42D等)。由此,观众能够简单地获取动态图像中的项目的信息。
另外,在上述的实施方式中,当通过输入部13选择了设定在显示中的帧的项目区域时,在项目区域的附近显示项目图像42A(参照图1B、图4C)。由此,观众容易识别为能够获取项目信息。
另外,在上述的实施方式中,当通过输入部13选择了设定在显示中的帧的项目区域时,在储存信息显示部21C显示项目图像42C(参照图1C)。由此,观众容易识别为储存了项目信息。此外,在通过输入部13选择了设定在显示中的帧的项目区域时,也可以不在项目区域的附近显示项目图像42A(参照图1B),或者不在储存信息显示部21C显示项目图像42C,而立即执行根据事件信息的处理,例如显示网页等。
在上述的实施方式中,储存信息显示部21C被配置在动态图像显示部21A的下侧(外侧),在通过输入部13向下侧进行了滑动操作(使手指从动态图像显示部21A的项目区域朝向储存信息显示部21C滑动的操作)时,在储存信息显示部21C显示项目图像42C(参照图1B以及图1C)。由此,由于在图1B所示那样的进行滑动操作的方向配置储存信息显示部21C,所以观众容易理解使项目信息储存的操作。此外,只要在动态图像显示部21A的外侧配置储存信息显示部21C即可,储存信息显示部21C的配置并不限定于动态图像显示部21A的下侧,例如,也可以在动态图像显示部21A的右侧配置储存信息显示部21C。该情况下,优选在通过输入部13向右侧进行了滑动操作(从动态图像显示部21A的项目区域朝向储存信息显示部21C使手指滑动的操作)时,在储存信息显示部21C显示项目图像42C。另外,也可以如后述那样,代替滑动操作而为拖放操作。
在上述的实施方式中,预先设定事件信息作为项目信息(参照图9),在通过输入部13选择了设定在显示中的帧的项目区域时,执行根据事件信息的处理,从而在显示部显示与项目区域相对应的项目信息(参照图1D)。由此,观众能够简单地获取动态图像中的项目的信息。
在上述的实施方式中,事件信息是显示所设定的地址的网页,通过显示网页,在显示部12显示与项目区域建立了对应的项目信息(参照图1D)。其中,事件信息并不限定于显示网页,也可以是其它的处理。
在上述的图11B所示的实施方式中,在帧设定了至少两个项目区域,并且项目区域41(#1)的全部范围包含于项目区域41(#2)。在这样的状况下,优选当通过输入部选择了设定在显示中的帧的两个项目区域的重复区域时,在显示部12显示与项目区域41(#1)建立了对应的项目信息(该情况下,是包的项目信息)。由此,观众能够选择任意的项目区域。
此外,在上述的实施方式不仅公开了动态图像再生程序,也公开了用户终端10(动态图像再生装置)、动态图像再生方法、动态图像分发系统(参照图8)、元数据创建方法(参照图12)等。
===其它的实施方式===
<用户终端10为个人计算机的情况>
图13A~图13D是用户终端10为个人计算机的情况下的说明图。如已经说明那样,用户终端10也可以不是平板型的移动终端而例如是个人计算机。
如图13A所示,在用户终端10(这里是观众的个人计算机)的显示部12(这里是液晶显示器)上正再生动态图像(例如戏剧)。与上述的实施方式相同,在动态图像数据所包含的帧(静态图像)预先设定有项目区域,这里,在画面上的包的区域预先设定项目区域。另外,与上述的实施方式相同,在动态图像再生中显示表示项目区域的框41(图中的矩形的虚线)。
如图13B所示,用户终端10若检测到通过作为输入部13的未图示的鼠标的操作而光标进入了项目区域(通过输入部13选择了项目区域),则显示与该项目区域建立了对应的项目图像42A(例如缩略图像)。或者,用户终端10若检测到通过作为输入部13的未图示的鼠标的操作对项目区域进行了单击操作(按压鼠标的按钮的操作),而通过输入部13选择了项目区域,则显示与该项目区域建立了对应的项目图像42A(例如缩略图像)。
并且,用户终端10若检测到通过上述的鼠标操作在显示了项目图像42A的状态下对项目区域或者项目图像42A进行了拖放操作(在按压鼠标的按钮的状态下使光标移动,然后放开按钮的操作),则存储与该项目区域建立了对应的项目信息作为储存信息。或者,用户终端10若检测到通过上述的鼠标操作在显示了项目图像42A的状态下对项目区域或者项目图像42A进行了单击操作,则存储与该项目区域建立了对应的项目信息作为储存信息。如图13C所示,用户终端10若存储了规定的项目信息作为储存信息,则在显示部12上的储存信息显示部21C显示与储存信息(所储存的项目信息)对应的项目图像42C(例如缩略图像)。
如图13D所示,用户终端10若检测到对显示于储存信息显示部21C的项目图像42C的区域进行了单击操作,则进行根据与该项目图像42C(项目信息)建立了对应的事件信息的处理。
如上述那样,即使用户终端10不是平板型的移动终端而例如是个人计算机,也能够得到与上述的实施方式相同的效果。
<通过输入部选择了项目区域以外的区域的情况>
在上述的实施方式中,假定为通过输入部13选择了设定在显示中的帧的项目区域的情况。但是,在如上述的实施方式那样使观众选择项目区域那样的接口环境下,存在观众通过输入部13选择项目区域以外的区域的可能性,此时能够推测为在观众选择的区域有该观众感兴趣的图像。而且,观众的喜好信息能够成为商业上的重要的信息。
图14A是通过输入部选择了项目区域以外的区域的样子的说明图。这里,观众对显示中的男演员的领带的区域进行了触摸操作。在这样的情况下,能够推测为该观众对男演员的领带感兴趣。
图14B是用户终端10获取的获取数据的说明图。在通过输入部选择了项目区域以外的区域时,用户终端10从帧中提取所选择的区域的附近的图像,获取提取数据。另外,优选提取数据与用于确定提取源的动态图像的动态图像数据名的信息、提取源的帧的时间代码信息、以及通过输入部选择的坐标(进行了触摸操作的坐标)建立对应。另外,用户终端10在预先获取观众的属性信息(性别、年龄等信息)的情况下,优选该属性信息也与提取数据建立对应关系。然后,若用户终端10将图14B所示的获取数据(喜好信息)发送至规定的数据获取人员的地址,则数据获取人员能够获取可成为商业上的重要的信息的观众的喜好信息。
此外,这里虽然提取数据是静态图像,但提取数据也可以是动态图像。该情况下,用户终端10提取通过输入部选择了项目区域以外的区域的时刻的前后的多个帧,并且从提取出的各帧提取所选择的区域的附近的图像,从而获取成为提取数据的动态图像即可。
===其它===
上述的实施方式是为了使本发明的理解变得容易的实施方式,并不用于对本发明进行限定解释。本发明在不脱离其主旨的范围内,能够进行变更、改进,并且本发明当然包含其等效物。
附图标记说明
1…动态图像分发服务器,3…元数据分发服务器,5…程序分发服务器,7…元数据创建终端,9…通信网络,10…用户终端,11…触摸面板,12…显示部,13…输入部,15…控制部,17…通信部,21…基本画面,21A…动态图像显示部,21B…图标显示部,21C…储存信息显示部,21D…浏览器显示部,22…遥控器图标,22A…控制器,23…情报图标,41…框(表示项目区域的图像),42…项目图像,42A…显示于动态图像显示部的项目图像,42B…显示于图标显示部的项目图像,42C…显示于储存信息显示部的项目图像,42D…显示于浏览器显示部的项目图像,211…框显示按钮,212…表演者图标,213…音乐图标,214…地点图标。

Claims (22)

1.一种动态图像再生装置,其特征在于,
具备显示部、输入部、以及控制部,
上述控制部进行以下处理:
通过依次切换动态图像数据所包含的帧并显示于上述显示部,来将动态图像显示于上述显示部;
在上述帧预先设定项目区域,并与依次切换上述帧对应地切换设定上述项目区域;以及
当通过上述输入部选择了设定在显示于上述显示部的上述帧的上述项目区域时,在上述显示部显示与上述项目区域建立了对应的项目信息。
2.根据权利要求1所述的动态图像再生装置,其特征在于,
上述控制部在将上述帧显示于上述显示部时,将表示在上述帧设定的上述项目区域的图像显示到上述显示部。
3.根据权利要求2所述的动态图像再生装置,其特征在于,
在上述帧预先设定用于设定上述项目区域的项目区域设定数据,
上述控制部进行以下处理:
与依次切换上述帧对应地基于在上述帧设定的上述项目区域设定数据来切换设定上述项目区域;
在将上述帧显示于上述显示部时,基于上述项目区域设定数据,在上述显示部显示表示上述项目区域的图像;以及
当通过上述输入部选择了基于上述项目区域设定数据设定的上述项目区域时,在上述显示部显示与上述项目区域设定数据建立了对应的项目信息。
4.根据权利要求2或者3所述的动态图像再生装置,其特征在于,
能够选择表示上述项目区域的上述图像的显示/非显示。
5.根据权利要求1~4中任意一项所述的动态图像再生装置,其特征在于,
当通过上述输入部选择了设定在显示于上述显示部的上述帧的上述项目区域时,显示项目图像作为上述项目信息。
6.根据权利要求5所述的动态图像再生装置,其特征在于,
当通过上述输入部选择了设定在显示于上述显示部的上述帧的上述项目区域时,在上述项目区域的附近显示上述项目图像。
7.根据权利要求5所述的动态图像再生装置,其特征在于,
当通过上述输入部选择了设定在显示于上述显示部的上述帧的上述项目区域时,在表示储存了上述项目信息这一情况的储存信息显示部显示上述项目图像。
8.根据权利要求7所述的动态图像再生装置,其特征在于,
上述储存信息显示部被配置在显示上述动态图像的动态图像显示部的外侧,
当通过上述输入部从设定在上述动态图像显示部的上述项目区域朝向上述储存信息显示部进行了操作时,在上述储存信息显示部显示上述项目图像。
9.根据权利要求1~8中任意一项所述的动态图像再生装置,其特征在于,
预先设定事件信息作为上述项目信息,
当通过上述输入部选择了设定在显示于上述显示部的上述帧的上述项目区域时,通过执行根据上述事件信息的处理,来在上述显示部显示与上述项目区域建立了对应的项目信息。
10.根据权利要求9所述的动态图像再生装置,其特征在于,
上述事件信息是显示所设定的地址的网页,
通过显示上述网页,在上述显示部显示与上述项目区域建立了对应的项目信息。
11.根据权利要求1~10中任意一项所述的动态图像再生装置,其特征在于,
在上述帧设定至少两个上述项目区域,
当通过上述输入部选择了设定在显示于上述显示部的上述帧的两个上述项目区域的重复区域时,在上述显示部显示与一方的上述项目区域建立了对应的项目信息。
12.根据权利要求11所述的动态图像再生装置,其特征在于,
对设定在上述帧的两个上述项目区域设定有优先顺序,
当通过上述输入部选择了设定在显示于上述显示部的上述帧的两个上述项目区域的重复区域时,在上述显示部显示上述优先顺序高的一方的上述项目信息。
13.根据权利要求12所述的动态图像再生装置,其特征在于,
在上述帧设定的两个上述项目区域的一方的上述项目区域的全部范围包含在另一方的上述项目区域的情况下,设定为上述一方的上述项目区域的上述优先顺序比上述另一方的项目区域高,
当通过上述输入部选择了设定在显示于上述显示部的上述帧的两个上述项目区域的重复区域时,在上述显示部显示与上述一方的上述项目区域建立了对应的项目信息。
14.根据权利要求1~11中任意一项所述的动态图像再生装置,其特征在于,
在上述帧设定至少两个上述项目区域,并且一方的上述项目区域的全部范围包含在另一方的上述项目区域,
当通过上述输入部选择了设定在显示于上述显示部的上述帧的两个上述项目区域的重复区域时,在上述显示部显示与上述一方的上述项目区域建立了对应的项目信息。
15.根据权利要求1~14中任意一项所述的动态图像再生装置,其特征在于,
当通过上述输入部选择了上述项目区域以外的区域时,从上述动态图像数据提取与所选择的区域有关的信息,获取提取数据。
16.根据权利要求15所述的动态图像再生装置,其特征在于,
当通过上述输入部选择了上述项目区域以外的区域时,从上述帧提取所选择的区域的附近的图像。
17.根据权利要求15或者16所述的动态图像再生装置,其特征在于,
上述提取数据包含有提取源的上述帧的时间代码信息、和通过上述输入部选择的区域的坐标。
18.根据权利要求15~17中任意一项所述的动态图像再生装置,其特征在于,
观众的属性信息与上述提取数据建立对应。
19.一种动态图像再生方法,是基于动态图像数据、和与上述动态图像数据对应的元数据再生动态图像的动态图像再生方法,其特征在于,进行以下处理:
通过依次切换动态图像数据所包含的帧并显示于显示部,来将动态图像显示于上述显示部;
在上述帧预先设定项目区域,并与依次切换上述帧对应地切换设定上述项目区域;以及
当通过输入部选择了设定在显示于上述显示部的上述帧的上述项目区域时,在上述显示部显示与上述项目区域建立了对应的项目信息。
20.一种动态图像分发系统,是分发动态图像数据、和与上述动态图像数据对应的元数据的动态图像分发系统,其特征在于,具备:
分发用于通过依次切换帧并使该帧显示于动态图像再生装置的显示部来使动态图像显示于上述显示部的上述动态图像数据的服务器;
分发用于在上述帧预先设定项目区域并与依次切换上述帧对应地切换设定上述项目区域的上述元数据的服务器;以及
分发用于在通过上述动态图像再生装置的输入部选择了设定在显示于上述显示部的上述帧的上述项目区域时,使与上述项目区域建立了对应的项目信息显示于上述显示部的程序的服务器。
21.一种存储了动态图像再生程序的存储介质,其特征在于,
该动态图像再生程序使具备显示部和输入部的动态图像再生装置执行以下处理:
通过依次切换动态图像数据所包含的帧并显示于上述显示部,来将动态图像显示于上述显示部;
在上述帧预先设定项目区域,并与依次切换上述帧对应地切换设定上述项目区域;以及
当通过上述输入部选择了设定在显示于上述显示部的上述帧的上述项目区域时,在上述显示部显示与上述项目区域建立了对应的项目信息。
22.一种动态图像再生程序,其特征在于,
使具备显示部和输入部的动态图像再生装置执行以下处理:
通过依次切换动态图像数据所包含的帧并显示于上述显示部,来将动态图像显示于上述显示部;
在上述帧预先设定项目区域,并与依次切换上述帧对应地切换设定上述项目区域;以及
当通过上述输入部选择了设定在显示于上述显示部的上述帧的上述项目区域时,在上述显示部显示与上述项目区域建立了对应的项目信息。
CN201780003112.4A 2016-08-09 2017-08-07 动态图像再生装置、动态图像再生方法、动态图像分发系统、存储了动态图像再生程序的存储介质以及动态图像再生程序 Pending CN108141642A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810366117.XA CN108712682A (zh) 2016-08-09 2017-08-07 动态图像再生装置和方法、以及动态图像分发系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016156082A JP6232632B1 (ja) 2016-08-09 2016-08-09 動画再生プログラム、動画再生装置、動画再生方法、動画配信システム及びメタデータ作成方法
JP2016-156082 2016-08-09
PCT/JP2017/028591 WO2018030341A1 (ja) 2016-08-09 2017-08-07 動画再生装置、動画再生方法、動画配信システム、動画再生プログラムを記憶した記憶媒体及び動画再生プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201810366117.XA Division CN108712682A (zh) 2016-08-09 2017-08-07 动态图像再生装置和方法、以及动态图像分发系统

Publications (1)

Publication Number Publication Date
CN108141642A true CN108141642A (zh) 2018-06-08

Family

ID=60417435

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780003112.4A Pending CN108141642A (zh) 2016-08-09 2017-08-07 动态图像再生装置、动态图像再生方法、动态图像分发系统、存储了动态图像再生程序的存储介质以及动态图像再生程序
CN201810366117.XA Pending CN108712682A (zh) 2016-08-09 2017-08-07 动态图像再生装置和方法、以及动态图像分发系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201810366117.XA Pending CN108712682A (zh) 2016-08-09 2017-08-07 动态图像再生装置和方法、以及动态图像分发系统

Country Status (5)

Country Link
US (1) US20190339831A1 (zh)
EP (1) EP3487183A4 (zh)
JP (1) JP6232632B1 (zh)
CN (2) CN108141642A (zh)
WO (1) WO2018030341A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018035133A1 (en) 2016-08-17 2018-02-22 Vid Scale, Inc. Secondary content insertion in 360-degree video
WO2020184704A1 (ja) * 2019-03-14 2020-09-17 パロニム株式会社 情報処理システム
JP7378383B2 (ja) * 2019-09-30 2023-11-13 株式会社コロプラ プログラム、方法、および視聴端末
US11402964B1 (en) * 2021-02-08 2022-08-02 Facebook Technologies, Llc Integrating artificial reality and other computing devices
US20230156300A1 (en) * 2021-11-15 2023-05-18 Comcast Cable Communications, Llc Methods and systems for modifying content
JP7475724B1 (ja) 2022-10-12 2024-04-30 パロニム株式会社 情報収集装置、情報収集システム及び情報収集方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011259184A (ja) * 2010-06-09 2011-12-22 Nippon Hoso Kyokai <Nhk> リンク機能付動画再生装置およびリンク機能付動画再生プログラム
CN102479531A (zh) * 2010-11-29 2012-05-30 财团法人资讯工业策进会 播放装置以及播放方法
CN102855464A (zh) * 2011-05-30 2013-01-02 索尼公司 信息处理设备、元数据设置方法以及程序
CN104025615A (zh) * 2011-12-21 2014-09-03 惠普发展公司,有限责任合伙企业 交互式视频流
CN104837050A (zh) * 2015-03-23 2015-08-12 腾讯科技(北京)有限公司 一种信息处理方法及终端

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5721851A (en) * 1995-07-31 1998-02-24 International Business Machines Corporation Transient link indicators in image maps
US7367042B1 (en) * 2000-02-29 2008-04-29 Goldpocket Interactive, Inc. Method and apparatus for hyperlinking in a television broadcast
JP3994682B2 (ja) * 2000-04-14 2007-10-24 日本電信電話株式会社 放送情報送受信システム
JP2003009023A (ja) * 2001-06-25 2003-01-10 Casio Comput Co Ltd 番組再表示方法及びテレビWeb情報サービスシステム
JP2003036451A (ja) * 2001-07-23 2003-02-07 Gtv:Kk 画像処理装置、ゲーム装置、画像データ生成方法、およびそのプログラム
US20030149983A1 (en) * 2002-02-06 2003-08-07 Markel Steven O. Tracking moving objects on video with interactive access points
US10032192B2 (en) * 2003-12-23 2018-07-24 Roku, Inc. Automatic localization of advertisements
JP2007018198A (ja) * 2005-07-06 2007-01-25 Sony Corp リンク情報付きインデックス情報生成装置、タグ情報付き画像データ生成装置、リンク情報付きインデックス情報生成方法、タグ情報付き画像データ生成方法及びプログラム
US8566865B2 (en) * 2006-03-07 2013-10-22 Sony Computer Entertainment America Llc Dynamic insertion of cinematic stage props in program content
CN101496404A (zh) * 2006-07-31 2009-07-29 株式会社爱可信 电子设备、显示系统、显示方法以及程序
US9360985B2 (en) * 2007-06-27 2016-06-07 Scenera Technologies, Llc Method and system for automatically linking a cursor to a hotspot in a hypervideo stream
US9141258B2 (en) * 2007-09-18 2015-09-22 Scenera Technologies, Llc Method and system for automatically associating a cursor with a hotspot in a hypervideo stream using a visual indicator
US8973028B2 (en) * 2008-01-29 2015-03-03 Samsung Electronics Co., Ltd. Information storage medium storing metadata and method of providing additional contents, and digital broadcast reception apparatus
WO2009137368A2 (en) * 2008-05-03 2009-11-12 Mobile Media Now, Inc. Method and system for generation and playback of supplemented videos
JP2009278332A (ja) * 2008-05-14 2009-11-26 Panasonic Corp 携帯端末装置および携帯端末装置の制御方法
JP2010081494A (ja) * 2008-09-29 2010-04-08 Takaho Hatanaka クリッカブル動画実現方法及びクリッカブル動画実現プログラム
JP2010109773A (ja) * 2008-10-30 2010-05-13 Koichi Sumida 情報提供システム、コンテンツ配信装置およびコンテンツ視聴用の端末装置
US9026668B2 (en) * 2012-05-26 2015-05-05 Free Stream Media Corp. Real-time and retargeted advertising on multiple screens of a user watching television
US8970669B2 (en) * 2009-09-30 2015-03-03 Rovi Guides, Inc. Systems and methods for generating a three-dimensional media guidance application
US9015139B2 (en) * 2010-05-14 2015-04-21 Rovi Guides, Inc. Systems and methods for performing a search based on a media content snapshot image
US20120238254A1 (en) * 2011-03-17 2012-09-20 Ebay Inc. Video processing system for identifying items in video frames
US9565476B2 (en) * 2011-12-02 2017-02-07 Netzyn, Inc. Video providing textual content system and method
US9407961B2 (en) * 2012-09-14 2016-08-02 Intel Corporation Media stream selective decode based on window visibility state
EP2722808A1 (en) * 2012-09-17 2014-04-23 OpenTV, Inc. Automatic localization of advertisements
US9317879B1 (en) * 2013-01-02 2016-04-19 Imdb.Com, Inc. Associating collections with subjects
US9247309B2 (en) * 2013-03-14 2016-01-26 Google Inc. Methods, systems, and media for presenting mobile content corresponding to media content
JP2014229046A (ja) * 2013-05-22 2014-12-08 三菱電機株式会社 検索システム、コンテンツ処理端末および映像コンテンツ受信機
JP5884816B2 (ja) * 2013-12-16 2016-03-15 コニカミノルタ株式会社 透過型hmdを有する情報表示システム及び表示制御プログラム
KR102277258B1 (ko) * 2014-02-27 2021-07-14 엘지전자 주식회사 디지털 디바이스 및 상기 디지털 디바이스에서 애플리케이션 처리 방법
US9526012B2 (en) * 2014-07-03 2016-12-20 Alcatel Lucent Efficient evaluation of hotspots for metrocell deployment
WO2016118848A1 (en) * 2015-01-22 2016-07-28 Clearstream. Tv, Inc. Video advertising system
US10057078B2 (en) * 2015-08-21 2018-08-21 Samsung Electronics Company, Ltd. User-configurable interactive region monitoring

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011259184A (ja) * 2010-06-09 2011-12-22 Nippon Hoso Kyokai <Nhk> リンク機能付動画再生装置およびリンク機能付動画再生プログラム
CN102479531A (zh) * 2010-11-29 2012-05-30 财团法人资讯工业策进会 播放装置以及播放方法
CN102855464A (zh) * 2011-05-30 2013-01-02 索尼公司 信息处理设备、元数据设置方法以及程序
CN104025615A (zh) * 2011-12-21 2014-09-03 惠普发展公司,有限责任合伙企业 交互式视频流
CN104837050A (zh) * 2015-03-23 2015-08-12 腾讯科技(北京)有限公司 一种信息处理方法及终端

Also Published As

Publication number Publication date
US20190339831A1 (en) 2019-11-07
WO2018030341A1 (ja) 2018-02-15
EP3487183A1 (en) 2019-05-22
JP6232632B1 (ja) 2017-11-22
CN108712682A (zh) 2018-10-26
JP2018026647A (ja) 2018-02-15
EP3487183A4 (en) 2019-07-24

Similar Documents

Publication Publication Date Title
CN108141642A (zh) 动态图像再生装置、动态图像再生方法、动态图像分发系统、存储了动态图像再生程序的存储介质以及动态图像再生程序
CN105324743B (zh) 个性化的可定制智能浏览器
CN1697509B (zh) 用户接口控制设备、用户接口控制方法
US20120227077A1 (en) Systems and methods of user defined streams containing user-specified frames of multi-media content
CN107925788A (zh) 基于数据结构化的直观的视频内容再生成方法及其用户界面装置
CN105593805B (zh) 基于移动装置定向定制移动媒体片尾用户界面
US20150242538A1 (en) Method and system for developing applications for consulting content and services on a telecommunications network
KR20170019384A (ko) 비디오 콘텐츠를 검색하는 방법들, 시스템들, 및 매체들
CN109766457A (zh) 一种媒体内容搜索方法、装置及存储介质
CN107592574A (zh) 用于控制推荐器系统的装置、方法和计算机可读存储介质
JP2021535656A (ja) ビデオ処理方法、装置、デバイスおよびコンピュータプログラム
CN111095185A (zh) 投稿提供服务器、投稿提供程序、用户程序、投稿提供系统以及投稿提供方法
CN112948038A (zh) 应用页面显示方法和电子设备
CN108540848A (zh) 视频收藏方法和装置
CN115756249B (zh) 一种媒体数据的播放方法、装置、存储介质及电子设备
CN106792222A (zh) 一种交互式视频点播方法及其系统
CN115658197A (zh) 界面切换方法和界面切换装置
JP4710000B2 (ja) 番組提示システム
JP6096853B1 (ja) 情報表示プログラム、情報表示方法、および情報表示装置
CN113536157A (zh) 一种搜索结果的生成、推送和交互展示方法及装置和系统
CN107426604A (zh) 一种应用于智能电视系统中的信息搜索方法
EP2763431A1 (en) Method and system of accessing data about products related to a multimedia object
JP2018026799A (ja) 動画再生プログラム、動画再生装置、動画再生方法、動画配信システム及びメタデータ作成方法
JP2018026801A (ja) 動画再生プログラム、動画再生装置、動画再生方法及び動画配信システム
JP4461915B2 (ja) 情報配信システム,情報配信サーバ装置,情報配信方法,プログラム及び記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1255571

Country of ref document: HK

RJ01 Rejection of invention patent application after publication

Application publication date: 20180608

RJ01 Rejection of invention patent application after publication