CN103219028B - 信息处理装置和信息处理方法 - Google Patents

信息处理装置和信息处理方法 Download PDF

Info

Publication number
CN103219028B
CN103219028B CN201210519494.5A CN201210519494A CN103219028B CN 103219028 B CN103219028 B CN 103219028B CN 201210519494 A CN201210519494 A CN 201210519494A CN 103219028 B CN103219028 B CN 103219028B
Authority
CN
China
Prior art keywords
anchor
image
frame
video
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210519494.5A
Other languages
English (en)
Other versions
CN103219028A (zh
Inventor
十时伸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN103219028A publication Critical patent/CN103219028A/zh
Application granted granted Critical
Publication of CN103219028B publication Critical patent/CN103219028B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明涉及一种信息处理装置和信息处理方法。根据本发明的非暂态计算机可读记录介质存储有程序,所述程序使计算机执行包括以下步骤的过程:接收锚向视频中包括的图像中的主体的设置;确定所述视频中的预定图像中的已向其设置所述锚的所述主体和所述视频中包括的别的图像中的所述主体之间的移动量是否大于或等于预定值;以及当所述移动量被确定为大于或等于所述预定值时,在存储单元中存储作为确定目标的所述别的图像的标识符和所述锚的位置信息。

Description

信息处理装置和信息处理方法
技术领域
在此讨论的实施例涉及信息处理装置和信息处理方法。
背景技术
传统上,存在已知的在使用视频的超级媒体环境中执行链接操作的方法,其中锚(anchor)显示在视频的主体上,链接系在锚上,并且在视频中指定锚。在下文中,主体也被称为对象。
例如存在这样的技术:在视频中移动的任意区域中设置锚,存储锚信息和链接信息,并且基于锚和视频的显示属性动态地显示锚。
专利文件1:日本公开专利申请第H8-123816号
例如可以通过以下方法将锚设置到视频中的对象:通过提取视频中的每个帧中的边缘来提取对象的形状,并且进而提取帧之间的误差,以提取对象的移动。锚例如是超级链接中的元素集。
当作为用于设置锚的目标的对象在视频中移动时,在传统的技术中,对象在每个帧中的位置坐标被识别,并且通过对象的位置坐标和帧号来定义锚的位置。
同时,可能存在对已经设置在对象中的锚进行编辑的情况。例如,假定通过边缘提取来提取对象,并且锚定位在这个对象处。取决于边缘提取的精度,在人观看的图像中的对象的位置或形状和由计算机根据边缘提取识别的对象的位置或形状之间可能存在差异。在这种情况下,会发生改变锚在帧中的位置的操作,以便锚叠加在人观看的对象上。在下文中,这个操作也被称为编辑操作。
然而,如果对象在每个帧中的位置坐标被识别并且通过帧号和位置坐标来定义锚的位置,则会存在与帧的数目相对应的若干锚位置的定义。因此,与锚位置有关的数据量变得很大。
假定针对存在于各个帧中的锚位置的定义执行编辑锚位置的操作,那么将会针对与帧的数目相对应的各个定义数据项进行改变。这对于编辑者而言是个耗时的过程。
发明内容
因此,本发明的一方面的目的是要提供一种信息处理装置和信息处理方法,通过所述信息处理装置和信息处理方法,锚被容易地编辑,并且锚信息的数据量被减少。
根据实施例的一方面,一种非暂态计算机可读记录介质存储有程序,所述程序使计算机执行包括以下步骤的过程:接收锚向视频中包括的图像中的主体的设置;确定所述视频中的预定图像中的已向其设置所述锚的所述主体和所述视频中包括的别的图像中的所述主体之间的移动量是否大于或等于预定值;以及当所述移动量被确定为大于或等于所述预定值时,在存储单元中存储作为确定目标的所述别的图像的标识符和所述锚的位置信息。
附图说明
图1是图示根据实施例的信息处理装置的功能配置的例子的框图;
图2图示了锚信息的数据结构的例子;
图3图示了锚信息的例子;
图4是用于描述锚位置的自动生成的示图;
图5A至5D用于描述锚位置的自动生成和编辑的例子;
图6图示了绘制锚的例子;
图7用于描述显示锚的例子;
图8用于描述链接目的地显示;
图9是指示锚设置过程的例子的流程图;
图10是生成锚信息的过程的例子的流程图;
图11是指示视频再现过程的例子的流程图;以及
图12是信息处理装置的硬件的例子的框图。
具体实施方式
参考附图来说明本发明的优选实施例。
实施例配置
图1是图示根据实施例的信息处理装置1的功能配置的例子的框图。信息处理装置1具有将针对其设置链接目的地的锚设置到视频的主体(对象)的功能。锚例如是用于调用链接目的地的图标。在下文中,这个图标也被称为链接图标。
信息处理装置1可以具有编辑设置锚的功能。信息处理装置1可以具有以下功能:当视频正在被再现的同时按下或指示锚时,显示或再现与锚相关联的链接目的地。
图1所示的信息处理装置1包括锚信息生成单元10、操作单元11、链接定义存储单元12、视频数据存储单元13、锚信息编辑单元14、再现控制单元15和显示单元16。
锚信息生成单元10首先从视频数据存储单元13中读取和获取视频,并且接收用于设置锚的帧和锚位置的设置。锚信息生成单元10具有以下功能:从随后的帧中自动地提取在其上设置锚的对象,并且使锚跟随该对象。
当对象被自动地提取时,锚信息生成单元10取决于对象或锚的移动量确定是否要存储锚的位置。因此,不需要针对每一个帧都存储锚信息,从而减少了锚信息的数据量。
为了实现上面的功能,锚信息生成单元10包括设置单元111、提取单元112和确定单元113。设置单元111从操作单元11中接收视频中包括的帧当中的用于设置锚的帧以及锚在接收的帧中的位置。
锚的位置用帧中的坐标来表达,并且也被称为锚位置信息。设置单元111将指示接收的帧的标识符和锚位置信息输出到提取单元112。指示帧的标识符也被称为帧标识符,其可以是帧号或者指示从视频的开始算起的再现时间的时间戳或时间码。
从其中锚被设置的帧中,提取单元112借助于图像识别技术在其中锚被设置的位置周围自动地提取对象的区域。例如,提取单元112自动地提取通过执行边缘提取识别的对象区域的坐标。对象的坐标例如是对象区域的中心坐标。
提取单元112跟踪随后帧中的提取对象,并且将识别的对象坐标输出到确定单元113。
确定单元113确定识别的对象是否已从别的帧内部的对象移动了大于或等于预定长度的移动量。例如,确定单元113确定当前帧中的对象和紧接着当前帧之前的帧中的对象之间的移动量是否大于或等于预定值。因此,确定单元113可以确定其中对象的移动量在短时间段之内很大的情况。
移动量例如可以是帧之间的对象坐标之差以及对其执行了帧间误差提取过程的对象区域的移动。进而,移动量可以是锚的中心坐标的移动量。
预定值例如是在提取单元112处提取的一个对象的尺寸。进而,预定值可以是锚的尺寸,并且可以是根据实验适当地设置的值。
进而,确定单元113确定当前帧的对象和下面描述的链接定义存储单元12中存储的最新帧中或者作为存储目标的最新帧中的对象之间的移动量是否大于或等于预定值。因此,确定单元113确定了其中对象已从作为(作为移动很小的量的结果的)确定基准的位置移动了大于或等于预定值的移动量的情况。
链接定义存储单元12中存储的最新帧或作为存储目标的最新帧是在当前帧之前并且与当前帧最接近的帧。
进而,确定单元113可以确定指示对象的移动量小于预定值的负确定结果是否已持续了多于或等于预定时期。进而,确定单元113可以确定帧是否是其中由用户对锚进行设置的最终帧或第一个帧。最终帧指的是其中具有设置锚的主体被显示的最后帧或视频中的最终帧。
确定单元113包括生成单元114。当确定单元113确定移动量大于或等于预定值时,生成单元114生成确定目标的锚位置信息和帧标识符,并且将生成的信息存储在链接定义存储单元12中。锚位置信息例如是提取对象的中心坐标。
当当前帧和紧接着当前帧之前的帧是确定目标时,生成单元114将当前帧的帧标识符与当前帧的锚位置信息相关联,将紧接着当前帧之前的帧的帧标识符与紧接着当前帧之前的帧的锚位置信息相关联,并且将这些存储在链接定义存储单元12中。
当当前帧和链接定义存储单元12中存储的最新帧是确定目标时,生成单元114将当前帧的帧标识符与当前帧的锚位置信息相关联,并且将这些存储在链接定义存储单元12中。在下文中,包括当前帧的锚位置信息和帧标识符的信息也被称为锚信息。生成单元114被描述为包括在确定单元113中;然而,生成单元114可以是与确定单元113不同的单元。
当小于预定值的移动量持续多于或等于预定时期时,或者当当前帧是最终帧时,或者当当前帧是具有锚设置的第一个帧时,生成单元114将当前帧的帧标识符与锚位置信息相关联,并且将这些存储在链接定义存储单元12中。
因此,当对锚进行设置时,锚信息生成单元10不需要针对每个帧定义锚信息。进而,锚信息生成单元10仅针对其中具有锚设置的对象的移动量大的帧存储锚信息,因此减少了锚信息的数据量。
操作单元11具有图形用户界面(GUI)功能,并且设置锚位置,设置将要与锚相关联的链接目的地,编辑锚位置,指示视频的再现,并且对锚进行选择。当从用户接收到上述操作时,操作单元11向各个单元报告操作内容。
链接定义存储单元12存储在锚信息生成单元10处生成的锚信息。锚信息包括首先由用户设置的锚位置信息以及这个锚位置信息的帧标识符。进而,锚信息包括与锚相关联的链接目的地的信息。锚信息参考图2在下面进行描述。
视频数据存储单元13存储视频数据。视频数据例如是用于设置与链接目的地相关联的锚的内容。视频数据的例子是用于移动终端的操作手册和用于私人汽车的检查手册。
链接定义存储单元12和视频数据存储单元13被描述为不同的存储单元,但可以是相同的存储装置。链接定义存储单元12和视频数据存储单元13的例子是随机存取存储器(RAM)如视频随机存取存储器(VRAM)以及半导体存储装置如只读存储器(ROM)和快闪存储器。作为链接定义存储单元12和视频数据存储单元13,可以应用诸如硬盘和光盘之类的存储装置。
锚信息编辑单元14编辑视频中设置的锚的位置信息。锚信息生成单元10自动地生成锚位置信息,因此该位置可能不同于实际视频中的对象。因此,在这种情况下,编辑者不得不对锚位置进行编辑。锚信息编辑单元14具有便于对锚信息进行编辑的操作的功能。
锚信息编辑单元14包括编辑单元141和改变单元142。编辑单元141使用视频数据存储单元13中存储的视频和链接定义存储单元12中存储的锚信息来再现其中锚被显示的视频。
此时,编辑单元141控制在显示单元16上显示编辑屏幕的操作,在所述编辑屏幕中,可以编辑锚信息和链接目的地。当借助于显示单元16上显示的编辑屏幕对锚进行编辑时,编辑单元141从操作单元11接收与锚相关的编辑操作。
例如,编辑单元141从操作单元11接收锚位置的变化以及与锚相关联的链接目的地的变化。编辑单元141向改变单元142报告诸如编辑的帧的帧标识符和改变的锚位置信息之类的从操作单元11接收的用户操作的内容。
基于从编辑单元141获取的操作内容,改变单元142改变链接定义存储单元12中存储的锚信息。例如,操作内容包括帧标识符和编辑的锚位置信息。
在这种情况下,针对与获取的操作内容中包括的帧标识符相匹配的帧标识符,改变单元142搜索链接定义存储单元12中存储的锚信息。改变单元142将与匹配的帧标识符相关联的锚位置信息改变为编辑的锚位置信息。
因此,只需要对链接定义存储单元12中存储的帧执行编辑操作,所以便于编辑操作。
再现控制单元15执行控制操作,以从视频数据存储单元13读取和获取视频数据,从链接定义存储单元12读取和获取锚信息,并且在显示单元16上再现其中锚被叠加的视频。
再现控制单元15包括绘制单元151和链接内容再现单元152。当在显示单元16上显示锚信息中存储的帧标识符指示的帧时,绘制单元151在锚位置信息指示的位置处绘制锚,并且将锚叠加在视频上。
当显示除了链接定义存储单元12中存储的帧标识符指示的帧之外的帧时,绘制单元151执行插值计算并且持续显示锚。通过以下来执行插值计算:在链接定义存储单元12存储的帧当中,对与位于作为显示目标的帧之前和之后的两个帧相对应的各个锚位置信息项进行线性插值。例如通过动画绘制,绘制单元151绘制已经历了线性插值的锚。
因此,绘制单元151并不需要针对每一个显示的帧重复地绘制全部锚像素。只有已经历了线性插值的锚才被显示。因此,绘制单元151只需要绘制必需的最少量的像素。必需的最少量的像素指的是已被改变的像素。因此,与重复地绘制全部锚像素的情况相比,可以防止锚图像闪烁。
当锚被按下时,从操作单元11接收到锚已被选择的报告,并且链接内容再现单元152移动到与锚相关联的链接目的地,并且例如在显示单元16上显示视频超级链接内容。
各种集成电路和电路可以用作锚信息生成单元10、锚信息编辑单元14和再现控制单元15。集成电路的例子是特定用途集成电路(ASIC)和现场可编程门阵列(FPGA)。电路的例子是中央处理单元(CPU)和微处理单元(MPU)。
锚信息
接下来,对链接定义存储单元12中存储的锚信息的数据结构给予描述。图2图示了锚信息的数据结构的例子。如图2所示,锚信息包括锚识别名称(名称)、锚类型(类型)、锚区域(尺寸)、链接目的地信息(链接)、用于与指示与锚相关的数据的视频数据(数据)同步的帧位置或消逝时间(时间)以及指示锚在屏幕上的坐标的锚位置信息(px,py)。
锚类型指示图标或链接类型。锚区域指示点击范围的尺寸。通过使用视频的原始尺寸作为标准来指示屏幕上的坐标。
数据(数据)具有层级结构,并且可以包括多项“时间”和“(px,py)”。可以使用帧位置或消逝时间,只要它是诸如帧号之类的用于标识视频中的帧的值。
接下来对锚信息的例子给予描述。图3图示了锚信息的例子。在图3所示的例子中,通过可扩展标记语言(XML)来表达锚信息。
例如,锚识别名称是“SampleA”,锚类型是“LINK”,锚区域是“60”,并且链接目的地信息是“nextset”。在图3的例子中,四组帧标识符和锚位置信息被保持。帧标识符和锚位置信息是由锚信息生成单元10生成的信息。
锚位置信息的生成和编辑
接下来具体地描述锚位置的自动生成。图4是用于描述锚位置的自动生成的示图。在图4所示的例子中,按顺序显示帧t11到t14。进而,在t11的帧中,用户已指定了用于对锚进行设置的对象(主体)。
此时,锚信息生成单元10提取指定的对象周围的边缘,并且提取对象区域。锚信息生成单元10使用提取的对象区域的中心坐标作为锚位置信息,将帧t11的标识符(例如时间码)与这个锚位置信息相关联,并且将这个信息存储在链接定义存储单元12中。
接下来,锚信息生成单元10(提取单元112)跟踪帧t12中的对象,并且通过帧间误差提取过程获得对象从帧t11的移动量。锚信息生成单元10(确定单元113)确定移动量是否大于或等于预定值,并且在这一点上,确定移动量小于预定值。在这个例子中假定预定值是对象尺寸。
接下来,锚信息生成单元10(提取单元112)跟踪帧t13中的对象,并且获得对象从帧t12的移动量。锚信息生成单元10(确定单元113)确定移动量是否大于或等于预定值,并且在这一点上,确定移动量大于或等于预定值。
锚信息生成单元10(生成单元114)将t12和t13的帧标识符以及t12和t13的帧的锚位置信息存储在链接定义存储单元12中。在这个例子中,帧标识符是时间码,并且锚位置信息是对象的中心坐标。
接下来,锚信息生成单元10(提取单元112)跟踪帧t14中的对象,并且获得对象从帧t13的移动量。锚信息生成单元10(确定单元113)确定移动量是否大于或等于预定值,并且在这一点上,确定移动量大于或等于预定值。t13的帧标识符和锚位置信息已经存储在链接定义存储单元12中,因此锚信息生成单元10(生成单元114)将t14的帧标识符和帧t14的锚位置信息存储在链接定义存储单元12中。
因此,不需要在其中锚被设置的帧之后的全部帧中都定义锚,所以减少了锚信息的数据量。
接下来,对其中移动终端的电池组是对象的特定例子给予描述。图5A至5D用于描述锚位置的自动生成和编辑的例子。在图5A至5D的例子中,移动终端的电池组被设置为对象。
锚信息生成单元10(设置单元111)从视频数据存储单元13中读取和获取目标视频。此时,显示视频的开始帧是屏幕d11里面的图像。
接下来在屏幕d12中,用户将锚an12设置在电池组的位置处。例如,通过以下来设置锚an12:按下链接按钮以便锚an12显示在屏幕d12上,并且移动这个锚an12的位置。
首先,当锚被设置时,锚信息生成单元10跟踪其中锚被设置的对象,以自动地生成其中对象的移动量大的锚位置。
屏幕d13用于预览已自动地生成的锚位置信息,并且用于确认锚位置。
屏幕d14是用于编辑已自动地生成的锚位置的屏幕。用户通过逐帧前进来识别用于调整位置的帧,并且通过拖动操作将识别的帧中显示的锚an14移动到期望的位置。
因此,编辑者只需要确认链接定义存储单元12中存储的帧标识符指示的帧中的锚位置信息,而不需要确认全部的帧中的锚的位置。因此,编辑操作变得容易。
绘制锚,再现视频
接下来,对视频的结构和锚的绘制给予描述。图6图示了绘制锚的例子。在图6的例子中,用于绘制锚的层叠加在用于再现视频的层上。通过这种结构,锚可以叠加在正在再现的视频中的对象上。
图7用于描述显示锚的例子。在图7的例子中,在帧t21、t23、t24和t28处,锚信息存储在链接定义存储单元12中。绘制单元151在链接定义存储单元12中存储的帧标识符指示的帧中的锚位置信息指示的位置处绘制锚。
针对除了链接定义存储单元12中存储的帧标识符指示的帧之外的帧,绘制单元151基于将要绘制的锚的位置执行插值计算,以例如通过动画绘制来绘制锚。
例如,帧t22的锚显示在帧t21的锚位置和t23的锚位置中间。进而,帧t25至t27的锚显示在通过对帧t24的锚位置和帧t28的锚位置执行插值计算而获得的位置处。
图7的帧t21、t23、t24和t28中显示的锚是编辑目标。在一般的技术中,帧t21至t28的锚位置信息被存储,并且帧t21至t28的锚是编辑目标。
因此,在当前实施例中,没有通过重复地绘制每一个帧中的锚的全部像素来绘制锚;可以基于坐标移动的动画通过绘制方法来绘制锚。因此,可以平滑地显示锚而没有闪烁。
接下来,对其中移动终端的微SD卡是对象的特定例子给予描述。图8用于描述链接目的地显示。图8的例子是用于描述在移动终端中插入微SD卡的操作的视频。进而,在图8的例子中,锚设置在微SD卡处。
屏幕d21显示其中微SD卡将要被插入的移动终端。再现控制单元15从视频数据存储单元13读取目标视频,从链接定义存储单元12读取锚信息,并且再现屏幕d21的图像。此时,锚没有设置在屏幕d21中。
在屏幕d22中,持有微SD卡的手被显示,并且锚叠加在微SD卡上。当再现锚信息中包括的帧标识符指示的帧时,绘制单元151在帧中绘制锚。在屏幕d22中,锚被绘制。
在屏幕d23中,微SD卡正在被插入移动终端中。此时,假定屏幕d23的图像中的锚an23被选择。锚an23被绘制,以在视频正在被再现的同时跟随微SD卡。
此时,对于其中锚信息未被存储的帧而言,执行插值计算(例如坐标的线性插值),并且锚被持续显示。当使用鼠标点击锚时,或者当在触摸面板中按下锚时,可以检测到对锚的选择。
在屏幕d24中,视频的作为与锚相关联的链接目的地的一个帧被显示。当接收到锚an23已被选择的报告时,链接内容再现单元152链接到锚信息中包括的链接目的地信息,并且再现链接目的地的视频。在屏幕d24中,其中微SD卡将要被插入的位置被放大。
因此,甚至在其中锚信息未被存储的帧中,锚也被持续地显示。当锚被选择时,可以移动到链接目的地并且再现链接的视频。
操作
接下来,对信息处理装置1的操作给予描述。图9是指示锚设置过程的例子的流程图。在图9的步骤S101,锚信息生成单元10从视频数据存储单元13读取并获取目标视频。这里,锚信息生成单元10有规则地再现目标视频,或者通过逐帧前进来再现目标视频,并且等待用于设置锚的对象被指定。
在步骤S102,设置单元111从操作单元11接收由用户指定的用于设置锚的对象。此时,设置单元111标识其中对象的位置坐标和锚被设置的开始帧。如图5B的屏幕d12中指示的那样,在做出指定的情况下,对象的位置坐标例如是锚的中心坐标。
在步骤S103,针对视频中的开始帧之后的每个帧,提取单元112通过执行图像识别来提取对象坐标。例如,提取单元112通过边缘提取来提取对象区域,并且使用对象区域的中心坐标作为对象坐标。
在步骤S104,基于当前帧和除了当前帧之外的别的过去帧之间的对象坐标的移动量,确定单元113标识其中锚信息将要被保存的帧。步骤S104的过程在下面参考图10进行描述。
在步骤S105,锚信息生成单元10另外设置锚信息的属性。锚信息的属性例如是显示属性和链接目的地的名称。
在步骤S106,生成单元114将作为保存目标而标识的帧的锚位置信息和帧标识符存储在链接定义存储单元12中作为锚信息。
在步骤S107,锚信息编辑单元14预览设置的锚,并且确定是否从操作单元11报告了位置改变请求。当存在位置改变请求(在步骤S107为是)时,过程前进到步骤S108,而当不存在位置改变请求(在步骤S107为否)时,过程结束。
在步骤S108,改变单元142编辑锚位置信息。例如,改变单元142获取作为编辑目标的帧的帧标识符和编辑之后的锚位置信息,并且将链接定义存储单元12中存储的作为编辑目标的帧的锚位置信息改变为编辑之后的锚位置信息。
接下来,对步骤S104的过程给予详细的描述。图10是生成锚信息的过程的例子的流程图。在图10的步骤S201,生成单元114设置开始帧作为当前帧和特定数据。当前帧是用作确定目标的标准的帧。特定数据是作为用于存储在链接定义存储单元12中的目标的数据。
在步骤S202,确定单元113递增当前帧。通过递增当前帧,当前帧变为显示时间顺序中的下一帧。
在步骤S203,确定单元113设置当前帧和以前帧的对象坐标作为比较目标。以前帧例如是紧接着当前帧之前的帧。
在步骤S204,确定单元113确定指示对象坐标之差的移动量的绝对值是否大于或等于预定值(对象尺寸)。在下文中,指示对象坐标之差的移动量也被称为对象移动量。当对象移动量的绝对值大于或等于对象尺寸(在步骤S204为是)时,过程前进到步骤S206,而当对象移动量的绝对值小于对象尺寸(在步骤S204为否)时,过程前进到步骤S205。当对象移动量的绝对值大于或等于对象尺寸时,意味着对象已移动使得对象区域在帧之间没有彼此叠加。
在步骤S205,确定单元113确定对象移动量的绝对值是否大于或等于预定值(锚尺寸)。当对象移动量的绝对值大于或等于锚尺寸(在步骤S205为是)时,过程前进到步骤S206,而当对象移动量的绝对值小于锚尺寸(在步骤S205为否)时,过程前进到步骤S207。当对象移动量的绝对值大于或等于锚尺寸时,意味着对象在帧之间已移动大于锚的长度、宽度或对角线。
为什么进行步骤S205的确定之原因是因为当对象的尺寸大时,在步骤S204确定很少为是。因此,在其中对象已移动大于或等于锚尺寸的量的情况下,这个当前帧被设置为特定数据。
在步骤S206,生成单元114将当前帧和以前帧设置为特定数据。当以前帧已经被设置为特定数据时,生成单元114仅将当前帧设置为特定数据。
步骤S204和S205的过程用于区分其中相邻帧之间的移动量大的情况。因此,可以即时地标识其中对象已移动了很大的量的情况,并且使用当前数据作为特定数据。
在步骤S207,确定单元113设置紧接着当前帧之前的特定数据和当前帧的对象坐标作为比较目标。紧接着当前帧之前的特定数据指的是特定数据项当中最后(最新)显示的帧。
在步骤S208,确定单元113确定对象移动量的绝对值是否大于或等于预定值(对象尺寸)。当对象移动量的绝对值大于或等于对象尺寸(在步骤S208为是)时,过程前进到步骤S211,而当对象移动量的绝对值小于对象尺寸(在步骤S208为否)时,过程前进到步骤S209。
在步骤S209,确定单元113确定对象移动量的绝对值是否大于或等于预定值(锚尺寸)。当对象移动量的绝对值大于或等于锚尺寸(在步骤S209为是)时,过程前进到步骤S211,而当对象移动量的绝对值小于锚尺寸(在步骤S209为否)时,过程前进到步骤S210。
步骤S208和S209的过程用于区分其中对象已从特定数据的帧缓慢移动并且从特定数据的对象开始的移动量大的情况。因此,可以指定如下情况:对象已缓慢移动,并且对象已从特定数据的对象的位置移动了大于或等于预定的量,并且将当前帧设置为特定数据。
在步骤S210,确定单元113确定紧接着当前帧之前的特定数据和当前帧之间的帧间隔是否大于或等于设置标准值(阈值)。阈值例如为3秒或5秒;然而可以基于实验来设置更加适当的值。当帧间隔大于或等于阈值(在步骤S210为是)时,过程前进到步骤S211,而当帧间隔小于阈值(在步骤S210为否)时,过程前进到步骤S212。
进行步骤S210的确定的原因是使锚跟随对象的细微移动,并且以预定间隔将当前帧设置为特定数据。
在步骤S211,生成单元114将当前帧设置为特定数据。
在步骤S212,确定单元113确定当前帧是否是最终帧。当当前帧是最终帧(在步骤S212为是)时,过程前进到步骤S213,而当当前帧不是最终帧(在步骤S212为否)时,过程返回到步骤S202。
在步骤S213,生成单元114将最终帧设置为特定数据。为什么最终帧是特定数据的原因在于,最终帧的锚的位置用于插值计算。
通过上面的过程,不需要针对全部帧都存储锚信息,因此减少了锚信息的数据量。
接下来,对再现其中锚被设置的视频的过程给予描述。图11是指示视频再现过程的例子的流程图。在图11的步骤S301,再现控制单元15从视频数据存储单元13读取目标视频,并且从链接定义存储单元12读取锚信息。
在步骤S302,再现控制单元15再现读取的视频数据。在步骤S303,绘制单元151确定是否要绘制锚。例如,绘制单元151确定处在锚信息中包括的第一个帧标识符指示的帧和锚信息中包括的最后的帧标识符指示的帧之间的帧是否被再现。当锚将要被绘制(在步骤S303为是)时,过程前进到步骤S304,而当锚不会被绘制(在步骤S303为否)时,过程返回到步骤S302。
在步骤S304,绘制单元151确定是否存在与作为再现目标的帧相关联的锚位置信息。当存在锚位置信息(在步骤S304为是)时,过程前进到步骤S305,而当不存在锚位置信息(在步骤S304为否)时,过程前进到步骤S306。
在步骤S305,当锚信息中包括的帧标识符指示的帧被再现时,与视频数据的再现时间或帧同步,绘制单元151在锚位置信息指示的位置处绘制锚。例如,锚是链接图标。
在步骤S306,通过对作为显示目标的帧之前和之后存在的锚位置信息执行插值计算,绘制单元151获得锚的显示位置。绘制单元151将锚移动到获得的位置,并且在那里绘制锚。
在步骤S307,链接内容再现单元152确定锚是否已被选择。当锚被选择(在步骤S307为是)时,过程前进到步骤S308,而当锚未被选择(在步骤S307为否)时,过程前进到步骤S310。
在步骤S308,链接内容再现单元152再现与锚相关联的链接目的地的视频。链接目的地可能不是视频;链接目的地可以是静止图像或文本。
在步骤S309,链接内容再现单元152确定用于从链接目的地返回到视频的按钮是否已被按下。当按钮已被按下以返回到视频(在步骤S309为是)时,过程返回到步骤S302,而当按钮尚未被按下以返回到视频(在步骤S309为否)时,过程返回到步骤S308。
在步骤S310,再现控制单元15确定目标视频是否已结束。当视频已结束(在步骤S310为是)时,再现过程结束,而当视频尚未结束(在步骤S310为否)时,过程返回到步骤S302。
通过上面的过程,可以再现其中锚被设置的视频。进而,在步骤S306,例如通过执行动画绘制过程,可以防止锚闪烁。
根据上面的实施例,锚被容易地编辑,并且减少了锚信息的数据量。
修改
图12是信息处理装置的硬件的例子的框图。如图12所示,信息处理装置2包括控制单元201、主要存储单元202、次要存储单元203、驱动装置204、网络I/F单元206、输入单元207和显示单元208。这些单元经由总线连接,以便在彼此之间交换数据。
控制单元201是CPU,用于控制各个装置和对计算机中的数据执行计算和处理。进而,控制单元201是运算装置,用于执行主要存储单元202和次要存储单元203中存储的程序。这些程序用于执行参考图9至11在上面的实施例中描述的信息处理。
控制单元201可以通过执行这些程序来实现实施例中描述的信息处理。
主要存储单元202是只读存储器(ROM)或随机存取存储器(RAM),并且是用于存储或临时保存程序如作为基本软件的OS和由控制单元201执行的应用程序软件以及数据的存储装置。
次要存储单元203是硬盘驱动器(HDD),并且是用于存储与应用程序软件相关的数据的存储装置。
驱动装置204从诸如软盘之类的记录介质205读取程序,并且将程序安装在存储装置中。
进而,预定程序存储在记录介质205中,并且记录介质205中存储的程序经由驱动装置204安装在信息处理装置2中。已安装的预定程序可以由信息处理装置2执行。
网络I/F单元206是信息处理装置2和具有通信功能的外围设备之间的接口,所述外围设备经由通过有线或无线数据传输路径构成的诸如局域网(LAN)或广域网(WAN)之类的网络连接。
输入单元207包括:键盘,其具有光标键、数字键盘和各种功能键;以及鼠标或片垫,用于选择显示单元208的显示屏上的按键。进而,输入单元207是用户接口,用于用户向控制单元201给出操作指令和输入数据。
显示单元208是阴极射线管(CRT)或液晶显示器(LCD),并且根据从控制单元201输入的显示数据来显示信息。
如上所述,上面的实施例中描述的图像处理可以被实施为将要由计算机执行的程序。通过从服务器中安装这些程序并且使计算机执行这些程序,可以实施上面的信息处理。
进而,程序可以记录在记录介质205中,并且可以使计算机或移动终端读取记录这些程序的记录介质205以实施上面的信息处理。各种类型的记录介质可以用作记录介质205,包括:用于光学、电学或磁性记录信息的记录介质如CD-ROM、软盘和磁光盘;以及用于电学记录信息的半导体存储器如ROM和快闪存储器。记录介质并不包括载波。进而,可以通过一个或多个集成电路来实施上面的实施例中描述的信息处理。
例如,上面的实施例和修改可以应用到用于使用视频来创建注释文件、操作手册和教育内容的装置。
根据实施例的一方面,锚被容易地编辑,并且减少了锚信息的数据量。
本发明并不限于在此描述的特定实施例,并且可以进行变更和修改而不背离本发明的范围。

Claims (6)

1.一种由计算机执行的用于处理信息的方法,包括:
接收锚向视频中包括的图像中的主体的设置;
确定所述视频中的第一图像中的已向其设置所述锚的所述主体和所述视频中包括的第二图像中的所述主体之间的移动量是否大于或等于预定值,所述预定值是所述主体的尺寸和所述锚的尺寸;以及
当所述移动量被确定为大于或等于所述预定值中的至少一个时,在存储单元中存储所述第一图像的标识符和所述锚在所述第一图像中的位置信息,
其中,所述第二图像是所述视频中在时间上先于所述第一图像的图像。
2.根据权利要求1所述的方法,其中,当所述第二图像是紧接着所述第一图像之前的以前图像时,所述存储还包括:
在所述存储单元中存储还没有被存储在所述存储单元中的所述以前图像的标识符和所述锚在所述以前图像中的位置信息。
3.根据权利要求1所述的方法,其中,通过使用所述第二图像执行所述确定,所述第二图像是图像当中作为将要存储在所述存储单元中的存储目标的最新图像。
4.根据权利要求3所述的方法,其中,所述确定包括:
确定所述第一图像和所述最新图像之间的间隔是否大于或等于阈值,并且
所述存储包括:
当所述间隔被确定为大于或等于所述阈值时,在所述存储单元中存储所述第一图像的标识符和所述锚在所述第一图像中的位置信息。
5.根据权利要求1至4中任何一项所述的方法,其中,
当再现所述视频时,
当显示所述存储单元中存储的标识符指示的图像时,所述锚叠加在所述位置信息指示的位置处,并且
当显示除了所述存储单元中存储的标识符指示的图像之外的图像时,所述锚叠加在通过基于与位于作为显示目标的图像之前和之后的两个图像相对应的所述锚的两个位置信息项来执行插值计算而获得的位置处,所述两个图像包括在存储单元中存储的标识符指示的图像当中。
6.一种信息处理装置,包括:
设置单元,用于将锚设置到视频中包括的图像中的主体;
确定单元,用于确定所述视频中的第一图像中的已向其设置所述锚的所述主体和所述视频中包括的第二图像中的所述主体之间的移动量是否大于或等于预定值,所述预定值是所述主体的尺寸和所述锚的尺寸;以及
存储单元,用于当所述移动量被确定为大于或等于所述预定值中的至少一个时,存储所述第一图像的标识符和所述锚在所述第一图像中的位置信息,
其中,所述第二图像是所述视频中在时间上先于所述第一图像的图像。
CN201210519494.5A 2011-12-22 2012-12-06 信息处理装置和信息处理方法 Active CN103219028B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011282403A JP5838791B2 (ja) 2011-12-22 2011-12-22 プログラム、画像処理装置及び画像処理方法
JP2011-282403 2011-12-22

Publications (2)

Publication Number Publication Date
CN103219028A CN103219028A (zh) 2013-07-24
CN103219028B true CN103219028B (zh) 2017-04-26

Family

ID=48654664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210519494.5A Active CN103219028B (zh) 2011-12-22 2012-12-06 信息处理装置和信息处理方法

Country Status (3)

Country Link
US (1) US9380259B2 (zh)
JP (1) JP5838791B2 (zh)
CN (1) CN103219028B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015074625A1 (zh) * 2013-11-25 2015-05-28 王浩 分析设置装置、处理装置和分析设置方法、处理方法
US9858686B2 (en) * 2016-02-10 2018-01-02 Google Llc Dynamic color determination for user interface components of a video player
US10417738B2 (en) 2017-01-05 2019-09-17 Perfect Corp. System and method for displaying graphical effects based on determined facial positions
US10277960B2 (en) 2017-01-30 2019-04-30 Tap Media Labs, Inc. Method and system for seeding video programs with episodic interactive items
CN110062269A (zh) * 2018-01-18 2019-07-26 腾讯科技(深圳)有限公司 附加对象显示方法、装置及计算机设备
CN110490636B (zh) * 2019-07-15 2023-07-11 平安科技(深圳)有限公司 客户信息管理方法、装置、计算机可读存储介质及服务器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1249881A (zh) * 1997-11-07 2000-04-05 皇家菲利浦电子有限公司 图象序列编码
CN1360699A (zh) * 1999-02-22 2002-07-24 西门子共同研究公司 创建和链接视频文档的方法与设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3214258B2 (ja) 1994-10-24 2001-10-02 三菱電機株式会社 動画処理装置、動画アンカー表示方法、動画アンカー判断方法
JP3309642B2 (ja) * 1995-05-31 2002-07-29 ソニー株式会社 画像情報記録方法及びそのシステム
JP3511278B2 (ja) * 1996-01-31 2004-03-29 三菱電機株式会社 動画アンカー設定装置
US6144972A (en) 1996-01-31 2000-11-07 Mitsubishi Denki Kabushiki Kaisha Moving image anchoring apparatus which estimates the movement of an anchor based on the movement of the object with which the anchor is associated utilizing a pattern matching technique
US5970504A (en) 1996-01-31 1999-10-19 Mitsubishi Denki Kabushiki Kaisha Moving image anchoring apparatus and hypermedia apparatus which estimate the movement of an anchor based on the movement of the object with which the anchor is associated
US7280753B2 (en) * 2003-09-03 2007-10-09 Canon Kabushiki Kaisha Display apparatus, image processing apparatus, and image processing system
US7634106B2 (en) * 2004-09-22 2009-12-15 Fujifilm Corporation Synthesized image generation method, synthesized image generation apparatus, and synthesized image generation program
JP2006246175A (ja) * 2005-03-04 2006-09-14 Epson Avasys Corp 動画像変換装置
JP2009055519A (ja) * 2007-08-29 2009-03-12 Sony Corp 符号化処理装置、符号化処理方法、復号処理装置、及び、復号処理方法
KR101336736B1 (ko) * 2008-08-22 2013-12-04 정태우 영상에 포함된 객체를 식별하는 방법
JP4650579B2 (ja) * 2009-03-30 2011-03-16 日本ビクター株式会社 ビデオデータ記録装置、ビデオデータ再生装置、およびビデオデータ記録方法、ビデオデータ再生方法
JP2011166264A (ja) * 2010-02-05 2011-08-25 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1249881A (zh) * 1997-11-07 2000-04-05 皇家菲利浦电子有限公司 图象序列编码
CN1360699A (zh) * 1999-02-22 2002-07-24 西门子共同研究公司 创建和链接视频文档的方法与设备

Also Published As

Publication number Publication date
JP5838791B2 (ja) 2016-01-06
US20130163958A1 (en) 2013-06-27
US9380259B2 (en) 2016-06-28
CN103219028A (zh) 2013-07-24
JP2013134506A (ja) 2013-07-08

Similar Documents

Publication Publication Date Title
CN103219028B (zh) 信息处理装置和信息处理方法
US8539377B2 (en) Image capture and manipulation
US9398349B2 (en) Comment information generation device, and comment display device
US8307287B2 (en) Heads-up-display for use in a media manipulation operation
EP3195601B1 (en) Method of providing visual sound image and electronic device implementing the same
US8704853B2 (en) Modifying graphical paths
EP1150215A2 (en) A method of annotating an image
WO2019128742A1 (zh) 图像处理方法、装置、终端及存储介质
CN101383141A (zh) 图像显示控制设备和图像显示控制方法
CN101290657B (zh) 类似度分析装置、图像显示装置和图像显示方法
CN110035329A (zh) 图像处理方法、装置及存储介质
US20170344247A1 (en) Touch screen device enabling entity to be shifted or copied based on touch input, and operating method thereof
CN100444096C (zh) 用于进行内容导航的系统和方法
JP2024502516A (ja) データ注釈方法、装置、システム、デバイスおよび記憶媒体
CN109213668B (zh) 操作记录方法、装置及终端
US20190129927A1 (en) Information processing apparatus and non-transitory computer readable medium
US20070182740A1 (en) Information processing method, information processor, recording medium, and program
JP6474728B2 (ja) 増強された情報収集環境
JP3511278B2 (ja) 動画アンカー設定装置
EP2816493A1 (en) Contents sharing service
JPH0816824A (ja) 3次元計算機支援設計装置及び方法
CN103180806A (zh) 便携式显示设备和控制其操作的方法及其程序
JP2012133459A (ja) 画像評価装置、及び方法、並びにプログラム、そのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2009015774A (ja) 情報処理装置及び情報処理方法
JP2017092913A (ja) 画像再生装置およびその制御方法ならびにプログラムならびに記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant