CN100544432C - 视频处理设备和对象识别方法 - Google Patents

Abstract

一种视频处理设备和对象识别方法，用于由拍摄装置拍摄用仪器对对象进行的动作，将其记录为视频数据。在视频数据回放过程中当指定所希望的对象时，基于在仪器中的对象的位置信息和对象动作的时刻识别该对象，并且使得能够进行对于已识别对象的预定操作。

Description

视频处理设备和对象识别方法

技术领域

本发明涉及一种视频处理设备和对象识别方法，用于由拍摄装置拍摄用仪器对对象进行的动作，将其记录为视频数据，并回放该视频数据。

背景技术

对拍摄(视频捕获)使用例如显示器、打印机等的仪器在工作位置、会议室等进行的操作内容或者会议内容，并且使用所拍摄(捕获)的视频作为操作记录或者会议记录的需求越来越多。在这种情况下，需要提高从长的视频中搜索目标对象的便利性，并且已经提出了各种技术来达到此目的(例如，现有技术参考文献1～5)。

现有技术参考文献1旨在从拍摄的会议视频中搜索特定参与者的发言。参考文献1公开了一种在视频捕获会议中识别特定参与者的发言/语音的技术。这种技术使参与者自身设为目标，从而消除了错误的识别以及操作员手动设置的工作。

现有技术参考文献2旨在从普通白板提取可重复使用的图形对象。其在所拍摄的视频中的白板上的捕获数据中提取画好的图形对象。因此，可以将该图形对象与在时间轴上一起工作的音频数据相关联。

现有技术参考文献3旨在以可以确定信息源的形式创建在多个位置举行的电视会议的备忘录。其可以显示信息开始发送的位置以及发送的顺序。

现有技术参考文献4用于通过将多个摄像机拍摄的实况图像与拍摄该图像的摄像机关联起来而不包括其它摄像机，来进行指定区域中的图像放大。

现有技术参考文献5用于通过使用识别捕获实况视频的仪器的摄像机，来将数据传输到该仪器，或者从该仪器传输数据。

以下示出现有技术参考文献1～5。

现有技术参考文献1：日本特开2004-208188号公报

现有技术参考文献2：日本特开2004-080750号公报

现有技术参考文献3：日本特开平11-175517号公报

现有技术参考文献4：日本特开2001-128057号公报

现有技术参考文献5：日本特开2005-051778号公报

然而，在现有技术参考文献1中仅公开了识别参与者的视频的方法，而未关注识别仪器和仪器中的对象的方法。因此，这种方法不能识别在显示器上的显示对象或者在打印机输出盘上的打印对象。

在现有技术参考文献2中仅以普通的白板作为目标，而未关注识别仪器或者仪器中的对象的方法。因此，现有技术参考文献2也不能识别例如在显示器上的显示对象或者在打印机输出盘上的打印对象。

此外，在现有技术参考文献3中，未公开识别所产生的会议的备忘录的对象的方法。因此，现有技术参考文献3也不能识别例如在显示器上的显示对象或者在打印机输出盘上的打印对象。

此外，在现有技术参考文献4中，仅实况视频与拍摄该视频的摄像机彼此相关，而未关注识别在该视频中的仪器或者仪器中的对象的方法。因此，现有技术参考文献4也不能识别在显示器上的显示对象或者在打印机输出盘上的打印对象。

此外，在现有技术参考文献5中，摄像机仅识别视频中的仪器，而未关注识别仪器中的对象的方法。此外，对于识别视频中的仪器，具体识别方法不清楚。因此，现有技术参考文献5也不能识别在显示器上的显示对象或者在打印机输出盘上的打印对象。

发明内容

本发明是针对上述问题而做出的，旨在通过从回放视频中识别仪器或者仪器中的对象，能够识别例如在显示器上的显示对象或者在打印机输出盘上的打印对象的对象。

本发明还旨在能对于已识别的对象进行例如放大或者打印的预定操作。

为了实现上述目的，根据本发明的一个方面，提供一种视频处理设备，用于由拍摄装置拍摄用仪器对对象进行的动作，将其记录为视频数据，并回放所述视频数据，所述视频处理设备包括：识别部件，用于当在回放所述视频数据的过程中指定对象时，基于所述对象在所述仪器中的位置和对所述对象进行动作的时刻的信息来识别所述对象；以及操作部件，用于允许对所述识别部件所识别的对象进行预定操作。

根据本发明的一个方面，一种视频处理设备的对象识别方法，所述视频处理设备由拍摄装置拍摄用仪器对对象进行的动作，将其记录为视频数据，并回放所述视频数据，所述对象识别方法包括：识别步骤，用于当在回放所述视频数据的过程中指定对象时，基于所述对象在所述仪器中的位置和对所述对象进行动作的时刻的信息来识别所述对象；操作步骤，用于允许对在所述识别步骤中识别的对象进行预定操作。

从以下参考附图对典型实施例的描述，本发明的其他特征将变得明显。

附图说明

图1是示出实施例的信息处理设备的硬件结构的框图；

图2是示出第一实施例的系统视频的例子的图；

图3是示出当实现图2所示的系统视频时该系统视频的结构的系统框图；

图4是示出图3所示的会议记录装置305和会议记录回放装置309的功能的功能框图；

图5是示出第一实施例的会议记录处理的流程图；

图6是示出对象动作记录数据306的例子的图；

图7是示出第一实施例的对象动作记录处理的流程图；

图8是示出第一实施例的会议记录回放处理的流程图；

图9是示出会议视频操作屏幕的例子的图，在该屏幕中可以进行会议视频的回放操作和在回放视频中的指定位置显示对象的操作；

图10是示出第一实施例的会议视频操作处理的流程图；

图11是示出仪器位置形状数据308的例子的图；

图12是示出第一实施例的仪器位置形状获取处理的流程图，该处理用于获取对应于回放位置的时刻处的仪器位置形状数据；

图13是示出第一实施例的指定仪器识别处理的流程图；

图14是示出第一实施例的指定仪器中的对象的识别处理的流程图；

图15是示出图14所示的对象位置形状获取处理的流程图；

图16是示出图14所示的显示器中相对位置识别处理的流程图；

图17是示出第一实施例的对象动作搜索处理的流程图；

图18是示出第一实施例的对象操作处理的流程图；

图19是示出第二实施例的包括打印机的系统视频的例子的图；

图20是示出针对打印机的对象动作记录数据的例子的图；

图21是示出第二实施例的对象动作记录处理的流程图；

图22是示出打印机的仪器位置形状数据的例子的图；

图23是示出第二实施例的指定仪器中的对象的识别处理的流程图；

图24是示出仪器位置形状指示屏幕的例子的图，该屏幕可以指示在会议视频上显示的仪器的显示区域；

图25是示出第三实施例的仪器位置形状指示处理的流程图；

图26是示出仪器位置形状指示屏幕的例子的图，该屏幕可以自动设置在所拍摄的视频上显示的仪器的显示区域；

图27是示出第四实施例的仪器位置形状指示处理的流程图；

图28是示出第四实施例的位置形状自动设置处理的流程图；

图29是示出仪器位置形状指示屏幕的例子的图，该屏幕可以自动设置在所拍摄的视频上显示的打印机的显示区域；

图30是示出第五实施例的打印机输出盘的位置形状自动设置处理的流程图；

图31是示出第六实施例的会议记录处理的流程图；

图32是示出第六实施例的会议备忘录操作屏幕的例子的图；

图33是示出第六实施例的会议备忘录操作处理的流程图；

图34是示出在第七实施例所产生的虚拟视频的例子的图；

图35是示出第七实施例的虚拟视频产生处理的流程图；

图36是示出第八实施例的对象搜索回放处理的流程图；

图37是示出第八实施例的对象变化识别处理的流程图。

具体实施方式

参考附图详细说明实现本发明的优选实施例。

图1是示出实施例的信息处理设备的硬件结构的框图。在图1中，附图标记101表示输入单元，用于输入信息(数据)，其连接到稍后说明的拍摄装置等。附图标记102表示CPU，其对于各种处理进行计算、逻辑判断等并控制稍后说明的连接到总线的每一个组件。附图标记103表示输出单元，用于输出信息(数据)，其连接到包括例如稍后说明的LCD、CRT等的显示器和打印机等的视频形成装置。

附图标记104表示程序存储器，其是用于存储包括稍后说明的流程图所示的处理过程的程序的存储器，并由CPU 102控制。程序存储器104可以是ROM，或可以是从外部存储装置等装载程序的RAM。附图标记105表示数据存储器，其存储在各种处理中产生的数据。例如，假设数据存储器105为RAM，其在处理之前从非易失性外部存储介质进行装载，或者当需要时被参考。

然后，附图标记106表示总线，用于传送用于指示要由CPU102控制的各组件的地址信号、用于控制各组件的控制信号和在各组件之间交换的数据。

第一实施例

这里，通过使用图2～图18说明以下情况，即，识别对应于在回放视频中所指示的时间位置和空间位置的家用仪器或者办公仪器以及该仪器中的对象，并且进行例如放大显示、打印等操作。术语“仪器”包括家用仪器和办公仪器(下文中简称为仪器)。在第一实施例中，尤其说明如下情况：目标仪器为显示器，因为由摄像机的位置或者镜头的特性引起的变形而没有保持显示器的实际形状(宽高比等)。

图2是示出第一实施例的系统视频的例子的图。图2所示的系统显示为会议室，包括三个具有大屏幕的显示器202和以宽角度拍摄会议的会议视频拍摄摄像机(下文中简称为摄像机)201，以及在普通的会议室中的会议桌。图2还示出在显示器202上的每个屏幕上显示多个显示对象203。

图3是示出当实现图2所示的系统视频时的结构的系统框图。如图3所示，由会议记录装置305将在显示装置301～303上显示的每一个显示对象的信息记录为对象动作记录数据306。类似于每一个显示对象的信息，还将由拍摄装置304拍摄的视频记录为拍摄视频数据307。

通过参考记录每一个仪器在所拍摄的视频中的位置或者形状的仪器位置形状数据308，会议记录回放装置309回放以这样的方式记录的对象动作记录数据306和拍摄视频数据307。

在第一实施例中，图1所示的信息处理设备用作图3所示的会议记录装置305和会议记录回放装置309，更具体地，具有稍后说明的进行仪器位置形状自动设置或者仪器位置形状指示的功能。

图4是示出图3所示的会议记录装置305和会议记录回放装置309的功能的功能框图。如图4所示，其包括如下各功能：会议记录400(对应于会议记录装置305)、会议记录回放410(对应于会议记录回放装置309)、仪器位置形状自动设置430和仪器位置形状指示440。会议记录400提供记录会议内容的功能。会议记录回放410提供回放所记录的会议记录的功能。仪器位置形状自动设置430提供通过使仪器进行伴有视频变化的动作来估计仪器位置形状的功能。然后，仪器位置形状指示440提供指示从回放视频识别仪器中的对象所需的仪器位置形状的功能。

会议记录400包括视频拍摄单元401、会议操作单元402、对象显示单元403和对象动作记录单元404。视频拍摄单元401将由拍摄装置304拍摄的会议记录为拍摄视频数据307。会议操作单元402进行会议资料的显示指示以及写入电子白板的指示。对象显示单元403根据该指示显示显示对象。对象动作记录单元404将对显示对象进行的动作记录为对象动作记录数据306。

接下来说明会议记录回放410的配置。稍后进行更详细的说明。会议视频回放单元411回放记录为上述拍摄视频数据307的会议视频。会议视频操作单元412操作正在拍摄的视频。视频位置指定单元413指定视频中的任意位置。仪器位置形状获取单元414通过使用预定的仪器位置形状数据308来获取仪器位置形状。指定仪器识别单元415识别在指定位置的仪器。指定仪器中对象识别单元416识别在指定位置的仪器中的对象。对象位置形状获取单元417获取指定对象的位置形状。显示器中相对位置识别单元418识别在显示器中对应于指定位置的相对位置。对象动作搜索单元419搜索对应于指定位置的对象动作。对象操作单元420操作指定对象。

仪器位置形状自动设置430包括：仪器位置形状可获取动作执行单元431，用于使仪器进行伴有视频变化的动作；以及仪器位置形状估计单元432，用于通过分析视频的变化并估计仪器位置形状来自动设置仪器位置形状数据308的定义。仪器位置形状指示单元441指示仪器位置形状数据308的定义。

图5是示出第一实施例的会议记录处理的流程图。当指示会议记录400开始拍摄时，在步骤S501(视频拍摄开始处理)开始记录所拍摄的视频数据307。然后，在步骤S502，接收使用者的操作(会议操作处理)，如果在下一步骤S503判断为对象操作指示，则该操作进行到步骤S504，在显示中更新相应的对象(对象显示更新处理)。然后，在步骤S505，将显示更新动作记录为对象动作记录数据306(对象动作记录处理)，操作返回步骤S502，并重复上述处理。如果在步骤S503判断为指示结束，则操作进行到步骤S506，拍摄结束(视频拍摄结束处理)，会议记录处理结束。

图6是示出对象动作记录数据306的例子的图。在对象动作记录数据306中记录用于识别仪器、仪器中的对象、对象动作的时刻、动作的类型和显示区域(X1，Y1，X2，Y2)的信息，在图6中表示为附图标记601～607。

例如，将在时刻(2005/05/09 10:35:12)在显示装置301的显示区域((20，50)，(450，100))中显示静止图像1a记录为对象动作记录数据601。然后，将使得静止图像1a不显示记录为对象动作记录数据604。

图7是示出第一实施例的对象动作记录处理的流程图。首先，在步骤S701，从对象动作记录数据306获取对象的动作类型(动作获取处理)。然后，在步骤S702，判断动作类型，如果动作类型为“显示”或者“完成移动”，则操作进行到步骤S703，获取在显示器中对象的显示区域(显示器中坐标获取处理)。

如果在步骤S702动作类型为“不显示”，则操作进行到步骤S704，从每一个显示装置上的操作时刻获取系统的绝对时刻(绝对时刻获取处理)。然后，在步骤S705，将在处理中获取的信息记录为对象动作记录数据306(记录处理)，处理结束。另一方面，如果在步骤S702中动作类型是上述动作类型之外的类型，则不进行步骤S703之后的处理，处理结束。

图8是示出第一实施例的会议记录回放处理的流程图。首先，当在步骤S801对会议记录回放410指定将要处理的会议记录(回放视频指定处理)时，在随后的步骤S802等待完成操作(会议视频操作处理)。如果进行操作，并且在步骤S803中操作为“回放”、“从暂停重新开始”和“逆回放”指示中的任意一个，则操作进行到步骤S804。在步骤S804中，进行从指定位置开始的回放或者逆回放(回放处理)，操作返回步骤S802，并重复上述处理。

如果在步骤S803中操作为“回放位置改变”指示，则操作进行到步骤S805，将回放位置改变为指定位置(回放位置改变处理)，操作返回步骤S802，并重复上述处理。

如果在步骤S803中操作为“视频位置指定”指示，则操作进行到步骤S806，获取对应于回放位置的时刻的仪器位置形状数据(仪器位置形状获取处理)。然后，在步骤S807，识别对应于指定位置的仪器(指定仪器识别处理)。接下来，在步骤S808中，参考对象动作记录数据306，识别在对应于指定位置的仪器中的对象(指定仪器中对象识别处理)。然后，操作返回步骤S802，并重复上述处理。

如果在步骤S803中操作为“对象操作”指示，则操作进行到步骤S809，进行在上述过程中对已识别的对象的指定操作(对象操作处理)。然后，操作返回步骤S802，并重复上述处理。如果在步骤S803中操作为“结束”，则操作进行到步骤S810，回放结束(回放结束处理)，处理结束。

图9是示出会议视频操作屏幕的例子的图，在该屏幕中可以完成会议视频的回放操作，并且可以对在回放视频中的指定位置处显示的对象进行操作。在该例中，将回放位置表示为在滚动条902上的位置903，显示相应时刻的视频901。示出包括对回放视频的如下操作的指示按钮，即移动到开头904、逆回放905、回放906、移动到末尾907、停止908和暂停909。

另一方面，当首先指定回放视频901中的任意位置911，并显示对应该指定位置的对象操作菜单912时，进行对回放视频的对象的操作。

图10是示出第一实施例的会议视频操作处理的流程图。首先，在步骤S1001中，判断已执行的操作。其结果是，如果执行的操作为涉及“回放位置改变”的指示，包括在滚动条902上改变位置903、移动至开头904和移动至末尾907，则操作进行到步骤S1002，改变回放位置(回放位置改变处理)，处理结束。

如果在步骤S1001进行的操作为涉及“停止”和“暂停”的指示，包括停止908和暂停909，则操作进行到步骤S1003，回放停止(停止处理)，处理结束。如果在步骤S1001进行的操作为在回放视频901中的任意位置的指示911等进行的“视频位置指定”操作，则操作进行到步骤S1004，获取指定位置信息(视频中位置获取处理)，处理结束。

如果在步骤S1001中进行的操作为“对象操作选择”指示，则操作进行到步骤S1005，选择指定操作(对象操作选择处理)，处理结束。此外，如果在步骤S1001中是上述操作之外的操作，则不进行上述处理，处理结束。

图11是示出仪器位置形状数据308的例子的图。如图11中的附图标记1101～1105所示，在仪器位置形状数据308中，记录了用于识别仪器、对仪器的动作时刻、动作类型、表示仪器的实际大小的物理尺寸、视频上的位置形状(左上，左下，右上，右下)的信息。

例如，将如下所示的信息记录为仪器位置形状数据1101。

在时刻(2005/01/01 00:00:00)设置具有物理尺寸(640，480)、视频上的位置形状((115，8)，(115，42)，(160，8)，(160，42))的显示装置302。

此外，将显示装置301的移除记录为仪器位置形状数据1104。

图12是示出第一实施例的仪器位置形状获取处理的流程图，该处理用于获取对应于回放位置的时刻处的仪器位置形状数据。首先，在步骤S1201中，初始化仪器位置形状列表，在随后的步骤S1202中，将目标初始化为仪器位置形状数据的开头。然后，在步骤S1203中，判断目标是否有效，如果有效，则操作进行到步骤S1204，判断由目标的仪器位置形状数据308表示的时刻是否在对应于指定回放位置的时刻之前。其结果是，如果判断为在指定时刻之前，则操作进行到步骤S1205，更新仪器位置形状列表，在步骤S1206中目标前进，操作返回步骤S1203，并重复上述处理。

另一方面，如果目标无效，即如果在步骤S1203中为结束，或者如果在步骤S1204中判断为由目标的仪器位置形状数据表示的时刻在对应于指定回放位置的时刻之后，则处理结束。

图13是示出第一实施例的指定仪器识别处理的流程图。首先，在步骤S1301中，将目标初始化为仪器位置形状数据的开头，重复步骤S1302之后的处理。在步骤S1302中判断目标是否有效，如果有效，则操作进行到步骤S1303，判断指定位置是否包含在由目标的仪器位置形状数据308中的视频上的位置形状所示的显示区域中。其结果是，如果指定位置包含在该显示区域中，则处理结束，目标的仪器位置形状数据308作为返回值。

如果在步骤S1303中指定位置不包含在该显示区域中，则操作进行到步骤S1304，目标前进，操作返回步骤S1302，并重复上述处理。另一方面，如果目标无效，即如果在步骤S1302中不存在对应于指定位置的仪器，则处理结束。

图14是示出第一实施例的指定仪器中的对象的识别处理的流程图。首先，在步骤S1401中，获取在对应于回放位置的时刻的仪器位置形状数据(对象位置形状获取处理)。接下来，在步骤S1402中，考虑指定仪器的视频的变形获取在显示装置中的相对位置(显示器中相对位置识别处理)。然后，在步骤S1403中，搜索对应于指定位置的对象动作记录数据(对象动作搜索处理)，处理结束。

图15是示出图14所示的对象位置形状获取处理的流程图。首先，在步骤S1501中，初始化作为返回值的对象位置形状列表，在随后的步骤S1502中，将对象动作记录数据的开头初始化为目标。然后，重复步骤S1503之后的处理。

如果在步骤S1503中目标有效，则操作进行到步骤S1504，判断由目标的对象动作记录数据表示的时刻是否在指定时刻之前。如果判断为在指定时刻之前，则操作进行到步骤S1505，判断其是否与指定仪器匹配。其结果是，如果判断为其与指定仪器匹配，则操作进行到步骤S1506，更新在对象位置形状列表中的对象位置形状数据。然后，在步骤S1507中目标前进之后，操作返回步骤S1503，重复上述处理。

另一方面，如果在步骤S1503中判断为目标结束，或者如果在步骤S1504中判断为由目标的对象动作记录数据表示的时刻在指定时刻之后，则将到此时为止的对象位置形状列表作为返回值，处理结束。

图16示出图14所示的显示器中相对位置识别处理的流程图。首先，在步骤S1601中，以视频上的指定仪器的左上坐标作为起始点来设置相对位置，在随后的步骤S1602中，获取视频上的指定仪器的缩放率(scaling ratio)(缩放率获取处理)。然后，在步骤S1603中，通过使用缩放率来校正相对于指定位置的显示装置中的相对位置，处理结束。

图17是示出第一实施例的对象动作搜索处理的流程图。首先，在步骤S1701中，将对象位置形状列表的开头初始化为目标，重复随后的步骤S1702以及该步骤之后的处理。

在步骤S1702中判断目标是否有效，如果有效，则操作进行到步骤S1703，判断由指定位置表示的显示装置中相对位置是否包含在目标的对象位置形状数据的显示区域中。其结果是，如果包含在该显示区域中，则目标的对象动作记录数据作为返回值，处理结束。

如果在步骤S1703判断为不包含在该显示区域中，则操作进行到步骤S1704，目标前进，操作返回步骤S1702，上述处理结束。另一方面，如果在步骤S1702中目标无效，则认为搜索失败，处理结束。

图18示出第一实施例的对象操作处理的流程图。首先，在步骤S1801中，获取对应于通过上述处理识别的指定位置的对象(对象获取处理)，在步骤S1802中分支。如果指定操作为显示指示，则操作进行到步骤S1803，进行已识别对象的回放处理(对象回放处理)，处理结束。

如果在步骤S1802中指定操作为打印指示，则操作进行到步骤S1804，进行已识别对象的打印处理(对象打印处理)，处理结束。如果指定操作为搜索指示，则操作进行到步骤S1805，搜索已识别对象改变的时刻，回放从该位置起的视频(对象搜索回放处理)，处理结束。

这样，根据第一实施例，可以从回放视频中识别仪器和仪器中的对象。也可以对已识别对象进行例如放大显示或打印等操作。尤其能够识别在显示器上的显示对象。

第二实施例

接下来，通过使用图19～图23，详细说明根据本发明的第二实施例。通过以如下情况为例来说明第二实施例，即，尤其是目标仪器为打印机，识别在回放视频中对应于所指示的时间位置和空间位置的仪器和仪器中的对象，并进行例如放大显示或打印的操作。

图19是示出第二实施例的包含打印机的系统视频的例子的图。图19所示的系统显示为会议室，包括两个具有大屏幕的显示器1902，两个打印机1904、1905，以宽角度拍摄会议的摄像机1901，以及在普通的会议室中的会议桌。示出在每个显示屏幕上显示多个显示对象1903，并且在每个打印机的输出盘上放置了多个打印对象1906。

图20是示出针对打印机的对象动作记录数据的例子的图。如图20中的附图标记2001～2005所示，在对象动作记录数据中记录了用于识别仪器和仪器中对象、对象动作的时刻、动作的类型、打印盘的信息。

例如，记录由打印装置1904在时刻2005/05/09 10:37:02在打印盘“a”上打印静止图像4a。还将接收到对象记录为对象动作记录数据2004。

图21是示出在第二实施例中的对象动作记录处理的流程图。首先，在步骤S2101，判断所记录的目标仪器，如果为显示器，则操作进行到步骤S2102，从对象动作记录数据获取对象的动作类型(动作获取处理)。然后在步骤S2103，判断动作类型，如果动作类型为“显示”或“完成移动”，则操作进行到步骤S2104，获取在显示器中的对象的显示区域(显示器中坐标获取处理)。

如果在步骤S2103动作类型为“删除”或“不显示”，则操作进行到步骤S2105，从各显示装置的操作时刻获取绝对时刻(绝对时刻获取处理)。接下来，在步骤S2106，将在该处理中获取的信息记录为对象动作记录数据(记录处理)，处理结束。如果在步骤S2103中动作类型是上述类型之外的类型，则处理结束。

如果在步骤S2101中记录目标仪器是打印机，则操作进行到步骤S2107，从对象动作记录数据获取对象的动作类型(动作获取处理)。然后在步骤S2108，判断动作类型，如果动作类型为“打印”，则操作进行到步骤S2109，获取该对象的输出盘(打印机输出盘获取处理)。

如果在步骤S2108中动作类型为“接收”，则操作进行到步骤S2110，从各打印装置的操作时刻获取该系统的绝对时刻(绝对时刻获取处理)。接下来，在步骤S2111，将通过该处理所获取的信息记录为对象动作记录数据(记录处理)，处理结束。如果在步骤S2108中动作类型是上述类型之外的类型，则处理结束。

图22是示出打印机的仪器位置形状数据的例子的图。如图22中的附图标记2201～2206所示，在仪器位置形状数据中，记录了用于识别仪器、输出盘、相对于仪器动作的时刻、动作的类型和视频上的位置形状(左上、左下、右上、右下)的信息。

例如，将在时刻2005/02/01 00:00:00设置打印装置1404的输出盘“b”记录为仪器位置形状数据2204。还将输出盘“b”的移除记录为仪器位置形状数据2205。

图23是示出第二实施例的指定仪器中的对象的识别处理的流程图。首先，在步骤S2301，获取对应于回放位置的时刻处的仪器位置形状数据(对象位置形状获取处理)。接下来，在步骤S2302，从该仪器位置形状数据获取对应于指定位置的输出盘(打印机输出盘识别处理)。然后，在步骤S2303，搜索对应于该指定位置的对象动作记录数据(对象动作搜索处理)，处理结束。

以这种方式，根据第二实施例，尤其可以识别在打印机输出盘上的打印对象。

第三实施例

接下来，通过使用图24～图25，详细说明根据本发明的第三实施例。通过以使用者指定在回放视频中所显示的仪器的位置形状为例来说明第三实施例。

图24是示出仪器位置形状指示屏幕的例子的图，在该屏幕中可以指示在会议视频中显示的仪器的显示区域。通过使用图24中所示的仪器位置形状指示屏幕，可将正在回放的会议视频2407的任意显示区域2408指示为任意仪器2406的位置形状。

在图24中所示的仪器位置形状指示屏幕上，显示了要被指示的仪器的列表，对该列表设置了指示按钮“添加”2403、“改变”2404、“删除”2405，此外还设置了指示按钮“确认”2401、“取消”2402。

图25是示出第三实施例的仪器位置形状指示处理的流程图。首先，在步骤S2501，判断所进行的操作，如果操作为“添加”指示，则操作进行到步骤S2502，添加构成系统的仪器(仪器添加处理)。然后在步骤S2503，指示在回放视频中相对于仪器的位置形状(位置形状改变处理)，操作返回步骤S2501，上述处理结束。

如果在步骤S2501中操作为“改变”指示，则操作进行到步骤S2503，进行位置形状改变处理。如果操作为“删除”指示，则操作进行到步骤S2504，删除所选择的仪器(仪器删除处理)，操作进行到步骤S2501，重复上述处理。

如果在步骤S2501操作为“取消”指示，则处理结束。如果操作为“确认”指示，则操作进行到步骤S2505，确认改变的内容(改变确认处理)，处理结束。

以这种方式，根据第三实施例，能够明确地指定在回放视频中仪器的位置和形状。

第四实施例

接下来，通过使用图26～图28，详细说明根据本发明的第四实施例。通过以如下情况为例来说明第四实施例，即，尤其是目标仪器是显示器，当促使仪器进行特定的动作时，能够自动设置在所拍摄的视频中显示的仪器的位置形状，而不需要使用者对其进行指定。

图26是示出仪器位置形状指示屏幕的例子的图，在该屏幕中可以自动设置在所拍摄的视频中显示的仪器的显示区域。当通过图26所示的仪器位置形状指示屏幕促使在所拍摄的视频的会议视频2607中显示的任意仪器2606的显示区域2608在视频方面发生改变时，能够自动设置位置形状。

在图26所示的仪器位置形状指示屏幕上，显示了要被指示的仪器列表，对该列表设置了指示按钮“添加”2603、“自动设置”2604、“删除”2605，此外还设置了指示按钮“确认”2601、“取消”2602。

图27是示出第四实施例的仪器位置形状指示处理的流程图。首先在步骤S2701判断所进行的操作，如果操作为“添加”指示，则操作进行到步骤S2702，添加构成系统的仪器(仪器添加处理)。然后，在步骤S2703中自动设置在回放视频中该仪器的位置形状(位置形状自动设置处理)，操作进行到步骤S2701，重复上述处理。

如果在步骤S2701操作为“自动设置”的指示，则操作进行到步骤S2703，进行位置形状自动设置处理。如果操作为“删除”指示，则操作进行到步骤S2704，删除所选择的仪器(仪器删除处理)，操作返回步骤S2701，重复上述处理。

如果在步骤S2701操作为“取消”指示，则处理结束。如果操作为“确认”指示，则操作进行到步骤S2705，确认到此时所改变的内容(改变确认处理)，处理结束。

图28是示出第四实施例的位置形状自动设置处理的流程图。首先在步骤S2801，拍摄在出现由于稍后说明的处理导致的视频变化之前的视频(拍摄处理)。在步骤S2802，在要被自动设置的显示器上显示特定图案的视频(特定图案显示处理)。其结果是，在步骤S2803拍摄改变的视频(拍摄处理)，在步骤S2804提取变化前后之间的差异(视频差异提取处理)。在步骤S2805，基于该差异，估计并设置位置形状(仪器位置形状确认处理)，处理结束。

以这种方式，根据第四实施例，能够估计在回放视频中的仪器的位置和形状，而不需要指定在回放视频中的仪器的位置和形状。尤其是，可以估计在回放视频中的显示器的位置和形状。

第五实施例

接下来，通过使用图29～图30，详细说明根据本发明的第五实施例。通过以如下情况为例来说明第五实施例，即，尤其是目标仪器是打印机，当促使仪器进行特定的动作时，能够自动设置在所拍摄的视频中显示的仪器的位置形状，而不需要使用者对其进行指定。

图29是示出仪器位置形状指示屏幕的例子的图，在该屏幕中可以自动设置在所拍摄的视频中显示的打印机的显示区域。当图29中所示的仪器位置形状指示屏幕促使在所拍摄视频的会议视频2907中显示的打印装置2906的输出盘显示区域2908改变视频时，能够自动设置位置形状。

在图29所示的仪器位置形状指示屏幕上，显示了要被指示的仪器列表，还设置了指示按钮“添加”2903、“自动设置”2904、“删除”2905，此外还设置了指示按钮“确认”2901、“取消”2902。

图30是示出第五实施例的打印机输出盘的位置形状自动设置处理的流程图。首先，在步骤S3001，将目标初始化为对应于自动设置目标仪器的输出盘列表的开头，并重复步骤S3002之后的处理。在步骤S3002中判断目标，如果目标有效，则操作进行到步骤S3003，拍摄在出现由于稍后说明的处理所导致的视频变化之前的视频(拍摄处理)。然后在步骤S3004，使要被自动设置的打印机的输出盘打印具有特定图案的视频(特定图案打印处理)。其结果是，在步骤S3005，拍摄变化的视频(拍摄处理)，在步骤S3006提取变化前后之间的差异(视频差异提取处理)。然后，在步骤S3007基于该差异估计和设置位置形状(输出盘位置形状确认处理)，在步骤S3008目标前进，操作返回步骤S3002，重复上述处理。另一方面，如果在步骤S3002目标无效，则处理结束。

以这种方式，根据第五实施例，尤其能够估计在回放视频中打印机输出盘的位置和形状。

第六实施例

接下来，通过使用图31～图33，详细说明根据本发明的第六实施例。通过以如下情况为例来说明第六实施例，即，使用在备忘录中会议视频的快速拍摄，识别对应于所指示的时间位置和空间位置的仪器和仪器中的对象，并进行例如放大显示、打印等的操作。

图31是示出第六实施例的会议记录处理的流程图。首先，在步骤S3101，开始记录上述拍摄视频数据(视频拍摄开始处理)。然后，在步骤S3102接受使用者的操作(会议操作处理)，并在下一步骤S3103判断该操作。如果操作是对象操作指示，则操作进行到步骤S3104，更新相应的对象的显示(对象显示更新处理)。然后，在步骤S3105，将显示更新动作记录在上述对象动作记录数据中(对象动作记录处理)，操作返回步骤S3102，重复上述处理。

如果在步骤S3103操作是备忘录添加操作的指示，则操作进行到步骤S3106，拍摄在指示时刻的会议视频(静止图像拍摄处理)。然后在步骤S3107，添加包含会议视频的备忘录数据(备忘录添加处理)，操作进行到步骤S3102，重复上述处理。如果在步骤S3103操作是结束指示，则操作进行到步骤S3108，拍摄结束(视频拍摄结束处理)，处理结束。

图32是示出第六实施例的备忘录操作屏幕的例子的图。在图32所示的备忘录屏幕上，显示了在上述备忘录添加操作中的时刻、显示对象、静止图像会议视频3202、3203、3204，并通过滚动条3201将其布置为是可操作的。在任意时刻的静止会议视频上，通过位置指定操作3205对显示对象进行操作指示时，显示可操作对象操作指示3206。

图33是示出第六实施例的备忘录操作处理的流程图。首先，在步骤S3301中指定要被操作的备忘录(备忘录指定处理)，在步骤S3302中进行操作指示(备忘录操作处理)。然后，在步骤S3303判断操作指示，如果操作指示为通过使用滚动条3201的“备忘录位置改变”指示，则操作进行到步骤S3304，改变备忘录的显示位置(备忘录位置改变处理)。然后操作返回步骤S3302并重复上述处理。

如果在步骤S3303操作指示为“视频位置指定”指示，则操作进行到步骤S3305，获取对应于备忘录位置的时刻的仪器位置形状数据(仪器位置形状获取处理)。然后在步骤S3306，识别对应于指定位置的仪器(指定仪器识别处理)。接下来在步骤S3307，当参考对象动作记录数据时，识别对应于指定位置的仪器中的对象(指定仪器中对象识别处理)，操作进行到步骤S3302，并重复上述处理。

如果在步骤S3303操作指示为“对象操作”的指示，则操作进行到步骤S3308，对上述过程所识别的对象进行指定的操作(对象操作处理)。然后，操作进行到步骤S3302，并重复上述处理。如果在步骤S3303操作指示为“结束”指示，则处理结束。

以这种方式，根据第六实施例，能够从包括在备忘录中的会议视频的快速拍摄中识别仪器和仪器中的对象。

第七实施例

接下来，通过使用图34～图35，详细说明根据本发明的第七实施例。通过以如下情况为例来说明第七实施例，即，根据将要产生的会议视频中的仪器的位置或形状的信息，产生对应于会议中所进行的动作的会议视频。

图34是示出在第七实施例所产生的虚拟视频的例子的图。如图34所示，基于上述仪器位置形状数据，显示器3402位于会议视频屏幕3401上，基于上述对象动作记录数据，显示在相应时刻的显示对象3403。

图35是示出第七实施例的虚拟视频产生处理的流程图。首先，在步骤S3501初始化虚拟视频，在步骤S3502将对象动作记录数据的开头初始化为目标，并重复步骤S3503后的处理。

在步骤S3503判断目标是否有效，如果有效，则操作进行到步骤S3504，从目标的对象动作记录数据添加对应时刻的虚拟视频(虚拟视频添加处理)。然后在步骤S3505，目标前进，操作进行到步骤S3502，并重复上述处理。另一方面，如果目标无效，即如果在步骤S3503目标结束，则处理结束。

以这种方式，根据第七实施例，可以产生虚拟会议视频。

第八实施例

接下来，通过使用图36～图37，详细说明根据本发明的第八实施例。通过以如下情况为例来说明第八实施例，即，识别对应于在回放视频中所指示的时间位置和空间位置的仪器和仪器中的对象，搜索并回放对象变化时的视频。

图36是示出第八实施例的对象搜索回放处理的流程图。首先，在步骤S3601，识别在指定位置所识别的对象发生变化的时刻(对象变化识别处理)。然后在步骤S3602，从该时刻开始回放视频(视频回放处理)。

图37是示出第八实施例的对象变化识别处理的流程图。首先，在步骤S3701，对应于在指定位置所识别的对象，在对象动作记录数据的位置初始化目标，并重复步骤S3702之后的处理。

在步骤S3702判断目标是否有效，如果有效，则操作进行到步骤S3703，判断它是否是同一对象。其结果是，如果判断为相同，则处理结束并将目标的对象动作记录数据作为返回值。如果判断为不同，则操作进行到步骤S3704，目标前进，操作返回步骤S3702，并且重复上述处理。另一方面，如果目标无效，即在步骤S3702目标结束，则处理结束，视为识别失败。

除了上述实施例之外，可以考虑以下例子，即，在视频的回放视频中搜索到所指示的位置发生变化的时刻之后，通过该时刻识别仪器和仪器中的对象并进行回放。

如上所述，根据本发明，能够回放在回放视频中所识别仪器和仪器中的对象发生变化时的视频。

本发明可以应用于包括多个仪器(例如，主计算机、接口仪器、读取器、打印机等)的系统，或者可以应用于包括单个仪器的装置(例如复印机、传真机等)。

对系统或者装置提供记录有用于实现上述实施例的功能的软件程序代码的记录介质，该系统或者装置的计算机(CPU或MPU)读取并执行在记录介质中存储的程序代码。勿庸置疑，可以通过这种方法实现本发明的目的。

在这种情况下，从记录介质读出的程序代码实现上述实施例的功能，存储该程序代码的记录介质构成本发明。

作为提供该程序代码的记录介质，可以使用例如软(floppy，注册商标)盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储卡、ROM等。

勿庸置疑，不仅当执行由计算机读出的程序代码时可以实现上述实施例的功能，而且还包含以下情况，即，基于程序代码的指令，在计算机上运行的OS(操作系统，operating system)等执行部分或者全部实际处理，通过该处理实现上述实施例的功能。

此外，将从记录介质中读出的程序代码写入插入计算机的功能扩展板或包含在连接到计算机的功能扩展单元中的存储器。然后，勿庸置疑，基于程序代码的指令，功能扩展板或者包含在功能扩展单元中的CPU等执行部分或者全部实际处理，该处理实现上述实施例的功能。

尽管参考典型实施例对本发明进行了说明，但可以理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，从而包含全部这样的变形、等同结构和功能。

Claims (11)

1.一种视频处理设备，用于由拍摄装置拍摄用仪器对对象进行的动作，将其记录为视频数据，并回放所述视频数据，所述视频处理设备包括：

识别部件，用于当在回放所述视频数据的过程中指定对象时，基于所述对象在所述仪器中的位置和对所述对象进行动作的时刻的信息来识别所述对象；以及

操作部件，用于允许对所述识别部件所识别的对象进行预定操作。

2.根据权利要求1所述的视频处理设备，其特征在于，所述仪器是显示器，对所述对象进行的动作是在所述显示器上显示对象。

3.根据权利要求1所述的视频处理设备，其特征在于，所述仪器是打印机，对所述对象进行的动作是由所述打印机打印所述对象。

4.根据权利要求1所述的视频处理设备，其特征在于，所述操作部件显示对所述所识别的对象的预定操作的列表，并允许使用者从所述列表中选择的操作。

5.根据权利要求1所述的视频处理设备，其特征在于，所述识别部件还基于包含所述对象的仪器的位置形状信息识别所述对象。

6.根据权利要求5所述的视频处理设备，其特征在于，所述仪器的位置形状信息是使用者确定的信息或基于所拍摄的在显示器上显示的特定图案的变化而确定的信息。

7.根据权利要求5所述的视频处理设备，其特征在于，所述仪器的位置形状信息是使用者确定的信息或基于当打印机进行打印时所拍摄的打印盘的变化而确定的信息。

8.根据权利要求1所述的视频处理设备，其特征在于，将所述视频数据作为会议备忘录回放，识别对象，并能进行对所识别的对象的预定操作。

9.根据权利要求1所述的视频处理设备，其特征在于，还包括用于向所述视频数据添加虚拟视频的虚拟视频添加部件。

10.根据权利要求1所述的视频处理设备，其特征在于，还包括：

对象改变识别部件，用于识别所述对象改变的时刻；以及

回放部件，用于回放所识别的时刻处的视频数据。

11.一种视频处理设备的对象识别方法，所述视频处理设备由拍摄装置拍摄用仪器对对象进行的动作，将其记录为视频数据，并回放所述视频数据，所述对象识别方法包括：

识别步骤，用于当在回放所述视频数据的过程中指定对象时，基于所述对象在所述仪器中的位置和对所述对象进行动作的时刻的信息来识别所述对象；

操作步骤，用于允许对在所述识别步骤中识别的对象进行预定操作。

Images