CN1261449A - 信息检索系统及信息处理系统 - Google Patents

Abstract

本发明的信息检索系统,具有:发送装置,输出图象信息和用于通知上述图象信息种类的图象识别信息;显示装置,根据上述图象信息输出图象;位置指定装置,用于指定由显示装置输出的上述图象的任意位置,并根据该所指定的位置输出位置信息;及数据保存装置,根据上述位置信息和上述图象识别信息,保存与由上述位置指定装置指定的上述图象有关的相关数据;并且,将与由上述位置指定装置指定的上述图象有关的相关数据输出到上述显示装置。因此,无须对动图象的每个图象帧判别设置在图象中的图标的位置,同时不需要将所有的图象数字化后输入计算机,因此,能够抑制需管理和保存的信息量。

Description

信息检索系统及信息处理系统

技术领域

本发明涉及可以根据来自输入部的指示以动图象中的规定图象为对象检索与该规定图象有关的相关信息的系统。

背景技术

作为从动图象检索相关信息的基于图象的信息检索系统及根据动图象执行相关处理的基于图象的信息处理系统的例，有特开平6-22124号公报中公开的系统，该系统示于图24。该图24是表示现有的信息检索系统及信息处理系统的结构的方框图。

在图24中，10是系统时间管理部，用于进行系统的时间管理。11是动图象调度管理部，与系统时间管理部10连接。该动图象调度管理部11，用于管理与动图象开始时间Ts、起始帧编号Fs及帧显示速度Tf有关的信息。12是用作输入指示装置的鼠标。13是输入指示信息输出部，与系统时间管理部10及鼠标12连接。该输入指示信息输出部13，根据鼠标12的指示输出其所指示的指示坐标(Xi、Yi)及指示时间Ti等的信息。14是相关帧检测部，与动图象调度管理部11及输入指示信息输出部13连接。该相关帧检测部14，根据从动图象调度管理部11输出的与动图象开始时间Ts、起始帧编号Fs及帧显示速度Tf有关的信息、以及从输入指示信息输出部13输出的与指示时间Ti有关的信息，求取相关的帧编号Fi。15是图标信息管理部，与相关帧检测部14连接。该图标信息管理部15，根据从相关帧检测部14输出的帧编号Fi，保存每个帧的图标配置信息和图标处理信息。16是图标形成部，与图标信息管理部15连接。17是相关图标检测部，与输入指示信息输出部13及图标形成部16连接。该相关图标检测部17，根据从输入指示信息输出部13输出的与指示坐标(Xi、Yi)有关的信息、从图标信息管理部15输出并通过图标形成部16输入的相关帧内的图标配置信息，检测由鼠标12指定的图标。当该相关图标检测部17检测规定的图标时，该相关图标检测部17，输出与分配给所检出图标的规定的处理管理编号Oi有关的信息。18是处理部，与图标形成部16连接。该处理部18，根据由相关图标检测部17检测并通过图标形成部16输入的处理管理编号Oi，进行与该图标对应的处理。

其次，说明图24所示的现有信息检索系统及信息处理系统的动作。首先，开始动图象的动作。于是，动图象调度管理部11，将由系统时间管理部10通知的系统时间作为开始时间Ts输出到相关帧检测部14。同时，动图象调度管理部11，还将与动作开始后的动图象的动图象起始帧编号Fs及该动图象的帧显示速度Tf有关的信息向相关帧检测部14输出。接着，当该现有的信息检索系统及信息处理系统的用户用鼠标12指定动图象的某一点时，与由该鼠标12指定的指示坐标(Xi、Yi)有关的信息，从鼠标12输出到输入指示信息输出部13。输入了与由该鼠标12指定的指示坐标(Xi、Yi)有关的信息的输入指示信息输出部13，将输入了与指示坐标(Xi、Yi)有关的信息的时刻的系统时间作为指示时间Ti并将与该指示时间Ti有关的信息通知相关帧检测部14。而对输入指示信息输出部13通知的系统时间，是从系统时间管理部10通知的。此外，输入到输入指示信息输出部13的与指示坐标(Xi、Yi)有关的信息，输出到相关图标检测部17。输入了与指示时间Ti有关的信息的相关帧检测部14，根据与指示时间Ti、开始时间Ts、起始帧编号Fs及帧显示速度Tf有关的信息、检测由鼠标12指定的该帧编号Fi。与由该相关帧检测部14检出的帧编号Fi有关的信息，输出到图标信息管理部15。输入了与该帧编号Fi有关的信息的图标信息管理部15，根据与所输入的帧编号Fi有关信息，决定由鼠标12指示的图标配置信息及图标处理信息，并输出到图标形成部16。图标配置信息具有使图标的配置坐标与分配给该图标的图标编号彼此相关的结构。而图标处理信息具有使图标编号与用于指定由该相关图标编号的图标指示的处理种类的处理管理编号Oi彼此相关的结构。输入了从图标信息管理部15输出的图标配置信息及图标处理信息的图标形成部16，将该图标配置信息输出到相关图标检测部17。通过输入指示信息输出部13输入了与由鼠标12指定的指示坐标(Xi、Yi)有关的信息并通过图标形成部16输入了从图标信息管理部15输出的图标配置信息的相关图标检测部17，根据这些信息，检测该图标编号并将与该图标编号有关的信息输出到图标形成部16。输入了与由相关图标检测部17检出的图标编号有关的信息的图标形成部16，参照所输入的从图标信息管理部15输出的图标处理信息，检测用于指定由该图标编号的图标指示的处理种类的处理管理编号Oi，并将与该相关的处理管理编号Oi有关的信息输出到处理部18。处理部18，根据从图标形成部16输入的与处理管理编号Oi有关的信息，进行规定的处理。

如上所述，在现有的信息检索系统及信息处理系统中，由于对动图象的每个图象帧判别设置在图象中的图标的位置，所以必须将所有的图象数字化后输入计算机。因此，在上述的现有信息检索系统及信息处理系统中，存在着为从电视广播、卫星广播或录像等实时图象判别任意的图象帧并根据其所判定的图标执行实时处理因而必须以非常高的处理速度将实时图象信息输入计算机的问题。

另外，在上述的现有信息检索系统及信息处理系统中，必须按所有的每个图象帧管理与设置在图象中的图标有关的信息，因而存在着其管理和保存的信息量过于庞大的问题。

发明的公开

本发明是为解决上述的问题而开发的，其目的是提供一种能够抑制所管理的信息量并使系统总体结构简化的信息检索系统及信息处理系统。

为达到上述目的，本发明的信息检索系统，具有：发送装置，输出图象信息和用于通知图象信息种类的图象识别信息；显示装置，根据图象信息输出图象；位置指定装置，用于指定由显示装置输出的图象的任意位置，并根据该所指定的位置输出位置信息；及数据保存装置，根据位置信息和图象识别信息，保存与由位置指定装置指定的图象有关的相关数据；并且，将与由位置指定装置指定的图象有关的相关数据输出到显示装置。

另外，本发明的信息检索系统，具有：发送装置，输出图象信息、用于通知图象信息种类的切换的图象识别信息、及与图象识别信息通知切换后的经过时间有关的时间信息；显示装置，根据图象信息输出图象；位置指定装置，用于指定由显示装置输出的图象的任意位置，并根据该所指定的位置输出位置信息；及数据保存装置，根据位置信息、图象识别信息和时间信息，保存与由位置指定装置指定的图象有关的相关数据；并且，将与由位置指定装置指定的图象有关的相关数据输出到显示装置。

进一步，本发明的信息检索系统，具有：发送装置，输出图象信息、用于通知图象信息种类的图象识别信息、及用于通知在输出与图象识别信息有关的图象信息的期间是否有中断插入的中断信息的指定区域信息；显示装置，根据图象信息输出图象；位置指定装置，用于指定由显示装置输出的图象的任意位置，并根据该所指定的位置输出位置信息；及数据保存装置，根据位置信息、图象识别信息和指定区域信息，保存与由位置指定装置指定的图象有关的相关数据；并且，将与由位置指定装置指定的图象有关的相关数据输出到显示装置。

本发明的信息处理系统，具有：发送装置，输出图象信息和用于通知图象信息种类的图象识别信息；显示装置，根据图象信息输出图象；位置指定装置，用于指定由显示装置输出的图象的任意位置并根据该所指定的位置输出位置信息；及处理执行装置，根据位置信息和图象识别信息，执行与由位置指定装置指定的图象有关的相关处理。

另外，本发明的信息处理系统，具有：发送装置，输出图象信息、用于通知图象信息种类的切换的图象识别信息、及与图象识别信息通知切换后的经过时间有关的时间信息；显示装置，根据图象信息输出图象；位置指定装置，用于指定由显示装置输出的图象的任意位置，并根据该所指定的位置输出位置信息；及处理执行装置，根据位置信息、图象识别信息和时间信息，执行与由位置指定装置指定的图象有关的相关处理。

进一步，本发明的信息处理系统，具有：发送装置，输出图象信息、用于通知图象信息种类的图象识别信息、及通知在输出与图象识别信息有关的图象信息的期间是否有中断插入的中断信息的指定区域信息；显示装置，根据图象信息输出图象；位置指定装置，用于指定由显示装置输出的图象的任意位置并根据该所指定的位置输出位置信息；及处理执行装置，根据位置信息、图象识别信息和指定区域信息，执行与由位置指定装置指定的图象有关的相关处理。

本发明的信息检索系统或信息处理系统，对从发送装置输出的图象信息，设有控制其输出方法的控制装置。

附图的简单说明

图1是本发明实施例1的结构图。

图2是本发明实施例1的图象和通知的关系。

图3是本发明实施例1的相关数据的保存形式。

图4是本发明实施例2的结构图。

图5是本发明实施例2的图象和通知的关系。

图6是本发明实施例2的相关数据的保存形式。

图7是本发明实施例3的结构图。

图8是本发明实施例3的图象和通知的关系。

图9是本发明实施例3的相关数据的保存形式。

图10是本发明实施例4的结构图。

图11是本发明实施例5的结构图。

图12是本发明实施例5的图象和通知的关系。

图13是本发明实施例6的结构图。

图14是本发明实施例6的图象和通知的关系。

图15是本发明实施例7的结构图。

图16是本发明实施例7的处理内容的保存形式。

图17是本发明实施例8的结构图。

图18是本发明实施例8的处理内容的保存形式。

图19是本发明实施例9的结构图。

图20是本发明实施例9的处理内容的保存形式。

图21是本发明实施例10的结构图。

图22是本发明实施例11的结构图。

图23是本发明实施例12的结构图。

图24是现有技术的结构图。

实施发明的最佳形态

以下，对本发明的实施例作如下说明。

实施例1

用图1说明本发明的基于图象的信息检索系统的一实施例。该图1是表示实施例1的信息检索系统的结构的方框图。在图1中，20是图象声音发送装置，例如，像电视台或通信卫星那样，以实时方式输出与图象和声音有关的信息。21是图象声音信息、即与从图象声音发送装置20输出的图象和声音有关的信息。22是图象识别信息、即从图象声音发送装置20输出并用于识别从图象声音发送装置20输出的图象声音信息21的种类的信息。23是图象开始通知装置，与图象声音发送装置20连接。该图象开始通知装置23，与图象声音发送装置20联动，在从图象声音发送装置20输出图象识别信息22的同时，输出图象开始信号24，用于通知开始新的图象输出。25是时间测量装置，与图象开始通知装置23连接。该时间测量装置25，根据从图象开始通知装置23输出的图象开始信号24，开始时间的测量，并根据其所测定的时间输出时间信息26。而时间信息26也可以从与图象开始信号24不同的任意时刻开始时间的测量。27是显示装置，与图象声音发送装置20连接。该显示装置27，例如，像电视机那样，根据从图象声音发送装置20输出的图象声音信息21显示图象并输出声音。28是位置指定装置，例如，像计算机的鼠标或触摸屏那样，通过使用该位置指定装置28，使本系统的用户可以指定显示装置上所显示的任意对象物。通过使用位置指定装置28指定显示画面2上的任意对象物，位置指定装置28输出与所指定的对象物的位置(X、Y)有关的位置信息29。30是终端，连接于图象声音发送装置20、时间测量装置25、位置指定装置28、及显示装置27。该终端30，根据所输入的图象识别信息22、时间信息26、及位置信息29，输出使这些信息彼此相关的图象指定信息31。32是数据检索装置，与终端30连接。该数据检索装置32，具有使图象种类、由位置指定装置28指定的时间、及与由位置指定装置28指定的位置有关的信息彼此相关并使这些信息与相关数据的种类相关联的表。并且，将使图象识别信息22、时间信息26及位置信息29彼此相关的图象指定信息31输入到该数据检索装置32。数据检索装置32，根据上述规定的表和所输入的图象指定信息31，输出指令进行该相关数据的检索的数据请求33。34是数据保存装置，与数据检索装置32连接。在该数据保存装置34内保存多种相关数据。并且，数据保存装置34，根据所输入的数据请求33，检索规定的相关数据。该检索所得到的相关数据35，通过数据检索装置32输出到终端30。输入到终端30的相关数据35，由该终端30变换后，作为数据图象信息输出到显示装置27。36是发送系统，由图象声音发送装置20、图象开始通知装置23、及时间测量装置25构成。37是接收系统，由显示装置27、位置指定装置28、及终端30构成。38是记录系统，由数据检索装置32及数据保存装置构成。

另外，当由显示装置27根据所输入的图象声音信息21输出图象时，以该图象声音信息21为依据的图象的显示位置，显示在一定的位置上而与显示装置27的情况无关。

在本实施例1的信息检索系统中，也可以使多个接收系统37与一个发送系统36相对应。在这种情况下，发送系统36的图象声音发送装置20，将图象声音信息21输出到多个接收系统37的各显示装置27。此外，发送系统36的图象声音发送装置20，还将图象识别信息22输出到多个接收系统37的各个终端30。进一步，发送系统36的时间测量装置25，将时间信息26输出到多个接收系统37的各个终端30。

另外，在本实施例1的信息检索系统中，也可以使一个记录系统38与多个接收系统37相对应。在这种情况下，从多个接收系统37的终端30输出的图象指定信息31，由记录系统38的数据检索装置32处理，并将所需的相关数据35输出到该终端30。该记录系统38，既可以设在因特网等网络上，也可以与某个终端30或显示装置27等设置在同一场所。

作为相关数据35，可以举出图象数据、声音数据或字符数据等。

另外，保存在数据保存装置34内的该相关数据35，在从图象声音发送装置20输出相关的图象声音信息21之前的期间，根据该图象声音信息21生成。

所谓该图象声音信息21，是将多个部分图象连续地连接的信息，所谓该部分图象，指的是内容不同且其输出所需时间从几秒到几小时左右的图象信息。

所谓图象识别信息22，是用于识别该部分图象的信息，

上述图象声音信息21、图象识别信息22、及图象开始信号24，从图象声音发送装置20或图象开始通知装置23同时输出，并以电波或电信号的形式进行发送。

以下，用图2说明本实施例1的信息检索系统中的图象声音信息21、图象识别信息22、及以图象开始信号24为依据的时间信息26之间的相关性。图2是表示本实施例1的信息检索系统中的图象声音信息21、图象识别信息22、及以图象开始信号24为依据的时间信息26之间的相关性的概念图。在图2中，图象A、图象B、及图象C，是部分图象，该图象A～图象C，连续地连接而构成图象声音信息21。当从图象声音发送装置20开始分别输出该图象A～图象C时，从图象声音发送装置20输出与各图象A～图象C有关的图象识别信息22，同时从与图象声音发送装置20联动的图象开始通知装置23输出图象开始信号24。

根据从该图象开始通知装置23输出的图象开始信号24，将时间信息26从时间测量装置25输出到终端30。每当输出图象开始信号24时，该时间信息26复位，T1～T4，是在根据图象A输出图象开始信号24的同时开始测量的与图象A有关的相对时间，T5～T6，是在根据图象B输出图象开始信号24的同时开始测量的与图象B有关的相对时间。

以下，用图3说明本实施例1的信息检索系统的数据检索装置32所具有的表。图3是本实施例1的信息检索系统的数据检索装置32具有的表的概念图。在图3中，在数据检索装置32所具有的表内，以彼此相关的形式记录着构成图象声音信息21的部分图象的种类、开始从图象声音发送装置20输出与该部分图象有关的信息后所经过的该经过时间、与开始从图象声音发送装置20输出与该部分图象有关的信息后经过了规定的经过时间时出现的图标的位置有关的位置信息、及通过指定该相关的图标而输出的相关数据的种类。记录在数据检索装置32所具有的表内的与图标位置有关的位置信息，由将显示装置27的屏面看作X-Y坐标平面后的该平面上的任意2点的X-Y坐标指定。并且，以该2点的X-Y坐标为对角线的长方形，即为该图标的设置位置。另外，也可以用表示直线或曲线的数学式指定该图标的区域。此外，也可以将画面看作点的集合，并由该集合的补集指定该图标的区域。另外，假定记录在表内的任意点的X-Y坐标与显示装置27的屏面上的X-Y坐标相对应。此外，也可以包含任意部分图象的种类、该部分图象的经过时间所对应的与多个不同图标的位置有关的位置信息及由该相关的图标指定的相关数据。另外，没有必要对所有部分图象、或输出部分图象的全部时间、或输出着部分图象的显示装置27的所有位置设置用于输出相关数据的图标。

以下，说明本实施例1的信息检索系统的动作。

首先，从图象声音发送装置20输出图象声音信息21。

然后，该图象声音发送装置20，将图象声音信息21连续地输出到显示装置27。该显示装置27，根据所输入的图象声音信息21显示图象。此外，图象声音发送装置20，将用于识别与构成图象声音信息21的部分图象有关的信息的分割的图象识别信息22输出到终端30。输入到终端30的图象识别信息22由终端30保存。图象开始通知装置23，与图象声音发送装置20联动地动作，并在开始发送与图象声音信息21所具有的某个部分图象有关的信息的时刻，将图象开始信号24输出到时间测量装置25。输入了图象开始信号24的时间测量装置25，在输入图象开始信号24的同时开始时间的测量，并将指示该时间测量开始后的经过时间的时间信息26定时地向终端30输出。接着，为了检索对显示装置27输出的与任意图象有关的信息，用与终端30连接的位置指定装置28指定由显示装置27显示的所需的图象的任意点。而所谓的由位置指定装置28指定的所需的图象的任意点，指的是在显示装置27的画面上显示出的对象物、字符或图形等的某一点。位置指定装置28，将对由显示装置27显示的对象物等指定的任意点的X-Y坐标作为位置信息29输出到终端30。输入了位置信息29的终端30，使该位置信息29、与输入该位置信息29的时刻的时间有关的时间信息26、用于识别在输入了该位置信息的时刻对显示装置27输出着的图象的种类的图象识别信息22彼此相关，并作为图象指定信息31输出到数据检索装置32。

然后，该数据检索装置32，参照该数据检索装置32所具有的规定的表及所输入的图象指定信息31。作为该参照的结果，数据检索装置32将指令输出有关的相关数据的数据请求33输出到数据保存装置34。

该数据保存装置34，根据所输入的数据请求33输出该相关数据35。当数据保存装置34内没有与该数据请求33对应的该相关数据35时，将内容为没有该相关数据35的信息作为相关数据35输出。从数据保存装置34输出的相关数据35，经过数据检索装置32输出到终端30。终端30，将所输入的的相关数据35变换为可以输出到显示装置27的数据图象信息后，输出到显示装置27。输入了该数据图象信息的显示装置27，根据所输入的数据图象信息，将与该相关数据35有关的信息显示在显示装置27的一部分或全部屏面上。另外，由位置指定装置28指定的点数，可以是2点以上而不仅仅是1点。即使由该位置指定装置28指定多点，也仍可以进行同样的检索处理。

如上所述，在本实施例的基于图象的信息检索系统中，通过由位置指定装置28指定由显示装置27显示出的任意对象物的任意点，检索有关的相关数据。另外，本系统，根据由该位置指定装置28指定的显示装置27的X-Y坐标即位置信息29、及与进行了该位置指定的时刻有关的时间信息26，检索并输出该相关数据。就是说，在现有的系统中，根据任意的时间指定，从多个帧中指定特定的帧，通过指定使该特定帧与上述时间指定相关联的坐标，检测在特定帧中设定的与该相关数据的输出有关的信息，并输出该有关的相关数据，但在本系统中，仅根据任意的时间指定及与该时间指定有关的显示装置27的坐标指定输出该相关数据。

因此，本系统，可以不需要具有与图象有关的所有的帧信息，就是说，无需保存数量巨大的信息，因而能使数据检索装置32及系统整体小型化。此外，在本系统中，不需要设置用于检测特定帧的运算处理装置，因而易于实现系统整体的小型化。进一步，在本系统中，不需要进行用于检测特定帧的运算处理，因而很容易缩短在输出有关的相关数据之前所需的时间。此外，在本系统中，以规定的范围将任意的时间指定及与该时间指定有关的显示装置27的坐标指定设定在数据检索装置32的表内，所以不需要像现有系统那样具有输出在与输出图象有关的所有帧中分别设定的相关数据用的信息，就是说，无需保存数量庞大的信息，因而能使数据检索装置32的表和/或数据检索装置32简单化。

另外，由于从本系统的发送系统36以彼此相关的形式输出图象声音信息21和时间信息处理26，所以即使由设置场所不同的多个接收系统37接收从一个发送系统36输出的图象声音信息21和时间信息处理26，也可以由所有的接收系统37获得与任意图象对应的同样的相关信息。假如从发送系统36输出图象声音信息21且由接收从发送系统36输出的图象声音信息21的多个接收系统37分别计算时间信息26并使从发送系统36开始输出图象声音信息21的时刻与由接收系统37开始测定时间信息26的时刻为同一时刻，则各接收系统37将因其设置位置而在图象声音信息21的输入时间上产生延迟，因而存在着由各接收系统37对同一图象得到不同的与该图象有关的相关信息的可能性。

实施例2

用图4说明本发明的基于图象的信息检索系统的另一实施例。该图4是表示实施例2的信息检索系统的结构的方框图。在实施例2中，发送系统36，由图象声音发送装置20构成。此外，在图4中，对与图1所示的实施例1相同或相当的部分标以同一符号而将其说明省略。以下，用图5说明本实施例2的信息检索系统中的图象声音信息21与图象识别信息22之间的相关性。

图5是表示本实施例2的信息检索系统中的图象声音信息21与图象识别信息22之间的相关性的概念图。

在图5中，图象A、图象B、及图象C，是部分图象，该图象A～图象C，连续地连接而构成图象声音信息21。当从图象声音发送装置20开始分别输出该图象A～图象C时，从图象声音发送装置20输出与各图象A～图象C对应的图象识别信息22。

以下，用图6说明本实施例2的信息检索系统的数据检索装置32所具有的表。图6是本实施例2的信息检索系统的数据检索装置32具有的表的概念图。在图6中，在数据检索装置32所具有的表内，以彼此相关的形式记录着构成图象声音信息21的部分图象的种类、与在输出该部分图象的时刻出现的图标的位置有关的位置信息、及通过指定该相关的图标而输出的相关数据的种类。

以下，说明本实施例2的信息检索系统的动作。

首先，从图象声音发送装置20输出图象声音信息21。

然后，该图象声音发送装置20，将图象声音信息21连续地输出到显示装置27。该显示装置27，根据所输入的图象声音信息21显示图象。此外，图象声音发送装置20，将用于识别与构成图象声音信息21的部分图象有关的信息的分割的图象识别信息22输出到终端30。输入到终端30的图象识别信息22由终端30保存。

图象声音发送装置20，在开始发送部分图象或与部分图象有关的信息的时刻，将图象识别信息22输出到终端30。在终端30中记录所输入的图象识别信息22，并且，每当输入新的图象识别信息22时，将其记录更新。

接着，为了检索对显示装置27输出的与任意图象有关的信息，用与终端30连接的位置指定装置28指定由显示装置27显示的所需的图象的任意点。而所谓的由位置指定装置28指定的所需的图象的任意点，指的是在显示装置27的屏面上所显示出的对象物、字符或图形等的某一点。

位置指定装置28，将对由显示装置27显示的对象物等指定的任意点的X-Y坐标作为位置信息29输出到终端1。

输入了位置信息29的终端30，使该位置信息29、用于识别在输入了该位置信息的时刻对显示装置27输出着的图象的种类的图象识别信息22彼此相关，并作为图象指定信息31输出到数据检索装置32。

另外，在实施例2的信息检索系统的动作中，从由终端30输出图象指定信息31直到将相关的数据图象信息输出到显示装置27的动作，与实施例1相同，所以将其说明省略，只说明了与实施例1的信息检索系统的动作不同的部分。

如上所述，在本实施例的基于图象的信息检索系统中，检测对显示装置27输出着的部分图象的种类，例如是棒球比赛转播还是播放广告，并根据该相关的部分图象的位置信息29检索相关数据35或数据图象信息，所以，即使该部分图象的持续时间可变，信息检索系统也可以精确地检索相关数据35，并能将相关的数据图象信息精确地输出到显示装置27。

实施例3

用图7说明本发明的基于图象的信息检索系统的另一实施例。该图7是表示实施例3的信息检索系统的结构的方框图。

在图7中，40是指定区域通知装置，与图象声音发送装置20连接。该指定区域通知装置40，与图象声音发送装置20联动，并在从图象声音发送装置20输出图象识别信息22的同时，输出与该图象识别信息22的变化对应的指定区域信息41，并将图象区域的切换通知终端30。

例如，从棒球比赛转播改为插播广告时，从指定区域通知装置40输出指定区域信息41，而终端30通过输入该指定区域信息41检测到从棒球比赛转播切换到播放广告。

另外，在实施例3中，发送系统36，由图象声音发送装置20及指定区域通知装置40构成。在图4中，对与图1所示的实施例1相同或相当的部分标以同一符号而将其说明省略。以下，用图8说明本实施例3的信息检索系统中的图象声音信息21、图象识别信息22、及指定区域信息41之间的相关性。图8是表示本实施例3的信息检索系统中的图象声音信息21、图象识别信息22、及指定区域信息41之间的相关性的概念图。

在图8中，图象A、图象B、及图象C，是部分图象，该图象A～图象C，连续地连接而构成图象声音信息21。

另外，当从图象声音发送装置20开始分别输出该图象A～图象C时，从图象声音发送装置20输出与各图象A～图象C对应的图象识别信息22。并且，当从图象声音发送装置20输出插入任意部分图象内的指定区域时，从与图象声音发送装置20联动的指定区域通知装置40输出与该指定区域有关的指定区域信息41。

此外，对任意部分图象可以插入指定区域也可以不插入指定区域，而当插入时，可以插入一个也可以插入多个指定区域。与之对应地，指定区域信息41，有时可以在任意部分图象之间输出，也可以不输出，在某些情况下可以输出一个，也可以输出多个。

在图8中，示出当开始输出指定区域A1的图象A时从指定区域通知装置40输出指定区域信息A1、当开始输出指定区域A2的图象A时从指定区域通知装置40输出指定区域信息A2、当开始输出指定区域A3的图象B时从指定区域通知装置40输出指定区域信息A3的例。当指定区域A1的图象A、指定区域A2的图象A、及指定区域A3的图象B分别结束其输出时，从指定区域通知装置40输出旨在通知各指定区域的输出结束的指定区域信息「非区域」。

以下，用图9说明本实施例3的信息检索系统的数据检索装置32所具有的表。图9是本实施例3的信息检索系统的数据检索装置32具有的表的概念图。

在图9中，在数据检索装置32所具有的表内，以彼此相关的形式记录着构成图象声音信息21的部分图象的种类、与在输出该部分图象或指定区域信息的时刻出现的图标的位置有关的位置信息、及通过指定该相关的图标而输出的相关数据的种类。

以下，说明本实施例3的信息检索系统的动作。

首先，从图象声音发送装置20输出图象声音信息21。然后，该图象声音发送装置20，将图象声音信息21连续地输出到显示装置27。该显示装置27，根据所输入的图象声音信息21显示图象。此外，图象声音发送装置20，将用于识别与构成图象声音信息21的部分图象有关的信息的分割的图象识别信息22输出到终端30。输入到终端30的图象识别信息22由终端30保存。指定区域通知装置40，与图象声音发送装置20联动地动作，并在开始发送与部分图象的某个指定区域有关的信息的时刻将指定区域信息41输出到终端30。此外，在结束发送与部分图象的某个指定区域有关的信息的时刻，也将指定区域信息41输出到终端30。在终端30中记录所输入的指定区域信息41，并且，每当输入新的指定区域信息41时，将其记录更新。

接着，为了检索对显示装置27输出的与任意图象有关的信息，用与终端30连接的位置指定装置28指定由显示装置27显示的所需的图象的任意点。而所谓的由位置指定装置28指定的所需的图象的任意点，指的是在显示装置27的画面上所显示出的对象物、字符或图形等的某一点。位置指定装置28，将对由显示装置27显示的对象物等指定的任意点的X-Y坐标作为位置信息29输出到终端1。输入了位置信息29的终端30，使该位置信息29、与输入该位置信息29的时刻的部分图象的某个指定区域有关的指定区域信息41、用于识别在输入了该位置信息的时刻对显示装置27输出着的图象种类的图象识别信息22彼此相关，并作为图象指定信息31输出到数据检索装置32。

另外，在实施例2的信息检索系统的动作中，从由终端30输出图象指定信息31直到将相关的数据图象信息输出到显示装置27的动作，与实施例1相同，所以将其说明省略，只说明了与实施例1的信息检索系统的动作不同的部分。

如上所述，在本实施例的基于图象的信息检索系统中，检测对显示装置27输出着的指定区域，例如棒球比赛转播中插播的广告，并根据该相关的指定区域的位置信息29检索相关数据35或数据图象信息，所以，即使该部分图象的持续时间可变，信息检索系统也可以精确地检索相关数据35，并能将相关的数据图象信息精确地输出到显示装置27。

实施例4

用图10说明本发明的基于图象的信息检索系统的另一实施例。该图10是表示实施例4的信息检索系统的结构的方框图。

在图10中，42是录像带或光盘等图象声音保存装置。在该图象声音保存装置42上，记录着图象信息或声音信息之类的图象声音信息。43是录像机或光盘机等图象声音再生装置。该图象声音再生装置43，读出记录在图象声音保存装置42上的图象声音信息21，根据所读出的该图象声音信息21对图象或声音进行再生并输出到显示装置27。此外，该图象声音再生装置43，还将用于识别构成图象声音信息21的各部分图象的图象识别信息22输出到终端30。从图象声音再生装置43向终端30输出的图象识别信息22，与图象声音信息21一起从图象声音保存装置42读出并进行再生。44是再生控制装置，用于对由图象声音再生装置43从图象声音保存装置42读出的图象声音信息21的再生、快进、快退、暂停等各种状态进行控制。再生控制装置44，向图象声音再生装置43输出控制信息45，用以进行图象声音信息21的再生、快进、快退、暂停等的控制。另外，再生控制装置44，还将控制信息45输出到时间测量装置25，用以控制与图象声音再生装置43中的图象声音信息21的控制有关的时间信息26。该时间测量装置25，可以根据从再生控制装置44输出的控制信息45进行时间测量的复位、暂停、重新开始、快进、快退，并相应地使时间测量的快进和快退速度与图象声音再生装置43的快进和快退速度一致。

另外，在实施例4中，发送系统36，由图象声音保存装置42、图象声音再生装置43、再生控制装置44、及时间测量装置25构成。在图10中，对与图1所示的实施例1相同或相当的部分标以同一符号而将其说明省略，只说明了与图1不同的部分。此外，本实施例4的信息检索系统中的图象声音信息21、图象识别信息22、及时间信息26之间的相关性，与图2所示的实施例1相同，所以将其说明省略。另外，本实施例4的信息检索系统中的数据检索装置32所具有的表，与图3所示的实施例1相同，所以将其说明省略。

以下，说明本实施例4的信息检索系统的动作。

首先，从再生控制装置44向图象声音再生装置43输出与图象的再生开始等有关的控制信息45。输入了控制信息45的图象声音再生装置43，根据所输入的控制信息45，从图象声音保存装置42读出图象声音信息21及图象识别信息22。

输入了图象声音信息21及图象识别信息22的图象声音再生装置43，将所输入的图象声音信息21变换为可用于在显示装置27上再生的信息后，输出到显示装置27，同时将一起输入的图象识别信息22输出到终端30。输出到终端30的图象识别信息22，保存在终端30内。输入了图象声音信息21的显示装置27，根据所输入的图象声音信息21输出图象和声音。在从再生控制装置44向图象声音再生装置43输出控制信息45的同时，再生控制装置44还将控制信息45输出到时间测量装置25。

然后，输入了控制信息6的时间测量装置25，根据所输入的控制信息6进行与时间测量有关的处理。由该时间测量装置25得到的时间信息26，定时地向终端30输出。当从再生控制装置44向图象声音再生装置43输出了旨在将图象声音信息21的输出暂停的控制信息45时，输入了该控制信息45的图象声音再生装置43，将对显示装置27的图象声音信息21的输出、例如再生暂停。在从再生控制装置44向图象声音再生装置43输出这种控制信息6的同时，还从再生控制装置44向时间测量装置25输出。输入了这种控制信息6的时间测量装置25，根据所输入的控制信息6，将到此为止所执行的时间测量处理暂停。而当从再生控制装置44向图象声音再生装置43输出了旨在将暂停解除并重新开始对显示装置27输出图象声音信息21的控制信息45时，输入了该控制信息45的图象声音再生装置43，使已暂停的对显示装置27的图象声音信息21的输出重新开始。在从再生控制装置44向图象声音再生装置43输出这种控制信息6的同时，还从再生控制装置44向时间测量装置25输出。输入了这种控制信息6的时间测量装置25，根据所输入的控制信息6，使此前已暂停的时间测量处理重新开始。进一步，当从再生控制装置44向图象声音再生装置43输出了旨在使图象声音信息21的输出执行快进动作的控制信息45时，输入了该控制信息45的图象声音再生装置43，使对显示装置27的图象声音信息21的输出执行快进动作。在从再生控制装置44向图象声音再生装置43输出这种控制信息6的同时，还从再生控制装置44向时间测量装置25输出。输入了这种控制信息6的时间测量装置25，根据所输入的控制信息6，使到此为止所执行的时间测量处理按照图象声音信息21的快进速度执行快进动作。而当从再生控制装置44向图象声音再生装置43输出了旨在使图象声音信息21的输出执行快退动作的控制信息45时，输入了该控制信息45的图象声音再生装置43，使对显示装置27的图象声音信息21的输出执行快退动作。在从再生控制装置44向图象声音再生装置43输出这种控制信息6的同时，还从再生控制装置44向时间测量装置25输出。输入了这种控制信息6的时间测量装置25，根据所输入的控制信息6，使到此为止所执行的时间测量处理按照图象声音信息21的快退速度执行快退动作。

另外，使图象声音信息21与图象识别信息22彼此相关，并根据图象声音信息21的再生、暂停、暂停解除、快进、快退等的控制，进行图象识别信息22的输出。此外，在本实施例的信息检索系统的动作中，从对输出到显示装置27的与任意图象有关的信息的检索直到将所得到的信息输出到显示装置27的动作，与实施例1相同，所以将其说明省略，只说明了与实施例1的信息检索系统的动作不同的部分。

如上所述，在本实施例的基于图象的信息检索系统中，使记录在录像带或光盘等图象声音保存装置42上的图象声音信息21的再生、快进、快退等的处理速度与时间测量装置25的时间测量处理彼此相关，所以，能够抑制与图象声音信息21有关的图象识别信息22和与通过时间测量装置25的时间测量处理得到的时间信息26有关的相关数据之间的相关关系的偏差，因而能实现可靠性高的系统。

另外，在本系统中，对从发送装置输出的图象信息，设有控制其输出方法的控制装置。因而可以自由地对从发送装置输出的信息进行控制，所以能实现不仅对发送实时信息的系统而且对发送记录在VTR或光盘之类的记录媒体上的信息的系统都能适用的通用性宽的系统。

实施例5

用图11说明本发明的基于图象的信息检索系统的另一实施例。该图11是表示实施例5的信息检索系统的结构的方框图。在实施例5中，发送系统36，由图象声音保存装置42、图象声音再生装置43、及再生控制装置44构成。此外，在图11中，对与图1所示的实施例1或图10所示的实施例4相同或相当的部分标以同一符号而将其说明省略。只说明了与图1或图10不同的部分。

以下，用图12说明本实施例5的信息检索系统中的图象声音信息21与图象识别信息22之间的相关性。图12是表示本实施例5的信息检索系统中的图象声音信息21与图象识别信息22之间的相关性的概念图。在图12中，识别部分图象A～部分图象C的图象识别信息22，在开始该部分图象输出的开头位置及结束该部分图象输出的末尾位置，从图象声音再生装置43向终端30输出。

另外，在图12中，对与图10所示实施例4相同或相当的部分标以同一符号而将其说明省略。只说明了与图10不同的部分。另外，本实施例5的信息检索系统中的数据检索装置32所具有的表，与图6所示的实施例2相同，所以将其说明省略。

以下，说明本实施例5的信息检索系统的动作。

首先，从再生控制装置44向图象声音再生装置43输出与图象的再生开始等有关的控制信息45。输入了控制信息45的图象声音再生装置43，根据所输入的控制信息45，从图象声音保存装置42读出图象声音信息21及图象识别信息22。

输入了图象声音信息21及图象识别信息22的图象声音再生装置43，将所输入的图象声音信息21变换为可用于在显示装置27上再生的信息后，输出到显示装置27，同时将一起输入的图象识别信息22输出到终端30。输出到终端30的图象识别信息22，保存在终端30内。在由图象声音再生装置43进行的图象声音信息21的再生、或快进的过程中，当检测到与某个部分图象的开头有关的图象识别信息22时，将与检测到其开头的部分图象有关的图象识别信息22通知终端30并记录在终端30内。

另外，在由图象声音再生装置43进行的图象声音信息21的快退的过程中，当检测到与某个部分图象的末尾有关的图象识别信息22时，将与检测到其末尾的部分图象有关的图象识别信息22通知终端30并记录在终端30内。输入了图象声音信息21的显示装置27，根据所输入的图象声音信息21输出图象和声音。

当从再生控制装置44向图象声音再生装置43输出了旨在将图象声音信息21的输出暂停的控制信息45时，输入了该控制信息45的图象声音再生装置43，将从图象声音保存装置42的图象声音信息21的读入暂停。随着该图象声音信息21的读入的暂停，图象识别信息22的读入也暂停，所以保存在终端30内的图象识别信息22维持原有的状态。对于暂停解除、快进、快退的控制信息45，与该暂停的控制信息45一样，也是一边使图象声音信息21与图象识别信息22彼此之间具有相关性一边进行处理，所以将其说明省略。此外，在实施例5的信息检索系统的动作中，从对输出到显示装置27的与任意图象有关的信息的检索直到将所得到的信息输出到显示装置27的动作，与实施例4相同，所以将其说明省略，只说明了与实施例4的信息检索系统的动作不同的部分。

如上所述，在本实施例的基于图象的信息检索系统中，可以在构成图象声音信息21的各部分图象的开头和末尾检测与部分图象有关的图象识别信息22，所以，即使在使图象声音信息21快进或快退后进行输出，也能可靠地捕获相关的部分图象，因而可以实现能够抑制图象识别信息22与相关数据之间的相关关系偏差的可靠性高的系统。

实施例6

用图13说明本发明的基于图象的信息检索系统的另一实施例。该图13是表示实施例6的信息检索系统的结构的方框图。

在图13中，在图象声音区域保存装置46内，记录着图象声音信息21、图象识别信息22、及指定区域信息41。而图象声音信息21、图象识别信息22、及指定区域信息41，以彼此相关的形式进行记录。并且，图象声音区域再生装置47，将从图象声音区域保存装置46读出的图象声音信息21、图象识别信息22及指定区域信息41输出到显示装置27或终端30。此外，在图12中，对与图7所示的实施例3或图11所示的实施例5相同或相当的部分标以同一符号而将其说明省略。只说明了与图1或图10不同的部分。

以下，用图14说明本实施例6的信息检索系统中的图象声音信息21、图象识别信息22、及指定区域信息41之间的相关性。图14是表示本实施例6的信息检索系统中的图象声音信息21、图象识别信息22、及指定区域信息41之间的相关性的概念图。

在图14中，指示插入部分图象A的指定区域的指定区域信息41，在开始输出与该指定区域有关的信息的开头位置及结束该部分图象的输出的末尾位置，从图象声音区域再生装置47输出到终端30。例如，在图14中，当开始输出区域A1的图象A时，从图象声音区域再生装置47输出区域信息(非区域的末尾+A1开头)，当结束部分图象A的输出时，从图象声音区域再生装置47输出区域信息(A1的末尾+非区域的开头)。对于区域A2及其他区域，也与该区域A1的图象A的情况一样。

另外，在图14中，对与图8所示实施例3相同或相当的部分标以同一符号而将其说明省略。只说明了与图8不同的部分。另外，本实施例6的信息检索系统中的数据检索装置32所具有的表，与图7所示的实施例3相同，所以将其说明省略。

以下，说明本实施例6的信息检索系统的动作。

首先，从再生控制装置44向图象声音区域再生装置47输出与图象的再生开始等有关的控制信息45。输入了控制信息45的图象声音区域再生装置47，根据所输入的控制信息45，从图象声音区域保存装置46读出图象声音信息21、图象识别信息22、及指定区域信息41。输入了图象声音信息21、图象识别信息22、及指定区域信息41的图象声音区域再生装置47，将所输入的图象声音信息21变换为可用于在显示装置27上再生的信息后，输出到显示装置27，同时将一起输入的图象识别信息22及指定区域信息41输出到终端30。输出到终端30的图象识别信息22及指定区域信息41，保存在终端30内。在由图象声音区域再生装置47进行的图象声音信息21的再生、或快进的过程中，当检测到与某个指定区域的开头有关的区域信息时，将与检测到其开头的指定区域有关的指定区域信息41通知终端30并记录在终端30内。另外，在由图象声音区域再生装置47进行的图象声音信息21的快退的过程中，当检测到与某个指定区域的末尾有关的区域信息时，将与检测到其末尾的指定区域有关的指定区域信息41通知终端30并记录在终端30内。输入了图象声音信息21的显示装置27，根据所输入的图象声音信息21输出图象和声音。

当从再生控制装置44向图象声音区域再生装置47输出了旨在将图象声音信息21的输出暂停的控制信息45时，输入了该控制信息45的图象声音区域再生装置47，将从图象声音区域保存装置46的图象声音信息21的读入暂停。随着该图象声音信息21的读入的暂停，图象识别信息22及指定区域信息41的读入也暂停，所以保存在终端30内的图象识别信息22及指定区域信息41维持原有的状态。对于暂停解除、快进、快退的控制信息45，与该暂停的控制信息45一样，也是一边使图象声音信息21、图象识别信息22及指定区域信息41彼此之间具有相关性一边进行处理，所以将其说明省略。此外，在实施例6的信息检索系统的动作中，从对输出到显示装置27的与任意图象有关的信息的检索将所得到的信息输出到显示装置27的动作，与实施例5相同，所以将其说明省略，只说明了与实施例5的信息检索系统的动作不同的部分。

如上所述，在本实施例的基于图象的信息检索系统中，可以在构成图象声音信息21的各指定区域的开头和末尾检测与指定区域有关的区域信息，所以，即使在使图象声音信息21快进或快退后进行输出，也能可靠地捕获相关的指定区域，因而可以实现能够抑制指定区域信息41与相关数据之间的相关关系偏差的可靠性高的系统。

实施例7

用图15说明本发明的基于图象的信息处理系统的实施例。该图15是表示实施例7的信息处理系统的结构的方框图。

在图15中，48是处理检索装置，输入从终端30输出的图象指定信息31。该处理检索装置48，具有使图象种类、由位置指定装置28指定的时间、及由位置指定装置28指定的与位置有关的信息彼此相关并使这些信息与处理内容也相互关联的表。输入了图象指定信息31的处理检索装置48，根据该表输出处理请求信号49。50是处理保存装置，输入从处理检索装置48输出的处理请求信号49。该处理保存装置50，根据所输入的处理请求信号49，输出与保存在处理保存装置50内的处理内容有关的处理内容信号51。此外，保存在处理保存装置50内的处理内容，在从图象声音发送装置20发送图象声音信息21之前根据该图象声音信息21生成和保存。

52是处理执行装置，输入从处理保存装置50输出的处理内容信号51。该处理执行装置52，根据所输入的处理内容信号51执行处理。53是处理系统，由处理检索装置48、处理保存装置50、及处理执行装置52构成。此外，处理系统53，可以设在因特网等网络上，并由多个接收系统37共享。但是，如果需要，也可以不设在网上而是与接收系统37设置在同一场所。在图15中，对与图1所示的实施例1相同或相当的部分标以同一符号而将其说明省略。只说明了与图1不同的部分。此外，本实施例7的信息处理系统中的图象声音信息21、图象识别信息22、及时间信息26之间的相关性，与图2所示的实施例1相同，所以将其说明省略。

作为本实施例7的信息处理系统，可以考虑指定电视广播或卫星广播图象的某个位置并执行与该指定位置对应的处理，例如根据电视广告购买商品时的订购处理等。

以下，用图16说明本实施例7的信息处理系统的处理检索装置48所具有的表。图16是本实施例7的信息处理系统的处理检索装置48具有的表的概念图。

在图16中，在处理检索装置48所具有的表内，以彼此相关的形式记录着构成图象声音信息21的部分图象的种类、与在输出该部分图象的时刻出现的图标的位置有关的位置信息、及通过指定该相关的图标而进行处理时的处理方法的种类。此外，关于图标的操作，与实施例1的图3所说明过的相同，因而将其省略。另外，在相同的图象识别信息中，也可以在同一时间区域内存在不同的多个位置信息及与该位置信息对应的处理内容。进一步，对所有的图象识别信息、时间信息及位置信息，不一定总是存在对应的处理内容。

以下，说明其动作。在实施例7的信息处理系统的动作中，从终端30输出图象指定信息31前的动作，与实施例1相同，所以将其说明省略，以下，只说明与实施例1的信息检索系统的动作不同的部分。

当由使用了位置指定装置28的用户指定某个图象的某点时，从终端30向处理检索装置48输出图象指定信息31。

输入了图象指定信息31的处理检索装置48，根据所输入的图象指定信息31对表进行检索。根据该检索结果向处理保存装置50输出与有关的处理内容对应的处理请求信号49。如果检索结果表明不存在有关的处理内容，则不输出处理请求信号49，不进行在其后的处理。从处理检索装置48输出的处理请求信号49，输出到处理保存装置50。检索与输入到该处理保存装置50的处理请求信号49对应的处理内容信号51，并向处理执行装置52输出与该处理内容信号51有关的命令。该处理执行装置52，根据所输入的处理内容信号51执行规定的处理内容信号51。

如上所述，在本实施例的基于图象的信息处理系统中，由位置指定装置28指定由显示装置27显示出的任意对象物的任意点，并执行该相关处理。并且，本系统，根据由该位置指定装置28指定的显示装置27的X-Y坐标即位置信息29、及与进行了该位置指定的时刻有关的时间信息26，执行该相关处理。就是说，在本系统中，根据任意的时间指定及与该时间指定有关的显示装置27的坐标指定，执行该相关处理。

因此，本系统，可以不需要具有与图象有关的所有的帧信息，就是说，无需保存数量巨大的信息，因而能使处理检索装置48及系统整体小型化。此外，在本系统中，不需要设置用于检测特定帧的运算处理装置，因而易于实现系统整体的小型化。进一步，在本系统中，不需要进行用于检测特定帧的运算处理，因而很容易缩短在执行有关的相关处理之前所需的时间。此外，在本系统中，以规定的范围将任意的时间指定及与该时间指定有关的显示装置27的坐标指定设定在处理检索装置48的表内，所以不需要具有用于执行在与输出图象有关的所有帧中分别设定的相关处理的信息，就是说，无需保存数量庞大的信息，因而能使处理检索装置48的表和/或处理检索装置48简单化。另外，由于从本系统的发送系统36以彼此相关的形式输出图象声音信息21和时间信息处理26，所以即使由设置场所不同的多个接收系统37接收从一个发送系统36输出的图象声音信息21和时间信息26，也可以由所有的接收系统37获得与任意图象对应的同样的相关信息。假如从发送系统36输出图象声音信息21且由接收从发送系统36输出的图象声音信息21的多个接收系统37分别计算时间信息26并使发送系统36开始输出图象声音信息21的时刻与由接收系统37开始测定时间信息26的时刻为同一时刻，则各接收系统37将因其设置位置而在图象声音信息21的输入时间上产生延迟，因而存在着由各接收系统37对同一图象得到不同的与该图象有关的相关处理的可能性。

实施例8

用图17说明本发明的基于图象的信息处理系统的另一实施例。该图17是表示实施例8的信息处理系统的结构的方框图。在图17的信息处理系统中，发送系统36与实施例2相同，因而将其说明省略。此外，在图17中，接收系统37及处理系统53，与实施例7相同，因而将其说明省略。另外，实施例8的信息处理系统中的图象声音信息21与图象识别信息22之间的相关性，与图5所示的实施例2相同，所以将其说明省略。

以下，用图18说明本实施例8的信息处理系统的处理检索装置48所具有的表。图18是本实施例8的信息处理系统的处理检索装置48具有的表的概念图。

在图18中，在处理检索装置48所具有的表内，以彼此相关的形式记录着构成图象声音信息21的部分图象的种类、与在输出该部分图象的时刻出现的图标的位置有关的位置信息、及通过指定该相关的图标而进行处理时的处理内容。此外，在相同的图象识别信息内，也可以设定与多个不同位置信息分别对应的不同处理内容。另外，对所有的图象识别信息或位置信息，不一定总是存在着某种处理内容。

以下，说明其动作。在实施例8的信息处理系统的动作中，从终端30输出图象指定信息31前的动作，与实施例2相同，所以将其说明省略。此外，在本信息处理系统中，从终端30输出图象指定信息31后的动作，与实施例7相同，所以将其说明省略。按照本实施例8的信息处理系统的上述结构和动作，可以取得与实施例2或实施例7一样的效果。

实施例9

用图19明本发明的基于图象的信息处理系统的另一实施例。该图19是表示实施例9的信息处理系统的结构的方框图。在图19的信息处理系统中，发送系统36与实施例3相同，因而将其说明省略。此外，在图19中，接收系统37及处理系统53，与实施例7相同，因而将其说明省略。另外，实施例9的信息处理系统中的图象声音信息21、图象识别信息22、及指定区域信息41之间的相关性，与图8所示的实施例3相同，所以将其说明省略。

以下，用图20说明本实施例9的信息处理系统的处理检索装置48所具有的表。图20是本实施例9的信息处理系统的处理检索装置48具有的表的概念图。在图20中，在处理检索装置48所具有的表内，以彼此相关的形式记录着构成图象声音信息21的部分图象的种类、在最近的时刻是否有已确认的指定区域信息或其种类、与在输出该部分图象或指定区域信息的时刻出现的图标的位置有关的位置信息、及通过指定该相关的图标而进行处理时的处理内容。此外，在相同的图象识别信息内，也可以设定与多个不同位置信息分别对应的不同处理内容。另外，对所有的图象识别信息或位置信息，不一定总是存在着某种处理内容。

以下，说明其动作。在实施例9的信息处理系统的动作中，从终端30输出图象指定信息31前的动作，与实施例3相同，所以将其说明省略。此外，在本信息处理系统中，从终端30输出图象指定信息31后的动作，与实施例7相同，所以将其说明省略。按照本实施例8的信息处理系统的上述结构和动作，可以取得与实施例3或实施例7一样的效果。

实施例10

用图21说明本发明的基于图象的信息处理系统的另一实施例。

该图21，是表示实施例10的信息处理系统的结构的方框图。而在图21的信息处理系统中，发送系统36与实施例4相同，因而将其说明省略。此外，在图21中，接收系统37及处理系统53，与实施例7相同，因而将其说明省略。另外，实施例10的信息处理系统中的图象声音信息21、图象识别信息22、及以图象开始信号24为依据的时间信息13之间的相关性，与图2所示的实施例1相同，所以将其说明省略。此外，本实施例10的信息处理系统中的处理检索装置48所具有的表，与图16示的实施例7相同，所以将其说明省略。

以下，说明其动作。在实施例10的信息处理系统的动作中，从终端30输出图象指定信息31前的动作，与实施例4相同，所以将其说明省略。此外，在本信息处理系统中，从终端30输出图象指定信息31后的动作，与实施例7相同，所以将其说明省略。按照本实施例10的信息处理系统的上述结构和动作，可以取得与实施例4或实施例7一样的效果。

实施例11

用图22说明本发明的基于图象的信息处理系统的另一实施例。该图22，是表示实施例11的信息处理系统的结构的方框图。而在图22的信息处理系统中，发送系统36与实施例5相同，因而将其说明省略。此外，在图22中，接收系统37及处理系统53，与实施例7相同，因而将其说明省略。另外，实施例11的信息处理系统中的图象声音信息21与图象识别信息22之间的相关性，与图12所示的实施例5相同，所以将其说明省略。此外，本实施例11的信息处理系统中的处理检索装置48所具有的表，与图16示的实施例7相同，所以将其说明省略。

以下，说明其动作。在实施例11的信息处理系统的动作中，从终端30输出图象指定信息31前的动作，与实施例5相同，所以将其说明省略。此外，在本信息处理系统中，从终端30输出图象指定信息31后的动作，与实施例7相同，所以将其说明省略。按照本实施例11的信息处理系统的上述结构和动作，可以取得与实施例5或实施例7一样的效果。

实施例12

用图23说明本发明的基于图象的信息处理系统的另一实施例。该图23是表示实施例12的信息处理系统的结构的方框图。在图23的信息处理系统中，发送系统36与实施例6相同，因而将其说明省略。此外，在图23中，接收系统37及处理系统53，与实施例7相同，因而将其说明省略。另外，实施例12的信息处理系统中的图象声音信息21、图象识别信息22、及指定区域信息41之间的相关性，与图14所示的实施例6相同，所以将其说明省略。此外，本实施例12的信息处理系统中的处理检索装置48所具有的表，与图16示的实施例7相同，所以将其说明省略。

以下，说明其动作。在实施例12的信息处理系统的动作中，从终端30输出图象指定信息31前的动作，与实施例6相同，所以将其说明省略。此外，在本信息处理系统中，从终端30输出图象指定信息31后的动作，与实施例7相同，所以将其说明省略。按照本实施例12的信息处理系统的上述结构和动作，可以取得与实施例6或实施例7一样的效果。

如上所述，本发明的信息检索系统，具有：发送装置，输出图象信息和用于通知图象信息种类的图象识别信息；显示装置，根据图象信息输出图象；位置指定装置，用于指定由显示装置输出的图象的任意位置，并根据该所指定的位置输出位置信息；及数据保存装置，根据位置信息和图象识别信息，保存与由位置指定装置指定的图象有关的相关数据；由于根据由位置指定装置指定的图象种类及该种类的图象在显示装置上的坐标而将与该图象有关的相关数据输出到显示装置，所以，可以抑制应由数据保存装置保存的数据量，因而能使系统整体小型化。

另外，本发明的信息检索系统，具有：发送装置，输出图象信息、用于通知图象信息种类的切换的图象识别信息、及与图象识别信息通知切换后的经过时间有关的时间信息；显示装置，根据图象信息输出图象；位置指定装置，用于指定由显示装置输出的图象的任意位置，并根据该所指定的位置输出位置信息；及数据保存装置，根据位置信息、图象识别信息和时间信息，保存与由位置指定装置指定的图象有关的相关数据；由于根据由位置指定装置指定的图象的输出时间及在该时间内由位置指定装置指定的坐标而将与该图象有关的相关数据输出到显示装置，所以，可以抑制应由数据保存装置保存的数据量，因而能使系统整体小型化。

进一步，本发明的信息检索系统，具有：发送装置，输出图象信息、用于通知图象信息种类的图象识别信息、及用于通知在输出与图象识别信息有关的图象信息的过程中是否有中断插入的中断信息的指定区域信息；显示装置，根据图象信息输出图象；位置指定装置，用于指定由显示装置输出的图象的任意位置并根据该所指定的位置输出位置信息；及数据保存装置，根据位置信息、图象识别信息和指定区域信息，保存与由位置指定装置指定的图象有关的相关数据；由于根据由位置指定装置指定的图象的输出时刻及在该时刻由位置指定装置指定的坐标而将与该图象有关的相关数据输出到显示装置，所以，可以抑制应由数据保存装置保存的数据量，因而能使系统整体小型化。

本发明的信息处理系统，具有：发送装置，输出图象信息和用于通知图象信息种类的图象识别信息；显示装置，根据图象信息输出图象；位置指定装置，用于指定由显示装置显示的图象的任意位置，并根据该所指定的位置输出位置信息；及处理执行装置，根据位置信息和图象识别信息，执行与由位置指定装置指定的图象有关的相关处理；由于根据由位置指定装置指定的图象种类及该种类的图象在显示装置上的坐标而由处理执行装置执行与该图象有关的处理，所以，可以抑制处理执行装置应参照的数据量，因而能使系统整体小型化。

另外，本发明的信息处理系统，具有：发送装置，输出图象信息、用于通知图象信息种类的切换的图象识别信息、及与图象识别信息通知切换后的经过时间有关的时间信息；显示装置，根据图象信息输出图象；位置指定装置，用于指定由显示装置输出的图象的任意位置，并根据该所指定的位置输出位置信息；及处理执行装置，根据位置信息、图象识别信息和时间信息，执行与由位置指定装置指定的图象有关的相关处理；由于根据由位置指定装置指定的图象的输出时间及在该时间内由位置指定装置指定的坐标而由处理执行装置执行与该图象有关的处理，所以，可以抑制应由处理执行装置参照的数据量，因而能使系统整体小型化。

进一步，本发明的信息处理系统，具有：发送装置，输出图象信息、用于通知图象信息种类的图象识别信息、及用于通知在输出与图象识别信息有关的图象信息的期间是否有中断插入的中断信息的指定区域信息；显示装置，根据图象信息输出图象；位置指定装置，用于指定由显示装置输出的图象的任意位置，并根据该所指定的位置输出位置信息；及处理执行装置，根据位置信息、图象识别信息和指定区域信息，执行与由位置指定装置指定的图象有关的相关处理；由于根据由位置指定装置指定的图象的输出时刻及在该时刻由位置指定装置指定的坐标而由处理执行装置执行与该图象有关的处理，所以，可以抑制应由处理执行装置参照的数据量，因而能使系统整体小型化。

本发明的信息检索系统或信息处理系统，对从发送装置输出的图象信息，设有控制其输出方法的控制装置，由于可以自由地对从发送装置输出的信息进行控制，所以能实现不仅对发送实时信息的系统而且对发送记录在VTR或光盘之类的记录媒体上的信息的系统都能适用的通用性宽的系统。

产业上的可应用性

本发明，是根据来自输入部的指示以动图象中的规定图象为对象检索与该规定图象有关的相关信息的系统，尤其是涉及从电视广播、卫星广播或录像等的动图象检索相关信息的信息检索系统及根据该动图象执行相关处理的信息处理系统。

Claims (7)

1.一种信息检索系统，其特征在于，具有：发送装置，输出图象信息和用于通知上述图象信息种类的图象识别信息；显示装置，根据上述图象信息输出图象；位置指定装置，用于指定由所述显示装置输出的上述图象的任意位置，并根据该所指定的位置输出位置信息；及数据保存装置，根据上述位置信息和上述图象识别信息，保存与由上述位置指定装置指定的上述图象有关的相关数据；并且，将与由上述位置指定装置指定的上述图象有关的相关数据输出到上述显示装置。

2.一种信息检索系统，其特征在于，具有：发送装置，输出图象信息、用于通知上述图象信息种类的切换的图象识别信息、及与上述图象识别信息通知切换后的经过时间有关的时间信息；显示装置，根据上述图象信息输出图象；位置指定装置，用于指定由上述显示装置输出的上述图象的任意位置，并根据该所指定的位置输出位置信息；及数据保存装置，根据上述位置信息、上述图象识别信息和上述时间信息，保存与由上述位置指定装置指定的上述图象有关的相关数据；并且，将与由上述位置指定装置指定的上述图象有关的相关数据输出到所述显示装置。

3.一种信息检索系统，具有：发送装置，输出图象信息、用于通知上述图象信息种类的图象识别信息、及用于通知在输出与上述图象识别信息有关的上述图象信息的期间是否有中断插入的中断信息的指定区域信息；显示装置，根据上述图象信息输出图象；位置指定装置，用于指定由上述显示装置输出的上述图象的任意位置，并根据该所指定的位置输出位置信息；及数据保存装置，根据上述位置信息、上述图象识别信息和上述指定区域信息，保存与由上述位置指定装置指定的上述图象有关的相关数据；并且，将与由上述位置指定装置指定的上述图象有关的相关数据输出到所述显示装置。

4.一种信息处理系统，其特征在于，具有：发送装置，输出图象信息和用于通知上述图象信息种类的图象识别信息；显示装置，根据上述图象信息输出图象；位置指定装置，用于指定由上述显示装置输出的图象的任意位置并根据该所指定的位置输出位置信息；及处理执行装置，根据上述位置信息和上述图象识别信息执行与由上述位置指定装置指定的上述图象有关的相关处理。

5.一种信息处理系统，其特征在于，具有：发送装置，输出图象信息、用于通知上述图象信息种类的切换的图象识别信息、及与上述图象识别信息通知切换后的经过时间有关的时间信息；显示装置，根据上述图象信息输出图象；位置指定装置，用于指定由上述显示装置输出的上述图象的任意位置，并根据该所指定的位置输出位置信息；及处理执行装置，根据上述位置信息、上述图象识别信息和上述时间信息，执行与由上述位置指定装置指定的上述图象有关的相关处理。

6.一种信息处理系统，其特征在于，具有：发送装置，输出图象信息、用于通知上述图象信息种类的图象识别信息，及用于通知在输出与上述图象识别信息有关的上述图象信息的期间是否有中断插入的中断信息的指定区域信息；显示装置，根据上述图象信息输出图象；位置指定装置，用于指定由上述显示装置输出的图象的任意位置，并根据该所指定的位置输出位置信息；及处理执行装置，根据上述位置信息、上述图象识别信息和上述指定区域信息，执行与由上述位置指定装置指定的上述图象有关的相关处理。

7.根据权利要求1～6中的任何一项所述的信息检索系统或信息处理系统，其特征在于：对从发送装置输出的图象信息，设有控制其输出方法的控制装置。

Images