CN1327208A - 物体区域信息记述方法和物体区域信息生成装置 - Google Patents

物体区域信息记述方法和物体区域信息生成装置 Download PDF

Info

Publication number
CN1327208A
CN1327208A CN01123339A CN01123339A CN1327208A CN 1327208 A CN1327208 A CN 1327208A CN 01123339 A CN01123339 A CN 01123339A CN 01123339 A CN01123339 A CN 01123339A CN 1327208 A CN1327208 A CN 1327208A
Authority
CN
China
Prior art keywords
information
object area
mentioned
approximate
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN01123339A
Other languages
English (en)
Other versions
CN1194318C (zh
Inventor
堀修
金子敏充
山本晃司
三田雄志
增仓孝一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN1327208A publication Critical patent/CN1327208A/zh
Application granted granted Critical
Publication of CN1194318C publication Critical patent/CN1194318C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Abstract

一种对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息记述方法,用图形近似上述任意物体,抽取表示该图形的多个点,用函数近似通过沿帧的行进排列可特定上述多个的位置的数据而得到的轨迹,使用该函数的参数、以及表示上述图形内的数据记述有关该物体区域的信息。

Description

物体区域信息记述方法和 物体区域信息生成装置
超媒体是对图像声音、文本等媒体之间赋予称为超级链接的关联信息，并可相互参考的媒体，超媒体的典型例是在以图像为中心时，例如对图像中的登场物体赋予关联信息，一指示该物体，就显示关联信息。此时，图像中的物体是用特定图像的帧序号或记时印记和图像中区域的信息来表现，并记录为图像数据或其他数据。
常用的特定图像中的区域的方法是掩模图像。掩模图像是在指定区域内的情况和指定区域外情况下给予不同的像素值而构成的图像。例如，最简单的方法是在区域内的情况下给予1、在区域外的情况下给予0的像素值。还有，有时还可以利用用于CG等的α值。由于一般α值可以表现256等级的值，所以使用其中一部分，例如在指定区域内的情况下表现为255、在指定区域外的情况下表现为0。在由这样的掩模图像表现图像中的区域时，要判断某个帧的像素是否在指定区域，则可以读取该帧的掩模图像的像素值，并利用是0还是1来简单判断。掩模图像具有在任一形状的区域、不连续的区域都可以表现的自由度，但需要具有与图像大小相同大小的像素。
为了降低掩模图像的数据量，常利用掩模图像的压缩。在0、1的2值掩模图像的情况下，由于可以进行作为2值图像的处理，所以利用传真等所用的压缩方法的情况多。另外，ISO/IEC活动图像压缩标准组(Moving Picture ExpertsGroup)所标准化的MPEG-4除了0、1的2值掩模图像之外，还采用将至利用了α值的掩模图像为止作为压缩对象的任一形状编码。这是使用了活动补偿的压缩方法，虽然提高压缩率，但随之压缩、解码过程变复杂。
如上所述，大多利用掩模图像或压缩掩模图像来表现图像中的某个区域。但作为用于特定区域的数据最好是可以更简单、更高速取出，并且数据量少，容易处理的数据。即，作为表现图像中的所要物体的区域的方法存在掩模图像的数据量大的问题，还有，如果压缩并使用掩模图像，则由于编码、解码变得复杂，而且不能直接编辑数据，从而存在处理很难的问题。
另外，以前是只表现物体区域的位置信息，而缺少内部的信息。还有，不能表现物体暂时隐藏在背后的状态。而且，存在在摄像机跟随物体拍摄时不能表现该物体的真实运动的问题。因此，在检索中考虑了内部信息、物体隐藏在另一物体的背后的封闭、摄像机的运动的检索等处理很难。还有，检索中，也需要对完全无关的物体进行所有处理。
本发明是考虑了上述问题而提出的，其目的在于提供一种用较少数据量可以记述图像中的所要的物体区域，并且可使其生成和其数据处理容易的物体区域信息记述方法和物体区域信息生成装置。
另外，本发明的目的在于提供一种可以高效、有效地检索图像中的物体的物体区域信息记述方法和物体区域信息生成装置。
另外，本发明目的在于提供一种物体区域信息记述方法，是用于对连续的多个帧记述与图像中的任意物体的区域有关的信息的物体区域信息记述方法，用图形近似上述任意物体的区域，并抽取表示该图形的多个点，用函数近似通过沿帧的行进排列上述多个点中的一点的位置数据和、用与其他点的相对关系表示剩余点的位置的相对位置数据而得到的轨迹，并使用该函数的参数记述与该物体区域有关的信息。
另外，本发明的目的在于提供一种物体区域信息记述方法，是用于对连续的多个帧记述与图像中的任意物体的区域有关的信息的物体区域信息记述方法，用图形近似上述任意物体的区域，并抽取表示该图形的多个点，用函数近似通过沿帧的行进排列出现该物体的初始帧的近似图形的上述多个点的位置数据和、用与上述初始帧的点的相对关系表示另一帧的对应点的位置的相对位置数据而得到的轨迹，并使用该函数的参数记述与该物体的区域有关的信息。
另外，本发明的目的在于提供一种物体区域信息记述方法，是用于对连续的多个帧记述与图像中的任意物体的区域有关的信息的物体区域信息记述方法，用图形近似上述任意物体的区域，并抽取表示该图形的多个点，用函数近似通过沿帧的行进排列可特定上述多个点的位置的数据而得到的轨迹，并使用该函数的参数、以及表示上述图形内部的数据记述与该物体区域有关的信息。
另外，本发明的目的在于提供一种物体区域信息记述方法，是用于对连续的多个帧记述与图像中的任意物体的区域有关的信息的物体区域信息记述方法，用图形近似上述任意物体的区域，并抽取表示该图形的多个点，用函数近似通过沿帧的行进排列可特定上述多个点的位置的数据而得到的轨迹，并使用该函数的参数、以及特定可看见上述图形或各点的状态的帧区间以及看不见的状态的帧区间的标志信息记述与该物体区域有关的信息。
另外，本发明的目的在于提供一种物体区域信息记述方法，是用于对连续的多个帧记述与图像中的任意物体的区域有关的信息的物体区域信息记述方法，用图形近似上述任意物体的区域，并抽取表示该图形的多个点，用函数近似通过沿帧的行进排列可特定上述多个点的位置的数据而得到的轨迹，并使用该函数的参数、以及表示上述图形在上述多个帧中所在范围的存在范围近似图形记述与该物体区域有关的信息。
另外，本发明的目的在于提供一种物体区域信息记述方法，是用于对图像中的任意连续的多个帧记述有关在将邻接帧使其重复部分重叠地连接下一个而生成的全景图像中推移的任意物体区域的信息的物体区域信息记述方法，用图形近似上述任意物体的区域，抽取表示在上述全景图像中推移的上述图形的多个点，用函数近似通过沿帧的行进排列可特定上述多个点在该全景图像中的位置的数据而得到的轨迹，并使用该函数的参数记述有关该物体区域的信息。
另外，本发明的目的在于提供一种物体区域信息生成装置，是生成用于对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息的装置，具有：图形近似部，用图形近似上述任意物体的区域；抽取部，抽取表示该图形的多个点；函数近似部，用函数近似通过沿帧的行进排列上述多个点中的1点的位置数据和、用与其他点的相对关系表示了剩余点的位置的相对位置数据而得到的轨迹，并使用该函数的参数记述有关该物体区域的信息。
另外，本发明的目的在于提供一种物体区域信息生成装置，是生成用于对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息的装置，具有：图形近似部，用图形近似上述任意物体的区域；抽取部，抽取表示该图形的多个点；函数近似部，用函数近似通过沿帧的行进排列出现该物体的初始帧中近似图形的上述多个点的位置数据和、用与上述初始帧的点的相对关系表示了其他帧的对应点的位置的相对位置数据而得到的轨迹，使用该函数的参数记述有关该物体区域的信息。
另外，本发明的目的在于提供一种物体区域信息生成装置，是生成用于对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息的装置，具有：图形近似部，用图形近似上述任意物体的区域；抽取部，抽取表示该图形的多个点；函数近似部，用函数近似通过沿帧的行进排列可特定上述多个点的位置的数据而得到的轨迹，使用该函数的参数、以及表示上述图形内部的数据记述有关该物体区域的信息。
另外，本发明的目的在于提供一种物体区域信息生成装置，是生成用于对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息的装置，具有：图形近似部，用图形近似上述任意物体的区域；抽取部，抽取表示该图形的多个点；函数近似部，用函数近似通过沿帧的行进排列可特定上述多个点的位置的数据而得到的轨迹，使用该函数的参数、以及特定可看见上述图形或各点的状态的帧区间和看不见的状态的帧区间的标志信息记述有关该物体区域的信息。
另外，本发明的目的在于提供一种物体区域信息生成装置，是生成用于对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息的装置，具有：图形近似部，用图形近似上述任意物体的区域；抽取部，抽取表示该图形的多个点；函数近似部，用函数近似通过沿帧的行进排列可特定上述多个点的位置的数据而得到的轨迹，使用该函数的参数、以及表示上述图形在上述多个帧中所在范围的存在范围近似图形记述有关该物体区域的信息。
另外，本发明的目的在于提供一种物体区域信息生成装置，是生成用于对图像中的任意连续的多个帧记述有关在将邻接帧使其重复部分重叠地连接下一个而生成的全景图像中推移的任意物体区域的信息的物体区域信息的装置，具有：图形近似部，用图形近似上述任意物体的区域；抽取部，抽取表示在上述全景图像中推移的上述图形的多个点；函数近似部，用函数近似通过沿帧的行进排列可特定上述多个点在该全景图像中的位置的数据而得到的轨迹，使用该函数的参数记述有关该物体区域的信息。
另外，本发明的目的在于提供一种物体区域信息生成装置，是一种存储用于生成对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息的程序的计算机可读取的记录媒体，程序具有使计算机进行以下工作的程序代码手段，用图形近似上述任意物体的区域，抽取表示该图形的多个点，用函数近似通过沿帧的行进排列上述多个点中的一点的位置数据和、用与其他点的相对关系表示了剩余点的位置的相对位置数据而得到的轨迹，使用该函数的参数记述有关该物体区域的信息。
另外，本发明的目的在于提供一种物体区域信息生成装置，是一种存储用于生成对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息的程序的计算机可读取的记录媒体，程序具有使计算机进行以下工作的程序代码手段，用图形近似上述任意物体的区域，抽取表示该图形的多个点，用函数近似通过沿帧的行进排列该物体出现的初始帧中近似图形的上述多个点的位置数据和、用与上述初始帧的点的相对关系表示了其他帧的对应点的位置的相对位置数据而得到的轨迹，并使用该函数的参数记述有关该物体区域的信息。
另外，本发明的目的在于提供一种物体区域信息生成装置，是一种存储用于生成对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息的程序的计算机可读取的记录媒体，程序具有使计算机进行以下工作的程序代码手段，用图形近似上述任意物体的区域，抽取表示该图形的多个点，用函数近似通过沿帧的行进排列可特定上述多个点的位置的数据而得到的轨迹，并使用该函数的参数、以及表示上述图形内部的数据记述有关该物体区域的信息。
另外，本发明的目的在于提供一种物体区域信息生成装置，是一种存储用于生成对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息的程序的计算机可读取的记录媒体，程序具有使计算机进行以下工作的程序代码手段，用图形近似上述任意物体的区域，抽取表示该图形的多个点，用函数近似通过沿帧的行进排列可特定上述多个点的位置的数据而得到的轨迹，并使用该函数的参数、以及特定可看见上述图形或各点的状态的帧区间以及看不见的状态的帧区间的标志信息记述有关该物体区域的信息。
另外，本发明的目的在于提供一种物体区域信息生成装置，是一种存储用于生成对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息的程序的计算机可读取的记录媒体，程序具有使计算机进行以下工作的程序代码手段，用图形近似上述任意物体的区域，抽取表示该图形的多个点，用函数近似通过沿帧的行进排列可特定上述多个点的位置的数据而得到的轨迹，并使用该函数的参数、以及表示上述图形在上述多个帧中所在范围的存在范围近似图形记述有关该物体区域的信息。
另外，本发明的目的在于提供一种物体区域信息生成装置，是一种存储生成用于对图像中的任意连续的多个帧记述在将邻接帧使其重复部分重叠地连接下一个而生成的全景图像中推移的任意物体区域的信息的物体区域信息的程序的计算机可读取的记录媒体，程序具有使计算机进行下述工作的程序代码手段，用图形近似上述任意物体的区域，抽取表示在上述全景图像中推移的上述图形的多个点，用函数近似通过沿帧的行进排列可特定上述多个点在该全景图像中的位置的数据而得到的轨迹，使用该函数的参数记述有关该物体区域的信息。
另外，本发明的目的在于提供一种物体区域信息生成装置，是一种存储对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息的计算机可读取的记录媒体，其特征在于物体区域信息具有：可特定上述任意物体区域存在的期间的信息；识别近似上述任意物体区域的图形的种类的信息；示出表示上述近似图形的多个点的个数的信息；可特定通过沿帧的行进排列上述多个点中的一点的位置数据和、用与其他点的相对关系表示剩余点的位置的相对位置数据而得到的轨迹的信息。
另外，本发明的目的在于提供一种物体区域信息生成装置，是一种存储对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息的计算机可读取的记录媒体，其特征在于物体区域信息具有：可特定上述任意物体区域存在的期间的信息；识别近似上述任意物体区域的图形的种类的信息；示出表示上述近似图形的多个点的个数的信息；可特定通过沿帧的行进排列该物体出现的初始帧中近似图形的上述多个点的位置数据和、用与上述初始帧的点的相对关系表示其他帧中对应点的位置的相对位置数据而得到的轨迹的近似函数的信息。
另外，本发明的目的在于提供一种物体区域信息生成装置，是一种存储对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息的计算机可读取的记录媒体，其特征在于物体区域信息具有：可特定上述任意物体区域存在的期间的信息；识别近似上述任意物体区域的图形的种类的信息；示出表示上述近似图形的多个点的个数的信息；可特定通过沿帧的行进排列可特定上述多个点的位置的数据而得到的轨迹的近似函数的信息；表示上述图形内部的信息。
另外，本发明的目的在于提供一种物体区域信息生成装置，是一种存储对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息的计算机可读取的记录媒体，其特征在于物体区域信息具有：可特定上述任意物体区域存在的期间的信息；识别近似上述任意物体区域的图形的种类的信息；示出表示上述近似图形的多个点的个数的信息；可特定通过沿帧的行进排列可特定上述多个点的位置的数据而得到的轨迹的近似函数的信息；特定可看见上述图形或各点的状态的帧区间以及看不见的状态的帧区间的标志信息。
另外，本发明的目的在于提供一种物体区域信息生成装置，是一种存储对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息的计算机可读取的记录媒体，其特征在于物体区域信息具有：可特定上述任意物体区域存在的期间的信息；识别近似上述任意物体区域的图形的种类的信息；示出表示上述近似图形的多个点的个数的信息；可特定通过沿帧的行进排列可特定上述多个点的位置的数据而得到的轨迹的近似函数的信息；表示上述图形在上述多个帧中所在范围的存在范围近似图形信息。
另外，本发明的目的在于提供一种物体区域信息生成装置，是存储用于对图像中的任意连续的多个帧记述在将邻接帧使其重复部分重叠地连接下一个而生成的全景图像中推移的任意物体区域的信息的物体区域信息的计算机可读取的记录媒体，物体区域信息具有：可特定上述任意物体区域存在的期间的信息；识别近似上述任意物体区域的图形的种类的信息；示出表示上述近似图形的多个点的个数的信息；可特定通过沿帧的行进排列可特定上述多个点的该全景图像中的位置的数据而得到的轨迹的近似函数的信息。
图1是表示本发明实施例1的物体区域信息生成装置的结构例的图。
图2是表示实施例1的物体区域信息生成装置的处理流程的一例的流程图。
图3A～图3C是用于说明用物体区域数据记述图像中的物体区域的处理概要的图。
图4是用于说明求出近似基准代表点的X坐标值的函数的例子的图。
图5是用于说明表示基准代表点之外的代表点的差分矢量的一例的图。
图6是用于说明求出近似表示基准代表点以外的代表点的差分矢量的X分量值的函数的例子的图。
图7是从代表点的坐标或差分矢量求出近似函数的处理一例的流程图。
图8是表示物体区域数据的数据结构的一例的图。
图9是表示物体区域数据中的代表点轨迹数据的数据结构的一例的图。
图10是用于说明用于表示基准代表点以外的代表点的差分矢量的另一例的图。
图11A、图11B是用于说明表示基准代表点以外的代表点的差分矢量的又另一例的图。
图12是用于说明帧之间的差分矢量的一例的图。
图13是表示物体区域数据的数据结构的另一例的图。
图14是表示从物体区域数据中取出任意时刻的物体区域的处理一例的流程图。
图15是表示实施例2的物体区域数据中的代表点轨迹数据的数据结构的另一例的图。
图16是表示物体区域数据的数据结构的又另一例的图。
图17是表示内部信息的数据结构的一例的图。
图18是用于说明有关内部方向的位置信息的测定的图。
图19是表示检索指定的位置附近的物体的处理一例的流程图。
图20A、图20B是用于说明有关内部方向的位置信息的测定的图。
图21是用于说明有关内部方向的位置信息的测定的图。
图22是用于说明有关内部方向的位置信息的测定的图。
图23是表示用于求出移动物存在于指定的距离的时刻的前面处理程序的一例的流程图。
图24是表示求出移动物存在于指定的距离的时刻的处理程序的一例的流程图。
图25A、25B、25C是用于说明有关实施例3的显示标志的图。
图26是用于说明有关代表点轨迹数据生成的图。
图27是表示物体区域数据的数据结构的又另一例的图。
图28是表示显示标志信息的数据结构的一例的图。
图29是表示物体区域数据中的代表点轨迹数据的数据结构的又另一例的图。
图30是表示检索时的处理一例的流程图。
图31A、图31B、图31C是用于说明有关实施例4的物体通过范围信息的图。
图32是表示物体通过范围信息的数据结构的一例的图。
图33是表示物体通过范围信息的数据结构的另一例的图。
图34是表示选出通过所指定的坐标的物体的处理一例的流程图。
图35是表示实施例5的使用镶嵌的物体区域信息记述方法的处理程序的一例的流程图。
图36A、图36B是用于说明有关使用镶嵌的物体区域信息记述方法的图。
图37是表示对全景图像的变换参数的数据结构的图。
图38A至图38D是用于说明用物体区域数据记述实施例6的物体区域的处理概要的图。
图39是用于说明有关用椭圆近似物体区域的例子的图。
图40是用于说明有关求出近似物体区域的椭圆的代表点的例子的图。
图41是表示物体区域数据的数据结构的一例的图。
图42是表示物体区域数据中的近似图形数据的数据结构的一例的图。
图43是表示近似图形数据中的代表点轨迹数据的数据结构的一例的图。
图44是表示物体区域数据中的近似图形数据的数据结构的另一例的图。
图45是用于说明有关使近似图形为平行四边形时的代表点的例子的图。
图46是用多个椭圆表现图像中的物体区域的例子的图。
图47是表示包括多个近似图形数据的物体区域数据的数据结构的一例的图。
图48A至48C是用于说明用物体区域数据记述图像中的物体区域的另一处理概要的图。
图49是表示求近似矩形的处理程序的一例的流程图。
图50是用于说明有关从近似矩形求出近似椭圆的方法的流程图。
图51是表示从近似矩形求出近似椭圆的处理程序的一例的流程图。
图52、图53是表示物体区域数据的数据结构的另一例的图。
图54、图55是表示物体区域数据的数据结构的又另一例的图。
图56是表示实施例7的物体区域信息生成装置的结构例的图。
图57是表示处理程序的一例的流程图。
图58是用于说明物体区域的光流算出方法的一例的图。
图59是用于说明物体区域的光流算出方法的另一例的图。
图60是用于说明将一个变换参数用时间函数近似表现的例子的图。
图61是表示用位图表现参考物区域时的物体区域数据的记述格式的一例的图。
图62是表示实施例7的物体区域信息生成装置的另一结构例的图。
图63是表示图62的装置的处理程序的例子的流程图。
图64是用于说明对应物体区域的近似图形的代表点之间的方法的图。
图65是表示可以求出用于近似的图形种类和变换参数的变换模型的关系的图。
图66是表示图形近似参考物区域时的物体区域数据的记述格式的一例的图。
图67是表示包含取样信息的物体区域数据的记述格式的一例的图。
图68是用于说明使用光流将1个物体分割为运动近似的区域的情况的图。
图69是表示用于在多个区域记述1个物体的物体区域数据的记述格式的一例的图。
下面，参照附图说明本发明的物体区域信息生成装置的实施例。
实施例1
图1表示本发明一实施例的物体区域信息生成装置(或也称为物体区域数据变换装置)的结构例。
物体区域信息生成装置具有图像数据存储部100、物体区域抽取部101、物体区域的图形近似部102、近似图形的代表点抽取部103、代表点轨迹的函数近似部104、物体区域数据存储部106。还有，还可以具有与物体区域相关的关联信息存储部105。
图2是表示物体区域信息生成装置的处理流程的一例的流程图。
图像数据存储部100由于存储有图像数据，所以例如由硬盘、光盘或半导体存储器等构成。
物体区域抽取部101抽取图像数据中的一部分区域(步骤S1)。所谓该一部分区域典型的是图像中特定的人、动植物、车或建筑物等“物体区域”，但只要是可以看作图像中的物体(对象)来处理，则可以是图像中的任何物体。另外，也可以是独立的，也可以是物的一部分(例如人头、车的发动机罩、建筑物的正门)，也可以是物的集合(例如，鸟或鱼群)。图像中，对连续的帧拍摄同一物体的情况多，但物体本身的运动以及/或摄影时的摄像机的运动成为主要原因，对应同一物体的区域在帧之间变化的情况多。
物体区域抽取部101是对应这样的关注的物体运动和变形抽取各帧的物体(对象)的区域的。作为具体的抽取方法可以使用用人手对整个帧指定区域的方法、除M.Kass外，如利用在「Snakes：Active countour models」(InternationalJournal of Computer Vision，vol.1，No.4，pp.321-331.July，1988)所记载的称为Snakes的活动轮廓模型连续抽取物体轮廓的方法，还有如从金子他的利用在“使用强有力估计生成超媒体内容的高速移动物体跟踪法”(信息处理学会技术报告CVIM113-1，1998)所记载的块匹配求出的物体中的部分区域的移动目的地估计物体整体的变形、移动的方法、利用如图像分析手册(第II部第2章，东京大学出版会，1991)所记载的区域生长、分割特定具有相似颜色的区域的方法等。
图形近似部102利用所定图形近似物体区域抽取部101抽取的图像中的物体区域(步骤S2)。
作为图形的种类可以使用矩形、圆、椭圆、多角形等各种图形。用于近似的图形种类也可以是预先固定确定好，也可以是例如以近似的每个对象物体等所定单位，用户可指定图形种类，也可以是对每个近似的对象物体根据该物体的形状等自动选择图形种类。
另外，区域的近似方法也有用物体区域的外接矩形近似的方法、用利用该方法求出的矩形的外接椭圆或内接椭圆近似的方法、用物体区域的外接椭圆近似的方法、减少该近似多角形的顶点数，以便在生成物体区域的初始近似多角形之后物体区域的面积和该近似多角形的误差小于基准的方法、用预定的顶点数的多角形近似的方法等各种方法。另外，还有用具有倾斜的图形更好地近似的方法。另外，还有还加进其他几何参量的方法，例如，使物体区域的重心和近似图形的重心一致的方法、使近似图形的面积为物体区域的面积承以一定数的值的方法等各种方法。
图形近似部102在每次输入物体区域抽取部101的抽取结果时，对每个帧进行图形近似。或也可以使用上述数帧的区域抽取结果进行图形近似。在利用数帧的区域抽取结果的情况下，通过在数帧之间平滑近似图形的大小和位置等变化，可以平滑近似图形的活动和变形等和，使区域抽取的抽取误差不大。另外，近似图形的大小在每个帧是不同的。
代表点抽取部103抽取表现作为区域图形近似部102的输出的近似图形的代表点(步骤S3)。以什么样的点作为代表点根据采用什么样的近似图形而不同。例如，在近似图形为矩形的情况下，能以4个或3个顶点为代表点，在近似图形为圆的情况下，能以中心和圆周上的一点或直径的2端点为代表点。另外，在椭圆的情况下，以椭圆的外接矩形的顶点为代表点(此时也是4个顶点中的3个就足够)，也可以将2个焦点和椭圆上的1点(例如，短轴上的1点)为代表点即可。在将任意封闭多角形作为近似图形的情况下，最好将各顶点作为图形的代表点。
代表点的抽取是每次在从图形近似部102输出1个帧部分的近似图形的信息时，以帧单位进行的。另外，各代表点由水平方向的坐标轴X和垂直方向的坐标轴Y表示。
代表点轨迹函数近似部104利用时间t(例如，赋予图像的记时印记)或帧序号f的函数(近似函数)近似表现图形代表点抽取部103抽取的代表点的位置(或可特定它的量)的时间序列轨迹(步骤S4)。该函数分别在各代表点，并且分别用X坐标和Y坐标表现。
在代表点(或可以特定它的量)为n个时，由于分别需要X、Y坐标的近似函数，所以生成总计2n个近似函数
作为表示代表点轨迹的函数可以采用直线和样条曲线等。
对成为对象的物体的出现帧到消失帧进行上述一系列处理
按照所定的格式，作为物体区域数据将求出的近似曲线(包括直线的情况)记录到区域数据存储部106。
根据需要设置的关联信息存储部105用于存储与出现在存储在图像数据存储部100的图像数据的物体有关的信息(关联信息)、用于从外部存储装置或经网络的服务器中取得那样的信息的指针信息(例如，记录有关联信息的地址、文件名、URL等)。关联信息也可以是文字、声音、静止图像、活动图像、或适当组合它们的信息。另外，关联信息也可以是记述程序或计算机的工作的数据(此时，该物体一被用户指定，计算机就进行所要的工作)。关联信息存储部105与图像数据存储部100同样，例如由硬盘、光盘或半导体存储器等构成。
区域数据存储部106是存储包括表现近似作为代表点轨迹函数近似部104的输出的代表点的位置(或可特定它的量)的时间序列轨迹的曲线式的数据的物体区域数据的存储媒体。具有关联信息存储部105的结构中，当与对应用函数表现的区域的物体有关的关联信息存储在关联信息存储部105时，可以在物体区域数据同时记录关联信息本身和记录有关联信息的地址。当在关联信息存储部105存储有记录关联信息的地址信息时，可以同时记录该地址信息。区域数据存储部106也与图像数据存储部100等同样，例如由硬盘、光盘或半导体存储器等构成。
另外，图像数据存储部100、关联信息存储部105、区域数据存储部106也可以由不同的存储装置构成，也可以是这些全部或一部分由同一存储装置构成。
像这样的物体区域信息生成装置还能以在计算机上执行软件的形式实现。
另外，该物体区域信息生成装置的处理，特别是在物体区域抽取部101和图形近似部102的处理介入用户操作时，例如利用以帧单位显示图像数据，并使用接受用户的指示输入等的GUI。但是，在图1中省略了此部分。
下面，采用更具体的例子说明该物体区域信息生成装置的工作。
在此说明用多角形近似物体区域。以近似多角形的顶点为代表点，作为近似函数采用2次多项式样条函数的情况的例子。另外，在以下说明中，将多角形用于近似图形的例子中，称为多角形的顶点的“顶点”一般表示代表点。
图3A~图3C是用于更具体说明从物体区域抽取部101的抽取物体区域的处理、区域图形近似部102的用图形近似区域的处理，图形代表点抽取部103的抽取图形的代表点的处理到代表点轨迹函数近似部104的用函数近似代表点轨迹的处理的一系列处理的概要的图。
图3A中，200表示成为处理对象的图像中的1个帧。
201表示成为抽取对象的物体区域。抽取该物体区域201的处理在物体区域抽取部101进行。
202是用多角形近似物体区域(近似多角形)。从物体区域201求出其近似多角形202的处理在区域图形近似部102中进行。
图3B是表现多个帧的近似图形的代表点，即该例的近似多角形202的顶点的推移(轨迹)以及其推移的近似曲线的图。
本实施例中，将从近似图形的多个代表点中选择的特定代表点(整个帧中是同样的)称为基准代表点，并将其记为V0。在该例的情况下，将近似多角形202的多个顶点中的任一个顶点作为基准代表点V0。
选择的方法有选择具有最大或最小X坐标值或Y坐标值的点的方法、选择在帧中最右上侧、右下侧、左下侧或左上侧的点的方法等各种方法。
第2个以后的帧中，通过判断与对应前一帧的基准代表点V0对应的点是该帧的多个代表点中的哪一个来进行基准代表点V0的选择。
判断哪一个代表点是前一帧的基准代表点V0的移动目的地的方法有例如，将最接近前一帧的基准代表点V0的该帧的点作为代表点的方法、在使前一帧的近似图形的重心和该帧的近似图形的重心一致的情况下，将最接近前一帧的基准代表点V0的该帧的点作为代表点的方法、通过核对前一帧的近似图形的多个代表点和该帧的近似图形的多个代表点，求出该帧的基准代表点V0的方法、通过核对前一帧的对象物体区域的图像数据和该帧的图像数据，求出该帧的基准代表点V0的方法等各种方法。
另外，对应邻接帧的基准代表点V0以外的代表点的方法有与上述同样的方法的方法、以基准代表点V0为起点，按预定顺序对应其他代表点的方法等。
这些处理是在图形代表点抽取部103中进行。
代表点轨迹函数近似部104中，从依次输入的各帧的基准代表点V0的坐标值中求出近似轨迹203的曲线(函数)。图3B的203是连接各帧的基准代表点V0的移动目的地的轨迹。
基准代表点V0的坐标值包括X坐标和Y坐标。各坐标值分别近似为时间t或帧序号f的函数。
图3C的204是求出基准代表点V0的函数的例子(在此，只示出了基准代表点V0的1个坐标轴)。该例表示将近似区间分割为t＝0～5和t＝5～16的2个的情况。
图4是求出近似基准代表点V0的X坐标值的函数的例子。图中的301表示物体所在的时间区域。黑点302是基准代表点V0的X坐标值。303是其近似函数。对Y坐标也可以同样求出近似函数。由于作为近似函数采用多项式样条函数，所以204中对每个由称为节点的点分割的时间区间定义多项式。在此，t＝0、5、16分别成为节点时刻。
但是，也可以如上求出并记录近似图形的基准代表点V0以外的代表点的近似函数。
另外，对于基准代表点V0以外的代表点，还有用与该代表点外的代表点(也可以是基准代表点)的相对关系，例如用差分矢量表示，并用该矢量的轨迹记述该代表点的方法。
下面，说明用邻接的代表点的差分矢量的轨迹记述基准代表点V0以外的代表点的情况的例子。
图5是说明用于表示近似多角形的作为基准代表点V0的1个顶点和其他顶点的差分矢量的每一个的图。
首先，从基准代表点V0按预定的顺序，例如按顺时针将基准代表点V0以外的各顶点写成V1、V2…VM－1。在此，M为顶点数，但由于图5中为5角形，所以M＝5。另外，将从顶点V0至V1的矢量记为V0，1，同样确定矢量V1，2、V2，3…、VM－2，M－1。各矢量具有从各矢量的起点看的X分量和Y分量的值(相对位置数据)。
图6的黑点列502表示时间501中的各时刻的矢量V0，1的X分量值。
另外，在图形代表点抽取部103进行求出这些矢量的处理。
代表点轨迹函数近似部104算出分别表现各矢量的X分量值和Y分量值的近似函数503。
在物体的形状几乎没变、物体的移动接近平行移动时，由于矢量V0，1、V1，2…、VM－2，M－1值变化不大，所以近似函数和实际值的误差变小，从而可以提高物体区域的记述效率。在物体的形状没变、完全为平行移动时，由于矢量V0，1、V1，2…、VM－2，M－1值毫无变化，所以近似函数都成为直线，而且近似误差为0。
图7是表示从依次输入到代表点轨迹函数近似部104的代表点(此例中为物体区域的近似多角形的顶点)的坐标值或上述差分矢量的分量值求出这些代表点的坐标值或其差分矢量的分量值的近似函数的处理一例的流程图。
在此，设对应第I个帧的时刻为ti(i＝0、1、…)。另外，设ν(O)t为时刻t的VO的X坐标值、设ν(j)t(j＝1、2、…M－1)为时刻t的Vj－1，j的X分量值。另外，设对应样条函数的节点的时刻t中的最大的为tk。
首先，在步骤S601进行tk和i的初始设定。
步骤S602中，在某个节点tk至节点ti的区间求出ν(j)t的近似函数(本实施例中为2次多项式)。求近似函数的一般方法是使用最小平方。但是，此时需要附加近似函数通过节点的条件。因此，若将在ta至tb区间求出的ν(j)t的近似函数记为F(j)ta，tb(t)(j＝0、1、…、M－1)，则区间的起始点成为ν(j)k＝F(j)tk，ti(tk)，区间的结束点成为ν(j)i＝F(j)tk，ti(tk)。这是因为如果没有该条件，则节点的多项式样条函数就不连续。
接着，在步骤S603计算近似函数的近似误差e(j)(j＝0、1、…、M－1)。由下式计算该近似误差。
e(j)＝max|ν(j)k－F(j)tk，ti(tk)|
其中，使作为对象的k的范围为K≤k≤i。
在步骤S604判断各顶点的近似误差是否在许可范围内。也可以将所有顶点的许可误差的范围设定为相同，也可以设定在不同的范围。只要有1个在许可误差范围外，则进入步骤S605，如果都在许可范围内，则进入步骤S606。
在步骤S605将作为前一范围的tk至ti－1区间的近似函数确定为F(j)tk，ti－1(t)(j＝0、1、…、M－1)。
在步骤S606更新i值(i←i＋1)。像这样，在近似误差在许可范围以内的区间近似函数使用同样的函数，但如果许可误差变大，则再次进行最小平方，重新近似函数
步骤S607在结束判断处理中，如果没有输入新代表点的坐标值(或其差分矢量的分量值)，则结束处理，如果还输入代表点的坐标值(或分量值)，则再次进行从步骤S602的处理。
如果在步骤S607作结束判断，步骤S608将最后区间tk至ti－1区间的近似函数确定为F(j)tk，ti－1(t)(j＝0、1、…、M－1)。
另外，图7中只对X坐标进行了说明，但对Y坐标也进行同样的处理。另外，在步骤S604的误差判断中，也可以同时评价各顶点的所有X坐标和Y坐标的误差。
另外，代表点轨迹函数近似部104的处理有在每次得到与该物体区域有关的各帧的代表点的坐标值(分量值)时进行处理的方法(例如在每次得到各帧的代表点的坐标值(分量值)时进行近似，同时求出近似误差，设置使近似误差在一定范围内的节点，并适当分割近似区间的方法)和、在得到与该物体区域有关的所有帧的代表点的坐标值(分量值)之后进行的方法。
另外，在生成物体区域的代表点轨迹数据时，也可以将节点设为在所有代表点的所有坐标相同。例如，在近似代表点的坐标值(或分量值)时，在某个代表点的近似处理中误差超过基准值而设置节点时，也在其他所有代表点的近似处理中强制设置同一节点。
将这样得到的样条函数等近似函数按照预定好的数据形式记录到区域数据存储部106。
下面，说明存储在区域数据存储部106的物体区域数据的数据形式。另外，在此以用样条函数近似代表点的情况为例进行说明，但对于用其他函数近似代表点的情况也是相同的。
图8表示物体区域数据的数据形式的一例。
图形种类ID700特定用于近似物体区域的图形种类。例如，可以指定物体重心(CENTROID)、矩形(RECTANGLE)、椭圆(ELLIPSE)和多角形(POLYGON)等。
代表点数703表示由图形种类确定的代表点的个数(在此为M点)。
代表点轨迹704记述代表点的轨迹，只排列代表点的个数(M个)。在利用邻接代表点的矢量的轨迹记述基准代表点V0以外的代表点的情况下，分别在第1个代表点轨迹记述基准代表点V0的轨迹，在第2个代表点轨迹记述V0，1，在第3个代表点轨迹记述V1，2，在第M个代表点轨迹记述VM－2，M－1的轨迹。
另外，在对近似图形的基准代表点V0以外的代表点也可以与基准代表点同样求出记录近似函数时，分别在第1个代表点轨迹记述V0的轨迹，在第2个代表点轨迹记述V1，在第3个代表点轨迹记述V2，在第M个代表点轨迹记述VM－1的轨迹。
物体出现时间701是出现所要的物体的时刻、物体存在期间702是物体存在的时间长度。还可以用物体消失时间代替物体存在期间702。另外，也可以不用时间，而用帧序号、帧个数记述物体出现时间、物体存在期间。另外，由于701和702的信息也可以从代表点轨迹704内的节点时刻得到，所以也可以不记述。
另外，也可以从现实上图像中物体登场的帧和消失的帧确定物体出现时间/物体出现帧、物体存在期间/物体存在帧、物体消失时间/物体消失帧，也可以代替它，例如将图像中物体登场之后的任意帧序号作为最先帧序号，把在最先帧序号以后并且把图像中物体消失前的任意帧序号作为最终帧序号。
另外，也可以对物体区域数据附加作为赋予每个物体的识别号的ID号。
另外，也可以用多个近似图形数近似1个物体。此时，在物体区域数据包括例如用于近似的图形个数的图形种类ID、代表点数和代表点轨迹。
图9是图8的代表点轨迹的数据格式的具体例。
节点数N800示出表示代表点轨迹的样条函数的节点数。用时间表示对应于各节点的帧，并存储到节点时刻801。由于节点时刻有节点数，所以记述为数组802。同样，也将各节点的对于x坐标的坐标值(或可特定其差分矢量的x分量值等坐标值的量)、对于y坐标的坐标值(或可特定其差分矢量的y分量值等坐标值的量)分别记述为节点X803和节点Y805的数组804、806。
线性函数标志807表示作为节点间的样条函数是否只使用线性函数。只要有一部分使用2次多项式，就去掉该标志。由于通过使用该标志，在作为近似函数只使用线性函数时不记述任一个下面所述的函数特定信息808、812就可以，所以具有可以减少数据量的优点。另外，该标志不是非要不可的。
包括在函数特定信息的函数ID809、813，函数参数810、814分别表示多项式样条函数的次数和用于特定其系数的信息。这是例如在使用1次多项式时设定为1，在使用2次多项式时设定为2。当然，多项式的最高次数也可以大于3。由于在使用1次多项式时仅节点的信息就足够，所以没有记述函数参数，但在2次多项式时，将用于特定系数的1个值(例如，2次系数，或2次曲线上的节点以外的1点坐标值(在使用差分矢量时为分量值))记述为函数参数。存在比节点数少一个的函数特定信息，它们成为数组811、815并被记述。
至此所述的方法是在记述近似图形的基准代表点V0以外的代表点时求出邻接的代表点矢量，并将该矢量变换为近似函数。除了这种方法之外，还说明其他代表点，例如使用基准代表点V0的矢量的方法。
例如，如图10中所述，对基准代表点V0以外的代表点(在此，近似多角形的顶点)Vi计算V0到Vi的矢量V0，i。接着，在图7所述的处理中进行将ν(j)t(j＝1、2、…、M－1)置换为时刻t的V0，i的分量值的处理。
根据该方法，由于除了基准代表点V0以外的任何代表点都可以由基准代表点V0和1个矢量记述，所有具有不累积从记述数据所得到的值的误差的优点。
另外，如图11A所示，在从基准代表点V0的右侧求一半矢量、左侧求剩余矢量的方法，如图11B所示，设置多个用基准代表点V0的矢量表示的代表点，从它们求出在邻接代表点间的矢量的方法等，可以有各种变动。
另外，在近似图形的代表点为a(≥3)个时，将大于2、小于a－1的多个代表点分别作为基准代表点，并可以用差分矢量表示剩余的1个以上的代表点。
另外，在这些情况下，图8的物体区域数据的代表点轨迹704也只存在代表点个数(M个)。
下面，至此说明了在各帧中将基准代表点V0作为原基点用各种方法表示其他代表点的方不法，但下面说明用矢量表示连续帧中的代表点的移动量，通过将这些矢量的轨迹变换为近似函数来记述物体区域的方法。
图12中，1100是初始帧的物体近似图形(多角形)、1102是时刻t的帧的物体近似图形，1101是1102前一帧的物体近似图形。1103是时刻t的物体区域的1个代表点。1104是前一帧的1103的对应点。1105是1104至1103的移动矢量，表示时刻t的帧的代表点的移动量。由于按每个与各帧对应的时刻得到移动矢量，所以可以与上述同样用时间t的函数近似。
作为用这样的方法记述物体区域的处理，在图7中说明的流程中，将ν(j)t(j＝0、1、2、…、M－1)与时刻t的V’i的分量值置换即可。在此，V’i作为时刻t的Vi的移动矢量。该方法中，也用与V0和其他代表点的同样方法计算移动矢量，并变换成近似函数。
另外，使用这样的移动矢量的方法需要记述出现物体的帧的近似图形的所有代表点的坐标。因此，用该方法记述的(对应于图8的例子)数据格式成为图13所示。与图8的不同点在于赋予代表点初始位置1200。在代表点初始位置1200记述有初始帧的M个代表点的坐标值。作为此时的坐标值的记述方法原封不动地记述所有代表点的坐标值即可。另外，也可以采用只原封不动地记述1个代表点的坐标值，对于其他代表点的坐标，例如，如图5所示，记述从邻接的代表点的差分矢量的方法，或如图10中所述，用1个从代表点V0的差分矢量记述的方法等。
另外，作为另一物体区域信息记述方法，还可以直接求出从代表点初始位置至时刻t的代表点位置的移动矢量，并将它变换为近似函数并记述。
下面，说明如上所述的从与记述在物体区域数据的物体区域有关的信息中取出任意时刻T的物体区域的方法。该处理例如在处理图像数据及其物体区域数据的信息处理装置中执行。当然，这样的信息处理装置还能以在计算机上执行软件的形式实现。
图14是表示该情况的处理一例的流程图。
在此，说明利用从邻接的代表点的矢量的轨迹记述基准代表点V0以外的代表点的情况的例子。
步骤S901判断在给予的时刻T是否存在物体。它可以通过参考物体出现时间701和物体出现期间702容易判断。如果在时刻T物体不存在，则由于没有物体区域，从而直接结束处理。
步骤S902中，重新构成时刻T的近似函数F(j)ta，tb(t)(j＝0、1、…、M－1)。在此，设包括时间T的区间两端的节点时刻为ta和tb。近似函数可以由记述在图9的节点X803、或节点Y805的ta和tb的坐标值(或其差分矢量的分量值)、函数ID809和函数参数810重新构成。即，在近似函数使用1次多项式时，作为通过2个节点的直线求出。还有，在使用2次多项式，函数参数记述2次系数时，由函数参数值确定2次系数，确定不到2次的系数通过节点即可。
步骤S903中，在近似函数代入t＝T，求出时刻T的V0的坐标值和V1，2、V2，3、…、VM－2，M－1的分量值。
最后，在步骤S904通过依次代入V0、V1，2、V2，3、…、VM－2，M－1，计算V0、V1，2、V2，3、…、VM－2，M－1的坐标值。
根据这样求出的代表点，信息处理装置可以进行有关对象物体的各种处理，例如生成近似物体区域的图形、用特定显示形式显示物体的图像数据中的近似图形的范围，并将对质物体呈示给用户、用户在图像上用鼠标等定位设备等指示显示中的图像上的情况下，如果例如在该时刻(场)存在物体区域的近似图形，并且指示位置在近似图形的内部，则判断为该对象物体被指示等。
例如，在图8例示的物体区域数据附加了关联信息的情况、或与物体区域数据不同，存在包括对各物体的关联信息的数据库等的情况下，可以使用超媒体或物体检索。
超媒体中，通过用户用鼠标等指定该物体，判断所指定的时刻、场所在物体区域的内部，还是外部，如果判断为在内部，可以容易检索和显示有关该物体的关联信息。另外，当关联信息是记述了程序和计算机的工作的数据或其指针时，通过用户指定该物体，可以使计算机进行所定工作。
另外，本实施例中，图像和物体可以是任何形状的。例如，图像为电影等内容，物体为演员等登场人物或其他登场物体，关联信息为该演员或有关其角色等的说明，收看电影的观众通过只点击该演员图像，就可以阅览有关所要的演员的说明。同样，可适用于电子百科词典、电子编目等所有电子内容
另外，例如物体检索是可以将物体的通过位置、非通过位置、在某个位置的大小、在某个位置的停留时间等作为检索键检索符合条件的物体。对于任一检索键，从存在物体的时间区间逐一取出代表点坐标，可以判断任一点在代表点所构成的图形的内部还是外部，并通过计算面积判断是否满足条件。
另外，例如如果对关联信息记述关键字，可以用关键字检索物体。并且，如果对关联信息记述从该物体抽取的形状、纹理、动作、颜色等特征量，则可根据这样的特征量检索物体。
另外，例如根据分析物体区域数据而得到的物体的形状、纹理、动作、颜色等特征量，可以实现监视任一人物等的监视系统。
下面，说明图像数据和物体区域数据的提供方法。
在将由本实施例的处理生成的物体区域数据提供给用户使用时，需要从生成者侧向用户侧用某种方法提供物体区域数据。作为该提供方法也考虑了下面例示的各种方法。
(1)将图像数据、该物体区域数据和其关联信息记录在1个(或多个)记录媒体并同时提供的形式
(2)将图像数据和其物体区域数据记录在1个(或多个)记录媒体并同时提供，但另外提供或不提供(在即使例如不提供后者，用户也通过网络路径等可以另外取得的情况)关联信息的形式
(3)单独提供图像数据，另外将物体区域数据和关联信息记录在1个(或多个)记录媒体并同时提供的形式
(4)分别提供图像数据、物体区域数据和关联信息的形式
上述主要是利用记录媒体提供的情况，但另外还考虑用通信媒体提供一部分或全部的形式。
根据本实施例，由于将对多个帧通过的图像中的物体区域记述为近似了通过沿帧的行进排列该物体区域的近似图形的代表点的位置数据或可特定它的数据(例如，代表点间差分矢量值)而得到的轨迹的函数参数，可以只利用少量的函数参数记述多个帧的图像中的物体区域，从而可以有效减少用于特定物体区域的数据量，并可以(パンドリング)时处理容易。特别是在物体为刚体的情况下，相对位置比绝对位置变动少，函数近似其轨迹时可以用压缩的信息量记述。另外，还可以容易从近似图形抽取代表点、生成近似曲线(包括直线的情况)的参数。另外，可以减少通信该数据时的通信量。还可以容易从近似曲线的参数生成近似图形。如果用基本图形(例如多角形)代表该近似图形，则可以利用简单的判断式来判断用户指定的任意坐标是否在物体区域(近似图形)内(是否在指示的物体区域)。并且，这样可以使用户更容易指示图像中运动的物体，根据图像中的物体的通过位置、在某个地点的停留时间、或轨迹等，可以容易检索图像中的物体。另外，可以实现操作性好的起媒体应用。
下面说明本发明的另一实施例。对下面的实施例中的对应实施例1的部分附上同一参考数字，不作详述。实施例2
实施例2中说明实施例1中的图像中的物体除图像上的2维信息(代表点的X坐标值、Y坐标值)以外，还在物体区域信息包括内部方向的信息的情况。另外，实施例2主要说明与实施例1的不同点。
本实施例中，实施例1的物体区域信息生成装置需要用于得到更内部方向的信息(以下称为内部信息)的处理部。
首先，对于内部信息有用连续值(Z坐标值)给予的方法和用离散电平值(最好是在一定范围内的整数值)给予的方法。还有，在图像数据为拍摄的时，各值有根据实际检测被摄的对象的数据的方法和、用户等指定的方法。在图像数据为人工的时(例如为CG或动画片等)的时，有如果给予有关内部的值，则基于该值的方法和、用户等指定的方法。
另外，在上述的各场合中，具有将内部信息给予每个对象物体的方法和，给予对象物体的近似图形的每个代表点的方法。
另外，组合上述各方法，有将内部信息分别供给该物体的出现帧到消失帧的所有帧的方法和，分别供给该物体的出现帧至消失帧的所有所定区间(例如，邻接节点区间)的方法等。
在采用使用连续值的方法、并且供给每个代表点的方法，即采用将内部信息分别供给该物体的出现帧到消失帧的所有帧的方法的情况下，也对各代表点的Z坐标进行与实施例1的对象物体的近似图形代表点的X坐标和Y坐标的处理同样的处理即可(在代表点轨迹函数近似部104进行即可)。
此时，例如图15是物体区域数据(例如，图8和其变形等)的代表点轨迹的数据形式的一例。与图9的不同点在于在X坐标和Y坐标之上，附加有关作为内部信息的Z坐标的节点Z数组832、函数特定信息数组Z836。
还有，在采用使用连续值的方法、并且供给每个代表点的方法，即采用将内部信息分别供给该物体的出现帧到消失帧的所有帧的方法的情况下，代表点轨迹函数近似部104也对该对象物体的Z坐标值进行与实施例1的对象物体的近似图形代表点的X坐标值和Y坐标值的处理同样的处理即可。
此时，例如如图16所示，对物体区域数据(例如，图8和其变形等)附加内部信息705，即附加该对象物体的Z坐标值的轨迹即可。当然，还有附加关联信息等的结构。图16的物体区域数据中的代表点轨迹为如图9所示，例如图17为内部信息的数据形式的一例。图17和图9的不同点在于图17只记有Z坐标值。
另外，在上述的2个方法中作为内部信息不使用连续值，而使用电平值的情况下，由于可以假设在多个帧连续有同样的电平值，所以也可以例如在每次电平值变化时记述变化后的电平值和、该电平值变化的帧序号等。
另外，在将内部信息给予邻接节点区间时，由于假设与该物体的出现帧到消失帧的所有帧相比，邻接节点区间的区间数不那么多，所以也可以记述所有值和邻接节点区间的对应。
下面说明用于得到内部信息的处理部实际检测内部时的结构例。
在内部信息有像从摄像机的距离或设定在立体空间的坐标系的坐标的绝对位置信息和，像表示从最初的物体位置的移动距离或移动距离大小的数值的相对位置信息。
一般，由于从单个摄像机拍摄的图像中求出绝对位置信息是很难的，所以使用如文献“立体图像计测：井口，佐藤(昭晃堂)，P.20～52”所记载的特殊的距离传感器进行计测，或使用多个摄像机根据立体法进行计测而取得位置信息。但是在可以假设某个一定的拍摄条件时，从单个摄像机拍摄的图像中也可以求出位置信息。下面示出此时的一例。
例如，在进行道路监视时，如图18所示，用摄像机1300拍摄车1301。由于固定摄像机的情况多，所以可以先校正好摄像机1300。还有，将车通过的道路面看作平面，可以先计算好立体空间中的平面的方程式。在这些前提条件下，求出车轮胎部分接触地面1303的点1306的位置。在拍摄面1302上，如果在点1305的位置检测点1306，则通过求出经点1305的摄像机的视线1304和平面1303的交点，可得到点1306的位置。
另外，摄像机的视线1304可以从通过校正而得到的摄像机参数计算。设道路面为已知的，但也可以设车的减震器位置的高度为已知的。
例如，在处理图像数据及其物体区域数据的信息处理装置中，使用这些3维信息，可以检索在所指定的位置附近的物体。
图19示出表示这样的检索处理一例的流程图。
首先，在步骤S2700输入所指示的检索对象的位置信息(3维信息)。
在步骤S2701计算该位置和整个物体区域数据的物体所有的空间位置之间的距离。
对所有求出空间距离之后，在步骤S2702求出具有小于门限值的距离的物体并输出。另外，也可以不确定门限值，作为检索结果输出距离最小的物体。
另外，只从一般图像中求出图像中物体的绝对位置信息是很难的，但如图20A至图20B所示，从静止的摄像机拍摄向前开的车的图像中，通过现测车在图像面上的大小变化，例如可以求出比初始位置离摄像机更近还是更远的相对内部信息。下面示出此时的一例。
如图21所示，通常的摄像机光学系统可以利用基于针孔摄像机的透视变换模型记述。1600是摄像机的透镜主点，1601为拍摄面。设物体1602朝接近摄像机的方向移动。图22是将其从正上面往下看的图。如图22所示，如果设物体在保持平行于Z轴的状态下朝接近摄像机的方向移动，则在移动前1702和移动后1703中物体前面的拍摄图像比1704至1705更宽。由于物体与摄像机主点1700的距离越小，拍摄图像越大，所以利用拍摄图像的大小，可以表现相对位置的变化。例如，设物体的初始位置的拍摄图像的宽度为1，求与其后的拍摄图像的宽度比。由于可以将拍摄图像的宽度看成正比于离透镜主点1700的距离的倒数，所以求出其比值的倒数，并作为内部信息保持即可。此时，越接近摄像机值越小，越远值越大。另外，也可以不用宽度，而用拍摄图像的面积或物体表面的有特征的纹理面积。
例如，在处理图像数据及其物体区域数据的信息处理装置中，使用表示这些相对位置变化的信息，可以求出1个移动物体在被指定的距离存在的时刻。
图23和图24示出表示该情况下的处理程序的一例的流程图。
图23是用于实际进行检索的前处理的流程图，图23中归一化1个移动物体所保持的内部值。在步骤S2800设内部值的最小值为1，在步骤S2801中以最小值分割并归一化内部值。在步骤S2802判断所有内部值的归一化处理结束。
接着，图24的步骤S2900中，输入应检索的内部值(归一化值)。步骤S2901中，计算该输入值和各内部值的差，如果与所有内部值的比较结束(步骤S2902)，则输出其差最小的时刻(步骤S2903)。
像这样，根据实施例2，通过除作为平面信息的2维位置信息之外，给予有关内部的信息，可以进行考虑了内部方向的检索，例如用离摄像机的距离信息进行物体的检索。
实施例3
实施例3说明有关在实施例1或实施例2中，对于图像中的物体，在物体信息数据还包括与表示在图像上可以看到其物体(或其一部分)状态还是隐藏在另一物体的背后等而看不见的状态的显示标志有关的显示标志信息的情况另外，实施例3也主要说明与实施例1或实施例2的不同点。
本实施例中，有关显示标志的处理例如在代表点轨迹函数近似部104进行即可。
例如，如图25A～图25C所示，在图像中存在多个物体时，某个物体2101被另一物体2102隐藏或出现的情况多。为了记述该状态，在物体区域数据追加显示标志信息。
具有将显示标志供给每个对象物体的方法和，供给对象物体的近似图形的每个代表点的方法。
在将显示标志供给每个对象物体的情况下，在加有显示标志时，表示该物体没有被另一物体隐藏，在再生时，显示该物体。在没有加显示标志时，表示该物体被另一物体隐藏。在再生时，不显示该物体。
在将显示标志供给对象物体的近似图形的每个代表点时，如果1个对象物体的近似图形的所有代表点的显示标志为同一状态，则与上述同样，但如果加有显示标志的代表点和没有加显示标志的代表点混合在一起，则考虑该状况显示该物体(例如，只显示该物体的相应的一部分)。
显示标志设定在隐藏/出现物体的状况变化的每个关键点，在生成物体区域的代表点轨迹数据时被同时确定。另外，也可以与近似函数的节点无关地设置关键点，但也可以将关键点设定为一定成为节点。例如，具有在产生了关键点时强制性地将该点设为节点的方法。
在将显示标志供给每个对象物体时，关键点在从物体出现的状态转移到隐藏的状态时和，从隐藏的状态转移到出现的状态时被设定。图26的例子中，物体2201是出现到帧i为止，从帧i到j隐藏。在帧j之后再次出现时，在帧i和帧j设置关键点，并对帧i至j的显示标志设定隐藏状态，对除此之外的帧的显示标志设定出现状态。将显示标志供给对象物体的近似图形的每个代表点的情况也是同样的。
在作成代表点轨迹数据时，作成为在所有帧出现物体，在由于物体隐藏而不知代表点的信息时，通过由所知道的前后代表点的信息补充，作成代表点轨迹数据。接着，在生成代表点轨迹数据之后，根据物体出现还是隐藏设定显示标志。因此，即使物体隐藏或出现，也可以用一系列代表点轨迹数据表现1个物体。
下面，说明显示标志信息的变形。
通常，对各关键点间设定显示标志，但也可以对显示标志本身附加起始记时印记和结束记时印记。此时具有可以独立于关键点设定显示范围和隐藏范围的优点。
也可以在1个物体内具有1个显示标志，也可以每个代表点轨迹数据独立具有显示标志。例如，在用多角形表现物体，将其各顶点作为代表点并用轨迹数据表现物体时，通过各代表点轨迹数据独立具有显示标志，可以实现只隐藏物体的一部分等。
另外，显示标志不仅作为出现还是隐藏，也可以作为优先级取整数值。当物体之间重叠时，优先级低的物体被优先级高的物体隐藏。并只显示优先级高的物体。另外，设优先级0时为与其他物体无关地隐藏物体。
通过如上所述取整数值的显示标志，具有即使在图像中合成其他物体时等，也可以解决物体之间的隐藏问题的优点。在取整数值的显示标志时，也可以在1个物体内具有1个显示标志，也可以各代表点轨迹数据独立具有显示标志。
图27、图28是包括显示标志的物体区域数据的数据结构例。
图27是在对象物体附加显示标志的情况下的物体区域数据(例如，图8及其变形等)附加显示标志信息706的例子。当然，还有附加有关联信息等的结构。
图28是图27的显示标志信息705的数据结构的例子。
该例是在各显示标志2304具有起始记时印记2302和结束记时印记2303。显示标志数2301是显示标志的总数，在不利用起始记时印记2302和结束记时印记2303时，由于具有(关键点数-1)个显示标志，所以也可以省略显示标志数2301。显示标志2304是用0或1记述出现还是隐藏。但也可以取整数值的优先级。
另外，在分别对物体的近似图形的各代表点附加显示标志时，例如对各物体区域数据(例如，图8及其变形等)的各代表点轨迹附加显示标志信息。
图29是此时的代表点轨迹的数据结构的例子。图29的显示标志900的结构例与图28相同。
图30示出表示例如在处理图像数据及其物体区域数据的信息处理装置进行的检索时的处理一例的流程图。
首先，在步骤S251用户输入检索键，在步骤S253计算正在检索的物体区域的关键信息和检索键的距离。
在步骤S254判断是否是出现对应检索键的物体区域的显示标志的状态，并将显示标志为隐藏的状态时作为没有匹配。
在步骤S255在显示标志出现的状态下距离小于阈值时记录为匹配。
对所有物体重复该步骤，在步骤S252判断为计算完所有物体区域时，在步骤S256输出记录结果并结束。
如上所述，通过除物体区域的轨迹信息之外还附加表示是否封闭(即，是否可看见)的显示标志，可以不用与其他物体的关系计算而直接判断在再生时物体是否隐藏。在检索显示的物体时等，也可以考虑封闭而高效地进行检索。
实施例4
实施例4说明在实施例1、实施例2或实施例3中，在物体信息数据还包括表示图像中的物体通过在图像上出现至消失的图像上的范围的信息(以下，称为物体范围信息)的情况。另外，实施例4主要说明与实施例1、实施例2或实施例3的不同点。
另外，本实施例中还具有用于生成物体通过范围信息的处理部。
在用物体区域的代表点轨迹数据表示物体时，通常是利用多个轨迹数据表现1个物体。因此，在检索通过了指定点的物体时，需要从多个轨迹数据先计算物体区域，并判断区域是否包括指定点。但是，如果能不从多个轨迹数据先计算物体区域，就可以表现物体通过范围，则比较方便。
因此，本实施例中，生成如有关围绕整个物体轨迹的最小长方形或多角形的物体通过范围的信息，并将该信息附加给物体区域数据。
在利用长方形时，也可以利用有倾斜的长方形，也可以利用没有倾斜的长方形。在利用有倾斜的长方形时，具有可使近似物体区域轨迹的误差小的优点。在利用没有倾斜的长方形时，具有长方形的参数计算简单的优点。
图31A中，2402表示用没有倾斜的长方形近似2401的轨迹区域的例子。
图31B中，2403表示用有倾斜的长方形近似物体2401的轨迹区域的例子。
图31C中，2404表示用多角形近似物体2401的轨迹区域的例子。
在计算如围绕整个物体轨迹的最小长方形或多角形时，在求出各帧的物体区域之后，计算所有帧的区域的逻辑和，并用最小长方形或多角形近似所得的逻辑和的区域。
另外，在计算如围绕整个物体轨迹的最小长方形或多角形时，也可以用最小长方形或多角形近似围绕与已计算的帧有关的该物体区域的整个轨迹的最小长方形或多角形，将与应新追加的帧的该物体区域的逻辑和的区域。
另外，在计算如围绕整个物体轨迹的最小长方形或多角形时，也可以计算如围绕各代表点的轨迹的最小长方形或多角形，对于在整个轨迹得到的长方形或多角形区域的逻辑和，计算围绕它的最小长方形或多角形。
图32示出附带物体区域信息的物体通过范围信息的记述例。外接图形类型3401表示外接图形的类型。例如，0表示图31A所示的没有倾斜的长方形、1表示图31B所示的有倾斜的长方形、2表示图31C所示的多角形。在外接图形类型为0时顶点数N为2，1时为顶点数N为3，2时顶点数N成为任意数。在物体具有内部信息时，同样可以除内部轨迹信息之外还考虑3维外接图形。此时，如图33所示，追加与内部信息Z有关的信息。
图34示出例如在处理图像数据及其物体区域数据的信息处理装置中，当用户指定了某个坐标值(关于2维进行了说明，但对3维也是一样的)时，选出通过该坐标的物体的情况的处理一例的流程图。
在步骤S261输入用户应检索的坐标值，在步骤S262对各物体轨迹比较围绕整个轨迹的最小长方形或多角形和所输入的坐标值，并只抽取坐标在围绕整个轨迹的最小长方形或多角形内的物体。在物体个数为0的情况，1个的情况，多个情况下都可以得到。对于所抽取的物体，在步骤S263判断从代表点轨迹输入的坐标是否在物体区域(例如，近似图形的内部)内。
一般，由于比物体在代表点轨迹的内外判断，围绕整个轨迹的最小长方形或多角形物体的内外判断的一方计算量少，从而特别是在检索对象的物体个数多时，先判断围绕整个轨迹的最小长方形或多角形的内外判断的一方可以进行更高效的检索。
像这样，通过附带如围绕整个物体轨迹的最小长方形或多角形的信息，可以有效表现物体的通过范围，并可以简单地判断物体是否通过某个坐标等。
另外，为了提高检索效率，通过不仅用函数表现物体区域，还附带包括物体在时空间上存在的位置的图形，可以从检索候选中除去存在于完全不同的场所的物体。
实施例5
实施例5说明将本发明适用于镶嵌的情况。
镶嵌是将拍摄范围一部分重叠地拍摄的多个图像贴在一起，并合成拍摄了1个大范围的图像的方法。也将这样合成的图像称为全景图像提出了多个从多个图像利用镶嵌生成全景图像等的方法(M.Irani，P.Anandan，‘Video IndexingBased on Mosaic Representations’，Proceedings of the IEEE，Vol.86，No.5，pp.905-921，May 1998.等)。
本实施例的结构基本上与至此的各实施例同样，但本实施例的不同点在于不像至此的根据各帧的物体区域的近似图形的代表点的位置数据(各帧的坐标)进行近似，而是根据全景图像的各物体区域的近似图形的代表点的位置数据(整个全景图像的坐标)进行近似。
下面，主要说明与至比的实施例不同点。
图35是表示采用了镶嵌的物体区域信息记述方法的处理程序的一例的流程图。在图36A、图36B示出用于说明该方法的图。
另外，全景图像是其本身是1个图像，合成前的各静止图像的更像素是将全景图像的某个基准点(例如，在帧中为左下点)作为原点，进行坐标变换。从而，各静止图像的物体区域的近似图形的各代表点成为全景图像的坐标系的X坐标和Y坐标系列。本实施例中，与至此的实施例同样，用函数近似各静止图像的物体区域的近似图形的各代表点的X坐标和Y坐标的系列。此时，与至此的实施例同样，例如在1个静止图像内取差分矢量，或在静止图像之间取差分矢量，并函数近似该差分矢量的系列。
在步骤S1900从所输入的多个静止图像生成全景图像。这些输入图像组在图36A中相当于2000~2005，是一边移动摄像机，一边拍摄移动的物体的图像。2006是图像内的物体，并在2000～2005内拍摄有相同物体。这些图像组是活动图像中的连续帧或、使拍摄范围重叠地一边移动摄像机，一边拍摄的静止图像的情况多，但只要是可以生成全景图像的输入图像，任何图像都可以。
从这些输入图像细合成的全景图像是图36B的2007。
在步骤S1901用图形近似存在于已合成的全景图像内的各物体区域。另外，也可以按相反的顺序进行步骤S1900的全景图像生成和步骤S1901的物体区域的图形近似。但是，根据合成全景图像时的变换，有时需要变更物体区域的近似图形种类。例如，在用矩形近似物体区域时，如果利用仿射变换进行全景图像的合成，则合成后的物体区域不是一定成为矩形。此时，先进行全景图像的生成，或在全景图像合成的变换之后进行修正。
在步骤S1902用函数近似在步骤S1901求出的物体区域的近似图形的代表点或特征点的轨迹。物体区域的轨迹是先确定成为基准的物体区域。并利用与该区域的各物体区域的变化量求出。例如，在图36B中，以第1输入图像的物体区域2008为基准，设随后的物体区域的变化为轨迹2009。该例中，以物体区域的重心为代表点，但在使用矩形或椭圆等其他近似图形的代表点的情况和将其他特征点作为代表点使用的情况下也是同样的。
求从基准点的变化量的方法有使用对基准点的差分的情况和使用从前一物体区域的差分的情况但这些变化量可以同样进行函数近似。还有，不用代表点或特征点的移动，而用平行、旋转移动和仿射变换等运动模型近似从基准点的变化，并可以将物体移动记述为该变换系数的轨迹。此时也可以通过函数近似变换系数的轨迹来适用。
在步骤S1903中，按照上述数据结构体的格式记述近似步骤S1902求出的轨迹的函数的参数。
另外，通过将输入图像整体看作物体区域，也可以同样记述作为全景图像合成输入图像组的各图像时的各参数。
图37示出在物体区域信息附带的各参数的记述例。各参数是利用生成所用的图像帧的坐标和从该图像帧至全景图像的变换参数记述已生成的全景图像的坐标系的参数。在此，也可以将任一场所作为原点，但设在图像帧的坐标的左下有原点。还有，设用于镶嵌的帧的纵横长度为相同并且是已知的。合并坐标标志3601为是否记述使用了这样的全景图像的坐标系的物体的标志，在标志为0时表示通常的坐标系(即，在所有图像帧中左下原点)，为1时表示帧合并为全景的坐标系。模型类型M3602是表示将各帧变换为全景图像时的变换模型的类型。例如，在模型类型M为0时表示没有变化，2时表示平行移动，4时表示旋转、放大缩小，6时表示仿射，8时表示透视变换，12时表示2次拍摄变换。有与模型类型M的个数相同的参数。移动模型：    Vx(x，y)＝a1
          Vy(x，y)＝a2旋转/标度模型：Vx(x，y)＝a1＋a3x＋a4y
          Vy(x，y)＝a2－a4x＋a3y仿射模型：    Vx(x，y)＝a1＋a3x＋a4y
          Vy(x，y)＝a2＋a5x＋a6y透射模型：    Vx(x，y)＝(a1＋a3x＋a4y)/(1＋a7x＋a8y)
          Vy(x，y)＝(a2＋a5x＋a6y)/(1＋a7x＋a8y)二次型模型：  Vx(x，y)＝a1＋a3x＋a4y＋a7xy＋a9x2＋a10y2
          Vy(x，y)＝a2＋a5x＋a6y＋a8xy＋a11x2＋a12y2
在此，给予的用于进行变换的原点为X原点3603、Y原点3604。使用原图像帧的坐标系表示该原点。给予用于这样变换的原点是为了减少在变化时产生的误差。变换参数个数N3605与全景所用的帧数N相同。每个帧需要变换参数。帧间时间3606是从初始帧的帧间时间，参数集3607根据变换的模型类型记述M个参数。也使用该参数集变换并记述各帧中对象的轨迹。
根据本实施例，在摄像机一边跟踪物体区域一边拍摄的情况下，利用进行图像变换使连续帧连接地贴在一起的镶嵌生成全景图像，通过记述该生成的图像上的物体区域信息，即使摄像机移动，也可以在以镶嵌图像的某个点为基点的坐标系专门记述物体的区域信息。
在上述实施例2～实施例5说明了在具有实施例1的数据结构的物体区域信息还记述内部信息、显示标志、物体范围信息、用于全景变换的参数的实施例，但这些实施例不限于实施例1的物体区域信息，也可以在具有其他数据结构的物体区域附带信息。下面，说明对与物体区域信息的数据结构的变形有关的另一实施例也记述内部信息的情况下的例子。另外，在此只说明了内部信息，但很显然，也可以记述上述的显示标志、物体范围信息、用于全景变换的参数等。
实施例6
实施例1不是用近似物体区域的图形的代表点的坐标本身，而是用矢量记述代表点的轨迹。但在实施例6说明在记述代表点的坐标本身的轨迹时还附带内部信息。
实施例6的结构与图1所示的实施例1的结构相同。实施例1中用多角形近似物体区域，但如图38A至图38D所示，实施例6中示出用椭圆近似物体区域的方法。图38A至图38D相当于实施例1的图3A至图3C。使用作为代表点抽取椭圆的2个焦点v1、v2和椭圆上的1点v3的方法，用样条函数近似代表点的轨迹。
图39中示出在用平行四边形表示物体区域的情况下，求近似椭圆的方法的一例。图39的点A、B、C、D是作为物体区域的平行四边形的各顶点．此时，首先计算边AB和边BC中哪一个长．之后，求出将长边及其对边作为边的一部分的最小长方形。在图39的例子的情况下成为以点A、B’、C、D’为4个顶点的长方形。设近似椭圆为例如与内接该长方形的椭圆相似，并通过点A、B’、C、D’的外接椭圆。
接着，图3813中，vl、v2、v3是表现椭圆的图形代表点，具体是2个焦点v1、v2和1个椭圆上的点v3(图3813的例子中为短轴上的1点)。椭圆的焦点可以从2个轴上的点和椭圆的外接矩形简单求出。下面，作为—例说明图40的从长轴上的2点P0、P1和短轴上的1点H求出焦点F和G的方法。
首先，利用
E(P0，P1)＝2×a、
C＝(P0＋P1)/2、
E(C、H)＝b、
e＝(1/a)×(a×a-b×b) 求出作为长轴和短轴的参数的a、b、椭圆的中心C和扁平率e。
在此，E(P，Q)是点P和点Q的欧几里得距离。
从这样求出的参数，可以由
F＝C+e×(PO－C)
G＝C－e×(PO－C)求出焦点F和G。
这样，椭圆的代表点F、G和H被确定，但将这些点和在另一帧中取出的椭圆的代表点连接时，产生模糊。即，连接被抽取的2个焦点和前一帧的2个焦点的组合存在2个。还有，由于有2个短轴和长轴的交点，所以不知哪一个是与在前一帧抽取的椭圆上的一点对应的交点。因此，说明确定这些的方法。
设在前一帧抽取的2个焦点为FP、GP。为了判断对应FP的是F还是G,比较
E((GP－FP)/2，(G－F)/2)和
E((GP－FP)/2，(F－G)/2)。
如果前一个小，则将FP对应于F，GP对应于G．另一方面，如果后一个小，则相反，将FP对应于G，GP对应于F。
另外，设前一帧的短轴和椭圆的交点为HP，当前帧的短轴和椭圆的2个交点为H、H’。作为对应HP的点，通过算出2个距离
E(HP－(GP＋FP)/2，H－(F＋G)/2)和
E(HP－(GP＋FP)/2，H’－(F＋G)/2)确定选择H和H’的哪一个。
在前者小时选择H，否则选择H’。另外，开始的帧的短轴和椭圆的交点H是选择2个之中的哪一个都可以。
通过以上的处理取出的代表点由于图像中的关注物体的移动和拍摄摄像机的移动，一般在连续帧的位置不同。因此，在时间序列排列对应的椭圆的代表点，利用样条函数对每个X坐标、Y坐标进行近似。本实施例中，由于作为椭圆的代表点的F、G、H的3点的(参考图40)每一个需要X、Y坐标的样条函数，所以生成共计6个样条函数。
图38C的203是3维表现被近似的样条函数的图。图38D的204是作为代表点函数近似部104的输出的样条函数的一例(只示出1个代表点的1个坐标轴)。该例示出将近似区间分割为t＝0~5和t＝5～16的2个的情况(节点成为3个的情况)。
按照预定的数据形式，将这样得到的样条函数记录在区域数据存储部106。
如上所述，本实施例中，可以将近似图像中的物体区域记述为近似其近似图形的代表点的时间序列轨迹(设帧序号或记时印记为变量的代表点坐标的轨迹)的曲线的参数。
根据本实施例，由于只用函数参数就可以实现图像中的物体区域。从而可以生成数据量少，处理简单的物体区域数据。另外，还可以容易从近似图形中抽取代表点和生成近似曲线的参数。另外，还可以容易从近似曲线的参数生成近似图形。
另外，作为该近似图形采用基本图形，例如1个或多个椭圆，例如，如果用2个焦点和另一点代表椭圆，则可以利用简单的判断式判断用户指定的任意坐标是否在(是否在指示物体区域)物体区域(近似图形)内。并且，这样还可以使用户更容易指示图像中的运动物体。
下面说明存储在区域数据存储部106的物体区域数据的数据形式。另外，在此说明了用样条函数近似代表点的情况的例子，但用其他函数近似代表点的情况当然也是同样的。
在图41示出用于记录表示图像中的物体区域的样条函数和，关联附加给物体的关联信息的物体区域数据的数据形式的一例。
ID号400B是赋予每个物体的识别号。另外，也可以省略该数据。
起始帧序号401B和最终帧序号402B是定义该ID号的物体存在的最初和最后的帧序号，具体而言是在图像中物体登场至消失的帧序号。但是，现实上也可以不是在图像中物体登场至消失的帧序号，而是例如将在图像中物体登场之后的任意帧序号作为起始帧序号，也可以将在起始帧序号之后、并在图像中物体消失之前的任意帧序号作为最终帧序号。另外，也可以用起始/最终记时印记代替起始/最终帧序号。另外，也可以将最终帧序号402B置换为物体存在帧数或物体存在时间。
对关联信息的指针(以下，也称为关联信息指针)403B是记录有关联附加给该ID号的物体的关联信息数据的数据区域的地址等。通过使用对关联信息的指针403B，可以容易检索、显示与物体有关的关联信息。另外，对关联信息的指针403B也可以是记述了程序或计算机的工作的数据的指针。此时，如果用户指定该物体，则计算机进行所要的工作。
另外，例如在不需要根据物体进行不同的工作时，可以省略对关联信息的指针403B。
另外，在以下的说明中，说明在物体区域数据内记述对关联信息的指针的情况，但也可以在物体区域数据内记述关联信息其本身。另外，还可以在物体区域数据内任意记述对关联信息的指针和关联信息其本身。此时，附加表示在物体区域数据内记述的是对关联信息的指针还是关联信息其本身的标志即可。
近似图形数404B是近似物体区域的图形的个数。图38的例子中，由于用1个椭圆近似物体区域，所以图形数成为1。
近似图形数据405B是用于表现近似图形的图形代表点的轨迹数据(例如，样条函数的参数等)。
另外，只存在相当于近似图形数404B的个数的近似图形数据405B。以后再述存在2个以上的近似图形数404B的情况。
另外，在物体区域数据中，也可以使近似图形数404B一直为1(随之，近似图形数据405B也一直成为1)，从而省去近似图形数404B的字段。
下面，在图42示出图41的近似图形数据405B的数据结构的一例。
图形种类ID1300B是用于表示作为近似图形采用什么样的图形的数据，并特定圆、椭圆、矩形和多角形等。
代表点数1301B表示需要多少个代表由图形种类ID特定的图形的点。
1组代表点轨迹数据1302B、1303B、1304B是有关表现图形的代表点轨迹的样条函数的数据区域。1个图形代表点需要X坐标、Y坐标、Z坐标的样条函数数据。从而，只存在代表点数(M)×3个特定样条函数的代表点轨迹数据。
代表点的Z坐标也可以利用实施例2中说明的图18~图22的方法求出，也可以采用其他方法求出。
另外，也可以将使用的近似图形的种类预先限定为1个种类，例如椭圆。此时，还可以省去图41的图形种类ID的字段。
另外，在利用图形种类ID唯一特定代表点数时，还可以省去代表点数。
下面，在图43示出代表点轨迹数据1302B、1303B、或1304B的数据结构的一例。
接点帧序号1400B表示样条函数的节点，表示多项式的数据1403B至此节点是有效的。多项式的系数数据的个数根据样条函数的最高次数而变化(若设最高次数为K，则系数数据的个数成为K＋1)。因此，参考多项式次数1401B。在多项式次数1401B之后有相当于(多项式次数＋1)个数的多项式系数1402B。
另外，由于节点间是用其他多项式表现样条函数，所以需要对应接点数的个数的多项式。从而，多次重复记述包括节点帧序号、多项式的系数等的数据1403B。在节点帧序号与最终帧相等时，由于表示它是最后的多项式系数数据，从而可知代表点轨迹数据结束。
上述说明中对每个代表点记述了内部信息(在此，代表点轨述数据Z),但如实施例2的图16所示，也可以对每个对象物体记述1个内部信息。图44示出此时的数据结构。
除图形种类ID1300B、代表点数1301B、代表点轨迹数据组1302B、1303B之外，还记述内部信息1306B。该内部信息1306B示于图17。
下面，说明作为近似图形使用椭圆以外的图形的情况。
图45是用于说明作为近似图形使用平行四边形时的代表点的图。点A、B、C、D为平行四边形的顶点。由于只要确定其中3点，就可以唯一确定剩余的1点，所以作为代表点只取4个顶点中的3个顶点就足够了。该例中，将A、B、C的3点作为代表点。
另外，至此主要说明对1个物体分配1个图形，并粗略表示物体区域的例子，但还可以用多个图形近似1个物体，从而提高近似精度。图46是用多个图形近似1个物体的例子。该例中，利用600B至605B的6个椭圆表示图像中人的区域。
如图46所示，在用多个图形表示1个物体时，需要将物体分割为多个区域的处理。该处理可以用任何方法，但例如有用人手直接输入的方法。此时，例如可以用使用鼠标等定位设备在图像上用矩形或椭圆围绕区域。或由定位设备的轨迹指定区域等操作来实现。另外，在不用人手而自动进行时，例如有用物体运动的聚类实现的方法。在连续的帧之间物体中各区域作了什么样的运动是利用相关法(例如，参考图像分析手册，第II部第3章，东京大学出版会，1991)或勾配法(例如，参考Determining optical flow，B.K.P.Horn and B.G.SchuncK，Artificial Intelligence，Vol.17，pp.185-203，1981)等求出，只综合与这些运动相似的形成区域的方法。
通过分别对这样分割的各区域进行上述处理，可以生成近似图形数据。此时，由于应记述在1个物体的物体区域数据的样条函数根据近似图形的增加相应增大，所以，如图47所示，成为只包括相当于近似图形数404B的个数(此时，L个)的近似图形405B的数据结构。
另外，如上所述，在物体区域数据中，使近似图形数一直为1(随之，近似图形数据也一直成为1)，省去近似图形数的字段的情况下，为了用多个图形表示1个物体，在近似1个物体的各图形生成物体区域数据即可(这些具有相同的ID号)。
另外，本实施例中，在用多个图形表示1个物体时，采用同一图形，但也可以混合采多种图形。
进一步说明作为图形近似的变形例用矩形近似的方法。
图48A至图48C是与图38A至图38C相同形状的图，但在此是作为区域图形近似部采用利用矩形近似区域的方法，作为图形代表抽取部采用抽取矩形的4个顶点的方法，作为代表点函数近似部用利用样条函数近似的方法的情况的例子。
图48A示出2800B成为处理对象的图像中的1帧。2801B表示成为抽取对象的物体区域。2802B是用矩形近似物体区域。
在此，例如图49示出在图48A中求出矩形2802B时的处理程序的一例。即，例如光栅扫描帧2800B的掩模图像(步骤S60B)，在所有像素在物体区域内时(步骤S61B)，通过对所有像素重复检查如果X坐标和Y坐标的每一个比至此保存的最小值小时，则更新最小值，如果比至此保存的最大值大时，则更新最大值(步骤S621B)，只要分别对X坐标和Y坐标求出表示物体区域的像素位置的最小值和最大值，则可以得到矩形2802B的4个顶点坐标。
但是，有时用椭圆比用矩形表现物体区域更合适。图50示出在用矩形表示物体区域时，从其矩形求出近似椭圆的方法的一例。图51示出此时的处理顺序的一例。
图50中，设得到对象物体区域3300B和外接矩形3301B。
首先，求出近似矩形的内接椭圆和外接椭圆(步骤S80B)。
在图50中，椭圆3302B是矩形3301B的内接椭圆，椭圆3303B是矩形3301B的外接橢圆。
接着，将内接椭圆3302B的大小渐渐接近外接椭圆3303B(步骤S81B)，求出包含所有物体区域的椭圆3304B(步骤S82B)，并作为近似椭圆。另外，在重复处理中，一次放大内接椭圆3302B的大小的单位也可以是预定的，也可以根据内接椭圆3302B的大小和外接椭圆3303B的大小的差分确定。
另外，与上述相反，也可以将外接椭圆3303B的大小渐渐接近于内接椭圆3302B。此时，由于外接椭圆3303B最初就包含所有物体区域，所以例如在重复处理中，将生成最初没有包含在物体区域的部分的椭圆的前一个椭圆作为近似椭圆即可。
下面，说明与图42、图43中例示的近似图形数据结构和代表点轨迹数据不同的数据结构。
图52、图53是近似图形数据和代表点轨迹数据的记述格式的另一例。另外，图52、图53中对代表点轨迹数据的部分只示出1个代表点。实际上是对应代表点的个数而记的。
在此，设多项式的最高次数为2次进行说明。
相对于在上述的例子(图41、图42、图43)记述所有多项式样条函数的系数，在此的记述方法是组合样条函数的节点坐标和、与样条函数的2次系数相关的值来记述的。该方法的优点是由于可以容易取出节点，所有可以简单知道大体的物体轨迹。
下面，详细说明该记述方法。
图52、图53中，图形种类ID3900B特定用于近似物体形状的图形种类。例如，可以指定物体的重心(CENTROID)、矩形(RECTANGLE)、椭圆(ELLIPSE)或这些组合。代表点数3901B表示由图形种类确定的代表点轨迹的个数。
节点数N3902B示出表示代表点轨迹的样条函数的节点的个数。用时间表示对应各节点的帧，并存储到节点时刻3903B。由于只有设定个数的节点时刻3903B，所以记述为数组3904B。
同样，也分别将x坐标、y坐标、z坐标记述为节点X3905B、节点Y3907B、节点Z3909B的数组3906B、3908B、3910B。
一次函数标志3911B表示作为节点间的样条函数是否只使用一次函数。只要有一部分采用2次以上的多项式时，去掉该标志。通过使用该标志，由于在作为近似函数只使用一次函数时不记述以下说明的函数特定信息3912B、3916B、3920B的任一个也可以，所以具有可以减少数据量的优点。另外，该标志不是一定需要的。
包含在函数特定信息3912B、3916B、3920B的函数ID3913B、3917B、3921B、函数参数3914B、3918B、3922B分别表示多项式样条函数的次数和用于特定其系数的信息。
在X、Y、Z坐标的每一个存在(节点数-1)个函数特定信息，这些成为数组并记述。
另外，上述说明了多项式的最高次数为2次，当然多项式的最高次数也可以大于3。
图52、图53是对每个代表点记述了内部信息，但如实施例2的图16所示，也可以对每个对象物体记述1个内部信息。图54、图55示出此时的数据结构。
与图8同样，图54所示的物体区域数据包括图形种类ID700B、物体出现时间701B、物体存在期间702B、代表点数M703B、代表点轨迹704B、内部信息705B。如图55所示，代表点轨迹704B从图52、图53所示的近似图形数据中省略了图形种类ID3900B、代表点数3901B、节点Z数组3910B、函数特定信息数组3923B。
实施例6在记述近似物体区域的图形的代表点坐标的轨迹时，说明了还附带实施例2的内部信息的例子，但可知，实施例3(显示标志)、实施例4(物体范围信息)、实施例5(用于全景变换的参数)也可以同样适用于记述近似物体区域的图形的代表点坐标本身的轨迹的情况。
实施例7
实施例7说明用参考帧的参考物体区域和、从该参考物体区域至任意帧的物体区域的变换参数表现任意帧的物体区域时还附带实施例2的内部信息的例子。
图55表示实施例7的物体区域信息生成装置的结构例。该物体区域信息生成装置具有图像数据存储部2C、物体区域处理部4C、变换参数算出部6C、函数近似部8C和物体区域数据存储部10C。
图像数据存储部2C由于存储图像数据，所以例如由硬盘、光盘或半导体存储器等构成。另外，图像数据存储部不必与其他处理部在同一侧，也可以经因特网等配置在远处。
物体区域处理部4C进行用于得到成为基准的帧的物体区域(参考物体区域)或成为对象的帧的物体区域(对象物体区域)的处理。
变换参数算出部6C进行根据参考物体区域计算对象物体区域的变换参数的处理。
函数近似部8C对各物体区域的变换参数进行将其时间序列轨迹近似为时间函数的处理。另外，如后所述，在记述变换参数本身时，不需要该函数近似部8。
物体区域数据存储部10C存储包括表现对各变换参数近似了其时间序列轨迹的函数式的数据的物体区域数据。
另外，本实施例中，最好进行参考物体区域的更新处理，但图56中省略了该部分。
图像数据存储部2C和物体区域数据存储部10C可以由不同的存储装置、存储媒体构成，但也可以是其全部或一部分由同一存储装置、存储媒体构成。
另外，本物体区域信息生成装置还能以在计算机上执行软件的形式实现。
图57示出本实施例的物体区域信息生成装置的处理顺序的一例。
首先，在步骤S101C进行输入图像中的所有帧的物体区域(设它是已知的)的处理。例如，在经GUI输入的情况下，由鼠标或触感开关面板等定位设备指定成为处理对象的图像中的物体轮廓。也可以将手动输入的物体轮廓内部作为物体区域，另外，也可以利用被称为Snakes的活动轮廓模型(例如参考M.Kass，A.Witkin and D.Terzopouls著、[Snakes：Activecontourmodels]、Processdingsof the 1st International Conference on Computer Vision，pp.259-268，1987年)的方法将所输入的轮廓调整到图像中的物体轮廓线，并将调整后的轮廓作为物体区域。另外，也可以代替手动输入而利用图像处理自动求出，还有，在与物体区域有关的数据已存在时，也可以读入该数据。
至少将该物体区域中的一个登录为参考物体区域。作为登录方法有生成物体区域内对应1、区域外对应0的2值位图并存储的方法。
另外，将包括在参考物体区域的帧登录为参考帧。
接着，在步骤S102C进行计算从参考物体区域至成为处理对象的1个帧的物体区域(以下，称为对象物体区域)的变换参数的处理。
该处理例如可以通过组合对象物体区域内的光流算出处理和从光流的变换参数算出处理2个处理来实现。对象物体区域内的光流计算处理是计算从参考帧到当前帧的物体区域内的各像素(或由多个像素构成的块)的运动(光流)处理。
图58示出求各帧的物体区域内的光流的处理例的概要。
图58中，201C表示参考帧、202C表示参考帧的下一帧、203C表示帧202C的下一帧。204C、205C、206C是各帧的物体区域。207C是从帧201C至帧202C的物体区域的光流。还有，208C是从帧201C至帧203C的物体区域的光流。
像这样，求出光流的方法由于使参考物体区域和任意帧的物体区域直接相关，所以算出任意帧的物体区域，或判断被指定的坐标在物体内部还是外部的处理容易。
图58的例子中求出了从参考帧到当前帧的物体区域内的各像素(或由多个像素构成的块)的光流，但也可以取代它求出从前一帧到当前帧的物体区域内的各像素(或由多个像素构成的块)的光流。图59示出此时的处理例的概要。
图59中，301C表示参考帧、302C表示参考帧的下一帧、303C表示参考帧302C的下一帧。304C、305C、306C是各帧的物体区域。307C是从帧301C至帧302C的物体区域的光流。还有，308C是从帧302C至303C的物体区域的光流
这样的光流的计算方法与图58的方法相比参数变动少，但计算任意帧的物体区域麻烦。使用图58和图59的哪一方法都可以，但本实施例中继续说明用图58的方法计算光流的情况。
另外，提出了多个求光流的具体方法(例如参考J.L.Barron，D.J.Fleet andS.S.Beauchemin著、[Performance of Optical Flow Techniques]、InternationalJournal of computer Vision，vol.12，no.1，pp.43-77，1994年)，可以用任何方法。
另外，也可以代替光流使用由模板匹配求出的移动矢量，模板匹配是选择多个参考物体区域内的特征点，并将以这些特征点为中心的块作为模板。
下面，进行从光流计算变换参数的处理，但所求的变换参数根据作为前提的变换模型而不同。
本实施例中，设
作为参数个数为1的模型，可以选择“放大缩小模型”、“旋转模型”、
作为参数个数为2的模型，可以选择“平行移动模型”、
作为参数个数为4的模型，可以选择“放大缩小/旋转/平行移动模型的组合模型”(在此称为4-参数变换模型)、
作为参数个数为6的模型，可以选择“仿射变换模型”、
作为参数个数为8的模型，可以选择“投影变换模型”
作为参数个数为12的模型，可以选择“抛物线变换模型”。
数学式(1)至数学式(7)是用数学式表示这些模型的式。x’＝a0x，y’＝a0y                             (1)x’＝xcosa0－ysina0，y’＝xcosa0＋ysina0                 (2)x’＝x＋a0y’＝y＋a1                           (3)x’＝a0x＋a1y＋a2y’＝a1x－a0y＋a3                  (4)x’＝a0x＋a1y＋a2y’＝a3x＋a4y＋a5                            (5)x’＝(a0x＋a1y＋a2)/(a3x＋a4y＋1)y’＝(a5x＋a6y＋a7)/(a3x＋a4y＋1)         (6)x’＝a0x2＋a1xy＋a2y2＋a3x＋a3y＋a5y’＝a6x2＋a7xy＋a8y2＋a9x＋a10y＋a1    (7)
数学式(1)相当于放大缩小模型、数学式(2)相当于旋转模型、数学式(3)相当于平行移动模型、数学式(4)相当于4-parameter变换模型、数学式(5)相当于affine变换模型、数学式(6)相当于拍摄变换模型、数学式(7)相当于parabolic变换模型。数学式中，设参考物体区域中的坐标为(x、y)，对象物体区域的物体对应点的坐标为(x’、y’)。假设在各变换模型中，如各数学式，可以用a0～a11的参数实现两个帧的对应点的关系。当然，也可以用上述模型以外的参数模型。
变换参数的计算可以采用最小平方法。这是使将利用光流求出的(x、y)和(x’、y’)的组合代入变换模型数学式时产生的误差的平方和最小来确定变换参数的方法。该方法可以用古典方法、行列运算容易执行。
接着，在步骤S103C进行将算出的物体区域的变换参数变换(近似)为时间函数的处理。
即，将某个时间段的n个变换参数ai(0≤i≤n－1)(例如，n＝12)表现为
ai＝fi(t)    (fi(t)为时间t的函数)。
该时间段是包括使用同一参考物体区域计算出光流的帧的时间段。另外，可以设fi(t)为多项式、样条函数、常数等。
图60示出用函数表现从光流算出的(某1个)ai的情况。图60中，401C表示成为函数表现的对象的时间段、402C表示从光流算出的ai值、403C表示表现ai的函数ai＝fi(t)。
像这样，由函数表现的优点是可以减少记述物体区域的数据。例如，如果作为函数使用2次以下的多项式，则由于该函数可以由3个实数实现，所以用3个实数就足以记述某个整个时间段的所有参数值。
在将表现参数的函数作为多项式或样条函数时，确定为使成为变换对象的时间段的ai值和fi(t)计算的值的误差小。例如，如果利用最小平方法，则可以容易计算。
另外，求该近似函数的处理例如也可以每次在得到与该物体区域有关的各帧的参数值时进行(例如，每次在得到各帧的参数值时进行近似，同时求出近似误差，使近似误差在一定范围内地适当分割近似区间的方法)，也可以在更新参考物体区域而确定参考物体一定区间之后一块进行。
后面再更具体说明该步骤S103C的处理顺序。
接着，在步骤S104C进行更新参考物体区域的必要性的判断处理。
本实施例用参考帧的参考物体区域和参考物体区域的变换参数表现任意帧的物体区域。但是，当要表现的物体区域和参考物体区域的形状相差大时，即使利用变换参数移动/变形参考物体区域，也不能得到近似于要得到的物体区域的形状。此时，将参考物体区域变更(更新参考区域)为另一帧的物体区域是更有效的。因此，本实施例中，在步骤S104C判断是否需要这样的变更。
该判断例如可以采用由某个帧的实际物体区域和预测物体区域的误差是否超过预定的门限值判断的方法。预测物体区域是采用变换参数从参考物体区域计算出的某个帧的物体区域。用于变换的变换参数采用从时间函数ai＝fi(t)计算出的值。并且，作为实际物体区域和预测物体区域的误差例如可以使用两个区域的公共部分的面积与不是公共部分的面积之比。
接着，在前一步骤S104C的判断处理中确定为更新参考物体区域时，步骤S105C进行参考物体区域更新处理。该处理基本上与步骤S101C的处理相同。即，是作为参考帧登录成为计算当前步骤S102C的变换参数的处理对象的帧，并生成表现参考物体区域的2值位图的处理。还有，作为参考物体区域登录参考帧的物体区域。
接着，在步骤S106C判断图像中的物体区域的记述处理是否结束。作为该判断基准例如有是否是视频终端，是否是物体区域存在区间的终端，用户是否指示了结束等。到步骤S106C判断结束为止，对每个帧重复执行步骤S102C至步骤S104C或步骤S105C的处理。
接着，在步骤S107进行按照预定的记述格式记录由至此的处理计算的物体区域的记述信息(近似变换参数的函数参数)的处理。记录场所为例如计算机的内部或外部的半导体存储器、磁带、磁盘、光盘等物体区域数据存储部10C。
图61示出本实施例的对1个物体区域的物体区域数据的记述格式的一例。
图61中，501C为物体ID，即赋予物体的物体固有的识别信息(例如，序号或记号)。
502C为参考物体区域一定区间数，即具有同一参考物体区域的帧区间的个数(图61中为N)。它也与参考帧的个数相同。
503C和504C分别是物体区域存在区间的起始时刻和结束时刻。这些由时刻或帧序号记述。也可以代替结束时刻采用物体区域存在区间的长度(时间或帧序号的差分值)。
505C是物体区域记述信息。物体区域记述信息505C是按每个参考物体区域区间记述，即，只记述参考物体区域区间数(图61的例子中为N个)。
511C是该物体区域的内部信息，其具体如图17所示。
各物体区域记述信息505C的具体内容示于图61中的506C～510C。
506C和507C分别是参考物体区域区间的起始时刻和结束时刻。这些由时刻或帧序号记述。可以用参考物体区域区间的区间长度置换结束时刻。
508C为变换模型ID。它是用于特定采用放大缩小模型、affine变换模型、parabolic变换模型等中的哪一个模型记述物体区域的ID。
511C为原点坐标，是确定将图像中的哪里作为变换模型的原点坐标。在有将参考物体区域的重心位置一直设为原点等的规则时，可以省略原点坐标数据。
509C为参考物体区域信息，即用于特定参考物体区域的信息。具体是表示参考帧的时刻(或帧序号)、参考物体区域的位图数据(或对位图数据的指针)。另外，由于位图数据的数据量大，所以最好压缩保存。
510C为变换参数信息。只记述由变换模型(变换模型ID)确定的参数个数(图61的例中为M个)的变换参数信息。变换参数具体是表示各帧的参数值的数组和、特定近似参数的函数的信息(系数值等)等。以后再具体说明变换参数信息。
通过上述处理，可以将图像中的时空间上变化的物体区域记录为简单的记述数据。
在上述说明中，用位图表示物体区域，计算从参考物体区域至成为处理对象的帧的物体区域(对象物体区域)的变换参数，但也可以用近似图形近似物体区域，算出从参考物体区域的近似图形的各代表点至成为处理对象的帧的物体区域(对象物体区域)的近似图形对应的各代表点的变换参数。下面说明该例。
图62示出物体区域信息生成装置的结构例。该物体区域信息生成装置具有图像数据存储部2C、物体区域处理部4C、图形近似部5C、变换参数处理部6C、函数近似部8C、物体区域数据存储部10C。是对图56的结构追加图形近似部5C的图。图形近似部5C进行用近似图形近似物体区域。并求出该近似图形的各代表点的处理。变换参数算出部6C是根据成为基准的参考帧的参考物体区域的近似图形的代表点，计算至成为对象的帧的对象物体区域的近似图形的代表点的变换参数。函数近似部8C对各物体区域的近似图形的代表点的变换参数将其时间序列的轨迹近似于时间函数。当然，本物体区域信息生成装置也能以在计算机上执行软件的形式实现。
图63示出该物体区域信息生成装置的处理顺序的一例。
步骤S301C是与图57的步骤S101C相同的处理。
步骤S302C是在整个物体区域存在区间利用预定的图形近似物体区域的处理。
图形近似物体区域的处理中，例如查找围绕物体区域的尽可能小的近似图形。作为用于近似的图形可以采用没有倾斜或有倾斜的矩形(正方形、长方形)、平行四边形、没有倾斜或有倾斜的椭圆(包括圆)、多角形等各种图形。另外，区域的近似方法也有近似为外接区域的图形的方法、近似为内接区域的图形的方法、以区域的重心为近似图形的重心的方法、使区域和近似图形的面积相等的方法、使区域和近似图形不重叠的部分的面积最小的方法等各种方法。
另外，也可以是不用预定的图形近似物体区域，而是用户对每个对象物体(对象)指定图形的种类，也可以对每个对象物体根据其物体形状等自动选择图形种类。
另外，求出近似物体区域的图形近似的处理也可以是按每个帧进行，或也可以使用对象帧的前后数帧的物体区域进行。在后者的情况下，通过在数帧之间平滑近似图形的大小和位置等的变化，可以平滑近似图形的运动和变形和，使物体区域的抽取误差不大。另外，近似图形的大小在每个帧中不同的。
如果求出物体区域的近似图形，则进行抽取表现该近似图形的代表点的处理。取什么样的点为代表点是根据采用什么样的近似图形而不同。例如，在近似图形为矩形时，可以设4个或3个顶点为代表点，在近似图形为圆时，可以设中心和圆周上的一点或直径的两个端点为代表点。另外，在椭圆时，将椭圆的外接矩形的顶点，或2个焦点和椭圆上的1点(例如短轴上的1点)作为代表点即可。在近似任意闭多角形时，需要将各顶点作为图形的代表点。
代表点的抽取是以帧单位每次在得到1个帧的近似图形时进行的。另外，各代表点由水平方向的x坐标和垂直方向的y坐标表示。
在用平行四边形表示物体区域时，求近似图形的方法的一例与图39所示的相同。
作为表现椭圆的图形代表点，求出2个焦点和1个椭圆上的点的方法的一例与图40所示的相同。
另外，作为近似图形还可以采用平行四边形或任意形状的多角形。
在该步骤S302C设定参考物体区域和参考帧。参考物体区域是物体区域存在区间的起始帧(参考帧)的物体区域近似图形。另外，同时存储参考物体区域近似图形的代表点的位置。
接着，在步骤S303C使作为处理对象的帧的物体区域近似图形的代表点和参考物体区域近似图形的代表点对应。
图64示出对应代表点的方法的一例。图64中，1000C为近似矩形(多个)的重心。图64中，得到参考物体区域近似图形1001C和对象物体近似图形1002C。
首先，平行移动近似图形1001C和近似图形1002C中的某一个，并使重心位置一致(图64是使重心位置一致的状态)。
接着，计算各矩形的顶点之间的距离d1～d4，并用所有顶点的组合求距离和。
接着，求出距离和为最小的组合，并对应。
另外，有时用该方法难以对应。例如，在近似矩形为接近正方形的形状且旋转移动45度的情况下，很难对应(在如2的组合中距离和为相同值)。因此，在那样的情况下，采用取近似图形内的物体区域之间的排他逻辑和，其面积成为最小的组合的方法、或求出物体区域的纹理的绝对差分，求出差分值为最小的组合的方法等即可。
在步骤S304C从物体区域近似图形的代表点的移动矢量计算变换参数。
该处理中，代替光流采用代表点的运动，由与图57的步骤S102C相同的处理计算变换参数。但是，由于代表点的个数少，所以不一定求出变换参数。例如，矩形、椭圆、平行四边形有3个代表点，但不能从该3个移动矢量求出拍摄变换模型的8个参数。图65示出用于近似的图形种类和可以求出变换参数的变换模型的关系。图65中的○是可以算出参数的组合、×是算不出的组合。
步骤S305C是用时间函数近似步骤S304C求出的变换参数的处理，是与图57的步骤S103C相同的处理。
步骤S306C是判断是否有必要更新参考物体区域的处理。该处理中，首先用变换参数变换参考物体区域。并计算当前帧的预测物体区域。当然，即使在由变换参数只变换参考物体区域的代表点，并构成由变换后的代表点特定的图形的情况下，也可以同样算出预测物体区域。接着，计算预测物体区域和当前帧的对象物体区域近似图形的误差，并利用门限值处理判断是否进行参考物体区域更新。
步骤S307C是在步骤S306C中判断为需要更新参考物体区域时实际进行更新的处理。将处理对象的帧作为参考帧，作为新的参考物体区域存储该帧的物体区域近似图形，并同时还保持参考物体区域的代表点的坐标值。
与图57的步骤S106C同样，步骤S308C判断图像中的物体区域的记述是否结束。
与图57的步骤S107C同样，步骤S309C是按预定的记述格式记录算出的物体区域的信息(近似变换参数的函数的参数)的处理。
图66示出物体区域数据的记述格式的一例。该记述格式除图形信息1109C之外，与图61例示的记述格式相同。代替图61的参考物体区域信息509C的图形信息1109C由特定图形种类的ID和参考物体区域的近似图形的代表点坐标构成。图66中的M表示由ID特定的图形所需的代表点个数。
以上是对于某一个物体区域将所有帧作为对象求出变换参数，但也可以对求变换参数的帧进行取样。例如，每3帧只取样1个帧，从帧1使用参考物体区域，从帧4、7…分别使用对象物体区域等。
另外，在用时间函数表现变换参数，并将特定该函数的信息记述在物体区域数据的情况下，与至此相同，用其取样的参数值进行函数近似即可。另外，不需要在物体区域数据包含有关取样的信息。
另一方面，在将变换参数的值直接记述在物体区域数据的情况下，例如，(1)适当补充该没有抽取的帧的参数值(例如，记述与刚刚取样的帧相同值)，使物体区域数据与图61相同，或(2)如图67所示，使物体区域数据具有取样信息520C，在已取样时只记述该取样的帧的参数值，在取样信息520C记述可特定取样方法的信息(例如，作为表示每n帧取样1次的信息的数值n(但是，例如n＝1时表示从所有帧中取样))即可。另外，方法(2)中，在使用该物体区域信息时，通过参考取样信息520，可以根据需要补充没有取样的帧的参数值。
下面说明将1个物体(对象)分成多个区域生成物体区域数据的方法。至此对1个物体求出1个变换参数。但是，在可看见的形状变化大的物体的情况下，有时将物体分割为几个区域，并对各区域采用变换参数更好。例如，步行的人是头和身躯部分运动少，但手脚运动大。比将人看作1个物体，而分割为头/身躯/手/脚的不同区域可以稳定求出各部分的变换参数。
在用多个图形表示1个物体时，需要将物体分割为多个区域的处理。该处理可以使用任何方法，但例如有用人手直接输入的方法。此时，例如可以通过使用鼠标等定位设备，在图像上用矩形或椭圆围住区域，或由定位设备的轨迹指定区域等操作来实现。另外，在不用人手而自动进行时，例如有用物体运动聚类实现的方法。该方法是可以由相关法(例如参考图像分析手册，第II部，第3章，东京大学出版会，1991)或勾配法(例如参考Determining optical flow，B.K.P.Horn and B.G.Schunk，Artificial Intelligence，Vol.17，pp.185-203，1981)等求出在连续帧之间物体中的各区域怎样运动，并只综合与这些运动相似的并形成区域的方法。
图68示出综合近似光流程部分并进行区域分割的情况。
另外，图69示出用于用多个区域记述物体的数据结构的一例。它是放大在单个区域记述物体的数据结构(图66)的图，小于2906C的数据与图66相同。在2902C保持分割的区域的个数，在2905C之后保持各区域的数据。
实施例7说明了用参考帧的参考物体区域和该参考物体区域至任意帧的物体区域的变换参数来表现任意帧的物体区域的情况下，还附带实施例2的内部信息的例子，但可知实施例3(显示标志)、实施例4(物体范围信息)、实施例5(用于全景变换的参数)也在作为这样的信息记述的物体区域数据也可以同样附带。
本发明不限于上述实施例，可以进行各种变形并实施。例如
另外，至此的各实施例中，作为近似物体区域的图形的代表点采用了用于特定近似图形的信息，但也可以代替它，将从图像中的物体区域取出的多个特征点作为图形的代表点。考虑了各种特征点，但例如考虑了物体的角(例如，Gray-level corner detection，L.Kitchen and A.Rosenfeld，Pattern RecognitionLetters，No.1，pp.95-102，1982的方法等)、物体的重心等。另外，在将物体重心作为特征点时，最好是先指定要成为重心的点的周围之后自动抽取。另外，在该方法的情况下，由于特定近似图形的信息不够，所以不能从物体区域数据特定近似图形本身，但在上层处理装置侧的处理变得简单。此时的物体区域数据的记述形式(格式)与上述例相同，单是“近似图形数据”成为“特征点数据”、“代表点数”成为“特征点数”、“代表点轨迹数据”成为“特征点轨迹数据”，而不需要近似图形和图形种类ID的字段。
另外，本发明也可以作为记录了对计算机执行所定手段的(或用于使计算机起所定手段的功能的，或对计算机实现所定功能的)程序的计算机可读取的记录媒体实施。
根据本发明，通过将图像中的成为对象的物体区域记述为近似通过沿帧的行进排列对该物体区域的近似图形的代表点的位置数据或可特定它的数据而得到的轨迹的函数的参数，可以用较少的数据量记述图像中的所要的物体区域，并且还可以使其生成和其数据处理简单。
另外，根据本发明，可以高效、有效地检索图像中的物体。

Claims (26)

1.一种物体区域信息记述方法，用于对连续的多个帧记述与图像中的任意物体的区域有关的信息，其特征在于：
用图形近似上述任意物体的区域。
抽取表示该图形的多个点，
用函数近似通过沿帧的行进排列上述多个点中的一点的位置数据和、用与其他点的相对关系表示剩余点的位置的相对位置数据而得到的轨迹。
使用该函数的参数记述与该物体区域有关的信息。
2.一种物体区域信息记述方法，用于对连续的多个帧记述与图像中的任意物体的区域有关的信息，其特征在于：
用图形近似上述任意物体的区域。
抽取表示该图形的多个点，
用函数近似通过沿帧的行进排列出现该物体的初始帧的近似图形的上述多个点的位置数据和、用与上述初始帧的点的相对关系表示另一帧的对应点的位置的相对位置数据而得到的轨迹，
使用该函数的参数记述与该物体区域有关的信息。
3.一种物体区域信息记述方法，用于对连续的多个帧记述与图像中的任意物体的区域有关的信息，其特征在于：
用图形近似上述任意物体的区域。
抽取表示该图形的多个点，
用函数近似通过沿帧的行进排列可特定上述多个点的位置的数据而得到的轨迹，
使用该函数的参数、以及表示上述图形内部的数据记述与该物体区域有关的信息。
4.一种物体区域信息记述方法，用于对连续的多个帧记述与图像中的任意物体的区域有关的信息，其特征在于：
用图形近似上述任意物体的区域。
抽取表示该图形的多个点，
用函数近似通过沿帧的行进排列可特定上述多个点的位置的数据而得到的轨迹，
使用该函数的参数、以及特定可看见上述图形或各点的状态的帧区间以及看不见的状态的帧区间的标志信息记述与该物体区域有关的信息。
5.一种物体区域信息记述方法，用于对连续的多个帧记述与图像中的任意物体的区域有关的信息，其特征在于：
用图形近似上述任意物体的区域。
抽取表示该图形的多个点，
用函数近似通过沿帧的行进排列可特定上述多个点的位置的数据而得到的轨迹，
使用该函数的参数、以及表示上述图形在上述多个帧中所在范围的存在范围近似图形记述与该物体区域有关的信息。
6.一种物体区域信息记述方法，用于对图像中的任意连续的多个帧记述有关在将邻接帧使其重复部分重叠地连接下一个而生成的全景图像中推移的任意物体区域的信息，其特征在于：
用图形近似上述任意物体的区域。
抽取表示在上述全景图像中推移的上述图形的多个点，
用函数近似通过沿帧的行进排列可特定上述多个点在该全景图像中的位置的数据而得到的轨迹，
使用该函数的参数记述有关该物体区域的信息。
7.如权利要求1～6的任一项所述的物体区域信息记述方法，其特征在于：
有关上述物体区域的信息包括可特定成为对象的上述多个帧中的起始帧和最终帧的信息和、识别近似该物体区域的图形的图形种类的信息。
8.如权利要求1～6的任一项所述的物体区域信息记述方法，其特征在于：
与有关上述物体区域的信息同时记述表示与该物体关联的关联信息或访问该关联信息的方法的信息。
9.一种物体区域信息生成装置，生成用于对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息，其特征在于具有：
图形近似部，用图形近似上述任意物体的区域；
抽取部，抽取表示该图形的多个点；
函数近似部，用函数近似通过沿帧的行进排列上述多个点中的1点的位置数据和、用与其他点的相对关系表示了剩余点的位置的相对位置数据而得到的轨迹，
使用该函数的参数记述有关该物体区域的信息。
10.一种物体区域信息生成装置，生成用于对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息，其特征在于具有：
图形近似部，用图形近似上述任意物体的区域；
抽取部，抽取表示该图形的多个点；
函数近似部，用函数近似通过沿帧的行进排列出现该物体的初始帧中近似图形的上述多个点的位置数据和、用与上述初始帧的点的相对关系表示了其他帧的对应点的位置的相对位置数据而得到的轨迹，
使用该函数的参数记述有关该物体区域的信息。
11.一种物体区域信息生成装置，生成用于对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息，其特征在于具有：
图形近似部，用图形近似上述任意物体的区域；
抽取部，抽取表示该图形的多个点；
函数近似部，用函数近似通过沿帧的行进排列可特定上述多个点的位置的数据而得到的轨迹，
使用该函数的参数、以及表示上述图形内部的数据记述有关该物体区域的信息。
12.一种物体区域信息生成装置，生成用于对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息，其特征在于具有：
图形近似部，用图形近似上述任意物体的区域；
抽取部，抽取表示该图形的多个点；
函数近似部，用函数近似通过沿帧的行进排列可特定上述多个点的位置的数据而得到的轨迹，
使用该函数的参数、以及特定可看见上述图形或各点的状态的帧区间和看不见的状态的帧区间的标志信息记述有关该物体区域的信息。
13.一种物体区域信息生成装置，生成用于对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息，其特征在于具有：
图形近似部，用图形近似上述任意物体的区域；
抽取部，抽取表示该图形的多个点；
函数近似部，用函数近似通过沿帧的行进排列可特定上述多个点的位置的数据而得到的轨迹，
使用该函数的参数、以及表示上述图形在上述多个帧中所在范围的存在范围近似图形记述有关该物体区域的信息。
14.一种物体区域信息生成装置，生成用于对图像中的任意连续的多个帧记述有关在将邻接帧使其重复部分重叠地连接下一个而生成的全景图像中推移的任意物体区域的信息，其特征在于具有：
图形近似部，用图形近似上述任意物体的区域；
抽取部，抽取表示该图形的多个点；
函数近似部，用函数近似通过沿帧的行进排列可特定上述多个点在该全景图像中的位置的数据而得到的轨迹，
使用该函数的参数记述有关该物体区域的信息。
15.一种物体区域信息生成装置，是存储用于生成对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息的程序的计算机可读取的记录媒体，其特征在于程序具有使计算机进行以下工作的程序代码手段：
用图形近似上述任意物体的区域。
抽取表示该图形的多个点，
用函数近似通过沿帧的行进排列上述多个点中的一点的位置数据和、用与其他点的相对关系表示了剩余点的位置的相对位置数据而得到的轨迹，并使用该函数的参数记述有关该物体区域的信息。
16.一种物体区域信息生成装置，是存储用于生成对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息的程序的计算机可读取的记录媒体，其特征在于程序具有使计算机进行以下工作的程序代码手段：
用图形近似上述任意物体的区域。
抽取表示该图形的多个点，
用函数近似通过沿帧的行进排列该物体出现的初始帧中近似图形的上述多个点的位置数据和、用与上述初始帧的点的相对关系表示了其他帧的对应点的位置的相对位置数据而得到的轨迹，并使用该函数的参数记述有关该物体区域的信息。
17.一种物体区域信息生成装置，是存储用于生成对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息的程序的计算机可读取的记录媒体，其特征在于程序具有使计算机进行以下工作的程序代码手段：
用图形近似上述任意物体的区域。
抽取表示该图形的多个点，
用函数近似通过沿帧的行进排列可特定上述多个点的位置的数据而得到的轨迹，并使用该函数的参数、以及表示上述图形内部的数据记述有关该物体区域的信息。
18.一种物体区域信息生成装置，是存储用于生成对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息的程序的计算机可读取的记录媒体，其特征在于程序具有使计算机进行以下工作的程序代码手段：
用图形近似上述任意物体的区域。
抽取表示该图形的多个点，
用函数近似通过沿帧的行进排列可特定上述多个点的位置的数据而得到的轨迹，并使用该函数的参数、以及特定可看见上述图形或各点的状态的帧区间以及看不见的状态的帧区间的标志信息记述有关该物体区域的信息。
19.一种物体区域信息生成装置，是存储用于生成对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息的程序的计算机可读取的记录媒体，其特征在于程序具有使计算机进行以下工作的程序代码手段：
用图形近似上述任意物体的区域。
抽取表示该图形的多个点，
用函数近似通过沿帧的行进排列可特定上述多个点的位置的数据而得到的轨迹，并使用该函数的参数、以及表示上述图形在上述多个帧中所在范围的存在范围近似图形记述有关该物体区域的信息。
20.一种物体区域信息生成装置，是存储生成用于对图像中的任意连续的多个帧记述在将邻接帧使其重复部分重叠地连接下一个而生成的全景图像中推移的任意物体区域的信息的物体区域信息的程序的计算机可读取的记录媒体，其特征在于程序具有使计算机进行以下工作的程序代码手段：
用图形近似上述任意物体的区域。
抽取表示在上述全景图像中推移的上述图形的多个点，
用函数近似通过沿帧的行进排列可特定上述多个点在该全景图像中的位置的数据而得到的轨迹，并使用该函数的参数记述有关该物体区域的信息。
21.一种物体区域信息生成装置，是存储对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息的计算机可读取的记录媒体，其特征在于物体区域信息具有：
可特定上述任意物体区域存在的期间的信息；
识别近似上述任意物体区域的图形的种类的信息；
示出表示上述近似图形的多个点的个数的信息；
可特定通过沿帧的行进排列上述多个点中的一点的位置数据和、用与其他点的相对关系表示剩余点的位置的相对位置数据而得到的轨迹的信息。
22.一种物体区域信息生成装置，是存储对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息的计算机可读取的记录媒体，其特征在于物体区域信息具有：
可特定上述任意物体区域存在的期间的信息；
识别近似上述任意物体区域的图形的种类的信息；
示出表示上述近似图形的多个点的个数的信息；
可特定通过沿帧的行进排列该物体出现的初始帧中近似图形的上述多个点的位置数据和、用与上述初始帧的点的相对关系表示其他帧中对应点的位置的相对位置数据而得到的轨迹的近似函数的信息。
23.一种物体区域信息生成装置，是存储对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息的计算机可读取的记录媒体，其特征在于物体区域信息具有：
可特定上述任意物体区域存在的期间的信息；
识别近似上述任意物体区域的图形的种类的信息；
示出表示上述近似图形的多个点的个数的信息；
可特定通过沿帧的行进排列可特定上述多个点的位置的数据而得到的轨迹的近似函数的信息；
表示上述图形内部的信息。
24.一种物体区域信息生成装置，是存储对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息的计算机可读取的记录媒体，其特征在于物体区域信息具有：
可特定上述任意物体区域存在的期间的信息；
识别近似上述任意物体区域的图形的种类的信息；
示出表示上述近似图形的多个点的个数的信息；
可特定通过沿帧的行进排列可特定上述多个点的位置的数据而得到的轨迹的近似函数的信息；
特定可看见上述图形或各点的状态的帧区间以及看不见的状态的帧区间的标志信息。
25.一种物体区域信息生成装置，是存储对连续的多个帧记述有关图像中的任意物体区域的信息的物体区域信息的计算机可读取的记录媒体，其特征在于物体区域信息具有：
可特定上述任意物体区域存在的期间的信息；
识别近似上述任意物体区域的图形的种类的信息；
示出表示上述近似图形的多个点的个数的信息；
可特定通过沿帧的行进排列可特定上述多个点的位置的数据而得到的轨迹的近似函数的信息；
表示上述图形在上述多个帧中所在范围的存在范围近似图形信息。
26.一种物体区域信息生成装置，是存储用于对图像中的任意连续的多个帧记述在将邻接帧使其重复部分重叠地连接下一个而生成的全景图像中推移的任意物体的区域的信息的物体区域信息的计算机可读取的记录媒体，其特征在于物体区域信息具有：
可特定上述任意物体区域存在的期间的信息；
识别近似上述任意物体区域的图形的种类的信息；
示出表示上述近似图形的多个点的个数的信息；
可特定通过沿帧的行进排列可特定上述多个点在该全景图像中的位置的数据而得到的轨迹的近似函数的信息。
CNB011233397A 2000-05-11 2001-05-11 物体区域信息记述方法和物体区域信息生成装置 Expired - Fee Related CN1194318C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2000138571 2000-05-11
JP138571/2000 2000-05-11

Publications (2)

Publication Number Publication Date
CN1327208A true CN1327208A (zh) 2001-12-19
CN1194318C CN1194318C (zh) 2005-03-23

Family

ID=18646161

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB011233397A Expired - Fee Related CN1194318C (zh) 2000-05-11 2001-05-11 物体区域信息记述方法和物体区域信息生成装置

Country Status (4)

Country Link
US (2) US7091988B2 (zh)
EP (1) EP1154379A3 (zh)
KR (1) KR100415266B1 (zh)
CN (1) CN1194318C (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101257632B (zh) * 2002-11-11 2011-12-14 索尼电子有限公司 用于非线性的多运动模型和移动边界提取的方法和设备
CN104601945A (zh) * 2013-10-30 2015-05-06 晶睿通讯股份有限公司 连续显示画面局部的方法
CN114384813A (zh) * 2021-11-30 2022-04-22 重庆电子工程职业学院 智能家居的预警提示系统
CN115810042A (zh) * 2023-02-14 2023-03-17 成都数联云算科技有限公司 图形重叠面积获取方法、装置、介质、设备及程序产品

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001266159A (ja) * 2000-03-17 2001-09-28 Toshiba Corp 物体領域情報生成方法及び物体領域情報生成装置並びに近似多角形生成方法及び近似多角形生成装置
KR100415266B1 (ko) 2000-05-11 2004-01-16 가부시끼가이샤 도시바 물체영역정보 기술방법과 물체영역정보 생성장치 및 기록매체
JP4768143B2 (ja) * 2001-03-26 2011-09-07 株式会社リコー 情報入出力装置、情報入出力制御方法およびプログラム
JP3790126B2 (ja) * 2001-05-30 2006-06-28 株式会社東芝 時空間領域情報処理方法及び時空間領域情報処理システム
JP3735552B2 (ja) * 2001-09-28 2006-01-18 株式会社東芝 時空間領域情報の処理方法
US7038676B2 (en) * 2002-06-11 2006-05-02 Sony Computer Entertainmant Inc. System and method for data compression
EP1418546A1 (en) * 2002-11-07 2004-05-12 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for representing moving objects in a sequence of images
DE102004045010A1 (de) * 2004-09-16 2006-04-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Informationspunkt
JP3882005B2 (ja) * 2005-03-02 2007-02-14 松下電器産業株式会社 画像生成方法、物体検出方法、物体検出装置および画像生成プログラム
CN101421727A (zh) * 2005-09-30 2009-04-29 罗伯特·博世有限公司 用于搜索图像信息的方法和软件程序
US8032840B2 (en) * 2006-01-10 2011-10-04 Nokia Corporation Apparatus, method and computer program product for generating a thumbnail representation of a video sequence
US8688675B2 (en) * 2006-02-27 2014-04-01 Robert Bosch Gmbh Trajectory-based video retrieval system, and computer program
US8405661B2 (en) * 2007-02-23 2013-03-26 International Business Machines Corporation Method for modeling and animating object trajectories in three-dimensional space
JP5100215B2 (ja) * 2007-06-20 2012-12-19 キヤノン株式会社 画像表示装置、画像表示装置の制御方法、及びコンピュータ読み取り可能なプログラム
TW200910147A (en) * 2007-08-24 2009-03-01 Univ Nat Chiao Tung Control apparatus and method
JP4505760B2 (ja) * 2007-10-24 2010-07-21 ソニー株式会社 情報処理装置および方法、プログラム、並びに、記録媒体
US8254629B1 (en) * 2008-08-26 2012-08-28 Adobe Systems Incorporated Methods and apparatus for measuring image stability in a video
WO2010038693A1 (ja) * 2008-10-01 2010-04-08 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
US8233664B2 (en) * 2008-11-12 2012-07-31 Eastman Kodak Company Determining relative depth of points in multiple videos
KR101619448B1 (ko) * 2008-11-18 2016-05-10 엘지전자 주식회사 영상 신호 처리 방법 및 장치
JP2012516485A (ja) * 2009-01-28 2012-07-19 ビ−エイイ− システムズ パブリック リミテッド カンパニ− 画像における変化した可能性のあるオブジェクトの検出
US8848802B2 (en) * 2009-09-04 2014-09-30 Stmicroelectronics International N.V. System and method for object based parametric video coding
US9626769B2 (en) 2009-09-04 2017-04-18 Stmicroelectronics International N.V. Digital video encoder system, method, and non-transitory computer-readable medium for tracking object regions
US10178396B2 (en) * 2009-09-04 2019-01-08 Stmicroelectronics International N.V. Object tracking
KR100976138B1 (ko) * 2009-09-16 2010-08-16 (주)올라웍스 건축물 이미지의 계층적 매칭 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
JP5711136B2 (ja) * 2010-01-29 2015-04-30 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理装置及び情報処理方法
JP5111627B2 (ja) * 2010-04-06 2013-01-09 キヤノン株式会社 映像処理装置及び映像処理方法
KR101640948B1 (ko) * 2010-04-07 2016-07-19 한국전자통신연구원 시청자 위치 정보를 이용한 파노라마 화면 제어 시스템 및 방법
US8730396B2 (en) * 2010-06-23 2014-05-20 MindTree Limited Capturing events of interest by spatio-temporal video analysis
JP6100635B2 (ja) * 2012-12-13 2017-03-22 株式会社デンソー 移動体検出装置
US9866900B2 (en) 2013-03-12 2018-01-09 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to detect shapes
KR20150047225A (ko) * 2013-10-24 2015-05-04 엘지전자 주식회사 파노라마 비디오 서비스를 위한 방송 신호를 처리하는 방법 및 장치
JP6351240B2 (ja) * 2013-11-20 2018-07-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6256239B2 (ja) * 2014-07-25 2018-01-10 株式会社デンソー 歩行者検出装置および歩行者検出方法
US9378421B2 (en) * 2014-09-29 2016-06-28 Xerox Corporation System and method for seat occupancy detection from ceiling mounted camera using robust adaptive threshold criteria
US9355460B1 (en) * 2015-03-20 2016-05-31 Top Vicotry Investments Ltd. Motion detection method based on grey relational analysis
CN106153031B (zh) * 2015-04-13 2019-08-30 骑记(厦门)科技有限公司 运动轨迹表示方法和装置
JP6536169B2 (ja) * 2015-05-21 2019-07-03 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
TWI582710B (zh) * 2015-11-18 2017-05-11 Bravo Ideas Digital Co Ltd The method of recognizing the object of moving image and the interactive film establishment method of automatically intercepting target image
KR20180068578A (ko) 2016-12-14 2018-06-22 삼성전자주식회사 복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법
US10332279B2 (en) * 2017-03-03 2019-06-25 Macau University Of Science And Technology Methods and apparatus for image construction
US10325373B2 (en) 2017-09-07 2019-06-18 Here Global B.V. Method, apparatus, and system for constructing a polygon from edges for object detection
RU2744699C1 (ru) 2017-12-14 2021-03-15 Кэнон Кабусики Кайся Устройство формирования, способ формирования и программа для трехмерной модели
US10764494B2 (en) 2018-05-25 2020-09-01 Microsoft Technology Licensing, Llc Adaptive panoramic video streaming using composite pictures
US10666863B2 (en) * 2018-05-25 2020-05-26 Microsoft Technology Licensing, Llc Adaptive panoramic video streaming using overlapping partitioned sections
CN110473504B (zh) * 2019-08-06 2020-12-29 深圳创维－Rgb电子有限公司 一种mini led背光电视画面调节方法和装置
CN111507354B (zh) * 2020-04-17 2023-12-12 北京百度网讯科技有限公司 信息抽取方法、装置、设备以及存储介质
US11599253B2 (en) * 2020-10-30 2023-03-07 ROVl GUIDES, INC. System and method for selection of displayed objects by path tracing
KR102532019B1 (ko) * 2020-12-03 2023-05-15 숭실대학교 산학협력단 스네이크와 옵티컬 플로우 기반의 초고속 동영상 객체 추적 방법, 이를 수행하기 위한 기록 매체 및 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0181029B1 (ko) * 1995-03-15 1999-05-01 배순훈 에지를 이용한 특징점 선정장치
KR0171147B1 (ko) * 1995-03-20 1999-03-20 배순훈 그레디언트 변화를 이용한 특징점 선정장치
US5778098A (en) * 1996-03-22 1998-07-07 Microsoft Corporation Sprite coding
US6147709A (en) * 1997-04-07 2000-11-14 Interactive Pictures Corporation Method and apparatus for inserting a high resolution image into a low resolution interactive image to produce a realistic immersive experience
US6400831B2 (en) * 1998-04-02 2002-06-04 Microsoft Corporation Semantic video object segmentation and tracking
US6504569B1 (en) * 1998-04-22 2003-01-07 Grass Valley (U.S.), Inc. 2-D extended image generation from 3-D data extracted from a video sequence
JP4226730B2 (ja) 1999-01-28 2009-02-18 株式会社東芝 物体領域情報生成方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置
US6462754B1 (en) * 1999-02-22 2002-10-08 Siemens Corporate Research, Inc. Method and apparatus for authoring and linking video documents
US6968004B1 (en) 1999-08-04 2005-11-22 Kabushiki Kaisha Toshiba Method of describing object region data, apparatus for generating object region data, video processing method, and video processing apparatus
KR100415266B1 (ko) 2000-05-11 2004-01-16 가부시끼가이샤 도시바 물체영역정보 기술방법과 물체영역정보 생성장치 및 기록매체
JP3790126B2 (ja) 2001-05-30 2006-06-28 株式会社東芝 時空間領域情報処理方法及び時空間領域情報処理システム
JP3735552B2 (ja) 2001-09-28 2006-01-18 株式会社東芝 時空間領域情報の処理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101257632B (zh) * 2002-11-11 2011-12-14 索尼电子有限公司 用于非线性的多运动模型和移动边界提取的方法和设备
CN104601945A (zh) * 2013-10-30 2015-05-06 晶睿通讯股份有限公司 连续显示画面局部的方法
CN114384813A (zh) * 2021-11-30 2022-04-22 重庆电子工程职业学院 智能家居的预警提示系统
CN115810042A (zh) * 2023-02-14 2023-03-17 成都数联云算科技有限公司 图形重叠面积获取方法、装置、介质、设备及程序产品
CN115810042B (zh) * 2023-02-14 2023-05-05 成都数联云算科技有限公司 基于目标检测的图像iou获取方法、装置、介质及设备

Also Published As

Publication number Publication date
US7091988B2 (en) 2006-08-15
EP1154379A3 (en) 2004-12-01
US20010040924A1 (en) 2001-11-15
US20050280657A1 (en) 2005-12-22
EP1154379A2 (en) 2001-11-14
CN1194318C (zh) 2005-03-23
KR100415266B1 (ko) 2004-01-16
US7304649B2 (en) 2007-12-04
KR20010104256A (ko) 2001-11-24

Similar Documents

Publication Publication Date Title
CN1194318C (zh) 物体区域信息记述方法和物体区域信息生成装置
CN100346352C (zh) 图像显示装置和短片生成装置
CN1213592C (zh) 采用自适应二值化的图象处理方法和设备
CN1279489C (zh) 信号处理方法与设备
CN100345165C (zh) 基于图像的超现实主义三维脸部建模的方法和设备
CN1241147C (zh) 图像处理设备和方法,以及图像拾取设备
CN1293517C (zh) 图像处理装置及方法、图像拾取装置
CN1208970C (zh) 图像处理装置
CN1747559A (zh) 三维几何建模系统和方法
CN1465196A (zh) 图像处理设备和方法、以及图像拍摄设备
CN1248162C (zh) 图像处理设备和方法、以及图像拍摄设备
CN1237488C (zh) 图像处理设备和方法以及图像拾取设备
CN1787012A (zh) 用于处理图像的方法、装置和计算机程序
CN1480903A (zh) 特征信息赋予、物体抽取和立体模型生成方法及其装置
CN1269075C (zh) 图像处理设备
CN1267856C (zh) 图像处理设备
CN1940965A (zh) 信息处理设备及其控制方法
CN1926881A (zh) 运动矢量检测装置、运动矢量检测方法和计算机程序
CN1466736A (zh) 图像处理设备和方法
CN1249629C (zh) 图像处理装置、图像处理方法和成像装置
CN1471693A (zh) 图像处理设备和方法以及图像获取设备
CN1248161C (zh) 图像处理设备
CN1276388C (zh) 检测图象中的人脸的方法和设备
CN1249630C (zh) 图像处理装置和方法及摄像装置
CN1317892C (zh) 电视电影变换方法和装置

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20050323

Termination date: 20160511