CN1732481A - 用于描述和检索三维图像数据的装置和方法 - Google Patents

用于描述和检索三维图像数据的装置和方法 Download PDF

Info

Publication number
CN1732481A
CN1732481A CNA2003801074869A CN200380107486A CN1732481A CN 1732481 A CN1732481 A CN 1732481A CN A2003801074869 A CNA2003801074869 A CN A2003801074869A CN 200380107486 A CN200380107486 A CN 200380107486A CN 1732481 A CN1732481 A CN 1732481A
Authority
CN
China
Prior art keywords
descriptor
image data
database
expression
routine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2003801074869A
Other languages
English (en)
Other versions
CN100378760C (zh
Inventor
崔润静
曹叔嬉
尹国镇
咸泳权
安致得
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of CN1732481A publication Critical patent/CN1732481A/zh
Application granted granted Critical
Publication of CN100378760C publication Critical patent/CN100378760C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content

Abstract

本发明提供一种用于描述三维图像数据的装置和方法、一种用于检索三维图像数据的装置和方法、以及一种用于记录程序的计算机可读记录介质。本发明的一个目的在于提供一种用于描述三维图像数据的装置和方法,以及一种能实现该方法的计算机可读记录介质。本发明的另一个目的在于提供一种用于检索适合于各种应用领域和显示装置的三维图像数据、以及实现该方法的计算机可读记录介质。所述图像描述装置包括:描述符数据库,用于存储描述该三维图形数据的特性的描述符;描述符添加单元,用于读取描述该三维图像数据的特性的描述符,并将其添加到该三位图像数据;以及注册单元,用于把具有该描述符的三维图像数据注册到三维图像数据库中。

Description

用于描述和检索三维图像数据的装置和方法
技术领域
本发明涉及用于描述三维图像数据的装置和方法、用于检索三维图像数据的装置和方法和用于记录实现所述方法的程序的计算机可读记录介质。具体来说,本发明的装置和方法能够通过在获取、表示和显示三维图像数据的步骤中利用描述符描述三维图像数据来迅速和准确地检索三维图像数据。
背景技术
在国际公布专利No.WO00/67151中公开了一种使用其形状来描述和检索图像对象的传统装置及其方法。该传统检索方法通过描述该图像对象的形状来检索图像对象。已经开始注意到(it is developed taking notice that)虽然图像对象在视频中被显示为三维,实际上,其是由投影在平面上的二维图像形成的。
图像对象的二维形状或轮廓取决于视点、视角、摄影机以及光学系统的参数。图像对象根据不同的视角具有不同的轮廓的事实被用作描述符。为了在图像检索系统中检索图像,用户通过向图像检索系统展示(present)图像对象或选择该图像对象的视图来输入查询。
随后,该图像检索系统输出被查询的图像对象的表示(representation),将被查询的图像对象和存储在数据库中的图像对象进行比较,并且输出和被查询的图像对象最接近匹配的图像对象。上述的专利在技术上是用于在计算机图形(computer graphic,CG)或具有多视点数据(multi-view data)的三维图像对象中产生该图像对象后的描述和检索步骤中使用的。因此,在某些应用中可被用于本发明的子结构。
而且,韩国公开待审专利No.10-2002-0059951提议了一种用于基于颜色与纹理的组合来检索图像的方法,该方法通过适当地组合颜色与纹理的特性来提高图像检索中的性能。通过把检索的图像和颜色以及纹理数据进行组合,可以获得更适合于人类视觉的图像。并且,通过根据区域来检索图像可能进行更精确的检索。所提出的韩国专利使用颜色特性和纹理作为分类图像的标准,并且其局限于对于二维图像的分类和描述。因此,其还能被用作本发明的子结构来检索本发明中检索的三维图像。
另一个现有技术,国际公开专利No.WO00/46695公开了用于视频序列的描述符以及使用该描述符的图像检索系统。在该专利中,从视频索引的视点用描述符表示在视频序列的帧中摄影机、观测者和观测设备的运动。即,用指示两个不同方向的分量来划分和指引定格、摇镜头、跟踪、倾斜、缩放、滚动以及其它的运动的形式。它们的值被以对应于预定大小位移的柱状图来表示。和韩国专利No.10-2001-0001130一样,本发明在技术上是基于二维图像的特性的。
通常,二维图像基于彩色格式、屏幕比率和屏幕大小被分类,并且在被编码后被基于编码方法来描述。目前,图像标准组织,诸如运动图像专家组和联合图像专家组(JPEG)基于图像彩色格式、屏幕比率和屏幕大小来对图像的轮廓(profile)和等级分类,并且选择适用于每个应用领域的图像。
然而,三维图像是对传统的二维图像或计算机图形概念的概念上的多视点和空间的添加。具有额外视点的三维图像给出了通过拼凑连续视点的图像获得的立体效果和全景图像。采用空间概念的三维图像能够在同一时刻提供不同角度的图像。
简而言之,根据哪种概念被添加到二维图像以及如何处理和显示图像,可以用各种形式提供三维图像。因此,需要一种基于描述方法的系统化三维图像描述方法和图像检索方法,以在各个应用领域有效地检索三维图像,并且适当地转换和交换适用于每个应用领域和显示装置的图像。
然而,上述的现有技术的图像分类方法、图像描述方法和检索方法,仅限于在二维图像中使用。在任何现有技术中均未提出对于分类三维图像有效的分类结构和描述符。
发明内容
因此,本发明的一个目的在于提供一种用于系统性地描述由于在图像获取步骤、图像表示步骤和图像显示步骤的多样性而分散的三维图像数据的装置和方法,以及一种实现该方法的计算机可读记录介质。
本发明的另一个目的在于提供一种用于快速和系统性地检索适用于各种应用领域和显示装置的三维图像数据的装置和方法,以便基于用户的请求转换和交换图像数据,以及实现该方法的计算机可读介质。
根据本发明的一个方面,提供了一种用于描述三维图像数据的装置,包括:描述符数据库,用于在获取例程、表示例程以及显示例程中保存描述三维图像数据的特性的描述符;描述符添加单元,用于在每个步骤读入从外面输入的描述三维图像数据的特性的描述符,并且把该描述符添加给三维图像数据;以及注册单元,用于把具有由描述符添加单元赋予的描述符的三维图像数据注册到三维图像数据库中。
根据本发明的一个方面,提供了一种用于描述三维图像数据的方法,包括下列步骤:a)描述符添加单元在获取例程、表示例程和显示例程中识别三维图像数据的特性;b)描述符添加单元在每个步骤基于来自描述符数据库的识别,读入用于描述三维图像数据的特性的描述符;c)描述符添加单元把描述符添加到三维图像数据;以及d)描述符添加单元把赋予描述符的三维图像数据注册到三维图像数据库中。
根据本发明的一个方面,提供了一种用于记录在提供有处理器的三维图像数据描述中实现三维图像数据描述方法的程序的计算机可读记录介质,包括下列步骤:a)描述符添加单元在获取例程、表示例程和显示例程中识别三维图像数据的特性;b)描述符添加单元在每个步骤基于来自描述符数据库的识别,读入用于描述三维图像数据的特性的描述符;c)描述符添加单元把描述符添加到三维图像数据;以及d)描述符添加单元把赋予描述符的三维图像数据注册到三维图像数据数据库中。
根据本发明的一个方面,提供了一种用于检索三维图像数据的装置,包括:输入单元,用于在获取例程、表示例程和显示例程从用户接收关于三维图像数据特性的数据;描述符数据库,用于在获取例程、表示例程和显示例程基于三维图像数据的特性来保存描述符;描述符提取单元,用于从描述符数据库中提取对应于从输入装置输入的数据的描述符;描述符比较单元,用于将从描述符提取单元提取的描述符和保存在三维图像数据数据库中的三维图像数据的描述符进行比较,并检索与所提取的描述符匹配的三维图像数据;以及输出单元,用于输出由描述符比较单元检索的三维图像数据到用户。
根据本发明的一个方面,提供了一种用于检索三维图像数据的方法,包括下列步骤:a)从用户接收关于要在获取例程、表示例程以及显示例程检索的三维图像数据的特性;b)描述符提取单元从描述符数据库提取和输入数据匹配的描述符,所述描述符数据库在获取例程、表示例程和显示例程中存储和三维图像数据匹配的描述符;c)描述符比较单元把提取的描述符和存储在三维图像数据库中的三维图像数据的描述符进行比较,并且检索和提取的描述符匹配的三维图像数据;以及d)输出单元输出由描述符比较单元检索的三维图像数据。
根据本发明的一个方面,提供了一种用于记录在提供有处理器的三维图像数据检索装置中实现三维图像数据检索方法的程序的计算机可读记录介质,包括下列的步骤:a)在获取例程、表示例程和显示例程从用户接收关于要被检索的三维图像数据的特性的数据;b)描述符提取单元从描述符数据库中提取和输入数据匹配的描述符,所述描述符数据库在每个步骤[图像检索步骤?]存储和三维图像数据的特性匹配的描述符;c)描述符比较单元,用于将提取的描述符和保存在三维图像数据数据库中的三维图像数据的描述符进行比较,并检索与所提取的描述符匹配的三维图像数据;以及d)输出单元,用于输出由描述符比较单元检索的三维图像数据。
附图说明
本发明的上述和其它目的和特征将随着结合附图的优选实施例的说明更加清楚,其中:
图1是描述根据本发明的三维图像数据处理系统的框图;
图2是示出根据本发明的获取三维图像数据的步骤的图表;
图3是说明根据本发明的表示三维图像数据的步骤的图表;
图4是示出根据本发明的显示三维图像数据的步骤的图表;
图5是说明根据本发明的一个实施例的用于描述三维图像数据的装置的框图;
图6是描述根据本发明的一个实施例的用于描述三维图像数据的方法的流程图;
图7是描绘根据本发明的一个实施例的用于检索三维图像数据的装置的框图;
图8是示出根据本发明的一个实施例的描述符组合的图表;
图9是描述根据本发明的一个实施例的用于检索三维图像数据的方法的流程图。
具体实施方式
通过以下参照附图对实施例的说明,本发明的其它目的和方面将变得更加清楚。
三维图像数据的编码需要一个表示算法(representing algorithm)来把三维图像数据转换成能够被输入到编码器的适当形式,所述三位图像数据以多种形式来获得和记录。例如,当用二维图像编码方法来压缩三维图像数据时,通过传统二维图像表示方法中的立体摄影机获得的右眼图像和左眼图像如果被扩展以接收多个输入,则它们可以被用于编码器。
然而,由全方位摄影机获取并保存在基于图像的表示(image-basedrepresenting,IBR)方法的三维图像数据具有和传统的二维图像数据不同的几何结构。因此,它们应当被转换以具有和将要输入到编码器的传统二维图像数据相同的几何结构。
而且,当保存在数据库中和在网络上交换的三维图像数据在检索例程被检索或执行通用多媒体访问(Universal Multimedia Access)时,如果其结构不适用于用户的编码器,则其变成无用的图像数据。因此,当在特定的应用中需要处理和使用三维图像数据时,需要利用渲染(rending)分类的方法。因此,在图像表示步骤的表示方法应当被用作分类三维图像数据的标准。
在图像显示步骤,根据应用领域使用各种显示装置。基本上,有两种类型:二维显示装置(即单像(monoscopic)显示装置)和立体显示装置。当在图像获取步骤通过能提供深度信息的摄影机获取图像数据时,该图像数据能具有立体的效果(cubic effect)。虽然三维图像数据适用于二维显示,如果使用一种图像表示方法来支持把图像转换成立体类型,则使用三维图像数据用于立体显示装置。
因此,具有立体显示器的用户应当参照(refer to)在图像获取单元目和图像表示单元的分类项目来检索适合于立体显示装置的三维图像数据。然而,由于三维图像数据的获取和表示方法是多样的,这是一个要求用户花费很长时间来找到适合于他的立体显示装置的描述符的全部组合的缺乏效率的工作。如果该用户在图像检索方面缺乏技巧,则很难保证检索的精度。
这就是为何立体显示装置和二维显示装置的类型应当被包括在三维图像的分类中的原因。这样的话,那些对于图像检索和使用三维图像数据不熟悉的人能够检索适用于他们的显示装置的三维图像数据,而享受其所带来的乐趣。
在本发明中,被用于各种应用领域的三维图像数据,被分类为图像获取例程、图像表示例程和图像显示例程。每种例程使用单独的描述符。在另一方面,如果具有经常使用的描述符的组合,则该描述符被定义为新的描述符,并被用作综合描述符(integrated descriptor)。
提供用户多视点(multi-view)或立体效果的三维图像数据,是通过在各种视点(viewpoint)获取移动图像并使用多种图像处理方法获得的。该三维图像数据被用于各种领域,诸如体育广播、广告、教育和医疗服务。根据每个应用的领域,三维图像的数据的类型是不同的。在本发明中使用的三维图像数据包括:
1.具有宽广视野的图像数据,
2.具有多视点的图像数据,和
3.具有立体效果的立体图像数据。
在本发明中定义的三维图像数据包括给出了二维图像数据和计算机图形不能提供的多视点效果和立体效果的所有形式的数据。
图1是描述根据本发明的三维图像数据处理系统的方框图。参照图1,三维图像处理系统包括获取单元11、表示单元12、收发机13以及显示单元14。
在获取单元中,需要多种形式的三维图像数据。在表示单元12中,所需的三维图像数据被处理为适合于在编码器131或显示单元14中处理的形式。同时,收发机13发送和接收在表示单元12中处理的三维图像数据,以便将它们发送给用户。显示单元14输出最终把该图像数据输出给用户。
因此,当通过网络把三维图像数据提供给用户时,它们经过下列处理。从表示单元12输出的图像数据在编码器131中被压缩,并且通过发送单元132发送。随后,图像数据被接收机133接收、在解码器134中解码,并且被输出到显示单元14,显示单元最终把该图像数据输出给用户。
如上所述,所有的三维图像数据都通过了获取单元、表示单元和显示单元。因此,如果在每个图像处理步骤使用适合的描述符来分类三维图像数据,它们能够被更快速和精确地检索。
当三维图像数据被如上所述进行分类时,可以由获取描述符、表示描述符和显示描述符的组合来形成三维图像数据描述符。
图2是示出根据本发明的获取三维图像数据的步骤的图表。参照图2,在图像获取例程的描述包括一个全方位摄影机、深度提取摄影机、立体单视点(mono-view)摄影机、立体多视点摄影机以及单像多视点摄影机。
图3是说明根据本发明的表示三维图像数据的步骤的图表。参照图3,三维图像数据的表示可以被划分为未处理图像和已处理图像,然后进行描述。即,在用于获取三维图像数据的摄影机中,有一个诸如全方位摄影机的以不适合标准编码工具、例如MPEG和JPEG的形式来表示图像数据的摄影机。
在这种情况下,如果用户想在其编码器中编码所述三维图像数据,则需要执行一个附加处理。因此,在输入图像数据前通过附加处理的三维图像数据存在于编码器中。用于编码的图像数据或者是已经通过附加处理的已处理的图像数据,或者是被表示为从摄影机输出的未处理图像数据。在已处理图像数据中,如果图像处理方法被用作描述符,则当所检索的三维图像被转换或反向转换(inverse-converted)时,该描述符可以被有用地使用。
图4是示出根据本发明显示三维图像数据的步骤的图表。通常,适合用于立体显示装置的被获取和表示的三维图像数据显示出和单像显示装置很好的兼容性。然而,适合用于单像显示装置的被获取和表示的三维图像数据需要附加处理来把该图像数据输出到立体显示装置。
因此,如图4所示,用于表示单像显示装置或者立体显示装置的描述符能够被用作显示描述符。单像显示器可以被划分为平面显示器和非平面显示器。每种显示器都能由一个描述符来表示。而且,立体显示器可以被划分为单一立体显示器和自动立体显示器。每个立体显示器也能够由一个描述符来表示。
图5是说明根据本发明的一个实施例的用于描述三维图像数据的装置的方框图。参照图5,本发明的三维图像数据描述装置包括描述符数据库53、描述符添加单元52以及描述符注册单元54。
描述符数据库53用于保存用来表示三维图像数据的获取描述符、表示描述符以及显示描述符。描述符添加单元52从描述符数据库53读入在获取步骤、表示步骤和显示步骤中能够描述三维图像数据的特性的描述符。描述符注册单元54把在描述符添加单元52赋予了描述符的三维图像数据注册到三维图像数据库55中。
描述符添加单元52包括获取描述符添加器521、表示描述符添加器522和显示描述符添加器523。获取描述符添加器521从描述符数据库53读入描述三维图像数据的获取步骤的获取描述符,并且将其添加到三维图像数据。表示描述符添加器522从描述符数据库53读入描述三维图像数据的表示步骤的表示描述符,并且将其添加到三维图像数据。显示描述符添加器523从描述符数据库53读入描述三维图像数据的显示步骤的显示描述符,并且将其添加到三维图像数据。
描述符添加单元52还包括从综合描述符数据库532读入综合描述符、并将其添加到三维图像数据的综合描述符添加器524。描述符数据库53包括用于存储描述获取三维图像数据的步骤的获取描述符533、描述表示三维图像数据的步骤的表示描述符534以及描述显示三维图像数据的步骤的显示描述符535的单独描述符数据库531。
描述符数据库53还包括用于存储被定义为获取描述符533、表示描述符534和显示描述符535的特定组合的综合描述符的综合描述符数据库532。
例如,三维图像数据是由全方位摄影机获取的、以光场映射(light fieldsmapping,LFM)的、并且以单像全景(panorama)方法显示的。这里,由于全方位摄影机是一个对应于获取单元的设备,其在获取描述符533中被描述并被添加到三维图像数据。由于LFM是一种对应于表示单元的方法,其在表示描述符534中被描述并被添加到三维图像数据。由于单像全景方法是对应于显示单元的数据,其在显示描述符535中被描述并被添加到三维图像数据。
描述符添加单元52从描述符数据库53读入单独描述符或综合描述符,并根据三维图像数据被获取、表现或显示的每一步骤将其添加到三维图像数据。
在描述符数据库53中,存储单独描述符和综合描述符。在单独描述符数据库531中、获取描述符533、表示描述符534和显示描述符535在每个单元,即获取单元、表示单元或显示单元被添加。
描述符添加单元52从来自描述符数据库53的多个描述符中读入适当的描述符,并且将其添加到希望被描述的三维图像数据。这里,该描述符基于在产生或分配图像数据期间输入的特性被添加。然而,有可能查询(refer to)和输入在描述符数据库53中预先定义的描述符。
其时,有可能在描述符数据库53中定义一个作为三个提取的描述符的组合的综合描述符。当把三维图像数据和综合描述符的定义相匹配时,综合描述符添加器524从综合描述符数据库532中读入综合描述符,并且将其添加到三维图像数据。万一没有预先定义的综合描述符,则可以跳过添加综合描述符的处理。
在合适的描述符被添加到三维图像数据后,具有该描述符的三维图像数据由三维图像数据描述装置中的描述符注册单元54注册在三维图像数据库55中。
图6是说明根据本发明的一个实施例的用于描述三维图像数据的方法的流程图。参照图6,在步骤S61,描述符添加单元52确定是否一个制作者(producer)已把描述符添加到三维图像数据。
如果该三维图像数据已经被赋予了一个描述符,则在步骤S66,由描述符注册单元54把该三维图像数据注册到三维图像数据库55中。如果该三维图像数据未被赋予描述符,则在步骤S62,描述符添加单元52算出(figure out)该三维图像数据的特性来为该图像数据添加适合的描述符。
随后,在步骤S63,确定是否具有与该三维图像数据匹配的综合描述符。如果有综合描述符,则在步骤S64,该综合描述符被添加到三维图像数据,并且,在步骤S66,被赋予该综合描述符的三维图像数据被注册在三维图像数据库55中。如果没有这样的综合描述符,则在步骤S65,和该三维图像数据的特性匹配的单独描述符被添加到三维图像数据。在步骤S66,被赋予该单独描述符的三维图像数据被注册在三维图像数据库55中。
图7是描绘根据本发明的一个实施例的用于检索三维图像数据的装置的方框图。参照图7,本发明的三维图像数据检索装置包括输入单元71、描述符数据库53、描述符提取单元72、描述符比较单元73以及输出单元74。
输入单元71接收三维图像数据的特性,诸如图像获取方法、图像表示方法以及显示方法。描述符数据库53存储用于描述该三维图像数据的描述符,诸如获取描述符、表示描述符和显示描述符。描述符提取单元72从描述符数据库53中提取一个对应于从输入单元71发送的数据的描述符。
描述符比较单元73对从描述符提取单元72中提取的描述符和存储在三维图像数据库55中的三维图像数据的描述符进行比较,并且找出和所提取的描述符相匹配的三维图像数据。随后,输出单元74把在描述符比较单元73中检索的三维图像数据输出给用户。
对于通过输入单元71输入的问题的答案可以通过输入在每个步骤需要的三维图像数据的类型来检索。例如,当提出(present)关于作为图像数据的图像获取方法、表示方法或显示方法的问题时,用户输入图像数据所需的类型:获取方法为‘全方位’和/或显示方法为‘全景’。这里,对于特定问题的回答字段可以被保持空白,以请求不把所问问题中的方法局限于特定的类型来检索全部的数据。
然后,在描述符提取单元72中的单独描述符提取器721从描述符数据库75中的单独描述符数据库531提取和所问问题的回答匹配的单独描述符。同时,万一所问问题的回答被定义为一个综合描述符,则在描述符提取单元72中的综合描述符提取器722从在描述符数据库53中的综合描述符数据库532中提取该综合描述符。这里,该综合描述符是被定义为特定的综合描述符的组合的一个描述符。
描述符比较单元73把要检索的描述符和在三维图像数据库55中的三维图像数据的描述符进行比较,并且检索和要检索的描述符匹配的三维图像数据。该检索的三维图像数据通过输出单元74输出。
图8是示出根据本发明的一个实施例的描述符组合的图表。用户能够输入对于关于该三维图像数据的类型的问题的答案,诸如图像获取方法、图像表示方法和图像显示方法。用户可以不对问题之一进行回答,并可以让其保持空白。
例如,如图8所示,在步骤S81,基于由用户输入的回答提取获取描述符C、表示描述符C和显示描述符A,并将它们表示为描述符的组合。如果用户对于图像获取方法和显示方法给予回答而对表示方法未给回答,则在步骤S83,使用获取表示符C、没有表示描述符以及显示描述符A来对要检索的三维图像数据进行描述。而且,当用户只对图像获取方法进行回答而对表示方法和显示方法不回答时,只是用获取描述符C来描述要检索的三维图像数据。
如上所述,如果用户对一个问题不回答或者如果描述符提取单元72从描述符数据库53提取描述符失败,则检索与未给出回答的步骤相关的全部三维图像数据。
图9是描述根据本发明的一个实施例的用于检索三维图像数据的方法的流程图。参照图9,在步骤S91,通过对由输入单元提出的问题进行回答来输入三维图像数据的特性。在步骤S92,描述符提取单元72确定是否具有和所输入的图像数据的特性匹配的综合描述符。
如果具有该综合描述符,则在步骤S93,描述符提取单元72从在描述符数据库53中的综合描述符数据库532提取和由用户输入的图像数据的特性匹配的综合描述符。如果没有这样的综合描述符,则在步骤S94,描述符提取单元72从在描述符数据库53中的独立描述符数据库531提取和由用户输入的图像数据的特性匹配的独立描述符。
然后,在步骤S95,描述符比较单元73把所提取的独立描述符和在三维图像数据库55中的描述符进行比较,并检索出和用户输入的特性匹配的三维图像数据。在步骤S96,所检索的三维图像数据通过输出单元74被输出给用户。
本发明的方法可以实现为程序并且存储在诸如CD-ROM、RAM、ROM、软盘、硬盘以及光磁盘的计算机可读记录介质中。本领域的技术人员对于实现这样的处理没有问题,关于其的描述在这里省略。
如上所述,通过系统性地用获取、表示和显示步骤对由于多样性导致的散布的三维图像数据进行描述以及通过对适合用于用户请求的图像数据进行转换和交换,本发明的技术能够快速和精确地提供适合用于每个领域和每个显示装置的三维图像数据。
虽然针对特定的优选实施例说明了本发明,对于本领域的技术人员来说显而易见,在不脱离由所附权利要求所定义的本发明的范围的前提下能够对本发明进行各种改变和变化。

Claims (18)

1.一种用于描述三维图像数据的装置,包括:
描述符数据库,用于在获取例程、表示例程和显示例程存储描述三维图像数据的特性的描述符;
描述符添加装置,用于在每个步骤读入从外部输入的描述三维图像数据的特性的描述符,并把该描述符添加给所述三维图像数据;和
注册装置,用于把具有由所述描述符添加装置赋予的描述符的三维图像数据注册到三维图像数据库中。
2.如权利要求1所述的装置,其中所述描述符添加装置包括:
获取描述符添加器,用于从描述符数据库读入描述获取三维图像数据的步骤的获取描述符,并把该获取描述符添加给三维图像数据;
表示描述符添加器,用于从描述符数据库读入描述表示三维图像数据的步骤的表示描述符,并把该表示描述符添加给三维图像数据;和
显示描述符添加器,用于从描述符数据库读入描述显示三维图像数据的步骤的显示描述符,并把该显示描述符添加给三维图像数据。
3.如权利要求2所述的装置,其中,所述描述符数据库包括独立描述符数据库,其存储用于描述获取三维图像数据的步骤的获取描述符、用于描述表示三维图像数据的步骤的表示描述符和用于描述显示三维图像数据的步骤的显示描述符。
4.如权利要求3所述的装置,其中,所述描述符数据库还包括综合描述符数据库,其存储被定义为获取描述符、表示描述符和显示描述符的特定组合的综合描述符,并且
其中,所述描述符添加装置还包括综合描述符添加器,其用于从所述综合描述符数据库读入综合描述符,并把该综合描述符添加到所述三维图像数据。
5.一种用于描述三维图像数据的方法,包括下列步骤:
a)描述符添加单元在获取例程、表示例程和显示例程识别所述三维图像数据的特性;
b)描述符添加单元基于来自描述符数据库的识别在每个步骤读入描述三维图像数据的特性的描述符;
c)描述符添加单元向所述三维图像数据添加所述描述符;和
d)描述符添加单元把赋予了描述符的三维图像数据注册到三维图像数据库中。
6.如权利要求5所述的方法,其中,在步骤a)描述符添加单元识别获取、表示和显示三维图像数据的步骤的特性,并且,在步骤b)描述符添加单元基于所述识别,读入用于描述获取例程的获取描述符、用于描述表示例程的表示描述符,以及用于描述显示例程的显示描述符。
7.如权利要求6所述的方法,其中还包括下列步骤:
e)所述描述符添加单元确定是否具有被定义为获取描述符、表示描述符和显示描述符的特定组合的综合描述符;和
f)所述描述符添加单元从综合描述符数据库读入综合描述符,并把所述综合描述符添加到三维图像数据。
8.一种用于记录实现提供有处理器的三维图像数据描述中的三维图像数据描述方法的程序的记录介质,包括下列步骤:
a)描述符添加单元,在获取例程、表示例程和显示例程识别所述三维图像数据的特性;
b)描述符添加单元基于来自描述符数据库的识别在每个步骤读入描述三维图像数据的特性的描述符;
c)描述符添加单元向所述三维图像数据添加所述描述符;和
d)描述符添加单元把赋予了描述符的三维图像数据注册到三维图像数据库中。
9.如权利要求8所述的计算机可读记录介质,还包括下列步骤:
e)所述描述符添加单元确定是否具有被定义为获取描述符、表示描述符和显示描述符的特定组合的综合描述符;和
f)所述描述符添加单元从综合描述符数据库读入综合描述符,并把所述综合描述符添加到三维图像数据。
10.一种用于检索三维图像数据的装置,包括:
输入装置,用于在获取例程、表示例程和显示例程从用户接收关于三维图像数据的特性的数据;
描述符数据库,用于在所述获取例程、表示例程和显示例程基于所述三维图像数据的特性存储描述符;
描述符提取装置,用于从描述符数据库提取与从所述输入装置输入的数据对应的描述符;
描述符比较装置,用于把从所述描述符提取装置提取的描述符和存储在三维图像数据库中的三维图像数据的描述符进行比较,并检索和所提取的描述符匹配的三维图像数据;
输出装置,用于把由所述描述符比较装置检索的三维图像数据输出给用户。
11.如权利要求10所述的装置,其中,所述描述符提取装置包括单独描述符提取器,用于从所述描述符数据库提取单独描述符,所述单独描述符包括用于描述获取三维图像数据的步骤的获取描述符、用于描述表示三维图像数据的步骤的表示描述符,以及用于描述显示三维图像数据的步骤的显示描述符。
12.如权利要求11所述的装置,其中,所述描述符数据库包括单独描述符数据库,用于存储用于描述获取三维图像数据的步骤的获取描述符、用于描述表示三维图像数据的步骤的表示描述符,以及用于描述显示三维图像数据的步骤的显示描述符。
13.如权利要求12所述的装置,其中,所述描述符数据库还包括综合描述符数据库,用于存储综合描述符,其中,每个所述综合描述符被定义为获取描述符、表示描述符和显示描述符的特定组合,和
其中,所述描述符提取装置还包括综合描述符提取器,用于从所述综合描述符数据库中提取对应于从所述输入装置输入的数据的综合描述符。
14.一种用于检索三维图像数据的方法,包括下列步骤:
a)在获取例程、表示例程和显示例程从用户接收关于要检索的三维图像数据的特性的数据;
b)描述符提取单元,用于在描述符数据库中提取和输入数据匹配的描述符,所述描述符数据库在获取例程、表示例程和显示例程存储和三维图像数据的特性匹配的描述符;
c)描述符比较单元,用于将提取的描述符和存储在三维图像数据数据库中的三维图像数据的描述符进行比较,并检索与所提取的描述符匹配的三维图像数据;以及
d)输出单元,用于输出由描述符比较单元检索的三维图像数据。
15.如权利要求14所述的方法,其中,在步骤a)的图像获取步骤、图像表示步骤和图像显示步骤由用户输入要检索的三维图像数据的特性;和
其中,所述描述符提取单元在步骤b)中从描述符数据库中提取和输入数据对应的描述符,所述描述符数据库存储用于描述图像获取步骤的获取描述符、用于描述图像表示步骤的表示描述符和用于描述图像显示步骤的显示描述符。
16.如权利要求15所述的方法,还包括下列步骤:
e)所述描述符提取单元确定是否有被定义为获取描述符、表示描述符和显示描述符的特定组合的综合描述符;以及
f)所述描述符提取单元基于步骤e)的结果从综合描述符数据库提取综合描述符。
17.一种用于记录实现提供有处理器的三维图像数据描述中的三维图像数据描述方法的程序的记录介质,包括下列步骤:
a)在获取例程、表示例程和显示例程从用户接收关于要检索的三维图像数据的特性的数据;
b)描述符提取单元,用于在描述符数据库中提取和输入数据匹配的描述符,所述描述符数据库在获取例程、表示例程和显示例程存储和三维图像数据的特性匹配的描述符;
c)描述符比较单元,用于将提取的描述符和存储在三维图像数据数据库中的三维图像数据的描述符进行比较,并检索与所提取的描述符匹配的三维图像数据;以及
d)输出单元,用于输出由描述符比较单元检索的三维图像数据。
18.如权利要求17所述的计算机可读记录介质,还包括下列步骤:
e)所述描述符提取单元确定是否有被定义为获取描述符、表示描述符和显示描述符的特定组合的综合描述符;以及
f)所述描述符提取单元基于步骤e)的结果从综合描述符数据库提取综合描述符。
CNB2003801074869A 2002-12-26 2003-12-24 用于描述和检索三维图像数据的装置和方法 Expired - Fee Related CN100378760C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020020084542 2002-12-26
KR10-2002-0084542A KR100477801B1 (ko) 2002-12-26 2002-12-26 3차원 영상정보 기술장치와 그 방법 및 이를 이용한 3차원영상정보 검색장치 및 그 방법
PCT/KR2003/002840 WO2004059579A1 (en) 2002-12-26 2003-12-24 Apparatus and method for describing 3-dimensional image data and apparatus and method for retrieving 3-dimensional image data

Publications (2)

Publication Number Publication Date
CN1732481A true CN1732481A (zh) 2006-02-08
CN100378760C CN100378760C (zh) 2008-04-02

Family

ID=36206221

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2003801074869A Expired - Fee Related CN100378760C (zh) 2002-12-26 2003-12-24 用于描述和检索三维图像数据的装置和方法

Country Status (6)

Country Link
US (1) US7499585B2 (zh)
JP (1) JP2006512644A (zh)
KR (1) KR100477801B1 (zh)
CN (1) CN100378760C (zh)
AU (1) AU2003285803A1 (zh)
WO (1) WO2004059579A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103548051A (zh) * 2011-04-07 2014-01-29 电子湾有限公司 基于描述符和图像的项目模型
CN108197631A (zh) * 2012-07-23 2018-06-22 苹果公司 提供图像特征描述符的方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7433546B2 (en) * 2004-10-25 2008-10-07 Apple Inc. Image scaling arrangement
US8126907B2 (en) 2004-08-03 2012-02-28 Nextengine, Inc. Commercial shape search engine
US7930369B2 (en) 2005-10-19 2011-04-19 Apple Inc. Remotely configured media device
JP4751801B2 (ja) * 2006-10-17 2011-08-17 シャープ株式会社 立体画像検索装置
KR101242659B1 (ko) * 2009-03-19 2013-03-19 한국전자통신연구원 영상 검색 방법
KR101626384B1 (ko) * 2009-12-04 2016-06-13 한국전자통신연구원 3차원 모델 데이터 검색 장치 및 방법
US20110242342A1 (en) 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
US8896668B2 (en) 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors
FI20165256L (fi) * 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5431161A (en) * 1993-04-15 1995-07-11 Adac Laboratories Method and apparatus for information acquistion, processing, and display within a medical camera system
US6084978A (en) * 1993-12-16 2000-07-04 Eastman Kodak Company Hierarchical storage and display of digital images used in constructing three-dimensional image hard copy
JP3974946B2 (ja) * 1994-04-08 2007-09-12 オリンパス株式会社 画像分類装置
US6571227B1 (en) * 1996-11-04 2003-05-27 3-Dimensional Pharmaceuticals, Inc. Method, system and computer program product for non-linear mapping of multi-dimensional data
US6631364B1 (en) * 1997-03-26 2003-10-07 National Research Council Of Canada Method of searching 3-Dimensional images
JPH113434A (ja) 1997-06-11 1999-01-06 Hitachi Ltd 3次元仮想空間構成方法
JP3839973B2 (ja) 1998-09-21 2006-11-01 キヤノン株式会社 画像処理装置及び方法並びに記憶媒体
JP2000187670A (ja) 1998-12-22 2000-07-04 Canon Inc 画像処理装置及びその方法、コンピュータ可読メモリ
SG117459A1 (en) * 1999-02-05 2005-12-29 Samsung Electronics Co Ltd Color image processing method and apparatus thereof
JP4056167B2 (ja) 1999-03-03 2008-03-05 三菱電機株式会社 図書情報検索空間構築・検索装置および図書情報検索空間構築・検索プログラムを記録したコンピュータ読み取り可能な記録媒体
US6408321B1 (en) * 1999-03-24 2002-06-18 International Business Machines Corporation Method and apparatus for mapping components of descriptor vectors to a space that discriminates between groups
GB2375212B (en) 1999-04-29 2003-06-11 Mitsubishi Electric Inf Tech Method and apparatus for searching for an object using shape
KR20010002386A (ko) * 1999-06-15 2001-01-15 정선종 이미지 데이터베이스 구축 및 검색 방법
US6389417B1 (en) 1999-06-29 2002-05-14 Samsung Electronics Co., Ltd. Method and apparatus for searching a digital image
KR100355404B1 (ko) * 1999-12-03 2002-10-11 삼성전자 주식회사 주파수 공간상에서의 가보 필터를 이용한 질감표현방법 및질감기반 영상 검색방법
KR100865247B1 (ko) * 2000-01-13 2008-10-27 디지맥 코포레이션 메타데이터를 인증하고 매체 신호들의 워터마크들 내에 메타데이터를 임베딩하는 방법
JP2001325295A (ja) 2000-05-18 2001-11-22 Karudeia:Kk データベース構築方法およびそのデータベースの使用方法
JP2002095018A (ja) 2000-09-12 2002-03-29 Canon Inc 画像表示制御装置及び画像表示システム、並びに画像データの表示方法
JP4649030B2 (ja) 2000-09-22 2011-03-09 学校法人東海大学 物体の形状類別のためのデータベースの作成方法
WO2003092304A1 (en) 2002-04-25 2003-11-06 Sharp Kabushiki Kaisha Image data creation device, image data reproduction device, and image data recording medium
WO2004029851A1 (en) * 2002-09-24 2004-04-08 Eastman Kodak Company Method and system for computer aided detection (cad) cued reading of medical images
KR101002665B1 (ko) 2008-07-02 2010-12-21 삼성모바일디스플레이주식회사 박막트랜지스터, 그의 제조방법 및 그를 포함하는유기전계발광표시장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103548051A (zh) * 2011-04-07 2014-01-29 电子湾有限公司 基于描述符和图像的项目模型
US11004260B2 (en) 2011-04-07 2021-05-11 Ebay Inc. Item model based on descriptor and images
CN108197631A (zh) * 2012-07-23 2018-06-22 苹果公司 提供图像特征描述符的方法

Also Published As

Publication number Publication date
KR20040057749A (ko) 2004-07-02
JP2006512644A (ja) 2006-04-13
AU2003285803A1 (en) 2004-07-22
WO2004059579A9 (en) 2005-11-03
US7499585B2 (en) 2009-03-03
US20060088205A1 (en) 2006-04-27
WO2004059579A1 (en) 2004-07-15
KR100477801B1 (ko) 2005-03-22
CN100378760C (zh) 2008-04-02

Similar Documents

Publication Publication Date Title
CN1144157C (zh) 用于从顺序的2d图象数据产生3d模型的系统和方法
CN1222897C (zh) 视频序列中产生标记对象图像的设备和方法
CN1311388C (zh) 表示图像组的方法和装置
CN110100435B (zh) 生成装置、识别信息生成方法、再现装置和图像再现方法
US20200244843A1 (en) Information processing apparatus and information processing method
EP2639745A1 (en) Object identification in images or image sequences
CN1914643A (zh) 创建一种深度图
CN1732481A (zh) 用于描述和检索三维图像数据的装置和方法
CN1754194A (zh) 用于对数字视频内容进行基于交互式映像的分析的方法及装置
CN1754139A (zh) 用于数字视频内容的交互式网络共享的方法及装置
CN1462416A (zh) 图像变换和编码技术
CN1739303A (zh) 立体观察用图像提供方法和立体图像显示装置
CN110971906B (zh) 层级化的点云码流封装方法和系统
CN1774936A (zh) 图像文件创建设备以及图像文件再现设备
Maiwald et al. A 4D information system for the exploration of multitemporal images and maps using photogrammetry, web technologies and VR/AR
WO2016160395A1 (en) Expanding the field of view of photograph
WO2001001348A1 (en) Image conversion and encoding techniques
CN113542907B (zh) 多媒体数据收发方法、系统、处理器和播放器
CN102073668B (zh) 从数字视频文件搜索和提取数字图像
EP3800888A1 (en) Encoding and decoding a video
CN109389199B (zh) 一种多维码系统及编解码方法
CN103309639A (zh) 一种基于三维场景分屏显示的方法与装置
Lu et al. Light field editing propagation using 4d convolutional neural networks
CN1894728A (zh) 缩放三维模型的方法和缩放单元
EP2665018A1 (en) Object identification in images or image sequences

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080402

Termination date: 20111224