CN101180657A - 信息终端 - Google Patents

Abstract

本发明提供一种信息终端。该信息终端由如下部分构成：图像输入部(10)，其输入图像；基准图案检测部(12)，其检测由该图像输入部(10)输入的图像中的基准图案(31)；图像辨认部(16)，其辨认与基准图案处于预定位置关系的区域内的图像，其中，该基准图案在由上述图像输入部(10)输入的图像中、且由上述基准图案检测部(12)检测到；以及处理部(20)，其进行与由该图像辨认部(16)所辨认的图像相关的处理。

Description

信息终端

技术领域

本发明涉及识别标记的信息终端。

背景技术

在USP6,577,249号公报中公开有一种相关信息呈现装置，其在拍摄被摄体而成的图像上的对应位置处重叠显示上述被摄体各部的相关信息。在该相关信息呈现装置中，图像输入单元输入拍摄上述被摄体而成的图像，且在拍摄时将显示有表示上述被摄体的4点以上的位置信息的图案的标记包含在摄像范围内。位置信息管理单元从上述所输入的图像中读取上述图案，而获得上述位置信息。位置信息取得单元根据上述位置信息求出上述图像输入单元的位置及姿势。相关信息生成单元根据上述图像输入单元的位置及姿势求出上述被摄体的各部在上述图像上的位置。信息重叠显示单元在基于已求出的上述图像上的位置的对应位置上重叠显示上述相关信息。

此外，在日本特开2003-67742号公报中公开有一种从图像中确定关注图像的图像处理装置。在该图像处理装置中，记号图像确定部从图像中确定可识别关注图像中的特定方向的记号图像。关注图像确定部利用表示该记号图像和关注图像之间的位置关系的相对位置信息、和从记号图像中识别出的特定方向，来确定关注图像。

在上述USP6,577,249号公报所公开的对标记进行识别的信息呈现装置中，对于标记而言，四方框那样的基准图案和作为标记的辨认用特征结构(texture)的图像(图案)成为一体。即，进行模式匹配的辨认用特征结构内含在基准图案中。由此，设计和配置标记时的自由度小。此外，具有基准图案的识别概率和辨认用特征结构的识别概率之间有时存在差异这样的缺陷。

此外，在上述日本特开2003-67742号公报中公开有如下技术：使用配置在黑板的4个角处的记号，从照片中提取关注部分(黑板)。但是，在该公报所公开的技术中，无法根据记号来检测摄像装置的位置姿势，且无法使用位置姿势信息进行信息呈现。

发明内容

本发明正是鉴于上述问题而完成的，其目的在于提供一种信息终端，即使将基准图案和用于辨认标记的图像分体构成标记，也能够识别标记，从而可扩大设计和配置标记时的自由度。

作为本发明的信息终端的一种方式，其特征在于，该信息终端具有：

图像输入部，其输入图像；

基准图案检测部，其检测由上述图像输入部输入的图像中的基准图案；

辨认单元，其辨认与基准图案处于预定位置关系的区域内的图像，其中，该基准图案在由上述图像输入部输入的图像中、且由上述基准图案检测部检测到；以及

处理部，其进行与由上述辨认单元所辨认的图像相关的处理。

附图说明

图1是表示本发明的第1实施例的信息终端的结构的图。

图2是表示基准图案的例子的图。

图3是表示基准图案的另一个例子的图。

图4是表示基准图案的再一个例子的图。

图5是表示本发明的第2实施例的信息终端的结构的图。

图6是用于说明作为相关信息而重叠显示拍摄时位于视野外的用来显示景色特征的显著标记(land mark)的例子的图。

图7是用于说明作为相关信息而重叠显示拍摄时位于视野外的用来显示景色特征的显著标记的例子的图。

图8是用于说明作为相关信息而重叠显示拍摄时位于视野外的用来显示景色特征的显著标记的例子的图。

图9是用于说明作为相关信息而重叠显示拍摄后经过修整的部分的例子的图。

具体实施方式

以下，参照附图说明用于实施本发明的优选方式。

[第1实施例]

在本实施例中，将标记分离为基准图案和辨认用特征结构(texture)，分别进行生成和管理。而且，信息终端首先识别上述基准图案，接着利用相对于上述基准图案处于预定位置关系的上述辨认用特征结构来进行上述标记的辨认。

如图1所示，本发明的第1实施例的信息终端具有图像输入部10、基准图案检测部12、预定位置关系存储部14、图像辨认部16、辨认用特征结构DB(数据库)18以及处理部20。

上述图像输入部10是拍摄图像进行输入的照相机。或者，上述图像输入部10也可以从存储装置或介质读出由照相机拍摄到的图像而进行输入。并且，上述图像输入部10也可以经由网络输入这样的图像。上述基准图案检测部12检测由上述图像输入部10输入的图像中的基准图案。此外，上述预定位置关系存储部14存储有关于基准图案的预定位置关系。而且，上述基准图案检测部12根据存储在上述预定位置关系存储部14中的上述预定位置关系，提取由上述图像输入部10输入的图像中的、相对于上述检测到的基准图案处于预定位置关系的区域、即辨认用特征结构区域的图像，作为辨认用特征结构图像。

在上述辨认用特征结构DB 18中登记有多个辨认用特征结构数据。而且，上述图像辨认部16对该登记在辨认用特征结构DB 18中的各个辨认用特征结构数据和上述提取出的辨认用特征结构区域内的辨认用特征结构图像进行匹配处理。上述图像辨认部16通过该匹配处理辨认该辨认用特征结构图像是哪个。另外，匹配处理有将特征结构图像的预定区域作为图案数据进行匹配处理的方法、和使用包含在特征结构图像中的特征点组进行匹配处理的方法等。在本实施例中，当然可以采用其中任一种方法，也可以采用将这些方法组合而成的方法。而且，上述处理部20进行与由该图像辨认部16所辨认的辨认用特征结构图像相关联的处理。作为该相关联的处理，包括如下的各种处理：例如从相关的Web网站取得信息、收发相关的电子邮件、启动相关的应用软件、或者将相关的信息例如URL传送给应用软件。

在此，上述基准图案只要具有例如对比度差异、明暗差异、颜色差异、特征结构差异等可对图案和图案的外侧周边部之间进行识别的差异，则可以是任意图案。

例如，基准图案可采用图2所示的结构。即，在基座30上安装数字时钟，在可更换照片或图片等的像框中，将该数字时钟的外框用作基准图案31。内部的数字时钟的数字在该情况下不用于辨认。并且，作为应辨认的图像的辨认用特征结构32可以采用在该像框上可更换的照片或图片。在该情况下，相对于基准图案31已客观确定了辨认用特征结构32的位置，所以只要在预定位置关系存储部14中预先存储该位置关系即可。

此外，如图3所示，也可以将基准图案31构成为大头针的一部分，该大头针将作为辨认用特征结构32的照片等固定在黑板上。在该情况下，辨认用特征结构32的位置也已相对于基准图案31客观确定，所以只要在预定位置关系存储部14中预先存储该位置关系即可。

或者，如图4所示，也可以将可容纳和替换作为待辨认的图像的辨认用特征结构32的像框设为基准图案31。这样，通过将插入照片等辨认用特征结构32的框设为基准图案31，从而可更换辨认用特征结构32。

另外，在图2和图4中，辨认用特征结构32不限于照片和图片，例如也可以构成为通过采用显示在液晶显示器上的图像而使得可进行更换。

在此，先简单说明辨认用特征结构区域的提取方法。

即，基准图案检测部12根据由图像输入部10输入的图像来检查图像内是否存在基准图案31(在本例子中为四边框)。预先将该四边框的4个角的位置信息(世界坐标系下的坐标值)与对应特征结构的模板信息一起记录到信息终端内。由此，通过检测四边框并进行特征结构的辨认，可估计图像输入部10在世界坐标系下的位置及姿势。

首先，通过提取图像内的四边框，可以求出基准图案坐标系下的图像输入部10的位置姿势。根据该基准图案31求出图像输入部10的位置姿势的方法公开在“A High Accurasy Realtime 3D Measuring Method ofMarker for VR Interface by Monocular Vision”(VR界面高精度单目视觉实时3D标记测量方法)(3D Image Conference’96 Proceeding pp.167-172，Akira Takahashi，Ikuo Ishii，Hideo Makino，Makoto Nakashizuka，1996)中。

并且，四边框即基准图案31和对应的辨认用特征结构32被置于预定关系的位置上。预先将相对于该特征结构的上述四边框的相对位置信息(基准图案坐标值)记录到预定位置关系存储部14中。

辨认用特征结构32例如设为正方形的形状，上述相对位置信息(x₀，y₀，z₀)设为以基准图案31的左上角点为原点时的特征结构的左上角点的坐标。如果作为大小信息给出一边的长度a，则求出其他3个角相对于左上角点的相对位置信息(辨认用特征结构坐标值)。相对位置信息分别为左上角点(0，0，0)、右上角点(a，0，0)、左下角点(0，a，0)、右下角点(a，a，0)。

在此，辨认用特征结构坐标值可通过下述式1转换成基准图案坐标值。另外，在该式中，(x_wp，y_wp，z_wp)分别表示相对于左上角点的基准图案31的相对位置(基准图案坐标值)。此外，(x_lp，y_lp，z_lp)表示以特征结构左上角点为基准的辨认用特征结构坐标系下的坐标。

$\left[\begin{array}{c}{x}_{\mathrm{wp}}\\ Y_{\mathrm{wp}}\\ z_{\mathrm{wp}}\\ 1\end{array}\right]=L\·\left[\begin{array}{c}{x}_{1p}\\ y_{1p}\\ z_{1p}\\ 1\end{array}\right]$ (式1)

在此，L表示下述式2的行列式，在该式中，Rot表示辨认用特征结构32在基准图案坐标系下的姿势，(t_x，t_y，t_z)表示特征结构左上角点在基准图案坐标系下的坐标值。

(式2)

将辨认用特征结构32的左上角位置相对于基准图案3 1的相对位置信息设为(x_k，y_k，z_k)，说明从特征结构坐标系的XYZ轴平行移动基准图案坐标系的XYZ轴的情况，当忽略旋转要素时，辨认用特征结构32在基准图案坐标系下的绝对值坐标如下这样求出：

x_wp＝x_wwp+x_k

y_wp＝y_wwp+y_k

z_wp＝z_wwp+z_k

可使用该坐标进行辨认用特征结构区域的提取。

如果能够这样地进行辨认用特征结构区域的提取，则在图像辨认部16中，可通过通常的模板匹配来辨认辨认用特征结构32是何种标记的特征结构。

并且，通过进行辨认还可辨认基准图案31在世界坐标系下的坐标值，图像输入部10在世界坐标系下的坐标值也可唯一地确定。而且，如果图像输入部10固定地设置在该信息终端上，则该信息终端在世界坐标系下的坐标值也必然可唯一地确定。这样，图像辨认部16具有位置及姿势判定部16A，该位置及姿势判定部16A根据由上述图像输入部10输入的图像，检测该信息终端在基准坐标系下的位置及姿势。

[第2实施例]

如图5所示，在本实施例的信息终端中，由相关信息生成部201、相关信息存储DB 202以及信息显示部203构成上述处理部20。

在此，相关信息存储DB 202登记有与各种标记对应的相关信息。此外，相关信息生成部201按照由上述图像辨认部16所辨认的图像搜索上述相关信息存储DB 202，生成与上述所辨认的图像相关的相关信息。然后，在液晶显示器等信息显示部203上呈现由上述相关信息生成部201生成的相关信息。

在该情况下，相关信息生成部201还可以构成为，根据由上述基准图案检测部12检测到的基准图案31的种类，不仅使呈现在上述信息显示部上的相关信息不同，而且还使呈现该相关信息的位置不同。

此外，在信息显示部203上呈现相关信息的呈现方式可以是显示相关信息，也可以是在由上述图像输入部10输入的图像上重叠显示相关信息那样的呈现方式。另外，在该相关信息的显示中，相关信息生成部201根据在上述第1实施例中说明的、从由上述图像输入部10输入的图像中检测到的基准坐标系下的该信息终端的位置及姿势，修正所生成的相关信息的位置及姿势，而给予信息显示部203。由此，能够以与该信息终端的位置及姿势对应的方式显示该相关信息。这样的与位置及姿势对应的相关信息的显示特别适用于如后者那样重叠显示相关信息的情况。

另外，作为上述相关信息，例如可以是生成作为上述辨认用特征结构32的图像时、即拍摄照片时的图像输入设备的书志信息。即，在数字照相机等图像输入设备中，使用机种或摄影条件等书志信息也可以与图像一起输入。因此，只要将这样的书志信息预先存储到相关信息存储DB202中，就可以将与由图像输入部10输入的图像对应的书志信息设为相关信息。

此外，上述相关信息还可以设为与拍摄作为上述辨认用特征结构32的图像(照片)的风景或位置相关的信息。例如，如图6所示，拍摄包括风景的一部分在内的摄影图像40。然后，如图7所示，将该摄影图像40放入将图4所示的框用作基准图案31的像框中而设为辨认用特征结构32。在该情况下，只要在辨认用特征结构DB 18中具有与该辨认用特征结构32中的上述风景的一部分匹配的模板，就可以呈现以下那样的信息。即，在该情况下，只要在相关信息存储DB 202中存储有用来显示景色特征的显著标记的数据，就可以如图8所示，将该用来显示景色特征的显著标记的数据作为相关信息202A，在信息显示部画面203A上与输入图像重叠而进行呈现。在该情况下，当然可使用图像输入部10的位置姿势将可见方向的二维图像生成为相关信息202A。

此外，上述相关信息还可以设为视野周围的景观，该视野是生成作为上述辨认用特征结构32的图像的图像输入设备的摄影视野、或者拍摄后进行切取处理而成的视野。例如，如图9所示，将对修整摄影图像40的一部分而成的照片进行打印输出后的图像作为辨认用特征结构32，放入将图4所示的框用作基准图案31的像框中，并且，将该修整后的照片登记到辨认用特征结构DB 18中。此外，预先将原来的摄影图像40登记到相关信息存储DB 202中。在该情况下，能够进行如下的显示。即，在该情况下，在由信息终端50的图像输入装置51(对应于图像输入部10)拍摄到其像框时，能够在信息终端50的信息显示部画面52(对应于信息显示部画面203A)上将修整后的部分作为相关信息202B重叠显示。

此外，上述相关信息不限于与由上述图像辨认部16所辨认的辨认用特征结构32的图像的情景相关的照片，也可以是声音或动画、数字内容等任意的信息。

根据以上实施例说明了本发明，但本发明不限于上述实施例，当然可以在本发明的宗旨的范围内进行各种变形和应用。

例如，设为在预定位置关系存储部14中预先存储基准图案31和辨认用特征结构32之间的位置关系，但也可以例如将基准图案31构成为一维或者二维条形码等码，从检测出的基准图案31读出上述位置关系等。即，基准图案31和辨认用特征结构32之间的位置关系只要能够根据基准图案31而知道，则可以以任意的方式来提供。

另外，在以上的实施例中，示出了基准图案为矩形那样的几何学样式的例子，但基准图案的图案设计不限于此。只要是满足确定辨认用特征结构的位置这样的基准图案的功能的方式，则可以是任意的形式。例如，如自然风景照片或吉祥物的插图那样，即使在不是几何学图案设计的情况下，只要可通过使用特征点组的匹配处理辨认至少3个对应的特征点，就可以辨认基准图案和摄影图像的位置及姿势。此外，当特征点作为张量(tensor)而保持有面的信息的情况下，只需1点即可辨认基准图案和摄影图像的位置及姿势。由此，还可以辨认辨认用特征结构的位置。

所谓图像中的特征点是指与其他像素的差异在一定水平以上，其特征量例如包括明暗的对比度、颜色、周围的像素分布、微分分量值、特征点之间的配置等。提取这些特征点，并按照每个对象物预先登记。

利用时在输入图像中进行搜索，提取特征点，并与已完成登记的数据进行比较。在表示相似程度的数值(特征点之间的各分量的差异)超过预先设定的阈值时判定为相似特征点，并且，将多个特征点一致的对象物判断为与输入图像的对象物相同。

Claims (12)

1.一种信息终端，其特征在于，该信息终端具有：

图像输入部(10、51)，其输入图像；

基准图案检测部(12)，其检测由上述图像输入部(10、51)输入的图像中的基准图案(31)；

辨认单元(16)，其辨认与基准图案(31)处于预定位置关系的区域内的图像，其中，该基准图案(31)在由上述图像输入部(10、51)输入的图像中、且由上述基准图案检测部(12)检测到；以及

处理部(20)，其进行与由上述辨认单元(16)所辨认的图像相关的处理。

2.根据权利要求1所述的信息终端，其特征在于，

上述处理部(20)进行的处理是信息的显示，

上述处理部(20)具有：

相关信息生成部(201)，其生成与由上述辨认单元(16)所辨认的图像相关的相关信息；以及

信息呈现部(203、52)，其呈现由上述相关信息生成部(201)生成的相关信息。

3.根据权利要求1所述的信息终端，其特征在于，上述基准图案(31)具有可识别图案和该图案的外侧周边部之间的差异。

4.根据权利要求1所述的信息终端，其特征在于，上述预定位置关系是预先定义的。

5.根据权利要求1所述的信息终端，其特征在于，上述预定位置关系可根据上述基准图案(31)而知道。

6.根据权利要求1所述的信息终端，其特征在于，上述基准图案(31)是可容纳和替换待辨认图像的框。

7.根据权利要求2所述的信息终端，其特征在于，根据由上述基准图案检测部(12)检测到的基准图案(31)的种类，在上述信息呈现部(203、52)上呈现的信息和/或呈现信息的位置不同。

8.根据权利要求2所述的信息终端，其特征在于，在上述信息呈现部(203、52)上呈现的相关信息是生成待辨认图像时的图像输入设备的书志信息。

9.根据权利要求2所述的信息终端，其特征在于，在上述信息呈现部(203、52)上呈现的相关信息是与拍摄了待辨认图像的风景或者位置相关的信息。

10.根据权利要求2所述的信息终端，其特征在于，在上述信息呈现部(203、52)上呈现的相关信息是视野周围的景观，其中，该视野是生成待辨认图像的图像输入部(10、51)的摄影视野、或者拍摄后进行切取处理而成的视野。

11.根据权利要求2所述的信息终端，其特征在于，在上述信息呈现部(203、52)上呈现的相关信息是与由上述辨认单元(16)所辨认的图像的情景相关的声音、照片以及数字内容中的至少一个。

12.根据权利要求2～11中的任意一项所述的信息终端，其特征在于，

该信息终端还具有位置及姿势判定部(16A)，该位置及姿势判定部(16A)根据由上述图像输入部(10、51)输入的图像检测该信息终端(50)在基准坐标系下的位置及姿势，

上述相关信息以基于上述位置及姿势判定部(16A)的检测结果的位置及姿势，呈现在显示在上述信息呈现部(203)上的由上述图像输入部(10、51)输入的图像中。

Images