CN1842127A - 图像处理装置 - Google Patents

Abstract

本发明提供一种图像处理装置。蜂窝式电话主体(10)包括存储器(12)、CPU(18)、照相机(15)和显示器(17)。CPU(18)以与照相机(15)所拍摄的被摄体的图像相交叠的方式在显示器(17)上显示指示器P，并且根据随着照相机(15)对被摄体进行拍摄时蜂窝式电话主体的移动而在被摄体的图像上移动的指示器(P)的移动轨迹信息，来判断是否将由照相机(15)拍摄并且在存储器(12)的第一缓冲区(12c)中缓存的被摄体图像保存到存储器(12)的图像数据保存区(12f)中。

Description

图像处理装置

技术领域

本发明涉及一种图像处理装置，其具有照相机和屏幕，并且能够在屏幕上显示照相机拍摄的图像数据。

背景技术

近来，随着数字照相机变得普及，即使是在日常生活中，使用图像的机会也正在增加。

另外，对于例如蜂窝式电话和PDA(个人数字助理)等便携式终端装置，越来越多的装置安装了复杂的照相机功能。

一些便携式终端装置对所加载的图像执行例如字符识别的复杂处理。

同时，例如，在安装有照相机功能的蜂窝式电话中，当通过照相机对被摄体进行拍摄并加载该图像时，在按下快门之前通常要对视角和拍摄距离进行调整，以使图像位于以所安装的液晶显示区为代表的屏幕内。

这意味着保存在屏幕上显示的全部图像区域。通常，该区域一般被设置为矩形形状。

然而，用户以各种方式使用装置，有时需要加载的图像的区域不与在屏幕中显示的区域即矩形区域相匹配。

在这种情况下，一旦在存储器等中保存了拍摄的图像数据之后，用户不得不通过麻烦的图像编辑工作从图像数据中切出所需的区域。

另外，由于在存储器中还加载了不必要的图像数据，尽管是临时的，但图像尺寸变大，并且浪费数字照相机或蜂窝式电话的存储器。

另一方面，在与扫描仪相连接的字符识别装置等中，当扫描仪加载了文档等的图像并且执行字符识别时，在加载整个文档或其一部分作为图像数据之后，可以考虑将执行例如布局分析的处理作为用于指定要进行字符识别的区域的方法。

然而，在这种情况下，用户必须从多个字符或行中指定目标区域。

此外，根据布局分析的结果，该区域可能无法被正确地提取。

另外，如果期望对未落在一次拍摄的画面内的字符行进行字符识别，则需要重复多个拍摄和识别。

另外，在例如PDA等便携式终端装置中，当识别例如报纸的栏设置复杂的文档时，作为用于指定要加载为图像的所期望的区域的方法，可以使用例如为便携式终端装置配备的触摸屏等接口。

在这种情况下，尽管用户可以通过便携式终端装置的接口来指定区域，但是在其它便携式终端装置中，例如在蜂窝式电话或照相机中，因为从成本因素考虑不可能安装例如触摸屏的装置，因而难以进行区域指定。

作为不使用触摸屏即可进行区域指定的现有技术，已公开了如下图像处理装置，其包括：位置指定装置，用于在进行字符识别的图像上指定位置；字符识别装置，用于识别包括在包含有该指定位置的部分图像中的字符；数据库搜索装置，用于根据字符识别结果来搜索数据库；以及信息显示控制装置，用于控制在显示装置上显示图像以及搜索到的数据库信息(例如，参见专利文献1)。

在该图像处理装置的情况下，尽管没有使用触摸屏本身，但是位置指定装置被连接到字符处理装置。

因此，需要像在触摸屏的情况那样，将某些用于位置指定的装置连接到字符识别装置，这导致成本的提高。

专利文献：日本特开2002-222196号公报。

发明内容

如上所述，在现有技术中，对于从照相机输入的屏幕上的图像，除非配备有例如触摸屏等接口装置或位置指定装置，否则用户无法容易地指定该图像的所期望的区域。

另外，当加载未落在一次拍摄的画面内的大尺寸图像时，需要对被摄体重复多次拍摄操作(用户对由照相机拍摄的图像数据执行保存操作)，这对用户来说是麻烦的工作。

本发明是为了解决这些问题而做出的，其目的在于提供一种图像处理装置，在该图像处理装置中，在不使用例如触摸屏或位置指定装置等接口装置的情况下，由照相机拍摄的图像数据的所期望的区域可以容易地作为图像数据而被加载。

根据本发明实施例的图像处理装置，其在移动安装有照相机和显示器的图像处理装置主体的同时，在该显示器上显示通过使用该照相机对被摄体进行拍摄而获得的图像，该图像处理装置包括：存储器，其具有能存储由该照相机拍摄的被摄体的图像以及在该显示器上显示的图像的移动轨迹的信息的区域；存储器控制器，其将显示在该显示器上的图像的移动轨迹的信息存储到该存储器中，当使用该照相机对被摄体进行拍摄时，该图像随着该图像处理装置主体的移动而移动；以及判断部分，用于基于由所述存储器控制器存储在所述存储器中的移动轨迹的信息，来判断是否将由该照相机拍摄的被摄体的图像保存在所述存储器中。

根据本发明另一实施例的图像处理装置，其在移动安装有照相机和显示器的图像处理装置主体的同时，在该显示器上显示通过使用该照相机对被摄体进行拍摄而获得的图像，该图像处理装置包括：存储器，其具有能缓存由该照相机拍摄的被摄体的图像的缓冲区、能存储在该显示器上显示的图像的移动轨迹的信息的存储区、以及能保存该图像的保存区；指示器显示部分，其在该显示器上以与由该照相机拍摄的被摄体的图像交叠的方式来显示用于指定该图像的位置的指示器；存储器控制器，其将当使用该照相机对被摄体进行拍摄时随着该图像处理装置主体的移动而在被摄体的图像上移动的指示器的移动轨迹的信息存储到该存储区中；以及判断部分，其基于由所述存储器控制器存储在所述存储区中的移动轨迹的信息，来判断是否将由该照相机拍摄的、缓存在该缓冲区中的被摄体的图像保存在该保存区中。

附图说明

图1是示出根据本发明实施例的蜂窝式电话的结构的图。

图2是示出图1的蜂窝式电话的照相机的拍摄范围和名片的尺寸的图。

图3是示出蜂窝式电话的屏幕的例子的图。

图4是流程图，其示出蜂窝式电话的操作。

图5是示出在蜂窝式电话的屏幕上进行区域指定的情况的图。

图6是示出区域指定结束情况的图。

图7是示出显示所指定的区域的情况的图。

图8是流程图，其示出蜂窝式电话的操作。

图9是示出另一指示器的显示例子的图。

图10是示出指示器被设置到起始点的情况的图。

图11是示出由指示器跟踪并指定的区域的情况的图。

图12是示出结束通过指示器进行跟踪而对区域进行指定的情况的图。

图13是示出显示指定区域的情况的图。

图14是示出拍摄范围和名单列表的尺寸的图。

图15是流程图，其示出蜂窝式电话的操作。

图16是示出在蜂窝式电话的屏幕上指定区域的情况的图。

图17是示出区域指定被终止的情况的图。

图18是示出显示所指定的区域的情况的图。

图19是示出拍摄范围和信纸尺寸的图。

图20是流程图，其示出蜂窝式电话的操作。

图21是示出由拍摄范围的一个单位指定的区域的情况的图。

图22是示出将具有未加载区域的所相连的图像图标化并且在屏幕上进行显示的例子的图。

具体实施方式

下面将参考附图来详细说明本发明的实施例。

将参考附图来说明本发明的实施例，然而，所提供的附图仅是说明性的，其不用来限制本发明。

第一实施例

如图1所示，该蜂窝式电话的蜂窝式电话主体10中包括：键操作部分11、存储器12、天线13、电话呼叫部分14、照相机15、无线通信部分16、显示器17、以及中央处理单元(下文中称之为CPU18)等。

键操作部分11包括数字键(ten-key)、电源按钮、电话呼叫按钮、方向键(→、←、↓、↑等)、以及功能键等。

键操作部分11根据用户的键操作或按钮操作来接受指令。

存储器12设置有存储区，例如系统区12a、程序库12b、第一缓冲区12c、第二缓冲区12d、图像数据保存区12e、移动轨迹存储区12f和指示器存储区12g。

在系统区12a中，存储控制该蜂窝式电话的功能的程序(固件等)、设置信息等。

系统区12a是通过按下电源按钮而由CPU 18执行该系统区12a的程序的区域。

系统区12a是不能被普通用户的操作重写的区域。

程序库12b是存储该蜂窝式电话中的可执行程序的区域。

在程序库12b中，存储有JAVA应用程序软件、BREW应用程序软件等，这些可以例如通过包通信方式从因特网Web站点等获取，或者事先进行保存。

顺便提一句，在该实施例中，假定在产品出厂时这些软件已被事先存储在存储器12中。

这里省略了对使蜂窝式电话中的软件可用的处理的说明。

JAVA和BREW等是注册商标。

第一缓冲区12c是依次保持(缓存)由照相机15拍摄的图像数据的区域。

第二缓冲区12d是工作区，用于处理第一缓冲区12c中所缓存的图像数据。

这里，处理是指对图像的切出处理、以及图像的连接处理等。

在图像数据被保存到图像数据保存区12e之后，第一缓冲区12c和第二缓冲区12d中缓存的图像数据被删除。

也就是说，第一缓冲区12c和第二缓冲区12d是图像数据的临时存储区。

在图像数据保存区12e中，在缓存在第一缓冲区12c和第二缓冲区12d等中的图像数据中，保存最终决定为要保存的图像数据。

上述图像数据是从部分区域中切出的图像数据、图像连接后的大图像数据等。

在指示器存储区12g中，作为显示在显示器17的屏幕上的指示器，例如，存储用于指定点的十字形指示器、以及具有给定宽度的、用于跟踪图像的目标部分的高亮度笔形指示器。

高亮度笔形指示器的宽度和形状可以通过来自设置屏幕的指令进行更改。

在移动轨迹存储区12f中，依次存储当显示在屏幕上的指示器在屏幕上移动时的移动轨迹的信息。

在移动轨迹存储区12f中，保存从开始时加载的、展开(映射)为位图形式等的图像数据。

当输入移动轨迹(位置坐标)的信息时，在移动轨迹存储区12f中存储图像数据的位置坐标的相应位置处的点。

如何保持移动轨迹信息根据指示器的形状而不同。

例如，如果指示器是十字形指示器，则在移动轨迹存储区12f中存储十字形的交叉点的位置处的点。

如果指示器是高亮度笔形指示器，则在移动轨迹存储区12f中以高亮度笔的外形宽度来存储点。

无线通信部分16通过使用蜂窝式电话网的无线基站，经由天线13来进行无线通信。

无线通信包括语音通信(电话呼叫)、包通信(数据通信)等。

电话呼叫部分14包括扬声器和麦克风、语音电路部分等。

电话呼叫部分14是作为蜂窝式电话供用户执行电话呼叫的部分。

照相机15例如由摄像元件例如CCD元件和CMOS传感器、其驱动电路、光学系统例如镜头等构成。

照相机15对被摄体R1进行拍摄以获得图像数据。

照相机15位于显示器17的相对侧的表面上。

被摄体R1包括名片、名单列表、信纸、商务票单例如纸条(slip)、以及景物等。

显示器17是显示由照相机15拍摄的图像数据的装置，例如，它是例如LCD或EL等的薄型显示器。

显示器17位于蜂窝式电话主体10的照相机15的相对侧的表面上(与键操作部分11处于同一表面)。

对于显示器17，由照相机15拍摄的图像数据可以被投影到显示器17上，用户在观看该图像的同时可以进行键操作。

显示器17包括尺寸为例如QVCA(240×320点)等的矩形屏幕(显示区域)。

需要指出的是，本发明并不限于上述屏幕尺寸，而是可以使用各种尺寸或点数的装置。

CPU 18控制上述各部分。

CPU 18例如用作指示器表示部分，其表示用于以与照相机15拍摄的被摄体R1的图像相交叠的方式在屏幕上指定图像的位置的指示器P。

另外，CPU 18用作存储器控制器，将当通过照相机15对被摄体R1进行拍摄时随着蜂窝式电话主体10的移动而在被摄体R1的图像上移动的指示器P的移动轨迹信息存储在存储器12的移动轨迹存储区12f中。

CPU 18用作判断部分，用于判断是否根据存储在存储器12的移动轨迹存储区12f中的移动轨迹信息来将由照相机15拍摄的被摄体R1的图像存储到存储区12的图像数据保存区12e中。

如果例如通过移动轨迹存储区12f中存储的移动轨迹信息而使区域闭合，则CPU 18判断为由照相机15所拍摄的被摄体R1的图像应该存储到图像数据保存区12e中。

CPU 18在显示器17上显示设置屏幕(用户接口屏幕)，以供用户根据需要来选择存储器12的指示器存储区12g中存储的指示器中的一个。

在显示器17上显示的设置屏幕中，CPU 18获取用户从指示器存储区12g中选择的指示器，并且显示该指示器，还根据所选择的指示器的形状来执行对区域指定的控制。

CPU 18根据指示器的形状来判断是否根据存储在存储器12中的移动轨迹信息而将图像保存在存储器12的图像数据保存区12e中。

例如，当指示器的形状是十字形时，如果通过一系列点数据形成一定区域(终止区)，则CPU 18判断为在该区域中的图像应该被保存起来。

另外，当指示器形状为高亮度笔形时，CPU 18判断为包括在具有一定宽度的行中的、从开始写入到结束写入的图像应该被保存起来。

当指示器的移动轨迹超出预定范围(距离)时，CPU 18用作通知部分，其在显示器17的屏幕上显示该结果等以执行通知。

当假设指示器显示在屏幕的中央部分时，预定范围是用于指示器的水平移动的沿屏幕横向的显示点数的一半。

具体来说，当假定沿屏幕的横向方向的像素数为240点时，作为该值的一半，假定120点是指示器的移动限值。

作为通知的例子，当指示器以等于或大于屏幕从右到左的距离的一半的距离在图像上移动时，CPU 18以闪烁方式在屏幕上显示使用户注意到溢出的图标(例如“！”标记等)。

当判断为图像应该被保存时，CPU 18用作图像连接部分，对在存储器12的第一缓冲区12c或第二缓冲区12d等中缓存的多个图像执行连接处理。

CPU 18用作保存控制部分，其将连接后的图像保存在存储器12的图像数据保存区12e中。

CPU 18用作超分辨率部分，当同一区域中存在多个图像时，从该多个图像生成高分辨率图像。

超分辨率(super resolution)技术是用于从交叠的多个低分辨率图像来生成高分辨率图像的技术之一。

作为超分辨率技术，例如，存在一种称为迭代反投影(iterative back projection)的技术，其通过重复计算来从多个低分辨率图像生成高分辨率图像。

当判断为图像应该被保存时，CPU 18判断在被摄体R1的图像中是否存在未加载区域，并且根据其判断结果来对在存储器12中缓存的多个图像执行连接处理。

当没有未加载区域时，CPU 18将连接后的图像作为最终图像数据保存在存储器12的图像数据保存区12e中。

CPU 18判断在连接后的图像中是否存在未加载区，当判断为存在未加载区时，CPU 18提示是否对图像再次进行拍摄；当CPU18判断为没有未加载区时，CPU 18通知该结果。

具体来说，当存在未加载区时，CPU 18显示图标，并且当CPU18判断为不存在未加载区时删除该图标。

当通过将新图像与已加载区相连接而使得没有已拍摄区域时，CPU 18删除该图标并通知该结果。

当判断为存在未加载区域时，CPU 18在屏幕22上以能够区分的方式显示未加载区域45和加载区域44(参见图22)。

由于未加载区45已经存在，当通过连接再次加载的新图像来更改未加载区和已加载区时，CPU 18更新未加载区和已加载区的图标显示以对应于各区域。

接下来说明第一实施例的蜂窝式电话的操作。

下面说明例如如图2所示，要由蜂窝式电话拍摄的被摄体R1是名片21的情况。

当被摄体R1是名片21时，名片21的图像被包括在由蜂窝式电话主体10的照相机15所拍摄的拍摄范围20中。

假定拍摄范围20和显示器17的屏幕的尺寸相同。

在显示器17的屏幕上显示的名片21的图像是由照相机15所拍摄的实时图像数据。

所显示的图像随着蜂窝式电话主体10(照相机15)或者作为被摄体的名片21的移动而变化。

通过使用该蜂窝式电话的照相机功能，当从在显示器17的屏幕上显示的名片21的图像中指定了期望区域时，选择了属于照相机功能的图像加载功能等。

当用户选择图像加载功能时，与从照相机15输入的图像同步地，CPU 18显示指示器P以指定显示器17的屏幕22上的区域或位置，如图3所示。

指示器P显示在屏幕22的几乎中心位置。

与屏幕22有关的指示器P的位置不被移动。

这里，通过用户在键操作部分11上执行操作来改变指示器并且通过从屏幕上显示的指示器类型改变屏幕来改变指示器的类型，可以改变指定区域的方法。

将在后面说明区域指定方法和指示器的类型。

当用户手持蜂窝式电话主体10并且移动照相机15的拍摄范围时，CPU 18将在所拍摄的图像上移动的指示器P的位置信息，即移动轨迹信息，保存在存储器12的移动轨迹存储区12f中。

当移动照相机15时，在屏幕22上，所显示的图像移动，并且随着其移动，由指示器P所表示的被摄体的位置也移动。

通过以一定的时间间隔将运动的图像上的指示器P的位置坐标保存到移动轨迹存储区12f中，CPU 18将位置坐标视为指示器P的移动轨迹。

作为将位置坐标视为指示器P的移动轨迹的方法，即检测指示器P移动得多远的方法，例如存在这样一种方法，即在某时间点通过使用CPU 18对从照相机15输入的图像执行边缘检测处理来生成边缘图像。

在这种情况下，CPU 18从生成的边缘图像中求出边缘部分，并且将该边缘部分临时存储(保持)在存储器12的第一缓冲区12c中。

接下来，CPU 18还对在一定时间段之后拍摄(输入)的图像数据执行边缘检测处理，并且求出边缘部分。

然后，CPU 18通过对这时求出的图像的边缘部分和从缓存在第一缓冲区12c中的上一图像中获得的边缘部分执行模式匹配处理，来求出整个图像在X方向和Y方向上的移动距离。

当假定指示器P总是位于屏幕22的中心时，指示器P的移动距离为(x，y)，它作为移动轨迹信息存储在移动轨迹存储区12f中。

如果在两个图像之间照相机15和被摄体的距离变化，即，如果在Z方向上(光轴方向)有变化，则CPU 18通过从边缘图像中求出特征量、对这些特征量进行比较和对图像尺寸进行归一化(否rmalize)，来准确地求出移动距离。

作为特征量，在被拍摄的被摄体是包括有字符行的商业表单例如名片21的情况下，可以使用字符行的高度作为特征量。

CPU 18使用以一定时间间隔依次存储在移动轨迹存储区12f中的移动轨迹信息(位置信息的链接(link))，并且执行是否将由照相机15所拍摄的图像数据进行保存的操作判断，以及是否执行该操作的操作判断。

也就是说，当手持蜂窝式电话主体10并且进行移动时，用户使用在屏幕中心的指示器P，以及在屏幕22中移动由照相机15所拍摄的图像数据，来执行区域指定。

CPU 18根据事先设置的每个指示器P的判别条件，来执行区域指定是否结束的判断。

在指示器P为例如十字形的情况下，CPU 18根据依次存储在存储器12中的指示器P的移动轨迹信息和判别条件，在指示器P的移动轨迹绘制了一条闭合曲线的判别条件下，判断为区域指定结束。

当指示器P为例如高亮度笔形时，在指示器P从其移动开始暂停给定时间段的判别条件下，CPU 18判断为区域指定结束。

当根据判别条件判断出区域指定结束时，CPU 18将指示器P在所输入的图像中指定的区域作为静止图像存储在存储器12的图像数据存储区12e中。

下面说明该处理的更具体的内容。当被摄体是例如如图2中所示的名片21时，在名片21上有公司名称、姓名、以及地址和电话号码字段。

假定只有姓名字段是所选择的区域，其图像要被切出(拍摄)。

在这种情况下，从图3中的屏幕22的状态开始，即指示器P位于名片21的图像21a的姓名字段下面的状态，用户首先移动蜂窝式电话主体10，以将指示器P设置到期望被加载到在屏幕22上显示的名片21的图像21a中的区域的起始点。

然后，当CPU 18初始化第一和第二缓冲区12c、12d、移动轨迹存储区12f等时，用户操作键操作部分11的功能键等以指示加载开始。

接着，CPU 18将由照相机15所拍摄的图像数据临时保存(缓存)到第一缓冲区12c中，并且开始存储指示器P的移动轨迹(图4中的步骤S101)。

然后，CPU 18对在第一缓冲区12c中缓存的新图像数据和在移动轨迹存储区12f中保存的映射(mapped)图像数据(作为比较基础的图像数据)执行边缘检测处理(步骤S102)。

此时，CPU 18对第一缓冲区12c中缓存的图像数据判断在存储器12的移动轨迹存储区12f中事先保存的图像数据(作为比较基础的图像数据)是否存在(步骤S103)。

对于第一次加载的图像数据，由于作为比较基础的上一图像数据不存在，因此CPU 18判断为没有上一图像数据(步骤S103中的“否”)。

CPU 18将在第一缓冲区12c中缓存的当前图像数据作为用作比较基础的图像数据保存在存储器12的移动轨迹存储区12f中。(步骤S104)

作为比较基础的图像数据是用于求出移动轨迹的位图数据。

保存后，CPU 18再次加载图像(步骤S101至S103)。

在作为下一步的步骤S103的判断处理中，作为比较基础的图像数据已经存在于存储器12的移动轨迹存储区12f中。

因此，CPU18对在第一缓冲区12c中新加载的图像数据的边缘图像和移动轨迹存储区12f中的图像数据执行模式匹配处理(步骤S105)。在模式匹配处理中，CPU 18判断模式匹配处理是否成功(步骤S106)。

作为该判断的结果，如果模式匹配不成功(即步骤S106中的“否”)，则CPU 18以闪烁方式显示警告(例如“！”等标志)，表示在屏幕22上进行的区域指定失败(步骤S107)。

接着，CPU 18在屏幕22上显示是否重新加载该图像的消息，以提示用户进行指示操作(步骤S108)。

这里，如果通过键操作部分11指示应该执行重新加载(步骤S108中的“是”)，则CPU 18回到步骤S101的处理，并且重复前面的步骤S101至S106的处理。

此时，如果模式匹配处理成功(步骤S106中的“是”)，则CPU18根据由模式匹配处理计算得到的图像之间的差异来计算指示器P的移动距离(步骤S109)。

CPU 18将由计算得到的移动距离所表示的图像上的位置信息作为移动轨迹信息存储在存储器12的移动轨迹存储区12f中(步骤S110)。

接下来，CPU 18判断区域指定结束条件(判别条件)是否满足(步骤S111)。

作为区域指定结束条件的例子，在十字形指示器P的情况下，这一条件被设置为在移动轨迹存储区12f中存储的指示器P的移动轨迹为例如闭合曲线的情况。

这里，如果CPU 18判断为区域指定结束条件没有满足(步骤S111中的“否”)，则CPU 18更新在屏幕22上显示的指示器P的移动轨迹显示，并且重复上述步骤的处理。

作为指示器移动轨迹的显示例子，例如如图5所示，CPU 18获取存储在移动轨迹存储区12f中的指示器P的移动轨迹数据，使该数据与拍摄的图像在屏幕22上交叠显示。

在该例子中，通过在照相机15拍摄的同时进行移动，由虚线等示出了在屏幕22中的图像上移动指示器P的移动轨迹。

除了虚线，也可以显示颜色与所拍摄的图像的颜色不同的实线。

如图6所示，当用户移动蜂窝式电话主体10、字符行图像被指示器P的移动轨迹25所包围、并且移动轨迹25为闭合曲线时，CPU18判断区域指定结束条件(判断条件)满足(步骤S111中的“是”)。

在这种状态下(步骤S111中的“是”)，CPU 18执行将此时拍摄的图像数据保持在第二缓冲区12d中的处理，以及对由指示器P的移动轨迹25所包围的区域执行切出(捕获)处理(步骤S113)。

关于保持该图像的定时，该定时可以是当区域指定结束条件(判别条件)满足时的时刻，或者可以由用户按下键操作部分11的功能键等来指示该定时。

在区域的切出处理中，通过从在作为工作区的第二缓冲区12d中作为静止图像而缓存的图像数据中删除由区域指定所指定的区域以外的区域，CPU 18仅生成指定区域的图像数据，并且将所生成的图像数据作为最终图像数据保存在图像数据保存区12e中。

作为图像保存处理和区域切出处理结束的结果，图7示出了其中仅将被切出的区域27显示在屏幕22上的状态。

在上述第一实施例中，当在屏幕22中显示全部要指定的区域时，使用上述流程图中的处理。

因此，通过移动照相机15，可能超出所能被指定的区域。

因此，下面参考图8的流程图来说明CPU 18针对这种情况执行处理的例子。

在图8的流程图中，由于从步骤S201至步骤S219的处理与图4的流程图中的处理相同，因此省去对这些部分的说明。

在步骤S210中，在将指示器移动轨迹存储到存储器12的移动轨迹存储区12f中之后，CPU 18计算在X方向和Y方向上各自的总移动轨迹，作为该计算的结果，判断移动轨迹是否超出了预定移动限定范围(步骤S211)。

如果CPU 18判断为移动轨迹超出了预定移动限定范围(步骤S211中的“否”)，则通过步骤S205的处理显示警告信息之后(步骤S207)，CPU 18在屏幕22上显示是否要再次加载图像的消息，以提示用户进行指示操作(步骤S208)。

这里，如果通过键操作部分11指示应该执行再次加载(步骤S208中的“是”)，则CPU 18返回步骤S201，并且重复之前的步骤S201～S206的处理。

如果CPU 18判断为移动轨迹没有超出移动限定范围(步骤S211中的“是”)，则CPU 18进入判断是否满足区域指定结束条件(判断条件)的判断处理(步骤S212)。

在步骤S212之后，这里再次执行与图4的流程图中所述相同的处理，并且省略其说明。

如上所述，通过一系列的处理，在超出可被指定的范围的情况下可以作出响应。

顺便提一句，在S212的判断处理中，为了判断移动轨迹是否超出了移动限定范围，可将移动限定范围的值设置得略小于屏幕一半的值，以便在移动轨迹马上超出屏幕之前能向用户显示警告信息，从而可以防止用户再移动蜂窝式电话主体10(照相机15)。

接下来，参考图9至图13来说明用于说明区域的另一实施例。

图9示出其上显示有高亮度笔形指示器P1的屏幕。

与上述十字形指示器P的情况相反，假设通过用户的选择操作，将高亮度笔形指示器P1显示在屏幕22上，如图9所示。例如，指示器P1是半透明并且内部着色的图形例如●或◆，或者是具有给定宽度的轮廓闭合的图形(○或□形状)。

指示器P1使用图形宽度指定区域。在该例子中，在假定设置了○形指示器的情况下进行说明。

在这种情况下，与在上述指示器P的情况中通过虚线来显示移动轨迹以及通过闭合虚线(包围字符的边缘)来指定期望区域的方式不同，由于通过指示器P1跟踪的期望区域以纵向上的给定宽度显示指示器P1的移动轨迹，因此指定包括在该宽度中的区域。

当通过功能键等的操作来启动对作为照相机15的被摄体R1的名片21的拍摄操作时，从照相机15输入的名片21的图像21a被显示在屏幕22上。

这里，首先如图10所示，用户移动蜂窝式电话主体10，以将指示器P1设置到要加载到屏幕22的图像21a中的期望区域的起始点，并且当按下表示启动区域指定的例如功能键的按钮时，向右移动蜂窝式电话主体10，以移动屏幕22上的图像。

然后，当功能键为ON时，CPU 18以宽度为单位将指示器P1的移动轨迹存储到移动轨迹存储区12f中，并且更新其显示。

作为此次更新的结果，如图11所示，移动轨迹的图像28以横向延伸的方式进行显示。

也就是说，指示器P1移动的移动轨迹的区域是通过在一个方向上的移动来得到的。

此时的操作与十字形指示器P的操作是不同的。

随后，如图12所示，当用户在期望图像区域位于指示器P1的移动轨迹范围之内时停止移动蜂窝式电话主体10并且停止按下功能键时，CPU 18检测到功能键从ON状态切换到OFF状态，使用该定时作为触发器，CPU 18判断区域指定结束条件是否满足。

顺便提一句，在没有操作功能键的情况下，CPU 18例如通过检测到指示器P1被暂停了给定时间长度的状态，可以判断出指定结束条件是否满足。

在判断了区域指定结束条件是否满足之后的操作(在图4的步骤S112之后的处理)与上述十字形指示器P的操作相同。

作为区域切出处理和图像数据保存处理的结果(S113)，如图13所示，只有被切出的区域29显示在屏幕22上。

作为上述处理的结果，在没有将例如触摸面板等接口装置提供给蜂窝式电话主体10的情况下，用户可以很容易地在显示在屏幕上的图像中指定要加载的期望区域并保存该期望区域。

在该第一实施例中，说明了要加载的期望图像的区域始终显示在屏幕中的情况。

如上所述，根据第一实施例的蜂窝式电话，用户所参考的指示器的显示方式是与显示在屏幕上的要加载的期望图像相交叠，并且将要加载的期望区域围起来或者用指示器来跟踪该区域的方式。

从而，指定要加载的区域变得更容易，而且可以通过一个操作来加载尺寸没有落在屏幕范围内的图像。

另外，当通过在同一区域存在多个图像并且通过使用这些图像来加载运动图像时，所生成的图像的精确度可以高于普通拍摄所得到的图像精确度。

也就是说，在第一实施例的蜂窝式电话中，在没有使用例如触摸面板或位置指定装置等接口的情况下，可以显示指示器以与显示同步地指定加载位置，检测和存储随着照相机15的移动指示器在所拍摄的图像上的移动，指示器最后指示的区域可以作为图像数据而加载。

第二实施例

图14示出要通过本实施例的蜂窝式电话进行加载的被摄体R1是例如名单31的商务表单，要加载的期望目标区域超出了屏幕。

顺便提一句，其硬件结构与图1所示的本发明第一实施例的图像处理装置的相同，因此省略了对其的说明。

如果要通过本实施例的蜂窝式电话进行加载的被摄体R1是例如名单31的商务表单，其加载的期望目标区域超出了如图14所示的显示器17的屏幕，则无法像在上述例子中那样仅通过将之前的图像数据保存在第一缓冲区12c中来确定区域。

因此，在该例子的情况下，如图15所示，CPU 18以预定时间间隔将从照相机15输入的图像依次保存在图像数据保存区12e中(S214)。

顺便提一句，相同的附图标记和符号用于表示执行与上述第一实施例中相同的操作的步骤，因此省略了对其的说明。

随后，当满足了区域指定结束条件(S212)并且确定了由用户指定的期望区域时，CPU 18对保存在图像数据保存区12e中的多个静止图像进行连接以生成一个图像。

CPU 18根据所生成的图像来切出所指定的区域，并且将该图像作为最终图像数据保存在图像数据保存区12e中。

对于实现图像连接处理的方法，通过结合上面已经说明过的例如边缘检测处理和模式匹配处理，可以实现连接处理。

另外，通过利用对有部分交叠的区域进行多次拍摄，可以生成通过超分辨率技术而得到的高分辨率图像。

下面来说明屏幕22的位移。如果被摄体R1为例如图14所示的名单31，则在名单31中存在姓名、地址等字段。

其中，假设选择了某人的地址区并且加载其图像。在该例子中，并不是所有的地址区都位于屏幕22的范围内。

在这种情况下，当用户将屏幕22的指示器P设置到名单31的图像31a中的期望图像的指定起始点(地址左端的Taro等)并且在按下键操作部分11的功能键等的同时移动蜂窝式电话主体时，随着其移动，用于范围指定的线的线32以延伸的方式显示在屏幕22上，如图16所示。

当持续移动指示器P，以使地址的期望区域被用于指定范围的移动轨迹的线32所包围时，如图17所示，CPU 18在第二缓冲区12d中对依次保存在图像数据保存区12e中的多个图像数据进行显影，检测图像的交叠，对多个图像执行连接处理以生成一个图像数据，并且进而通过从所生成的图像中删除所指定的区域之外的部分，切出感兴趣的指定区域(留下感兴趣的指定区域)，并且如图18所示，除了将数据保存在图像数据保存区12e中之外，还将该区域部分的图像数据33显示在屏幕22上。

至于对多个图像执行连接处理的定时，除了当用移动轨迹的线32围住区域以满足上述区域指定结束条件时的时刻之外，也可以通过用户按下预定按钮来执行连接操作。

另外，在这种情况下，与上述情况一样，通过执行超分辨率处理可以使图像具有高分辨率。

如上所述，根据第二实施例的蜂窝式电话，即使是在例如名单31的情况等并非所有图像都显示在屏幕22中的情况下，通过依次将由照相机15进行拍摄的图像数据保存在存储器12中，通过基于多个图像相交叠的状态连接多个图像数据来产生一个图像，使得可以从所生成的一个图像数据中切出所指定区域的图像。

另外，在这种结构的蜂窝式电话主体10中，当要加载较大区域的图像时，通过检测完成了拍摄的区域并且将完成加载的区域和未拍摄的区域以可区别的方式显示在区域22上，用户一眼就可以看出哪个区域没有进行拍摄。

第三实施例

第三实施例是如下情况的例子，即被摄体R1为例如如图19所示的信纸42等大尺寸的商务表单，照相机15的拍摄范围20仅为其一部分，信纸42的整个图像被加载到蜂窝式电话主体10的存储器12中。

在该例子中，显示的是移动轨迹而非指示器。

在这种情况下，用户在信纸42的表面方向上瞄准照相机15，通过操作键操作部分11的功能键等来指示启动加载，并且如图21所示，从拍摄范围20待拍摄的状态沿箭头43的方向移动蜂窝式电话主体10。

然后，CPU 18启动加载由照相机15所拍摄的图像数据(图20的步骤S201)。

CPU 18对由照相机15所拍摄的图像数据执行边缘检测处理(步骤S202)，并且将图像数据保存在图像数据保存区12e中(步骤S214)。

然后，CPU 18对保存在图像数据保存区域12e中的图像数据和已经保存在图像数据保存区域12e中的图像数据(作为比较基础的图像数据)进行比较，也就是说，执行模式匹配处理(步骤S205)。

如果在图像数据保存区域12e中不存在作为比较基础的图像数据并且模式匹配处理不成功(步骤S206中的“否”)，则CPU 18在屏幕22上以闪烁的方式显示表示模式匹配失败的警告信息(例如“！”等标记)(步骤S207)。

随后，CPU 18在屏幕22上显示询问是否重新加载图像的信息，以提示用户进行指示操作(步骤S207)。

这里，如果通过键操作部分11指示应该执行重新加载(步骤S208中的“是”)，则处理返回到步骤S201的处理并且重复之前的步骤S201至S206的处理。

如果在图像数据保存区域12e中已经存在作为比较基础的图像数据并且模式匹配处理成功(步骤S206中的“是”)，则CPU 18根据作为比较基础的图像数据计算出移动距离(步骤S209)。

CPU 18将由所计算的移动距离表示的图像的位置信息作为移动轨迹的信息存储在存储器12的移动轨迹存储区域12f中(步骤S210)。

在移动轨迹被存储在移动轨迹存储区域12f中之后，CPU 18判断移动轨迹是否超出预定移动限定范围(步骤S211)。

如果CPU 18判断移动轨迹没有超出范围(步骤S211中的“是”)，则判断区域指定结束条件(判断条件)是否被满足(步骤S212)。

作为区域指定结束条件的例子，检查当启动加载时保存在存储器12中的图像数据和最新加载的图像数据的匹配属性，如果存在许多交叠，则判断的结果是返回到初始的位置，并且认为满足区域指定结束条件。

这里，如果CPU 18判断为不满足区域指定结束条件(步骤S212中的“否”)，则处理返回到步骤S201的处理，并且CPU 18继续图像加载处理。

此时，如果CPU 18判断为满足区域指定结束条件(步骤S212中的“是”)，则通过将保存在图像数据保存区域12e中的多个图像数据获取到用于连接处理的第二缓冲区12d中，可以生成连接后的图像(下面称之为连接图像)(步骤S215)。

在该例子的情况下，即使满足了区域指定结束条件，也不必然意味着整个商务表单的图像都作为连接图像被获取。

因此，CPU 18判断是否连接图像的全部区域都填充了所获取的图像数据(步骤S220)。

这里，例如，判断在连接图像中是否存在用白点填充的预定宽度区域。

如果存在具有预定宽度的白点区域，则CPU 18判断为全部区域没被填满(步骤S220中的“否”)，根据移动轨迹存储区域12f的移动轨迹和上述连接图像的信息来生成表示图像加载的当前状态的图标(步骤S221)。

CPU 18在屏幕的右上角等位置显示所生成的图标(步骤S222)。

此时，在第二缓冲区12d中，如图21所示，获取所加载区域44(已拍摄区域)作为连接图像，并且所加载区域44的几乎中心的部分为未加载区域45(未拍摄区域)。

然后，CPU 18在屏幕22上显示询问是否重新加载图像的消息，以提示用户进行指示操作(步骤S208)。

这里，如果通过键操作部分11指示应该执行重新加载(步骤S208中的“是”)，则CPU 18返回到步骤S201的处理，以重复之前的步骤S201至S220的处理。

如果不存在具有预定宽度的白点区域，则CPU 18判断为全部区域都被填充(步骤S220中的“是”)，将通过连接处理而得到的连接图像数据保存在存储器12的图像数据保存区域12e中(步骤S223)。

作为生成用于表示图像加载的当前状态的图标的例子，CPU18获取存储在移动轨迹存储区域12f中的移动轨迹信息(位置数据)，使移动轨迹信息与连接图像相交叠，并且生成包括有移动轨迹线的连接图像。

然后，CPU 18对连接图像执行缩小处理，以将连接图像图标化，并且如图22所示，在屏幕22右上角的预定位置上显示图标46。

当将连接图像形成图标时，CPU 18以可识别的方式显示已加载区域44和未加载区域45。

在通过键操作部分11指示应该执行重新加载之后，作为执行图像的重新加载的结果，除了图21中所示的连接图像44之外，还获取了在第二缓冲区12d中缓存的连接图像44的几乎中心部分的图像，然后，CPU 18对图像数据进行相互连接(已加载区域44的图像和新图像)以生成一个静止图像。

此时，如果宽于未加载区域45的区域被获取为新图像，则CPU18可以在已加载区域44的图像和新图像相互交叠的区域上执行超分辨率处理，即高分辨率处理。

作为重新加载的结果，如果加载区域44增加并且未被加载区域45减小，则CPU 18重新生成与之相对应的图标46，并且通过减少图标46的空白部分可以清晰地指示用户哪个区域未被加载。

同时，作为重新加载的结果，如果全部区域都被填充，则CPU18通过删除已经被显示的图标46来通知用户完成了加载。

如上所述，根据第三实施例的蜂窝式电话，当加载区域宽度比拍摄范围20宽的图像时，通过保存从照相机15得到的多个图像，当满足区域指定结束条件时将多个图像连接为加载区域从而生成连接图像，并且在其上执行缩小处理以在屏幕22上显示对应的图标46，这能够以可识别的方式来显示加载区域44和其它区域(未加载区域45)，以便用户一看就知道哪个区域没有被拍摄。

另外，通过对未加载区域45再次执行图像加载并且对图像和已经完成了加载的连接图像进行连接，可以得到未落在屏幕22的范围之内的大尺寸图像数据。

需要指出的是，本发明并不限于上述实施例。

在上述实施例中，说明了带有照相机的蜂窝式电话的例子，但是也可以使用带有照相机的PDA、或者计算机被连接到由用户保持以进行操作的网络照相机或Web照相机的结构。

在上述实施例中，实现本发明功能的软件被事先存储在存储器12中，但是也可以使用经由蜂窝式电话网络从预定网站下载的软件或者经由例如存储卡的存储介质安装在蜂窝式电话主体10中的软件。

其它实施例

本发明并不限于通过图示进行说明的若干实施例，而是可以对其进行增补或修改，在所附权利要求的范围内的任何增补或修改都包含在本发明的技术范围内。

Claims (20)

1.一种图像处理装置，其在移动安装有照相机和显示器的图像处理装置主体的同时，在该显示器上显示通过使用该照相机对被摄体进行拍摄而获得的图像，该图像处理装置包括：

存储器，其具有能存储由该照相机拍摄的被摄体的图像以及在该显示器上显示的图像的移动轨迹的信息的区域；

存储器控制器，其将显示在该显示器上的图像的移动轨迹的信息存储到该存储器中，当使用该照相机对被摄体进行拍摄时，该图像随着该图像处理装置主体的移动而移动；以及

判断部分，用于基于由所述存储器控制器存储在所述存储器中的移动轨迹的信息，来判断是否将由该照相机拍摄的被摄体的图像保存在所述存储器中。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述判断部分包括通知部分，当基于该移动轨迹的信息，被摄体的图像的移动轨迹超出预定范围时，该通知部分通知该结果。

3.根据权利要求1所述的图像处理装置，其特征在于，该图像处理装置还包括：

图像连接部分，用于当所述判断部分判断为应该保存图像时，对在所述存储器中缓存的多个图像执行连接处理；以及

存储控制部分，用于将由所述图像连接部分连接的图像保存到所述存储器中。

4.根据权利要求3所述的图像处理装置，其特征在于，

所述图像连接部分包括超分辨率部分，当对同一区域存在多个图像时，从该多个图像中生成高分辨率图像。

5.根据权利要求1所述的图像处理装置，其特征在于，该图像处理装置还包括：

区域判断部分，当所述判断部分判断为应该保存图像时，该区域判断部分判断在被摄体的图像中是否存在未拍摄区域；以及

图像连接部分，用于根据所述判断部分和所述区域判断部分的判断结果，来对在所述存储器中缓存的该多个图像执行连接处理。

6.根据权利要求5所述的图像处理装置，其特征在于，该图像处理装置还包括：

未拍摄区域存在判断部分，其判断在由所述图像连接部分连接的图像中是否存在未拍摄区域；以及

通知部分，当所述未拍摄区域存在判断部分判断为存在未拍摄区域时，该通知部分提示是否再次拍摄图像，当所述未拍摄区域存在判断部分判断为不再有未拍摄区域时，该通知部分通知该结果。

7.根据权利要求6所述的图像处理装置，其特征在于，该图像处理装置还包括区域显示部分，当作为所述未拍摄区域存在判断部分的判断结果，判断为存在未拍摄区域时，该区域显示部分在显示器上以可区分的方式显示未拍摄区域和已拍摄区域。

8.根据权利要求7所述的图像处理装置，其特征在于，该图像处理装置还包括更新部分，当未拍摄区域和已拍摄区域由于由所述图像连接部分连接新图像而变化时，该更新部分更新该显示器的每个区域的显示。

9.根据权利要求5所述的图像处理装置，其特征在于，该图像处理装置还包括通知部分，当由于由所述图像连接部分连接新图像而不再有未拍摄区域时，该通知部分执行通知。

10.一种图像处理装置，其在移动安装有照相机和显示器的图像处理装置主体的同时，在该显示器上显示通过使用该照相机对被摄体进行拍摄而获得的图像，该图像处理装置包括：

存储器，其具有能缓存由该照相机拍摄的被摄体的图像的缓冲区、能存储在该显示器上显示的图像的移动轨迹的信息的存储区、以及能保存该图像的保存区；

指示器显示部分，其在该显示器上以与由该照相机拍摄的被摄体的图像交叠的方式来显示用于指定该图像的位置的指示器；

存储器控制器，其将当使用该照相机对被摄体进行拍摄时随着该图像处理装置主体的移动而在被摄体的图像上移动的指示器的移动轨迹的信息存储到该存储区中；以及

判断部分，其基于由所述存储器控制器存储在所述存储区中的移动轨迹的信息，来判断是否将由该照相机拍摄的、缓存在该缓冲区中的被摄体的图像保存在该保存区中。

11.根据权利要求10所述的图像处理装置，其特征在于，该图像处理装置还至少包括用于指定点的十字形指示器、以及具有给定宽度的、用于跟踪图像的对象部分的高亮度笔形指示器，作为由所述指示器显示部分显示在该显示器上的指示器，该图像处理装置还包括根据用途来选择任一个的用户界面。

12.根据权利要求10所述的图像处理装置，其特征在于，

所述存储器控制器根据该指示器的形状将移动轨迹的信息存储到该存储区中；以及

所述判断部分根据该指示器的形状，使用存储在该存储区中的移动轨迹的信息来判断是否将图像存储在该保存区中。

13.根据权利要求10所述的图像处理装置，其特征在于，

所述判断部分包括通知部分，当该指示器的移动轨迹超出预定范围时，通知部分通知该结果。

14.根据权利要求10所述的图像处理装置，其特征在于，该图像处理装置还包括：

图像连接部分，当所述判断部分判断为应该保存该图像时，该图像连接部分对缓存在所述存储器中的多个图像执行连接处理；以及

保存控制部分，其将由所述图像连接部分连接的图像保存在所述存储器中。

15.根据权利要求14所述的图像处理装置，其特征在于，

所述图像连接部分包括超分辨率部分，当对同一区域存在多个图像时，该超分辨率部分从该多个图像生成高分辨率图像。

16.根据权利要求10所述的图像处理装置，其特征在于，该图像处理装置还包括：

区域判断部分，当所述判断部分判断为应该保存该图像时，该区域判断部分判断在被摄体的图像中是否存在未加载区域；以及

图像连接部分，其根据所述判断部分和所述区域判断部分的判断结果对缓存在所述存储器中的多个图像执行连接处理。

17.根据权利要求16所述的图像处理装置，其特征在于，该图像处理装置还包括：

未拍摄区域存在判断部分，其判断由所述图像连接部分连接的图像中是否存在未拍摄区域；以及

通知部分，当所述未拍摄区域存在判断部分判断为存在该未拍摄区域时，该通知部分提示是否再次拍摄该图像数据，当所述未拍摄区域存在判断部分判断为不再有未拍摄区域时，该通知部分通知该结果。

18.根据权利要求17所述的图像处理装置，其特征在于，该图像处理装置还包括区域显示部分，当作为所述未拍摄区域存在判断部分的判断结果，判断为存在未拍摄区域时，以可区分的方式在该显示器上显示未拍摄区域和已拍摄区域。

19.根据权利要求18所述的图像处理装置，其特征在于，该图像处理装置还包括更新部分，当未拍摄区域和已拍摄区域由于由所述图像连接部分连接新图像而变化时，该更新部分更新该显示器的每个区域的显示。

20.根据权利要求16所述的图像处理装置，其特征在于，该图像处理装置还包括通知部分，当由于由所述图像连接部分连接新图像而不再有未拍摄区域时，该通知部分执行通知。

Images