CN103024422B

CN103024422B - 图像处理装置和图像处理方法

Info

Publication number: CN103024422B
Application number: CN201210102368.XA
Authority: CN
Inventors: 井原富士夫
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2011-09-22
Filing date: 2012-04-09
Publication date: 2016-10-05
Anticipated expiration: 2032-04-09
Also published as: CN103024422A; US20130076854A1; JP2013070212A

Abstract

本发明公开一种图像处理装置，包括：图像信息获取单元、质量判断单元、位置信息获取单元和全景图像信息生成单元。所述图像信息获取单元获取多条图像信息。所述质量判断单元判断所述多条图像信息中的每条图像信息的质量是否符合预定标准。所述位置信息获取单元基于所述多条图像信息获取表示所述多条图像信息之间的位置关系的位置信息。所述全景图像信息生成单元基于由所述质量判断单元获得的判断结果、所述位置信息和所述多条图像信息生成表示全景图像的全景图像信息。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及图像处理装置和图像处理方法。

背景技术

已知将所获取的多个图像结合起来以生成宽视野图像(全景图像)的拍摄装置。更具体地说，在全景图像包括无图像区域的情况下，拍摄装置在全景图像中将无图像区域显示为空白区域。相应地，例如，用户基于所显示的空白区域识别出无图像区域，并对无图像区域执行再拍摄操作(参见日本未审查专利申请公开No.2010-204773)。

发明内容

因此，本发明旨在提供一种图像处理装置和一种图像处理方法，图像处理装置和图像处理方法由所获取的多幅图像生成全景图像，并促使用户对成像对象的没有以适合用户需求的质量成像的部分执行再拍摄操作。

根据本发明的第一方面，提供一种图像处理装置，包括：图像信息获取单元、质量判断单元、位置信息获取单元和全景图像信息生成单元。所述图像信息获取单元获取多条图像信息。所述质量判断单元判断所述多条图像信息中的每条图像信息的质量是否符合预定标准。所述位置信息获取单元基于所述多条图像信息获取表示所述多条图像信息之间的位置关系的位置信息。所述全景图像信息生成单元基于由所述质量判断单元获得的判断结果、所述位置信息和所述多条图像信息生成表示全景图像的全景图像信息。

根据本发明的第二方面，所述全景图像信息生成单元可以基于所述多条图像信息当中除被所述质量判断单元判断为不符合所述预定标准的图像信息以外的多条图像信息生成所述全景图像信息。

根据本发明的第三方面，所述图像处理装置还可以包括：显示单元，其显示所述多条图像信息中的每一条图像信息；以及帧图像信息生成单元，其生成表示符合所述预定标准的帧图像的帧图像信息。所述显示单元可以将所述帧图像显示为叠加在由所显示的图像信息所表示的图像上。

根据本发明的第四方面，所述图像处理装置还可以包括：倾斜检测单元，其检测所述图像处理装置的倾斜；以及倾斜信息生成单元，其生成与由所述倾斜检测单元检测出的倾斜对应的倾斜信息。所述显示单元可以将所述帧图像和所述倾斜信息显示为叠加在由所述图像信息所表示的图像上。

根据本发明的第五方面，所述质量判断单元可以判断由包含在所述图像信息中的字符信息所表示的字符尺寸是否等于或大于预定尺寸。

根据本发明的第六方面，所述预定尺寸可以是基于能够通过光学字符识别进行处理的尺寸而确定的。

根据发明的第七方面，提供一种图像处理方法，所述图像处理方法包括：获取多条图像信息；判断所述多条图像信息中的每条图像信息的质量是否符合预定标准；基于所述多条图像信息获取表示所述多条图像信息之间的位置关系的位置信息；以及，基于所获得的判断结果、所述位置信息和所述多条图像信息生成表示全景图像的全景图像信息。

在根据本发明的第一和第二方面的图像处理装置和根据本发明的第七方面的图像处理方法中，由所获取的多个图像生成全景图像信息，并且能够促使用户对成像对象的没有以适合用户需求的质量成像的部分执行再拍摄操作。

在根据本发明的第三方面的图像处理装置中，由于在参照帧图像的同时执行拍摄操作，因此能够以适合用户需求的质量捕获图像。

在根据本发明的第四方面的图像处理装置中，由于在参照倾斜信息的同时执行拍摄操作，因此能够以受倾斜的影响较小的质量捕获图像。

在根据本发明的第五方面的图像处理装置中，生成了与包含在所获取图像中的字符的尺寸对应的全景图像信息。

在根据本发明的第六方面的图像处理装置中，生成了与是否能够使用光学字符读取器(ORC)完成字符识别对应的全景图像信息。

附图说明

将基于以下附图详细描述本发明的示例性实施例，其中：

图1A是示出根据本发明的示例性实施例的图像处理装置的实例的平面图；

图1B是示出根据图1A所示的示例性实施例的图像处理装置的侧视图；

图2是用于解释根据本发明的示例性实施例的图像处理装置的构造的示意图；

图3是用于解释图2所示的图像处理器的功能构造的示意图；

图4是示出图3所示的质量判断单元的功能构造的示意图；

图5是示出根据本发明的示例性实施例的全景图像的实例的示意图；

图6是示出根据本发明的示例性实施例的帧图像和倾斜信息的示意图；

图7是示出由根据本发明的示例性实施例的图像处理装置执行的处理流程的实例的流程图；以及

图8是示出图7所示步骤S102的详细处理流程的实例的流程图。

具体实施方式

下面，将参考附图描述本发明的示例性实施例。在附图中，相同或相似的元件使用相同的附图标记，并且将省略对那些相同或相似的元件的说明。

图1A是示出根据本发明的示例性实施例的图像处理装置的实例的平面图。图1B是示出根据图1A所示的示例性实施例的图像处理装置的侧视图。如图1A和1B所示，根据示例性实施例的图像处理装置100是例如便携式终端等，并且该图像处理装置100包括显示单元101、操作单元102和图像信息获取单元103(未示出)，图像信息获取单元103包括照相机等。图1A和图1B所示的图像处理装置100的外观仅是一个示例，并且图像处理装置100的外观不限于此。

图2是用于解释根据本发明的示例性实施例的图像处理装置的构造的示意图。如图2所示，就功能而言，图像处理装置100例如包括：显示单元101、操作单元102、图像信息获取单元103、控制单元104、存储单元105、通信单元106、倾斜传感器107和图像处理器108。图2所示的构造仅仅是一个示例，并且图像处理装置100的构造不限于此。

图像信息获取单元103例如包括照相机，照相机包括诸如电荷耦合器件(CCD图像传感器)等成像元件(未示出)，并且图像信息获取单元103获取成像对象的图像信息(帧图像)。控制单元104例如是中央处理单元(CPU)、微处理单元(MPU)等，并且控制单元104根据存储在存储单元105内的程序执行操作。

存储单元105例如包括诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘等信息记录介质，并且存储单元105存储待由控制单元104执行的程序。存储单元105还用作控制单元104的工作存储器。程序例如可以通过网络下载提供，或者由诸如光盘只读存储器(CD-ROM)、数字多功能盘只读存储器(DVD-ROM)等计算机可读的信息记录介质提供。通信单元106允许图像处理装置100与另一个图像处理装置、个人计算机等之间经由网络进行连接。

操作单元102例如包括按钮、触摸面板等，并且操作单元102根据用户作出的指示操作将指示操作的内容输出至控制单元104。在操作单元102包括触摸面板的情况下，操作单元102可以与显示单元101一体地结构(将在下文中描述)，或者操作单元102的一部分可以与显示单元101一体地结构。

显示单元101例如是液晶显示器、有机电致发光(EL)显示器等，并且显示单元101根据控制单元104的指示显示信息。倾斜传感器107例如是加速度传感器，并且倾斜传感器107例如以诸如一帧间隔的预定间隔检测设置在图像信息获取单元103中的照相机的倾斜。

图像处理器108根据控制单元104的指示对由图像信息获取单元103获取的图像信息执行图像处理。更具体地说，如图3所示，就功能而言，图像处理器108包括质量判断单元301、位置信息获取单元302、全景图像信息生成单元303、帧图像信息生成单元304以及倾斜信息生成单元305。

质量判断单元301判断由图像信息获取单元103获取的各条图像信息是否符合预定标准。如果判断出图像信息符合预定标准，则将图像信息存储在存储单元105中。同时，如果判断出图像信息不符合预定标准，则不将图像信息存储在存储单元105中。更具体地说，质量判断单元301基于字符尺寸等作出图像信息是否符合标准(期望的图像质量标准)的判断，例如，关于包括在所获取的图像信息中的字符是否可见的判断，关于是否能够使用光学字符读取器(OCR)对包括在所获取的图像信息中的字符进行光学字符识别的判断等。例如，根据由用户使用操作单元102发出的指示例如可以作出：关于使用哪个标准的判断(例如，作出关于图像信息是否可见的判断和关于是否可以通过OCR对图像信息进行处理的判断之一)，关于是否使用多个标准的判断(例如，是否作出以下两个判断：关于图像信息是否可见的判断和关于是否可以通过OCR对图像信息进行处理的判断)等。

更具体地说，如图4所示，质量判断单元301例如包括：倾斜判断部401、二进制图像部分检测部402、歪斜检测部403、行高获取部404以及行高判断部405。

倾斜判断部401判断由倾斜传感器107获取的倾斜信息是否落入预定范围(基准范围)以内或预定范围以外。如果判断出由倾斜传感器107获取的倾斜信息落到基准范围以外，则倾斜判断部401删除与倾斜信息对应的图像信息。同时，判断出由倾斜传感器107获取的倾斜信息落入基准范围以内，则倾斜判断部401使二进制图像部分检测部402获取与各个判断结果对应的图像信息。

二进制图像部分检测部402检测表示为包括在各条图像信息中的二进制图像的二进制图像部分，而对二进制图像部分已判断出由倾斜传感器107获取的倾斜信息落在预定范围以内。在未采用倾斜传感器107的情况下，二进制图像部分检测部402构造为检测包括在由图像信息获取单元103获取的各条图像信息中的二进制图像部分。

歪斜检测部403检测在获取每个图像时产生的歪斜。更具体地说，歪斜检测部403计算在获取每个图像时照相机沿X方向和Y方向的旋转角度。X方向和Y方向例如与图1A和图1B所示的X方向和Y方向对应。例如，在采用倾斜传感器107的情况下，可以基于来自倾斜传感器107的输出检测旋转角度。在未采用倾斜传感器107的情况下，可以通过改变由所获取的相应条图像信息所表示的每个图像的角度并计算图像的投影来检测旋转角度。

行高获取部404例如获取沿所检测的旋转角度的方向的投影。在识别出在二进制图像部分中表示的字符串的行的情况下，行高获取部404获取字符串的行高。行高判断部405判断所获取的行高是否等于或大于基准高度。基准高度是根据基于期望的图像质量标准确定的字符高度计算出的。如果行高判断部405判断出所获取的行高等于或大于基准高度，则判断出图像信息符合期望的图像质量标准，并且将图像信息存储在存储单元105中。同时，如果行高判断部405判断出所获取的行高小于基准高度，则判断出图像信息不符合期望的图像质量标准，并且不将图像信息存储在存储单元105中。

位置信息获取单元302计算并获取在所获取的图像信息当中被质量判断单元301判断为符合期望的图像质量标准的图像信息的位置。位置信息获取单元302还可以构造为计算并获取放大和缩小率。全景图像信息生成单元303基于计算出的位置信息从被质量判断单元301判断为符合期望的图像质量标准的图像信息中生成表示全景图像的全景图像信息。因此，与图像信息被判断为不符合所生成的全景图像的期望图像质量标准的部分图像对应的部分表示为空白部分。

更具体地说，例如，位置信息获取单元302计算各个图像的所谓的局部特征量。全景图像信息生成单元303通过使图像叠加从而将局部特征量之间的差别最小化来计算各个图像的适合的连接位置以及放大和缩小率。例如，可以使用所谓的尺度不变特征变换(SIFT)技术检测局部特征量。利用这种技术，通过获得从多个图像中获取的被称为关键点的特征点的128位特征量之间的近似性来获得在不同帧的图像中相应的关键点的位置。此外，基于多个关键点之间的关系，还获得了旋转角度以及放大和缩小率。不使用没有检测出特征量的图像来生成全景图像信息。

将参考图5描述由全景图像信息生成单元303生成的全景图像信息所表示的全景图像的实例。如图5所示，全景图像500包括：全景图像部分(包括成像对象中表示图像的图像部分503和表示字符的字符部分501)，全景图像500是从被质量判断单元301判断为符合期望图像质量标准的图像信息中生成的；以及空白部分502，空白部分502与图像信息被判断为不符合期望的图像质量标准的部分图像对应。用户基于全景图像500的空白部分502的位置等通过目测识别其图像信息不符合期望的图像质量标准的部分，即空白部分502。从而，促使用户对与成像对象的空白部分对应的部分执行再拍摄操作，并且通过再拍摄操作获取包括整个成像对象的完全的全景图像。字符部分501与由二进制图像部分检测部402检测的部分对应。在识别出图像信息不符合期望图像质量标准的部分的情况下，可以用不同的方式表示空白部分502，例如，空白部分502可以显示为包括表示警告信息的字符等。

帧图像信息生成单元304生成表示与获取符合指定的期望图像质量标准的图像信息所需的最小字符尺寸对应的帧的帧图像信息。更具体地说，例如，在待使用的OCR引擎的最小可识别字符尺寸由X个点表示、输入分辨率由Y dpi表示并且在用于图像信息获取单元103的拍摄模式中的照相机的分辨率由Z dpi(Z＞Y)表示的情况下，在OCR输入时所需的字符高度为Y×X/72个像素或更大。此外，当照相机的分辨率为Z时，由于在OCR输入前需要Y/Z倍的分辨率转换，因此需要的像素尺寸为Z/Y×Y×X/72＝Z×X/72个像素或更大。从而，帧图像信息可以构造为表示上述尺寸或更大尺寸的帧图像。也就是说，例如，在待使用的OCR的最小可识别字符尺寸被设定为6个点的情况下，将输入分辨率设定为200dpi，并将拍摄模式中的照相机的分辨率设定为300dpi，需要的字符尺寸(字符高度)为25个像素。从而，可以在显示单元101上显示具有上述尺寸或更大尺寸的帧。此外，倾斜信息生成单元305基于来自倾斜传感器107的信息生成表示用于图像信息获取单元103的照相机的倾斜程度的倾斜信息。

更具体地说，例如，如图6所示，当用户在文档601(表示在用作成像对象的纸介质上)上顺序地移动根据本示例性实施例的图像处理装置100时，获得整个文档601的图像。与此同时，文档601的图像正在被捕获的一部分被图像信息获取单元103获取并显示在显示单元101上。此时，由帧图像信息生成单元304生成的帧图像信息所表示的帧图像602也显示在显示单元101上。如图6所示，帧图像602例如构造为双重帧。例如，内侧帧与可见的字符尺寸对应，外侧帧与能够通过OCR进行处理的字符尺寸对应。文档601可以包括表示图像的图像部分。

因此，当用户基于帧图像602对文档601执行拍摄操作时，可以保证获取图像信息符合期望图像质量标准的全景图像。更具体地说，例如，在用户期望获取可见的全景图像的情况下，用户在执行拍摄操作的同时对文档601与图像处理装置100等之间的距离进行调节，使得在显示单元101上显示的字符的尺寸落到内帧的外侧。例如，在用户期望获得能够通过ORC进行处理的全景图像的情况下，用户在执行拍摄操作的同时对文档601与图像处理装置100等之间的距离进行调节，使得在显示单元101上显示的字符的尺寸落到外帧的外侧。上文已参考图6对显示为帧图像602的双重帧进行了说明。然而，当用户指定了期望的图像质量标准中的一种图像质量标准(例如，图像是否可见或者图像是否能够通过OCR进行处理)时，可以仅显示帧图像602的外侧帧和内侧帧之一。

此外，例如，如图6所示，由倾斜信息生成单元305生成的倾斜信息在显示单元101上显示为叠加在获取的图像上，并且该倾斜信息表示在X方向和Y方向上的倾斜。更具体地说，例如，如图6所示，在显示单元101上显示的倾斜信息包括：沿X方向和Y方向的棒状部603；以及移动部604，其根据在各个方向上的倾斜而移动。移动部604根据图像处理装置100的倾斜从棒状部603的中央移动。从而，当用户通过移动图像处理装置100以使移动部604位于棒状部603的中央的方式来执行拍摄操作以获取文档601的整个图像时，可以获取不受倾斜影响的图像信息。在图6中，为了便于说明，以透明的方式示出图像处理装置100。另外，X方向和Y方向例如与在图1A和图1B中示出的相应的方向对应。

下面将参考图7对根据示例性实施例的由图像处理装置执行的处理流程的概括图进行说明。如图7所示，例如，图像信息获取单元103根据用户对操作单元102作出的拍摄开始指示获取成像对象的图像，并且获取对象的图像信息(步骤S101)。所获取的图像信息显示在显示单元101上。这里，例如，帧图像和倾斜信息显示为叠加在显示单元101上示出的图像上。

质量判断单元301判断各条图像信息是否符合期望图像质量标准(步骤S102)。如果判断出图像信息符合期望图像质量标准，则将图像信息存储在存储单元105中(步骤S103)。如果判断出图像信息不符合期望图像质量标准，则不将图像信息存储在存储单元105中。因此，只有被判断为符合期望图像质量标准的图像信息存储在存储单元105中。

判断是否已发出终止拍摄操作的指示(步骤S 104)。如果判断出终止拍摄操作的指示已发出，则图像信息获取单元103终止图像信息的获取。然后，处理进行至步骤S105。如果判断出终止拍摄操作的指示尚未发出，则处理返回步骤S101。例如当用户经由操作单元102发出终止拍摄操作的指示时，拍摄操作结束。

位置信息获取单元302在待生成的全景图像信息中获取表示存储在存储单元105中的各条图像信息的位置位置信息(步骤S105)。全景图像信息生成单元303基于被判断为符合期望图像质量标准并且存储在存储单元105中的图像信息以及位置信息生成全景图像(步骤S106)。全景图像信息例如在显示单元101上显示为全景图像。例如，当用户指示操作单元102显示全景图像时显示全景图像信息。

然后，判断图像信息被判断为不符合期望图像质量标准的部分(部分图像)是否存在以及是否已发出再拍摄指示(步骤S107)。如果判断出相应的部分图像不存在，则处理结束。如果判断出相应的部分图像存在并且已发出再拍摄指示，则处理返回步骤S101。该判断例如可以在用户通过目测识别全景图像时作出。作为选择，例如，当图像处理装置100判断出全景图像包括具有特定尺寸或者更大尺寸的空白部分时，可以判断出相应的部分图像存在。

图8示出图7所示的步骤S102的详细处理的实例。如图8所示，倾斜判断部401判断由倾斜传感器107获取的倾斜信息是否落入预定范围(基准范围)以内(步骤S201)。如果判断出由倾斜传感器107获取的倾斜信息落到基准范围以外，则处理进行至步骤S104。

二进制图像部分检测部402检测表示为包含在各条图像信息中的二进制图像的二进制图像部分，对二进制图像部分已被判断出由倾斜传感器107获取的倾斜信息落在预定范围以内(步骤S202)。歪斜检测部403检测在获取图像时产生的歪斜(步骤S203)。例如，行高获取部404例如获取沿所检测的旋转角度的方向的投影，并且当通过目测识别出在二进制图像部分中表示的字符串的行的情况下，行高获取部404获取字符串的行高(步骤S204)。

行高判断部405判断所获取的行高是否等于或大于基准高度(步骤S205)。如果行高判断部405判断出所获取的行高等于或大于基准高度，则处理进行至步骤S103，并且行高判断部405将被判断为符合期望图像质量标准的图像信息存储在存储单元105中。如果行高判断部405判断出所获取的行高小于基准高度，则处理进行至步骤S104。

图7和图8所示的处理流程仅仅是实例，并且可以替换为与上述流程实质相同的结构、实现与上述流程相同的操作效果的结构或实现与上述流程相同的目的的结构。例如，在上述流程中，在步骤S102中，判断各条图像信息是否符合预定标准，并且将被判断为符合预定标准的图像信息存储在存储单元105等中。然而，也可以将各条图像信息事先存储在存储单元105等中，并且删除被判断为不符合预定标准的图像信息。此外，可以通过设置在图像处理装置100中的光学字符识别单元(未示出)实际执行OCR的方式来判断各个图像的质量是否符合期望图像质量标准(在已发出对是否能够通过OCR处理图像进行判断的指示的情况下)，以替代图8所示的判断各条图像信息的质量的流程。

本发明不限于前述示例性实施例，并且可以替换为与任意示例性实施例所示的构造基本相同的构造、实现与任意示例性实施例所示的构造相同的操作效果的构造、或者实现与任意示例性实施例所示的构造相同的目的的构造。更具体地说，例如，在前述示例性实施例中已说明了在显示单元101上显示倾斜信息的例子。然而，也可以不显示倾斜信息。另外，图像处理装置100可以不包括倾斜传感器107。此外，在前述示例性实施例中已说明了图1所示的与便携式终端对应的图像处理装置100的例子。然而，图像处理装置100也可以不是这种便携式终端。例如，可以通过经由网络连接的计算机等实现质量判断单元301、位置信息获取单元302、全景图像信息生成单元303等。也就是说，包括照相机等在内的图像信息获取单元103和其他单元可以以分离的方式构造。

为了解释和说明起见，已提供了对于本发明的示例性实施例的前述说明。其本意并不是穷举或将本发明限制为所公开的具体形式。显然，对于本技术领域的技术人员可以进行多种修改和变型。选择和说明这些实施例是为了更好地解释本发明的原理及其实际应用，因此使得本技术领域的其他技术人员能够理解本发明所适用的各种实施例并预见到适合于特定应用的各种修改。目的在于通过所附权利要求及其等同内容限定本发明的范围。

Claims

1.一种图像处理装置，包括：

图像信息获取单元，其获取多条图像信息；

质量判断单元，其判断所述多条图像信息中的每条图像信息的质量是否符合预定标准；

位置信息获取单元，其基于所述多条图像信息获取表示所述多条图像信息之间的位置关系的位置信息；

全景图像信息生成单元，其基于由所述质量判断单元获得的判断结果、所述位置信息和所述多条图像信息生成表示全景图像的全景图像信息；

显示单元，其显示所述多条图像信息中的每一条图像信息；以及

帧图像信息生成单元，其生成表示符合所述预定标准的帧图像的帧图像信息，

其中，所述显示单元将所述帧图像显示为叠加在由所显示的图像信息所表示的图像上，并且所述质量判断单元判断由包含在所述图像信息中的字符信息所表示的字符尺寸是否等于或大于预定尺寸，

根据用户所指定的预定标准，所述显示单元同时显示多种帧图像，或者仅显示一种帧图像。

2.根据权利要求1所述的图像处理装置，其中，所述全景图像信息生成单元基于所述多条图像信息当中除被所述质量判断单元判断为不符合所述预定标准的图像信息以外的多条图像信息生成所述全景图像信息。

3.根据权利要求1所述的图像处理装置，还包括：

倾斜检测单元，其检测所述图像处理装置的倾斜；以及

倾斜信息生成单元，其生成与由所述倾斜检测单元检测出的倾斜对应的倾斜信息，

其中，所述显示单元将所述帧图像和所述倾斜信息显示为叠加在由所述图像信息所表示的图像上。

4.根据权利要求1至3中任一项所述的图像处理装置，其中，所述预定尺寸是基于能够通过光学字符识别进行处理的尺寸而确定的。

5.一种图像处理方法，包括：

获取多条图像信息；

判断所述多条图像信息中的每条图像信息的质量是否符合预定标准；

基于所述多条图像信息获取表示所述多条图像信息之间的位置关系的位置信息；

基于所获得的判断结果、所述位置信息和所述多条图像信息生成表示全景图像的全景图像信息；

显示所述多条图像信息中的每一条图像信息；以及

生成表示符合所述预定标准的帧图像的帧图像信息，

其中，所述帧图像显示为叠加在由所显示的图像信息所表示的图像上，并且判断由包含在所述图像信息中的字符信息所表示的字符尺寸是否等于或大于预定尺寸，

根据用户所指定的预定标准，同时显示多种帧图像，或者仅显示一种帧图像。