CN103155000B - 图像处理装置、图像处理方法和计算机可读记录介质 - Google Patents

Abstract

一种图像处理装置，包括：图像获取单元，其获取图像；信息获取单元，其获取指示所述图像的内容的图像信息；以及校正单元，其基于所述图像信息校正所述图像，从而保留所述图像的某些扭曲。

Description

图像处理装置、图像处理方法和计算机可读记录介质

技术领域

本发明涉及图像处理装置、图像处理方法和计算机可读记录介质。

背景技术

一种技术使得能够通过使用具有大视角的广角镜头成像图像内广域的被摄体。近些年，电话会议和车载相机已经逐步使用该技术。然而，由于使得诸如人物之类的被摄体在图像中显得扭曲的变形（几何扭曲），借助广角镜头获得的图像趋向于产生诸如透视增强和扭曲（warping）之类的问题。例如，当在电话会议设置中使用广角镜头时，图像中人物的脸部可能显得扭曲（变形的问题）或者人物可能显得坐在比他或她实际位置更远的位置上（透视增强的问题）。为了解决这些问题，已经提出各种校正技术，包括变形校正和透视校正（例如，参见日本特开专利公开2001-238177号（“专利文件1”）和日本特开专利公开2009-177703（“专利文件2”））。

专利文件1讨论了能够取决于估计拍摄场景进行诸如渐变控制、几何扭曲校正或平滑之类的预定图像处理的图像处理装置，从而可以有效地获得高质量图像。

专利文件2讨论了通过仅在水平方向上进行坐标转换而将具有大变形的鱼眼图像校正为易见图像（easy-to-see image）的图像处理装置，以便于降低拍摄装置的成本。

虽然根据专利文件1的图像处理装置能够校正变形，但是它不能消除透视增强的问题。进一步，根据仅在水平方向上校正变形的专利文件2的图像处理装置可能不能够取决于拍摄场景充分地校正变形。

发明内容

考虑以上，本发明的目标是提供用于生成平衡变形和透视的图像的图像处理装置和图像处理方法，以及存储配置为使得计算机进行图像处理方法的步骤的程序的计算机可读记录介质。

在发明的一个方面，图像处理装置包括：图像获取单元，配置为获取图像；信息获取单元，配置为获取指示图像的内容的图像信息；以及校正单元，配置为基于图像信息校正图像，从而保留图像的某些扭曲。

在另一方面，图像处理方法包括：获取图像；获取指示图像的内容的图像信息；以及基于图像信息校正图像，从而保留图像的某些扭曲。

在另一方面，计算机可读记录介质存储使得计算机进行图像处理方法的步骤的程序。

附图说明

当结合附图阅读时，更好地理解前述总结以及优选实施例的以下详细描述。出于图示发明的目的，在附图中示出发明的示例性构造；然而，发明不限于所公开的特定方法和手段。在附图中：

图1是根据本发明的实施例的图像处理装置的功能框图；

图2是图像处理装置的CPU的功能框图；

图3是图像处理装置的操作的流程图；

图4是图示处理目标的示例；

图5图示用广角镜头拍摄的图像的示例；

图6图示感兴趣像素；

图7A图示校正前图像；

图7B图示校正后图像；

图8图示校正图像的示例；

图9图示图像信息和校正比率之间的关联；

图10是根据第二实施例的图像处理装置的功能框图；

图11是根据第二实施例的图像处理装置的CPU的功能框图；

图12是根据另一实施例的图像处理装置的操作的流程图；

图13是根据实施例的通信系统的功能框图；

图14是根据第一实施例的变型的图像处理装置的功能框图；

图15图示根据该变型的图像处理装置的具体示例；

图16是分析单元的操作的流程图；

图17是分析单元的另一操作的流程图；并且

图18图示由分析单元进行的用于分析文字等的分析处理。

具体实施方式

在以下，本发明的实施例参考附图描述，在附图中具有类似功能的构成要素或用于进行类似处理的步骤用类似附图标记表示，以避免重复描述。

实施例1

图13是包括根据实施例1的图像处理装置的通信系统2000的功能框图。在图13的图示示例中，将N（N是二或更大的整数）个图像处理装置100_n（n=1，…，N）连接到网络1000。在以下描述中，N个图像处理装置100n（n=1，…，N）的图像处理装置100₁被描述为感兴趣图像处理装置。然而，图像处理装置100₂到图像处理装置100_n的任何一个都可以被考虑为感兴趣图像处理装置。图像处理装置100_n可以通称为“图像处理装置100”。

在通信系统2000中，在N个图像处理装置100_n（n=1，…，N）之中，可以经由网络1000在多个图像处理装置和其他多个图像处理装置之间传输和接收图像等。特别地，图像处理装置100可以校正输入到图像处理装置100的图像并且随后传输已校正的图像到其他多个图像处理装置100。在通信系统2000中，图像处理装置100可以单向地向其他多个图像处理装置100传输图像。

在以下将通信系统2000描述为用于视频电话会议。然而，可以出于其他目的使用通信系统2000。当对视频电话会议使用时，图像处理装置100_n（n=1，…，N）可以被安装在分开和远距离的会议地点。一个或多个与会者可以出现在每一个会议地点。在视频电话会议期间，该一个或多个与会者可以例如口头讨论或展示主题，或者在白板或纸片上书写文字或符号。

图1是根据实施例1的图像处理装置100的功能框图。图像处理装置100包括拍摄单元10、控制单元20、图像输出单元30、输入单元40、CPU50、存储单元60和通信单元85，而这些全都经由总线70连接。

拍摄单元10可以包括具有广角镜头或成像元件的相机单元。拍摄单元10可以拍摄各种图像。控制单元20整体地控制图像处理装置100。图像输出单元30向可以显示已校正图像的显示装置120输出已校正图像。显示装置120可以显示被摄体图像或者操作图标并且可以包括液晶显示器或有机EL（电发光）显示器。显示装置120可以经由电缆120c连接到图像输出单元30。

通信单元85可以向连接到网络1000的其他图像处理装置传输已校正图像。通信单元85可以包括网络I/F单元。通信网络85因此提供与连接到网络的其他图像处理装置的接口，其可以包括有线或无线数据传输通道，诸如LAN（局域网）或WAN（广域网）。

输入单元40提供用户接口并且可以包括具有各种按键开关（硬件按键）或者具有GUI（图形用户界面）软件按键的触摸板功能的LCD（液晶显示器）。用户可以经由输入单元40键入各种信息。

存储单元60可以临时存储图像或各种信息。存储单元60可以包括ROM（只读存储器）、RAM（随机存取存储器）或者HDD（硬盘驱动器）。存储单元60可以存储或临时保存由控制单元20执行的OS（操作系统）、诸如应用软件程序之类的程序或者其他数据。存储单元60也可以存储与应用软件程序相关的数据。输入单元40和存储单元60的细节将稍后描述。

图14是根据图1的实施例的变型的图像处理装置100′的功能框图。图14的变型不同于图1的实施例在于：添加了声音输出单元12和声音输入单元14。声音输出单元12可以从经由网络1000从另一图像处理装置100接收到的音频信号产生音频输出。声音输出单元12可以包括扬声器。

声音输入单元14收集由在图像处理装置100的位置出现的一个或多个人物（诸如电话会议与会者）产生的语音声音或者其他可听声音。声音输入单元14可以包括麦克风。当对不涉及音频的应用使用通信系统2000时，可以使用图1中图示的图像处理装置100。当对诸如视频电话会议之类的应用使用通信系统2000时，可以使用图14中图示的图像处理装置100′。

图15是图14的图像处理装置100′的示例的透视图。在以下，图像处理装置100′的经度方向被定义为X轴方向，而在水平面上垂直于X轴的方向被定义为Y轴方向（宽度方向）。垂直于X轴方向和Y轴方向的方向被定义为Z轴方向（垂直方向或高度方向）。

图像处理装置100′包括外壳1100、立臂1200和相机罩1300。外壳1100包括在其中形成声音收集开孔1131的右侧壁表面1130。由在外壳1100内提供的声音输入单元14收集已经穿过声音收集开孔1131的外部声音。

外壳1100也包括具有电源开关109的上表面单元1150和声音输出开孔1151。用户可以打开电源开关109以启动图像处理装置100′。由声音输出单元12产生的声音可以穿过声音输出开孔1151到外壳1100的外部。

外壳1100也包括左侧壁表面1140，在其中以凹型形成容器单元1160用于容纳立臂1200和相机罩1300。左侧壁表面1140也可以包括用于允许经由电缆120c将图像输出单元30连接到显示装置120的连接开孔（未示出）。

立臂1200经由扭矩铰链1210附着在外壳1100上，从而例如，可以在135°倾斜角ω₁的范围内相对外壳1100上下旋转立臂1200。在图15的所示示例中，倾斜角ω₁是90°。当倾斜角ω₁是0°时，立臂1200和相机罩1300可以被罩在容器单元1160内。

相机罩1300包含内置拍摄单元10。拍摄单元10可以拍摄人物（诸如电话会议与会者）、在纸片上的文字或字符或者会议发生的房间。相机罩1300经由扭矩铰链1310附着在立臂1200上。扭矩铰链1310可以配置为允许从两个角度都为零的图15所示的位置起在±180°摇摄角（pan angle）ω₂的范围内和±45°倾斜角ω₃的范围内相对立臂1200上下或左右旋转相机罩1300。

图像处理装置100可以具有除了图15所示的结构之外的结构。例如，图像处理装置100可以包括PC（个人计算机），声音输出单元12或者声音输入单元14外部地连接到该PC。优选地，图像处理装置100可以应用于诸如智能手机之类的便携式终端。

图2是实施例1的CPU50的功能框图。图3是实施例1的图像处理装置的操作的流程图。首先，拍摄单元10拍摄处理目标（被摄体）（步骤S2）。在本实施例中，处理目标是图4所示的会议。在图4的示例中，五个人正坐在桌子边并参与该会议。图5图示当拍摄单元10是具有广角镜头的相机单元时拍摄的图4的会议的图像的示例。如图5所示，图像具有条状变形。这里的“变形”指几何扭曲，并且是扭曲的原因。通常，变形很少接近光轴C的中心（图像中心）地发生。变形趋向于随着距离光轴C的中心的距离的增加而增加。特别地，在条形扭曲的情况下，图像可能扭曲从而显得向光轴的中心压缩。这里的“垂直方向”指被摄体的垂直方向（引力方向）并且对应于Y轴方向。“水平方向”指在图像的平面上与垂直方向正交的方向并且对应于X轴方向（参见图4）。

穿过光学镜头的光学图像由拍摄单元10中的成像元件转换为电信号（图像数据）。成像元件可以包括CCD或者CMOS传感器。当成像元件具有拜耳布置（通过其将R、G或B色彩分量之一分配到像素数据的每一个像素）时，可以进行进一步的拜耳转换以生成在其中将R、G或B色彩分量被分配到每一个像素的图像。

处理目标的照片图像被输入到图像获取单元502中。图像获取单元502获取处理目标（被摄体）的输入图像（步骤S4）。可以由图像获取单元502进行前述拜耳转换。图像获取单元502可以生成RGB图像、UV图像或者YCbCr图像。

经由输入单元40输入图像信息（步骤S6）。图像信息可以包括关于由拍摄单元10记录的图像的内容的信息（诸如，拍摄场景）。图像信息可以包括指示图像是人物的场景的信息（“人物信息”）或者指示图像包括白板或纸片上的文字或符号的信息（“文字信息”）。优选地，图像信息可以包括指示其他内容的信息。以下，图像信息对应于人物信息的情况称为“人物模式”，而图像信息对应于文字信息的情况称为“文字模式”。图像信息（模式）可以事先设置并且存储在存储单元60中。

输入单元40可以包括触摸板功能，配置为向用户显示多项图像信息（拍摄模式，即，在所示示例中的人物模式和文字模式），从而用户可以选择信息项的一条。当用户选择人物模式时，可以经由输入单元40输入人物信息作为图像信息。当用户选择文字模式时，可以经由输入单元40输入文字信息作为图像信息。因此，用户经由输入单元40输入图像信息。当图像处理装置100被用于视频电话会议时，用户可以经由输入单元40选择人物模式。经由输入单元40输入的图像信息被发送到信息获取单元504。信息获取单元504因此获取图像信息（步骤S8）。

将由图像获取单元502获取的图像和由信息获取单元504获取的图像信息输入到校正单元506。该校正单元506可以基于图像信息校正图像，从而保留（保持）图像的某些扭曲。更具体地，校正单元506可以基于图像信息校正图像，从而保留图像的某些扭曲。“某些”图像扭曲指在图像的预定方向上的预定比例（或量）的扭曲，该图像的预定方向是诸如垂直方向、水平方向或者预定比例的垂直方向向量和预定比例的水平方向向量被添加的方向（即，倾斜方向）。“基于图像信息”指确定图像信息对应于人物信息还是文字信息。

<当图像信息指示人物信息时>

描述图像信息指示图像的内容对应于人物的图像的情况。即，这是用户经由输入单元40选择人物模式的情况（图像信息对应于人物信息的情况）。在此情况下，图像的垂直方向与图像的平面中的会议场景的深度方向对应。图像的水平方向对应于正交于图像的平面中的垂直方向的方向。

通常，如果图像中人物的脸部或身体由于扭曲显得弯曲，则这从用户的观点看不是优选的。因此，校正单元506校正图像从而可以整体消除扭曲的水平方向分量（图4中的X轴方向分量）。关于扭曲的垂直方向（深度方向）分量（图4中的Y轴方向分量），校正单元506校正图像从而保留预定比例（量）的扭曲。以此方式，可以消除变形，同时在人物图像中控制透视增强。

图6图示在转换之前图像的像素和转换之后图像的像素之间的关系。参考图6，描述校正单元506的处理。首先描述术语。图6的网格的每一个部分对应于一个像素。光轴的中心C（也参见图5）对应于原点（坐标为（0，0））。“感兴趣像素”指在考虑中的校正之前的图像（实际图像）的整体像素之一。用P1（x′，y′）表示感兴趣像素的坐标。当校正图像从而保留预定量的扭曲时（即，当图像信息对应于人物信息时），用P2（x″，y″）表示转换之后感兴趣像素的坐标。当校正图像从而不保留任何图像扭曲时（稍后也将描述），用P0（x，y）表示转换之后感兴趣像素的坐标。

当图像由校正单元506校正时，P1（x′，y′）被转换为P2（x″，y″）。图7A和7B示意性地图示校正之前图像的像素（图7A）（其可能在以下称为“转换前像素”）并且校正之后图像的像素（图7B）（其可能在以下称为“转换后像素”）。在图示示例中，由校正单元506进行的校正处理包括用于确定对应关系的处理（“第一处理”）和用于确定和设置亮度值的处理（“第二处理”）。参考图7A和7B，描述校正单元506的处理。

<用于确定对应关系的处理（第一处理）>

首先，校正单元506在第一处理中确定与转换后像素对应的转换前像素。在图7A和7B的示例中，在X轴方向上的转换后像素的数量是N_x而在Y轴方向上的转换后像素的数量是N_y。因此，存在N_x×N_y个转换后像素。

在图7A和7B的示例中，在图7B中的转换后的感兴趣像素（1，1）与在图7A中的转换前像素（3，3）对应。稍后将描述用于确定与转换后像素对应的转换前像素的方法。转换后的感兴趣像素改变到（2，1）、（3，1）、…、（N_x，1）、（1，2）、（1，3）、…、（1，N_y）、…和（N_x，N_y），以便于确定与全部转换后像素对应的转换前像素的坐标。

在转换前像素P1（x′，y′）和转换后像素P2（x″，y″）之间，下列表达式（1）成立。坐标（a，b）的转换前像素表达为转换前像素（a，b），而坐标（c，d）的转换后像素表达为转换后像素（c，d）。

$x^{\&prime;}=x^{\&prime;\&prime;}+\mathrm{\&alpha;}\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}{c}_m{h}^m\&times;\cos \mathrm{\&theta;}$

$y^{\&prime;}=y^{\&prime;\&prime;}+\mathrm{\&beta;}\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}{c}_m{h}^m\&times;\sin \mathrm{\&theta;}---\left(1\right)$

其中，h是理想图像高度，即，光轴的中心C（0，0）和P0（x，y）之间的距离，其中h=(x²+y²)^1/2。可以事先通过校准测量对于每一个感兴趣像素的h的值。转换系数c_m可以基于（x，y）（x′，y′）事先确定。常数M可以依据拍摄单元10的相机单元的类型事先确定。校正比率α和β确定变形的降低的程度，其中，0≦α≦1，0≦β≦1。校正比率α和β可以依据图像信息确定。α或β的值越大，则变形的降低的量越多。α或β的值越小，则变形的降低的量越少。

当图像信息对应于人物信息时，校正图像从而可以完全或几乎完全消除扭曲的水平方向分量（X轴方向分量）。当校正图像从而可以完全消除扭曲的水平分量时，α设为1。当校正图像从而几乎完全消除扭曲的水平分量时，α设为接近1的值，诸如0.9。当图像信息对应于人物信息时，可以校正图像从而可以通过例如设置β=0.3来保留在垂直方向（Y轴方向）分量中的预定比例的扭曲。

因此，当图像信息对应于人物信息时，校正单元506可以优选地校正图像从而比扭曲的垂直方向分量更多地消除扭曲的水平方向分量。换而言之，α可以优选地设置为1或者接近1的值（诸如0.9），其中α＞β。

在表达式（1）中，θ是由水平线A和穿过感兴趣像素P1（x′，y′）的线形成的角度。每当转换后的感兴趣像素改变时测量θ的值。由于变形的特性，原点（0，0）、P1（x′，y′）和P0（x，y）位于直线上（理想图像高度h，带箭头）。

从表达式（1），可以确定转换之前的坐标P1（x′，y′）对应于转换之后的坐标P2（x″，y″）。以此方式，确定与全部N_x×N_y个转换后像素对应的转换前像素的坐标。表达式（1）的c_m和M的值可以事先存储在存储单元60。

<用于确定和设置亮度值的处理（第二处理）>

以下，校正处理单元506在第二处理中确定由表达式（1）计算的全部转换前像素P1（x′，y′）的亮度值。亮度值可以通过相关领域中熟知的方法确定。校正单元506设置转换前像素的所确定的亮度值为对应的转换后像素的亮度值。

例如，当转换后的感兴趣像素是（1，1）时，根据表达式（1）确定（第一处理）与转换后的感兴趣像素（1，1）对应的转换前像素（3，3），并且随后确定转换前像素（3，3）的亮度值（第二处理）。对转换后像素（1，1）设置转换前像素（3，3）的所确定的亮度值。类似地，对全部其他转换后像素进行第一处理和第二处理。以此方式，校正单元506生成校正图像。

优选地，校正单元506可以首先确定与全部转换后像素对应的转换前像素，并且随后确定全部转换前像素的亮度值。优选地，校正单元506可以确定与转换后像素对应的一个转换前像素并且随后确定所确定的转换前像素的亮度值。进一步优选地，校正单元506可以确定与转换后像素对应的预定数量的转换前像素并且随后确定全部预定数量的所确定的转换前像素的亮度值，并且在确定全部转换前像素的亮度值之前重复以上处理。

可以对图像输出单元30或通信单元85输入校正图像。图像输出单元30可以经由电缆120c向显示装置120（参见图1或14）输出校正图像。通信单元85可以向经由网络1000连接的另一图像处理装置传输校正图像（参见图13）。图8图示从图5的获取图像生成的校正图像的示例，因此获得与图4的图像基本等同的图像。校正图像可以通过显示装置120显示或者向其他图像处理装置传输。

<当图像信息指示在白板或纸片上书写的文字的图像时>

接着，描述用户选择文字模式的情况。当选择文字模式时，即，当图像是在白板或纸片上书写的文字或绘画的图像时，例如，由于变形导致的文字等的扭曲使得图像难以看到并且从用户的角度看应当被避免。因此，校正单元506校正图像从而变形的水平方向分量和垂直方向分量两者都可以完全或几乎完全消除。当变形的水平方向分量和垂直方向分量两者完全消除时，通过设置表达式（1）的校正比率从而α=β=1，可以确定与转换后坐标P2（x″，y″）对应的转换前坐标P1（x′，y′）（第一处理）。当变形的水平方向分量和垂直方向分量两者几乎完全消除时，通过在表达式（1）中设置校正比率α和β的至少一个到接近1的值（诸如0.9），可以确定与转换后坐标P2（x″，y″）对应的转换前坐标P1（x′，y′）（第一处理）。

然后，对对应的转换后像素确定和设置全部转换前像素P1（x′，y′）的亮度值（第二处理）。当校正图像从而可以完全消除变形的水平方向分量和垂直方向分量两者时，P1（x′，y′）转换到图6中的P0（x，y）。其他处理可以类似于人物模式的情况下的处理，因而省略其描述。

α和β的值可以对每一类图像信息确定并且事先存储在存储单元60中的表格中。图9图示表格的示例。在图9的示例中，在人物信息作为图像信息的情况下，α=1且β=0.3，而在文字信息作为图像信息的情况下，α=β=1。校正比率α和β可以对除了人物信息和文字信息之外的图像信息的类别确定。校正单元506提取与由信息获取单元504获取的图像信息对应的α和β的值并且随后通过对表达式（1）应用该值进行校正。

优选地，取代通过以逐个场景（图像信息）为基础设置校正比率的固定值，由用户输入的值可以用作校正比率。在此情况下，用户可以事先经由输入单元输入校正比率，并且该值可以以图9所示的表格的形式存储在存储单元60中。

在包括专利文件1的现有技术中，当校正具有条形变形的拍摄图像时，经常通过从光轴的中心径向地放大图像并且随后缩小校正图像的尺寸（大于校正前图像）回到校正前图像的尺寸来校正图像。结果，图像中接近光轴的中心（图像中心）的被摄体在变形的校正之后趋向于变得更小，因此整体上增强图像的透视。

在根据实施例1的图像处理装置中，校正单元506基于由信息获取单元502获取的图像信息校正图像，从而图像的某些扭曲保持。根据本实施例的图像处理装置通过使用表达式（1）和图9所示的α和β的值校正输入图像。

进一步，根据实施例1的图像处理装置能够取决于拍摄对象（诸如人物或文字/符号）调整变形的减少的程度。因此，图像处理装置可以生成在其中减少变形的图像同时尽可能防止透视增强，因此实现变形和透视之间的恰当平衡。具体地，当拍摄图像是人物时，校正图像从而保持预定量的扭曲的水平方向分量，同时完全或几乎完全消除扭曲的垂直方向分量。因此通过校正图像，可以获得在其中平衡变形和透视的图像（人物图像）。

在前述示例中，经由网络通过通信单元85将由图像处理装置100校正的图像传输到其他图像处理装置。在另一示例中，从任何其他图像处理装置100₂到100_N传输的未校正图像可以由校正单元506校正并经由（本地）图像处理装置100₁的图像输出单元30由显示装置120显示。在此情况下，仅本地图像处理装置100₁可以包括CPU50并且其他图像处理装置100₂到100_N可以不需要包括CPU50。

实施例2

以下，描述根据实施例2的图像处理装置200。在实施例1中，图像处理装置100或100′获取经由输入单元40由用户输入的图像信息。依据实施例2，图像处理装置200通过分析拍摄图像获取图像信息。

图10是图像处理装置200的功能框图。图10不同于图1在于：省略了输入单元40并且用CPU80替代了CPU50。图像处理装置200也可以包括声音输出单元12和声音输入单元14（参见图14）。

图11是CPU80的功能框图。该CPU80包括图像获取单元502、分析单元510、信息获取单元504和校正单元506。图12是图像处理装置200的操作的流程图。拍摄单元10记录拍摄图像（步骤S2），并且向图像获取单元502和分析单元510输入被摄图像。

分析单元510分析输入图像的内容并且基于分析的结果生成图像信息（步骤S11）。信息获取单元504获取由分析单元510生成的图像信息（步骤S12）。以下描述关注如下情况：图像内容包括两类：即，人物的图像（“人物信息”）和在白板或纸片上书写的文字等的图像，例如（“文字信息”）。因此，图像信息对应于人物信息或文字信息。优选地，这两类图像信息可以存储在存储单元60中。

<第一分析方法>

参考图16的流程图描述由分析单元510在步骤S11中进行的第一分析方法。首先，分析单元510使用脸部检测技术确定输入图像是否包含两个或更多人物（步骤S20）。该脸部检测技术不特别限定，而是可以包括借助于该方法检测诸如眼部之类的部位（part）的图案的方法或者涉及诸如肤色图案之类的色彩图案的检测的方法。

当分析单元510确定在输入图像中存在两个或更多人物的（在步骤S20中的“是”），分析单元510确定输入图像是人物的图像（步骤S22）。因此，分析单元510生成人物信息作为图像信息，并且向信息获取单元504输出人物信息。然后，信息获取单元504获取人物信息作为图像信息。基于所获取的人物信息，校正单元506通过消除全部或几乎全部扭曲的水平方向分量同时保留预定比例的扭曲的垂直方向分量来校正图像（图12的步骤S10）。

另一方面，当分析单元510确定在输入图像中存在一个人物或不存在人物时（在步骤S20中的“否”），分析单元510确定输入图像是文字的图像（步骤S22）。因此，分析单元510生成文字信息作为图像信息，并且向信息获取单元504输出文字信息。信息获取单元504获取文字信息作为图像信息。基于所获取的文字信息，校正单元506校正图像从而完全或几乎完全消除扭曲的水平方向分量和垂直方向分量（图12的步骤S10）。

描述包含一个人物的输入图像的情况。在此情况下，如上所述，分析单元510生成文字信息作为图像信息，并且校正单元506校正图像从而消除全部或几乎全部变形的水平方向分量和垂直方向分量。

输入图像包含一个人物的情况可以包括：情况（i），一个人正在聊天同时在白板或纸片上写字或绘图；和情况（ii），一个人正在做口头演示或说明而没有写字或绘图。

在情况（i）中，可能更经常的是在白板或纸片上书写的文字或绘画的图对于电话会议与会者比人物的图像更为重要的情况。因此，为了避免由于变形而难以看到文字或图，校正单元506校正图像从而消除扭曲的全部或几乎全部的水平方向分量和垂直方向分量。

在情况（ii）中，可能更经常的是给出口头演示的一个人位于图像的中央（图5的点C）。通常，位于图像的中央的被摄体的扭曲是非常小的。因此，校正单元506校正图像从而可以消除变形的全部或几乎全部的水平方向分量和垂直方向分量。

因此，在输入图像包含一个人的情况（i）和（ii）中，校正单元506校正图像从而可以完全或几乎完全消除扭曲的水平方向分量和垂直方向分量。

<第二分析方法>

接着，参考图17的流程图描述在步骤S11中由分析单元510进行的第二分析方法。首先，分析单元510通过以下描述的方法确定输入图像是否包含文字或符号（步骤S30）。通常，当图像是在白板等上书写的文字时，在图像中白色对彩色的比率很大。因此，分析单元510确定白色比率。当白色比率大于预定阈值时，分析单元510确定图像是在白板等上书写的文字的图像。

在其上书写或绘画文字等的介质不限于白板并且可以包括各种材质的白纸，诸如纸张。介质的色彩不限于白色。优选地，文字的亮度极大地不同于介质的色彩的亮度，以便于促进分析单元510的分析。例如，当在其上书写文字的介质是其色彩更接近黑色的黑板时，文字的色彩优选地是白色，诸如粉笔的色彩。

参考图18描述分析单元510可以借助于其确定图像是否包含文字或符号的另一方法。图18图示在白纸700上书写四行黑色文字720的示例。在此情况下，分析单元510确定沿着X轴和Y轴的单位线的黑色像素的总值。“单位线”指具有一个像素的宽度并且在X轴方向或Y轴方向上延伸的线。在图18的示例中，分析单元510确定在X轴方向上单位线的黑色像素的总值740x以及在Y轴方向上单位线的黑色像素的总值740y。通过这样确定总值740x和740y，分析单元510可以确定图像示出文字的水平线。通过类似的方法，分析单元510可以确定图像示出文字的垂直线。

当分析单元510确定图像包含文字或图画（在步骤S30中的“是”）时，分析单元510确定输入图像是文字或图画（步骤S32）。因此，分析单元510生成文字信息作为图像信息，并且输出该文字信息到信息获取单元504。信息获取单元504获取该文字信息作为图像信息。基于所获取的文字信息，校正单元506校正图像，从而完全或几乎完全消除扭曲的水平方向分量和垂直方向分量（图12中的步骤S10）。

当分析单元510确定图像不包含文字或图画（在步骤S30中的“否”）时，分析单元510可以确定输入图像包含两个或更多人物（步骤S34）。在此情况下，分析单元510生成人物信息作为图像信息，并且输出该人物信息到信息获取单元504。信息获取单元504获取该人物信息作为图像信息。基于所获取的人物信息，校正单元506校正图像，从而完全或几乎完全消除扭曲的水平方向分量，同时保留预定比例的扭曲的垂直方向分量（步骤S10）。

优选地，分析单元510基于确定结果，可以通过从在存储单元60中存储的多项图像信息中选择图像信息来产生图像信息（即，在本示例中的人物信息和文字信息）。因此，通过事先设置和存储图像信息在存储单元60中，分析单元510可以生成精确图像信息。替代地，分析单元510可以基于确定结果而不使用在存储单元60中存储的多项图像信息来生成图像信息。在此情况下，可以减少在存储单元60中存储的成本。将由分析单元510生成的图像信息输入到校正单元506。

参考图11和图12，向图像获取单元502输入由拍摄单元10记录（步骤S2）的图像。图像获取单元502获取输入图像（步骤S4）。向校正单元506输入由图像获取单元502获取的图像。基于所输入的图像信息，校正单元506校正输入图像（步骤S10）。校正单元506的校正方法可以类似于以上参考实施例1描述的方法。

因此，在根据实施例2的图像处理装置200中，分析单元510通过分析拍摄图像来获取图像信息。因此，不需要像实施例1一样提供输入单元40，并且也可以省略由用户选择图像信息的处理。

根据前述实施例的图像处理装置可以通过使得计算机解码本发明的实施例中的图像处理程序而实现。图像处理程序可以以计算机可读程序语言书写并存储在诸如磁盘或CD-ROM之类的计算机可读记录介质中。可以从记录介质或经由通信线路将图像处理程序安装在计算机中。由计算机中的CPU解码所安装的图像处理程序，从而计算机可以提供图像处理装置的功能。

因此，依据根据各种实施例的图像处理装置、图像处理方法或计算机可读记录介质，可以生成在其中平衡变形和透视的图像。

尽管参考特定实施例详细地描述本发明，但是在以下权利要求中描述和定义的本发明的范围和精神内存在变型和修改。

本申请基于在2010年8月3日提交的日本优先权申请2010-174702号和在2011年6月8号提交的2011-128398号，其整体内容通过引用并入于此。

Claims (9)

1.一种图像处理装置，包括：

图像获取单元，配置为获取图像；

信息获取单元，配置为获取指示所述图像的内容的图像信息；以及

校正单元，配置为基于所述图像信息校正所述图像，从而保留所述图像的某些扭曲,

其中，所述校正单元校正所述图像，从而当所述图像信息指示所述图像的内容是人物时，完全或几乎完全消除所述扭曲的水平方向分量，同时保留预定比例的所述扭曲的垂直方向分量。

2.根据权利要求1所述的图像处理装置，其中，所述校正单元校正所述图像，从而比所述扭曲的垂直方向分量更多地消除所述扭曲的水平方向分量。

3.根据权利要求1所述的图像处理装置，进一步包括输入单元，配置为接收所述图像信息，

其中，所述信息获取单元经由所述输入单元获取所述图像信息。

4.根据权利要求1所述的图像处理装置，进一步包括分析单元，配置为通过分析所述图像生成所述图像信息，

其中，所述信息获取单元获取由所述分析单元生成的所述图像信息。

5.根据权利要求4所述的图像处理装置，其中，在所述分析单元确定所述图像包含两个或更多人物时，所述分析单元生成指示所述图像的内容是人物的图像信息。

6.根据权利要求4所述的图像处理装置，进一步包括存储单元，配置为事先存储多项图像信息，

其中，所述分析单元通过选择在所述存储单元中存储的所述多项图像信息之一来生成所述图像信息。

7.一种图像处理方法，包括如下步骤：

获取图像；

获取指示所述图像的内容的图像信息；以及

基于所述图像信息校正所述图像，从而保留所述图像的某些扭曲,

其中，所述基于所述图像信息校正所述图像从而保留所述图像的某些扭曲的步骤校正所述图像，从而当所述图像信息指示所述图像的内容是人物时，完全或几乎完全消除所述扭曲的水平方向分量，同时保留预定比例的所述扭曲的垂直方向分量。

8.一种图像处理装置，包括：

图像获取单元，配置为获取图像；

信息获取单元，配置为获取指示所述图像的内容的图像信息；以及

校正单元，配置为基于所述图像信息校正所述图像，从而保留所述图像的某些扭曲,

其中，所述校正单元校正所述图像，从而当确定所述图像包含一个或不包括人物时，完全或几乎完全消除所述扭曲的水平方向分量和垂直方向分量。

9.一种图像处理方法，包括如下步骤：

获取图像；

获取指示所述图像的内容的图像信息；以及

基于所述图像信息校正所述图像，从而保留所述图像的某些扭曲,

其中，所述基于所述图像信息校正所述图像从而保留所述图像的某些扭曲的步骤校正所述图像，从而当确定所述图像包含一个或不包括人物时，完全或几乎完全消除所述扭曲的水平方向分量和垂直方向分量。