CN100428779C - 图像拾取装置及拾取图像的处理方法 - Google Patents
图像拾取装置及拾取图像的处理方法 Download PDFInfo
- Publication number
- CN100428779C CN100428779C CNB200610164098XA CN200610164098A CN100428779C CN 100428779 C CN100428779 C CN 100428779C CN B200610164098X A CNB200610164098X A CN B200610164098XA CN 200610164098 A CN200610164098 A CN 200610164098A CN 100428779 C CN100428779 C CN 100428779C
- Authority
- CN
- China
- Prior art keywords
- image
- captured
- pickup
- captured image
- pickup mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000012937 correction Methods 0.000 claims abstract description 42
- 238000003702 image correction Methods 0.000 claims abstract description 35
- 239000000284 extract Substances 0.000 claims abstract description 15
- RKTYLMNFRDHKIL-UHFFFAOYSA-N copper;5,10,15,20-tetraphenylporphyrin-22,24-diide Chemical compound [Cu+2].C1=CC(C(=C2C=CC([N-]2)=C(C=2C=CC=CC=2)C=2C=CC(N=2)=C(C=2C=CC=CC=2)C2=CC=C3[N-]2)C=2C=CC=CC=2)=NC1=C3C1=CC=CC=C1 RKTYLMNFRDHKIL-UHFFFAOYSA-N 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 claims description 2
- 230000007704 transition Effects 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 34
- 230000008569 process Effects 0.000 abstract description 32
- 230000001413 cellular effect Effects 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 15
- 238000000605 extraction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 241001269238 Data Species 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 2
- 230000001915 proofreading effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000006386 neutralization reaction Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
- H04N1/4092—Edge or detail enhancement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
对以大致同一拍摄角度拍摄对象得到的拾取图像执行图像校正处理中的可操作性得到改善，处理时间被缩短。在本发明的移动电话中的CPU从通过连续图像拾取模式连续拾取的多个拾取图像之一中提取对象的轮廓，并根据所提取的轮廓计算要用在图像校正中的校正数据。其后，CPU采用所计算的校正数据分别对连续拾取的多个拾取图像执行图像校正处理，以校正在每个拾取图像中包含的对象的图像失真。
Description
技术领域
本发明涉及对拾取图像进行校正处理的图像拾取装置及拾取图像处理方法。
背景技术
当在会议等等中将白板或者来自投影仪的图像作为对象进行拍摄时，矩形对象的图像可能被扭曲为梯形形状。考虑到这种情况，存在一种图像拾取装置，其具有从拾取图像中提取四边形区域的轮廓，并将该区域的形状校正为矩形，从而对对象图像的失真进行校正的图像校正处理功能，正如例如未审查日本专利申请KOKAI公开No.2005-143092中所公开的。
当在非常短的时期内对同一对象进行连续的多次拍摄时，类似连续拍摄，在单个拍摄中对于对象的拍摄角度变得大致相同。当在会议等等中在相同的座位处对白板或者来自投影仪的图像进行拍摄时，在大致相同的拍摄角度上执行拍摄。然而，当对在相同拍摄角度上拾取的同一对象的图像执行图像校正处理时，常规地是对每个图像进行用于执行提取四边形区域轮廓的处理和图像校正处理的操作，因此这就造成了操作和处理花费时间的问题。
发明内容
本发明的一个目的是改进对以大致相同的拍摄角度拍摄的对象的拾取图像执行图像校正处理时的可操作性，并缩短处理时间。
为了实现该目的，根据本发明的第一方面的图像拾取装置包括：
图像拾取单元，其将对象的光学图像转换为电子信号以获取拾取图像；
图像存储单元，其存储由所述图像拾取单元对同一对象所获取的多个拾取图像；
提取单元，其提取在所述图像存储单元中所存储的所述多个拾取图像中的任意一个中所包含的对象的轮廓；以及
图像校正单元，其将由所述提取单元所提取的轮廓校正为大致的矩形形状，并采用在对所述轮廓区域的校正中得到的校正数据来将在所述图像存储单元中所存储的同一对象的另一图像校正为大致矩形形状。
根据本发明的第二方面的拾取图像处理方法包括：
图像拾取步骤，将对象的光学图像转换为电子信号以获取拾取图像；
图像存储步骤，将由所述图像拾取步骤中对同一对象所获取的多个拾取图像存储在存储装置中；
提取步骤，其提取由所述图像存储步骤所存储的所述多个拾取图像中的任意一个拾取图像中包含的对象的轮廓区域；以及
图像校正步骤，其将由所述提取步骤所提取的轮廓区域校正为大致的矩形形状，并采用在对所述轮廓区域的校正中得到的校正数据来将由所述图像存储步骤存储的同一对象的另一图像校正为大致矩形形状。
根据本发明，当获取同一对象的多个拾取图像时，提取在所获取的多个拾取图像中的任意单个拾取图像中包含的对象的轮廓区域，将所提取的轮廓区域校正为大致矩形形状，并且采用在对所述轮廓区域的校正中得到的校正数据执行将对相同对象所获取的另一拾取图像校正为大致矩形形状的图像校正处理。因此，没有必要像以前那样，对逐个图像执行图像校正处理的操作、对逐个图像执行图像校正处理之前所必需的提取四边形轮廓的处理或者获得校正数据。这就实现了在图像校正处理中的可操作性上的改善和处理时间的缩短。
附图说明
在阅读以下详细说明和附图后，本发明的这些目的和其他目的及优点将变得更加清晰，其中：
图1A是示出根据本发明的实施例的移动电话的正视图；
图1B是示出根据本发明的实施例的移动电话的后视图；
图2是示出图1A和1B中所示的移动电话的结构的方框图；
图3A是示出在设定信息存储区域中所存储的表格并示出关于移动电话的操作的设定信息的表；
图3B是示出根据本发明的实施例的移动电话的各种数据的存储区域和数据流的图；
图4是示出连续模式图像拾取处理的流程的流程图；
图5是示出连续拍摄图像显示屏幕的实例的图；
图6是示出轮廓候选显示屏幕的实例的图；
图7是示出预览屏幕的实例的图；以及
图8是示出会议模式图像拾取处理的流程的流程图。
具体实施方式
下面，将参考附图详细描述本发明的实施例的移动电话1。
[第一实施例]
首先，将说明本发明的第一实施例的移动电话1的结构。
如图1A和图1B所示，移动电话1具有分为两个部分的主体，并且通过在主体中间部分设置的连结机构以可折叠形式构造。
如图1A所示，在打开的移动电话1的正面上设置了主显示屏幕8a和键输入单元9。主显示屏幕8a显示，例如，在用户操作移动电话1时主要使用的操作屏幕，以及由移动电话1所获得的图像。
此外，键输入单元9包括各种功能键，例如用于设定操作的设定键91，用于光标操作的光标键92，用于输入数字、字符等等的十个键93，用于指示通话开始的摘机(Off-hook)键(通话开始按钮)94，用于指示通话结束的挂机(On-hook)键(通话结束按钮)95，用于启动照相机模式的照相机键96、以及用于菜单操作的菜单键97。键输入单元9还包括图像拾取键98，其设置在移动电话1的侧面上，用于图像拾取操作。
此外，在主显示屏幕8a上方设置了受话器扬声器5。在键输入单元9的下方设置了送话器麦克风6。
如图1B所示，移动电话的背面设置有子显示屏幕8b和图像拾取单元10的图像拾取镜头10a。当移动电话1被折叠时，子显示屏幕8b辅助使用。
如图2所示，移动电话1具有天线2、无线通信单元3、语音编码解码(codec)单元4、受话器扬声器5、送话器麦克风6、CPU(中央处理单元)7、显示单元8、键输入单元9、图像拾取单元10、音频输出单元11、扬声器12、ROM(只读存储器)13、RAM(随机存取存储器)14、存储器15等等。
无线通信单元3对通过天线2从无线基站(未示出)接收的无线通信信号进行解调，并从所解调的基带信号(数字信号)中获得通信控制数据、语音数据、通信数据等等。
无线通信单元3将所获得的语音数据供应给语音编码解码单元4。语音编码解码单元4将所供应的语音数据转换成模拟语音信号并将该语音信号输出到受话器扬声器5。
无线通信单元3将所获得的通信数据供应给CPU 7。CPU 7将所供应的通信数据存储在RAM 14中。
此外，从语音编码解码单元4向无线通信单元3供应采用预定算法编码的语音数据。无线通信单元3将通信控制数据添加到所供应的语音数据上以生成基带信号，采用该基带信号调制载波，并将所调制的信号通过天线2发送到无线基站(未示出)。
语音编码解码单元4对来自无线通信单元3的语音数据进行解码(展开处理)，将该数据转换为模拟语音信号，并将该语音信号供应给受话器扬声器5。另一方面，语音编码解码单元4对来自送话器麦克风6的模拟语音信号进行编码(压缩处理)，将该信号转换为语音数据，并将该语音数据供应给无线通信单元3。
CPU 7读出在ROM 13中所存储的多种程序中的指定程序，将该程序在RAM 14的工作区域中展开，并运行该程序。例如，CPU 7根据在ROM 13中所存储的预定程序来控制以下要讨论的图像拾取单元10，并对所获得拾取图像执行图像校正。
显示单元8具有图1A所示的主显示屏幕8a和图1B所示的子显示屏幕8b，并且显示通过在CPU 7的控制下执行各种程序所获得的显示数据。
键输入单元9具有各种键，例如设定键91、光标键92、十个键93、摘机键94、挂机键95、用于启动照相机模式的照相机键96、以及用于菜单操作的菜单键97等等，所有这些都在图1A中示出。另外，键输入单元9具有图像拾取键98，其设置在移动电话1的侧面上，用于图像拾取操作。键输入单元9根据用户的键操作向CPU 7供应操作信号。
图像拾取单元10具有图1B所示的图像拾取镜头10a、光电转换元件，例如CCD(电荷耦合器件)和CMOS(互补金属氧化物半导体)、以及A/D(模数)转换器等等。图像拾取单元10通过光电转换元件将由图像拾取镜头10a所获得的光学图像转换为图像信号，并通过A/D转换器将该图像信号转换为数字图象数据，得到拾取图像数据。
当移动电话1有来电时等等，音频输出单元11通过来自CPU 7的音频指令，将音频信号输出到扬声器12，并通过音频声音将通话或者信件的接收通知给用户。
ROM 13存储要由CPU 7运行的各种程序、运行这些程序所必需的参数、数据等等。例如，ROM 13存储了用于执行以下将参考图4和8讨论的图像拾取处理和图像校正处理的程序。
RAM 14形成工作区域，工作区域临时存储要由CPU 7运行的各种程序和与这些程序相关的数据。
存储器15包括，例如，非易失性半导体存储器等，其能够对其内容进行电擦写和重写，并且存储由CPU 7写入的各种信息。存储器15具有图像存储器151，并将由图像拾取单元10所拾取的图像数据和通过无线通信单元3所接收的图像数据存储在图像存储器151中。此外，存储器15还具有设定信息存储器152，并将用于控制移动电话1的操作的设定信息存储在设定信息存储器152中。
所述设定信息包括用于设定图象拾取单元10的工作模式的信息、用于指定要对拾取图像执行的处理的信息(图像处理)，用于控制通话时的操作信息等等。
例如，设定信息包括移动电话1的工作模式以及表示是否设定工作模式的信息。图3A示出了设定信息的具体实例。设定信息51包括ON/OFF信息，其表示移动电话1已经被设定为以下三种拍摄模式中的任意一种：“照相机模式”、“连续图像拾取模式”以及“会议模式”。此外，对于连续图像拾取模式而言，设定一次拍摄获得的图像数量。在设定信息51的实例中，“连续图像拾取模式”的“ON/OFF”字段表示为“ON”，从而设定了用于连续图像拾取的“连续图像拾取模式”。此外，在“连续图像拾取模式”的“注释”字段中表示为“9”，这样设定使得当图像拾取单元10以连续图像拾取模式拾取对象的图像时连续拍摄九次。此外，“图像校正处理”列的字段表示为“ON”，设定对拾取图像进行图像校正处理。通过响应于键输入单元9的菜单键97、光标键92、设定键91等等的用户操作向CPU 7给出指令，能够改变和编辑设定信息51。
接下来，将说明具有上述结构的移动电话1的操作。
移动电话1的基本操作，即通信操作、图像拾取操作等等与普通移动电话的操作相同。以下，将说明在特征性的连续图像拾取模式中的操作。
首先，将参考图3B说明在移动电话1的连续图像拾取模式操作要点。
当以连续图像拾取模式进行拍摄时，用户操作键输入单元9来将图3A中的设定信息中的连续图像拾取模式和图像校正处理设定为ON，然后操作图像拾取键98。
响应于图像拾取键98的操作，图像拾取单元10获得多张拾取图像数据21。CPU 7将所获得的多张拾取图像数据21存储在RAM14或者图像存储器151中设置的拾取图像存储区域20中。
CPU 7计算在所述所存储的多张拾取图像数据21中的一张拾取图像数据21的图像校正中将要使用的校正数据41，并将该校正数据41存储在RAM 14中设置的校正数据存储区域40中。
随后，CPU 7采用校正数据41执行图像校正处理，用于校正剩余的多张拾取图像数据21中的每一张上的对象图像的失真，从而生成处理图像数据31。移动电话1将所生成的处理图像数据31存储在图像存储器151中设置的处理图像的存储区域30中。
接下来，将参考图4说明移动电话1的连续模式图像拾取处理。通过CPU 7运行在ROM 13中存储的连续模式图像拾取处理程序时，执行连续模式图像拾取处理。
移动电话1处于来电等待模式中，当检测到照相机键96的操作时，CPU 7将ROM 13中存储的用于图像拾取的程序加载到RAM 14，运行该程序，并启动照相机模式(步骤S1)。CPU 7使得图像拾取单元10开始获取图像，并使得主显示屏幕8a显示所获取的图像(以下称为“通过图像(through image)”)(步骤S2)。
为了便于理解，假设用户操作键输入单元9，指示将工作模式转换为连续图像拾取模式，并操作图像拾取键98。然后，CPU 7检测这些键的操作，将工作模式设定为连续图像拾取模式(步骤S3)，并控制图像拾取单元10，使得图像拾取单元10以在设定信息51中设定的预定次数(在本实施例中为九次)连续拍摄同一对象(步骤S4)。
CPU 7将由图像拾取单元10的连续图像拾取所获取的一系列拾取图像数据21存储在拾取图像存储区域20中。CPU 7创建该系列拾取图像数据21的缩略图81a。CPU 7将所创建的缩略图81a作为按钮布置，形成图5中所示的连续拍摄图像81。CPU 7在主显示屏幕8a上显示所形成的连续拍摄图像81(步骤S5)。
图5示出了当连续拍摄矩形形状对象，例如白板或者文档等时获得的连续拍摄图像81。在图5中，不是从正面拍摄对象，因此在缩略图81a中的对象81b被扭曲为梯形形状。通常，在连续图像拾取中，从相同的图像拾取位置以大致同一拍摄角度上连续地多次拍摄同一对象。因此，在由连续图像拾取所获得的多个拾取图像的缩略图81a中包含的对象81b的图像变为同样的失真图像。
在显示连续拍摄图像81之后，CPU 7参考图3A中所示的设定信息51，确定是否设定了要执行图像校正处理(步骤S6)。
当已经判断没有设定执行图像校正处理时(步骤S6：否)，CPU7压缩该系列拾取图像数据21，将拾取图像数据21存储在图像存储器151中(步骤S16)，并结束本处理。
当已经确定设定了执行图像校正时(步骤S6：是)，CPU 7对在该系列拾取图像数据21中由用户选择的一张拾取图像数据(参考图像)提取对象的轮廓(步骤S7)。为了确定参考图像，用户操作，例如，光标键来选择任意缩略图(按钮)81a。CPU 7判别与模板匹配的多条直线，所述模板用于判别与对应所选择的缩略图81a的拾取图像数据21相关的直线。CPU 7从所判别的直线中检测连接在一起形成闭合四边形的直线，并提取该闭合四边形的轮廓。此外，例如CPU7可以使用滤出非线性的线的滤波器来区别多条直线，从所区别的直线中检测连接在一起形成闭合四边形的直线，并提取该闭合四边形的轮廓。
当存在多个四边形的闭合轮廓时，CPU 7提取出多个轮廓。CPU7在主显示屏幕8a上连同所选择的拾取图像数据21一起显示所提取的轮廓(轮廓候选)，作为图6中所示的轮廓候选显示屏幕82(步骤S8)。
在图6中所示的轮廓候选显示屏幕82中，提取出了两个轮廓候选：用实线表示的轮廓候选82a和用虚线表示的轮廓候选82b。CPU 7检测对与轮廓候选中的对象相对应的任意一个轮廓候选的选择，所述选择是通过光标键92的光标操作和在选择轮廓候选之后经由设定键91的设定来实现的(步骤S9)。
将所选择的轮廓(轮廓候选)作为图像校正的参考(以下称为校正参考)，CPU 7通过坐标变换计算用于将校正参考轮廓校正为大致矩形形状的校正数据41(步骤S10)。
为了便于理解，假设基于等式1执行图像校正。在等式1中，假设在原始图像(拾取图像)中的每个像素的坐标为P(x，y)，并且在图像校正处理后的处理图像中的每个像素的坐标为Q(x，y)。
Q(x，y)＝P(ax+b，cy+d) 等式1
为了使用等式1执行图像校正，必须获取常数a至d。
CPU 7将校正参考轮廓的每个顶点的坐标P’(x，y)和在图像校正之后的大致矩形形状中的每个顶点的坐标Q’(x，y)带入等式1，获取常数a至d作为校正数据41。
CPU 7在等式1中设定计算得到的校正数据(a至d)，对拾取图像数据的每个像素执行坐标变换，从而执行对在拾取图像中包含的对象图像的失真进行校正的图像校正处理(步骤S11)。
注意，可以通过在未审查日本专利申请KOKAI公开No.2005-115711中公开的投影变换来执行该坐标变换。该公开的内容将结合在本申请中。在该情况中，基于一个拾取图像来获得校正数据(转换参数)41，并且将校正数据41应用到所有图像，从而执行坐标变换。
CPU 7显示预览图像83，如图7所示，预览图像83在主显示屏幕8a上显示图像校正处理之后的处理图像83a作为预览图像(步骤S12)。
用户确认校正后的图像，如果校正后图像良好则按下OK键，或者如果该图像不可接受则按下NG(不好)键。
当CPU 7检测到与“NG”相对应的键操作，即菜单键97的操作时(步骤S13：否)，处理返回到步骤S8。执行基于另一被选择轮廓候选的图像校正处理，以及在图像校正处理之后的预览显示。
当检测到与“OK”相对应的键操作时(步骤S13：是)，CPU 7将校正数据41存储在校正数据存储区域40中(步骤S14)。
随后，CPU 7在等式1中设定校正数据41，顺序地选择在拾取图像存储区域20中存储的剩余的拾取图像数据21，将所选择的拾取图像数据21的每个像素的坐标应用到等式1，执行坐标变换，创建处理图像数据31。
CPU 7采用同一校正数据41来重复同一图像校正处理，直到完成对在拾取图像存储区域20中所存储的连续拾取的多张图像数据21的校正处理为止(步骤S15)。
CPU 7对经过图像校正处理的处理图像数据31进行压缩，并将被压缩数据存储在处理图像存储器区域30中(步骤S16)，并结束处理。
如上所述，移动电话1基于以连续图像拾取模式获得的多个拾取图像中的一个拾取图像，计算要在图像校正中使用的校正数据41。移动电话1使用所计算的校正数据41对连续拾取的拾取图像中的每一个执行图像校正处理。因此，用于对每个图像执行图像校正处理的操作和校正数据的计算变为不必要。这就提高了在图像校正处理中的可操作性并缩短了该处理时间。
[第二实施例]
接下来，将说明本发明的第二实施例。
在第一实施例中，说明了对以连续图像拾取模式拾取的多个图像执行同一图像校正处理的情况。第二实施例将说明对特定拍摄时期内以大致相同的拍摄角度拾取的一系列图像执行图像校正处理的情况，例如，对于在会议处理中坐在会议室的相同座位上拍摄白板或者来自投影仪的图像的情况。
由于第二实施例的移动电话1的结构与图1A、1B和2中所示的结构相同，并且各种数据的存储区域和移动电话1上的设定信息与图3A、3B中所示的相同，因此省略说明。
当在特定的图像拾取时期内以大致相同的拍摄角度拍摄白板或者来自投影仪的图像时，用户选择图3A所示的“会议模式”并执行图像拾取。
将参考图8说明第二实施例的移动电话1的会议模式图像拾取处理。通过CPU 7运行在ROM 13中存储的会议模式图像拾取处理程序时，执行会议模式图像拾取处理。
移动电话1处于来电等待模式，当检测到照相机键96的操作时，CPU 7将ROM 13中存储的用于图像拾取的程序装载到RAM 14中，通过运行，启动照相机模式(步骤S21)。CPU 7使得图像拾取单元10开始获取图像，并在主显示屏幕8a上显示所获取的通过图像(步骤S22)。假设用户执行菜单键97的键操作，并在菜单键97的操作之后执行光标键92和设定键91的键操作，以指示将模式转换到会议模式，并且CPU 7检测这些键操作(步骤S23)。CPU 7然后在图像存储器151中创建组文件夹(group folder)(拾取图象存储区域20)，用于存储通过以会议模式的一系列图像拾取而获得的拾取图像数据21(步骤S24)。
当检测到图像拾取键98的操作时，CPU 7使图像拾取单元10执行图像拾取(步骤S25)。CPU 7压缩通过图像拾取而获得的拾取图像的图像数据，并将被压缩数据存储在步骤S24中创建的组文件夹(拾取图像存储区域20)中(步骤S26)。CPU 7重复步骤S25和S26中的处理，直到检测到指示结束会议模式的键操作为止，并将通过图像拾取而获得的拾取图像数据21存储在组文件夹中。
当检测到指示结束会议模式的键操作时(步骤S27：是)，CPU 7执行对步骤S24中创建的组文件夹中存储的该系列拾取图像数据21(在本实施例中，为第一拾取图像数据)之一的拾取图像中包含的对象的轮廓进行提取的轮廓提取处理(步骤S28)。当存在多个封闭的四边形轮廓时，提取多个轮廓。在主显示屏幕8a上连同拾取图像一起显示所提取的轮廓(轮廓候选)，如图6所示的轮廓候选显示屏幕82(步骤S29)。
假设用户通过在轮廓候选显示屏幕82中的光标键92的光标操作，选择与轮廓候选中的对象相对应的任意一个轮廓候选，通过设定键91执行设定操作，并且CPU 7检测这些键操作(步骤S30)。CPU7将所选择的轮廓候选作为校正参考，并通过坐标变换计算用于将校正参考的轮廓区域校正为大致矩形形状的校正数据41(步骤S31)。CPU 7使用所计算的校正数据41对拾取图像的每个像素执行坐标变换，从而执行对拾取图像中包含的对象图像的失真进行校正的图像校正处理(步骤S32)。
在执行了对作为校正参考的轮廓候选的图像校正之后，CPU 7在主显示屏幕8a上显示经过图像校正的处理图像83a作为预览图像83(见图7)(步骤S33)。当与在图7所示的预览图像83中的“NG”相对应的键被操作时，即当检测到菜单键97的操作时(步骤S34：否)，处理返回步骤S29，并且执行基于另一被选择轮廓候选的图像校正处理和在图像校正处理之后的预览显示。当与预览图像83中的“OK”相对应的键被操作时，即当检测到设定键91的操作时(步骤S34：是)，CPU 7将步骤S30中选择的轮廓候选的轮廓数据(例如四个角的坐标位置信息)和基于该轮廓数据计算的校正数据41暂时存储在RAM 14中的校正数据存储区域40中(步骤S35)。CPU 7使用在步骤S34中存储的校正数据41，对在步骤S24中创建的组文件夹中保存的所有拾取图像数据21执行图像校正处理(步骤S36)。CPU7压缩经过图像校正处理的处理图像数据31，并将被压缩的数据存储在图像存储器151中的校正图像存储器区域30中(步骤S37)，并结束处理。
如上所述，移动电话1基于会议模式的操作处理中拾取的多张拾取图像数据21中的一张拾取图像数据21，计算要在图像校正中使用的校正数据41。移动电话1使用所计算的校正数据41对在会议模式的操作处理中拾取的所有拾取图像数据21执行图像校正处理。因此，在对通过以大致相同的拍摄角度对同一对象(例如白板或者来自投影仪的图像等)进行图像拾取而获得的一系列拾取图像执行图像校正时，对用于对每个图像执行图像校正处理操作和校正数据41的计算变为不必要。这就提高了当对在会议等等中拾取的图像执行图像校正时的可操作性，并缩短了处理时间。
上述实施例仅仅是实例，本发明并不局限于上述实施例。
例如，将所提取的多个轮廓候选之一作为校正参考来执行图像校正，并将校正结果显示为第一和第二实施例中的预览。然而，也可以将所有所提取的轮廓候选作为校正参考来执行图像校正，并且可以根据用户的光标操作来逐个地将处理结果显示为预览。
本发明应用到以下情况：对在第一中连续拾取的静态图像执行图像校正，但是本发明并不局限于该情况，并且还可以应用到以下情况：对通过拾取运动图像而获得的一系列帧图像执行图像校正。
在第二实施例中的会议模式能够不仅能够用于在会议中拾取图像的情况，还可以用于拍摄同一矩形对象的情况，例如在课堂中拍摄粉笔板的情况。
尽管在本发明的实施例中，将由用户在多个所提取图像中选择的一个图像用作图像校正的参考图像，也可以将预先设定的图像(例如，第一图像)用作参考图像。尽管用户从多个轮廓候选中选择一个轮廓候选，并使用所选择的轮廓候选作为用于图像校正处理的参考图像，也可以选择要作为校正参考的四边形的四个角，并将所选择的四个角连接在一起的轮廓作为用于图像校正处理的参考。
在本发明的实施例中，移动电话1对以连续图像拾取模式或者以会议模式拾取的多个拾取图像执行图像校正。然而，本发明并不局限于这些情况。例如，可以对以任意拍摄模式、连续地、间断地、或者在预定时期内所拾取的图像执行相同的图像校正处理。本发明并不局限于在图像拾取之后才执行图像校正的实例，可以对预先存储的或者从外部获得的多个图像执行图像校正。此外，可以对由用户选择的多个图像执行图像校正。在该情况下，例如，用户选择多个图像之一，根据所选择的图像获取校正数据，并使用所获取的校正数据对所述多个图像执行同一图像校正。
另外，在不脱离本发明的精神和范围的情况下，移动电话1的结构和操作的细节能够以各种不同的形式改变和修改。
已经对将本发明应用到移动电话的情况作为实例进行了说明，但是本发明还能够应用于，例如，数字相机(照相机、摄像机)、具有图像拾取功能的PDA(个人数字助理)，或者具有图像拾取功能的计算机。
在不脱离本发明的精神和范围的情况下，能够得到各种实施例和对其的修改。上述实施例是为了描述本发明，并不是为了限制本发明的范围。本发明的范围是由附带的权利要求而不是实施例示出的。在本发明的权利要求的等同的含义中和在权利要求中的各种修改都认为是在本发明的范围之内。
Claims (9)
1、一种图像拾取装置，包括：
图像拾取单元，其具有获取一个图像的第一拾取模式和获取多个图像的第二拾取模式，并根据设定的拾取模式，将对象的图像转换为电信号以获取拾取图像；
模式设定单元，其用于设定所述图像拾取单元的拾取模式；
第一图像校正单元，提取在由所述模式设定单元设定的第一拾取模式下由所述图像拾取单元拍摄的拾取图像所包含的对象的轮廓，并校正该拾取图像以使所提取的轮廓呈矩形；
图像存储单元，其存储在由所述模式设定单元设定的第二拾取模式下由所述图像拾取单元获取的多个拾取图像；以及
第二图像校正单元，其选择在所述第二拾取模式下拍摄并存储在所述图像存储单元中的多个拾取图像中的任意一个拾取图像，提取所选择的拾取图像中包含的对象的轮廓，对所选择的拾取图像进行校正以使所提取的轮廓呈矩形，并且，对所述选择的拾取图像之外的拾取图像，进行与对所述选择的拾取图像进行的校正相同的校正。
2、如权利要求1所述的图像拾取装置，其中，
所述第二拾取模式是由所述图像拾取单元连续拍摄对象的连续图像拾取模式，并且在所述第二拾取模式下拍摄的多个拾取图像是在所述连续拾取模式下连续地对同一对象拍摄而获取的多个图像。
3、如权利要求1所述的图像拾取装置，其中，
所述第二拾取模式是将由所述图像拾取单元拍摄的多个拾取图像存储在所述图像存储单元中包含的特定图像存储区域中的拾取模式。
4、如权利要求1所述的图像拾取装置，还包括
显示单元，其显示在所述第二拾取模式下拍摄的多个拾取图像，和由所述第二图像校正单元校正的图像。
5、如权利要求1所述的图像拾取装置，其中，
所述第二图像校正单元从所述选择的拾取图像中识别与模板相匹配的多条直线，在所识别的直线中检测出连接在一起形成四边形的直线，并提取由所检测出的直线形成的四边形作为对象的轮廓。
6、如权利要求1所述的图像拾取装置，其中，
所述第二图像校正单元从所述选择的拾取图像中过滤掉不是直线的线以识别多条直线，在所识别的直线中检测出连接在一起形成四边形的直线，并提取由所检测出的直线形成的四边形作为对象的轮廓。
7、如权利要求1所述的图像拾取装置，其中，
所述第二图像校正单元对所述轮廓区域执行线性变换，以将所述轮廓区域校正为矩形形状。
8、如权利要求1所述的图像拾取装置，其中，
所述第二图像校正单元对所述轮廓区域执行投影变换，以将所述轮廓区域校正为矩形形状。
9、一种拾取图像处理方法，包括：
图像拾取步骤，具有获取一个图像的第一拾取模式和获取多个图像的第二拾取模式，并根据设定的拾取模式来拍摄对象；
第一图像校正步骤，提取在第一拾取模式下通过所述图像拾取步骤拍摄的拾取图像所包含的对象的轮廓，并校正所述拾取图像以使所提取的轮廓呈矩形；
图像存储步骤，存储在第二拾取模式下所述图像拾取步骤中拍摄的多个拾取图像；以及
第二图像校正步骤，选择在所述图像存储步骤中存储的多个拾取图像中的任意一个拾取图像，提取所选择的拾取图像中包含的对象的轮廓，对所选择的拾取图像进行校正以使所提取的轮廓呈矩形，并且，对所述选择的拾取图像之外的拾取图像，进行与对所述选择的拾取图像进行的校正相同的校正。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005356394A JP4344888B2 (ja) | 2005-12-09 | 2005-12-09 | 撮像装置、撮像画像処理方法及びプログラム |
| JP356394/2005 | 2005-12-09 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1984250A CN1984250A (zh) | 2007-06-20 |
| CN100428779C true CN100428779C (zh) | 2008-10-22 |
Family
ID=38138870
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB200610164098XA Expired - Fee Related CN100428779C (zh) | 2005-12-09 | 2006-12-07 | 图像拾取装置及拾取图像的处理方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7777785B2 (zh) |
| JP (1) | JP4344888B2 (zh) |
| KR (1) | KR100855829B1 (zh) |
| CN (1) | CN100428779C (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010030287A1 (en) * | 2008-09-15 | 2010-03-18 | Hewlett-Packard Development Company, L .P. | Minimally processing displayed images captured from a burst |
| JP2010282294A (ja) * | 2009-06-02 | 2010-12-16 | Canon Inc | 情報処理装置、情報処理方法及びプログラム |
| JP4856263B2 (ja) * | 2009-08-07 | 2012-01-18 | シャープ株式会社 | 撮像画像処理システム、画像出力方法、プログラムおよび記録媒体 |
| US8345106B2 (en) | 2009-09-23 | 2013-01-01 | Microsoft Corporation | Camera-based scanning |
| CN102201053B (zh) * | 2010-12-10 | 2013-07-24 | 上海合合信息科技发展有限公司 | 一种文本图像的切边方法 |
| DE102011010315A1 (de) * | 2011-02-03 | 2012-08-09 | Hönigsberg & Düvel Datentechnik GmbH | Erkennung von Objekten |
| JP5708051B2 (ja) * | 2011-03-07 | 2015-04-30 | 株式会社リコー | 映像処理装置、映像処理システム、テレビ会議システム、遠方監視システム、映像処理方法、及び撮像装置 |
| JP6034486B2 (ja) * | 2013-04-10 | 2016-11-30 | 株式会社東芝 | 電子機器 |
| JP6357297B2 (ja) * | 2013-04-10 | 2018-07-11 | セイコーエプソン株式会社 | 表示制御プログラム、表示制御方法、表示装置および印刷システム |
| US20140347500A1 (en) * | 2013-05-22 | 2014-11-27 | Synchronoss Technologies, Inc. | Apparatus and method of document tagging by pattern matching |
| KR102173109B1 (ko) | 2014-09-05 | 2020-11-02 | 삼성전자주식회사 | 디지털 영상 처리 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 디지털 영상 처리 장치 |
| JP6676299B2 (ja) * | 2015-07-21 | 2020-04-08 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム |
| JP6412474B2 (ja) * | 2015-09-03 | 2018-10-24 | 株式会社 日立産業制御ソリューションズ | クラック幅計測システム |
| CN109690568A (zh) | 2016-09-12 | 2019-04-26 | 华为技术有限公司 | 一种处理方法及移动设备 |
| KR102607789B1 (ko) * | 2018-12-17 | 2023-11-30 | 삼성전자주식회사 | 이미지 처리 방법 및 그 전자 장치 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1313004A (zh) * | 1998-06-23 | 2001-09-12 | 夏普公司 | 图像处理装置,图像处理方法及记录图像处理程序的媒体 |
| WO2005020569A1 (en) * | 2003-08-25 | 2005-03-03 | Casio Computer Co., Ltd. | Projector apparatus, projection method, and recording medium storing projection method |
| US20050078192A1 (en) * | 2003-10-14 | 2005-04-14 | Casio Computer Co., Ltd. | Imaging apparatus and image processing method therefor |
| JP2005143092A (ja) * | 2003-10-14 | 2005-06-02 | Casio Comput Co Ltd | カメラ装置及び書画カメラ |
| CN1678048A (zh) * | 2004-03-29 | 2005-10-05 | 精工爱普生株式会社 | 图像处理系统、投影机及图像处理方法 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7409111B2 (en) * | 1997-10-21 | 2008-08-05 | Canon Kabushiki Kaisha | Image synthesizing system for automatically retrieving and synthesizing images to be synthesized |
| JP3395832B2 (ja) * | 1998-08-28 | 2003-04-14 | ソニー株式会社 | 画像表示補正システム、画像表示補正装置および方法並びに画像表示装置および方法 |
| US6538691B1 (en) | 1999-01-21 | 2003-03-25 | Intel Corporation | Software correction of image distortion in digital cameras |
| KR100303181B1 (ko) * | 1999-03-18 | 2001-09-26 | 명영철,최범영 | 다수의 촬상소자를 이용한 고해상도 촬영장치의 보정방법 |
| US7313289B2 (en) * | 2000-08-30 | 2007-12-25 | Ricoh Company, Ltd. | Image processing method and apparatus and computer-readable storage medium using improved distortion correction |
| US6963365B2 (en) | 2001-02-28 | 2005-11-08 | Hewlett-Packard Development Company, L.P. | System and method for removal of digital image vertical distortion |
| JP2003283964A (ja) | 2002-03-26 | 2003-10-03 | Olympus Optical Co Ltd | 映像表示装置 |
| US7684096B2 (en) * | 2003-04-01 | 2010-03-23 | Avid Technology, Inc. | Automatic color correction for sequences of images |
| JP3743828B2 (ja) * | 2003-10-14 | 2006-02-08 | カシオ計算機株式会社 | 電子カメラ |
| JP2005122323A (ja) | 2003-10-14 | 2005-05-12 | Casio Comput Co Ltd | 撮影装置、画像処理装置、撮影装置の画像処理方法及びプログラム |
| KR100569194B1 (ko) | 2003-12-19 | 2006-04-10 | 한국전자통신연구원 | 카메라 문서영상의 기하학적 왜곡 보정방법 |
| US7551205B2 (en) * | 2004-03-22 | 2009-06-23 | Fujifilm Corporation | Image processing method, image processing system, image processing apparatus and image processing program |
| JP4182937B2 (ja) * | 2004-09-28 | 2008-11-19 | カシオ計算機株式会社 | 撮影装置、撮影装置の画像処理方法及びプログラム |
| EP1768387B1 (en) * | 2005-09-22 | 2014-11-05 | Samsung Electronics Co., Ltd. | Image capturing apparatus with image compensation and method therefor |
-
2005
- 2005-12-09 JP JP2005356394A patent/JP4344888B2/ja not_active Expired - Fee Related
-
2006
- 2006-12-06 US US11/635,149 patent/US7777785B2/en not_active Expired - Fee Related
- 2006-12-07 KR KR1020060123631A patent/KR100855829B1/ko not_active IP Right Cessation
- 2006-12-07 CN CNB200610164098XA patent/CN100428779C/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1313004A (zh) * | 1998-06-23 | 2001-09-12 | 夏普公司 | 图像处理装置,图像处理方法及记录图像处理程序的媒体 |
| WO2005020569A1 (en) * | 2003-08-25 | 2005-03-03 | Casio Computer Co., Ltd. | Projector apparatus, projection method, and recording medium storing projection method |
| US20050078192A1 (en) * | 2003-10-14 | 2005-04-14 | Casio Computer Co., Ltd. | Imaging apparatus and image processing method therefor |
| JP2005143092A (ja) * | 2003-10-14 | 2005-06-02 | Casio Comput Co Ltd | カメラ装置及び書画カメラ |
| CN1678048A (zh) * | 2004-03-29 | 2005-10-05 | 精工爱普生株式会社 | 图像处理系统、投影机及图像处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4344888B2 (ja) | 2009-10-14 |
| CN1984250A (zh) | 2007-06-20 |
| US20070132862A1 (en) | 2007-06-14 |
| JP2007166009A (ja) | 2007-06-28 |
| KR100855829B1 (ko) | 2008-09-01 |
| US7777785B2 (en) | 2010-08-17 |
| KR20070061404A (ko) | 2007-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100428779C (zh) | 图像拾取装置及拾取图像的处理方法 | |
| US8326356B2 (en) | Image transmission apparatus, image transmission method and image transmission program product | |
| US8872843B2 (en) | Method for editing images in a mobile terminal | |
| US20060152578A1 (en) | Method of displaying video call image | |
| US20050153746A1 (en) | Mobile terminal capable of editing images and image editing method using same | |
| JP4662874B2 (ja) | 画像処理装置、及びプログラム | |
| CN101459770A (zh) | 数字拍摄设备及其控制方法 | |
| KR101075720B1 (ko) | 휴대단말기의 이미지편집 방법 | |
| EP1800472B1 (en) | Image compositing method and apparatus | |
| KR100842573B1 (ko) | 휴대단말기의 카메라부 제어장치 및 방법 | |
| KR100734003B1 (ko) | 카메라를 이용한 기능 선택이 가능한 이동 통신 단말기 및그 기능 선택 방법 | |
| US20070013784A1 (en) | Method of comparing motion and wireless terminal implementing the same | |
| US20040179749A1 (en) | Image synthesizing apparatus, image synthesizing method and a computer readable recording medium having recorded a program | |
| JP4940695B2 (ja) | テレビ電話装置、テレビ電話つき携帯端末、そのテレビ電話方法およびテレビ電話つき携帯端末の通信方法 | |
| US7746991B2 (en) | Apparatus and method of providing a call service using a prepaid card in a portable terminal | |
| JP2005142929A (ja) | 携帯端末 | |
| JP2007011738A (ja) | 文字処理装置 | |
| JP2006238116A (ja) | 撮像装置、撮影方法および撮影プログラム | |
| KR100557094B1 (ko) | 영상표시장치의 역상조정 방법 | |
| KR20060011639A (ko) | 휴대용 단말기에서 영상데이터를 표시하는 방법 | |
| KR20070073241A (ko) | 실시간 화상 보정 기술을 이용한 화상 통화 방법 및 이를구현하는 이동통신 단말기 | |
| KR100539791B1 (ko) | 카메라를 구비한 이동 통신 단말기의 접사 수행 방법 | |
| JP5300924B2 (ja) | 画像送信装置、画像送信方法および画像送信プログラム | |
| JP4436288B2 (ja) | 携帯端末装置 | |
| JP2012142995A (ja) | 画像送信装置、画像送信方法および画像送信プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| ASS | Succession or assignment of patent right |
Owner name: NEC CASIO MOBILE COMMUNICATIONS CO., LTD. Free format text: FORMER OWNER: CASIO HITACHI MOBILE CO., LTD. Effective date: 20100813 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: TOKYO, JAPAN TO: KANAGAWA, JAPAN |
|
| TR01 | Transfer of patent right |
Effective date of registration: 20100813 Address after: Kanagawa, Japan Patentee after: NEC CASIO Mobile Communications, Ltd. Address before: Tokyo, Japan Patentee before: Casio Hitachi Mobile Co., Ltd. |
|
| ASS | Succession or assignment of patent right |
Owner name: NEC CORP. Free format text: FORMER OWNER: NEC CASIO MOBILE COMMUNICATIONS, LTD. Effective date: 20130702 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20130702 Address after: Tokyo, Japan Patentee after: NEC Corp. Address before: Kanagawa, Japan Patentee before: NEC CASIO Mobile Communications, Ltd. |
|
| ASS | Succession or assignment of patent right |
Owner name: LENOVO INNOVATION CO., LTD. (HONGKONG) Free format text: FORMER OWNER: NEC CORP. Effective date: 20141201 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; TO: HONG KONG, CHINA |
|
| TR01 | Transfer of patent right |
Effective date of registration: 20141201 Address after: Hongkong, China Patentee after: LENOVO INNOVATIONS Co.,Ltd.(HONG KONG) Address before: Tokyo, Japan Patentee before: NEC Corp. |
|
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20081022 Termination date: 20151207 |
|
| EXPY | Termination of patent right or utility model |