CN1984250A - 图像拾取装置及拾取图像的处理方法 - Google Patents
图像拾取装置及拾取图像的处理方法 Download PDFInfo
- Publication number
- CN1984250A CN1984250A CNA200610164098XA CN200610164098A CN1984250A CN 1984250 A CN1984250 A CN 1984250A CN A200610164098X A CNA200610164098X A CN A200610164098XA CN 200610164098 A CN200610164098 A CN 200610164098A CN 1984250 A CN1984250 A CN 1984250A
- Authority
- CN
- China
- Prior art keywords
- image
- correction
- captured
- image pickup
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000012937 correction Methods 0.000 claims abstract description 45
- 238000003702 image correction Methods 0.000 claims abstract description 30
- 239000000284 extract Substances 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims description 12
- RKTYLMNFRDHKIL-UHFFFAOYSA-N copper;5,10,15,20-tetraphenylporphyrin-22,24-diide Chemical compound [Cu+2].C1=CC(C(=C2C=CC([N-]2)=C(C=2C=CC=CC=2)C=2C=CC(N=2)=C(C=2C=CC=CC=2)C2=CC=C3[N-]2)C=2C=CC=CC=2)=NC1=C3C1=CC=CC=C1 RKTYLMNFRDHKIL-UHFFFAOYSA-N 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 78
- 230000008569 process Effects 0.000 abstract description 72
- 230000001413 cellular effect Effects 0.000 abstract description 41
- 238000009966 trimming Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 241001269238 Data Species 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002386 leaching Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000006386 neutralization reaction Methods 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
- H04N1/4092—Edge or detail enhancement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
对以大致相同的拍摄角度拍摄对象得到的拾取图像执行图像校正过程中的可操作性得到改善，过程时间被缩短。在蜂窝式电话中的CPU从以连续图像拾取模式连续拾取的多个拾取图像之一中提取对象的轮廓，并根据所提取的轮廓计算要用在图像校正中的校正数据。其后，CPU采用所计算的校正数据对连续拾取的多个拾取图像执行图像校正过程，以校正在每个拾取图像中包含的对象的图像失真。
Description
技术领域
本发明涉及图像拾取装置及对拾取图像进行校正过程的拾取图像处理方法，以及计算机可读记录介质。
背景技术
当在会议等等中将白板或者来自投影仪的图像作为对象进行拍摄时，矩形对象的图像可能被扭曲为梯形形状。考虑到这种情况，存在一种图像拾取装置，其具有从拾取图像中提取四边形区域的轮廓，并将该区域的形状校正为矩形，从而对对象图像的失真进行校正的图像校正处理功能，正如例如未审查日本专利申请KOKAI公开No.2005-143092中所公开的。
当在非常短的时期内对相同对象进行连续的多次拍摄时，类似连续拍摄，在单个拍摄中对于对象的拍摄角度变得大致相同。当在会议等等中在相同的座位处对白板或者来自投影仪的图像进行拍摄时，在大致相同的拍摄角度上执行拍摄。然而，当对在相同拍摄角度上拾取的相同对象的图像执行图像校正过程时，常规地是对每个图像进行用于执行提取四边形区域轮廓的过程和图像校正过程的操作，因此这就造成了操作和过程花费时间的问题。
发明内容
本发明的一个目的是改进对以大致相同的拍摄角度拍摄的对象的拾取图像执行图像校正过程时的可操作性，并缩短过程时间。
为了实现该目的，根据本发明的第一方面的图像拾取装置包括：
图像拾取单元，其将包含对象的光学图像转换为电子信号以获取拾取图像；
图像存储单元，其存储由所述图像拾取单元对相同对象所获取的多个拾取图像；
提取单元，其提取在所述图像存储单元中所存储的所述多个拾取图像中的任意一个中所包含的对象的轮廓区域；以及
图像校正单元，其将由所述提取单元所提取的轮廓区域校正为大致的矩形，并采用在对所述轮廓区域的校正中得到的校正数据来将在所述图像存储单元中所存储的相同对象的另一图像校正为具有大致矩形形状。
根据本发明的第二方面的拾取图像处理方法包括：
图像拾取步骤，将包含对象的光学图像转换为电子信号以获取拾取图像；
图像存储步骤，将由所述图像拾取步骤中对相同对象所获取的多个拾取图像存储在记录装置中；
提取步骤，其提取在所述图像存储步骤中所存储的所述多个拾取图像中的任意一个拾取图像中包含的对象的轮廓区域；以及
图像校正步骤，其将由所述提取步骤所提取的轮廓区域校正为大致的矩形，并采用在对所述轮廓区域的校正中得到的校正数据来将在所述图像存储步骤中存储的相同对象的另一图像校正为具有大致矩形形状。
根据本发明，当获取相同对象的多个拾取图像时，提取在所获取的多个拾取图像中的任意单个拾取图像中包含的对象的轮廓，将所提取的轮廓区域校正为大致矩形，并且采用在对所述轮廓区域的校正中得到的校正数据执行将对相同对象所获取的另一拾取图像校正为具有大致矩形的图像校正过程。因此，与常规技术不同，本发明不需要执行逐个图像地执行图像校正过程的操作、在逐个图像地执行图像校正过程之前所必需的提取四边形轮廓或者获得校正数据的过程。这就导致了在图像校正过程中的可操作性上的改善和过程时间的缩短。
附图说明
在阅读以下详细说明和附图后，本发明的这些目的和其他目的及优点将变得更加清晰，其中：
图1A是示出根据本发明的实施例的蜂窝式电话的正视图；
图1B是示出根据本发明的实施例的蜂窝式电话的后视图；
图2是示出图1A和1B中所示的蜂窝式电话的结构的方框图；
图3A是示出在设定信息存储区域中所存储的表格并示出关于蜂窝式电话的操作的设定信息的图表；
图3B是示出根据本发明的实施例的蜂窝式电话的各种数据的存储区域和数据流的图表；
图4是示出连续模式图像拾取过程的流程的流程图；
图5是示出连续拍摄图像显示屏幕的实例的图表；
图6是示出轮廓候选显示屏幕的实例的图表；
图7是示出预览屏幕的实例的图表；以及
图8是示出会议模式图像拾取过程的流程的流程图。
具体实施方式
将参考附图描述根据本发明的实施例的蜂窝式电话1。
[第一实施例]
首先，将解释本发明的第一实施例的蜂窝式电话1的结构。
如图1A和图1B所示，蜂窝式电话1具有分为两个部分的主体，并且通过在主体中间部分设置的耦合机制以可折叠形式构造。
如图1A所示，在打开的蜂窝式电话1的正面上设置了主显示屏幕8a和键输入单元9。主显示屏幕8a显示，例如，在用户操作蜂窝式电话1时主要使用的操作屏幕，以及由蜂窝式电话1所获得的图像。
键输入单元9包括各种功能键，例如用于设定操作的设定键91，用于光标操作的光标键92，用于输入数字、字符等等的十个键93，用于指示通话开始的摘机(Off-hook)键(通话开始按钮)94，用于指示通话结束的挂机(On-hook)键(通话结束按钮)95，用于开始照相机模式的照相机键96、以及用于菜单操作的菜单键97。键输入单元9还包括图像拾取键98，其设置在蜂窝式电话1的侧面上，用于图像拾取操作。
在主显示屏幕8a上方设置了受话器扬声器5。在键输入单元9的下方设置了送话器麦克风6。
如图1B所示，蜂窝式电话的背面设置有子显示屏幕8b和图像拾取单元10的图像拾取镜头10a。当蜂窝式电话1被折叠时，子显示屏幕8b辅助使用。
如图2所示，蜂窝式电话1具有天线2、无线通信单元3、语音编码解码(codec)单元4、受话器扬声器5、送话器麦克风6、CPU(中央处理单元)7、显示单元8、键输入单元9、图像拾取单元10、音频输出单元11、扬声器12、ROM(只读存储器)13、RAM(随机存取存储器)14、存储器15等等。
无线通信单元3对通过天线2从无线基站(未示出)接收的无线通信信号进行解调，并从所解调的基带信号(数字信号)中获得通信控制数据、语音数据、通信数据等等。
无线通信单元3将所获得的语音数据供应给语音编码解码单元4。语音编码解码单元4将所供应的语音数据转换成模拟语音信号并将该语音信号输出到受话器扬声器5。
无线通信单元3将所获得的通信数据供应给CPU 7。CPU 7将所供应的通信数据存储在RAM 14中。
从语音编码解码单元4向无线通信单元3供应采用预定算法编码的语音数据。无线通信单元3将通信控制数据添加到所供应的语音数据上以生成基带信号，采用该基带信号调制载波，并将所调制的信号通过天线2发送到无线基站(未示出)。
语音编码解码单元4对来自无线通信单元3的语音数据进行解码(展开过程)，将该数据转换为模拟语音信号，并将该语音信号供应给受话器扬声器5。语音编码解码单元4对来自送话器麦克风6的模拟语音信号进行编码(压缩过程)，将该信号转换为语音数据，并将该语音数据供应给无线通信单元3。
CPU 7读出在ROM 13中所存储的多种程序中的指定程序，将该程序在RAM 14的工作区域中展开，并运行该程序。例如，CPU 7根据在ROM 13中所存储的预定程序来控制以下要讨论的图像拾取单元10，并对所获得拾取图像执行图像校正。
显示单元8具有图1A所示的主显示屏幕8a和图1B所示的子显示屏幕8b，并且显示通过在CPU 7的控制下执行各种程序所获得的显示数据。
键输入单元9具有各种键，例如设定键91、光标键92、十个键93、摘机键94、挂机键95、用于开始照相机模式的照相机键96、以及用于菜单操作的菜单键97等等，所有这些都在图1A中示出。另外，键输入单元9具有图像拾取键98，其设置在蜂窝式电话1的侧面上，用于图像拾取操作。键输入单元9根据用户的键操作向CPU 7供应操作信号。
图像拾取单元10具有图1B所示的图像拾取镜头10a、光电转换元件，例如CCD(电荷耦合器件)和CMOS(互补金属氧化物半导体)、以及A/D(模数)转换器等等。图像拾取单元10通过光电转换元件将由图像拾取镜头10a所获得的光学图像转换为图像信号，并通过A/D转换器将该图像信号转换为数字信号，得到拾取图像数据。
当蜂窝式电话1有来电时等等，音频输出单元11响应于来自CPU7的音频指令，将音频信号输出到扬声器12，并通过音频声音将来电或者信件的接收通知给用户。
ROM 13存储要由CPU 7运行的各种程序、运行这些程序所必需的参数、数据等等。例如，ROM 13存储了用于执行以下将参考图4和8讨论的图像拾取过程和图像校正过程的程序。
RAM 14形成工作区域，工作区域临时存储要由CPU 7运行的各种程序和关于这些程序的数据。
存储器15包括，例如，非易失性半导体存储器，其能够对其内容进行电擦写和重写，并且存储由CPU 7写入的各种信息。存储器15具有图像存储器151，并将由图像拾取单元10所拾取的图像数据和通过无线通信单元3所接收的图像数据存储在图像存储器151中。存储器15还具有设定信息存储器152，并将用于控制蜂窝式电话1的操作的设定信息存储在设定信息存储器152中。
所述设定信息包括用于设定蜂窝式电话1的工作模式的信息、用于指定要对拾取图像执行的过程的信息(图像过程)，用于在通信中控制蜂窝式电话1的操作的信息等等。
例如，设定信息包括表示蜂窝式电话1的工作模式以及是否设定了工作模式的多条信息。图3A示出了设定信息的特定实例。设定信息51包括ON/OFF信息，其表示蜂窝式电话1已经被设定为以下三种拍摄模式中的哪一种：“照相机模式”、“连续图像拾取模式”以及“会议模式”。对于连续图像拾取模式而言，设定一次拍摄获得的图像数量。在设定信息51的实例中，“连续图像拾取模式”的“ON/OFF”字段表示为“ON”，从而设定了用于连续图像拾取的“连续图像拾取模式”。在“连续图像拾取模式”的“注释”字段中表示为“9”，这样设定使得当图像拾取单元10以连续图像拾取模式拾取对象的图像时连续拍摄九次。此外，“图像校正过程”列的字段表示为“ON”，将拾取图像设定为进行图像校正过程。通过响应于键输入单元9的菜单键97、光标键92、设定键91等等的用户操作向CPU 7给出指令，能够改变和编辑设定信息51。
接下来，将解释具有上述结构的蜂窝式电话1的操作。
蜂窝式电话1的基本操作，即通信操作、图像拾取操作等等与普通蜂窝式电话的操作相同。以下，将解释在连续图像拾取模式中的特征性操作。
首先，将参考图3B解释在连续图像拾取模式中蜂窝式电话1的操作要点。
当以连续图像拾取模式进行拍摄时，用户操作键输入单元9来将设定信息中的连续图像拾取模式和图像校正过程设定为ON，然后操作图像拾取键98。
响应于图像拾取键98的操作，图像拾取单元10获得多张拾取图像数据21。CPU 7将所获得的多张拾取图像数据21存储在RAM 14或者图像存储器151中设置的拾取图像存储区域20中。
CPU 7计算在所述多张所存储的拾取图像数据21中的一张拾取图像数据21的图像校正中将要使用的校正数据41，并将该校正数据41存储在RAM 14中设置的校正数据存储区域40中。
随后，CPU 7采用校正数据41执行图像校正过程，用于校正剩余的拾取图像数据21中的每一张上的对象图像的失真，从而生成处理过的图像数据31。蜂窝式电话1将所生成的处理过的图像数据31存储在图像存储器151中设置的处理过的图像的存储区域30中。
接下来，将参考图4解释蜂窝式电话1的连续模式图像拾取过程。当CPU 7运行在ROM 13中存储的连续模式图像拾取过程程序时，执行连续模式图像拾取过程。
蜂窝式电话1处于来电等待模式中，当检测到照相机键96的操作时，CPU 7将ROM 13中存储的用于图像拾取的程序加载到RAM14，运行该程序，并启动照相机模式(步骤S1)。CPU 7使得图像拾取单元10开始获取图像，并使得主显示屏幕8a显示所获取的图像(以下称为“通过图像(through image)”)(步骤S2)。
为了便于理解，假设用户操作键输入单元9，指示将工作模式转换为连续图像拾取模式，并操作图像拾取键98。然后，CPU 7检测这些键的操作，将工作模式设定为连续图像拾取模式(步骤S3)，并控制图像拾取单元10，使得图像拾取单元10以在设定信息51中设定的预定次数(在本实施例中为九次)连续拍摄相同的对象(步骤S4)。
CPU 7将由图像拾取单元10的连续图像拾取所获取的一系列拾取图像数据21存储在拾取图像存储区域20中。CPU 7创建该系列拾取图像数据21的缩略图81a。CPU 7将所创建的缩略图81a作为按钮布置，形成图5中所示的连续拍摄图像81。CPU 7在主显示屏幕8a上显示所形成的连续拍摄图像81(步骤S5)。
图5示出了当连续拍摄矩形对象，例如白板或者文档时获得的连续拍摄图像81。在图5中，不是从正面拍摄对象的，因此在缩略图81a中的对象81b被扭曲为梯形形状。通常，在连续图像拾取中，在相同的图像拾取位置在大致相同的拍摄角度上连续地多次拍摄相同的对象。因此，在由连续图像拾取所获得的多个拾取图像的缩略图81a中的对象81b的图像变为相互类似的失真图像。
在显示连续拍摄图像81之后，CPU 7参考图3A中所示的设定信息51，确定是否设定了要执行图像校正过程(步骤S6)。
当已经确定没有设定执行图像校正时(步骤S6：否)，CPU 7压缩该系列拾取图像数据21，将拾取图像数据21存储在图像存储器151中(步骤S16)，并结束过程。
当已经确定设定了执行图像校正时(步骤S6：是)，CPU 7对在该系列拾取图像数据21中由用户选择的一张拾取图像数据(参考图像)提取对象的轮廓(步骤S7)。为了确定参考图像，用户操作，例如，光标键来选择任意缩略图(按钮)81a。CPU 7区别与模板匹配的多条直线，所述模板用于区别与对应所选择的缩略图81a的拾取图像数据21相关的直线。CPU 7从所区别的直线中检测连接在一起形成闭合四边形的直线，并提取该闭合四边形的轮廓。可替换的，CPU7可以使用滤出非线性的线的滤波器来区别多条直线，从所区别的直线中检测连接在一起形成闭合四边形的直线，并提取该闭合四边形的轮廓。
当存在多个四边形的闭合轮廓时，CPU 7提取出多个轮廓。CPU7在主显示屏幕8a上连同所选择的拾取图像数据21一起显示所提取的轮廓(轮廓候选)，作为图6中所示的轮廓候选屏幕82(步骤S8)。
在图6中所示的轮廓候选屏幕82中，提取出了两个轮廓候选：用实线表示的轮廓候选82a和用虚线表示的轮廓候选82b。CPU 7检测对与轮廓候选中的对象相对应的任意一个轮廓候选的选择，所述选择是通过光标键92的光标操作和在选择轮廓候选之后经由设定键91的设定来实现的(步骤S9)。
将所选择的轮廓(轮廓候选)作为图像校正的参考(以下称为校正参考)，CPU 7计算用于通过坐标变换将校正参考轮廓校正为大致矩形的校正数据41(步骤S10)。
为了便于理解，假设基于等式1执行图像校正。在等式1中，假设在原始图像(拾取图像)中的每个像素的坐标为P(x，y)，并且在图像校正后的处理过的图像中的每个像素的坐标为Q(x，y)。
Q(x，y)＝P(ax+b，cy+d) 等式1
为了使用等式1执行图像校正，必须获取常数a至d。
CPU 7将校正参考轮廓的每个顶点的坐标P’(x，y)和在图像校正之后的大致矩形中的每个顶点的坐标Q’(x，y)带入等式1，获取a至d作为校正数据41。
CPU 7在等式1中设定计算得到的校正数据(a至d)，对拾取图像数据的每个像素执行坐标变换，从而执行对在拾取图像中包含的对象图像的失真进行校正的图像校正过程(步骤S11)。
注意，可以通过在未审查日本专利申请KOKAI公开No.2005-115711中公开的射影变换来执行该坐标变换。该公开的内容将结合在本申请中。在该情况中，基于一个拾取图像来获得校正数据(转换参数)41，并且将校正数据41应用到所有图像，从而执行坐标变换。
CPU 7显示预览图像83，如图7所示，预览图像83在主显示屏幕8a上显示图像校正过程之后的处理过的图像83a作为预览图像(步骤S12)。
用户检查校正后的图像，如果被校正图像良好则按下OK键，或者如果该图像不可接受则按下NG(不好)键。
当CPU 7检测到与“NG”相对应的键操作，即菜单键97的操作时(步骤S13：否)，过程返回到步骤S8。执行基于另一被选择轮廓候选的图像校正过程，以及在图像校正过程之后的预览显示。
当检测到与“OK”相对应的键操作时(步骤S13：是)，CPU 7将校正数据41存储在校正数据存储区域40中(步骤S14)。
随后，CPU 7在等式1中设定校正数据41，连续地选择在拾取图像存储区域20中存储的多张剩余的拾取图像数据21，将所选择的拾取图像数据21的每个像素的坐标应用到等式1，执行坐标变换，创建处理过的图像数据31。
CPU 7采用相同的校正数据41来重复相同的图像校正过程，直到完成对在拾取图像存储区域20中所存储的连续的拾取图像数据21的校正过程为止(步骤S15)。
CPU 7对经过图像校正过程的处理过的图像数据31进行压缩，并将被压缩数据存储在处理过的图像的存储器区域30中(步骤S16)，并结束过程。
如上所述，蜂窝式电话1基于以连续图像拾取模式获得的多个拾取图像中的一个拾取图像，计算要在图像校正中使用的校正数据41。蜂窝式电话1使用所计算的校正数据41对连续拾取的拾取图像中的每一个执行图像校正过程。因此，用于对每个图像执行图像校正过程和校正数据的计算的操作变为不必要。这就提高了在图像校正过程中的可操作性并缩短了该过程时间。
[第二实施例]
接下来，将解释本发明的第二实施例。
在第一实施例中，解释了对以连续图像拾取模式拾取的多个图像执行相同的图像校正过程的情况。第二实施例将解释对特定拍摄时期内以大致相同的拍摄角度拾取的一系列图像执行图像校正过程的情况，例如，对于例如用户在会议过程中坐在会议室的相同座位上拍摄白板或者来自投影仪的图像的情况。
由于第二实施例的蜂窝式电话1的结构与图1A、1B和2中所示的结构相同，并且在蜂窝式电话1上的各种数据的存储区域和设定信息与图3A、3B中所示的相同，因此省略了其冗余的解释。
当在特定的图像拾取时期内以大致相同的拍摄角度拍摄白板或者来自投影仪的图像时，用户选择图3A所示的“会议模式”并执行图像拾取。
将参考图8解释根据第二实施例的蜂窝式电话1的会议模式图像拾取过程。当CPU 7运行在ROM 13中存储的会议模式图像拾取过程程序时，执行会议模式图像拾取过程。
蜂窝式电话1处于来电等待模式，当检测到照相机键96的操作时，CPU 7将ROM 13中存储的用于图像拾取的程序装载到RAM 14中，启动照相机模式(步骤S21)。CPU 7使得图像拾取单元10开始获取图像，并在主显示屏幕8a上显示所获取的通过图像(步骤S22)。假设用户执行菜单键97的键操作，并在菜单键97的操作之后执行光标键92和设定键91的键操作，以指示将模式转换到会议模式，并且CPU 7检测这些键操作(步骤S23)。CPU 7然后在图像存储器151中创建组文件夹(group folder)，用于存储通过以会议模式的一系列图像拾取而获得的拾取图像数据21(步骤S24)。
当检测到图像拾取键98的操作时，CPU 7使图像拾取单元10执行图像拾取(步骤S25)。CPU 7压缩通过图像拾取而获得的拾取图像的图像数据，并将被压缩数据存储在步骤S24中创建的组文件夹(拾取图像存储区域20)中(步骤S26)。CPU 7重复步骤S25和S26中的过程，直到检测到结束会议模式的键操作为止，并将通过图像拾取而获得的拾取图像数据21存储在组文件夹中。
当检测到指示结束会议模式的键操作时(步骤S27：是)，CPU 7执行对步骤S24中创建的组文件夹中存储的该系列拾取图像数据21(在本实施例中，为第一拾取图像数据)之一的拾取图像中包含的对象的轮廓进行提取的轮廓提取过程(步骤S28)。当存在多个封闭的四边形轮廓时，提取多个轮廓。在主显示屏幕8a上连同拾取图像一起显示所提取的轮廓(轮廓候选)，如图6所示的轮廓候选显示屏幕82(步骤S29)。
假设用户通过在轮廓候选显示屏幕82中的光标键92的光标操作，选择与对象相对应的任意一个轮廓候选，通过设定键91执行设定操作，并且CPU 7检测这些键操作(步骤S30)。CPU 7将所选择的轮廓候选作为校正参考，并计算用于通过坐标变换将校正参考的轮廓区域校正为大致矩形的校正数据41(步骤S31)。CPU 7使用所计算的校正数据41对拾取图像的每个像素执行坐标变换，从而执行对拾取图像中包含的对象图像的失真进行校正的图像校正过程(步骤S32)。
在执行了对作为校正参考的轮廓候选的图像校正之后，CPU 7在主显示屏幕8a上显示经过图像校正的处理过的图像83a作为预览图像83(见图7)(步骤S33)。当与在图7所示的预览图像83中的“NG”相对应的键被操作时，即当检测到菜单键97的操作时(步骤S34：否)，过程返回步骤S29，并且执行基于另一被选择轮廓候选的图像校正过程和在图像校正过程之后的预览显示。当与预览图像83中的“OK”相对应的键被操作时，即当检测到设定键91的操作时(步骤S34：是)，CPU 7将步骤S30中选择的轮廓候选的轮廓数据(例如四个角的坐标位置信息)和基于该轮廓数据计算的校正数据41暂时存储在RAM 14中的校正数据存储区域40中(步骤S35)。CPU 7使用在步骤S35中存储的校正数据41，对在步骤S24中创建的组文件夹中保存的所有拾取图像数据21执行图像校正过程(步骤S36)。CPU7压缩经过图像校正过程的处理过的图像数据31，并将被压缩的数据存储在图像存储器151中的处理过的图像的存储器区域30中(步骤S37)，并结束过程。
如上所述，蜂窝式电话1基于会议模式的操作过程中拾取的多张拾取图像中的一张拾取图像数据21，计算要在图像校正中使用的校正数据41。蜂窝式电话1使用所计算的校正数据41对在会议模式的操作过程中拾取的所有拾取图像数据21执行图像校正过程。因此，在对通过以大致相同的拍摄角度对相同对象(例如白板或者来自投影仪的图像)进行图像拾取而获得的一系列拾取图像执行图像校正时，对用于对每个图像执行图像校正过程和校正数据41的计算的操作变为不必要。这就提高了当对在会议等等中拾取的图像执行图像校正时的可操作性，并缩短了过程时间。
上述实施例仅仅是实例，本发明并不局限于上述实施例。
例如，将所提取的轮廓候选之一作为校正参考来执行图像校正过程，并将校正结果显示为第一和第二实施例中的预览。然而，可以将所有所提取的轮廓候选作为校正参考来执行图像校正过程，并且可以根据用户的光标操作来逐个地将处理结果显示为预览。
本发明应用到以下情况：对在第一和第二实施例中连续拾取的静态图像执行图像校正过程，但是本发明并不局限于该情况，并且还可以应用到以下情况：对通过拾取运动图像而获得的一系列帧图像执行图像校正过程。
在第二实施例中的会议模式能够不仅能够用于在会议中拾取图像的情况，还可以用于拍摄相同的矩形对象的情况，例如在课堂中拍摄粉笔板的情况。
尽管在本发明的实施例中，将由用户在多个所提取图像中选择的一个图像用作图像校正的参考图像，也可以将预先设定的图像(例如，第一图像)用作参考图像。尽管用户从多个轮廓候选中选择一个轮廓候选，并使用所选择的轮廓候选作为用于图像校正过程的参考图像，也可以选择要作为校正参考的四边形的四个角，并将所选择的四个角连接在一起的轮廓作为用于图像校正过程的参考。
在本发明的实施例中，蜂窝式电话1对以连续图像拾取模式或者以会议模式拾取的多个拾取图像执行图像校正。然而，本发明并不局限于这些情况。例如，可以对以任意拍摄模式、连续地、间断地、或者在预定时期内所拾取的图像执行相同的图像校正过程。本发明并不局限于在图像拾取之后才执行图像校正的实例，可以对预先存储的或者从外部获得的多个图像执行图像校正。此外，可以对由用户选择的多个图像执行图像校正。在该情况下，例如，用户选择多个图像之一，根据所选择的图像获取校正数据，并使用所获取的校正数据对所述多个图像执行相同的图像校正。
另外，在不脱离本发明的精神和范围的情况下，蜂窝式电话1的结构和操作的细节能够以各种不同的形式改变和修改。
已经对将本发明应用到蜂窝式电话的情况作为实例进行了解释，但是本发明还能够应用于，例如，数字相机(照相机、摄像机)、具有图像拾取功能的PDA(个人数字助理)，或者具有图像拾取功能的计算机。
在不脱离本发明的精神和范围的情况下，能够得到各种实施例和对其的修改。上述实施例是为了描述本发明，并不是为了限制本发明的范围。本发明的范围是由附带的权利要求而不是实施例示出的。在本发明的权利要求的等同的含义中和在权利要求中的各种修改都认为是在本发明的范围之内。
Claims (9)
1、一种图像拾取装置(1)，包括：
图像拾取单元(10)，其将包含对象的光学图像转换为电信号以获取拾取图像；
图像存储单元(14，151)，其存储由所述图像拾取单元(10)对相同对象获取的多个拾取图像；
提取单元(7)，其提取在所述图像存储单元(14，151)中存储的所述多个拾取图像中的任意一个中包含的所述对象的轮廓区域；以及
图像校正单元，其将由所述提取单元(7)提取的所述轮廓区域校正为大致矩形，并采用在对所述轮廓区域的校正中得到的校正数据来将在所述图像存储单元(14，151)中存储的相同对象的另一图像校正为具有大致矩形形状。
2、如权利要求1所述的图像拾取装置(1)，其中，
所述图像拾取单元具有连续拍摄所述对象以获取多个图像的部件，并且所述多个拾取图像是通过所述图像拾取单元连续地对相同对象拍摄而获取的所述多个图像。
3、如权利要求1所述的图像拾取装置(1)，其中，
所述多个拾取图像是在指定的图像拾取周期内由所述图像拾取单元以大致相同的拍摄角度对相同的对象进行多次拍摄而获取的一系列图像，并存储在所述图像存储单元中的特定图像存储区域中。
4、如权利要求1所述的图像拾取装置(1)，还包括
显示单元(8)，其显示由所述图像拾取单元获取的所述多个拾取图像，和由所述图像校正单元校正的图像。
5、如权利要求1所述的图像拾取装置(1)，其中，
所述提取单元从所述拾取图像之一中识别与模板相匹配的多条直线，在所识别的直线中检测连接在一起形成四边形的直线，并提取由所检测的直线形成的所述四边形作为所述对象的轮廓。
6、如权利要求1所述的图像拾取装置，其中，
所述提取单元从所述拾取图像之一中过滤出不是直线的线以识别多条直线，在所识别的直线中检测连接在一起形成四边形的那些直线，并提取由所检测的直线形成的所述四边形作为所述对象的轮廓。
7、如权利要求1所述的图像拾取装置，其中，
所述图像校正单元对所述轮廓区域执行线性变换，以将所述轮廓区域校正为大致矩形，并采用在对所述轮廓区域的校正中得到的校正数据来将在所述图像存储单元(14，151)中存储的相同对象的另一图像校正为具有大致矩形形状。
8、如权利要求1所述的图像拾取装置，其中，
所述图像校正单元对所述轮廓区域执行射影变换，以将所述轮廓区域校正为大致矩形，并采用在对所述轮廓区域的校正中得到的校正数据来将在所述图像存储单元(14，151)中存储的相同对象的另一图像校正为具有大致矩形形状。
9、一种拾取图像处理方法，包括：
图像拾取步骤，将包含对象的光学图像转换为电信号以获取拾取图像；
图像存储步骤，将所述图像拾取步骤中对相同对象获取的多个拾取图像存储在记录装置中；
提取步骤，提取在所述图像存储步骤中存储的所述多个拾取图像中的任意一个拾取图像中包含的所述对象的轮廓区域；以及
图像校正步骤，将在所述提取步骤中提取的轮廓区域校正为大致矩形，并采用在对所述轮廓区域的校正中得到的校正数据来将在所述图像存储步骤中存储的相同对象的另一图像校正为具有大致矩形形状。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005356394A JP4344888B2 (ja) | 2005-12-09 | 2005-12-09 | 撮像装置、撮像画像処理方法及びプログラム |
| JP356394/2005 | 2005-12-09 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1984250A true CN1984250A (zh) | 2007-06-20 |
| CN100428779C CN100428779C (zh) | 2008-10-22 |
Family
ID=38138870
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB200610164098XA Expired - Fee Related CN100428779C (zh) | 2005-12-09 | 2006-12-07 | 图像拾取装置及拾取图像的处理方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7777785B2 (zh) |
| JP (1) | JP4344888B2 (zh) |
| KR (1) | KR100855829B1 (zh) |
| CN (1) | CN100428779C (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010030287A1 (en) * | 2008-09-15 | 2010-03-18 | Hewlett-Packard Development Company, L .P. | Minimally processing displayed images captured from a burst |
| JP2010282294A (ja) * | 2009-06-02 | 2010-12-16 | Canon Inc | 情報処理装置、情報処理方法及びプログラム |
| JP4856263B2 (ja) * | 2009-08-07 | 2012-01-18 | シャープ株式会社 | 撮像画像処理システム、画像出力方法、プログラムおよび記録媒体 |
| US8345106B2 (en) | 2009-09-23 | 2013-01-01 | Microsoft Corporation | Camera-based scanning |
| CN102201053B (zh) * | 2010-12-10 | 2013-07-24 | 上海合合信息科技发展有限公司 | 一种文本图像的切边方法 |
| DE102011010315A1 (de) * | 2011-02-03 | 2012-08-09 | Hönigsberg & Düvel Datentechnik GmbH | Erkennung von Objekten |
| JP5708051B2 (ja) * | 2011-03-07 | 2015-04-30 | 株式会社リコー | 映像処理装置、映像処理システム、テレビ会議システム、遠方監視システム、映像処理方法、及び撮像装置 |
| JP6034486B2 (ja) * | 2013-04-10 | 2016-11-30 | 株式会社東芝 | 電子機器 |
| JP6357297B2 (ja) * | 2013-04-10 | 2018-07-11 | セイコーエプソン株式会社 | 表示制御プログラム、表示制御方法、表示装置および印刷システム |
| US20140347500A1 (en) * | 2013-05-22 | 2014-11-27 | Synchronoss Technologies, Inc. | Apparatus and method of document tagging by pattern matching |
| KR102173109B1 (ko) | 2014-09-05 | 2020-11-02 | 삼성전자주식회사 | 디지털 영상 처리 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 디지털 영상 처리 장치 |
| JP6676299B2 (ja) * | 2015-07-21 | 2020-04-08 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム |
| JP6412474B2 (ja) * | 2015-09-03 | 2018-10-24 | 株式会社 日立産業制御ソリューションズ | クラック幅計測システム |
| CN109690568A (zh) | 2016-09-12 | 2019-04-26 | 华为技术有限公司 | 一种处理方法及移动设备 |
| KR102607789B1 (ko) * | 2018-12-17 | 2023-11-30 | 삼성전자주식회사 | 이미지 처리 방법 및 그 전자 장치 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7409111B2 (en) * | 1997-10-21 | 2008-08-05 | Canon Kabushiki Kaisha | Image synthesizing system for automatically retrieving and synthesizing images to be synthesized |
| CN1290312C (zh) | 1998-06-23 | 2006-12-13 | 夏普公司 | 除去读取双面或重叠原稿产生的透印的图像处理装置及其方法 |
| JP3395832B2 (ja) * | 1998-08-28 | 2003-04-14 | ソニー株式会社 | 画像表示補正システム、画像表示補正装置および方法並びに画像表示装置および方法 |
| US6538691B1 (en) | 1999-01-21 | 2003-03-25 | Intel Corporation | Software correction of image distortion in digital cameras |
| KR100303181B1 (ko) * | 1999-03-18 | 2001-09-26 | 명영철,최범영 | 다수의 촬상소자를 이용한 고해상도 촬영장치의 보정방법 |
| US7313289B2 (en) * | 2000-08-30 | 2007-12-25 | Ricoh Company, Ltd. | Image processing method and apparatus and computer-readable storage medium using improved distortion correction |
| US6963365B2 (en) | 2001-02-28 | 2005-11-08 | Hewlett-Packard Development Company, L.P. | System and method for removal of digital image vertical distortion |
| JP2003283964A (ja) | 2002-03-26 | 2003-10-03 | Olympus Optical Co Ltd | 映像表示装置 |
| US7684096B2 (en) * | 2003-04-01 | 2010-03-23 | Avid Technology, Inc. | Automatic color correction for sequences of images |
| JP4020043B2 (ja) * | 2003-08-25 | 2007-12-12 | カシオ計算機株式会社 | 投影装置、投影方法及びプログラム |
| JP4363151B2 (ja) | 2003-10-14 | 2009-11-11 | カシオ計算機株式会社 | 撮影装置、その画像処理方法及びプログラム |
| JP3743828B2 (ja) * | 2003-10-14 | 2006-02-08 | カシオ計算機株式会社 | 電子カメラ |
| JP2005122323A (ja) | 2003-10-14 | 2005-05-12 | Casio Comput Co Ltd | 撮影装置、画像処理装置、撮影装置の画像処理方法及びプログラム |
| JP4635545B2 (ja) | 2003-10-14 | 2011-02-23 | カシオ計算機株式会社 | カメラ装置、画像記録方法、プログラム及び書画カメラ |
| KR100569194B1 (ko) | 2003-12-19 | 2006-04-10 | 한국전자통신연구원 | 카메라 문서영상의 기하학적 왜곡 보정방법 |
| US7551205B2 (en) * | 2004-03-22 | 2009-06-23 | Fujifilm Corporation | Image processing method, image processing system, image processing apparatus and image processing program |
| JP4006601B2 (ja) * | 2004-03-29 | 2007-11-14 | セイコーエプソン株式会社 | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 |
| JP4182937B2 (ja) * | 2004-09-28 | 2008-11-19 | カシオ計算機株式会社 | 撮影装置、撮影装置の画像処理方法及びプログラム |
| EP1768387B1 (en) * | 2005-09-22 | 2014-11-05 | Samsung Electronics Co., Ltd. | Image capturing apparatus with image compensation and method therefor |
-
2005
- 2005-12-09 JP JP2005356394A patent/JP4344888B2/ja not_active Expired - Fee Related
-
2006
- 2006-12-06 US US11/635,149 patent/US7777785B2/en not_active Expired - Fee Related
- 2006-12-07 KR KR1020060123631A patent/KR100855829B1/ko not_active IP Right Cessation
- 2006-12-07 CN CNB200610164098XA patent/CN100428779C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP4344888B2 (ja) | 2009-10-14 |
| US20070132862A1 (en) | 2007-06-14 |
| JP2007166009A (ja) | 2007-06-28 |
| KR100855829B1 (ko) | 2008-09-01 |
| CN100428779C (zh) | 2008-10-22 |
| US7777785B2 (en) | 2010-08-17 |
| KR20070061404A (ko) | 2007-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100428779C (zh) | 图像拾取装置及拾取图像的处理方法 | |
| US8872843B2 (en) | Method for editing images in a mobile terminal | |
| US8050710B2 (en) | Image transmission apparatus, image transmission method and image transmission program product | |
| US20060152578A1 (en) | Method of displaying video call image | |
| CN1933625B (zh) | 根据移动终端的移动来控制图像的显示的方法 | |
| US20050264650A1 (en) | Apparatus and method for synthesizing captured images in a mobile terminal with a camera | |
| KR100617702B1 (ko) | 이미지 편집이 가능한 휴대용 단말기 및 이를 이용한이미지 편집 방법 | |
| JP4662874B2 (ja) | 画像処理装置、及びプログラム | |
| CN101459770A (zh) | 数字拍摄设备及其控制方法 | |
| EP1800472B1 (en) | Image compositing method and apparatus | |
| US20190279340A1 (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program | |
| US7343050B2 (en) | Image synthesizing apparatus, image synthesizing method and a computer readable recording medium having recorded a program | |
| KR100557154B1 (ko) | 휴대 단말기에서 영상화면의 표시방법 | |
| US20070013784A1 (en) | Method of comparing motion and wireless terminal implementing the same | |
| JP4940695B2 (ja) | テレビ電話装置、テレビ電話つき携帯端末、そのテレビ電話方法およびテレビ電話つき携帯端末の通信方法 | |
| US7746991B2 (en) | Apparatus and method of providing a call service using a prepaid card in a portable terminal | |
| JP2005039777A (ja) | 画像撮影装置及び画像撮影システム | |
| JP2007011738A (ja) | 文字処理装置 | |
| JP2006238116A (ja) | 撮像装置、撮影方法および撮影プログラム | |
| JP2007166397A (ja) | 携帯端末、情報表示方法及びプログラム | |
| KR100539791B1 (ko) | 카메라를 구비한 이동 통신 단말기의 접사 수행 방법 | |
| KR20060011639A (ko) | 휴대용 단말기에서 영상데이터를 표시하는 방법 | |
| JP4436288B2 (ja) | 携帯端末装置 | |
| KR101391785B1 (ko) | 휴대 단말기 및 그의 파노라마 이미지 촬영 모드 수행 방법 | |
| KR20070073241A (ko) | 실시간 화상 보정 기술을 이용한 화상 통화 방법 및 이를구현하는 이동통신 단말기 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| ASS | Succession or assignment of patent right |
Owner name: NEC CASIO MOBILE COMMUNICATIONS CO., LTD. Free format text: FORMER OWNER: CASIO HITACHI MOBILE CO., LTD. Effective date: 20100813 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: TOKYO, JAPAN TO: KANAGAWA, JAPAN |
|
| TR01 | Transfer of patent right |
Effective date of registration: 20100813 Address after: Kanagawa, Japan Patentee after: NEC CASIO Mobile Communications, Ltd. Address before: Tokyo, Japan Patentee before: Casio Hitachi Mobile Co., Ltd. |
|
| ASS | Succession or assignment of patent right |
Owner name: NEC CORP. Free format text: FORMER OWNER: NEC CASIO MOBILE COMMUNICATIONS, LTD. Effective date: 20130702 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20130702 Address after: Tokyo, Japan Patentee after: NEC Corp. Address before: Kanagawa, Japan Patentee before: NEC CASIO Mobile Communications, Ltd. |
|
| ASS | Succession or assignment of patent right |
Owner name: LENOVO INNOVATION CO., LTD. (HONGKONG) Free format text: FORMER OWNER: NEC CORP. Effective date: 20141201 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; TO: HONG KONG, CHINA |
|
| TR01 | Transfer of patent right |
Effective date of registration: 20141201 Address after: Hongkong, China Patentee after: LENOVO INNOVATIONS Co.,Ltd.(HONG KONG) Address before: Tokyo, Japan Patentee before: NEC Corp. |
|
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20081022 Termination date: 20151207 |
|
| EXPY | Termination of patent right or utility model |