CN1281049C - 生成容易编辑和复原的图像数据的装置和方法 - Google Patents
生成容易编辑和复原的图像数据的装置和方法 Download PDFInfo
- Publication number
- CN1281049C CN1281049C CNB2004100307213A CN200410030721A CN1281049C CN 1281049 C CN1281049 C CN 1281049C CN B2004100307213 A CNB2004100307213 A CN B2004100307213A CN 200410030721 A CN200410030721 A CN 200410030721A CN 1281049 C CN1281049 C CN 1281049C
- Authority
- CN
- China
- Prior art keywords
- mentioned
- image
- view data
- image data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000004075 alteration Effects 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims description 67
- 239000000203 mixture Substances 0.000 claims description 52
- 230000003287 optical effect Effects 0.000 claims description 37
- 238000003754 machining Methods 0.000 claims description 12
- 238000003672 processing method Methods 0.000 claims description 5
- 230000001502 supplementing effect Effects 0.000 claims 2
- 238000012937 correction Methods 0.000 abstract description 12
- 230000009466 transformation Effects 0.000 abstract 2
- 230000014509 gene expression Effects 0.000 description 17
- 230000010365 information processing Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004513 sizing Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000001915 proofreading effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 240000005373 Panax quinquefolius Species 0.000 description 2
- 240000000136 Scabiosa atropurpurea Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 240000001973 Ficus microcarpa Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010977 unit operation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明提供一种图像处理装置、方法、程序以及存储介质，能够从加工后的图像判断出对图像施加了怎样的加工，另外生成能够容易地进行图像的歪曲象差校正或图像变形等操作的图像数据。上述图像处理装置的构成为，根据光学系统的信息或者装置的倾斜度信息等除了生成亮度、颜色这样的基本图像成分之外，还生成由格子状的2值图像组成的网格图像(网格成分)，将其组合后形成图像数据。同时显示摄影图像和网格图像，使得容易进行图像的变形和校正。
Description
技术领域
本发明涉及生成能够容易地进行编辑和复原的图像数据的技术。
背景技术
当前，作为能够拍摄图像并记录再现的装置，有数码照相机和数码摄像机。将这些装置所拍摄的图像数据取入到个人计算机(PC)中，一般在PC上进行编辑·加工之类的所谓修正(retouch)处理。
作为修正处理的例子，有例如改变图像的大小、颜色、亮度、形状等处理或者把图像投影到三维平面的处理等。另外，校正用数码照相机等摄像装置拍摄的图像中产生的镜头畸变等也作为修正处理的一种来进行。
这些修正处理，一般的是在PC上用图像编辑软件进行的。图13A-图13B表示了用图像编辑软件改变图像形状的例子。图13A是在纵方向上缩小了原来的图像的例子，图13B是使原来的图像部分地畸变的例子。
可是，对图像进行大小变更或特殊效果等编辑·加工时，在利用图像编辑软件的编辑过程中编辑履历被保存而得以留下来，但是结束编辑后不能从保存的图像数据知道编辑履历。因此，要想从保存之后的图像数据了解过去施行的编辑内容的时候，只能从再现图像自身推测。
因此，要想正确了解过去对图像施加了怎样的变形、什么程度地施加等是不可能的，复原原来的图像的状态是很困难的。
一方面，通过光学系统拍摄的图像，因为在镜头设计上不能完全消除的镜头畸变的影响，产生了图14A所示的被称为桶形或图14B所示的被称为枕形的畸变。大家都知道特别是使用广角镜头的时候畸变更为明显。日本特开2000-125175号公报中公开了如下方法：作为进行这样的图像歪曲校正的方法，根据拍摄图像的摄像装置的特性计算出歪曲校正的参数，将该参数附加到图像数据上，校正时利用校正参数进行大致的自动校正，然后一边察看图像一边手动进行微调整。该微调整方法，是如图15所示，一边参考图像中的电杆等原来的直线部分，一边消除视觉上的畸变来校正图像。可是，用校正工具边察看图像边手动校正时，存在当图像中不包含图15所示的例子那样的直线性被拍摄体时，调节变得非常困难这一问题。
发明内容
本发明目的在于解决如上面所述的几个问题点。作为用于达到该目的的单元，本发明的图像处理装置，包括：摄像单元，获取图像并生成图像数据；网格图像生成单元，生成网格图像数据；编码单元，将上述网格图像数据作为上述图像数据的成分追加到上述图像数据，并对追加了上述网格图像数据的上述图像数据进行编码；以及输出单元，将由上述编码单元编码后的编码图像数据输出到记录单元或外部装置。
另外，本发明的图像处理方法，包括：输入步骤，输入图像数据；生成步骤，生成网格图像数据；追加步骤，将上述网格图像数据作为上述图像数据的成分追加到上述图像数据；编码步骤，对追加了上述网格图像数据的上述图像数据进行编码；以及输出步骤，输出在上述编码步骤中编码后的编码图像数据。
附图说明
图1是本发明的第1实施方式中说明的图像数据的概念图。
图2是将基本图像和网格图像进行变形的例子。
图3是本发明的第2实施方式中的图像处理装置的结构。
图4A、4B是用于说明歪曲象差率的曲线。
图5A、5B、5C是利用歪曲象差表示畸变了的基本图像和网格图像的图。
图6是用于校正歪曲象差的校正工具的例子。
图7是图像处理装置的概念图。
图8是合成了基本图像和网格图像的显示例子。
图9A、9B、9C是以分别不同的变焦倍率拍摄的图像，9C是连接2个图像的例子。
图10是本发明的第4实施方式中的图像处理装置的结构。
图11A、11C是在水平位置拍摄被拍摄体的时候的概念图和其显示例子，图11B、11D是在相对于水平倾斜的位置拍摄被拍摄体时候的概念图和其显示例子。
图12A、12B是校正倾斜拍摄的图像时的说明图。
图13A、13B是用现有的图像编辑软件变形图像的例子。
图14A、14B是用于说明图像的畸变的图。
图15是用现有的图像编辑软件进行的校正例子。
图16是本发明的第1实施方式中的图像处理装置的结构。
具体实施方式
以下，参照实施例的附图详细说明本发明的具体实施方式。另外，应注意到除非有特定声明，这些实施方式中提出的对部件的相关安排、数字表达式和数值不限制本发明的范围。
<第1实施方式>
图像数据一般的由(R、G、B)或者(Y、Cr、Cb)3个基本成分构成，也有附加追加成分的时候，例如，众所周知的表示图像的透过率的成分。在本发明的第1实施方式中，关于作为该追加的成分，追加由格子状的图像构成的成分(以后，称为网格成分)的技术进行说明。
图1是说明图像数据中包含的成分的图。在图1中，1001表示用数码摄像机或者数码照相机等拍摄的图像或者利用绘图工具等描绘的数字图像(计算机图形)。另外1002、1003、1004、1005表示构成图像1001的成分。1002表示亮度成分(Y)、1003表示红色差成分(Cr)、1004表示蓝色差成分(Cb)、1005表示网格成分。网格成分1005表现为2值图像数据。网格图像，因为是单纯的2值图像所以信息量比较少，通过用适当的编码单元可以抑制图像全体数据量的增加。
接着，用图2说明将网格图像作为追加成分而组合的图像如何被利用。在图2中，2001、2004、2007是表示只显示图像的基本成分(YCrCb)的图像，2003、2005、2008是表示只显示网格成分的图像，2003、2006、2009是表示同时显示基本成分(YCrCb)和网格成分的图像。
如图2所示，图像数据在通常的图像显示时候可以像2001、2004、2007那样，显示只由基本成分构成的图像，如2002、2005、2008那样显示只有网格成分，或者如2003、2006、2009那样同时显示基本成分和网格成分都是可能的。该网格成分通过存储基于图像变形或者加工处理的变形信息，以后能够知道图像的变形状态。
接着，关于处理这样的图像数据的图像装置100进行说明。图16是图像处理装置100的结构例子。这里，图像装置100可以是数码照相机、也可以是数码摄像机或录音机。
在图16中，101是光学系统，102是图像的摄像单元，103是拍摄的图像的信号处理单元，104是以MPEG、JPEG或JPEG2000等压缩方式压缩编码输入图像的编码器，105是压缩编码了的图像数据的外部输出单元，106是含有蓄积压缩编码了的图像数据的记录介质的记录/再现单元，107是编辑·加工输入的图像数据的图像加工单元，108是根据在图像加工单元107中加工过的处理信息生成·加工网格成分的网格图像生成单元，109是把压缩编码了的图像数据进行译码的解码器，110是控制各单元操作的控制单元，111是用于输入使用者命令的指令输入单元，112是可以显示复原了的图像和网格图像的显示单元。
接着，关于图像处理装置100的操作进行说明。使光学系统101动作，将在摄像单元102中拍摄的图像信号在图像处理单元103中数字化后，进行预定的图像处理。通常的输出或者记录操作时，将在图像处理单元103中处理过的图像数据(基本成分(YCrCb))原封不动地在编码器104中压缩编码，从输出单元105输出到外部，或者在记录/再现单元106中记录。此时，也可在网格图像生成单元108中生成的简单的网格成分(如图1的1005，没有变形的格子状的图)进行组合，并在编码器104中压缩编码。
加工图像并进行输出或记录操作时，在按照来自指令输入单元111的用户命令发出控制指令的控制单元110的控制下，在图像加工单元107中对图像处理单元103中处理的原图像进行变形等的加工处理。然后，在网格图像生成单元108中生成简单的网格成分(图1的1005)，并且按照在图像加工单元107中加工了的处理内容，变形上述简单的网格成分。接着，在编码器104中压缩编码在图像加工单元107中变形了的图像数据和在网格图像生成单元108中生成的变形后的网格成分，由输出单元105输出到外部，或者在记录/再现单元106中进行记录。
另外，再现操作时候，在解码器109中解码由记录/再现单元106再现的压缩编码数据，对构成图像数据的基本成分(YCrCb)和网格成分进行译码。被译码了的再现图像和网格图像，如图2所示能够以只是再现图像、再现图像和网格图像、或者只是网格图像的任一形式在显示单元112中显示。
此外，在加工再现图像并且输出或再记录操作时候，在按照来自指令输入单元111的用户命令发出控制指令的控制单元110的控制下，在图像加工单元107中，对在解码器109中被译码的基本成分(YCrCb)和网格成分进行变形等的加工处理。这样变形再现图像的时候，按照在图像加工单元107中加工的处理内容，变形再现的网格成分的形状。
以图2为例说明上述的操作，2004、2007的各图像是由数码相机100分别变形原图像2001而生成的图像。具体的，图像2004是改变了原图像2001的高度，另外图像2007是对原图像2001施加了扭曲变形。
用数码相机100进行图2那样的变形处理时，将原图像2001如图像2004那样变形时，和原图像2001一起，将对应原图像2001的网格成分2002如2005那样变形。并且，将变形后的图像数据(包含网格成分)另外保存或者覆盖保存。同样的，在将原图像2001如图像2007那样变形时，和原图像2001一起，将对应原图像2001的网格成分2002如2008那样变形。并且，将变形后的图像数据(包含网格成分)另外保存或者覆盖保存。
以上是第1实施方式的说明。在上述说明中，使用了作为基本成分的Y、Cr、Cb3个成分，不过也可以使用作为基本成分以外的成分。另外，作为基本成分也可以是只用亮度成分、或者只用颜色成分的方法。
这样，通过参照显示变形了的图像的网格成分，可以容易判断对图像施加了什么样的变形。另外，例如在想将图像2007复原回图像2001那样的变形前的状态时，在上述的数码相机100中，通过对网格图像2008施加逆方向的扭曲处理以使之返回原来的网格图像2002(这时是简单的格子状)，可以变形回原图像，视觉上也可以容易地微调整。
根据这样的本实施方式，通过加上作为图像的一个成分的网格图像，对应基本成分的图像的变形，网格图像也变形，所以易于把握变形的状态，可以容易地复原回变形前的图像。也就是说，能够从加工后的图像判断对图像施加了怎样的加工，另外能够容易地进行图像的歪曲象差校正和图像的复原等工作。
<第2实施方式>
图3是表示本发明的第2实施方式中的图像处理装置3000的结构的框图。这里，图像处理装置3000适用例是数码照相机、或者是数码摄像机或录音机。
在图3中3001是入射来自被拍摄体的光束的光学系统，3002是具有CCD或CMOS等摄像元件的摄像单元，3003是处理从摄像单元3002得到的图像信号的图像信号处理单元，3004是压缩编码图像信号的编码器，3005是将压缩编码数据输出外部的输出单元，3006是控制变焦倍率或聚焦调整等光学系统的光学控制单元，3007是从光学控制单元发出的控制信号取得变焦或者聚焦的状态一类的光学系统信息的光学信息处理单元，3008是以光学系统的信息为基础取得图像的畸变信息的畸变信息处理单元，3009是根据得到的图像的畸变信息生成畸变的网格图像的网格图像生成单元，3010是被压缩编码了的图像数据的记录单元。
接着，关于图像处理装置3000的操作进行说明。在光学系统3001中，来自被拍摄体的光束被入射到摄像单元3002中，摄像信号从摄像单元3002输出。该摄像信号被输入到图像信号处理单元3003，形成经过数字化、色分离·γ校正等各信号处理之后的被拍摄体的图像数据。
另外，光学系统3001的变焦或聚焦操作由光学控制单元3006发出的控制信号控制。光学控制单元3006发出的控制信号，也被输入到光学信息处理单元3007中，在光学信息处理单元3007从控制信号取得变焦或聚焦等状态作为光学系统的信息，输出到畸变信息处理单元3008。在畸变信息处理单元3008中，以表示输入的变焦或聚焦状态的光学系统的信息为依据，进行检测摄像中的图像数据产生的歪曲象差并生成歪曲象差信息的处理。
在这里，考虑适合图4A、4B的曲线所示那样的变焦状态的一般的歪曲象差产生的情况。图4A、4B的曲线是表示距图像中心的距离和歪曲象差率的曲线。歪曲象差率，在没有畸变理想情况得到的被拍摄体像的高度为L，畸变的状态的被拍摄体的高度为L′的时候，定义为(L-L′)/L。图4A表示镜头在广角侧时候畸变的情况，距离图像中心越远的像素负方向上的歪曲象差(桶形)就变得越大。另外，图4B表示镜头在远望侧时畸变的情况，距离图像中心越远的像素正方向上的歪曲象差(枕形)就变得越大。
在畸变信息处理单元3008中，为了计算适应镜头等状态的歪曲象差，考虑了各种各样的办法。例如，把变焦或聚焦状态参数代入基于现存的算法的计算式可以求出歪曲象差。另外，事先准备表示变焦或聚焦状态的参数和畸变比例的关系的表，用这种表可以求出歪曲象差。即，只要从变焦或聚焦的状态得到歪曲象差的信息无论什么方法都是可以的。此外，在畸变信息处理单元3008中生成的畸变相差信息被输出到网格图像生成单元3009。
网格图像生成单元3009，生成具有对应歪曲象差信息的畸变的网格图像。例如，拍摄的图像，根据歪曲象差信息被判断为桶形畸变的情况，就作为追加成分(网格成分)生成图5A那样的桶形畸变的网格图像。这种情况，生成基于图4B的曲线那样的歪曲象差信息的网格图像。这样生成的网格图像，和通过光学系统3001输入的被拍摄体图像一样具有图5B所示那样的畸变。
在网格图像生成单元3009中生成的网格图像，被输入到编码器3004。在编码器3004中，将网格图像作为第4种成分和被拍摄体图像的基本成分(YCrCb)一起压缩编码。
根据以上的结构，可以将对应图像的歪曲象差的网格图像作为一种成分组合到图像中。另外，成为这样一种结构，即，被压缩编码了的图像数据，能够从输出单元3005输出到外部装置或网络上，或在记录单元3010中能够记录再现。
另外，通过译码被压缩编码了的图像数据，如果复原图像和网格图像，就能够同时显示图5C所示的图像的基本成分和网格图像的网格成分。这样，容易把握图像的畸变等的变形状态。
接着，利用上述的网格图像，叙述关于校正镜头的畸变的方法。在上述的结构中，和基本成分一起作为网格成分生成考虑了畸变的网格图像。因此，再现时等复原之后，通过用图像校正工具等使网格图像的各网格成为直线状那样地进行变形，从而得到没有畸变的被拍摄体的图像。
图6是表示可在PC等上操作的、校正工具的例子的图。图6所示的图像校正工具和图15所示的一样，一边察看图像一边手动调节畸变。可是，和以往例子的图15的图像校正工具相比较，用校正工具读入成为校正对象的图像数据的时候，对一体化且被编码了的图像数据和网格图像进行译码，同时显示基本成分和网格成分，这一点是不同的。
由于同时显示基本成分和网格成分，即使拍摄的被拍摄体不含有直线状的物体，只要将各网格为目标，把网格的纵向或横向线调节成为直线，正确的歪曲象差校正就成为可能。
另外，作为图像处理装置3000的一种形式，也可以这样构成，即，摄影时生成适应变焦或聚焦的畸变的网格图像，将它和摄像图像合成，在图像处理装置3000具有的没有图示的液晶监视器或电子取景器(finder)等中显示，摄影时候摄影者能够确认畸变。
用图7说明这种构成。图7是图像处理装置3000的一个形式中的摄像装置7000的概念图。
在图7中，7000是摄像装置主体，7001表示设置在摄像装置的背面等的液晶监视器。液晶监视器7001中同时显示摄像过程中的被拍摄体的图像和具有对应这些被拍摄体的图像的畸变的网格图像。也就是同时显示摄像图像的基本成分和对应摄影图像的网格成分的例子。根据这种结构，摄影者从液晶监视器等显示的网格图像把握摄像过程中的图像的畸变状态，可事先考虑畸变而进行摄影。
另外，在图7显示在液晶监视器7001中合成了摄影图像和网格图像的图像，也可以通过模式切换等只显示网格图像。
以上是第2实施方式的说明。根据这样的本实施方式，可在摄影时或再现时用网格图像对根据镜头等状态生成的图像的歪曲象差容易地进行校正。
<第3实施方式>
接着，作为本发明的第3实施方式，说明与变焦的比例联动来改变网格大小的结构。第3实施方式的结构，和第2实施方式一样，用图3的图像处理装置3000和该适用例子的图7的摄像装置7000进行说明。
在图3中，从光学控制单元3006发出的变焦控制信号通过光学信息处理单元3007取得，经由畸变信息处理单元3008，输入到网格图像生成单元3009中。在网格图像生成单元3009中，能够生成与变焦控制信号的内容(即变焦倍率)联动了的网格大小的网格图像。这样生成的网格图像可成为图8显示的那样。
图8是在图7的摄像装置7000的液晶监视器701中显示与变焦倍率联动而生成的网格图像。在图8中，图像801表示在广角侧拍摄的图像，图像803表示在望远侧拍摄的图像。图像802是以图像801、803中间的变焦倍率拍摄的图像。
如这些显示例所示，随着摄影视场角是广角(变焦倍率在低状态)时网格的大小变小(细密)，变焦向望远侧移动(变焦倍率变为高状态)，网格的大小变大(稀疏)。
这样，通过与变焦联动地改变网格的大小，如果知道作为基准的网格大小，就容易知道在摄影时从液晶监视器等显示的网格知道是以怎样程度的变焦倍率进行摄影的。另外，能够容易通过参照网格参数从摄影后的图像数据判断出该图像是以什么变焦拍摄的。
另外，将与这样的变焦倍率联动了的网格图像和满足在第2实施方式中说明的变焦或聚焦的摄影图像畸变的网格图像组合生成并显示当然是可能的。
进一步作为本实施方式的一部分，关于合成变焦倍率不同的2个摄影图像，生成全景图像的结构进行说明。
图9A、9B是将网格图像合成于从不同场所以各自不同的变焦倍率拍摄的图像并将其显示的例子。合成这些图像制作一张全景图像时，当前是扩大·缩小并合成单个图像以使拍摄的被拍摄体的大小相同。例如，如果用图9说明，因为以前没有网格图像，所以以2个图像的线条宽度变为一样这一目标来进行调解扩大·缩小的倍率并将其连接等操作。对于现有的技术，在连接的2张图像中共同的被拍摄体少的情况下操作就变得困难。
一方面，在本实施方式中，因为能够生成与变焦倍率联动了的网格图像，所以应用这个，能够通过扩大·缩小单个图像，可容易地将拍摄的2张图像的网格的大小调节成为相同。
图9C，是根据本实施方式的结构，为了图9B和图9A变为相同比率，以网格大小为目标缩小图9B，并和图9A连接的例子。和仅参照图像的被拍摄体匹配大小的情况相比，即使不存在与合成的图像之间共同的被拍摄体，通过匹配网格的大小调节在视觉上也变得易于分辨。
以上是第3实施方式的说明。根据这样的本实施方式，通过生成显示与摄像装置的变焦倍率联动了的网格图像，变焦倍率的识别和视场角的确认变得容易了。
另外，在合成全景合成这样的多个图像的时候，即使是以不同的变焦倍率拍摄的图像，如果用本实施方式的结构，图像大小的匹配就变得容易了。
<第4实施方式>
图10是表示第4实施方式中的数码相机10000的结构的框图。这里，数码相机10000是数字照相机或者数字摄像机或者录音机适用的例子。
在本发明的第4实施方式中，说明和数码相机10000的倾斜度联动而使网格图像旋转的结构。
在图10中，10001是入射来自被拍摄体的光束的光学系统，10002是具有CCD或CMOS等摄像元件的摄像单元，10003是处理从摄像单元10002得到的图像信号的图像信号处理单元，1004是压缩编码图像信号的编码器，10005是将压缩编码数据向外部输出的输出单元，10006是控制变焦倍率或聚焦调整等光学系统的光学控制单元，10007是从光学控制单元发出的控制信号取得变焦或聚焦的状态一类光学系统的信息的光学信息处理单元，10008是压缩编码了的图像数据的记录单元，10009是生成网格图像的网格图像生成单元，10010是检测数码相机10000的倾斜度的倾斜度传感器。
接着，关于图10所示的数码相机10000的操作进行说明。在光学系统10001中，来自被拍摄体的光束入射到摄像单元10002后，摄像信号就从摄像单元10002输出。该摄像信号，被输入到图像信号处理单元10003，施加数字化、色分离、γ校正等各信号处理，形成被拍摄体的图像数据。
另外，光学系统10001的变焦或聚焦操作由光学控制单元10006发出的控制信号控制。光学控制单元10006发出的控制信号被输入到光学信息处理单元10007，在光学信息处理单元10007中，从控制信号取得变焦或聚焦等的状态作为光学系统的信息，输出到网格图像生成单元10009。
另一方面，倾斜度传感器10010，检测数码相机10000的倾斜度，将倾斜度信息输出给网格图像生成单元10009。此外，作为倾斜度传感器10010的结构，用陀螺传感器，不过只要能检测倾斜度无论什么装置、方法都可以。
网格图像生成单元10009，生成对应输入的光学系统的信息和倾斜度信息的网格图像。在网格图像生成单元10009中生成的网格图像被输入到编码器10004。在编码器10004中，将网格图像作为第4种成分和被拍摄体图像的基本成分(YCrCb)一起压缩编码。
另外，压缩编码了的图像数据，能够从输出单元10005输出到外部装置或因特网上，或者在记录单元10008中记录或再现。另外，如果通过译码压缩编码了的图像数据，把图像和网格图像进行复原的话，如图11所示，可同时显示图像的基本参数和网格图像的网格参数。据此，把握图像的倾斜状况变得容易了。
这里，用图11说明按照倾斜度传感器10010的倾斜度信息的、网格图像的生成。图11是表示图10的数码相机10000的概念图和在那里被处理过的图像的1个例子的图。
图11A表示使数码相机10000以水平的状态拍摄的情形，图11B表示使数码相机10000以倾斜的状态拍摄的情形。另外，图11C、11D是分别表示同时显示在图11A、11B的状态拍摄的图像和生成的网格图像的显示例。
网格图像生成单元10009，根据倾斜传感器10010的倾斜度信息，生成网格图像以使网格相对于水平面成为水平·垂直。即，数码相机10000如图11A那样在水平状态拍摄的时候，生成图11C那样的摄影图像和网格图像，在数码相机10000如图11B那样以倾斜的状态拍摄的时候，生成图11D那样的摄影图像和网格图像。在图11D中，对于摄影图像成为网格(格子)倾斜的图像。尽管是拍摄后的图像数据，还是能够从该网格线的倾斜度容易地判断出装置是在怎样的倾斜程度下拍摄的图像。
另外，如果是误使装置倾斜拍摄的图像，通过旋转图像使得网格线成为水平或垂直，能够容易地进行图像校正。此外，图12A是旋转图11D以使网格线变为水平垂直的图像，通过以网格图像为目标切除图12A的角度，可以生成如图12B的图像。这样，校正图像倾斜度时候，通过参照网格线可以容易地校正。
另外，和在第2实施方式和第3实施方式中说明了的、生成按照镜头或变焦的歪曲校正、与变焦倍率联动了的网格图像组合后，生成、显示本实施方式中的网格图像当然也是可能的。此时，通过使倾斜度传感器10010的倾斜信息和来自光学信息处理单元10007的光学系统的信息进行复合，生成网格图像。
以上是第4实施方式的说明。根据这样的本实施方式，通过生成、显示按照图像处理装置的倾斜度的网格图像，能够容易地进行摄影图像的倾斜校正等。
<其他实施方式>
作为其他的实施方式，也可以用软件实现上述发明的实施方式的功能。从记录介质直接、或利用有线/无线通信，将软件程序提供给具有可执行该程序的计算机的系统或装置，该系统或装置的计算机通过执行该供给的程序，达到同等的功能的情况也包含在本发明中。
因此，为了用计算机实现本发明的功能处理，供给该计算机并安装的程序代码本身也能实现本发明。即，用于实现本发明的功能处理的计算机程序本身也包含在本发明中。
这时，只要有程序功能，不管程序的形式，无论目标代码、根据翻译代码执行的程序、供给OS的脚本数据等都可以。
另外，作为用于提供程序代码记录介质，有例如软磁盘、硬盘、磁带等磁记录介质，MO、CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-R、DVD-RW等光/光磁存储介质，非易失性半导体存储器等。
作为使用了有线/无线通信的程序供给方法，有在计算机网络服务器上，存储着形成本发明的计算机程序本身，或者含有压缩自动安装功能的文件等，以及得以在客户计算机上形成本发明的计算机程序的数据文件(程序数据文件)，将程序数据文件下载到有连接的客户计算机上。这种情况下，把程序数据文件分割成多个程序段文件，将程序段文件配置在不同的服务器上是可能的。
即，对于多个用户下载用于用计算机实现本发明的功能处理的程序数据文件的服务器装置也包含在本发明。
另外，加密本发明的程序，存储到CD-ROM等存储介质，并分发给用户，经由例如因特网从主页上下载，对于满足预定条件的用户提供解密的密钥信息，通过使用该密钥信息执行加密了的程序，使之安装在计算机上执行也是可能的。
另外，除了由计算机通过执行读出的程序，实现上述的实施方式的功能之外，根据该程序的指令，在计算机上运行的OS等进行实际处理的一部分或全部，通过该处理也可以实现上述的实施方式的功能。
此外，从记录介质读出的程序，被写入到插入到计算机的功能扩展板或和计算机连接的功能扩展单元上所具有的存储器以后，根据该程序的指令，该功能扩展板或功能扩展单元上所具有的CPU等进行实际处理的一部分或者全部，通过该处理也可以实现前面所说的实施方式的功能。
如上所述，通过生成作为图像数据的成分之一的网格图像，具有用户易于认识图像的变形状态，易于进行校正的效果。
Claims (16)
1.一种图像处理装置，包括：
摄像单元，获取图像并生成图像数据；
网格图像生成单元，生成网格图像数据；
编码单元，将上述网格图像数据作为上述图像数据的成分追加到上述图像数据，并对追加了上述网格图像数据的上述图像数据进行编码；以及
输出单元，将由上述编码单元编码后的编码图像数据输出到记录单元或外部装置。
2.如权利要求1所述的图像处理装置，其特征在于，
还包括图像加工单元，加工由上述摄像单元生成的图像数据，
上述网格图像生成单元，根据上述图像加工单元对上述图像数据的加工，生成上述网格图像数据。
3.如权利要求1所述的图像处理装置，其特征在于，
上述网格图像生成单元，根据上述摄像单元生成的上述图像数据的属性信息，生成上述网格图像数据。
4.如权利要求3所述的图像处理装置，其特征在于，
上述网格图像生成单元，根据关于上述摄像单元的光学系统的信息，生成上述网格图像数据。
5.如权利要求4所述的图像处理装置，其特征在于，
上述网格图像生成单元，根据关于上述光学系统的歪曲象差的信息，生成上述网格图像数据。
6.如权利要求4所述的图像处理装置，其特征在于，
上述网格图像生成单元，根据关于利用上述光学系统拍摄时的变焦倍率的信息，生成上述网格图像数据。
7.如权利要求6所述的图像处理装置，其特征在于，
上述网格图像生成单元，在上述图像是由上述光学系统在望远侧获取的图像的情况下，生成网格尺寸大的上述网格图像数据，在上述图像是由上述光学系统在广角侧获取的图像的情况下，生成网格尺寸小的上述网格图像数据。
8.如权利要求4所述的图像处理装置，其特征在于，
还包括检测上述光学系统的倾斜度的传感器，
上述网格图像生成单元，生成按照上述光学系统的倾斜度的上述网格图像数据。
9.如权利要求1所述的图像处理装置，其特征在于，
上述编码单元，以相同的编码方式对上述图像数据和上述网格图像数据进行编码。
10.如权利要求1所述的图像处理装置，其特征在于，
还包括显示单元，选择性地显示仅基于上述网格图像数据的网格图像，或基于上述图像数据与上述网格图像数据的叠合的图像。
11.一种图像处理装置，包括：
再现单元，从记录介质中再现图像数据；
加工单元，加工上述图像数据并输出加工图像数据；
网格图像生成单元，根据上述加工单元对上述图像数据的加工，生成网格图像数据；
编码单元，将上述网格图像数据作为上述加工图像数据的成分追加到由上述加工单元加工后的上述加工图像数据，并对追加了上述网格图像数据的上述加工图像数据进行编码；以及
记录单元，将由上述编码单元编码后的编码图像数据记录在上述记录介质中。
12.如权利要求11所述的图像处理装置，其特征在于，
上述编码单元，以相同的编码方式对上述加工图像数据和上述网格图像数据进行编码。
13.一种图像处理方法，包括：
输入步骤，输入图像数据；
生成步骤，生成网格图像数据；
追加步骤，将上述网格图像数据作为上述图像数据的成分追加到上述图像数据；
编码步骤，对追加了上述网格图像数据的上述图像数据进行编码；以及
输出步骤，输出在上述编码步骤中编码后的编码图像数据。
14.一种图像处理方法，包括：
再现步骤，从记录介质再现图像数据；
加工步骤，加工上述图像数据；
生成步骤，根据在上述加工步骤中对上述图像数据的加工，生成网格图像数据；
追加步骤，将上述网格图像数据作为上述加工图像数据的成分，追加到在上述加工步骤中加工后的加工图像数据；
编码步骤，对追加了上述网格图像数据的上述加工图像数据进行编码；以及
记录步骤，将在上述编码步骤中编码后的图像数据记录到上述记录介质内。
15.一种图像处理方法，包括：
摄像步骤，获取图像并生成图像数据；
生成步骤，生成网格图像数据；
追加步骤，将上述网格图像数据追加到上述图像数据；
编码步骤，对追加了上述网格图像数据的上述图像数据进行编码；以及
记录步骤，记录在上述编码步骤中编码后的编码图像数据，
其中，在上述生成步骤中，根据在上述摄像步骤中获取的上述图像的属性信息，生成上述网格图像数据。
16.一种图像处理方法，包括：
摄像步骤，使用光学系统获取图像并产生图像数据；
生成步骤，生成网格图像数据；
追加步骤，将上述网格图像数据追加到上述图像数据；
编码步骤，对追加了上述网格图像数据的上述图像数据进行编码；以及
记录步骤，记录在上述编码步骤中编码后的编码图像数据，
其中，在上述生成步骤中，根据关于在上述摄像步骤中使用的上述光学系统的信息，生成上述网格图像数据。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP105211/2003 | 2003-04-09 | ||
| JP2003105211A JP4346938B2 (ja) | 2003-04-09 | 2003-04-09 | 画像処理装置、方法、プログラム及び記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1536877A CN1536877A (zh) | 2004-10-13 |
| CN1281049C true CN1281049C (zh) | 2006-10-18 |
Family
ID=33127856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2004100307213A Expired - Fee Related CN1281049C (zh) | 2003-04-09 | 2004-03-31 | 生成容易编辑和复原的图像数据的装置和方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7505633B2 (zh) |
| JP (1) | JP4346938B2 (zh) |
| CN (1) | CN1281049C (zh) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4189661B2 (ja) | 2002-08-14 | 2008-12-03 | セイコーエプソン株式会社 | 記録装置 |
| JP4130641B2 (ja) * | 2004-03-31 | 2008-08-06 | 富士フイルム株式会社 | ディジタル・スチル・カメラおよびその制御方法 |
| US8320708B2 (en) * | 2004-04-02 | 2012-11-27 | K-Nfb Reading Technology, Inc. | Tilt adjustment for optical character recognition in portable reading machine |
| JP4284282B2 (ja) * | 2004-07-21 | 2009-06-24 | 富士フイルム株式会社 | 撮像装置及び固体撮像素子 |
| JP4774816B2 (ja) * | 2005-04-07 | 2011-09-14 | ソニー株式会社 | 画像処理装置，画像処理方法，およびコンピュータプログラム。 |
| US7286127B2 (en) * | 2005-06-22 | 2007-10-23 | Microsoft Corporation | Large mesh deformation using the volumetric graph Laplacian |
| JP4793114B2 (ja) * | 2005-08-10 | 2011-10-12 | セイコーエプソン株式会社 | 画像処理内容決定装置、画像処理内容決定プログラムおよび画像処理内容決定方法 |
| US7792389B2 (en) | 2005-08-10 | 2010-09-07 | Seiko Epson Corporation | Image processing content determining apparatus, computer readable medium storing thereon image processing content determining program and image processing content determining method |
| JP4356689B2 (ja) | 2005-12-08 | 2009-11-04 | ソニー株式会社 | カメラシステム、カメラ制御装置、パノラマ画像作成方法及びコンピュータ・プログラム |
| JP4297111B2 (ja) * | 2005-12-14 | 2009-07-15 | ソニー株式会社 | 撮像装置、画像処理方法及びそのプログラム |
| US20100289922A1 (en) * | 2006-05-29 | 2010-11-18 | Bit-Side Gmbh | Method and system for processing data sets of image sensors, a corresponding computer program, and a corresponding computer-readable storage medium |
| JP4297172B2 (ja) * | 2007-02-27 | 2009-07-15 | コニカミノルタビジネステクノロジーズ株式会社 | 印刷管理装置、印刷システム及び印刷管理方法 |
| US8233045B2 (en) * | 2007-07-16 | 2012-07-31 | Trw Automotive U.S. Llc | Method and apparatus for distortion correction and image enhancing of a vehicle rear viewing system |
| KR101014572B1 (ko) * | 2007-08-27 | 2011-02-16 | 주식회사 코아로직 | 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치 |
| JP4436392B2 (ja) * | 2007-09-07 | 2010-03-24 | 株式会社デンソー | 映像処理装置 |
| JP5337170B2 (ja) * | 2008-02-08 | 2013-11-06 | グーグル インコーポレイテッド | タイミング調節されるシャッターを用いる複数のイメージセンサーを有するパノラマカメラ |
| KR101571332B1 (ko) * | 2008-12-23 | 2015-11-24 | 삼성전자주식회사 | 디지털 촬영장치 및 그 제어방법 |
| JP2010183564A (ja) * | 2009-01-09 | 2010-08-19 | Canon Inc | 画像記録装置及びその制御方法、プログラム |
| JP2012159531A (ja) * | 2011-01-28 | 2012-08-23 | Canon Inc | 画像表示装置及び画像表示方法とそのプログラム |
| JP5950678B2 (ja) * | 2012-04-27 | 2016-07-13 | キヤノン株式会社 | 撮像装置、制御方法、及びプログラム |
| CN102780904A (zh) * | 2012-05-31 | 2012-11-14 | 新奥特（北京）视频技术有限公司 | 一种通过左右眼图像网格化显示来调节3d图像的方法 |
| US10666860B2 (en) * | 2012-09-11 | 2020-05-26 | Ricoh Company, Ltd. | Image processor, image processing method and program, and imaging system |
| JP6857546B2 (ja) * | 2017-05-24 | 2021-04-14 | 古野電気株式会社 | 映像生成装置及び映像生成方法 |
| TWI678107B (zh) * | 2018-05-16 | 2019-11-21 | 香港商京鷹科技股份有限公司 | 影像傳輸方法及其系統與影像傳送端裝置 |
| US11995854B2 (en) * | 2018-12-19 | 2024-05-28 | Nvidia Corporation | Mesh reconstruction using data-driven priors |
| KR20220126107A (ko) * | 2021-03-08 | 2022-09-15 | 삼성전자주식회사 | 화상 회의를 제공하는 전자 장치 및 그 방법 |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5625710A (en) * | 1988-07-20 | 1997-04-29 | Fujitsu Limited | Character recognition apparatus using modification of a characteristic quantity |
| US5224181A (en) | 1990-10-10 | 1993-06-29 | Fuji Xerox Co., Ltd. | Image processor |
| US5754299A (en) * | 1995-01-13 | 1998-05-19 | Nikon Corporation | Inspection apparatus and method for optical system, exposure apparatus provided with the inspection apparatus, and alignment apparatus and optical system thereof applicable to the exposure apparatus |
| JPH08205126A (ja) * | 1995-01-23 | 1996-08-09 | Nikon Corp | 画像伝送装置及び画像伝送システム |
| US5691775A (en) * | 1995-03-30 | 1997-11-25 | Intel Corporation | Reduction of motion estimation artifacts |
| US6020931A (en) * | 1996-04-25 | 2000-02-01 | George S. Sheng | Video composition and position system and media signal communication system |
| US6208765B1 (en) * | 1998-06-19 | 2001-03-27 | Sarnoff Corporation | Method and apparatus for improving image resolution |
| US6674485B2 (en) * | 1998-08-31 | 2004-01-06 | Hitachi Software Engineering Co., Ltd. | Apparatus and method for image compositing |
| JP2000125175A (ja) | 1998-10-16 | 2000-04-28 | Olympus Optical Co Ltd | カメラ、画像処理システム、及び記録媒体 |
| US7019778B1 (en) * | 1999-06-02 | 2006-03-28 | Eastman Kodak Company | Customizing a digital camera |
| US7015954B1 (en) * | 1999-08-09 | 2006-03-21 | Fuji Xerox Co., Ltd. | Automatic video system using multiple cameras |
| US6289455B1 (en) * | 1999-09-02 | 2001-09-11 | Crypotography Research, Inc. | Method and apparatus for preventing piracy of digital content |
| JP3724999B2 (ja) * | 2000-03-08 | 2005-12-07 | パイオニア株式会社 | 光学式情報再生装置 |
| US6711283B1 (en) * | 2000-05-03 | 2004-03-23 | Aperio Technologies, Inc. | Fully automatic rapid microscope slide scanner |
| US6677942B1 (en) * | 2000-08-01 | 2004-01-13 | International Business Machines Corporation | Method and apparatus for acquiring normals maps consistent with low spatial resolution meshes |
| US6816625B2 (en) * | 2000-08-16 | 2004-11-09 | Lewis Jr Clarence A | Distortion free image capture system and method |
| JP3429280B2 (ja) * | 2000-09-05 | 2003-07-22 | 理化学研究所 | 画像のレンズ歪みの補正方法 |
| US7046401B2 (en) * | 2001-06-01 | 2006-05-16 | Hewlett-Packard Development Company, L.P. | Camera-based document scanning system using multiple-pass mosaicking |
| US7154622B2 (en) * | 2001-06-27 | 2006-12-26 | Sharp Laboratories Of America, Inc. | Method of routing and processing document images sent using a digital scanner and transceiver |
| US6850651B2 (en) * | 2001-07-02 | 2005-02-01 | Corel Corporation | Moiré correction in images |
| US7027054B1 (en) * | 2002-08-14 | 2006-04-11 | Avaworks, Incorporated | Do-it-yourself photo realistic talking head creation system and method |
| US6919892B1 (en) * | 2002-08-14 | 2005-07-19 | Avaworks, Incorporated | Photo realistic talking head creation system and method |
-
2003
- 2003-04-09 JP JP2003105211A patent/JP4346938B2/ja not_active Expired - Fee Related
-
2004
- 2004-03-30 US US10/811,939 patent/US7505633B2/en not_active Expired - Fee Related
- 2004-03-31 CN CNB2004100307213A patent/CN1281049C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP4346938B2 (ja) | 2009-10-21 |
| US7505633B2 (en) | 2009-03-17 |
| JP2004310585A (ja) | 2004-11-04 |
| CN1536877A (zh) | 2004-10-13 |
| US20040202381A1 (en) | 2004-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1281049C (zh) | 生成容易编辑和复原的图像数据的装置和方法 | |
| JP4174404B2 (ja) | 撮像装置、画像表示方法、プログラムおよび記憶媒体 | |
| US20120287308A1 (en) | Electronic device | |
| US7433543B2 (en) | Image processing apparatus and method, and image sensing apparatus | |
| JPWO2018021261A1 (ja) | 画像処理装置、再生装置、画像処理方法、および、再生方法 | |
| US20120105577A1 (en) | Panoramic image generation device and panoramic image generation method | |
| US20090058989A1 (en) | Method and apparatus for obtaining improved panoramic images | |
| US20150036020A1 (en) | Method for sharing original photos along with final processed image | |
| JP2015171042A (ja) | 画像処理システム及び画像撮像装置 | |
| CN1860776A (zh) | 用于投影尺寸可调整的图像的照相机、计算机、投影仪和图像处理 | |
| JP6049425B2 (ja) | 撮像装置、画像処理装置、及び制御方法 | |
| JP6351212B2 (ja) | 撮像装置、撮像装置の制御方法及びシステム | |
| CN101076083A (zh) | 照相机、图像输出装置、图像输出方法、图像记录方法 | |
| US20130177287A1 (en) | Reproduction apparatus, image capturing apparatus, and program | |
| WO2007029686A1 (ja) | 立体画像記録再生システム | |
| WO2018021261A1 (ja) | 画像処理装置、再生装置、画像処理方法、および、再生方法 | |
| JP2008005427A (ja) | 撮像装置および撮像方法、並びにプログラム | |
| JP6351213B2 (ja) | 撮像装置、撮像装置の制御方法及びシステム | |
| JP6594485B2 (ja) | 撮像装置、撮像装置の制御方法及びシステム | |
| JP6602425B2 (ja) | 撮像装置、撮像装置の制御方法及びシステム | |
| JP2005229280A (ja) | 画像処理装置および方法並びにプログラム | |
| JP2012151708A (ja) | 撮像装置 | |
| JP5332668B2 (ja) | 撮像装置および被写体検出プログラム | |
| JP7513081B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
| JP2018019122A (ja) | 画像データ処理装置および撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20061018 Termination date: 20170331 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |