CN103049933A - 图像处理装置与其方法 - Google Patents

图像处理装置与其方法 Download PDF

Info

Publication number
CN103049933A
CN103049933A CN2011103143658A CN201110314365A CN103049933A CN 103049933 A CN103049933 A CN 103049933A CN 2011103143658 A CN2011103143658 A CN 2011103143658A CN 201110314365 A CN201110314365 A CN 201110314365A CN 103049933 A CN103049933 A CN 103049933A
Authority
CN
China
Prior art keywords
separately
blocks
control module
image processing
step pitch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011103143658A
Other languages
English (en)
Inventor
林家合
姜建德
刘广智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Novatek Microelectronics Corp
Original Assignee
Novatek Microelectronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Novatek Microelectronics Corp filed Critical Novatek Microelectronics Corp
Priority to CN2011103143658A priority Critical patent/CN103049933A/zh
Priority to US13/537,830 priority patent/US20130093850A1/en
Publication of CN103049933A publication Critical patent/CN103049933A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

图像处理方法，包括：将一二维图像分割成多个区块；针对每一该些区块，得到一各自最佳对比值与一对应聚焦步距；根据每一该些区块的该各自聚焦步距，求得每一该区块中的一各自图像的一各自对象距离；从该些区块的该些对象距离得到一深度图；以及根据该深度图，从该二维图像合成出一三维图像。

Description

图像处理装置与其方法
技术领域
本发明是有关于一种图像处理装置与其方法。
背景技术
3D内容制作方式可以粗分成：动画(CG)产生、实际拍摄以及仿真(2D图像转3D图像)等方式。以2D图像转3D图像的技术困难度高。如果要转换出效果好的3D图像，需要开发更好的技术，以符合未来3D图像的需求。在仿真时，利用算法来从2D图像产生出3D图像的过程中，算法使用一些假设。这些假设比如为，图像的下端较近而图像的上端较远、移动快的物体被视为较近、或同一物体假设位于同样的距离等假设。
电视、电影产业均使用具备3D摄影技术的专业高价摄影器材，以获得较真实的3D图像。
本发明提出一种图像处理装置与方法。
发明内容
本发明提出一种图像处理装置与方法，其利用对焦信息来产生(仿真)3D图像。
根据本发明的一示范性实施例，提出一种图像处理方法，包括：将一二维图像分割成多个区块；针对每一该些区块，得到一各别最佳对比值与一对应聚焦步距；根据每一该些区块的该各别聚焦步距，求得每一该区块中的一各别图像的一各别对象距离；从该些区块的该些对象距离得到一深度图；以及根据该深度图，从该二维图像合成出一三维图像。
根据本发明的另一示范性实施例，提出一种图像处理装置，包括：一控制单元；一镜头移动单元，耦接至该控制单元；一取像单元，耦接至该控制单元；以及一镜头，被该镜头移动单元所移动。该控制单元将一二维图像分割成多个区块。针对每一该些区块，该镜头移动单元移动该镜头以得到一各别最佳对比值与一对应聚焦步距。根据每一该些区块的该各别聚焦步距，该控制单元求得每一该区块中的一各别图像的一各别对象距离。该控制单元从该些区块的该些对象距离得到一深度图。根据该深度图，该控制单元从该二维图像合成出一三维图像。
为了对本发明的上述及其它方面有更佳的了解，下文特举实施例，并配合所附图式，作详细说明如下。
附图说明
图1显示根据本发明实施例的数字图像处理装置的功能方块图。
图2显示根据本发明实施例的数字图像处理方法的流程图。
图3根据本发明实施例的显示将2D图像分割成4X4个区块。
图4显示对比值(经正规化)与聚焦步距的对应关系图。
图5显示各区块的对应于最佳对比值的聚焦步距。
[主要元件标号说明]
100：数字图像处理装置    110：控制单元
120：镜头移动单元        130：取像单元
140：镜头                150：储存单元
210～260：步骤
具体实施方式
请参考图1，其显示根据本发明实施例的数字图像处理装置的功能方块图。如图1所示，数字图像处理装置100包括：控制单元110、镜头移动单元120、取像单元130、镜头140与储存单元150。
镜头移动单元120移动镜头140。取像单元130通过镜头140而拍摄外部对象，以产生2D图像2D_IN。镜头140的对焦会影响图像拍摄结果。
控制单元110，例如由微处理器与其它电路所组成，根据对焦过程所产生的对焦信息来判断场景的深度(亦即，由控制单元所判断出的对象距离)，以从取像单元130所拍摄的2D图像来合成出3D图像3D_OUT。
储存单元150中可储存一对应表，其表示聚焦步距与对象距离的关系。
图2显示根据本发明实施例的数字图像处理方法的流程图。现请一并参考图1与图2。
在步骤210中，拍摄2D图像。在本实施例中，取像单元130通过镜头140而取像，以产生2D图像2D_IN，并传送给控制单元110。
在步骤220中，将所拍摄的2D图像虚拟地分割成多个区块。比如，控制单元110将2D图像2D_IN分割成多个区块。为方便举例说明，在此以分割成4X4个区块为例做说明，当知本发明并不受限于此。图3显示根据本发明实施例的将2D图像2D_IN分割成4X4个区块。
在步骤230中，针对每个区块，得到最佳对比值(contrast value，CV)与对应的聚焦步距(focus step，FS)。比如，在自动聚焦过程中，针对各区块，取得对比值与聚焦步距的对应关系。举例来说，对于某一区块，在镜头140的步距为0的情况下，得到其对比值F[0]；在镜头140的步距为5的情况下，得到其对比值F[5]。依此类推。为方便说明，在此以镜头140的最大步距为30为例，但当知本发明并不受限于此。在对比值F[0]～F[30]中的最大值即最佳对比值，其比如由控制单元110所选择。另外，改变步距的方式可以有多种方式，比如但不受限于，逐步地改变步距。
图4显示出对比值(经正规化)与聚焦步距的对应关系图。如图4所示，对于区块P1而言，对应于最佳对聚焦比值的步距为6；对于区块P2而言，对应于最佳对比值的聚焦步距为9；对于区块P 3而言，对应于最佳对比值的聚焦步距为24。
图5显示各区块的对应于最佳对比值的聚焦步距。在图5中，聚焦步距分别归类为步距0～5、步距5～10、步距10～15、步距20～25、步距25～30。
于步骤240中，根据各区块的聚焦步距，求得各区块中的图像的对象距离。在本发明实施例中，各聚焦步距与对象距离可事先做成一个对应表，其可储存于储存单元150中。故而，可利用查表法来从聚焦步距求得其相对应的对象距离。此步骤比如可由控制单元110所执行。举例来说，聚焦步距为0的话，则对象距离则为无限远；聚焦步距为5的话，则物件距离则为30公尺等。当知本发明实施例并不受限于此。
在步骤250中，从该些区块的对象距离得到深度图(depth map)。比如，于本发明实施例中，将该些对象距离直接当成深度图当中的深度信息。
在步骤260中，根据所得到的深度图，从2D图像合成出3D图像。在本发明实施例中，如何从2D图像合成出3D图像的细节可不特别限定之，可任选已知技术合成出3D图像即可。比如，根据所得到的深度图，从2D图像分别产生左眼图像与右眼图像，藉以合成出3D图像。
本发明实施例可应用于如具有照相功能及自动对焦的电子产品，比如，数字相机、数字摄影机、手机、计算机、平板计算机等。
综上所述，本实施例由于使用单一个取像单元，故其成本较低。更甚者，本发明实施例与目前常见的中低阶电子产品的架构可相同或相似，故设计无需修改或设计只需小幅修改。
另外，由于本发明实施例利用对焦过程中产生的统计数据(如对象距离)来判断场景的深度，通过合成3D图像。所以，本发明实施例乃是基于真实深度图来得到3D图像，3D图像的拟真性高于以模拟方式来将2D图像转3D图像。
综上所述，虽然本发明已以实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视所附的权利要求范围所界定者为准。

Claims (10)

1.一种图像处理方法，包括：
将一二维图像分割成多个区块；
针对每一该多个区块，得到一各自最佳对比值与一对应聚焦步距；
根据每一该多个区块的该各自聚焦步距，求得每一该区块中的一各自图像的一各自对象距离；
从该多个区块的该各自对象距离得到一深度图；以及
根据该深度图，从该二维图像合成出一三维图像。
2.根据权利要求1所述的图像处理方法，其中，得到该各自最佳对比值与该对应聚焦步距的该步骤包括：
针对该区块，逐步地调整该聚焦步距，以得到多个对比值；以及
从该多个对比值中择一最大值即该最佳对比值。
3.根据权利要求2所述的图像处理方法，还包括：
对该多个对比值进行正规化。
4.根据权利要求1所述的图像处理方法，其中，
利用查表，以从该多个区块的该各自聚焦步距求得该多个区块中的各自图像的该各自对象距离。
5.根据权利要求1所述的图像处理方法，其中，
将该各自对象距离直接当成该深度图中的深度信息。
6.一种图像处理装置，包括：
一控制单元；
一镜头移动单元，耦接至该控制单元；
一取像单元，耦接至该控制单元；以及
一镜头，被该镜头移动单元所移动；
其中，该控制单元将一二维图像分割成多个区块；
针对每一该多个区块，该镜头移动单元移动该镜头以得到一各自最佳对比值与一对应聚焦步距；
根据每一该多个区块的该各自聚焦步距，该控制单元求得每一该区块中的一各自图像的一各自对象距离；
该控制单元从该多个区块的该各自对象距离得到一深度图；以及
根据该深度图，该控制单元从该二维图像合成出一三维图像。
7.根据权利要求6所述的图像处理装置，其中，
针对该区块，该镜头移动单元逐步地移动该镜头，以逐步地调整该镜头的该聚焦步距，以得到多个对比值；以及
该控制单元从该多个对比值中择一最大值，以当成该最佳对比值。
8.根据权利要求7所述的图像处理装置，其中，
该控制单元对该多个对比值进行正规化。
9.根据权利要求6所述的图像处理装置，还包括一储存单元，耦接至该控制单元，该储存单元储存该聚焦步距与该对象距离的一对应关系；
其中，该控制单元查表该储存单元中的该对应关系，以从该多个区块的该各自聚焦步距求得该多个区块中的各自图像的该各自对象距离。
10.根据权利要求6所述的图像处理装置，其中，
该控制单元将该各自对象距离直接当成该深度图中的深度信息。
CN2011103143658A 2011-10-17 2011-10-17 图像处理装置与其方法 Pending CN103049933A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2011103143658A CN103049933A (zh) 2011-10-17 2011-10-17 图像处理装置与其方法
US13/537,830 US20130093850A1 (en) 2011-10-17 2012-06-29 Image processing apparatus and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011103143658A CN103049933A (zh) 2011-10-17 2011-10-17 图像处理装置与其方法

Publications (1)

Publication Number Publication Date
CN103049933A true CN103049933A (zh) 2013-04-17

Family

ID=48062561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011103143658A Pending CN103049933A (zh) 2011-10-17 2011-10-17 图像处理装置与其方法

Country Status (2)

Country Link
US (1) US20130093850A1 (zh)
CN (1) CN103049933A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106254855A (zh) * 2016-08-25 2016-12-21 锐马（福建）电气制造有限公司 一种基于变焦测距的三维建模方法及系统
CN106331683A (zh) * 2016-08-25 2017-01-11 锐马（福建）电气制造有限公司 一种物体三维重建方法及其系统
CN107360412A (zh) * 2017-08-21 2017-11-17 广州视源电子科技股份有限公司 3d图像创建方法、拍摄设备和可读存储介质
CN108419446A (zh) * 2015-08-24 2018-08-17 高通股份有限公司 用于激光深度图取样的系统及方法
CN108496201A (zh) * 2017-09-27 2018-09-04 深圳市大疆创新科技有限公司 图像处理方法和设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292906B1 (en) * 2013-09-06 2016-03-22 Google Inc. Two-dimensional image processing based on third dimension data
US9214011B2 (en) * 2014-05-05 2015-12-15 Sony Corporation Camera defocus direction estimation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110025827A1 (en) * 2009-07-30 2011-02-03 Primesense Ltd. Depth Mapping Based on Pattern Matching and Stereoscopic Information
US20110025830A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7668388B2 (en) * 2005-03-03 2010-02-23 Mitutoyo Corporation System and method for single image focus assessment
US7929801B2 (en) * 2005-08-15 2011-04-19 Sony Corporation Depth information for auto focus using two pictures and two-dimensional Gaussian scale space theory
US7474846B2 (en) * 2006-02-15 2009-01-06 Micron Technology, Inc. Method and apparatus of determining the best focus position of a lens
US7616254B2 (en) * 2006-03-16 2009-11-10 Sony Corporation Simple method for calculating camera defocus from an image scene
US8724013B2 (en) * 2007-12-27 2014-05-13 Qualcomm Incorporated Method and apparatus with fast camera auto focus
US20100157086A1 (en) * 2008-12-15 2010-06-24 Illumina, Inc Dynamic autofocus method and system for assay imager
US8786761B2 (en) * 2009-06-05 2014-07-22 Apple Inc. Continuous autofocus mechanisms for image capturing devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110025827A1 (en) * 2009-07-30 2011-02-03 Primesense Ltd. Depth Mapping Based on Pattern Matching and Stereoscopic Information
TW201112161A (en) * 2009-07-30 2011-04-01 Prime Sense Ltd Depth mapping based on pattern matching and stereoscopic information
US20110025830A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108419446A (zh) * 2015-08-24 2018-08-17 高通股份有限公司 用于激光深度图取样的系统及方法
CN108419446B (zh) * 2015-08-24 2022-03-25 高通股份有限公司 用于激光深度图取样的系统及方法
US11915502B2 (en) 2015-08-24 2024-02-27 Qualcomm Incorporated Systems and methods for depth map sampling
CN106254855A (zh) * 2016-08-25 2016-12-21 锐马（福建）电气制造有限公司 一种基于变焦测距的三维建模方法及系统
CN106331683A (zh) * 2016-08-25 2017-01-11 锐马（福建）电气制造有限公司 一种物体三维重建方法及其系统
CN107360412A (zh) * 2017-08-21 2017-11-17 广州视源电子科技股份有限公司 3d图像创建方法、拍摄设备和可读存储介质
CN108496201A (zh) * 2017-09-27 2018-09-04 深圳市大疆创新科技有限公司 图像处理方法和设备
WO2019061064A1 (zh) * 2017-09-27 2019-04-04 深圳市大疆创新科技有限公司 图像处理方法和设备
US11057604B2 (en) 2017-09-27 2021-07-06 SZ DJI Technology Co., Ltd. Image processing method and device

Also Published As

Publication number Publication date
US20130093850A1 (en) 2013-04-18

Similar Documents

Publication Publication Date Title
US12022227B2 (en) Apparatus and methods for the storage of overlapping regions of imaging data for the generation of optimized stitched images
CN103049933A (zh) 图像处理装置与其方法
US9973672B2 (en) Photographing for dual-lens device using photographing environment determined using depth estimation
CN101909219B (zh) 一种立体显示方法及跟踪式立体显示器
JP6154075B2 (ja) オブジェクト検出及び分割の方法，装置，コンピュータプログラム製品
CN103839227B (zh) 鱼眼图像校正方法和装置
CN113574863A (zh) 使用深度信息渲染3d图像的方法和系统
CN103426163A (zh) 用于渲染受影响的像素的系统和方法
CN101984670A (zh) 一种立体显示方法、跟踪式立体显示器及图像处理装置
CN105376484A (zh) 一种图像处理方法及终端
US11776089B2 (en) Apparatus and methods for non-uniform downsampling of captured panoramic images
US8908012B2 (en) Electronic device and method for creating three-dimensional image
TWI549478B (zh) 產生三維影像的方法及其電子裝置
US20230281916A1 (en) Three dimensional scene inpainting using stereo extraction
CN109788199B (zh) 一种适用于具有双摄像头终端的对焦方法
CN115131507B (zh) 图像处理方法、图像处理设备和元宇宙三维重建方法
CN105488845A (zh) 产生三维图像的方法及其电子装置
CN104410793B (zh) 一种图像处理方法及电子设备
CN105282537A (zh) 图像获取装置
CN117455754A (zh) 图像转换方法及相关设备
CN105306920A (zh) 用于提取眼睛中心点的方法
CN117915058A (zh) 图像透视方法、装置、存储介质、电子设备和xr设备
TW201317940A (zh) 影像處理裝置與其方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130417