CN110121023A - 影像处理方法、电子装置及非暂态电脑可读取存储媒体 - Google Patents

影像处理方法、电子装置及非暂态电脑可读取存储媒体 Download PDF

Info

Publication number
CN110121023A
CN110121023A CN201811571551.8A CN201811571551A CN110121023A CN 110121023 A CN110121023 A CN 110121023A CN 201811571551 A CN201811571551 A CN 201811571551A CN 110121023 A CN110121023 A CN 110121023A
Authority
CN
China
Prior art keywords
image
camera
lens
timestamp
measurement unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811571551.8A
Other languages
English (en)
Other versions
CN110121023B (zh
Inventor
俞文翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
High Tech Computer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Tech Computer Corp filed Critical High Tech Computer Corp
Publication of CN110121023A publication Critical patent/CN110121023A/zh
Application granted granted Critical
Publication of CN110121023B publication Critical patent/CN110121023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3212—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
    • H04N2201/3215—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a time or duration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

一种影像处理方法、电子装置及非暂态电脑可读取存储媒体，该影像处理方法包含：于第一时间戳相机获得第一影像，并通过一位置感测器获得第一透镜位置；通过惯性测量单元感测器获得IMU信号，IMU信号指示该相机于第一时间戳与第二时间戳之间的移动；于第二时间戳通过该相机获得第二影像，并通过该位置感测器获得第二透镜位置；处理电路依据第一透镜位置、第二透镜位置以及IMU信号计算第一影像与第二影像的相对几何值；于该相对几何值达到几何临界值的条件下，该处理电路基于该相对几何值对第一影像与第二影像执行深度计算。本公开的影像处理方法通过考虑相机的透镜位置以及IMU信号，以计算影像的准确基线。如此，改善影像的品质以及3D深度信息的准确度。

Description

影像处理方法、电子装置及非暂态电脑可读取存储媒体
技术领域
本公开涉及一种电子装置以及一种影像处理方法，特别涉及一种与电脑视觉相关的电子装置以及影像处理方法。
背景技术
现今，电脑视觉方法广泛使用于各种应用中。例如，可以应用深度计算来检测影像中物件的距离。
发明内容
本公开的一目的是提供一种影像处理方法。依据本公开一些实施例，该影像处理方法包含：于一第一时间戳通过一相机获得一第一影像，并通过一位置感测器获得一第一透镜位置；通过一惯性测量单元(inertial measurement unit sensor,IMU)感测器获得一IMU信号，该IMU信号指示该相机于该第一时间戳与一第二时间戳之间的移动；于该第二时间戳通过该相机获得一第二影像，并通过该位置感测器获得一第二透镜位置；通过一处理电路依据该第一透镜位置、该第二透镜位置以及该IMU信号计算该第一影像与该第二影像的一相对几何值；以及于该相对几何值达到一几何临界值的条件下，通过该处理电路基于该相对几何值对该第一影像与该第二影像执行一深度计算。
于一些实施例中，该影像处理方法计算该相对几何值包含计算该第一时间戳以及该第二时间戳的该相机之间的一基线距离，其中于该基线距离大于一预定值的条件下，该几何临界值被达到。
于一些实施例中，该影像处理方法还包含通过连接到该相机的一透镜的一致动器，于该惯性测量单元信号低于一预定临界值的条件下，移动该透镜以获得具有差异的该第一影像与该第二影像；其中该致动器的一速度低于该相机的一快门速度；其中该透镜用以在垂直于该透镜的一光轴的一水平方向上移动。
于一些实施例中，该影像处理方法还包含于该第一时间戳与该第二时间戳之间，启用该相机的光学防手震；于该第二时间戳通过一第二相机获得一第三影像，并通过该位置感测器获得一第三透镜位置；以及通过该处理电路基于该相机与该第二相机之间的一固定基线，对该第二影像与该第三影像执行该深度计算。
本公开的另一目的提供一种电子装置。依据本公开一些实施例，该电子装置包含一处理电路、一电连接至该处理电路的相机、一电连接至该处理电路的位置感测器、一惯性测量单元感测器电连接至该处理电路、一存储器电连接至该处理电路，以及一或多个程序。该一或多个程序被存储于该存储器中，并且用以被该处理电路执行。该一或多个程序包含指令用来于一第一时间戳控制该相机获得一第一影像，并控制该位置感测器获得一第一透镜位置；控制该惯性测量单元感测器以获得一IMU信号，该IMU信号指示该相机于该第一时间戳与一第二时间戳之间的移动；于该第二时间戳控制该相机获得一第二影像，并控制该位置感测器获得一第二透镜位置；依据该第一透镜位置、该第二透镜位置以及该IMU信号计算该第一影像与该第二影像的一相对几何值；以及于该相对几何值达到一几何临界值的条件下，基于该相对几何值对该第一影像与该第二影像执行一深度计算。
于一些实施例中，该电子装置该一或多个程序还包含指令用来计算该第一时间戳以及该第二时间戳的该相机之间的一基线距离，其中于该基线距离大于一预定值的条件下，该几何临界值被达到。
于一些实施例中，该电子装置还包含一致动器，连接到该相机的一透镜；以及其中该一或多个程序还包含指令用来：于该IMU信号低于一预定临界值的条件下，控制该致动器移动该透镜以获得具有差异的该第一影像与该第二影像；其中该致动器的一速度低于该相机的一快门速度；其中该透镜用以在垂直于该透镜的一光轴的一水平方向上移动。
于一些实施例中，该电子装置还包含一第二相机，电连接至该处理电路；以及其中该一或多个程序还包含指令用来于该第二时间戳控制该第二相机以获得一第三影像，并控制该位置感测器以获得一第三透镜位置；以及基于该相机与该第二相机之间的一固定基线，对该第二影像与该第三影像执行该深度计算。
本公开另一目的又提供一种非暂态电脑可读取存储媒体。依据本公开一些实施例，该非暂态电脑可读取存储媒体存储一或多个程序，其包含指令，当被执行时使一处理电路执行操作，该些操作包含于一第一时间戳控制一相机获得一第一影像，并控制一位置感测器获得一第一透镜位置；控制一惯性测量单元感测器以获得一IMU信号，该IMU信号指示该相机于该第一时间戳与一第二时间戳之间的移动；于该第二时间戳控制该相机获得一第二影像，并控制该位置感测器获得一第二透镜位置；依据该第一透镜位置、该第二透镜位置以及该IMU信号计算该第一影像与该第二影像的一相对几何值；以及于该相对几何值达到一几何临界值的条件下，基于该相对几何值对该第一影像与该第二影像执行一深度计算。
于一些实施例中，该非暂态电脑可读取存储媒体存储一或多个程序，其包含指令，当其被执行时使一处理电路执行操作，该些操作包含计算该第一时间戳以及该第二时间戳的该相机之间的一基线距离，其中于该基线距离大于一预定值的条件下，该几何临界值被达到；控制连接到该相机的一透镜的一致动器，于该IMU信号低于一预定临界值的条件下，移动该透镜以获得具有差异的该第一影像与该第二影像；以及控制该致动器将该透镜在垂直于该透镜的一光轴的一水平方向上，以低于该相机的一快门速度的一速度移动。
附图说明
为让本公开的上述和其他目的、特征、优点与实施例能更明显易懂，说明书附图的说明如下：
图1为依据本公开一些实施例的一电子装置的示意方框图；
图2为依据本公开一些实施例的一影像处理方法的流程图；
图3说明依据本公开一些实施例的电子装置的操作；
图4为说明依据本公开另外一些实施例的影像处理方法的流程图；以及
图5为依据本公开另外一些实施例的电子装置的示意方框图。
附图标记说明：
为让本公开的上述和其他目的、特征、优点与实施例能更明显易懂，所附符号的说明如下：
100：电子装置
110：处理电路
120：存储器
130、130a、130b：相机
140：位置感测器
132、132a、132b：透镜
150：惯性测量单元感测器
160、160a、160b：致动器
200：目标物件
900：影像处理方法
P1：程序
T1～Tn：时间戳
d1～d3：距离
S1～S7：操作
具体实施方式
以下将以附图及详细说明阐述本公开的精神，任何所属技术领域中技术人员在了解本公开的优选实施例后，当可由本公开所启示的技术，加以改变及修饰，其并不脱离本公开的精神与范围。
应当理解，在本文的描述和其后的所有权利要求中，当一个元件被称为被“连接”或“耦合”到另一个元件时，它可以被直接连接或耦合到另一个元件，或者可能存在插入元件。相比之下，当一个元件被称为“直接连接”或“直接耦合”到另一个元件时，则不存在插入元件。此外，“电连接”或“连接”还可以指两个或多个元件之间的相互操作或相互作用。
应当理解，在本文的描述和其后的所有权利要求中，虽然“第一”、“第二”、...等词汇可以使用来描述不同元件，但是这些元件不应该被这些术语所限制。这些词汇只限于用来区分单一元件与另一个元件。例如，一第一元件也可被称为一第二元件，类似地，一第二元件也可被称为一第一元件，而不脱离实施例的范围。
应当理解，在本文的描述和其后的所有权利要求中，在本文中所使用的用词“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指“包含但不限于”。
应当理解，在本文的描述和其后的所有权利要求中，所使用的“及/或”包含相关列举项目中一或多个项目的任意一个以及其所有组合。
应当理解，在本文的描述和其后的所有权利要求中，所使用的方向用语在后续实施例的描述中，例如：上、下、左、右、前、后等，仅是相对附加附图的方向。因此，使用的方向用语是用来说明并非用来限制本公开。
应当理解，在本文的描述和其后的所有权利要求中，除非另有定义，使用的所有术语(包括技术和科学术语)与本公开所属领域技术人员所理解的具有相同含义。进一步可以明了，除非这里明确地说明，这些术语，例如在常用字典中所定义的术语，应该被解释为具有与其在相关领域背景下的含义相一致的含义，而不应被理想化地或过于正式地解释。
权利要求中的任一元件如果没有明确说明“装置用于”实施一特定功能，或是“步骤用于”实施一特定功能，不应当被解释为手段功能用语。
请参照图1，图1为依据本公开一些实施例的一电子装置100的示意方框图。电子装置100可用以按序获取多个影像，并且对影像执行一深度计算以获得3D信息，亦即，这些影像的深度信息。据此，可以依据影像中的物件及/或像素的深度信息来执行各种影像处理。
例如，于一些实施例中，电子装置100可为一智能手机、一平板电脑、一膝上型电脑或具有一内建数码相机装置的其他电子装置。于一些实施例中，电子装置100可以被应用于虚拟现实(virtual reality,VR)系统/混合现实(mixed reality,MR)系统/增强现实(augmented reality,AR)系统以提供具有准确物体深度信息的影像，及/或影像中的像素。例如，电子装置100可以通过独立的头戴式装置(HMD)或VIVE HMD来实现。详细地说，独立的HMD可以例如做，位置与旋转的位置数据处理、图形处理或其他的数据计算。
如图1所示，电子装置100包含一处理电路110、一存储器120、一相机130、一位置感测器140、一惯性测量单元感测器150以及一致动器160。一或多个程序P1被存储于存储器120中，并且用以被处理电路110执行，以便执行深度计算。
在结构上，存储器120、相机130、位置感测器140、惯性测量单元感测器150以及致动器160分别被电连接到处理电路110。
具体而言，致动器160连接到相机130的多个透镜132，以便依据从处理电路110接收的一控制信号移动透镜132。因此，于操作时，透镜132对于相机130的相对位置可以不同。透镜132的位置变化可由位置感测器140相应检测。通过控制致动器160以调整透镜132的位置，由相机130拍摄的影像在运动中可以是稳定的，例如手晃、摇头、车辆中的振动等。因此，可以经由处理电路110、惯性测量单元感测器150以及致动器160的协作来实现光学防手震(Optical Image stabilization,OIS)。
于一些实施例中，处理电路110可以通过例如一个或多个处理器来实现，如中央处理器及/或微处理器，但是本公开并不限于此。于一些实施例中，存储器120包含一或多个存储装置，它们中的每个包含，或它们中的多个共同包含一电脑可读取存储媒体。电脑可读取存储媒体可包含一只读存储器(read-only memory,ROM)、一快闪存储器、一软磁盘、一硬盘、一光盘、一闪存盘、一U盘、一磁带、一可从网络存取的数据库，及/或本公开所属领域的普通技术人员可以思及具有相同功能的任何存储媒体。
为了更好地理解本公开，将结合图2中所示的实施例来讨论电子装置100的详细操作。图2为依据本公开一些实施例的一影像处理方法900的流程图。应当注意的是，影像处理方法900可以应用于具有与图1所示的电子装置100的结构相同或类似结构的电子装置。为了简化以下的描述，将使用图1中所示的实施例作为示例，来描述依据本公开的一些实施例的影像处理方法900。但是，本公开并不限于应用于图1所示的实施例。
如图2所示，影像处理方法900包含操作S1、S2、S3、S4及S5。于操作S1中，处理电路110用以于一第一时间戳，控制相机130以获得一第一影像，并控制位置感测器140以获得一第一透镜位置。
于操作S2中，处理电路110用以控制惯性测量单元感测器150以获得一惯性测量单元IMU信号。IMU信号指示相机130在第一时间戳与一第二时间戳之间的移动。
于操作S3中，处理电路110用以于第二时间戳，控制相机130以获得一第二影像，并控制位置感测器140以获得一第二透镜位置。
于操作S4中，处理电路110用以依据第一透镜位置、第二透镜位置以及IMU信号计算第一影像与第二影像的一相对几何值。
于操作S5中，处理电路110用以在相对几何值达到一几何临界值的条件下，基于相对几何值对第一影像与第二影像执行一深度计算。具体而言，在电脑视觉中，可以从第一影像及第二影像计算差异/视差。标示在获取多个影像时相机多个位置之间距离的基线，会影响在各自影像平面上两个不同影像中的一对应点的差异。例如，一较大的基线值可导致跨越于两个影像间的对应点的一较大像素移位，并且一较小的基线值可导致跨越于两个影像间的对应点的一较小像素移位。
借着使用从不同角度获得的相同场景的第一影像以及第二影像，便可能对到一物体的距离进行三角测量。亦即，倘若物体很远，则两个影像之间的差异将很小。而另一方面，倘若物体是靠近的，则两个影像之间的差异将很大。当基线增加，差异会因较大的角度增加，并且深度计算的准确度也可以提高。
请参照图3，图3是说明依据本公开一些实施例的电子装置100的操作。
如图3所示，相机130可被用于在时间戳T1～Tn期间，利用相机130的运动在不同位置获取一目标物件200的多个影像。
在相机130的运动期间，经由控制连接到相机130透镜132的致动器160的移动，便能够对相机130启用一光学防手震(OIS)，以减少相机130所拍摄影像的模糊。亦即，于一些实施例中，在第一时间戳(例如，时间戳T1)与第二时间戳(例如，时间戳Tn)之间，光学防手震被启用，并且透镜132的位置可以被改变以补偿不预期的震动。
如图3所示，在时间戳T1，可由相机130获得一第一影像。同时，可以通过位置感测器140获得指示透镜132位置的一第一透镜位置。因此之故，在时间戳T1的补偿距离d1的值可以被处理电路110接收。具体地，位置感测器140可以由例如霍尔感测器的各种装置实现，但并不限于此。
由于惯性测量单元感测器150可以输出IMU信号以指示相机130的运动，相机130在时间戳T1与时间戳Tn间的一移动距离d2，可被处理电路110所计算与接收。
在时间戳Tn，可由相机130获得一第二影像。同时，可以通过位置感测器140获得指示透镜132位置的一第二透镜位置。因此，在时间戳Tn的补偿距离d3的值也可以被处理电路110接收。
因此之故，由于距离d1、d2及d3被获得，可以依据第一透镜位置、第二透镜位置与IMU信号，相应地计算并确定第一影像与第二影像的相对几何值。
具体地，于一些实施例中，处理电路110可用以依据计算的相对几何值，决定第二影像是在时间戳T2～Tn中的哪一个时间戳获得的。换句话说，于一些实施例中，处理电路110可用以计算在两个不同时间戳之间相机130的一基线距离，并且等待直到基线距离大于一预定值以获得第二影像。因此，第一影像与第二影像之间的基线距离可大于预定值，也因此基于第一影像与第二影像的深度计算可以因两个影像之间具有足够差异或视差而更精确地被执行。
例如，在时间戳T2，处理电路110基于当前的透镜位置以及当前的IMU信号，可以决定第一影像与第二影像之间的基线距离并没有达到预定值，并因此而不使用在时间戳T1和T2拍摄的两个影像来执行深度计算，此是由于时间戳T1与T2之间的差异或视差可能不足以提供准确的深度信息。
据此，当光学防手震被启用以减少影像模糊并提高影像品质时，通过考虑到在不同时间戳的透镜位置以及不同时间戳之间的IMU信号，基于两个时间戳之间的相对几何值而执行的深度计算可以是准确的。再者，由于预定值可以被动态配置，可以改变影像的基线以满足准确度或各种应用的其他要求。当深度计算被执行完后，可以产生包含在影像中被识别的像素及/或物件的3D信息的一深度地图。例如，影像的深度地图可以用于进一步的影像分析及处理，或者用于在VR/MR/AR系统中执行互动操作。
请参照图4，图4为说明依据本公开另外一些实施例的影像处理方法900的流程图。类似地，为了简化以下的描述，将使用图1中示出的实施例作为示例，来描述影像处理方法900，但是本公开并不限于此。
与图2所示的实施例相较，在本实施例中，影像处理方法900进一步包含操作S6与S7。于操作S6中，处理电路110进一步用以决定在一预设时间段从惯性测量单元感测器150接收的IMU信号是否低于一预定临界值。换句话说，处理电路110用以决定电子装置100与相机130是否静止与稳定而没有移动。接着，于操作S7中，处理电路110用以控制连接到相机130透镜132的致动器160以移动透镜132，以便在IMU信号低于预定临界值的条件下获取具有差异的第一影像与第二影像。
亦即，于一些实施例中，电子装置100可以主动获取具有差异的二或多个影像，以便在电子装置100是静止的条件下，执行深度计算。
具体地，于一些实施例中，处理电路110可以将致动器160的一速度控制为低于相机130的一快门速度，使得光学防手震仍然可被启用以减少运动造成的模糊。此外，于一些实施例中，处理电路110可以控制透镜132在垂直于透镜132的一光轴的水平方向上移动，作为实现光学防手震的方向，但是本公开并不限于此。在一些其他实施例中，处理电路110可以控制透镜132在垂直于透镜132的光轴的各个方向上移动。
据此，在电子装置100有或没有移动且光学防手震被启用的情形下，电子装置100能获得可由一单个相机130创建的影像的3D信息内容。
请参照图5，图5为依据本公开另外一些实施例的电子装置100的示意方框图。与图1所示的实施例相较，在图5的实施例中，电子装置100可以包含两个或更多个相机130a与130b，而不是一个单个相机。
相机130a与130b可以分别包含透镜132a与132b，并且用以通过利用相应的致动器160a与160b执行与上述实施例中所述类似的功能。如图5所示，位置感测器140耦接于透镜132a与132b，并用以分别检测透镜132a与132b的位置。除此之外，处理电路110可用以基于不同相机130a与130b所获取影像，进一步执行深度计算。
具体地，处理电路110可以于第二时间戳，控制相机130a以获得第二影像，控制相机130b以获得第三影像，并且控制位置感测器140以获得相机130a的第二透镜位置以及相机130b的一第三透镜位置。
因此之故，处理电路110可以基于相机130a与130b之间的一固定基线，对相机130a所获取的第二影像及相机130b所获取的第三影像，进行深度计算。换句话说，各不同实施例中的影像处理方法900可以与具有多相机的电子装置100相容。
于一些实施例中，可以基于由相同相机获取的具有一变化基线的两个影像及/或基于由不同相机获取的具有一固定基线的两个影像来执行深度计算。据此，通过使用具有固定基线的影像的深度计算，所创建的3D信息可以更可靠，因为基线是处理电路110的已知常数。
值得注意的是，于一些实施例中，影像处理方法900可以被实现为一电脑程序。当电脑程序被一电脑、一电子装置、或是图1所示的处理电路110所执行时，此执行装置执行影像处理方法900。电脑程序可被存储于一非暂态电脑可读取存储媒体，例如，一只读存储器(ROM)、一快闪存储器、一软磁盘、一硬盘、一光盘、一闪存盘、一U盘、一磁带、一可从网络存取的数据库，或本公开所属领域的普通技术人员可以思及具有相同功能的任何存储媒体。
此外，应被注意的是在上述影像处理方法900的操作中，除非另有说明，否则不需要特定的顺序。另外，这些操作还可以同时被执行，或者其执行时间可以至少部分重叠。
此外，依据本公开的各种实施例，影像处理方法900的操作可以适当地被添加、替换及/或消除。
经由上述各种实施例的操作，一个影像处理方法被实现以产生由电子装置的一个或多个相机所获取影像的3D内容/深度信息，并且可以在处理期间启用光学防手震功能以减少影像的模糊。由于相机的透镜位置以及IMU信号被一起考虑，影像的准确基线可以被计算并获得。因此，影像的品质以及深度信息的准确度可以被改善。另外，电子装置可以在微小运动或是无运动状态期间主动地移动透镜，以执行深度计算。
虽然本发明已以实施例公开如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作各种的变动与润饰，因此本发明的保护范围当视权利要求所界定者为准。

Claims (10)

1.一种影像处理方法，其特征在于，包含：
于一第一时间戳通过一相机获得一第一影像，并通过一位置感测器获得一第一透镜位置；
通过一惯性测量单元感测器获得一惯性测量单元信号，该惯性测量单元信号指示该相机于该第一时间戳与一第二时间戳之间的移动；
于该第二时间戳通过该相机获得一第二影像，并通过该位置感测器获得一第二透镜位置；
通过一处理电路依据该第一透镜位置、该第二透镜位置以及该惯性测量单元信号计算该第一影像与该第二影像的一相对几何值；以及
于该相对几何值达到一几何临界值的条件下，通过该处理电路基于该相对几何值对该第一影像与该第二影像执行一深度计算。
2.如权利要求1所述的影像处理方法，其特征在于，其中计算该相对几何值包含：
计算该第一时间戳以及该第二时间戳的该相机之间的一基线距离，其中于该基线距离大于一预定值的条件下，该几何临界值被达到。
3.如权利要求1所述的影像处理方法，其特征在于，还包含：
通过连接到该相机的一透镜的一致动器，于该惯性测量单元信号低于一预定临界值的条件下，移动该透镜以获得具有差异的该第一影像与该第二影像；
其中该致动器的一速度低于该相机的一快门速度；
其中该透镜用以在垂直于该透镜的一光轴的一水平方向上移动。
4.如权利要求1所述的影像处理方法，其特征在于，还包含：
于该第一时间戳与该第二时间戳之间，启用该相机的光学防手震；
于该第二时间戳通过一第二相机获得一第三影像，并通过该位置感测器获得一第三透镜位置；以及
通过该处理电路基于该相机与该第二相机之间的一固定基线，对该第二影像与该第三影像执行该深度计算。
5.一种电子装置，其特征在于，包含：
一处理电路；
一相机，电连接至该处理电路；
一位置感测器，电连接至该处理电路的；
一惯性测量单元感测器，电连接至该处理电路；
一或多个程序，其中该一或多个程序被存储于一存储器中，并且用以被该处理电路执行，该一或多个程序包含指令用来：
于一第一时间戳控制该相机以获得一第一影像，并控制该位置感测器获得一第一透镜位置；
控制该惯性测量单元感测器以获得一惯性测量单元信号，该惯性测量单元信号指示该相机于该第一时间戳与一第二时间戳之间的移动；
于该第二时间戳控制该相机以获得一第二影像，并控制该位置感测器获得一第二透镜位置；
依据该第一透镜位置、该第二透镜位置以及该惯性测量单元信号计算该第一影像与该第二影像的一相对几何值；以及
于该相对几何值达到一几何临界值的条件下，基于该相对几何值对该第一影像与该第二影像执行一深度计算。
6.如权利要求5所述的电子装置，其特征在于，其中该一或多个程序还包含指令用来：
计算该第一时间戳以及该第二时间戳的该相机之间的一基线距离，其中于该基线距离大于一预定值的条件下，该几何临界值被达到。
7.如权利要求5所述的电子装置，其特征在于，还包含：
一致动器，连接到该相机的一透镜；以及
其中该一或多个程序还包含指令用来：
于该惯性测量单元信号低于一预定临界值的条件下，控制该致动器移动该透镜以获得具有差异的该第一影像与该第二影像；
其中该致动器的一速度低于该相机的一快门速度；
其中该透镜用以在垂直于该透镜的一光轴的一水平方向上移动。
8.如权利要求5所述的电子装置，其特征在于，还包含：
一第二相机，电连接至该处理电路；以及
其中该一或多个程序还包含指令用来：
于该第二时间戳控制该第二相机以获得一第三影像，并控制该位置感测器以获得一第三透镜位置；以及
基于该相机与该第二相机之间的一固定基线，对该第二影像与该第三影像执行该深度计算。
9.一种非暂态电脑可读取存储媒体，存储一或多个程序，其特征在于，其包含指令，当指令被执行时使一处理电路执行操作，该些操作包含：
于一第一时间戳控制一相机以获得一第一影像，并控制一位置感测器获得一第一透镜位置；
控制一惯性测量单元感测器以获得一惯性测量单元信号，该惯性测量单元信号指示该相机于该第一时间戳与一第二时间戳之间的移动；
于该第二时间戳控制该相机以获得一第二影像，并控制该位置感测器获得一第二透镜位置；
依据该第一透镜位置、该第二透镜位置以及该惯性测量单元信号计算该第一影像与该第二影像的一相对几何值；以及
于该相对几何值达到一几何临界值的条件下，基于该相对几何值对该第一影像与该第二影像执行一深度计算。
10.如权利要求9所述的非暂态电脑可读取存储媒体，其特征在于，进一步包含指令，指令被执行时使该处理电路进一步执行操作，该些操作包含：
计算该第一时间戳以及该第二时间戳的该相机之间的一基线距离，其中于该基线距离大于一预定值的条件下，该几何临界值被达到；
控制连接到该相机的一透镜的一致动器，于该惯性测量单元信号低于一预定临界值的条件下，移动该透镜以获得具有差异的该第一影像与该第二影像；以及
控制该致动器将该透镜在垂直于该透镜的一光轴的一水平方向上，以低于该相机的一快门速度的一速度移动。
CN201811571551.8A 2018-02-06 2018-12-21 影像处理方法、电子装置及非暂态电脑可读取存储媒体 Active CN110121023B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/889,220 2018-02-06
US15/889,220 US10529084B2 (en) 2018-02-06 2018-02-06 Image processing method, electronic device, and non-transitory computer readable storage medium

Publications (2)

Publication Number Publication Date
CN110121023A true CN110121023A (zh) 2019-08-13
CN110121023B CN110121023B (zh) 2021-01-22

Family

ID=65351860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811571551.8A Active CN110121023B (zh) 2018-02-06 2018-12-21 影像处理方法、电子装置及非暂态电脑可读取存储媒体

Country Status (4)

Country Link
US (1) US10529084B2 (zh)
EP (1) EP3522520B1 (zh)
CN (1) CN110121023B (zh)
TW (1) TWI694719B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108574793B (zh) 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100225745A1 (en) * 2009-03-09 2010-09-09 Wan-Yu Chen Apparatus and method for capturing images of a scene
CN101918893A (zh) * 2007-12-27 2010-12-15 高通股份有限公司 具有深度图产生的方法和设备
CN102129117A (zh) * 2010-01-14 2011-07-20 株式会社尼康 成像镜头、包括其的光学设备和用于制造成像镜头的方法
CN103454833A (zh) * 2012-05-31 2013-12-18 Lg伊诺特有限公司 摄像装置系统及其自动对焦方法
CN104871058A (zh) * 2012-12-19 2015-08-26 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN105187815A (zh) * 2014-06-09 2015-12-23 全视技术有限公司 用于获得图像深度信息的系统及方法
CN105472372A (zh) * 2014-09-26 2016-04-06 三星电子株式会社 用于生成3d全景图像的图像生成装置及方法
CN105974553A (zh) * 2015-03-13 2016-09-28 三星电机株式会社 用于致动器的驱动器和相机模块
US20170264884A1 (en) * 2016-03-08 2017-09-14 Altek Semiconductor Corp. Electronic apparatus and method of generating depth map
US20170358101A1 (en) * 2016-06-10 2017-12-14 Apple Inc. Optical Image Stabilization for Depth Sensing
CN107636692A (zh) * 2015-07-07 2018-01-26 三星电子株式会社 图像捕获设备及操作其的方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5063441A (en) * 1990-10-11 1991-11-05 Stereographics Corporation Stereoscopic video cameras with image sensors having variable effective position
WO1997003378A1 (en) * 1995-07-07 1997-01-30 International Telepresence Corporation System with movable lens for producing three-dimensional images
KR20130047343A (ko) * 2011-10-31 2013-05-08 엘지이노텍 주식회사 카메라 모듈 및 그의 3차원 사진 획득 방법
US20150193971A1 (en) * 2014-01-03 2015-07-09 Motorola Mobility Llc Methods and Systems for Generating a Map including Sparse and Dense Mapping Information

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101918893A (zh) * 2007-12-27 2010-12-15 高通股份有限公司 具有深度图产生的方法和设备
US20100225745A1 (en) * 2009-03-09 2010-09-09 Wan-Yu Chen Apparatus and method for capturing images of a scene
CN102129117A (zh) * 2010-01-14 2011-07-20 株式会社尼康 成像镜头、包括其的光学设备和用于制造成像镜头的方法
CN103454833A (zh) * 2012-05-31 2013-12-18 Lg伊诺特有限公司 摄像装置系统及其自动对焦方法
CN104871058A (zh) * 2012-12-19 2015-08-26 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN105187815A (zh) * 2014-06-09 2015-12-23 全视技术有限公司 用于获得图像深度信息的系统及方法
CN105472372A (zh) * 2014-09-26 2016-04-06 三星电子株式会社 用于生成3d全景图像的图像生成装置及方法
CN105974553A (zh) * 2015-03-13 2016-09-28 三星电机株式会社 用于致动器的驱动器和相机模块
CN107636692A (zh) * 2015-07-07 2018-01-26 三星电子株式会社 图像捕获设备及操作其的方法
US20170264884A1 (en) * 2016-03-08 2017-09-14 Altek Semiconductor Corp. Electronic apparatus and method of generating depth map
US20170358101A1 (en) * 2016-06-10 2017-12-14 Apple Inc. Optical Image Stabilization for Depth Sensing

Also Published As

Publication number Publication date
US20190244377A1 (en) 2019-08-08
CN110121023B (zh) 2021-01-22
TWI694719B (zh) 2020-05-21
EP3522520B1 (en) 2022-03-16
EP3522520A1 (en) 2019-08-07
TW201935912A (zh) 2019-09-01
US10529084B2 (en) 2020-01-07

Similar Documents

Publication Publication Date Title
JP6100380B2 (ja) 特に装置に係る視覚ベースの位置決めに使用される画像処理方法
JP6338021B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20160301868A1 (en) Automated generation of panning shots
EP3028252A1 (en) Rolling sequential bundle adjustment
CN107223330A (zh) 一种深度信息获取方法、装置及图像采集设备
KR20200138021A (ko) 미디어 캡처 및 보유를 위한 비디오 분석 및 관리 기술
US20160210761A1 (en) 3d reconstruction
Brunetto et al. Fusion of inertial and visual measurements for rgb-d slam on mobile devices
EP3275182B1 (en) Methods and systems for light field augmented reality/virtual reality on mobile devices
CN110049246A (zh) 电子设备的视频防抖方法、装置和电子设备
CN111127584A (zh) 建立视觉地图的方法和装置、电子设备和存储介质
CN109147058A (zh) 用于视觉惯导信息融合的初始化方法和装置以及存储介质
US20230316677A1 (en) Methods, devices, apparatuses, and storage media for virtualization of input devices
CN106303495A (zh) 全景立体图像的合成方法、装置及其移动终端
TWI501193B (zh) Computer graphics using AR technology. Image processing systems and methods
CN110121023A (zh) 影像处理方法、电子装置及非暂态电脑可读取存储媒体
CN110290309A (zh) 影像处理方法、电子装置及非暂态电脑可读取存储媒体
JP2019062340A (ja) 像振れ補正装置および制御方法
CN110428452B (zh) 非静态场景点的检测方法、装置、电子设备及存储介质
CN105472232B (zh) 影像撷取方法及电子装置
Reina et al. Robust gyroscope-aided camera self-calibration
CN111489376A (zh) 跟踪交互设备的方法、装置、终端设备及存储介质
Faraji et al. A simplified active calibration algorithm for focal length estimation
JP6960324B2 (ja) ブレ量算出装置、ブレ量補正装置、撮像装置、方法、およびプログラム
CN118055324A (zh) 桌面ar定位系统、方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant