CN109783432A - 用于进行路径平滑的低复杂度优化求解器的装置及方法 - Google Patents

用于进行路径平滑的低复杂度优化求解器的装置及方法 Download PDF

Info

Publication number
CN109783432A
CN109783432A CN201811340654.3A CN201811340654A CN109783432A CN 109783432 A CN109783432 A CN 109783432A CN 201811340654 A CN201811340654 A CN 201811340654A CN 109783432 A CN109783432 A CN 109783432A
Authority
CN
China
Prior art keywords
matrix
controller
equal
simplex
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811340654.3A
Other languages
English (en)
Other versions
CN109783432B (zh
Inventor
裵东运
庄斌南
李正元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109783432A publication Critical patent/CN109783432A/zh
Application granted granted Critical
Publication of CN109783432B publication Critical patent/CN109783432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/12—Simultaneous equations, e.g. systems of linear equations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/58—Random or pseudo-random number generators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Software Systems (AREA)
  • Operations Research (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Computing Systems (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Studio Devices (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)

Abstract

在本文中公开一种用于利用约束变化进行路径平滑的低复杂度优化求解器的装置及方法。根据一个实施例，一种装置包括：L1控制器，被配置成接收要被进行平滑的原始数据级数z，接收权重w0、w1、w2及w3以控制输出路径的平滑度，以及将L1趋势滤波问题公式化，其中L1表示基于L1范数成本的公式；L1中央处理器(CPU)，连接到所述L1控制器且被配置成将所述L1趋势滤波问题变换成原始‑对偶线性规划(LP)优化问题对；以及L1算术逻辑单元(ALU)，连接到所述L1中央处理器且被配置成利用扩展全表单纯形法来求解原始‑对偶问题对的原始问题。

Description

用于进行路径平滑的低复杂度优化求解器的装置及方法
[相关申请的交叉参考]
本申请主张在2017年11月13日在美国专利与商标局提出申请且被授予序列号第62/585,187号的美国临时专利申请的优先权，所述美国临时专利申请的全部内容并入本申请供参考。
技术领域
本公开大体来说涉及一种优化求解器，且更具体来说，涉及一种用于利用约束变化进行路径平滑的低复杂度优化求解器的装置及方法。
背景技术
路径优化(也被称为趋势滤波(trend filtering))旨在基于原始路径找到最优路径，此使作为所述原始路径与将要计算的最优路径二者的函数的成本最小化。路径优化具有广泛应用，包括机器人学、航空及金融。举例来说，可使用路径优化来对抖动的原始相机路径进行平滑以实现视频稳定。
线性规划(linear programming，LP)是用于将若干变量(例如，输出或成本)的线性函数最大化或最小化的数学技术。二次规划(quadratic programming，QP)是求解专门类型的数学优化问题(具体来说，是(受线性约束的)二次优化问题)的过程，即对服从若干变量的线性约束的这些变量的二次函数进行优化(最小化或最大化)的问题。
发明内容
根据一个实施例，提供一种低复杂度优化求解器的装置。所述装置包括：L1控制器，被配置成接收要被进行平滑的原始数据级数z，接收权重w0、w1、w2及w3以控制输出路径的平滑度，以及将L1趋势滤波问题公式化，其中L1表示基于L1范数成本的公式；L1中央处理器(central processing unit，CPU)，连接到所述L1控制器且被配置成将所述L1趋势滤波问题变换成原始-对偶LP优化问题对；以及L1算术逻辑单元(arithmetic logic unit，ALU)，连接到所述L1 CPU且被配置成利用扩展全表单纯形法来求解所述原始-对偶LP优化问题对的原始问题。
根据一个实施例，提供一种低复杂度优化求解器的方法。所述方法包括：由L1控制器接收要被进行平滑的原始数据级数z，接收权重w0、w1、w2及w3以控制输出路径的平滑度，以及将L1趋势滤波问题公式化，其中L1表示基于L1范数成本的公式；由连接到所述L1控制器的L1 CPU将所述L1趋势滤波问题变换成原始-对偶LP优化问题对；以及由连接到所述L1CPU的L1 ALU利用扩展全表单纯形法来求解所述原始-对偶LP优化问题对的原始问题。
根据一个实施例，提供一种低复杂度优化求解器的装置。所述装置包括：L2控制器，被配置成接收要被进行平滑的原始数据级数z，接收权重w0、w1、w2及w3以控制输出路径的平滑度，以及将L2趋势滤波问题公式化，其中L2表示基于L2范数成本的公式；L2CPU，连接到所述L2控制器且被配置成通过对偶变换导出QP问题；以及L2ALU，连接到所述L2CPU且被配置成使用具有封闭形式更新的基于交替方向乘子法(alternating direction methodof multipliers，ADMM)的解来求解所述QP问题。
根据一个实施例，提供一种低复杂度优化求解器的方法。所述方法包括：由L2控制器接收要被进行平滑的原始数据级数z，其中L2表示基于L2范数成本的公式；由所述L2控制器接收权重w0、w1、w2及w3以控制输出路径的平滑度；由所述L2控制器将L2趋势滤波问题公式化；由连接到所述L2控制器的L2CPU通过对偶变换导出QP问题；以及由连接到所述L2CPU的L2ALU使用具有封闭形式更新的基于ADMM的解来求解所述QP问题。
附图说明
结合附图阅读以下详细说明，本公开的某些实施例的以上及其他方面、特征及优点将更显而易见，在附图中：
图1示出根据一个实施例的基于陀螺仪的三维(three-dimensional，3D)视频稳定系统的方块图。
图2示出根据一个实施例的用于L1路径优化器的装置。
图3示出根据一个实施例的基于扩展全表单纯形的LP求解器的方法的流程图。
图4示出根据实施例的L1 ALU的方法的流程图。
图5示出根据一个实施例的L2路径优化器。
图6示出根据一个实施例的基于ADMM的QP求解器的方法的流程图。
图7示出根据一个实施例的L2ALU的方法的流程图。
图8示出根据一个实施例的网络环境中的电子器件的方块图。
图9示出根据一个实施例的相机模块的方块图。
[符号的说明]
100：三维视频稳定系统；
101：三维旋转估计器；
103：三维旋转平滑器；
105：畸变计算器；
107：畸变补偿器；
109：输入；
111、113、115、119、211、213、215、511、513、515：输出；
117、209、509：第二输入；
200：基于扩展全表单纯形的LP求解器；
201：L1控制器；
203：L1中央处理器(L1 CPU)；
205：L1算术处理单元(L1 ALU)；
207、507：第一输入；
301、303、305、307、309、311、313、401、403、405、407、409、411、413、415、417、419、421、423、601、603、605、607、609、611、613、701、703、705、707、709、711、713、715、717：步骤；
500：ADMM QP求解器；
501：L2控制器；
503：L2中央处理器(L2CPU)；
505：L2算术处理单元(L2ALU)；
800：网络环境；
801：电子器件；
802、804：电子器件/外部电子器件；
808：服务器/外部电子器件；
820：处理器；
821：主处理器；
823：辅助处理器；
830、1050：存储器；
832：易失性存储器；
834：非易失性存储器；
836：内部存储器；
838：外部存储器；
840：程序；
842：操作系统；
844：中间件；
846：应用；
850：输入器件；
855：声音输出器件；
860：显示器件；
870：音频模块；
876：传感器模块；
877：接口；
878：连接端子；
879：触感模块；
880、1000：相机模块；
888：电源管理模块；
889：电池；
890：通信模块；
892：无线通信模块；
894：有线通信模块；
896：用户识别模块；
897：天线模块；
898：第一网络；
899：第二网络；
1010：镜头总成；
1020：闪光灯；
1030：图像传感器；
1040：图像稳定器；
1060：图像信号处理器。
具体实施方式
在下文中，参照附图详细阐述本公开的实施例。应注意，相同的元件将由相同的参考编号指示，尽管它们示出在不同的图式中。在以下说明中，提供例如详细配置及组件等具体细节仅是为了帮助全面理解本公开的实施例。因此，对所属领域中的技术人员应显而易见，在不背离本公开的范围的条件下可对本文所述的实施例作出各种改变及修改。另外，为清晰及简洁起见，省略对众所周知的功能及构造的说明。以下所述用语是考虑到本公开中的功能而定义的用语，且可根据用户、用户的意图或习惯而有所不同。因此，这些用语的定义应基于本说明书通篇的内容来确定。
本公开可具有各种修改及各种实施例，以下参照附图详细阐述其中的一些实施例。然而应理解，本公开并非仅限于所述实施例，而是包括处于本公开的范围内的所有修改、等效形式及替代形式。
尽管可能使用包括例如“第一(first)”、“第二(second)”等序数词的用语来阐述各种元件，但结构元件不受这些用语限制。这些用语仅用于区分各个元件。举例来说，在不背离本公开的范围的条件下，“第一结构元件”可被称为“第二结构元件”。相似地，“第二结构元件”也可被称为“第一结构元件”。本文中所用的用语“和/或(and/or)”包括一个或多个相关项的任意及所有组合。
本文中所用的用语仅用于阐述本公开的各种实施例，而并非旨在限制本公开。除非上下文清楚地另外指明，否则单数形式旨在包括复数形式。在本公开中，应理解，用语“包括(include)”或“具有(have)”指示特征、数目、步骤、操作、结构元件、部件或其组合的存在，而不排除一个或多个其他特征、数字、步骤、操作、结构元件、部件或其组合的存在或添加的可能。
除非进行不同地定义，否则本文中所用的所有用语均具有与本公开所属领域中的技术人员所理解的含意相同的含意。例如在常用字典中所定义的用语等用语应被解释为具有与相关技术领域中的上下文含意相同的含意，且除非在本公开中进行清楚定义，否则不应将其解释为具有理想化或过于正式的含意。
根据一个实施例的电子器件可为各种类型的电子器件中的一种。电子器件可包括例如便携式通信器件(例如，智能电话)、计算机、便携式多媒体器件、便携式医疗器件、相机、穿戴式器件或家用电器。根据本公开的一个实施例，电子器件并非仅限于上述电子器件。
本公开中所用的用语并非旨在限制本公开，而是旨在包括对对应实施例的各种改变、等效形式或替代形式。关于对附图的说明，可使用相似的参考编号指代相似的或相关的元件。除非相关上下文清楚地另外指明，否则与物项对应的名词的单数形式可包括一个或多个事物。本文所用的例如“A或B”、“A及B中的至少一者”、“A或B中的至少一者”、“A、B或C”、“A、B、及C中的至少一者”及“A、B、或C中的至少一者”等短语中的每一者可包括与短语中的对应一个短语一同枚举的物项的所有可能组合。本文所用的例如“第一(1st、first)”及第二(2nd、second)等用语可用于将对应的组件与另一个组件进行区分，而不旨在在其他方面(例如，重要性或次序)对组件进行限制。本文意图在于，如果在带有或不带有用语“可操作地”或“可通信地”的条件下将元件(例如，第一元件)称为与另一元件(例如，第二元件)“耦合”、“耦合到”另一元件、与另一元件“连接”或“连接到”另一元件，则其表示元件可直接地(例如，以有线方式)、无线地或通过第三元件与另一元件耦合。
本文所用用语“模块”可包括以硬件、软件或固件形式实施的单元，且可与例如“逻辑”、“逻辑区块”、“部件”及“电路”等其他用语互换使用。模块可为适以执行一种或多种功能的单个整体组件或所述单个整体组件的最小单元或部件。举例来说，根据一个实施例，模块可被实施为应用专用集成电路(application-specific integrated circuit，ASIC)的形式。根据一个实施例，本公开的方法可包括在计算机程序产品中及在计算机程序产品中提供。计算机程序产品可在卖方与买方之间作为产品进行交易。计算机程序产品可以机器可读存储介质(例如，压缩盘只读存储器(compact disc read only memory，CD-ROM))形式分发，或者通过应用商店(例如，播放商店TM(Play StoreTM)在线分发(例如，下载或上传)，或者直接在两个用户器件(例如，智能电话)之间分发。如果在线分发，则计算机程序产品的至少一部分可在机器可读存储介质(例如，制造商服务器、应用商店的服务器或中继服务器的存储器)中临时产生或至少临时存储在所述机器可读存储介质中。
根据一个实施例，上述组件中的每一个组件(例如，模块或程序)可包括单个实体或多个实体。根据一个实施例，可省略上述组件中的一者或多者，或者可添加一个或多个其他组件。作为另外一种选择或另外地，可将多个组件(例如，模块或程序)集成成单个组件。在这种情形中，集成组件仍可以与在集成之前所述多个组件中的对应一者执行一种或多种功能的方式相同或相似的方式来执行所述多个组件中的每一者的所述一种或多种功能。由模块、程序或另一组件执行的操作可依序地、并行地、重复地或启发式地执行，或者所述操作中的一个或多个操作可以不同的次序执行或者被省略，或者可添加一个或多个其他操作。
在实施例中，以下阐述用于使用L1范数进行路径优化的低复杂度求解器。范数是对向量空间中除了被指派长度零的零向量之外的每一个向量指派严格正长度或大小的函数。L1表示基于L1范数成本的公式且L2表示基于L2范数成本的公式。L1范数成本衡量目标值与估计值之间的绝对差的和。使用L1范数成本的求解器(L1求解器)使用专门的路径优化结构且与使用标准LP求解器相比会实现复杂度的明显降低。
在实施例中，以下阐述用于使用L2范数进行路径优化的低复杂度求解器。L2范数成本衡量目标值与估计值之间的差的平方的和。使用L2范数成本的求解器(L2求解器)使用专门的路径优化结构且与使用标准QP求解器相比会实现复杂度的明显降低。
在实施例中，可使用求解器来对抖动的原始相机路径进行平滑以实现视频稳定。对于实时实施方式而言，期望一种计算成本低的高效求解器来用于在智能电话上实施的视频稳定系统。然而，本公开并非仅限于对抖动的原始相机路径进行平滑来实现视频稳定。
视频稳定会去除不期望的运动抖动(motion jitter)并将原来的抖动的视频重构成满足一般观看者的电影感知(cinematographic perception)的稳定视频。稳定技术有两种主要类别，即光学图像稳定(optical image stabilization，OIS)及数字图像稳定(digital image stabilization，DIS)。OIS常常通过基于由陀螺仪测量的瞬时相机移动而机械地移动相机镜头或传感器来实现。因此，会在记录图像之前将不想要的运动去除。DIS在记录图像之后去除不想要的运动。在DIS中，可估计多个帧中的相机运动(例如，估计原始路径)。接着使用路径优化器基于估计原始路径来确定经平滑的路径。通过图像卷绕处理(image warping process)，可采用如同记录视频的相机正在沿经平滑的路径移动一样的方式来校正视频。本公开可应用于DIS，但本公开并非仅限于此。
在实施例中，存在两部分，即用于使用L1范数成本函数来求解路径平滑问题的基于扩展全表单纯形的LP求解器以及用于使用L2范数成本函数来求解路径平滑问题的基于ADMM的QP求解器。基于L1范数的路径平滑问题可被转换成标准LP方程式。在实施例中，会考虑到标准LP方程式的对偶方程式，且提供单纯形法的扩展全表实现方式，此可与热启动方法一起无缝应用来实现复杂度的明显降低。基于L2范数的路径优化问题可通过对偶分析被变换成具有边界约束(box constraint)的QP问题。通过利用QP问题的专门结构，提供基于ADMM的方法，所述基于ADMM的方法在每一迭代中包括封闭形式更新。因此，基于ADMM的QP求解器比替代解决方案更高效。
基于扩展全表的单纯形法会降低计算复杂度并提高数值稳定性。低复杂度LP求解器与热启动一起使用扩展全表单纯形法来在对偶域中求解基于L1范数的路径平滑问题。基于ADMM的方法在迭代中仅使用封闭形式更新来求解具有边界约束的QP问题。低复杂度QP求解器与热启动一起使用基于ADMM的迭代法(iterative method)来求解基于L2范数的路径平滑问题。
用于基于L1范数的路径平滑的基于扩展单纯形的LP求解器提供优点。举例来说，从对偶域导出的LP公式更适合于与热启动方法一起工作以加速收敛。基于扩展全表的单纯形法还将每一迭代中的计算简化并提高数值稳定性。
用于基于L2范数的路径平滑的基于ADMM的QP求解器提供优点。举例来说，从对偶域导出的QP问题将要被进行优化的变量的数目最小化。基于ADMM的迭代方程式将每一迭代中的更新简化成封闭形式计算。通过利用用于收敛加速的热启动方法，基于ADMM的QP求解器比传统的QP求解器更高效。
以下阐述了在视频稳定中使用相机路径平滑方程式的求解器。然而，所述求解器可采用相似的形式应用于更一般的优化问题。
相机路径平滑问题可被公式化为在每一帧中将方程式(1)中的成本函数最小化：
其中z是原始相机路径输入，且y是要被进行优化的经平滑的相机路径。Di矩阵是如在以下方程式(2)、方程式(3)及方程式(4)中所示的阶不同的差分矩阵(differentialmatrix)：
所推导出的方程式的这三个阶足以捕获相机的动态量。对于其他应用而言，可利用修改来选择性地确定阶的不同数目。d(y,z)项表示原始相机路径与稳定的相机路径之间的距离。在实施例中，考虑到L1距离及L2距离二者。在每一视频帧中，原始相机路径的每一维度可存在一个输入向量z。举例来说，如果原始相机路径对相机的三维旋转进行建模，则针对三维旋转路径的每一维度来独立地求解三个路径优化方程式。以下说明涉及单个维度。输入向量包括前一a1帧、当前帧及未来a2-1帧中的路径值。
所述优化问题如在以下方程式(5)中所示：
其中添加阈值向量rth来将已优化路径约束在原始相机路径附近范围内。可添加另一个一致性约束以使前一已优化路径在当前更新中不会发生改变，如在以下方程式(6)中所示：
其中是从先前帧得到的估计结果。
对于基于L1范数的LP问题而言，如果则以上方程式(5)中的优化问题是LP问题。通过引入松弛变量(slack variables)及可将以上方程式(5)转换成以下方程式(7)及方程式(8)中的LP问题，其中|x|表示取向量x的逐个元素的绝对值：
其中
其中I及0是具有恰当大小的单位矩阵(identity matrix)及零矩阵；且1是全为1的向量。将每一个L1范数项β＝|α|最小化被变换成以两个不等式约束-β≤α≤β来将β最小化。通过移除AT的一些列及一些行以及使用前面已优化的值来更新c，利用以上方程式(6)中的先前已优化值来强迫实现一致性。
以下阐述了通过扩展全表单纯形来求解的对偶问题。任何LP问题均可被变换成如以下方程式(9)中所示的标准形式：
s.t.Ax＝b
x≥0，…(9)
其对偶问题可被示出为以下方程式(10)：
s.t.ATy+s＝c
s≥0，…(10)
其中A的维度是m×n，一般来说m≤n，即A是厚度(fat)矩阵。LP方程式可被变换成原始形式或对偶形式。然而，变换成以上方程式(9)中的原始形式需要比直接将以上方程式(7)拟合到对偶域中多的松弛变量。因此，以上方程式(7)可被视为对偶方程式且可对对应的原始问题进行求解。此可通过设定bT＝-[w01T,w11T,w21T,w31T]，以及使用与以上方程式(7)相同的AT及c来实现。根据对偶性定理(duality theorem)，以上问题(9)及(10)的最优解将满足cTx*＝y*Tb。
在本公开中，公开了对单纯形算法的改进，所述改进降低了计算复杂度并提高了数值稳定性。
以上原始问题(9)的解被称为基本可行解(basic feasible solution)。如果满足以下两个条件则解x*便为基本可行解：(a)所有的等式约束均成立以及(b)在这些成立的约束中，有n个线性独立的成立的约束。基本可行解在这n个值中仅具有m个非零元素。基本可行解的非零部分是以下方程式(11)：
xb＝B-1b，…(11)
其中基矩阵B包括A的m个独立列，即B＝[AB(1),…,AB(m)]。在这种情形中，B(1),…,B(m)是对应的列索引且AB(i)表示A的处于基本可行解的基中的一个列。对应的基本可行解是通过对不处于所述基中的其他坐标添加零来获得的。在每一单纯形迭代中，寻找A的不处于B中的列Aj来取代列AB(l)中的当前处于B中的一个列。这样，新的基矩阵变成新的基本可行解的非零部分是由给出。单纯形法实质上在每一迭代中以降低的成本从一个极点遍历到另一个极点。单纯形法在不存在可使成本降低的进入列之后停止。y*是对偶方程式的解，此可使用包含通过单纯形法找到的最优基(optimal basis)的矩阵B来通过y*＝[B-1]TCB计算得到。
单纯形法的计算密集程度最高的部分是计算B-1。在实施例中，使用扩展全表单纯形法来更高效地实施单纯形法。也就是说，通过更新以下表1中的扩展全表来使用基于行运算的更新来实现每一迭代中的单纯形更新：
表1
以上表1中的扩展全表是对全表单纯形法的扩展且将在以下更详细地加以阐述。
迭代以与基矩阵B相关联的扩展全表以及对应的基本可行解x开始。
对扩展全表的第0行中的降低的成本进行检验。如果降低的成本全非负，则当前基本可行解最优，且所述方法终止。否则，选择使的j。
对于作为表中的第j+1个列的中下部分的向量u＝B-1Aj而言，如果u不存在为正的分量，则所述方法终止。
针对ui为正的每一个i计算比率xB(i)/ui。l是与最小比率对应的行的索引，其中xB＝B-1b可从扩展全表的左下部分读出。列AB(l)存在于基中且列Aj进入基。
将第l行的常数倍加到表的每一行以使得ul(例如，主元元素(pivot element))变成1且主元列(pivot column)的所有其他项变成零。
在终止扩展全表单纯形法之后，通过来获得最优对偶解，其中项是扩展全表的右上区块。在扩展全表方法的实施例中，B-1AB＝B-1B＝I，即，不需要对与新更新的基对应的B-1A的第m列执行行运算。而是，将区块的对应部分设定为单位矩阵。
可使用热启动方法来为连续帧求解最优y*以加速收敛。举例来说，可使用在前一帧中获得的最优扩展全表来将当前帧的扩展全表初始化。这种方法仅在以上方程式(7)拟合到对偶域中且原始域中的对应问题得到求解时有效。这是由于由Ax＝b,x≥0给出的原始可行设定在各个帧之间不会改变，由此保证前一帧中的最优解仍为当前帧的LP的基本可行解。由于c在相邻帧中只是稍微发生了改变，因此收敛会加速。
具有热启动的扩展全表单纯形还具有改善的数值稳定性，此在用于求解一般路径优化问题时至关重要。当使用热启动时，B-1在多个帧之间连续地更新。因此，舍入误差(round-off)将从一个帧传播到另一个帧。单纯形法的一个版本，即，经修订的单纯形法将因热启动而遭受这种误差传播。扩展全表对这种误差传播的敏感度低得多，这是因为尽管在全表中对B-1进行了更新，然而B-1不会直接用于任何矩阵乘法。
图1示出根据一个实施例的基于陀螺仪的三维视频稳定系统的方块图。基于陀螺仪的三维视频稳定系统100包括三维旋转估计器101、三维旋转平滑器103、畸变计算器105及畸变补偿器107。
三维旋转估计器101包括输入109及输出111。三维旋转估计器101可在输入109处接收由陀螺仪测量的角速度且使用所述角速度来估计相机的三维旋转以及在输出111处输出累积三维旋转原始相机路径。
三维旋转平滑器103包括与三维旋转估计器101的输出111连接的输入、以及输出113。三维旋转平滑器103对从三维旋转估计器101接收的三维原始相机路径进行平滑并在输出113处输出三维原始相机路径以及三维经平滑相机路径。
畸变计算器105包括与三维旋转平滑器103的输出113连接的输入以及用于提供畸变栅格(distorted grid)的输出115。通过使用三维原始相机路径以及三维经平滑相机路径，畸变计算器105确定畸变栅格。
畸变补偿器107包括与畸变计算器105的输出115连接的第一输入、第二输入117及输出119。畸变补偿器107接收由畸变计算器105确定的畸变栅格，在第二输入117处接收图像序列且使用畸变栅格来补偿图像序列中的三维旋转。
图2示出根据一个实施例的用于L1路径优化器的装置。基于扩展全表单纯形的LP求解器200将L1趋势滤波问题变换成LP原始-对偶问题对，此使得能够高效地利用扩展全表单纯形法与热启动技术。
参照图2，基于扩展全表单纯形的LP求解器200包括L1控制器201、L1 CPU 203及L1ALU 205。
L1控制器201包括用于接收要被进行平滑的原始数据级数z的第一输入207、用于接收所选择权重w0、w1、w2及w3以控制输出路径的平滑度的第二输入209以及输出211。L1控制器201在方程式(12)中将L1趋势滤波问题公式化：
L1 CPU 203包括与L1控制器201的输出211连接的输入、以及输出213。L1 CPU 203将以上方程式(12)中的L1趋势滤波问题变换成原始-对偶问题对。
L1 ALU 205包括与L1 CPU 203的输出213连接的第一输入、输出215及连接到输出215的第二输入。L1 ALU 205与热启动一起利用扩展全表单纯形法来求解原始问题并输出经平滑的路径y，其中原始问题的前一解被用作热启动。以下将参照图4更详细地阐述L1ALU 205的操作。
图3示出根据一个实施例的基于扩展全表单纯形的LP求解器的方法的流程图。在301处，基于扩展全表单纯形的LP求解器通过L1控制器来接收要被进行平滑的原始数据级数z。在303处，基于扩展全表单纯形的LP求解器通过L1控制器来接收所选择权重w0、w1、w2及w3以控制输出路径的平滑度。在305处，基于扩展全表单纯形的LP求解器通过L1控制器来将L1趋势滤波问题公式化为如以上方程式(12)中所示。
在307处，基于扩展全表单纯形的LP求解器通过L1 CPU将以上方程式(12)中的L1趋势滤波问题变换成原始-对偶问题。在309处，基于扩展全表单纯形的LP求解器通过L1ALU利用扩展全表单纯形法以热启动来求解原始问题。在311处，基于扩展全表单纯形的LP求解器通过L1 ALU来使用原始问题的前一解(例如，309处的解)作为热启动。在313处，基于扩展全表单纯形的LP求解器通过L1 ALU来输出经平滑的路径y。
图4示出根据实施例的L1 ALU(例如，图2中的L1 ALU 205、以及图3中的步骤309)的方法的流程图。在401处，L1 ALU使用第k帧输入zk来更新c。
在403处，L1 ALU判断k是否等于0。在405处，如果确定k等于0，则L1 ALU使用标准单纯形初始化来将全表初始化。在407处，如果确定k不等于0，则L1 ALU利用热启动(例如，使用最新更新的全表)来将全表初始化。
在409处，L1 ALU确定当前全表。在411处，L1 ALU判断成本是否全非负。在413处，如果确定成本全非负，则L1 ALU输出
在415处，如果确定成本并非全非负，则L1 ALU确定时的进入列j。在417处，L1 ALU判断u＝B-1Aj是否非正。在419处，如果u＝B-1Aj非正，则L1 ALU确定无界解。
在421处，如果u＝B-1Aj并非非正，则L1 ALU确定给出所有正ui中的最小xB(i)/ui的现有列j。在423处，L1 ALU执行基本行运算并更新全表。
以下阐述基于L2范数的QP问题。如果在以下方程式(13)中则以上方程式(5)中的优化问题变成QP问题：
以上方程式(13)可被变换成标准QP形式。在这种情形中，由于对偶域需要的松弛变量更少，因此执行对偶域变换。首先xi＝Diy。因此，以上方程式(13)可被改写为以下方程式(14)：
s.t.-rth≤y-z≤rth
xi＝Diy,i＝1,2,3…(14)
以上方程式(14)的拉格朗日函数(Lagrangian function)由以下方程式(15)给出：
其中v＝[v1,v2,v3]T是在xi＝Diy,i＝1,2,3时的拉格朗日乘子；且是在-rth≤y-z≤rth时的拉格朗日乘子。将x视为唯一变量，以上方程式(15)的解是以下方程式(16)：
因此，添加额外的约束-wi1≤νi≤wi1。在约束-wi1≤νi≤wi1的条件下来求解以上方程式(16)中的最优y，从而得出L(y*,x*,v,μ)＝infyL(y,x*,ν,μ)。根据对偶性定理，对偶方程式接着变成maxν,μL(y*,x*,ν,μ)，此可导出为以下方程式(17)：
s.t.γlb≤η≤γub
其中
一旦获得了最优对偶解η*，便可通过以下方程式(18)来恢复原始解：
以上方程式(18)是具有边界约束的正半定QP问题(positive semidefinite QPproblem)。用于求解QP问题的一些方法包括例如QP内点法(QP interior point method)及坐标下降法(coordinate descent method)。在实施例中，使用ADMM来求解以上方程式(17)中的QP问题。
以下阐述基于ADMM的对偶解。以上方程式(17)可被改写为以下方程式(19)：
s.t.γlb≤x≤γub…(19)
其中H＝AAT，f＝2(Az+B)，且x＝η。等价公式是以下方程式(20)：
minxxTHx+fTx
s.t.x＝y
γlb≤y≤γub…(20)
通过在约束x＝y下考虑对偶，以上方程式(20)的增广拉格朗日量(augmentedlagrangian)是方程式(21)：
其中ρ是二次惩罚的权重。用于求解方程式(21)的基于ADMM的更新由以下方程式(22)、方程式(23)及方程式(24)给出：
xk+1＝arg minxL(x,yk+1,αk)…(23)
αk+1＝αk+ρ(xk+1-yk+1)…(24)
如果原始间隙rp＝|xk-yk|2及对偶间隙rd＝|ρ(xk-xk-1)|2二者均低于预定阈值γ，则所述方法终止。
x更新(xk+1＝arg minxL(x,yk+1,αk))是不受约束的QP问题，其可由以下方程式(25)进行计算：
xk+1＝[2H+ρI]-1(ρyk+1-αk-f)…(25)
由于使用固定的ρ，因此可仅计算一次矩阵求逆(matrix inversion)[2H+ρI]-1且可对所有帧中的所有迭代重复使用。y更新实质上是在边界约束γlb≤y≤γub下找到与点的最小距离，所述y更新还具有以下方程式(26)中的封闭形式解：
基于ADMM的QP求解器还可通过将x0设定成前一帧中的最优解来配合热启动使用。由于封闭形式更新复杂度低，因此所述方法比传统方法运行地快得多。
图5示出根据一个实施例的L2路径优化器。ADMM QP求解器500包括L2控制器501、L2 CPU 503及L2 ALU 505。
L2控制器501包括用于接收要被进行平滑的原始数据级数z的第一输入507、用于接收所选择权重w0、w1、w2及w3以控制输出路径的平滑度的第二输入509、以及输出511。L2控制器501在以下方程式(27)中将L2趋势滤波问题公式化：
L2 CPU 503包括与L2控制器501的输出511连接的输入、以及输出513。L2 CPU 503通过对偶变换导出QP问题。
L2 ALU 505包括与L2 CPU 503的输出513连接的第一输入、输出515及连接到输出515的第二输入。L2 ALU 505使用具有封闭形式更新的基于ADMM的解以热启动来求解QP问题，并输出经平滑的路径y，其中具有封闭形式更新的基于ADMM的解的前一解被用作热启动。以下将参照图7更详细地阐述L2 ALU 505的操作。
图6示出根据一个实施例的基于ADMM的QP求解器的方法的流程图。在601处，基于ADMM的QP求解器通过L2控制器接收要被进行平滑的原始数据级数z。在603处，基于ADMM的QP求解器通过L2控制器接收所选择权重w0、w1、w2及w3以控制输出路径的平滑度。在605处，基于ADMM的QP求解器通过L2控制器将L2趋势滤波问题公式化为如以上方程式(27)中所示。
在607处，基于ADMM的QP求解器通过L2 CPU来经由对偶变换导出QP问题。在609处，基于ADMM的QP求解器通过L2 ALU使用具有封闭形式更新的基于ADMM的解来求解QP问题。在611处，基于ADMM的QP求解器通过L2 ALU使用QP问题的前一解作为热启动。在613处，基于ADMM的QP求解器通过L2 ALU来输出经平滑的路径y。
L1趋势滤波不同于L2趋势滤波。由于对距离惩罚项的不同的选择将改变所输出的经平滑的路径的性质，因此选择使用L1趋势滤波以及L2趋势滤波中的哪一者需视应用要求而定。
LP求解器与QP求解器在以上方程式(1)中可采用不同数目的导出项。基于ADMM的QP求解器还可对具有L2范数的导出项进行处理。可将LP求解器及QP求解器推广到求解考虑更高阶项的滤波问题。
图7示出根据实施例的L2 ALU(例如，图5中的L2 ALU 505以及图6中的步骤609)的方法的流程图。在701处，L2 ALU使用第n帧输入zn来更新f。
在703处，L2 ALU判断n是否等于0。在705处，如果n等于0，则L2 ALU随机地将变量x0及拉格朗日乘子α0初始化，并设定迭代次数k等于0。在707处，如果n不等于0，则L2 ALU使用来自前一帧n-1的最新更新来将x0及α0初始化并设定迭代次数k等于0。
在709处，L2 ALU根据以下方程式(28)、方程式(29)及方程式(30)来确定基于ADMM的更新：
xk+1＝[2H+ρI]-1(ρyk+1-αk-f)…(28)
αk+1＝αk+ρ(xk+1-yk+1)…(30)
在711处，L2 ALU根据以下方程式(31)及方程式(32)来计算残留间隙：
rp＝|xk-yk|2…(31)
rd＝|ρ(xk-xk-1)|2…(32)
在713处，L2 ALU判断rp<y及rd<y是否成立。在715处，如果rp<y及rd<y不成立，则L2ALU将迭代次数k设定成k+1。在717处，如果rp<y且rd<y，则L2 ALU输出
图8示出根据一个实施例的网络环境中的电子器件的方块图。网络环境800中的电子器件801可通过第一网络898(例如，短距离无线通信网络)来与电子器件802进行通信，或者通过第二网络899(例如，长距离无线通信网络)来与电子器件804或服务器808进行通信。根据一个实施例，电子器件801可通过服务器808来与电子器件804进行通信。电子器件801可包括处理器820、存储器830、输入器件850、声音输出器件855、显示器件860、音频模块870、传感器模块876、接口877、触感模块(haptic module)879、相机模块880、电源管理模块888、电池889、通信模块890、用户识别模块(subscriber identification module，SIM)896或天线模块897。在一个实施例中，可从电子器件801省略这些组件中的至少一者(例如，显示器件860或相机模块880)，或者可向电子器件801添加一个或多个其他组件。在一个实施例中，所述组件中的一些组件可被实施为单个集成电路(integrated circuit，IC)。举例来说，传感器模块876(例如，指纹传感器(fingerprint sensor)、虹膜传感器(iris sensor)或亮度传感器(illuminance sensor))可嵌入在显示器件860(例如，显示器)中。
处理器820可执行例如软件(例如，程序840)以控制与处理器820耦合的电子器件801的至少一个其他组件(例如，硬件组件或软件组件)，且可执行各种数据处理或计算。根据一个实施例，作为数据处理或计算的至少一部分，处理器820可在易失性存储器832中加载从另一个组件(例如，传感器模块876或通信模块890)接收的命令或数据，处理存储在易失性存储器832中的命令或数据，以及将所得数据存储在非易失性存储器834中。根据一个实施例，处理器820可包括主处理器821(例如，CPU或应用处理器(application processor，AP))以及能够独立于主处理器821运行或与主处理器821结合运行的辅助处理器823(例如，图形处理单元(graphics processing unit，GPU)、图像信号处理器(image signalprocessor，ISP)、传感器集线器处理器(sensor hub processor)或通信处理器(communication processor，CP))。另外地或作为另外一种选择，辅助处理器823可适以消耗比主处理器821少的功率，或者执行特定功能。辅助处理器823可与主处理器821分开实施或者作为主处理器821的一部分实施。
当主处理器821处于非现用(inactive)(例如，睡眠)状态时，辅助处理器823可替代主处理器821来控制与电子器件801的组件中的至少一个组件(例如，显示器件860、传感器模块876或通信模块890)相关的功能或状态中的至少一些功能或状态；或者当主处理器821处于现用状态(例如，正在执行应用时)，辅助处理器823可与主处理器821一起控制上述功能或状态中的至少一些功能或状态。根据一个实施例，辅助处理器823(例如，图像信号处理器或通信处理器)可被实施为在功能上与辅助处理器823相关的另一个组件(例如，相机模块880或通信模块890)的一部分。
存储器830可存储由电子器件801的至少一个组件(例如，处理器820或传感器模块876)使用的各种数据。所述各种数据可包括例如软件(例如，程序840)以及用于与软件相关的命令的输入数据或输出数据。存储器830可包括易失性存储器832或非易失性存储器834。
程序840可作为软件存储在存储器830中且可包括例如操作系统(operatingsystem，OS)842、中间件(middleware)844或应用846。
输入器件850可从电子器件801的外部(例如，用户)接收将由电子器件801的其他组件(例如，处理器820)使用的命令或数据。输入器件850可包括例如麦克风、鼠标或键盘。
声音输出器件855可将声音信号输出到电子器件801的外部。声音输出器件855可包括例如扬声器或接收器。扬声器可用于一般用途(例如，播放多媒体或录音)，且接收器可用于接收传入呼叫。根据一个实施例，接收器可与扬声器分开实施或作为扬声器的一部分实施。
显示器件860可向电子器件801的外部(例如，用户)以视觉方式提供信息。显示器件860可包括例如显示器、全息图器件(hologram device)或投影仪以及用于控制显示器、全息图器件及投影仪中的对应一者的控制电路。根据一个实施例，显示器件860可包括适以检测触摸的触摸电路、或适以测量由触摸引发的力的强度的传感器电路(例如，压力传感器)。
音频模块870可将声音转换成电信号以及将电信号转换成声音。根据一个实施例，音频模块870可通过输入器件850获得声音，或者通过声音输出器件855或通过与电子器件801直接地(例如，以有线方式)耦合或无线耦合的外部电子器件(例如，电子器件802)的头戴耳机来输出声音。
传感器模块876可检测电子器件801的运行状态(例如，功率或温度)或者电子器件801外部的环境状态(例如，用户状态)，且接着产生与所检测的状态对应的电信号或数据值。根据一个实施例，传感器模块876可包括例如手势传感器(gesture sensor)、陀螺仪传感器(gyro sensor)、大气压传感器(atmospheric pressure sensor)、磁性传感器(magnetic sensor)、加速度传感器(acceleration sensor)、握持传感器(grip sensor)、接近传感器(proximity sensor)、颜色传感器(color sensor)、红外(infrared，IR)传感器、生物特征传感器(biometric sensor)、温度传感器(temperature sensor)、湿度传感器(humidity sensor)或亮度传感器。
接口877可支持为将电子器件801直接地(例如，以有线方式)或无线地与外部电子器件(例如，电子器件802)耦合而使用的一种或多种规定协议。根据一个实施例，接口877可包括例如高清晰度多媒体接口(high definition multimedia interface，HDMI)、通用串行总线(universal serial bus，USB)接口、安全数字(secure digital，SD)卡接口或音频接口。
连接端子878可包括连接件，电子器件801可通过连接件与外部电子器件(例如，电子器件802)实体连接。根据一个实施例，连接端子878可包括例如HDMI连接件、USB连接件、SD卡连接件或音频连接件(例如，头戴耳机连接件)。
触感模块879可将电信号转换成机械刺激(例如，震动或移动)或者可由用户通过触觉(tactile sensation)或运动觉(kinesthetic sensation)识别的电刺激。根据一个实施例，触感模块879可包括例如电动机、压电式元件(piezoelectric element)或电刺激器(electrical stimulator)。
相机模块880可拍摄静止图像或移动图像。根据一个实施例，相机模块880可包括一个或多个镜头、图像传感器、图像信号处理器或闪光灯。
电源管理模块888可管理向电子器件801供应的电力。根据一个实施例，电源管理模块888可被实施为例如电源管理集成电路(power management integrated circuit，PMIC)的至少一部分。
电池889可向电子器件801的至少一个组件供电。根据一个实施例，电池889可包括例如不可再充电的一次电池(primary cell)、可再充电的二次电池(secondary cell)或燃料电池(fuel cell)。
通信模块890可支持在电子器件801与外部电子器件(例如，电子器件802、电子器件804或服务器808)之间建立直接的(例如，有线的)通信信道或无线的通信信道以及通过所建立的通信信道执行通信。通信模块890可包括可独立于处理器820(例如，AP)运行的一个或多个通信处理器并支持直接的(例如，有线的)通信或无线的通信。根据一个实施例，通信模块890可包括无线通信模块892(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(global navigation satellite system，GNSS)通信模块)或有线通信模块894(例如，局域网(local area network，LAN)通信模块或电力线通信(power linecommunication，PLC)模块)。这些通信模块中对应的一个通信模块可通过第一网络898(例如，短距离通信网络，例如蓝牙TM、无线保真(wireless-fidelity，Wi-Fi)直接或红外数据协会(Infrared Data Association，IrDA)标准)或第二网络899(例如，长距离通信网络，例如蜂窝网络、互联网或计算机网络(例如，LAN或广域网(wide area network，WAN)))与外部电子器件进行通信。这些各种类型的通信模块可被实施为单个组件(例如，单个集成电路)或者可被实施为彼此分开的多个组件(例如，多个集成电路)。无线通信模块892可使用存储在用户识别模块896中的用户信息(例如，国际移动用户识别码(international mobilesubscriber identity，IMSI))来识别及认证通信网络(例如，第一网络898或第二网络899)中的电子器件801。
天线模块897可将信号或电力传送到电子器件801外部(例如，外部电子器件)或者从电子器件801外部接收信号或电力。根据一个实施例，天线模块897可包括一个或多个天线，且由此举例来说通信模块890(例如，无线通信模块892)可从所述一个或多个天线中选择适用于在通信网络(例如，第一网络898或第二网络899)中使用的通信方案的至少一个天线。然后可通过所选择的至少一个天线在通信模块890与外部电子器件之间传送或接收信号或电力。
上述组件中的至少一些组件可相互耦合且所述至少一些组件之间可通过外围间通信方案(inter-peripheral communication scheme)(例如，总线、通用输入及输出(general purpose input and output，GPIO)、串行外围接口(serial peripheralinterface，SPI)或移动产业处理器接口(mobile industry processor interface，MIPI))传送信号(例如，命令或数据)。
根据一个实施例，可通过与第二网络899进行耦合的服务器808在电子器件801与外部电子器件804之间传送或接收命令或数据。电子器件802及电子器件804中的每一者可为与电子器件801为相同类型或不同类型的器件。根据一个实施例，将在电子器件801处执行的所有操作或一些操作可在外部电子器件802、外部电子器件804或外部电子器件808中的一者或多者处执行。举例来说，如果电子器件801原本应自动地或响应于来自用户或另一个器件的请求而执行功能或服务，则替代执行所述功能或服务或者除了执行所述功能或服务之外，电子器件801还可请求所述一个或多个外部电子器件执行所述功能或服务的至少一部分。接收到所述请求的所述一个或多个外部电子器件可执行所请求的功能或服务的所述至少一部分，或者执行与所述请求相关的其他功能或其他服务，并将所述执行的结果传输到电子器件801。电子器件801在对结果进行进一步处理或不进行进一步处理的情况下提供所述结果作为对请求的回复的至少一部分。为此，举例来说，可使用云计算、分布式计算或客户机-服务器计算技术。
一个实施例可被实施为包括存储在可由机器(例如，电子器件801)读取的存储介质(例如，内部存储器836或外部存储器838)中的一个或多个指令的软件(例如，程序840)。举例来说，机器(例如，电子器件801)的处理器(例如，处理器820)可在使用或不使用受处理器控制的一个或多个其他组件的条件下调用存储在存储介质中的所述一个或多个指令中的至少一个指令，并执行所述至少一个指令。因此，可操作机器根据所调用的至少一个指令来执行至少一种功能。所述一个或多个指令可包括由编译器产生的代码或者可由解释器执行的代码。机器可读存储介质可设置成非暂时性存储介质形式。用语“非暂时性”表示存储介质是有形器件，且不包括信号(例如，电磁波)，但此用语并不区分数据以半永久方式存储在存储介质中的情形与数据临时存储在存储介质中的情形。
图9示出根据一个实施例的相机模块的方块图。相机模块1000可包括镜头总成1010、闪光灯1020、图像传感器1030、图像稳定器(image stabilizer)1040、存储器1050(例如，缓冲存储器)或图像信号处理器1060。镜头总成1010可收集从要被拍摄图像的物体发出或反射的光。镜头总成1010可包括一个或多个镜头。根据一个实施例，相机模块1000可包括多个镜头总成1010。在这种情形中，相机模块1000可形成例如双摄相机(dual camera)、360度相机(360-degree camera)或球形相机(spherical camera)。所述多个镜头总成1010中的一些镜头总成1010可具有相同的镜头属性(例如，视角、焦距、自动聚焦(auto-focusing)、f数(f number)或光学变焦(optical zoom))，或者至少一个镜头总成可具有与另一镜头总成的属性不同的一个或多个镜头属性。镜头总成1010可包括例如广角镜头(wide-angle lens)或摄远镜头(telephoto lens)。
闪光灯1020可发出光来加强从物体反射的光。根据一个实施例，闪光灯1020可包括一个或多个发光二极管(light emitting diode，LED)(例如，红绿蓝(red-green-blue，RGB)LED、白色LED、红外(IR)LED或紫外(ultraviolet，UV)LED)或氙气灯(xenon lamp)。图像传感器1030可通过将从物体发出或反射并通过镜头总成1010透射的光转换成电信号来获得与物体对应的图像。根据一个实施例，图像传感器1030可选自具有不同属性的图像传感器，例如RGB传感器、黑白(black-and-white，BW)传感器、IR传感器或UV传感器、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器。包括在图像传感器1030中的每一个图像传感器可使用例如电荷耦合器件(charged coupled device，CCD)传感器或互补金属氧化物半导体(complementary metal oxide semiconductor，CMOS)传感器来实施。
图像稳定器1040可在特定方向上移动图像传感器1030或移动镜头总成1010中包括的至少一个镜头，或者响应于相机模块1000的移动或包括相机模块1000的电子器件801的移动来控制图像传感器1030的操作属性(例如，调整读出时序)。这使得能够补偿因所述移动而对正被拍摄的图像造成的至少部分负面影响(例如，图像模糊)。根据一个实施例，图像稳定器1040可使用设置在相机模块1000内部或外部的陀螺仪传感器或加速度传感器来感测相机模块1000或电子器件801的这种移动。根据一个实施例，图像稳定器1040可被实施为例如光学图像稳定器。
存储器1050可至少临时地存储通过图像传感器1030获得的图像的至少一部分以用于后续图像处理任务。举例来说，如果由于快门滞后(shutter lag)而导致图像拍摄延迟或如果快速拍摄多个图像，则可将获得的原始图像(例如，拜耳图案图像(Bayer-patternedimage)、高分辨率图像)存储在存储器1050中，且可通过显示器件860来预览原始图像的对应的副本图像(例如，低分辨率图像)。之后，如果满足规定条件(例如，用户的输入或系统命令满足所述规定条件)，则图像信号处理器1060可例如获得及处理存储在存储器1050中的原始图像的至少一部分。根据一个实施例，存储器1050可被配置成存储器830的至少一部分或者被配置成独立于存储器830运行的单独存储器。
图像信号处理器1060可对通过图像传感器1030获得的图像或存储在存储器1050中的图像执行一种或多种图像处理。所述一种或多种图像处理可包括例如深度图生成(depth map generation)、三维建模、全景生成(panorama generation)、特征点提取、图像合成或图像补偿(例如，降噪、分辨率调整、明度调整、模糊、锐化或软化)。另外地或作为另外一种选择，图像信号处理器1060可对相机模块880中所包括的组件中的至少一个组件(例如，图像传感器1030)执行控制(例如，曝光时间控制或读出时序控制)。由图像信号处理器1060处理的图像可存储在存储器1050中以用于进一步处理，或者可被提供到位于相机模块1000外部的外部组件(例如，存储器830、显示器件860、电子器件802、电子器件804或服务器808)。根据一个实施例，图像信号处理器1060可被配置成处理器820的至少一部分，或者被配置成独立于处理器820运行的单独处理器。如果图像信号处理器1060被配置成与处理器820分开的单独处理器，则处理器820可通过显示器件860来原样显示由图像信号处理器1060处理的至少一个图像或者在对所述至少一个图像进行进一步处理之后加以显示。
根据一个实施例，电子器件801可包括具有不同的属性或功能的多个相机模块880。在这种情形中，所述多个相机模块880中的至少一个相机模块880可形成例如广角相机且所述多个相机模块880中的至少另一个相机模块880可形成摄远相机。相似地，所述多个相机模块880中的至少一个相机模块880可形成例如前置相机且所述多个相机模块880中的至少另一个相机模块880可形成后置相机。
尽管已在本公开的详细说明中阐述了本公开的某些实施例，然而在不背离本公开的范围的条件下可以各种形式来对本公开进行修改。因此，本公开的范围不应仅基于所阐述的实施例来确定，而是应基于随附权利要求书及其等效形式来确定。

Claims (20)

1.一种低复杂度优化求解器的装置，包括：
L1控制器，被配置成接收要被进行平滑的原始数据级数z，接收权重w0、w1、w2及w3以控制输出路径的平滑度，以及将L1趋势滤波问题公式化，其中L1表示基于L1范数成本的公式；
L1中央处理器，连接到所述L1控制器且被配置成将所述L1趋势滤波问题变换成原始-对偶线性规划优化问题对；以及
L1算术逻辑单元，连接到所述L1中央处理器且被配置成利用扩展全表单纯形法来求解所述原始-对偶线性规划优化问题对的原始问题。
2.根据权利要求1所述的装置，其中所述L1算术逻辑单元还被配置成使用所述原始-对偶线性规划优化问题对的前一解作为热启动。
3.根据权利要求1所述的装置，其中所述L1控制器还被配置成将所述L1趋势滤波问题公式化为：
其中y是经平滑的所述输出路径，Di是第i阶微分矩阵，且rth是阈值向量。
4.根据权利要求1所述的装置，其中所述L1算术逻辑单元还被配置成利用如下所示扩展全表单纯形法来求解所述原始-对偶线性规划优化问题对的所述原始问题：
其中A是厚度矩阵，c是列矩阵，B是基矩阵，T表示矩阵的转置，且b＝Ax，且x是向量。
5.根据权利要求1所述的装置，其中所述L1算术逻辑单元还被配置成通过以下操作来求解所述原始-对偶线性规划优化问题对的所述原始问题：使用第k帧输入zk来更新c，其中k是整数；判断k是否等于0，如果确定k等于0，则使用单纯形初始化来将所述扩展全表单纯形法初始化；如果确定k不等于0，则利用所述扩展全表单纯形法的最新更新的热启动来将所述扩展全表单纯形法初始化；确定当前扩展全表单纯形法；判断成本是否全非负；如果确定所述成本全非负，则输出如果确定所述成本并非全非负，则确定时的进入列j；判断u＝B-1Aj是否非正；如果u＝B-1Aj非正，则确定无界解；如果u＝B-1Aj并非非正，则确定给出所有正ui中的最小xB(i)/ui的现有列j；以及执行基本行运算并更新所述扩展全表单纯形法，
其中y是经平滑的所述输出路径，c是列矩阵，B是基矩阵，T表示矩阵的转置，A是厚度矩阵，x是向量，i是B的第i列索引。
6.一种低复杂度优化求解器的方法，包括：
由L1控制器接收要被进行平滑的原始数据级数z，接收权重w0、w1、w2及w3以控制输出路径的平滑度，以及将L1趋势滤波问题公式化，其中L1表示基于L1范数成本的公式；
由连接到所述L1控制器的L1中央处理器将所述L1趋势滤波问题变换成原始-对偶线性规划优化问题对；以及
由连接到所述L1中央处理器的L1算术逻辑单元利用扩展全表单纯形法来求解所述原始-对偶线性规划优化问题对的原始问题。
7.根据权利要求6所述的方法，还包括由所述L1算术逻辑单元使用所述原始问题的前一解作为热启动。
8.根据权利要求6所述的方法，其中将所述L1趋势滤波问题公式化包括将所述L1趋势滤波问题公式化为：
其中y是经平滑的所述输出路径，Di是第i阶微分矩阵，且rth是阈值向量。
9.根据权利要求6所述的方法，其中由连接到所述L1中央处理器的所述L1算术逻辑单元来求解所述原始-对偶线性规划优化问题对的所述原始问题包括如下所示方法：
其中A是厚度矩阵，c是列矩阵，B是基矩阵，T表示矩阵的转置，且b＝Ax，且x是向量。
10.根据权利要求6所述的方法，其中由连接到所述L1中央处理器的所述L1算术逻辑单元利用所述扩展全表单纯形法来求解所述原始-对偶线性规划优化问题对的所述原始问题包括：
使用第k帧输入zk来更新c，其中k是整数；
判断k是否等于0，如果确定k等于0，则使用单纯形初始化来将所述扩展全表单纯形法初始化；
如果确定k不等于0，则利用所述扩展全表单纯形法的最新更新的热启动来将所述扩展全表单纯形法初始化；
确定当前扩展全表单纯形法；
判断成本是否全非负，如果确定所述成本全非负，则输出
如果确定所述成本并非全非负，则确定时的进入列j；
判断u＝B-1Aj是否非正；
如果u＝B-1Aj非正，则确定无界解；
如果u＝B-1Aj并非非正，则确定给出所有正ui中的最小xB(i)/ui的现有列j；以及
执行基本行运算并更新所述扩展全表单纯形法，
其中y是经平滑的所述输出路径，c是列矩阵，B是基矩阵，T表示矩阵的转置，A是厚度矩阵，x是向量，i是B的第i列索引。
11.一种低复杂度优化求解器的装置，包括：
L2控制器，被配置成接收要被进行平滑的原始数据级数z，接收权重w0、w1、w2及w3以控制输出路径的平滑度，以及将L2趋势滤波问题公式化，其中L2表示基于L2范数成本的公式；
L2中央处理器，连接到所述L2控制器且被配置成通过对偶变换导出二次规划问题；以及
L2算术逻辑单元，连接到所述L2中央处理器且被配置成使用具有封闭形式更新的基于交替方向乘子法的解来求解所述二次规划问题。
12.根据权利要求11所述的装置，其中所述L2算术逻辑单元还被配置成使用所述基于交替方向乘子法的解的前一解作为热启动。
13.根据权利要求11所述的装置，其中所述L2控制器还被配置成将所述L2趋势滤波问题公式化为：
其中y是经平滑的所述输出路径，Di是第i阶微分矩阵，且rth是阈值向量。
14.根据权利要求11所述的装置，其中所述L2算术逻辑单元还被配置成通过对偶变换导出所述二次规划问题。
15.根据权利要求11所述的装置，其中所述L2算术逻辑单元还被配置成通过以下操作使用具有封闭形式更新的所述基于交替方向乘子法的解来求解所述二次规划问题：使用第n帧输入zn来更新f；判断n是否等于0；如果n等于0，则随机地将变量x0及拉格朗日乘子α0初始化，并设定迭代次数k等于0；如果n不等于0，则使用来自前一帧n-1的最新更新来将x0及α0初始化并设定所述迭代次数k等于0；根据以下公式确定基于交替方向乘子法的更新：
xk+1＝[2H+ρI]-1(ρyk+1-αk-f)
αk+1＝αk+ρ(xk+1-yk+1)
根据以下公式计算残留间隙：
rp＝|xk-yk|2
rd＝|ρ(xk-xk-1)|2
判断rp<y及rd<y是否成立；如果rp<y及rd<y不成立，则将所述迭代次数k设定成k+1；如果rp<y且rd<y，则输出其中，f＝2(Az+B)，H＝AAT，A是厚度矩阵，T是转置，B是基矩阵，n是整数，k是整数，z是原始数据级数，ρ是二次惩罚的权重，γlb是下限阈值，γub是上限阈值，且y是经平滑的所述输出路径。
16.一种低复杂度优化求解器的方法，包括：
由L2控制器接收要被进行平滑的原始数据级数z，其中L2表示基于L2范数成本的公式；
由所述L2控制器接收权重w0、w1、w2及w3以控制输出路径的平滑度，
由所述L2控制器将L2趋势滤波问题公式化；
由连接到所述L2控制器的L2中央处理器通过对偶变换导出二次规划问题；以及
由连接到所述L2中央处理器的L2算术逻辑单元使用具有封闭形式更新的基于交替方向乘子法的解来求解所述二次规划问题。
17.根据权利要求16所述的方法，还包括：由所述L2算术逻辑单元使用所述基于交替方向乘子法的解的前一解作为热启动。
18.根据权利要求16所述的方法，其中由所述L2控制器将L2趋势滤波问题公式化为：
其中y是经平滑的所述输出路径，Di是第i阶微分矩阵，且rth是阈值向量。
19.根据权利要求16所述的方法，其中由连接到所述L2控制器的所述L2中央处理器通过对偶变换导出二次规划问题。
20.根据权利要求16所述的方法，其中由连接到所述L2中央处理器的所述L2算术逻辑单元使用具有封闭形式更新的所述基于交替方向乘子法的解来求解所述二次规划问题包括：
使用第n帧输入zn来更新f；
判断n是否等于0；
如果n等于0，则随机地将变量x0及拉格朗日乘子α0初始化，并设定迭代次数k等于0；
如果n不等于0，则使用来自前一帧n-1的最新更新来将x0及α0初始化并设定所述迭代次数k等于0；
根据以下公式确定基于交替方向乘子法的更新：
xk+1＝[2H+ρI]-1(ρyk+1-αk-f)
αk+1＝αk+ρ(xk+1-yk+1)
根据以下公式计算残留间隙：
rp＝|xk-yk|2
rd＝|ρ(xk-xk-1)|2
判断rp<y及rd<y是否成立；
如果rp<y及rd<y不成立，则将所述迭代次数k设定成k+1；以及
如果rp<y且rd<y，则输出其中f＝2(Az+B)，H＝AAT，A是厚度矩阵，T是转置，B是基矩阵，n是整数，k是整数，z是原始数据级数，ρ是二次惩罚的权重，γlb是下限阈值，γub是上限阈值，且y是经平滑的所述输出路径。
CN201811340654.3A 2017-11-13 2018-11-12 用于进行路径平滑的低复杂度优化求解器的装置及方法 Active CN109783432B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762585187P 2017-11-13 2017-11-13
US62/585,187 2017-11-13
US16/016,256 2018-06-22
US16/016,256 US10534837B2 (en) 2017-11-13 2018-06-22 Apparatus and method of low complexity optimization solver for path smoothing with constraint variation

Publications (2)

Publication Number Publication Date
CN109783432A true CN109783432A (zh) 2019-05-21
CN109783432B CN109783432B (zh) 2024-01-09

Family

ID=66432195

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811340654.3A Active CN109783432B (zh) 2017-11-13 2018-11-12 用于进行路径平滑的低复杂度优化求解器的装置及方法
CN201811340655.8A Active CN109788189B (zh) 2017-11-13 2018-11-12 将相机与陀螺仪融合在一起的五维视频稳定化装置及方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201811340655.8A Active CN109788189B (zh) 2017-11-13 2018-11-12 将相机与陀螺仪融合在一起的五维视频稳定化装置及方法

Country Status (4)

Country Link
US (4) US10740431B2 (zh)
KR (3) KR102385024B1 (zh)
CN (2) CN109783432B (zh)
TW (2) TWI773808B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110677179A (zh) * 2019-10-09 2020-01-10 河北科技大学 接收天线选择方法、装置及终端设备
CN117775005A (zh) * 2023-11-23 2024-03-29 西部科学城智能网联汽车创新中心(重庆)有限公司 车辆轨迹的滤波平滑处理方法及装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109074438A (zh) * 2016-02-03 2018-12-21 北京释码大华科技有限公司 与可见光复用的生物特征复合成像系统和方法
US10740431B2 (en) * 2017-11-13 2020-08-11 Samsung Electronics Co., Ltd Apparatus and method of five dimensional (5D) video stabilization with camera and gyroscope fusion
EP3798869A4 (en) * 2018-05-23 2021-06-23 Mitsubishi Electric Corporation SYSTEM FOR THE SOLUTION OF LINEAR PROGRAMMING PROBLEMS, DEVICE FOR CALCULATION OF SOLUTION CANDIDATES, DEVICE FOR CALCULATION OF THE OPTIMAL SOLUTION, DEVICE FOR CONTROLLING THE ENGINES OF SPACE VEHICLES AND EQUIPMENT FOR MOVING LIFE TRUCKS
CN110557522A (zh) * 2018-05-31 2019-12-10 阿里巴巴集团控股有限公司 一种去除视频抖动的方法及装置
JP6966395B2 (ja) * 2018-08-23 2021-11-17 株式会社日立製作所 最適化システム及び最適化方法
CN110519507B (zh) * 2019-07-23 2021-03-19 影石创新科技股份有限公司 一种相机镜头平滑处理方法、装置及便携式终端
CN116679419A (zh) * 2020-08-12 2023-09-01 核心光电有限公司 用于光学防抖的装置和方法
CN112750088B (zh) * 2020-12-16 2022-07-26 北京大学 基于线性规划的视频图像自动扭正和稳像的方法
US11729505B2 (en) 2021-02-10 2023-08-15 Samsung Electronics Co., Ltd. Image signal processor, electronic device, and image stabilization method
CN112819886B (zh) * 2021-02-23 2023-01-03 中国人民解放军军事科学院国防科技创新研究院 基于倾角传感器的动态绳索摆角测量方法及系统
CN115689898A (zh) * 2021-07-29 2023-02-03 北京字跳网络技术有限公司 一种姿态估计方法、装置、设备及介质
US11823346B2 (en) * 2022-01-17 2023-11-21 Snap Inc. AR body part tracking system

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050010388A1 (en) * 2003-07-11 2005-01-13 International Business Machines Corporation Dynamic online multi-parameter optimization system and method for autonomic computing systems
CN101459954A (zh) * 2009-01-06 2009-06-17 东南大学 适用于分布式天线系统的功率分配方法
US20120105654A1 (en) * 2010-10-28 2012-05-03 Google Inc. Methods and Systems for Processing a Video for Stabilization and Retargeting
US20130036085A1 (en) * 2011-07-27 2013-02-07 International Business Machines Corporation Method for solving linear programs
US20130073489A1 (en) * 2011-09-19 2013-03-21 Siemens Corporation Hybrid interior-point alternating directions algorithm for support vector machines and feature selection
US20150248916A1 (en) * 2014-02-28 2015-09-03 Microsoft Corporation Hyper-lapse video through time-lapse and stabilization
CN106101535A (zh) * 2016-06-21 2016-11-09 北京理工大学 一种基于局部及整体运动差异补偿的视频稳定方法
US20170076170A1 (en) * 2015-09-15 2017-03-16 Mitsubishi Electric Research Laboratories, Inc. Method and system for denoising images using deep gaussian conditional random field network
CN106851102A (zh) * 2017-02-24 2017-06-13 北京理工大学 一种基于捆绑测地线路径优化的视频稳像方法

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1044432A4 (en) 1997-12-05 2007-02-21 Dynamic Digital Depth Res Pty IMPROVED IMAGE TRANSFORMATION AND CODING TECHNIQUES
US7221776B2 (en) 2001-10-31 2007-05-22 Arcsoft, Inc. Video stabilizer
WO2007020569A2 (en) * 2005-08-12 2007-02-22 Nxp B.V. Method and system for digital image stabilization
US20080112630A1 (en) * 2006-11-09 2008-05-15 Oscar Nestares Digital video stabilization based on robust dominant motion estimation
TWI317898B (en) * 2006-12-12 2009-12-01 Ind Tech Res Inst Inertial sensing input apparatus and method
GB0807411D0 (en) * 2008-04-23 2008-05-28 Mitsubishi Electric Inf Tech Scale robust feature-based indentfiers for image identification
US8102428B2 (en) * 2008-08-28 2012-01-24 Adobe Systems Incorporated Content-aware video stabilization
US8290297B2 (en) 2009-01-20 2012-10-16 Mitsubishi Electric Research Laboratories, Inc. Method for editing images and videos
US9189859B2 (en) 2009-06-11 2015-11-17 Kabushiki Kaisha Toshiba 3D image generation
ES2641317T3 (es) 2009-08-14 2017-11-08 Hmd Global Oy Mejoras para la transmisión multipunto coordinada
US9197736B2 (en) 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
US8896715B2 (en) * 2010-02-11 2014-11-25 Microsoft Corporation Generic platform video image stabilization
US8531504B2 (en) * 2010-06-11 2013-09-10 Intel Corporation System and method for 3D video stabilization by fusing orientation sensor readings and image alignment estimates
US8924331B2 (en) 2010-09-03 2014-12-30 Honeywell International Inc. System and method for solving quadratic programming problems with bound constraints utilizing a semi-explicit quadratic programming solver
US8872928B2 (en) * 2010-09-14 2014-10-28 Adobe Systems Incorporated Methods and apparatus for subspace video stabilization
CN102148934B (zh) * 2011-04-02 2013-02-06 北京理工大学 一种多模式实时电子稳像系统
US8686943B1 (en) 2011-05-13 2014-04-01 Imimtek, Inc. Two-dimensional method and system enabling three-dimensional user interaction with a device
US8553096B2 (en) * 2011-12-06 2013-10-08 Cisco Technology, Inc. Systems and methods for performing gyroscopic image stabilization
US9024970B2 (en) 2011-12-30 2015-05-05 Here Global B.V. Path side image on map overlay
US10495725B2 (en) * 2012-12-05 2019-12-03 Origin Wireless, Inc. Method, apparatus, server and system for real-time vital sign detection and monitoring
TWI435162B (zh) * 2012-10-22 2014-04-21 Nat Univ Chung Cheng Low complexity of the panoramic image and video bonding method
US10013477B2 (en) 2012-11-19 2018-07-03 The Penn State Research Foundation Accelerated discrete distribution clustering under wasserstein distance
US9374532B2 (en) 2013-03-15 2016-06-21 Google Inc. Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization
JP6045430B2 (ja) * 2013-04-18 2016-12-14 オリンパス株式会社 撮像装置及びその像ブレ補正方法
JP6108940B2 (ja) * 2013-04-25 2017-04-05 キヤノン株式会社 像振れ補正装置及びその制御方法、プログラム、記憶媒体
US9953400B2 (en) 2013-07-23 2018-04-24 Microsoft Technology Licensing, Llc Adaptive path smoothing for video stabilization
CN105409196B (zh) * 2013-07-23 2018-11-30 微软技术许可有限责任公司 用于视频稳定的自适应路径平滑
CN104995908B (zh) * 2014-02-07 2018-01-30 株式会社摩如富 图像处理装置以及图像处理方法
US9854168B2 (en) * 2014-03-07 2017-12-26 Futurewei Technologies, Inc. One-pass video stabilization
CN103810725B (zh) * 2014-03-12 2016-06-08 北京理工大学 一种基于全局优化的视频稳定方法
US10586378B2 (en) * 2014-10-31 2020-03-10 Fyusion, Inc. Stabilizing image sequences based on camera rotation and focal length parameters
CN105872345A (zh) * 2015-01-20 2016-08-17 北京理工大学 基于特征匹配的全帧电子稳像方法
KR101703013B1 (ko) 2015-04-22 2017-02-06 (주) 리얼밸류 3차원 스캐너 및 스캐닝 방법
KR102352681B1 (ko) * 2015-07-27 2022-01-18 삼성전자주식회사 동영상 안정화 방법 및 이를 위한 전자 장치
WO2017087537A1 (en) * 2015-11-16 2017-05-26 Google Inc. Stabilization based on accelerometer data
EP3182373B1 (en) * 2015-12-17 2019-06-19 STMicroelectronics S.A. Improvements in determination of an ego-motion of a video apparatus in a slam type algorithm
KR102523997B1 (ko) 2016-02-12 2023-04-21 삼성전자주식회사 360도 영상 처리 방법 및 장치
JP6702796B2 (ja) 2016-05-16 2020-06-03 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
US9967539B2 (en) 2016-06-03 2018-05-08 Samsung Electronics Co., Ltd. Timestamp error correction with double readout for the 3D camera with epipolar line laser point scanning
CN106130066B (zh) 2016-07-11 2018-07-17 温州大学 一种用于独立微电网系统的多目标鲁棒频率控制方法
US10591926B2 (en) * 2017-09-18 2020-03-17 Baidu Usa Llc Smooth road reference for autonomous driving vehicles based on 2D constrained smoothing spline
US10740431B2 (en) * 2017-11-13 2020-08-11 Samsung Electronics Co., Ltd Apparatus and method of five dimensional (5D) video stabilization with camera and gyroscope fusion

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050010388A1 (en) * 2003-07-11 2005-01-13 International Business Machines Corporation Dynamic online multi-parameter optimization system and method for autonomic computing systems
CN1637738A (zh) * 2003-07-11 2005-07-13 国际商业机器公司 自治计算系统的动态在线多参数优化系统和方法
CN101459954A (zh) * 2009-01-06 2009-06-17 东南大学 适用于分布式天线系统的功率分配方法
US20120105654A1 (en) * 2010-10-28 2012-05-03 Google Inc. Methods and Systems for Processing a Video for Stabilization and Retargeting
JP2013544050A (ja) * 2010-10-28 2013-12-09 グーグル・インク 安定化と標的再設定のためのビデオを処理する方法及びシステム
US20130036085A1 (en) * 2011-07-27 2013-02-07 International Business Machines Corporation Method for solving linear programs
US20130073489A1 (en) * 2011-09-19 2013-03-21 Siemens Corporation Hybrid interior-point alternating directions algorithm for support vector machines and feature selection
US20150248916A1 (en) * 2014-02-28 2015-09-03 Microsoft Corporation Hyper-lapse video through time-lapse and stabilization
US20170076170A1 (en) * 2015-09-15 2017-03-16 Mitsubishi Electric Research Laboratories, Inc. Method and system for denoising images using deep gaussian conditional random field network
CN106101535A (zh) * 2016-06-21 2016-11-09 北京理工大学 一种基于局部及整体运动差异补偿的视频稳定方法
CN106851102A (zh) * 2017-02-24 2017-06-13 北京理工大学 一种基于捆绑测地线路径优化的视频稳像方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宋运忠;杨丽英;: "基于L1范数最小化的逆协方差矩阵估计", 河南师范大学学报(自然科学版), vol. 44, no. 05, pages 8 - 18 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110677179A (zh) * 2019-10-09 2020-01-10 河北科技大学 接收天线选择方法、装置及终端设备
CN110677179B (zh) * 2019-10-09 2020-11-10 河北科技大学 接收天线选择方法、装置及终端设备
CN117775005A (zh) * 2023-11-23 2024-03-29 西部科学城智能网联汽车创新中心(重庆)有限公司 车辆轨迹的滤波平滑处理方法及装置

Also Published As

Publication number Publication date
KR20190054890A (ko) 2019-05-22
US10534837B2 (en) 2020-01-14
US20200356619A1 (en) 2020-11-12
KR102339906B1 (ko) 2021-12-17
US20190147606A1 (en) 2019-05-16
TWI808987B (zh) 2023-07-21
US20200151237A1 (en) 2020-05-14
KR102385024B1 (ko) 2022-04-08
CN109788189B (zh) 2022-04-29
TW201918906A (zh) 2019-05-16
KR102385018B1 (ko) 2022-04-08
US10762162B2 (en) 2020-09-01
CN109783432B (zh) 2024-01-09
KR20190054898A (ko) 2019-05-22
TWI773808B (zh) 2022-08-11
US10740431B2 (en) 2020-08-11
US20190147013A1 (en) 2019-05-16
KR20210152446A (ko) 2021-12-15
TW201918772A (zh) 2019-05-16
US10885145B2 (en) 2021-01-05
CN109788189A (zh) 2019-05-21

Similar Documents

Publication Publication Date Title
CN109783432A (zh) 用于进行路径平滑的低复杂度优化求解器的装置及方法
CN110097019B (zh) 字符识别方法、装置、计算机设备以及存储介质
US9866748B2 (en) System and method for controlling a camera based on processing an image captured by other camera
CN108696680A (zh) 用于焦点控制的电子设备和方法
CN109151301A (zh) 包括相机模块的电子装置
CN110288547A (zh) 用于生成图像去噪模型的方法和装置
KR102637901B1 (ko) 전자 장치에 의한 돌리 줌 효과 제공 방법 및 상기 방법에서 사용되는 전자 장치
CN111866483B (zh) 颜色还原方法及装置、计算机可读介质和电子设备
US11363199B2 (en) Apparatus and method for estimating optical image stabilization motion
US10929961B2 (en) Electronic device and method for correcting images using external electronic device
CN109977775B (zh) 关键点检测方法、装置、设备及可读存储介质
WO2022099600A1 (en) Method and system of image hashing object detection for image processing
KR20200048609A (ko) 인공 신경망을 이용한 이미지 처리 방법 및 이를 지원하는 전자 장치
CN109803066A (zh) 用于在相机模块内生成时钟信号的电子装置和方法
CN109756763A (zh) 用于基于优先级处理图像的电子装置及其操作方法
EP3675477B1 (en) Electronic device for providing function by using rgb image and ir image acquired through one image sensor
CN108804996B (zh) 人脸验证方法、装置、计算机设备及存储介质
KR20240002871A (ko) 카메라를 포함하는 전자 장치 및 방법
KR20240068029A (ko) 기계 학습 모델을 이용하여 영상을 획득하는 전자 장치 및 그 동작 방법
CN113066020A (zh) 图像处理方法及装置、计算机可读介质和电子设备
CN116935824A (zh) 音频数据的滤波方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant