CN109247068A - 用于滚动快门补偿的方法和设备 - Google Patents

用于滚动快门补偿的方法和设备 Download PDF

Info

Publication number
CN109247068A
CN109247068A CN201780031633.0A CN201780031633A CN109247068A CN 109247068 A CN109247068 A CN 109247068A CN 201780031633 A CN201780031633 A CN 201780031633A CN 109247068 A CN109247068 A CN 109247068A
Authority
CN
China
Prior art keywords
scan line
camera
pixels
coordinate
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780031633.0A
Other languages
English (en)
Inventor
丹尼尔·瓦格纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN109247068A publication Critical patent/CN109247068A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开一种用于滚动快门补偿的系统、设备和方法。可从滚动快门相机接收具有在不同时间捕获的多个扫描线的图像，其中每一扫描线包含多个2D像素，且其中每一扫描线具有相关联的相机位姿。可将所述接收到的图像的第一扫描线中的一或多个2D像素去投影到3D坐标，且可将所述3D坐标从所述第一扫描线变换到参考位姿。可重新投影所述经变换的3D坐标，且响应于所述重新投影，可为所述第一扫描线中的所述一或多个2D像素提供参考时间帧经校正的2D坐标。

Description

用于滚动快门补偿的方法和设备
相关申请案的交叉参考
本申请案主张2016年6月24日申请的标题为“用于滚动快门补偿的方法和设备(METHOD AND APPARATUS FOR ROLLING SHUTTER COMPENSATION)”的第15/192,930号美国专利申请案的优先权，所述专利申请案以引用的方式并入本文中。
技术领域
本文所公开的标的物大体上涉及图像处理技术，且更具体地说，涉及滚动快门图像捕获的处理方面。
背景技术
滚动快门(RS)描述可将假影引入到所得图像中的图像捕获方法。RS假影通常因为包括RS数字图像捕获的扫描线的2D循序读出而出现。相比之下，对于一次捕获整个图像的其它数字图像技术(例如全局快门相机传感器)，RS假影通常不会出现。RS类型的相机传感器通常以从上到下序列捕获扫描线，与暴露时间或帧速率无关。RS假影通常在相机或对象在RS相机的读出时间期间移动(例如改变相对位置)时出现。读出时间是读取第一(例如顶部)扫描线与最后一个(例如底部)扫描线之间的延迟或持续时间。读出时间可比暴露时间或反向帧速率短或长。读出时间通常是固定硬件特性(即，读出时间通常不随着帧速率而改变)。归因于第一扫描线与最后一个扫描线之间的读出时间(即，RS延迟/持续时间)，第一扫描线(例如图像的顶部)可描绘与后续扫描线(例如在第一或初始扫描线之后捕获的扫描线，例如在从上到下扫描序列中，在图像的底部)中的对象或环境不同(例如来自较早时间)的对象或环境。当相机或对象/环境处于运动时，对象或环境的差异可导致RS假影。对RS问题的一些解决方案尝试通过严格的2D像素分析和操纵来校正RS假影。其它解决方案可尝试计算用RS相机捕获的图像的每个2D像素的独立时戳。先前解决方案的问题是不可用于某些装置(例如移动或便携式装置)的相对复杂性和较大的计算资源要求。因此，需要用于处理彩色和深度图像的新型且改进的技术。
发明内容
本文所公开的实施例可将特征点位置校正到共用时间帧。可通过从图像中的其它RS扫描线选择一扫描线作为参考，来确定所述共用时间帧。
本文所公开的实施例可涉及一种校正滚动快门假影的方法，所述方法包括：从滚动快门相机接收具有在不同时间捕获的多个扫描线的图像，其中每一扫描线包含多个2D像素，且其中每一扫描线具有相关联的相机位姿；将所述接收到的图像的第一扫描线中的一或多个2D像素去投影到3D坐标；将所述3D坐标从所述第一扫描线变换为参考位姿；重新投影经变换的3D坐标；以及响应于重新投影，为第一扫描线中的一或多个2D像素提供参考时间帧经校正的2D坐标。
本文所公开的实施例还可涉及一种其中存储有程序指令的机器可读非暂时性存储媒体，所述程序指令可由处理器执行以：从滚动快门相机接收具有在不同时间捕获的多个扫描线的图像，其中每一扫描线包含多个2D像素，且其中每一扫描线具有相关联的相机位姿；将所述接收到的图像的第一扫描线中的一或多个2D像素去投影到3D坐标；将所述3D坐标从第一扫描线变换为参考位姿；重新投影经变换的3D坐标；以及响应于重新投影，为第一扫描线中的一或多个2D像素提供参考时间帧经校正的2D坐标。
本文所公开的实施例可进一步涉及一种装置，其用以：从滚动快门相机接收具有在不同时间捕获的多个扫描线的图像，其中每一扫描线包含多个2D像素，且其中每一扫描线具有相关联的相机位姿；将所述接收到的图像的第一扫描线中的一或多个2D像素去投影到3D坐标；将所述3D坐标从第一扫描线变换为参考位姿；重新投影所述经变换的3D坐标；以及响应于重新投影，为第一扫描线中的一或多个2D像素提供参考时间帧经校正的2D坐标。
本文中所公开的实施例可进一步涉及一种具有用以执行深度与彩色相机同步的装置的设备。所述设备可包含：用于从滚动快门相机接收具有在不同时间捕获的多个扫描线的图像的装置，其中每一扫描线包含多个2D像素，且其中每一扫描线具有相关联的相机位姿；用于将所述接收到的图像的第一扫描线中的一或多个2D像素去投影到3D坐标的装置；用于将所述3D坐标从第一扫描线变换为参考位姿的装置；用于重新投影所述经变换的3D坐标的装置；以及用于响应于重新投影，为第一扫描线中的一或多个2D像素提供参考时间帧经校正的2D坐标的装置。
其它特征和优点将从附图和具体实施方式中显而易见。
附图说明
图1是一个实施例中其中可实践滚动快门补偿的方面的系统的框图。
图2说明在一个实施例中从滚动快门的扫描线捕获的时序。
图3说明在一个实施例中用于实施滚动快门补偿的方法。
具体实施方式
在以下针对本发明特定实施例的描述和相关图式中公开本发明的若干方面。可在不脱离本发明的范围的情况下设计替代性实施例。另外，可不详细描述或可省略本发明的众所周知的元件以免混淆本发明的相关细节。
词语“示范性”在本文中用于表示“充当实例、例子或说明”。在本文中被描述为“示范性”的任何实施例未必被解释为比其它实施例优选或有利。同样，术语“实施例”并不要求所有实施例均包含所论述的特征、优点或操作模式。
在一个实施例中，一种方法和设备执行使特定2D特征位置与共用/参考时间帧对准的滚动快门补偿(RSC)。在一些实施例中，RSC用滚动快门(RS)相机来增强6DOF位姿跟踪。当场景中的相机或对象归因于RS相机所实施的扫描线捕获方法而移动时，可出现RS假影。举例来说，RS相机通常一次捕获一行像素，这可导致一扫描线(例如表示为第一或初始扫描线的扫描线)比图像中的另一扫描线(例如在先前接收到的扫描线之后接收到的扫描线)早捕获场景。根据在不同时间捕获的多个扫描线来确定位姿对于SfM和SLAM相机位姿估计来说可能是成问题的，因为每一扫描线可具有不同的相机位姿，且SfM和SLAM通常为每一图像/关键帧而不是每扫描线确定单个相机位姿。在一个实施例中，假定同时记录整个/完整图像，而不是为多个扫描线中的每一者尝试多个位姿估计，RSC接收来自SfM或SLAM的相机位姿。另外，RSC并不需要为图像中的每一特征确定时戳，RSC也不必仅从2D像素调整校正假影。
一些滚动快门假影减少方法尝试校正整个图像(即，所捕获的图片中的所有2D像素)。然而，校正整个图像在便携式装置上可为不可能的。并且，当不用整个图像的特征来跟踪3D对象时，用于3D对象跟踪的RS无法得益于完整图像校正。相比之下，RSC可确定特殊选定的像素的经更新的(即，从RS校正的)坐标，且在一个实施例中，专门选定的像素是包括图像的整个范围的像素的子集。在一些实施例中，代替于校正图像内的实际像素部位，RSC输出经校正的坐标，其可输入到稀疏SLAM(例如基于点的SLAM系统，例如PTAM)或SfM系统中。这些特殊选定像素的选择可由特定SLAM或SfM系统确定。举例来说，SLAM系统可在某一先前时间点(例如使用拐角检测器)选择(来自图像中的所有可用像素的)2D像素坐标的子集。SLAM选定点可被称为标志、兴趣点或特征点。SLAM系统可估计所述特征点的3D坐标，且可从任何检视位置和角度计算那些特征点的深度。
在一个实施例中，RSC通过假定以下情况来校正特征点位置：已知读出时间、已知且假定整个图像帧的恒定相机运动(例如在所有扫描线上应用相同的运动估计)，以及待校正的每一2D点的深度。在其它实施例中，IMU可向RSC提供高频平移和旋转加速度数据。举例来说，如果IMU以1000Hz操作，且假定640x480分辨率的输入图像，那么33ms的滚动快门延迟(即，读出时间)可导致每480/(1000/33)＝16个扫描线一IMU测量结果。在1000Hz下，IMU取样可以比确定每一扫描线的运动变化所需的速率大的速率提供运动估计，因此RSC可假定一个IMU测量结果对于16个扫描线是相同的，且可内插在多个IMU测量结果之间。作为处理IMU数据的结果，RSC可确定每个扫描线的位姿，其可或可不不同于相邻扫描线的姿势。
在一个实施例中，RSC利用上文所介绍的假定的组合，来将每一2D点去投影到3D空间中，通过相机运动在3D中变换每一2D点，将空间中的每一2D点投影回到经校正的2D位置，并输出关注点(即，特征)的经RS校正的2D位置。
如之前所介绍，读出时间(还被称作RS延迟或RS持续时间)是RS图像捕获中读取第一扫描线与读取最后一个扫描线之间的延迟。通常，读出针对图像从上到下发生，然而其它读出序列也是可能的(例如从下到上)。读出时间可与所捕获图像的暴露时间无关，并且也与帧速率无关。举例来说，读出时间可比暴露时间短或长。通常，读出时间是固定硬件特性，且并不随帧速率而改变。在一个实施例中，读出时间可从图像传感器制造商规范确定，从配置文件接收，或在初始RSC设置中计算。
在一些实施例中，读出时间(还被称作读出持续时间或读出延迟)可通过针对特定装置硬件的一或多个测试来确定。RS读出时间可从硬件制造商规范确定或在运行时测量。在一些实施例中，可通过将装置放置在旋转轴上具有相机的电回旋盘上，来离线测量RS读出时间。相机可水平地瞄准环境，且当回旋盘被激活时，启用视频录制。测量完整旋转的时间。接收视频帧，且测量垂直结构(例如房间的边缘)的顶部和底部行之间的像素偏移。作为所说明的实例，可将读出时间(例如以毫秒或其它时间测量值为单位)测量为剪切像素的数目除以帧到帧像素运动乘以1000(例如说明因子1000来从1000Hz实例确定毫秒数)，且除以帧速率。
假定第一扫描线暴露的时间t0和RS读出时间D(即延迟)，其余N个扫描线中的每一者的暴露延迟了D除以N(D/N)的计算值。如应用于移动的RS相机，每一扫描线的相机位姿稍微不同，因为当相机具有不同位姿时，每一扫描线是在不同时刻捕获的。然而，相机对象和位姿跟踪系统(例如SLAM、SfM等)通常期望整个图像或关键帧的每一单个所估计相机位姿。在一个实施例中，用单个参考位姿来代替在RS图像捕获期间出现的多个(例如潜在地不同)相机位姿，以供典型跟踪系统最准确地跟踪对象或环境。在一个实施例中，在SLAM或SfM读取下一或后续图像捕获之前，且在确定下一图像捕获的相关联位姿之前，RSC取消不想要的RS效应(即，校正影响图像的特征点的RS假影)。
在一个实施例中，RSC将特定像素部位(特征)校正到共用/参考时间帧(例如图像中间)。RSC可接收：2D像素坐标作为输入(ptPix)、2D像素位置处的深度(z)、具有垂直分辨率(h)的相机校准、当前运动(M)，以及读出时间作为反向帧速率比(rot)。在一个实施例中，RSC计算2D像素位置的3D坐标。举例来说，可将3D坐标确定为pt＝unproject(cam.pixel2ideal(ptPix))*z。接下来，可从2D像素位置的y坐标确定RS影响。举例来说，f＝-rot*(ptPix.y-h/2)/h。接下来，可确定扫描线运动。举例来说，ptM＝exp(ln(M)*f)。接下来，可确定新的像素坐标。举例来说，ptPixM＝cam.projectToPix(ptM*pt)。
在一个实施例中，RSC接收2D像素位置作为输入(例如2D关键点或特征)，且知晓2D像素的深度，相机内参数(即，相机校准)和外参数(即，相机位置和定向)RSC可计算其3D坐标(例如图像中的3D点)。2D像素到3D点过程在本文中被称作去投影。RSC还可接收另一相机位置和定向，且进行逆操作(例如如本文所述的投影)来计算其经校正的2D像素位置(例如另一图像中的2D关键点或特征)。在一个实施例中，相机内参数可为恒定的，因为其为已移动的相同相机。第一图像的外参数是未校正的扫描线的位姿(例如当捕获扫描线时，相机的位姿)。第二图像的外参数是参考位姿(例如为其确定所有像素坐标的一个位姿)。
SLAM或SfM系统可将像素转换为理想和径向未失真。举例来说，SLAM或SfM管线可包含像素坐标来进行理想转换，接着执行未失真，且最后转换为相机坐标。在一个实施例中，在未失真与相机坐标转换之间发生RSC。因为可已经为每一观察结果存储像素和理想坐标，所以不需要为了并入有RSC而改变前述SLAM或SfM管线。举例来说，理想坐标(即，相机坐标)是无镜头失真和相机内参数的坐标。相机镜头通常引入某一形式的可测量且调整(例如固定或改进)的镜头失真。失真调整/补偿可将特征移动到不同坐标。在校正镜头失真之后，还可调整或校正其它效应(例如，如焦距、非正方形像素和投影中心等内参数)，以从像素(例如装置特定坐标)转换为射线(例如装置不相关几何)。具有几何意义的2D坐标可被称为理想坐标。举例来说，可将<x,y>的理想坐标视为3D射线<x,y,1>，其一端在相机中心，且延伸到产生所述像素的对象上的位置。
在一些实施例中，可作为位姿估计的一部分和/或在光束调整中执行RS估计。举例来说，作为方法的一部分，通过使特征的假定图像位置与特征的测得图像位置相关来计算滚动快门作用。
图1是说明其中可实践RSC系统的实施例的示范性系统的框图。所述系统可为装置100，其可包含通用处理器161、图像处理模块171、SLAM/SfM模块173和存储器164。装置100还可包含耦合到一或多个总线177或信号线(其进一步耦合到至少图像处理171和SLAM/SfM173模块)的若干装置传感器。为清晰起见，将模块170、171和173与处理器161和/或硬件162分开说明，但可基于软件165和固件163中的指令将所述模块组合和/或实施在处理器161和/或硬件162中。控制单元160可经配置以实施执行RSC(例如RSC模块170)的方法，如本文所述。举例来说，控制单元160可经配置以实施装置100的功能(例如，至少下文在图3中说明的方法)。
装置100可为：服务器、移动装置、无线装置、手机、增强现实装置(AR)、个人数字助理、可穿戴式装置(例如，眼镜、手表、帽子或类似的身体附接装置)、移动计算机、平板计算机、个人计算机、膝上型计算机、数据处理装置/系统、或具有处理能力的任何类型的装置。
在一个实施例中，装置100是移动/便携式平台(例如客户端)。装置100可包含用于捕获图像的装置，例如RS相机114，且可任选地包含运动传感器111，例如加速计、陀螺仪、电子指南针或其它类似的运动感测元件。装置100还可在前置或后置相机(例如，RS相机114)上捕获图像。装置100可进一步包含用户接口150，所述用户接口包含用于显示增强现实图像的装置，例如显示器112。用户接口150还可包含用户可经由其将信息输入到装置100中的键盘、小键盘152，或其它输入装置。如果需要，通过触摸屏/传感器将虚拟小键盘集成到显示器112中可免除键盘或小键盘152。用户接口150还可包含麦克风154和扬声器156，例如如果装置100是移动平台，例如蜂窝式电话。装置100可包含与本公开无关的其它元件，例如卫星定位系统接收器、电力装置(例如，电池)，以及通常与便携式和非便携式电子装置相关联的其它组件。
装置100可通过基于或以其它方式支持任何合适的无线通信技术的无线网络，经由一或多个无线通信链路进行通信。举例来说，在一些方面中，装置100可为客户端或服务器，且可与无线网络相关联。在一些方面中，网络可包括个域网(例如超宽带网络、局域网或广域网。无线装置可支持或以其它方式使用多种无线通信技术、协议或标准中的一或多个，例如，3G、LTE、高级LTE、4G、CDMA、TDMA、OFDM、OFDMA、WiMAX和Wi-Fi。类似地，无线装置可支持或以其它方式使用多种对应的调制或多路复用方案中的一或多种。移动无线装置可以无线方式与其它移动装置、手机、其它有线和无线计算机、因特网网站等通信。
在一个实施例中，具有RSC能力的装置(例如装置100)还可根据对象或环境的运动(SfM)跟踪来执行6DOF SLAM(例如SLAM/SfM模块173)或结构。6DOF SLAM或SfM跟踪可使从来自RS相机114的输入图像观察到的特征关联到3D对象或环境地图。在一个实施例中，在从惯性运动单元(IMU)或装置的一或多个运动传感器进行扫描线捕获时，RSC确定相机的运动。举例来说，装置可具有加速计、陀螺仪、磁力计或其它传感器，其可用于在扫描线捕获时确定相机位姿。
特征点关联可用于确定与相应相机图像有关的相机位置和定向(即，位姿)。环境地图或对象可包含从两个或更多个图像帧或关键帧进行三角测量的3D特征点。举例来说，关键帧可选自图像或视频流或馈送，以表示观察到的场景。对于每个所捕获图像，相应6DOF相机位姿与图像相关联。在一些实施例中，可通过将来自3D地图的特征投影到图像或视频帧且根据所检验的2D-3D对应性更新相机位姿，来确定相机位姿。
在一个实施例中，装置100从所捕获的图像提取特征。如本文所使用的特征(例如，特征点或兴趣点)作为图像的所关注或显著部分。从所捕获的图像提取的特征可表示沿三维空间的不同点(例如X、Y以及Z轴上的坐标)，且每个特征点可具有相关联的特征位置。关键帧中的特征与先前捕获的图像的特征匹配或未能匹配(即，相同或对应)。特征检测可为图像处理操作，以检查每个像素来确定特征是否在特定像素处存在。特征检测可处理整个所捕捉图像，或替代地，处理所捕获图像的某些部分或局部。
对于每一所捕获的图像或视频帧，一旦已检测到特征，就可提取特征周围的局部图像分块。可使用例如尺度不变特征变换(SIFT)等众所周知的技术来提取特征，所述技术使特征局部化且产生其描述。如果需要，可使用其它技术，例如快速鲁棒特征(SURF)、梯度位置-定向直方图(GLOH)、归一化互相关(NCC)或其它相当技术。
图2说明在一个实施例中从滚动快门的扫描线捕获的时序。如上文所介绍，RS相机经由随时间而出现的扫描线产生图像。举例来说，如图2中所说明，可在时间t0捕获第一扫描线s1，接着在时间t1捕获扫描线s2，直到捕获图像的最终扫描线(例如在t4开始且在时间tn完成的最后一个所说明的扫描线)。在所说明的图2的实例中，读出时间(即，RS延迟/持续时间)可为第一(即，s1)扫描线与最后一个扫描线(即，s4)之间的差，其将计算为t4-t0。在一些实施例中，每一扫描线具有相关联的位姿，且选择参考位姿来校正图像内的其它扫描线位姿。举例来说，在图2的所说明的实例中，在给定五个扫描线的情况下，可选择中间扫描线(例如扫描线s3)作为参考扫描线，使得可将扫描线s1、s2、s4和s5校正到扫描线s3所提供的参考位姿。在其它实施例中，可选择代替中间扫描线的其它扫描线作为参考扫描线。
图3说明在一个实施例中用于实施滚动快门补偿的方法。在框305处，实施例(例如RSC)从滚动快门相机接收具有在不同时间捕获的多个扫描线的图像，其中每一扫描线包含多个2D像素，且其中每一扫描线具有相关联的相机位姿。在一些实施例中，所捕获图像中的每一像素具有x-y坐标，且可将y坐标视为RS扫描线数目。每一2D像素可具有从位姿跟踪系统(例如SLAM或SfM)确定的相关联深度值。
在一个实施例中，第一扫描线中的一或多个2D像素是对象或环境跟踪系统检测到的特征点。举例来说，SLAM系统可确定对于滚动快门坐标校正将处理多少特征点。通常，，SLAM系统在其地图中具有比投影到当前视图中比SLAM系统可实时处理的点多的点。可存在SLAM系统的实时运行的部分(例如针对当前相机帧的位姿估计)。因此，当SLAM的某些部分实时运行时，系统可选择所有特征点的子集来根据主机装置(例如可具有用于处理的受限资源的移动装置)的特定限制来处理。可通过例如确定从当前图像帧的良好分布式选择(例如避免特征点的群集)，来选择特征点的子集来处理。另外，SLAM的非时间关键方面，例如改进地图质量可在背景线程/操作中执行，且可处理所有的可用信息，包含特征点。因此，在一些情况下，要处理的特征点的量取决于装置的可用计算资源。
在一个实施例中，RSC假定RS图像捕获期间的相机运动是已知或估计的。接着，假定知晓当相机暴露时，相机如何移动。举例来说，从各种输入，例如惯性测量传感器，或可测量之前帧中的运动，且假定其相同。一种方法或另一方法可获得此数据(例如惯性是较好数据)。在一个实施例中，至少部分地从相机的运动确定每一扫描线的相关联相机位姿。举例来说，RS图像捕获期间的所估计相机运动可提供每一扫描线的相机位姿。在一个实施例中，通过以下各项中的一者确定相机运动：从当前图像和先前图像帧外推与相机传感器、惯性测量单元或其任何组合相关联的恒定读出时间(即，RS延迟/持续时间)。
在框310处，实施例将所述接收到的图像的第一扫描线中的一或多个2D像素去投影到3D坐标。在一个实施例中，去投影进一步包含参考一或多个2D像素的已知深度值。
如本文中所使用，去投影是来自均质坐标的使用的术语。如本文所描述，投影是减少维度的数目(例如从3D到2D)的过程。自然地，这可涉及信息的损失。在3D到2D的情况下，深度信息可在投影中丢失。去投影取消投影。因为作为投影的一部分，深度可丢失，所以RSC可参考额外信息来将2D坐标变换为3D坐标。
在框315处，实施例将3D坐标从第一扫描线变换到参考位姿。在一个实施例中，从所捕获图像中的扫描线选择参考位姿。参考位姿可来自中间扫描线或任何其它选定扫描线。举例来说，在一些实施例中参考扫描线选自所述多个扫描线，且参考扫描线的相关联位姿确定用于变换其它扫描线的参考位姿(例如以第一或最初选定的扫描线开始变换)。
如本文中所使用，变换3D坐标是指通过某一形式的操作从另一坐标计算新的3D坐标。举例来说，向右/左(例如沿X轴)将3D点移动“x”距离将为变换。另一操作可为使点围绕某一特定/选定轴旋转，或根据位姿来变换。为了“刚性地”变换3D点(即，所有点一起变换，就像它们属于一刚性对象那样)，接着可使用3x4矩阵。使所述点与3x4矩阵相乘产生经变换的3D点。因此，如本文中所使用的变换在一个实施例中是指获取3D点且计算另一3D点。这是与投影相比较，其用以描述获取3D点且计算2D点。
在框320处，实施例重新投影经变换的3D坐标。如本文中所使用，重新投影是指“再次投影”，其中所投影的点(2D点)是来源。如本文中所使用，重新投影推断从2D点(例如某一视图“A”中)开始，接着从所述2D点计算3D点，且接着再次投影到2D点中(例如在某一视图“B”中)。
在框325处，实施例响应于重新投影，为第一扫描线中的一或多个2D像素提供参考时间帧经校正的2D坐标。可响应于处理所述第一图像且在接收到下一图像之前提供RS校正。举例来说，与可处理一组图像来确定RS运动且补偿所述所确定的运动的其它方法相比，可在每图像基础上实施RSC。
如上文所描述，装置100可为便携式电子装置(例如，智能电话、专用增强现实(AR)装置、游戏装置、例如眼镜的可穿戴式装置，或具有AR处理和显示能力的其它装置)。实施本文所描述的AR系统的装置可用于多种环境中，例如，商场、街道、房间，或用户可携带便携式装置的任何地方。在AR情境中，用户可使用装置100来通过其装置的显示器来观看现实世界的表示。用户可通过使用其装置的相机与其具备AR能力的装置交互，以接收现实世界图像/视频，并且将额外或替代信息叠加或重叠到装置上所显示的现实世界图像/视频上。当用户在其装置上观看AR实施时，可在装置显示器上实时更换或更改现实世界对象或场景。虚拟对象(例如，文本、图像、视频)可插入到装置显示器上所描绘的场景的表示中。
在一个实施例中，RSC处理来自RS相机114的输入，以显示目标(例如一或多个对象或场景)的经更新的实时增强。通过装置远离初始参考图像位置的移动，装置可从替代视图中捕获额外图像。在提取特征并从额外关键帧三角测量之后，可实现增加的增强准确性(例如，对象周围的边界可更精确地拟合、场景中的对象的表示将显得更真实，且目标放置可相对于相机位姿更准确)。
在一个实施例中，装置100将对象或图形插入或整合到由相机114捕获且显示于显示器112上的视频流或图像中。装置100可任选地促使用户为了额外的信息而增强目标。举例来说，用户可能够添加用户内容以增强目标的表示。用户内容可为图像、3D对象、视频、文本，或可与目标的表示整合或重叠或替代目标的表示的其它内容类型。
显示器可通过从原始场景的顺畅追踪来实时更新。举例来说，指示牌上的文本可用替代文本替换，或可将3D对象战略性地放入场景中且在装置100上显示。当用户改变RS相机114的位置和定向时，可调整或增强图形或对象以匹配RS相机114的相对移动。举例来说，如果将虚拟对象插入到增强现实显示器中，那么远离虚拟对象的相机移动可减小虚拟对象相对于RS相机114所行进的距离的大小。举例来说，与从虚拟对象退后半步相比，从虚拟对象退后四步应引起虚拟对象大小的更大减小，所有其它变量是相等的。运动图形或动画可在由装置表示的场景内制成动画。举例来说，可在AR显示器中所描绘的场景内“移动”动画对象。本文所述的实施例还可以不同于AR的方式实施(例如机器人定位和导航)。
RSC可实施为软件、固件、硬件、模块或引擎。在一个实施例中，先前RSC描述是由装置100中的通用处理器161实施，以实现先前所要的功能(例如至少图3中所示出的方法)。在一个实施例中，RSC可实施为可包含额外子组件的引擎或模块。在其它实施例中，所描述的子组件中的一或多者的特征可组合或分割成不同的个别组件、模块或引擎。
本文中的教示可并入到多种设备(例如装置)(例如在其内实施或由其执行)。在一个实施例中，RSC是由处理器执行以接收图像或视频作为输入的引擎或模块。本文所教示的一或多个方面可并入到电话(例如蜂窝式电话)、个人数据助理(“PDA”)、平板计算机、移动计算机、膝上型计算机、平板计算机、娱乐装置(例如音乐或视频装置)、头戴装置(例如头戴式耳机、耳机等)、用户I/O装置、计算机、服务器、销售点装置、娱乐装置、机顶盒或任何其它合适的装置中。这些装置可具有不同的电力和数据要求，且可导致针对每一特征或特征集合产生的不同电力分布。
在一些方面中，无线装置可包括用于通信系统的接入装置(例如Wi-Fi接入点)。此接入装置可例如提供经由有线或无线通信链路通过收发器140到另一网络(例如广域网，例如因特网或蜂窝式网络)的连接性。因此，接入装置可使另一装置(例如，Wi-Fi站)能够接入另一网络或某一其它功能性。另外，应了解，所述装置中的一或两者可为便携式的，或在一些情况下，相对非便携式的。
本领域技术人员将理解，可使用多种不同技术和技法中的任一者来表示信息和信号。举例来说，可通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在整个上文描述中可能参考的数据、指令、命令、信息、信号、位、符号和码片。
本领域技术人员将进一步了解，结合本文所公开的实施例描述的各种说明性逻辑块、模块、引擎、电路和算法步骤可实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件与软件的这种可互换性，上文已大体上关于其功能性而描述了各种说明性组件、块、模块、引擎、电路和步骤。此类功能性是实施为硬件还是软件取决于特定应用以及强加于整个系统的设计约束。本领域技术人员可针对每一特定应用以不同方式来实施所描述的功能性，但这样的实施决策不应被解释为会引起脱离本发明的范围。
在一或多个示范性实施例中，所描述的功能或模块可实施于硬件(例如硬件162)、软件(例如软件165)、固件(例如固件163)或其任何组合中。如果实施于中作为计算机程序产品的软件中，那么功能或模块可作为一或多个指令(例如程序指令或代码)存储在非暂时性计算机可读媒体上或经由其进行传输。计算机可读媒体可包含计算机存储媒体和通信媒体两者，通信媒体包含有助于将计算机程序从一处传送到另一处的任何媒体。存储媒体可为可由计算机或数据处理装置/系统存取或执行的任何可用媒体。作为实例而非限制，此类计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于携带或存储呈指令或数据结构的形式的所需程序代码且可由计算机存取的任何其它媒体。并且，适当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或如红外线、无线电以及微波的无线技术从网站、服务器或其它远程源传输软件，那么同轴电缆、光纤电缆、双绞线、DSL或如红外线、无线电以及微波的无线技术包含于媒体的定义中。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各项的组合也应包含在非暂时性计算机可读媒体的范围内。
提供对所公开的实施例的先前描述是为了使所属领域的技术人员能够制作或使用本文中的实施例。所属领域的技术人员将容易了解对这些实施例的各种修改，且可在不脱离本文中所描述的实施例的精神或范围的情况下，将本文中定义的一般原理应用于其它实施例。因此，本描述无意限于本文中所示的实施例，而应被赋予与本文中所公开的原理和新颖特征一致的最广范围。

Claims (24)

1.一种校正滚动快门假影的方法，所述方法包括：
从滚动快门相机接收具有在不同时间捕获的多个扫描线的图像，其中每一扫描线包含多个2D像素，且其中每一扫描线具有相关联的相机位姿；
将所述接收到的图像的第一扫描线中的一或多个2D像素去投影到3D坐标；
将所述3D坐标从所述第一扫描线变换到参考位姿；
重新投影所述经变换的3D坐标；以及
响应于所述重新投影，为所述第一扫描线中的所述一或多个2D像素提供参考时间帧经校正的2D坐标。
2.根据权利要求1所述的方法，其进一步包括：
从所述多个扫描线选择参考扫描线，其中所述参考扫描线的所述相关联位姿确定用于变换所述第一扫描线的所述参考位姿。
3.根据权利要求1所述的方法，其中所述第一扫描线中的所述一或多个2D像素是从对象或环境跟踪系统确定的特征点。
4.根据权利要求1所述的方法，其中所述去投影进一步包含为所述一或多个2D像素参考已知深度值。
5.根据权利要求1所述的方法，其中响应于处理所述第一图像且在接收到下一图像之前提供RS校正。
6.根据权利要求1所述的方法，其中至少部分地从相机的运动确定每一扫描线的相关联相机位姿，其中通过以下各项中的一者来确定所述相机运动：
从先前两个或更多个图像帧外推，
与所述相机传感器相关联的恒定读出时间，
惯性测量单元，或
其任何组合。
7.一种执行滚动快门补偿的装置，其包括：
存储器；以及
处理器，其耦合到所述存储器，且经配置以：
从滚动快门相机接收具有在不同时间捕获的多个扫描线的图像，其中每一扫描线包含多个2D像素，且其中每一扫描线具有相关联的相机位姿；
将所述接收到的图像的第一扫描线中的一或多个2D像素去投影到3D坐标；
将所述3D坐标从所述第一扫描线变换到参考位姿；
重新投影所述经变换的3D坐标；以及
响应于所述重新投影，为所述第一扫描线中的所述一或多个2D像素提供参考时间帧经校正的2D坐标。
8.根据权利要求7所述的装置，其进一步经配置以：
从所述多个扫描线选择参考扫描线，其中所述参考扫描线的所述相关联位姿确定用于变换所述第一扫描线的所述参考位姿。
9.根据权利要求7所述的装置，其中所述第一扫描线中的所述一或多个2D像素是从对象或环境跟踪系统确定的特征点。
10.根据权利要求7所述的装置，其中所述去投影进一步包含为所述一或多个2D像素参考已知深度值。
11.根据权利要求7所述的装置，其中响应于处理所述第一图像且在接收到下一图像之前提供RS校正。
12.根据权利要求7所述的装置，其中至少部分地从相机的运动确定每一扫描线的相关联相机位姿，其中通过以下各项来确定所述相机运动：
从先前两个或更多个图像帧外推，
与所述相机传感器相关联的恒定读出时间，
惯性测量单元，或
其任何组合。
13.一种机器可读非暂时性存储媒体，其中存储有程序指令，所述程序指令可由处理器执行以进行以下操作：
从滚动快门相机接收具有在不同时间捕获的多个扫描线的图像，其中每一扫描线包含多个2D像素，且其中每一扫描线具有相关联的相机位姿；
将所述接收到的图像的第一扫描线中的一或多个2D像素去投影到3D坐标；
将所述3D坐标从所述第一扫描线变换到参考位姿；
重新投影所述经变换的3D坐标；以及
响应于所述重新投影，为所述第一扫描线中的所述一或多个2D像素提供参考时间帧经校正的2D坐标。
14.根据权利要求13所述的媒体，其进一步包括：
从所述多个扫描线选择参考扫描线，其中所述参考扫描线的所述相关联位姿确定用于变换所述第一扫描线的所述参考位姿。
15.根据权利要求13所述的媒体，其中所述第一扫描线中的所述一或多个2D像素是从对象或环境跟踪系统确定的特征点。
16.根据权利要求13所述的媒体，其中所述去投影进一步包含为所述一或多个2D像素参考已知深度值。
17.根据权利要求13所述的媒体，其中响应于处理所述第一图像且在接收到下一图像之前提供RS校正。
18.根据权利要求1所述的方法，其中至少部分地从相机的运动确定每一扫描线的相关联相机位姿，其中通过以下各项中的一者来确定所述相机运动：
从先前两个或更多个图像帧外推，
与所述相机传感器相关联的恒定读出时间，
惯性测量单元，或
其任何组合。
19.一种校正滚动快门假影的设备，所述设备包括：
从滚动快门相机接收具有在不同时间捕获的多个扫描线的图像的装置，其中每一扫描线包含多个2D像素，且其中每一扫描线具有相关联的相机位姿；
用于将所述接收到的图像的第一扫描线中的一或多个2D像素去投影到3D坐标的装置；
用于将所述3D坐标从所述第一扫描线变换到参考位姿的装置；
用于重新投影所述经变换的3D坐标的装置；以及
用于响应于所述重新投影，为所述第一扫描线中的所述一或多个2D像素提供参考时间帧经校正的2D坐标的装置。
20.根据权利要求19所述的设备，其进一步包括：
用于从所述多个扫描线选择参考扫描线的装置，其中所述参考扫描线的所述相关联位姿确定用于变换所述第一扫描线的所述参考位姿。
21.根据权利要求19所述的设备，其中所述第一扫描线中的所述一或多个2D像素是从对象或环境跟踪系统确定的特征点。
22.根据权利要求19所述的设备，其中所述用于去投影的装置进一步包含用于为所述一或多个2D像素参考已知深度值的装置。
23.根据权利要求19所述的设备，其中响应于处理所述第一图像且在接收到下一图像之前提供RS校正。
24.根据权利要求19所述的设备，其中至少部分地从相机的运动确定每一扫描线的相关联相机位姿，其中通过以下各项中的一者来确定所述相机运动：
从先前两个或更多个图像帧外推，
与所述相机传感器相关联的恒定读出时间，
惯性测量单元，或
其任何组合。
CN201780031633.0A 2016-06-24 2017-05-01 用于滚动快门补偿的方法和设备 Pending CN109247068A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/192,930 2016-06-24
US15/192,930 US20170374256A1 (en) 2016-06-24 2016-06-24 Method and apparatus for rolling shutter compensation
PCT/US2017/030433 WO2017222649A1 (en) 2016-06-24 2017-05-01 Method and apparatus for rolling shutter compensation

Publications (1)

Publication Number Publication Date
CN109247068A true CN109247068A (zh) 2019-01-18

Family

ID=58800894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780031633.0A Pending CN109247068A (zh) 2016-06-24 2017-05-01 用于滚动快门补偿的方法和设备

Country Status (4)

Country Link
US (1) US20170374256A1 (zh)
EP (1) EP3476115A1 (zh)
CN (1) CN109247068A (zh)
WO (1) WO2017222649A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10992916B2 (en) * 2017-07-26 2021-04-27 Google Llc Depth data adjustment based on non-visual pose data
US10586394B2 (en) * 2018-03-01 2020-03-10 Intel Corporation Augmented reality depth sensing using dual camera receiver
CN108876854B (zh) 2018-04-27 2022-03-08 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN108682037B (zh) * 2018-04-27 2022-03-08 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN109040525B (zh) * 2018-08-31 2021-10-22 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
US11132586B2 (en) * 2018-10-29 2021-09-28 Nec Corporation Rolling shutter rectification in images/videos using convolutional neural networks with applications to SFM/SLAM with rolling shutter images/videos
KR102212268B1 (ko) * 2019-05-15 2021-02-04 주식회사 폴라리스쓰리디 위치 측정 시스템과 이를 구비하는 이동 수단 및 이를 수행하기 위한 컴퓨팅 장치
US11012677B1 (en) * 2020-06-15 2021-05-18 Microsoft Technology Licensing, Llc Systems and methods for correcting rolling shutter artifacts
US11849220B2 (en) 2021-04-14 2023-12-19 Microsoft Technology Licensing, Llc Systems and methods for generating depth information from low-resolution images
US11831931B2 (en) * 2021-04-14 2023-11-28 Microsoft Technology Licensing, Llc Systems and methods for generating high-resolution video or animated surface meshes from low-resolution images
US11405557B1 (en) * 2021-07-20 2022-08-02 Locus Robotics Corp. Rolling shutter compensation for moving digital optical camera sensors
WO2024192609A1 (en) * 2023-03-20 2024-09-26 Qualcomm Incorporated Pseudo global shutter color camera

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102449999A (zh) * 2009-06-03 2012-05-09 全视科技有限公司 具有全局及滚动快门过程的成像器
US20130044230A1 (en) * 2011-08-15 2013-02-21 Apple Inc. Rolling shutter reduction based on motion sensors
CN104969238A (zh) * 2013-01-15 2015-10-07 移动眼视力科技有限公司 利用滚动快门的立体协助
US9277132B2 (en) * 2013-02-21 2016-03-01 Mobileye Vision Technologies Ltd. Image distortion correction of a camera with a rolling shutter

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102449999A (zh) * 2009-06-03 2012-05-09 全视科技有限公司 具有全局及滚动快门过程的成像器
US20130044230A1 (en) * 2011-08-15 2013-02-21 Apple Inc. Rolling shutter reduction based on motion sensors
CN104969238A (zh) * 2013-01-15 2015-10-07 移动眼视力科技有限公司 利用滚动快门的立体协助
US9277132B2 (en) * 2013-02-21 2016-03-01 Mobileye Vision Technologies Ltd. Image distortion correction of a camera with a rolling shutter

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KERL CHRISTIAN ET AL: "Dense Continuous-Time Tracking and Mapping with Rolling Shutter RGB-D Cameras", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)，IEEE 》 *
STEVEN LOVEGROVE ET AL: "Spline Fusion: A continuous - time representation for visual-inertial fusion with application to rolling shutter cameras", 《PROCEDINGS OF THE BRITISH MACHINE VISION CONFERENCE 2013》 *

Also Published As

Publication number Publication date
WO2017222649A1 (en) 2017-12-28
US20170374256A1 (en) 2017-12-28
EP3476115A1 (en) 2019-05-01

Similar Documents

Publication Publication Date Title
CN109247068A (zh) 用于滚动快门补偿的方法和设备
US10984554B2 (en) Monocular vision tracking method, apparatus and non-volatile computer-readable storage medium
US11503275B2 (en) Camera calibration system, target, and process
US7554575B2 (en) Fast imaging system calibration
US9979909B2 (en) Automatic lens flare detection and correction for light-field images
JP6338595B2 (ja) モバイルデバイスベースのテキスト検出および追跡
US20190141247A1 (en) Threshold determination in a ransac algorithm
WO2012114639A1 (ja) オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
US20120062702A1 (en) Online reference generation and tracking for multi-user augmented reality
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
US20120162220A1 (en) Three-dimensional model creation system
TW201118791A (en) System and method for obtaining camera parameters from a plurality of images, and computer program products thereof
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及系统
JP2017017689A (ja) 全天球動画の撮影システム、及びプログラム
CN111345029A (zh) 一种目标追踪方法、装置、可移动平台及存储介质
US20120162387A1 (en) Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium
WO2018216341A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2018207252A (ja) 画像処理システム、画像処理システムの制御方法、及び、プログラム
CN113643342A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN112102404B (zh) 物体检测追踪方法、装置及头戴显示设备
CN115953483A (zh) 一种参数标定方法、装置、计算机设备及存储介质
CN111192308A (zh) 图像处理方法及装置、电子设备和计算机存储介质
CN113763544A (zh) 图像确定方法、装置、电子设备和计算机可读存储介质
KR20180012889A (ko) 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법
CN115620094B (zh) 关键点的标注方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190118