CN106558063A - 估计视频中的运动的方法和设备及稳定视频的方法和设备 - Google Patents
估计视频中的运动的方法和设备及稳定视频的方法和设备 Download PDFInfo
- Publication number
- CN106558063A CN106558063A CN201610307633.6A CN201610307633A CN106558063A CN 106558063 A CN106558063 A CN 106558063A CN 201610307633 A CN201610307633 A CN 201610307633A CN 106558063 A CN106558063 A CN 106558063A
- Authority
- CN
- China
- Prior art keywords
- frame
- characteristic point
- parameter
- camera
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000004044 response Effects 0.000 claims abstract description 3
- 238000001514 detection method Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- 230000006641 stabilisation Effects 0.000 description 19
- 238000011105 stabilization Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 241000208340 Araliaceae Species 0.000 description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 description 3
- 230000001143 conditioned effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 235000008434 ginseng Nutrition 0.000 description 3
- 238000013519 translation Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6815—Motion detection by distinguishing pan or tilt from motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供估计视频中的运动的方法和设备及稳定视频的方法和设备。提供一种稳定视频的方法。所述方法包括：从第一帧检测特征点；基于第一帧中的特征点的位置以及预定的参数预测第二帧中的特征点的位置；从第二帧检测特征点；确定预测出的位置与从第二帧检测到的特征点的位置之间的距离；响应于确定所述距离在预定阈值内，基于在第一帧中检测到的特征点与在第二帧中检测到的特征点之间的位置差更新所述参数。
Description
本申请要求于2015年9月16日提交到韩国知识产权局的第10-2015-0131056号韩国专利申请的优先权，该韩国专利申请的公开通过引用全部合并于此。
技术领域
与示例性实施例一致的方法和设备涉及估计图像运动及一种用于稳定视频的方法和设备。
背景技术
使用平移-倾斜-变焦(pan-tilt-zoom)(PTZ)相机的成像系统被广泛用于访问控制或犯罪预防。PTZ相机具有按照上/下/左/右方向移动的支撑件，并且PTZ相机的变焦比可被调整。可通过经由平移操作(即，使PTZ相机水平旋转达360度)以及倾斜操作(即，使PTZ相机垂直旋转达180度)使PTZ相机指向另一方向来改变由PTZ相机监视的区域。此外，PTZ相机可通过使变焦透镜的变焦比变化对被摄体放大/缩小。这样，PTZ相机可覆盖很大的区域，因此，PTZ相机正受到监控系统行业的关注。
然而，归因于PTZ相机的抖动或旋转，可能使视图模糊，需要合适的视频稳定化处理。
发明内容
与示例性实施例一致的方法和设备可估计图像运动以稳定视频，以便移除可能由相机的意外旋转产生的抖动视图的效果。
根据示例性实施例的一方面，提供一种稳定视频的方法，所述方法包括：从第一帧检测特征点；基于第一帧中的特征点的位置以及预定的参数预测第二帧中的特征点的位置；从第二帧检测特征点；确定预测出的位置与从第二帧检测到的特征点的位置之间的距离；响应于确定所述距离在预定阈值内，基于在第一帧中检测到的特征点与在第二帧中检测到的特征点之间的位置差更新所述参数。
所述视频可由能够沿至少一个轴方向旋转的相机来记录，其中，所述参数指示相机的角速度和第一帧与第二帧之间的像素移动之间的关系，其中，所述角速度是在捕捉到第一帧时的时间点与捕捉到第二帧时的时间点之间测量的。
所述预测的步骤可包括：获得由陀螺仪传感器感测到的相机的角速度；通过将所述角速度与所述参数相乘估计所述位置差；基于从第一帧检测到的特征点的位置以及估计出的所述位置差，预测在第二帧中的特征点的位置。
所述更新的步骤可包括：基于所述角速度更新所述参数。
所述更新的步骤可包括：基于所述位置差和所示角速度计算新的参数；利用新参数更新所述参数。
所述更新的步骤可包括：基于所述位置差与所述角速度之比更新所述参数。
所述获得的步骤可包括：接收在捕捉到第一帧时的时间点与捕捉到第二帧时的时间点之间连续感测到的相机的多个瞬时角速度，其中，确定位置差的步骤可包括：计算所述多个瞬时角速度的平均角速度并且将所述平均角速度和所述参数相乘。
所述参数可依赖于相机的焦距。
可针对包括所述特征点的多个特征点执行所示从第一帧检测特征点的步骤、所述预测的步骤、所述从第二帧检测特征点的步骤、所示确定的步骤以及所述更新的步骤。
所述更新的步骤可包括：基于由从第二帧检测到的特征点的位置和从第一帧检测到的特征点的位置限定的矢量估计所述位置差。
所述方法可还包括：基于所述位置差校正所述视频。
所述更新的步骤可包括：计算预设数量的近期参数的平均值，其中，所述预设数量的近期参数是基于不同时间点的所述位置差和所述角速度计算的近期参数；利用所述预设数量的近期参数的平均值更新所述参数。
根据示例性实施例的另一方面，提供一种用于稳定视频的设备，所述设备包括：存储器；至少一个处理器，被配置为实施：特征点检测器，被配置为从第一帧检测特征点；特征点位置预测器，被配置为基于第一帧中的特征点的位置以及预定的参数预测第二帧中的特征点的位置；特征点跟踪器，被配置为从第二帧检测特征点；特征点验证器，被配置为确定预测出的位置与从第二帧检测到的特征点的位置之间的距离；运动估计器，被配置为确定在第一帧中检测到的特征点与在第二帧中检测到的特征点之间的位置差；更新器，被配置为所述位置差更新所述参数。
所述至少一个处理器还可被配置为实施运动校正器，其中，运动校正器被配置为基于所述位置差校正视频。
根据示例性实施例的另一方面，提供一种具有在其上记录的程序的非暂时性计算机可读记录介质，其中，所述程序用于执行上述方法中的任何一种。
附图说明
从以下结合附图的示例性实施例的描述中，各个方面将变得清楚且更容易理解，其中：
图1示出根据示例性实施例的成像系统；
图2A和图2B示出根据示例性实施例的由成像系统记录的视频的两个帧；
图3是根据示例性实施例的视频稳定化设备的框图；
图4是示出根据示例性实施例的估计图像运动的方法的流程图；
图5是示出根据示例性实施例的稳定视频的方法的流程图；
图6是示出根据示例性实施例的使用参数预测特征点的位置的方法的流程图；
图7示出根据示例性实施例的预测特征点的位置的方法。
具体实施方式
现在将详细描述实施例，实施例的示例在附图中示出，其中，同样的附图标号始终指示同样的元件。就此而言，本实施例可具有不同形式并且不应被解释为限于在此阐述的描述。因此，以下仅通过参照附图描述示例性实施例以解释本描述的各方面。如在此所使用，术语“和/或”包括一个或多个相关所列项的任何和所有组合。。
由于本发明构思可具有各种修改和若干实施例，因此，在附图中示出示例性实施例并将予以详细描述。将参照以下详细描述的实施例以及附图使优点、特征以及实现所述优点、特征的方法明确。然而，实施例可具有不同形式并且不应被理解为限于在此阐述的描述。
以下将参照附图更详细地描述本发明构思的实施例。相同的附图标号表示相同或相应的那些组件而不考虑图号，并且省略多余的解释。
将理解：虽然在此可将术语“第一”、“第二”等用于描述各种组件，但是这些组件不应受到这些术语限制。这些术语仅用于使一个组件区别于另一组件。
除非在上下文中另有限定，否则单数表述包括复数表述。
在下文的实施例中，还将理解：在此使用的术语“包括”和/或“具有”指定存在所陈述的特征或组件，但是并不排除存在或增加一个或多个其它特征或组件。
此外，在附图中，为便于描述，元件的尺寸可被夸大或缩小。换言之，由于为便于解释任意示出在附图中的组件的尺寸和厚度，因此下文的实施例不限于此。
当实施例可按照另一方式实施时，预定处理顺序可与所描述的顺序不同。例如，可基本上同时执行或可按照与所描述的顺序相反的顺序执行被连续描述的两个处理。
图1示出根据示例性实施例的成像系统1。成像系统1可包括捕捉被摄体20的视频或图像的相机10。
相机10可按照相对于中心点11的至少一个轴方向旋转。例如，相机10可在水平面中旋转。此外，可使相机10沿两个轴方向旋转。例如，相机10可以是可经由使平移-倾斜-变焦(PTZ)相机水平旋转达360度的平移操作和使PTZ相机垂直旋转达180度的倾斜操作朝向不同方向并由此监视不同区域的PTZ相机。PTZ相机也可通过使变焦透镜的变焦比变化捕捉被摄体的放大的或缩小的视图。
可将相机10连接到可按照相对于中心点11的至少一个轴方向旋转的支撑件。例如，相机10的支撑件可水平旋转和垂直旋转。支撑件的旋转可由控制器或用户的手动控制驱动。
相机10或支撑件可包括感测相机10沿至少一个轴方向的角速度的陀螺仪传感器。如果相机10可沿两个轴方向旋转，则可包括感测沿两个轴方向的旋转角速度的陀螺仪传感器。由陀螺仪传感器感测到的角速度可具有水平分量和垂直分量。
虽然相机10可根据控制器或用户的控制而水平旋转或垂直旋转，但是归因于支撑件的抖动或其它外部因素的相机10的意外垂直和/或水平旋转也可发生。当通过使用相机10记录包括多个连续帧的视频时，相机10的所述非期望的抖动可能导致捕捉到的图像或视频的抖动。例如，相机的视图可沿垂直或水平方向抖动。
当相机10沿垂直和/或水平方向旋转时，由相机10捕捉到的图像的视图也沿垂直和/或水平方向移动。例如，当相机10处于第一状态10a时由相机10捕捉到的图像和归因于相机10的水平旋转在相机10转变到第二状态10b之后由相机10捕捉到的图像可具有被摄体20的不同视图。以下将参照图2A和图2B提供更详细的解释。
图2A示出由在第一状态10a下的相机10捕捉到的第一帧31，图2B示出由在第二状态10b下的相机10捕捉到的第一帧32。参照图2A和图2B，归因于在捕捉第一帧31和第二帧32时发生的相机的移动，被摄体20的位置从第一帧31中的位置21改变到第二帧32中位置22。在图像中的被摄体位置的所述改变(即，相邻帧之间的像素的位置差别(在下文中，“图像运动”))可能导致在包括连续帧的视频中使相机视图抖动，并由此使可视性降低。
当如图2A和图2B所示发生图像运动时，根据示例性实施例的视频稳定化设备执行视频稳定化处理以提供图像运动补偿。
虽然图2A和图2B示出随着使相机10沿水平方向旋转而沿水平方向产生的图像运动，但是在示例性实施例中所述方向可以是不同的。例如，当使相机10沿垂直方向旋转时，可沿垂直方向产生图像运动，或者当使相机10同时沿垂直方向和水平方向旋转时，可沿垂直方向和水平方向产生图像运动。
图3是根据示例性实施例的视频稳定化设备100的示意性结构框图。
视频稳定化设备100执行移除图像运动的视频稳定化。
在图3中，仅示出与本示例性实施例相关的元件，以便避免模糊本示例性实施例的主题。因此，对本领域普通技术人员而言显而易见的是：在视频稳定化设备100中可还包括除图3中示出的组件以外的通用组件。
视频稳定化设备100可与至少一个处理器相应或者可包括至少一个处理器。因此，例如，可在微处理器或在另一类型的硬件装置(诸如通用计算机系统)中包括视频稳定化设备100。
视频稳定化设备100可与在图1的相机10中包括的处理器相应，或者视频稳定化设备100可被包括在经由有线或无线网络从相机10接收图像并从相机10中包括的陀螺仪传感器接收感测值的相关装置中。
参照图3，视频稳定化设备100可包括特征点检测器110、特征点跟踪器120、运动估计器130、运动校正器140、特征点位置预测器150、特征点验证器160以及参数更新器170。
视频稳定化设备100可从由相机10捕捉到的图像检测并提取特征点，跟踪特征点，基于特征点的移动估计图像运动并校正图像运动，从而最终输出稳定的图像。
视频稳定化设备100可基于可由陀螺仪传感器感测到的围绕至少一个轴旋转的相机10的角速度预测特征点的位置，并验证特征点是否被准确跟踪。在存储器中存储的参数可被用于基于角速度预测特征点的位置，并且所述参数可基于估计出的图像运动和相机10的角速度被实施更新。在下文中，将详细描述视频稳定化设备100的元件。
特征点检测器110可从相机记录的视频的第一帧检测特征点。例如，特征点检测器110可将位于第一帧中满足预设条件的区域的点检测为特征点。例如，满足预设条件的所述区域可以是相邻像素之间的像素值的差超过阈值的边缘区域。可选地，满足预设条件的所述区域可以是包括与预存储的图案匹配的图案的区域。
特征点检测器110可从第一帧检测多个特征点。
特征点跟踪器120可跟踪特征点在第一帧和第二帧之间的移动。例如，特征点跟踪器120可从第二帧检测与从第一帧检测到的特征点相应的特征点。特征点跟踪器120可按照与特征点检测器110从第一帧检测特征点的相同方式从第二帧检测特征点。
第二帧可在时间轴上跟在第一帧后面。例如，第二帧可紧随第一帧的下一帧。可选地，例如，第二帧可以是跟在第一帧之后另外五个帧后面的帧。
当从第一帧检测到多个特征点时，特征点跟踪器120可从第二帧检测与所述多个特征点分别相应的特征点。
运动估计器130可基于由特征点检测器110检测到的第一帧中的特征点的位置以及由特征点跟踪器120检测到的第二帧中的特征点的位置跟踪图像运动。例如，运动估计器130可基于起始于第一帧中的特征点的位置、结束于第二帧中的特征点的位置的矢量估计图像的运动矢量。
当检测到多个特征点时，根据示例性实施例的运动估计器130基于由特征点检测器110检测到的第一帧中的多个特征点的位置以及由特征点跟踪器120检测到的第二帧中的多个特征点的位置估计图像运动。例如，运动估计器130可获得起始于第一帧中的所述多个特征点中的每个特征点、结束于第二帧中的相应特征点的矢量，并且基于矢量的平均值估计运图像动。
运动校正器140可执行运动校正以从图像移除由运动估计器130估计的图像运动并输出稳定的图像。例如，运动校正器140可通过沿与图像运动的方向相反的方向移动第二帧来移除第一帧和第二帧之间的图像运动。
在下文中，将描述基于由陀螺仪传感器感测到的角速度值由特征点位置预测器150、特征点验证器160及参数更新器170处理数据的方法，其中，所述陀螺仪传感器包括在相机10中或包括在相机10的支撑件中以感测相机10的旋转角速度。此外，将描述与以上方法相关的由运动估计器130执行的数据处理方法。
特征点位置预测器150可使用在存储器中存储的参数和可由陀螺仪传感器感测到的围绕至少一个轴旋转的相机10的角速度预测第二帧中的特征点的位置。特征点位置预测器150可接收由陀螺仪传感器感测到的相机10的角速度。
所述参数可表示在第一帧与第二帧间的时间间隔期间的相机10的平均角速度和第一帧与第二帧间的相应像素移动之间的关系。所述参数、角速度及像素移动可由下列等式1表示。
[等式1]
P＝∝×ω
在等式1中，α表示参数，P表示第一帧与第二帧间的像素移动，ω表示在第一帧与第二帧间的时间间隔期间的相机10的平均角速度。相机10可沿水平方向和/或垂直方向旋转。P、ω及α均可以是包括水平分量和垂直分量的矩阵并且可由下列等式2至等式4表示。
[等式2]
这里，Px表示沿x轴方向(例如，水平方向)的像素移动，Py表示沿y轴方向(例如，垂直方向)的像素移动。
[等式3]
这里，ωx表示沿x轴方向的旋转角速度(即，平移角速度)，ωy表示沿y轴方向的旋转角速度(即，倾斜角速度)。
[等式4]
这里，αx表示与x轴方向相应的参数，αy表示与y轴方向相应的参数。
特征点位置预测器150可接收由陀螺仪传感器感测到的相机10的角速度ω，并且使用等式1通过将角速度ω与参数α相乘来预测第一帧与第二帧之间的特征点的像素移动P。然后，特征点位置预测器150可将预测出的特征点的像素移动P添加到从第一帧检测到的特征点的位置，从而预测在第二帧中的特征点的位置。
陀螺仪传感器可周期性地感测相机10的瞬时旋转角速度。陀螺仪用于感测角速度的时间间隔可比第一帧与第二帧之间的时间间隔短。
特征点位置预测器150可从陀螺仪传感器接收在捕捉到第一帧时的时间t1与捕捉到第二帧时的时间t2之间连续感测到的多个瞬时角速度。特征点位置预测器150可计算所述多个瞬时角速度的平均值，并将所述平均角速度代入等式1。作为结果，通过将所述平均角速度与参数相乘，可预测出特征点的像素移动。另外，通过将预测出的特征点的像素移动添加到从第一帧检测到的特征点的位置，特征点位置预测器150可预测在第二帧中的特征点的位置。
如上所述，角速度、参数以及像素移动均可以是具有与两个轴方向相应的分量的矩阵。因此，可基于上述计算预测沿所述两个轴方向中的每个轴方向的像素移动，并且可通过将预测出的沿所述两个轴方向中的每个轴方向的像素移动添加到从第一帧检测到的特征点的位置，来进一步预测出在第二帧中的特征点的位置。
如果相机10被拉近或拉远(即，如果相机10的透镜的焦距被改变)，则根据相机10的角速度的像素移动也被改变。换言之，上述参数依赖于相机10的透镜焦距。例如，随着相机10被拉近(即，随着透镜焦距被增大)，根据相机10的同一旋转角速度的像素移动可被增大。为了反映所述参数对相机10的透镜焦距的依赖，透镜焦距可被用作等式1中的变量，或者可额外限定焦距与所述参数之间的关系公式。例如，可按照所述参数值随着焦距增加而增加的方式预设关于透镜焦距与所述参数之间的关系的关系公式或查询表。
特征点验证器160可基于由特征点跟踪器120检测到的第二帧中的特征点的位置和由特征点位置预测器150预测出的第二帧中的特征点的位置之间的比较对特征点进行验证。
例如，当由特征点跟踪器120检测到的第二帧中的特征点的位置和由特征点位置预测器150预测出的第二帧中的特征点的位置之间的距离在误差范围以内时，特征点验证器160可确定特征点的验证成功。另一方面，如果由特征点跟踪器120检测到的第二帧中的特征点的位置和由特征点位置预测器150预测出的第二帧中的特征点的位置之间的距离超过误差范围，则特征点验证器160确定特征点的验证失败。
由特征点验证器160执行的对特征点进行验证的方法不限于上述示例，并且可在示例性实施例中变化。
当检测到并预测出多个特征点时，特征点验证器160可对所述多个特征点中的每个进行验证。
根据上述对特征点进行验证的结果，运动估计器130可基于从第二帧检测到的特征点之中成功验证的特征点的位置和从第一帧检测到的相应特征点的位置估计图像的运动。详细地讲，运动估计器130可基于从第二帧检测到的全部特征点之中成功验证的特征点的位置开始到从第一帧检测到的相应特征点的位置的矢量的总和，估计图像运动。图像运动可包括水平分量和垂直分量，并且可被表示为矩阵或矢量。
根据示例性实施例的参数更新器170可通过使用由运动估计器130估计出的图像运动来更新参数。参数更新器170可使用由运动估计器130估计出的图像运动和由陀螺仪传感器感测到的相机10的角速度来更新参数。例如，参数更新器170可使用下列等式5基于估计出的图像运动与接收到的角速度之比来更新参数。
[等式5]
这里，全局移动矢量(GMV)表示由运动估计器130估计出的图像运动并且可以是包括水平分量和垂直分量的矩阵。
也就是说，参数更新器170可基于使用特征点的像素移动估计出的图像运动和由陀螺仪传感器感测到的角速度计算表示角速度与像素移动之间的关系的参数，并更新在存储器中存储的参数值。
参数更新器170可用根据等式5计算出的新参数替换先前的参数。
可选地，参数更新器170可计算预设(例如，预定)数量的近期新参数的平均值，并且利用近期新参数的平均值更新先前的参数。为此，参数更新器170可获得存储器空间以存储预设数量的参数，并且在存储器空间中存储所有新近计算出的参数。然后，所述预设数量的参数可被平均值以更新在预测特征点的位置时使用的参数。例如，所述预设数量可以是100，但不限于此。
图4是示出根据示例性实施例的估计图像运动的方法的流程图。
在图4中示出的方法可包括由图3中示出的视频稳定化设备100执行的操作。因此，以上参照图3提供的所述元件的描述也可应用于图4中示出的方法。
参照图4，在操作41，特征点检测器110可从由相机10记录的视频的第一帧检测特征点。在操作41，特征点检测器110可检测多个特征点。
在操作42，特征点位置预测器150可使用参数从第二帧预测与在操作41检测到的特征点相应的特征点的位置。所述参数可存储在存储器中或者可从外部装置接收。所述参数的初始值可由相机10的制造商设置、由用户确定或由相机随机选择。在操作42，特征点位置预测器150可从第二帧预测与在操作41从第一帧检测到的多个特征点相应的多个特征点的位置。
在操作43，特征点跟踪器120可从第二帧检测与在操作41检测到的特征点相应的特征点。在操作43，特征点跟踪器120可从第二帧检测与在操作41从第一帧检测到的多个特征点分别相应的特征点。
在操作44，特征点验证器160可基于在操作42预测出的第二帧的特征点的位置和在操作43检测到的第二帧的特征点的位置的比较对特征点进行验证。在操作44，特征点验证器160可基于在操作42预测出的第二帧的多个特征点的位置和在操作43检测到的第二帧的多个特征点的位置的比较对特征点进行验证。
在操作45，运动估计器130可基于在操作44成功验证的至少一个特征点的位置估计图像运动。具体而言，针对被验证的特征点，在第一帧中检测到的位置和在第二帧中检测到的位置可被用于估计图像运动。
在操作46，参数更新器170可使用在操作45估计出的图像运动更新所述参数。
可按照与示例性实施例中不同的顺序执行在图4中示出的操作。
图5是示出根据示例性实施例的稳定视频的方法的流程图。
在图5中示出的方法可包括由图3中示出的视频稳定化设备100执行的操作。因此，以上参照图3提供的所述元件的描述也可应用于图5中示出的方法。此外，在图5中示出的方法包括与图4中示出的操作41至操作46相似的操作41至操作46，因此，这里将不再重复描述操作41至操作46的描述。
参照图5，操作47被增加到图4的方法中。
在操作47，图3的运动校正器140可基于在操作45估计出的图像运动校正视频。详细地讲，运动校正器140可从第二帧移除在操作45估计出的图像运动以使视频稳定。
可按照与示例性实施例中不同的顺序执行在图5中示出的操作。
图6是示出根据示例性实施例的使用参数预测特征点的位置的方法的流程图。
参照图6，在操作421，图3的特征点位置预测器150可接收由相机10中包括的陀螺仪传感器感测到的相机10的角速度。
在操作422，特征点位置预测器150可通过将在操作421接收到的角速度与参数相乘来预测特征点的像素移动。所述参数可存储在存储器中或可从外部装置接收。
在操作423，特征点位置预测器150可基于从第一帧检测到的特征点的位置和在操作422预测出的特征点的像素移动预测在第二帧中的特征点的位置。
当从第一帧检测到多个特征点时，针对所述特征点中的每个特征点执行操作423。
图7示出根据示例性实施例的预测特征点的位置的方法。详细地讲，图7示出由图3的特征点检测器110所提取的第一帧中的两个特征点的位置、由图3的特征点位置预测器150预测出第二帧中的特征点的位置以及由图3的特征点跟踪器120检测到的第二帧中的特征点的位置。
参照图7，“X”表示第一特征点，“O”表示第二特征点。首先，针对第一特征点，示出从第一帧检测到的位置711、从第二帧预测出的位置721以及从第二帧检测到的位置731。此外，针对第二特征点，在图7中示出从第一帧检测到的位置712、从第二帧预测出的位置722以及从第二帧检测到的位置732。
针对第一特征点，在从第二帧检测到的位置731和在第二帧预测出的位置721之间的距离在代表误差容限的预定距离741以内。另一方面，针对第二特征点，在从第二帧检测到的位置732和在第二帧中预测出的位置722之间的距离超过预定距离742。
在这种情况下，图3的特征点验证器160可确定第一特征点被准确、成功跟踪。换言之，第一特征点被成功验证。另一方面，特征点验证器160确定第二特征点未被准确跟踪因而第二特征点的跟踪失败。换言之，第二特征点未被验证。
此外，在这种情况下，图3的运动估计器130可仅使用被成功验证的第一特征点估计图像运动。详细地讲，运动估计器130可基于从第一帧检测到的位置711开始到从第二帧检测到的位置731的第一特征点的矢量估计视频的运动矢量。当多个特征点被成功验证时，运动估计器130可计算针对所述多个特征点中的每个特征点的矢量并且基于计算出的矢量的矢量和估计图像的运动矢量。
上述示例性实施例也可被应用于因外部因素(诸如图像处理系统、机器人系统、汽车系统、国防系统、闭路TV(CCTV)系统、智能电话或摄像机)而产生的任何相机抖动或图像模糊。
根据示例性实施例，使用由陀螺仪传感器感测到的角速度预测特征点的位置不需要复杂的数学公式，并且使用可实时更新的准确参数快速、准确预测特征点的位置。
根据所述用于估计图像运动的方法和设备、用于稳定图像的方法和设备以及一个或多个示例性实施例的计算机可读记录介质，图像运动可被快速、精确估计以稳定图像。
根据示例性实施例，如图3所示由块表示的所述组件、元件、模块或单元中的至少一个可被实施为执行上述各个功能的不同数量的硬件、软件和/或固件结构。例如，这些组件、元件或单元中的至少一个可使用直接电路结构(诸如存储器、处理、逻辑、查询表等)，其中，所述直接电路结构可通过一个或多个微处理器或者其它控制设备的控制执行所述各个功能。此外，这些组件、元件或单元中的至少一个可由包含用于执行指定逻辑功能的一个或多个可执行指令并且由一个或多个微处理器或者其它控制设备执行的模块、程序或一部分代码来专门实施。此外，这些组件、元件或单元中的至少一个可还包括执行所述各个功能的处理器(诸如中央处理器(CPU))、微处理器等。这些组件、元件或单元中的两个或更多个可被组合为一个执行被组合的两个或更多个组件、元件或单元的所有操作或功能的单个组件、元件或单元。此外，这些组件、元件或单元中的至少一个的至少部分功能可由这些组件、元件或单元中的另一个执行。此外，虽然在以上框图中未示出总线，但是所述组件、元件或单元之间可通过总线执行通信。以上示例性实施例的功能性方面可被实施为在一个或多个处理器上执行的算法实施。此外，由块表示的所述组件、元件或单元或处理步骤可采用用于电子配置、信号处理和/或控制、数据处理等的任何数量的现有技术。
在图4至图6中示出的方法可被创建为可由计算机执行的程序并且可在通过使用计算机可读记录介质在运行所述程序的通用数字计算机中被实施。计算机可读介质可包括存储介质，诸如磁存储介质(例如，ROM、软盘、硬盘等)、光学读取介质(例如，CD-ROM、DVD等)。
虽然已经参照本发明构思的示例性实施例具体示出并描述本发明构思，但是本领域普通技术人员将理解：在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可在示例性实施例中做出形式和细节方面的各种改变。所述实施例应被视为仅仅是描述性的而并非为了限制的目的。因此，不由本发明构思的详细描述而由权利要求来限定本发明构思的范围，并且在所述范围内的所有差别将被解释为被包括在本发明构思中。
应理解：在此描述的示例性实施例应被视为仅仅是描述性的而并非为了限制的目的。在每个示例性实施例内的特征或方面的描述通常应被视为可用于在其它示例性实施例中的其它类似特征或方面。
虽然已经参照附图描述示例性实施例，但是本领域普通技术人员将理解：在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可在示例性实施例中做出形式和细节方面的各种改变。
Claims (14)
1.一种稳定视频的方法，所述方法包括：
从第一帧检测特征点；
基于第一帧中的特征点的位置以及预定的参数预测第二帧中的特征点的位置；
从第二帧检测特征点；
确定预测出的位置与从第二帧检测到的特征点的位置之间的距离；
响应于确定所述距离在预定阈值内，基于在第一帧中检测到的特征点与在第二帧中检测到的特征点之间的位置差更新所述参数。
2.如权利要求1所述的方法，其中，所述视频由能够沿至少一个轴方向旋转的相机来记录，
其中，所述参数指示相机的角速度和第一帧与第二帧之间的像素移动之间的关系，其中，所述角速度是在捕捉到第一帧时的时间点与捕捉到第二帧时的时间点之间测量的。
3.如权利要求2所述的方法，其中，所述预测的步骤包括：
获得由陀螺仪传感器感测到的相机的角速度；
通过将所述角速度与所述参数相乘估计所述位置差；
基于从第一帧检测到的特征点的位置以及估计出的所述位置差，预测在第二帧中的特征点的位置。
4.如权利要求3所述的方法，其中，所述更新的步骤包括：基于所述角速度更新所述参数。
5.如权利要求4所述的方法，其中，所述更新的步骤包括：
基于所述位置差和所述角速度计算新的参数；
利用新的参数更新所述参数。
6.如权利要求4所述的方法，其中，所述更新的步骤包括：基于所述位置差与所述角速度之比更新所述参数。
7.如权利要求3所述的方法，其中，所述获得的步骤包括：接收在捕捉到第一帧时的时间点与捕捉到第二帧时的时间点之间连续感测到的相机的多个瞬时角速度，
其中，确定位置差的步骤包括：计算所述多个瞬时角速度的平均角速度并且将所述平均角速度和所述参数相乘。
8.如权利要求1所述的方法，其中，所述参数依赖于相机的焦距。
9.如权利要求1所述的方法，其中，针对多个特征点执行所述从第一帧检测特征点的步骤、所述预测的步骤、所述从第二帧检测特征点的步骤、所述确定的步骤以及所述更新的步骤。
10.如权利要求9所述的方法，其中，所述更新的步骤包括：基于由从第二帧检测到的特征点的位置和从第一帧检测到的特征点的位置限定的矢量估计所述位置差。
11.如权利要求1所述的方法，还包括：基于所述位置差校正所述视频。
12.如权利要求4所述的方法，其中，所述更新的步骤包括：
计算预设数量的近期参数的平均值，其中，所述预设数量的近期参数是基于不同时间点的所述位置差和所述角速度计算的近期参数；
利用所述预设数量的近期参数的平均值更新所述参数。
13.一种用于稳定视频的设备，所述设备包括：
特征点检测器，被配置为从第一帧检测特征点；
特征点位置预测器，被配置为基于第一帧中的特征点的位置以及预定的参数预测第二帧中的特征点的位置；
特征点跟踪器，被配置为从第二帧检测特征点；
特征点验证器，被配置为确定预测出的位置与从第二帧检测到的特征点的位置之间的距离；
运动估计器，被配置为确定在第一帧中检测到的特征点与在第二帧中检测到的特征点之间的位置差；
更新器，被配置为基于所述位置差更新所述参数。
14.如权利要求13所述的设备，还包括：运动校正器，被配置为基于所述位置差校正视频。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150131056A KR102457617B1 (ko) | 2015-09-16 | 2015-09-16 | 영상 움직임 추정 방법 및 장치, 영상 안정화 방법 및 장치, 및 컴퓨터 기록매체 |
| KR10-2015-0131056 | 2015-09-16 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106558063A true CN106558063A (zh) | 2017-04-05 |
| CN106558063B CN106558063B (zh) | 2022-03-11 |
Family
ID=58237512
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610307633.6A Active CN106558063B (zh) | 2015-09-16 | 2016-05-11 | 估计视频中的运动的方法和设备及稳定视频的方法和设备 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10044936B2 (zh) |
| KR (1) | KR102457617B1 (zh) |
| CN (1) | CN106558063B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109144043A (zh) * | 2017-06-27 | 2019-01-04 | 金宝电子工业股份有限公司 | 追踪目标物的方法 |
| CN110892354A (zh) * | 2018-11-30 | 2020-03-17 | 深圳市大疆创新科技有限公司 | 图像处理方法和无人机 |
| CN111182198A (zh) * | 2018-11-13 | 2020-05-19 | 奇酷互联网络科技（深圳）有限公司 | 基于双摄像头的拍摄对焦方法、移动设备及装置 |
| CN116723401A (zh) * | 2023-08-11 | 2023-09-08 | 深圳金语科技有限公司 | 一种流媒体后视镜图像抖动补偿方法及装置 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11205283B2 (en) * | 2017-02-16 | 2021-12-21 | Qualcomm Incorporated | Camera auto-calibration with gyroscope |
| KR101974122B1 (ko) * | 2017-09-08 | 2019-04-30 | 주식회사 한화 | 자이로 센서의 바이어스 오차 보정 장치 및 그 방법 |
| US10462370B2 (en) | 2017-10-03 | 2019-10-29 | Google Llc | Video stabilization |
| WO2019205129A1 (en) | 2018-04-28 | 2019-10-31 | SZ DJI Technology Co., Ltd. | Motion estimation |
| US10171738B1 (en) * | 2018-05-04 | 2019-01-01 | Google Llc | Stabilizing video to reduce camera and face movement |
| KR102619271B1 (ko) * | 2018-11-01 | 2023-12-28 | 한화비전 주식회사 | 복수의 카메라들을 포함하는 영상 촬영 장치 및 영상 촬영 시스템 |
| KR102060119B1 (ko) * | 2018-11-13 | 2019-12-27 | 국방과학연구소 | 전자광학추적기 및 이를 제어하는 방법 |
| US20200160560A1 (en) * | 2018-11-19 | 2020-05-21 | Canon Kabushiki Kaisha | Method, system and apparatus for stabilising frames of a captured video sequence |
| US11127162B2 (en) * | 2018-11-26 | 2021-09-21 | Ford Global Technologies, Llc | Method and apparatus for improved location decisions based on surroundings |
| CN109618103B (zh) * | 2019-01-28 | 2020-09-25 | 深圳慧源创新科技有限公司 | 无人机图传视频的防抖方法及无人机 |
| KR102313795B1 (ko) * | 2020-04-10 | 2021-10-18 | (주)인펙비전 | 정확성 및 신뢰도를 높인 surf 특징점 추적 기반 영상 안정화 방법 |
| KR20210155284A (ko) | 2020-06-15 | 2021-12-22 | 한화테크윈 주식회사 | 영상처리장치 |
| US11190689B1 (en) | 2020-07-29 | 2021-11-30 | Google Llc | Multi-camera video stabilization |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030117611A1 (en) * | 2001-12-24 | 2003-06-26 | Jae Choon Chon | Apparatus for calculating optical flow and camera motion using correlation matching and system model in moving image |
| US20050249426A1 (en) * | 2004-05-07 | 2005-11-10 | University Technologies International Inc. | Mesh based frame processing and applications |
| CN101739686A (zh) * | 2009-02-11 | 2010-06-16 | 北京智安邦科技有限公司 | 运动目标跟踪方法及其系统 |
| US20110157379A1 (en) * | 2008-06-09 | 2011-06-30 | Masayuki Kimura | Imaging device and imaging method |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100453222B1 (ko) * | 2001-12-17 | 2004-10-15 | 한국전자통신연구원 | 카메라 움직임 판별 장치 및 방법 |
| KR100639995B1 (ko) * | 2005-06-14 | 2006-10-31 | 한국전자통신연구원 | 블록 정합 기반의 고속 움직임 예측 장치 및 그 방법 |
| JP4800163B2 (ja) * | 2006-09-29 | 2011-10-26 | 株式会社トプコン | 位置測定装置及びその方法 |
| JP4958610B2 (ja) * | 2007-04-06 | 2012-06-20 | キヤノン株式会社 | 画像防振装置、撮像装置及び画像防振方法 |
| KR100915525B1 (ko) * | 2007-12-18 | 2009-09-04 | 한국전자통신연구원 | 칼만 필터를 이용한 실시간 카메라 움직임 추정시스템에서의 움직임 추정 방법 및 장치 |
| JP5237622B2 (ja) | 2007-12-21 | 2013-07-17 | セミコンダクター・コンポーネンツ・インダストリーズ・リミテッド・ライアビリティ・カンパニー | 振動補正制御回路及びそれを備えた撮像装置 |
| KR100956226B1 (ko) | 2008-09-05 | 2010-05-04 | 삼성전기주식회사 | 자이로 센서를 포함하는 카메라 모듈 |
| EP2377094B1 (en) * | 2008-10-01 | 2014-06-11 | Connaught Electronics Limited | A method and a system for calibrating an image capture device |
| TWI365662B (en) * | 2008-12-03 | 2012-06-01 | Inst Information Industry | Method and system for digital image stabilization and computer program product using the method thereof |
| KR100985805B1 (ko) * | 2009-03-26 | 2010-11-09 | 중앙대학교 산학협력단 | 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법 |
| TWI395471B (zh) * | 2009-07-17 | 2013-05-01 | Altek Corp | Panorama image of the leading shooting method |
| US8488010B2 (en) | 2010-09-21 | 2013-07-16 | Hewlett-Packard Development Company, L.P. | Generating a stabilized video sequence based on motion sensor data |
| WO2012064106A2 (en) * | 2010-11-12 | 2012-05-18 | Samsung Electronics Co., Ltd. | Method and apparatus for video stabilization by compensating for view direction of camera |
| US8849054B2 (en) * | 2010-12-23 | 2014-09-30 | Samsung Electronics Co., Ltd | Digital image stabilization |
| FR2976355B1 (fr) * | 2011-06-09 | 2013-06-21 | Jean Luc Desbordes | Dispositif de mesure de vitesse et de position d'un vehicule se deplacant le long d'une voie de guidage, procede et produit programme d'ordinateur correspondant. |
| JP6004371B2 (ja) * | 2011-11-16 | 2016-10-05 | パナソニックＩｐマネジメント株式会社 | 撮像装置 |
| KR102282458B1 (ko) * | 2015-03-23 | 2021-07-27 | 한화테크윈 주식회사 | 영상안정화장치 및 방법 |
| US10136063B2 (en) * | 2013-07-12 | 2018-11-20 | Hanwha Aerospace Co., Ltd | Image stabilizing method and apparatus |
| KR101883481B1 (ko) * | 2013-07-12 | 2018-07-31 | 한화에어로스페이스 주식회사 | 영상 안정화 장치 및 방법 |
| KR102069269B1 (ko) * | 2014-01-21 | 2020-01-22 | 한화테크윈 주식회사 | 영상 안정화 장치 및 방법 |
| KR102331538B1 (ko) * | 2015-09-16 | 2021-11-26 | 한화테크윈 주식회사 | 영상 안정화 방법, 장치 및 컴퓨터 기록매체 |
| JP6700874B2 (ja) * | 2016-03-08 | 2020-05-27 | キヤノン株式会社 | 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 |
-
2015
- 2015-09-16 KR KR1020150131056A patent/KR102457617B1/ko active IP Right Grant
-
2016
- 2016-03-09 US US15/065,167 patent/US10044936B2/en active Active
- 2016-05-11 CN CN201610307633.6A patent/CN106558063B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030117611A1 (en) * | 2001-12-24 | 2003-06-26 | Jae Choon Chon | Apparatus for calculating optical flow and camera motion using correlation matching and system model in moving image |
| US20050249426A1 (en) * | 2004-05-07 | 2005-11-10 | University Technologies International Inc. | Mesh based frame processing and applications |
| US20110157379A1 (en) * | 2008-06-09 | 2011-06-30 | Masayuki Kimura | Imaging device and imaging method |
| CN101739686A (zh) * | 2009-02-11 | 2010-06-16 | 北京智安邦科技有限公司 | 运动目标跟踪方法及其系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109144043A (zh) * | 2017-06-27 | 2019-01-04 | 金宝电子工业股份有限公司 | 追踪目标物的方法 |
| CN111182198A (zh) * | 2018-11-13 | 2020-05-19 | 奇酷互联网络科技（深圳）有限公司 | 基于双摄像头的拍摄对焦方法、移动设备及装置 |
| CN110892354A (zh) * | 2018-11-30 | 2020-03-17 | 深圳市大疆创新科技有限公司 | 图像处理方法和无人机 |
| CN116723401A (zh) * | 2023-08-11 | 2023-09-08 | 深圳金语科技有限公司 | 一种流媒体后视镜图像抖动补偿方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106558063B (zh) | 2022-03-11 |
| KR20170033126A (ko) | 2017-03-24 |
| KR102457617B1 (ko) | 2022-10-21 |
| US20170078576A1 (en) | 2017-03-16 |
| US10044936B2 (en) | 2018-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106558063A (zh) | 估计视频中的运动的方法和设备及稳定视频的方法和设备 | |
| US9277129B2 (en) | Robust image feature based video stabilization and smoothing | |
| Hanning et al. | Stabilizing cell phone video using inertial measurement sensors | |
| US8130277B2 (en) | Method and system for intelligent and efficient camera motion estimation for video stabilization | |
| JP5694300B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| US8928778B2 (en) | Camera device, image processing system, image processing method and image processing program | |
| KR100985805B1 (ko) | 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법 | |
| JP6036824B2 (ja) | 画角変動検知装置、画角変動検知方法および画角変動検知プログラム | |
| KR20170133269A (ko) | 영상 처리장치, 영상 처리방법 및 프로그램 | |
| JP5774226B2 (ja) | 方位センサに基づくホモグラフィ分解の曖昧性の解決 | |
| JP6574645B2 (ja) | 撮像装置を制御する制御装置、撮像装置の制御方法、及びプログラム | |
| JPWO2012063467A1 (ja) | 画像処理装置、画像処理方法、プログラム及び撮影装置 | |
| KR20160113887A (ko) | 영상안정화장치 및 방법 | |
| US8774550B2 (en) | Picture processing device, picture processing method, integrated circuit, and program | |
| US20200160560A1 (en) | Method, system and apparatus for stabilising frames of a captured video sequence | |
| US9251559B2 (en) | Image generation device, camera device, image display device, and image generation method | |
| JP6799325B2 (ja) | 画像補正装置、画像補正方法、注目点認識装置、注目点認識方法及び異常検知システム | |
| CN107820041B (zh) | 隐私遮挡方法及装置 | |
| CN111955005B (zh) | 处理360度图像内容的方法和系统 | |
| JP2011259342A (ja) | 画像処理装置および画像処理方法 | |
| US20140307053A1 (en) | Method of prompting proper rotation angle for image depth establishing | |
| Rajakaruna et al. | Image deblurring for navigation systems of vision impaired people using sensor fusion data | |
| Zhang et al. | Qualitative assessment of video stabilization and mosaicking systems | |
| Shi et al. | A Review and Comparison on Video Stabilization Alorithms | |
| CN104796595B (zh) | 图像处理方法和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Gyeongnam Changwon City, South Korea Applicant after: HANWHA AEROSPACE Co.,Ltd. Address before: Gyeongnam Changwon City, South Korea Applicant before: HANWHA TECHWIN Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190226 Address after: Gyeonggi Do city of South Korea Applicant after: HANWHA TECHWIN Co.,Ltd. Address before: Qingshannan Daochangyuan City Applicant before: HANWHA AEROSPACE Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Gyeonggi Do city of South Korea Patentee after: Hanhua Vision Co.,Ltd. Address before: Gyeonggi Do city of South Korea Patentee before: HANWHA TECHWIN Co.,Ltd. |