CN108074247A - 视频帧产生方法及其系统 - Google Patents

视频帧产生方法及其系统 Download PDF

Info

Publication number
CN108074247A
CN108074247A CN201611125036.8A CN201611125036A CN108074247A CN 108074247 A CN108074247 A CN 108074247A CN 201611125036 A CN201611125036 A CN 201611125036A CN 108074247 A CN108074247 A CN 108074247A
Authority
CN
China
Prior art keywords
light stream
vector set
frames
video frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611125036.8A
Other languages
English (en)
Inventor
周业凯
蔡洛纬
郭慧冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN108074247A publication Critical patent/CN108074247A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种视频帧产生方法及其系统，包括通过一网络取得一图像提取单元所提取的视频中的至少两帧，且通过第一算法计算该至少两帧的第一光流向量集合；依据至少一参数产生一修正向量集合；结合该修正向量集合及该第一光流向量集合，以取得第二光流向量集合；依据该第二光流向量集合对该至少两帧的其中之一进行位移，以产生一虚拟图像。本发明的虚拟图像可降低网络等待时间所造成的误差，提升用户体验。

Description

视频帧产生方法及其系统
技术领域
本发明有关一种视频帧产生方法及其系统，尤指一种可解决网络延迟所造成误差的视频帧产生方法及其系统。
背景技术
无人机(车)通常可通过观看第一人称视角的图像画面，来对无人机(车)进行远程操控。无人机(车)所拍摄的图像画面通常通过移动宽带网络(如2.4GHz自动跳频技术)来实时传输到远程的显示画面上。然而，一般图像画面的视频串流数据往往过于庞大，且移动宽带网络均具有延迟性，造成传输到远程的显示画面的图像并非实时，可能有数十毫秒甚至1至2秒的延迟时间。若此时用户在观看延迟的图像画面的情况下进行操作，将造成无人机(车)的操作偏移甚至失控毁损。
据此，如何提供一种视频帧产生方法及其系统来避免上述情形，为目前亟待解决的课题之一。
发明内容
本发明的一目的在于提供一种视频帧产生方法及其系统，可降低网络延迟所造成的误差，提升用户体验。
本发明的视频帧产生方法，包括：通过一网络取得一图像提取单元所提取的视频中的至少两帧，且通过第一算法计算该至少两帧的第一光流向量集合；依据至少一参数产生一修正向量集合；结合该修正向量集合及该第一光流向量集合，以取得第二光流向量集合；依据该第二光流向量集合对该至少两帧的其中之一进行位移，以产生一虚拟图像。
本发明的另一目的在于提供一种视频帧产生系统，包括：图像提取单元，用以提取一视频；以及计算单元，其通过一网络与该图像提取单元连接并取得该视频中的至少两帧，该计算单元包括：修正向量产生模块，用以依据至少一参数产生一修正向量集合；光流向量产生模块，用以通过第一算法计算该至少两帧的第一光流向量集合，且结合该修正向量集合及该第一光流向量集合，产生第二光流向量集合；及虚拟图像产生模块，用以依据该第二光流向量集合对该至少两帧的其中之一进行位移，以产生一虚拟图像。
附图说明
图1为本发明的视频帧产生方法的第一实施例的流程图；
图2为本发明的视频帧产生方法的第二实施例的流程图；
图3为本发明中帧中物体的光流向量的示意图；
图4为本发明中帧中物体的第一光流向量集合的示意图；
图5为本发明中修正向量集合的示意图；
图6为本发明中第二光流向量集合的示意图；
图7为本发明的第一实施例中所产生的虚拟图像的示意图；
图8为本发明的第二实施例中所产生的虚拟图像的示意图；以及
图9为本发明的视频帧产生系统的架构示意图。
【符号说明】
10 视频帧产生系统
11 图像提取单元
12 计算单元
121 修正向量产生模块
122 光流向量产生模块
123 虚拟图像产生模块
124 图像补偿模块
13 网络
21、22、23、23’、24 物体
211、221、231、241 光流向量
200、210 第一光流向量
250 修正向量
200’、210’ 第二光流向量
30、30’ 虚拟图像
31 修补区域
S11～S14、S21～S28 步骤。
具体实施方式
以下通过特定的具体实施例加以说明本发明的实施方式，而本领域技术人员可由本说明书所公开的内容轻易地了解本发明的其他优点和功效，也可通过其他不同的具体实施例加以施行或应用。
请参阅图1，本发明的视频帧产生方法，包括步骤S11至S14。于步骤S11中，计算帧(frame)的第一光流向量集合。具体言之，通过一网络取得一图像提取单元所提取的视频中的至少两帧，且通过第一算法计算该至少两帧的第一光流向量集合，其中，该至少两帧为时间相邻或时间不相邻的帧，且该至少两帧具有相同的物体可作为参考点。于一实施例中，该图像提取单元可装设在如无人机(车)上，而该图像提取单元所提取的视频是在无人机(车)移动的状态下进行提取。
在取得至少两帧之后，可通过光流法(Optical flow estimation)来预估帧中各物体的移动向量，例如可使用Lucas-Kanade光流法来进行计算，据此取得第一光流向量集合。接着进至步骤S12。
于步骤S12中，产生修正向量集合。具体而言，依据至少一参数产生该修正向量集合，其中，该参数为该网络的延迟信息、该图像提取单元的方向、该图像提取单元的速度或其组合。接着进至步骤S13。
于步骤S13中，结合修正向量集合及第一光流向量集合，以取得第二光流向量集合。接着进至步骤S14。
于步骤S14中，依据第二光流向量集合对帧进行位移，以产生一虚拟图像。在本实施例中，进行位移的帧可选择视频中发生时间较晚的帧，但本发明并不以此为限。
请同时参阅图2至图6，说明本发明的视频帧产生方法的第二实施例的详细内容。以下第二实施例的技术内容也可同时运用至前述的第一实施例中。
于步骤S21中，先通过一网络取得一图像提取单元所提取的视频中的至少两帧，接着通过第一算法计算该至少两帧中物体的光流向量集合。如图3所示，通过第一算法可计算出帧中物体21、22、23、24的光流向量211、221、231、241，据此生成该等光流向量的集合。
于一实施例中，该第一算法为光流法(Optical flow estimation)。假设光流在像素点(pixel)的邻域中是一个常数，欲估计帧I的某一像素点I(x，y)在帧H中的像素点H(x，y)，可视为找寻邻域中的所有像素点，其基本的光流方程式可如下：
其中，u，v为像素点的位移向量。据此，可计算出帧中物体21、22、23、24的光流向量211、221、231、241而得到该等光流向量的集合。于另一实施例中，也可使用Lucas-Kanade光流法，且除了像素点外，本发明也可针对区块(block)来进行计算，本发明并不以此为限。接着进至步骤S22。
于步骤S22中，判断物体为静态或动态。由于图像提取单元架设在会移动的无人遥控载具(如无人机、无人车等)上，所取得的视频并非静止不动，而是会随着无人遥控载具的移动使得视频的帧中物体也有相对位移。因此，可将图3所示的物体21、22、23、24通过特征点方向性搭配相关学习机制(例如人工智能神经网络等等)，来判断物体21、22、23、24为静态或动态。例如，如图3中所示，物体21、22为树木，应属于静态物体，物体24为斑马线，也属于静态物体，而物体23为汽车，则属于动态物体。此可称为自我运动估测(ego-motionestimation)。接着进至步骤S23。
于步骤S23中，则依据对应静态的物体21、22、24的光流向量211、221、241，修正该至少两帧中物体21、22、23、24的光流向量211、221、231、241，如图4所示，物体23的光流向量231将成为第一光流向量200，而其他物体21、22、24的光流向量211、221、241将成为第一光流向量210，据此取得第一光流向量200、210的集合。接着进至步骤S24。
于步骤S24中，产生修正向量集合。具体而言，依据至少一参数产生该修正向量集合，其中，该参数为网络的延迟(latency)信息、该图像提取单元的方向、该图像提取单元的速度或其组合。例如，假设无人遥控载具在极短时间内呈现一线性运动，通过网络的延迟信息可轻易估测出如图4所示的第一光流向量200、210应往前或往后移动的向量值，据此形成如图5所述的修正向量250的集合。又，通过该图像提取单元的方向、该图像提取单元的速度或其组合，也可估计图4所示的第一光流向量200、210应往哪个方向移动的向量值，据此形成如图5所述的修正向量250的集合。接着进至步骤S25。
于步骤S25中，如图4、图5及图6所示，结合修正向量250的集合及第一光流向量200、210的集合，以取得第二光流向量200’、210’的集合。此为单纯向量的运算。接着进至步骤S26。
于步骤S26中，如图7所示，依据第二光流向量200’、210’的集合对帧进行位移(shift)，例如将图3中所示物体23位移至图7中物体23’的位置，以产生一虚拟图像30。在本实施例中，进行位移的帧可选择视频中发生时间较晚的帧，但本发明并不以此为限。
于一实施例中，假设视频的帧集合为X＝{X1，X2，…，Xm}，所欲产生的虚拟图像集合为Y＝{Y1，Y2，…，Yn}。假设第一光流向量集合为Ed，网络延迟(latency)信息表示为λ＝{direction，speed，timestamp}，其中direction，speed分别为图像提取单元的移动方向及行进速率(即无人遥控载具的移动方向及行进速率)，timestamp为远程所取得视频的帧的时间戳，则预测的虚拟图像集合Y与实际接收的帧集合X之间的差异可由Lp(X，Y)＝||(Ed(X)+λ)-Y||p的方程式(p＝1或p＝2)表示。
于另一实施例中，在取得虚拟图像后，可再进行下列步骤。于步骤S27中，取得虚拟图像中的修补区域。具体而言，计算该虚拟图像与依据该第二光流向量集合对该至少两帧中进行位移者的差异值，例如图7帧中物体23’的位置与图3帧中物体23的位置的差异值，以取得如图7所示的虚拟图像30中的修补区域31。接着进至步骤S28。
于步骤S28中，可通过第二算法对该修补区域31进行图像修补，例如，通过基于范例的图像修补方法(exemplar-based image inpainting，EBI)来进行修补。图8即呈现修补后的虚拟图像30’，其修补区域31中的斑马线已复原。在本实施例中，由于本发明通过比较两帧如图7帧中物体23’的位置与图3帧中物体23的位置的差异值，来取得修补区域，与现有技术必须以手动方式选定目标区块来进行修补，更具备省时省力的功效。
请参阅图9，本发明另提供一种视频帧产生系统10，包括图像提取单元11及计算单元12。该计算单元12包括修正向量产生模块121、光流向量产生模块122以及虚拟图像产生模块123。本发明的视频帧产生系统10的部分技术内容相同于前述的视频帧产生方法，相同部分于此不再赘述。
于一实施例中，该计算单元12为计算机、手机、平板或具有屏幕的遥控器(用于无人遥控载具)等具有处理器的电子装置。另本发明所述的模块(module)，则为由处理器(processor)所运行的软件程序(software)。
该图像提取单元11用以提取一视频，且该图像提取单元可设于一无人遥控载具上。该计算单元12通过一网络13(如4G Wi-Fi、WIFI或WiMAX)来连接该图像提取单元11，并可接收该图像提取单元11所提取的视频。于一实施例中，视频可经过实时影音数据压缩运算后，以串流方式通过网络13传送到计算单元12。于另一实施例中，视频传送到计算单元12后，可先储存在计算单元12的储存媒介(例如硬盘、内存)中，再进行后续处理。
该计算单元12的修正向量产生模块121，用以依据至少一参数产生一修正向量集合，其中，该参数为该网络13的延迟(latency)信息、该图像提取单元11的方向、该图像提取单元11的速度或其组合。
该计算单元12的光流向量产生模块122，可通过第一算法计算视频中至少两帧的第一光流向量集合，其中，该第一算法为光流法，且其中，该至少两帧为时间相邻或时间不相邻的帧，且该至少两帧具有相同的物体来作为参考点。详细而言，该光流向量产生模块122通过该第一算法计算该至少两帧中物体的光流向量集合后，判断物体为静态或动态后，并依据对应静态的物体的光流向量集合修正该至少两帧中物体的光流向量集合，以取得该第一光流向量集合。
在修正向量产生模块121产生修正向量集合后，该光流向量产生模块122还可结合该修正向量集合及该第一光流向量集合，以产生第二光流向量集合。
该计算单元12的虚拟图像产生模块123，则是用以依据第二光流向量集合对该至少两帧的其中之一进行位移，以产生一虚拟图像。该虚拟图像可显示在计算单元12的屏幕上，以供用户观看。该虚拟图像也可经由计算单元12的网络传送到外部的屏幕上，例如计算单元12可为云端服务器，在经计算产生虚拟图像后，可再通过将虚拟图像传送到操控无人遥控载具的控制器的屏幕上。
本发明的视频帧产生系统10还包括图像补偿模块124，用以计算该虚拟图像与依据该第二光流向量集合对该至少两帧中进行位移者的差异值，以取得该虚拟图像中的修补区域，且通过第二算法对该修补区域进行图像补偿，其中，该第二算法为基于范例的图像修补方法(exemplar-based image inpainting，EBI)。此部分技术内容已如前述，于此不再赘述。
通过本发明的视频帧产生方法及其系统，对视频中至少两帧计算取得第一光流向量集合，并依据参数产生修正向量集合，进而可根据第一光流向量集合及修正向量集合取得第二光流向量集合。该第二光流向量集合即为预测光流，可产生预测的虚拟图像，而该虚拟图像可降低网络延迟所造成的误差。本发明可适用于长距离(5公里以上)的无线网络环境，有效解决网络传输的时间延迟所造成的误差，且低延迟的虚拟图像可提升用户远程操控无人机(车)的体验感。
上述实施形态仅为例示性说明本发明的技术原理、特点及其功效，并非用以限制本发明的可实施范畴，任何本领域技术人员均可在不违背本发明的精神与范畴下，对上述实施形态进行修饰与改变。然任何运用本发明所教示内容而完成的等效修饰及改变，均仍应为权利要求范围所涵盖。而本发明的权利保护范围，应如权利要求书所列。

Claims (15)

1.一种视频帧产生方法，其特征在于，该方法包括：
通过一网络取得一图像提取单元所提取的视频中的至少两帧，且通过第一算法计算该至少两帧的第一光流向量集合；
依据至少一参数产生一修正向量集合；
结合该修正向量集合及该第一光流向量集合，以取得第二光流向量集合；
依据该第二光流向量集合对该至少两帧的其中之一进行位移，以产生一虚拟图像。
2.如权利要求1所述的视频帧产生方法，其特征在于，在通过该第一算法计算该至少两帧的第一光流向量集合的步骤中，还包括下列步骤：
通过该第一算法计算该至少两帧中物体的光流向量集合；
判断该物体为静态或动态；以及
依据对应静态的物体的光流向量集合修正该至少两帧中物体的光流向量集合，以取得该第一光流向量集合。
3.如权利要求2所述的视频帧产生方法，其特征在于，该至少两帧为时间相邻或时间不相邻的帧，且该至少两帧具有相同的物体。
4.如权利要求1所述的视频帧产生方法，其特征在于，在产生该虚拟图像后，还包括下列步骤：
计算该虚拟图像与依据该第二光流向量集合对该至少两帧中进行位移者的差异值，以取得该虚拟图像中的修补区域；以及
通过第二算法对该修补区域进行图像补偿。
5.如权利要求4所述的视频帧产生方法，其特征在于，该第二算法为基于范例的图像修补方法。
6.如权利要求1所述的视频帧产生方法，其特征在于，该第一算法为光流法。
7.如权利要求1所述的视频帧产生方法，其特征在于，该参数为该网络的延迟信息、该图像提取单元的方向、该图像提取单元的速度或其组合。
8.一种视频帧产生系统，其特征在于，该系统包括：
图像提取单元，用以提取一视频；以及
计算单元，其通过一网络与该图像提取单元连接并取得该视频中的至少两帧，该计算单元包括：
修正向量产生模块，用以依据至少一参数产生一修正向量集合；
光流向量产生模块，用以通过第一算法计算该至少两帧的第一光流向量集合，且结合该修正向量集合及该第一光流向量集合，产生第二光流向量集合；及
虚拟图像产生模块，用以依据该第二光流向量集合对该至少两帧的其中之一进行位移，以产生一虚拟图像。
9.如权利要求8所述的视频帧产生系统，其特征在于，该光流向量产生模块通过该第一算法计算该至少两帧中物体的光流向量集合后，判断该物体为静态或动态，并依据对应静态的物体的光流向量集合修正该至少两帧中物体的光流向量集合，以取得该第一光流向量集合。
10.如权利要求8所述的视频帧产生系统，其特征在于，该至少两帧为时间相邻或时间不相邻的帧，且该至少两帧具有相同的物体。
11.如权利要求8所述的视频帧产生系统，其特征在于，该系统还包括图像补偿模块，用以计算该虚拟图像与依据该第二光流向量集合对该至少两帧中进行位移者的差异值，以取得该虚拟图像中的修补区域，且通过第二算法对该修补区域进行图像补偿。
12.如权利要求11所述的视频帧产生系统，其特征在于，该第二算法为基于范例的图像修补方法。
13.如权利要求8所述的视频帧产生系统，其特征在于，该第一算法为光流法。
14.如权利要求8所述的视频帧产生系统，其特征在于，该参数为该网络的延迟信息、该图像提取单元的方向、该图像提取单元的速度或其组合。
15.如权利要求8所述的视频帧产生系统，其特征在于，该计算单元为计算机、手机、平板或具有屏幕的遥控器。
CN201611125036.8A 2016-11-11 2016-12-08 视频帧产生方法及其系统 Pending CN108074247A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW105136858 2016-11-11
TW105136858A TWI632814B (zh) 2016-11-11 2016-11-11 視訊畫幀產生方法及其系統

Publications (1)

Publication Number Publication Date
CN108074247A true CN108074247A (zh) 2018-05-25

Family

ID=62108777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611125036.8A Pending CN108074247A (zh) 2016-11-11 2016-12-08 视频帧产生方法及其系统

Country Status (3)

Country Link
US (1) US10200574B2 (zh)
CN (1) CN108074247A (zh)
TW (1) TWI632814B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020107523A1 (zh) * 2018-11-27 2020-06-04 上海芯仑光电科技有限公司 一种检测车道线的方法和车辆、及计算设备
CN113660443A (zh) * 2020-05-12 2021-11-16 武汉Tcl集团工业研究院有限公司 一种视频插帧方法、终端以及存储介质
CN113870307A (zh) * 2021-09-01 2021-12-31 河北汉光重工有限责任公司 一种基于帧间信息的目标检测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090300692A1 (en) * 2008-06-02 2009-12-03 Mavlankar Aditya A Systems and methods for video streaming and display
US20110273582A1 (en) * 2009-01-20 2011-11-10 Honda Motor Co., Ltd. Method for image restoration in a computer vision system
US20120105728A1 (en) * 2010-10-28 2012-05-03 Microsoft Corporation Methods and apparatus for reducing structured noise in video
CN103400394A (zh) * 2013-07-18 2013-11-20 天津大学 基于特征导向变分光流的视频超分辨率方法
CN105913084A (zh) * 2016-04-11 2016-08-31 福州大学 一种基于密集轨迹和dhog的超声心动视频影像分类方法
CN106017463A (zh) * 2016-05-26 2016-10-12 浙江大学 一种基于定位传感装置的飞行器定位方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006500797A (ja) 2002-07-16 2006-01-05 ノキア コーポレイション マルチメディアストリーミング時にパケット転送遅延の補償を可能にする方法
US7616782B2 (en) 2004-05-07 2009-11-10 Intelliview Technologies Inc. Mesh based frame processing and applications
US7440008B2 (en) * 2004-06-15 2008-10-21 Corel Tw Corp. Video stabilization method
US20060125835A1 (en) 2004-12-10 2006-06-15 Li Sha DMA latency compensation with scaling line buffer
US7548659B2 (en) * 2005-05-13 2009-06-16 Microsoft Corporation Video enhancement
TW200824433A (en) * 2006-11-22 2008-06-01 Univ Nat Chiao Tung Intelligent monitoring and analyzing system and method thereof
WO2009136969A2 (en) 2008-01-22 2009-11-12 Carnegie Mellon University Apparatuses, systems, and methods for apparatus operation and remote sensing
CN101616310B (zh) * 2009-07-17 2011-05-11 清华大学 可变视角及分辨率的双目视觉系统目标图像稳定化方法
KR101789845B1 (ko) * 2010-01-22 2017-11-20 톰슨 라이센싱 샘플링 기반 초 해상도 비디오 인코딩 및 디코딩을 위한 방법 및 장치
CN102123234B (zh) 2011-03-15 2012-09-05 北京航空航天大学 无人机侦察视频分级运动补偿方法
TWI587693B (zh) 2011-06-30 2017-06-11 微軟技術授權有限責任公司 用於減少視訊編碼及解碼中之延遲的方法、系統及電腦可讀取媒體
TWI444593B (zh) 2011-10-21 2014-07-11 Ind Tech Res Inst 地面目標定位系統與方法
US8971612B2 (en) * 2011-12-15 2015-03-03 Microsoft Corporation Learning image processing tasks from scene reconstructions
US8610608B2 (en) 2012-03-08 2013-12-17 Lsi Corporation Systems and methods for reduced latency loop correction
US9805475B2 (en) * 2012-09-07 2017-10-31 Massachusetts Institute Of Technology Eulerian motion modulation
US9324005B2 (en) * 2012-09-07 2016-04-26 Massachusetts Institute of Technology Quanta Computer Inc. Complex-valued phase-based eulerian motion modulation
US9380286B2 (en) * 2013-04-19 2016-06-28 Adobe Systems Incorporated Stereoscopic target region filling
US9350969B2 (en) * 2013-04-19 2016-05-24 Adobe Systems Incorporated Target region filling involving source regions, depth information, or occlusions
TWI496115B (zh) * 2013-12-05 2015-08-11 Univ Nat Kaohsiung Applied Sci 移動攝影機之畫面穩定方法
EP2924648A1 (en) * 2014-03-26 2015-09-30 Thomson Licensing Method and an apparatus for generating an Approximate Nearest Neighbor Field (ANNF) for images and video sequences
US9969337B2 (en) 2014-09-03 2018-05-15 Sharp Laboratories Of America, Inc. Methods and systems for mobile-agent navigation
JP5949861B2 (ja) * 2014-09-05 2016-07-13 トヨタ自動車株式会社 車両の接近物体検出装置及び車両の接近物体検出方法
US10749918B2 (en) 2014-11-10 2020-08-18 Avago Technologies International Sales Pte. Limited Adaptive streaming with early client indication

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090300692A1 (en) * 2008-06-02 2009-12-03 Mavlankar Aditya A Systems and methods for video streaming and display
US20110273582A1 (en) * 2009-01-20 2011-11-10 Honda Motor Co., Ltd. Method for image restoration in a computer vision system
US20120105728A1 (en) * 2010-10-28 2012-05-03 Microsoft Corporation Methods and apparatus for reducing structured noise in video
CN103400394A (zh) * 2013-07-18 2013-11-20 天津大学 基于特征导向变分光流的视频超分辨率方法
CN105913084A (zh) * 2016-04-11 2016-08-31 福州大学 一种基于密集轨迹和dhog的超声心动视频影像分类方法
CN106017463A (zh) * 2016-05-26 2016-10-12 浙江大学 一种基于定位传感装置的飞行器定位方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020107523A1 (zh) * 2018-11-27 2020-06-04 上海芯仑光电科技有限公司 一种检测车道线的方法和车辆、及计算设备
US11941891B2 (en) 2018-11-27 2024-03-26 OmniVision Sensor Solution (Shanghai) Co., Ltd. Method for detecting lane line, vehicle and computing device
CN113660443A (zh) * 2020-05-12 2021-11-16 武汉Tcl集团工业研究院有限公司 一种视频插帧方法、终端以及存储介质
CN113870307A (zh) * 2021-09-01 2021-12-31 河北汉光重工有限责任公司 一种基于帧间信息的目标检测方法及装置

Also Published As

Publication number Publication date
TWI632814B (zh) 2018-08-11
US10200574B2 (en) 2019-02-05
US20180139362A1 (en) 2018-05-17
TW201818717A (zh) 2018-05-16

Similar Documents

Publication Publication Date Title
US10510157B2 (en) Method and apparatus for real-time face-tracking and face-pose-selection on embedded vision systems
CN113811920A (zh) 分布式姿势估计
US9710923B2 (en) Information processing system, information processing device, imaging device, and information processing method
US20190289215A1 (en) Image stabilization techniques for video
TWI469062B (zh) 影像穩定方法及影像穩定裝置
US10755419B2 (en) Moving object detection apparatus, moving object detection method and program
US8903130B1 (en) Virtual camera operator
CN115298638A (zh) 用于基于手势控制设备的方法和系统
US20140002604A1 (en) Information processing apparatus, information processing method, and data structure of position information
CN105611116B (zh) 一种全局运动矢量估计方法及监控视频稳像方法及装置
CN108491763B (zh) 三维场景识别网络的无监督训练方法、装置及存储介质
US20160269639A1 (en) Video stabilization
CN105872345A (zh) 基于特征匹配的全帧电子稳像方法
WO2018129794A1 (zh) 一种实时大规模场景三维扫描建模方法及系统
CN108074247A (zh) 视频帧产生方法及其系统
US9208578B2 (en) Local binary pattern-based optical flow
CN110321937A (zh) 一种Faster-RCNN结合卡尔曼滤波的运动人体跟踪方法
JP7196999B2 (ja) オブジェクト検出・追跡装置、方法、およびプログラム
WO2020078140A1 (zh) 一种运动模型的优化系统及方法
CN113194253A (zh) 去除图像反光的拍摄方法、装置和电子设备
KR101396838B1 (ko) 다수의 모션 모델을 선택적으로 이용하는 영상 안정화 방법 및 시스템
CN109729263B (zh) 基于融合运动模型的视频除抖方法
US20220294971A1 (en) Collaborative object detection
JP2012257173A (ja) 追尾装置、追尾方法及びプログラム
CN202931463U (zh) 基于特征块的视频稳像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180525