JP2022509375A - オプティカルフロー推定のための方法 - Google Patents
オプティカルフロー推定のための方法 Download PDFInfo
- Publication number
- JP2022509375A JP2022509375A JP2021547880A JP2021547880A JP2022509375A JP 2022509375 A JP2022509375 A JP 2022509375A JP 2021547880 A JP2021547880 A JP 2021547880A JP 2021547880 A JP2021547880 A JP 2021547880A JP 2022509375 A JP2022509375 A JP 2022509375A
- Authority
- JP
- Japan
- Prior art keywords
- optical flow
- occlusion
- estimator
- image frames
- estimated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 120
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 20
- 238000000746 purification Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 10
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 abstract description 4
- 230000033001 locomotion Effects 0.000 description 9
- 239000002609 medium Substances 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 239000006163 transport media Substances 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
【選択図】図1
Description
Claims (15)
- 1つ以上の画素のオプティカルフロー推定を決定するために、複数の画像フレームを処理するための方法であって、
ビデオシーケンスの複数の画像フレームを提供して、前記複数の画像フレームから各画像内の特徴を識別することと、
オクルージョン推定器により、前記ビデオシーケンスの2つ以上の連続画像フレームにおける1つ以上のオクルージョンの存在を、少なくとも前記識別された特徴に基づいて推定することと、
前記オクルージョン推定器により、1つ以上のオクルージョンマップを、前記1つ以上のオクルージョンの前記推定された存在に基づいて生成することと、
前記1つ以上のオクルージョンマップを、オプティカルフローデコーダのオプティカルフロー推定器に提供することと、
前記オプティカルフローデコーダにより、前記識別された特徴および前記1つ以上のオクルージョンマップに基づいて、前記複数の画像フレームにわたる1つ以上の画素に対する推定されたオプティカルフローを生成することと、
を有している、方法。 - 前記識別することは、
特徴抽出器により、前記2つ以上の連続画像フレームのそれぞれから1つ以上の特徴を抽出することにより、1つ以上の特徴ピラミッドを生成することと、
前記1つ以上の特徴ピラミッドのそれぞれの少なくとも1つのレベルを前記オプティカルフロー推定器に提供することと、
を有している、請求項1に記載の方法。 - 1つ以上のオクルージョンの存在を推定することは、前記2つ以上の連続画像フレーム間の複数の変位にわたる前記識別された特徴の1つ以上に対する推定された相関コスト量を計算することを含んでいる、請求項1から2の何れか一項に記載の方法。
- 前記オプティカルフローおよび前記1つ以上のオクルージョンマップを、精製されたオプティカルフローを生成するために精製ネットワークに提供することを有している、請求項1から3の何れか一項に記載の方法。
- 前記オプティカルフローデコーダ、前記オクルージョン推定器、および前記精製ネットワークの少なくとも1つに、以前の時間ステップからの推定されたオプティカルフローを提供することを有しており、前記精製ネットワークは好ましくは、畳み込みニューラルネットワークを備えている、請求項4に記載の方法。
- 前記オプティカルフローデコーダおよび前記オクルージョン推定器は、1つ以上の畳み込みニューラルネットワークを備えている、請求項1から5の何れか一項に記載の方法。
- 前記オプティカルフローのフロー座標システムを、考慮されている画像フレームのフレーム座標システムに変換することを有しており、前記変換は、バイリニア補間を伴うワーピングを有している、請求項1から6の何れか一項に記載の方法。
- 前記ワーピングは、前方ワーピングと後方ワーピングの少なくとも1つを有している、請求項7に記載の方法。
- 前記特徴抽出器は、前記複数の画像フレームの第1および第2画像フレーム間の初期推定オプティカルフローで初期化され、前記初期オプティカルフローは、ワーピングの適用に先行して推定される、請求項2から8の何れか一項に記載の方法。
- 前記1つ以上の畳み込みニューラルネットワークは、前記オプティカルフローデコーダおよびオクルージョン推定器上の重み付けられたマルチタスク損失によりエンドツーエンドでトレーニングされる、請求項6に記載の方法。
- 前記ビデオシーケンスは、車両、好ましくは、自律操作されるモータービークルにおける道路シーンから得られる画像フレームを備えている、請求項1から11の何れか一項に記載の方法。
- プロセッサに、請求項1から12の何れか一項に記載の方法を実行させるように構成されている命令を有している、非一時的コンピュータ可読媒体。
- 前記非一時的コンピュータ可読媒体は、車両、好ましくは、自律操作されるモータービークルに搭載されている、請求項13に記載の非一時的コンピュータ可読媒体。
- 請求項1から12の何れか一項に記載されている方法を実行するように構成されているプロセッサを備えているモータービークルであって、
前記プロセッサは、少なくとも部分的には前記オプティカルフローに基づいて車両制御システムを起動するように更に構成されている、モータービークル。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/EP2018/079903 WO2020088766A1 (en) | 2018-10-31 | 2018-10-31 | Methods for optical flow estimation |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022509375A true JP2022509375A (ja) | 2022-01-20 |
JP7228172B2 JP7228172B2 (ja) | 2023-02-24 |
Family
ID=64109865
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021547880A Active JP7228172B2 (ja) | 2018-10-31 | 2018-10-31 | オプティカルフロー推定のための方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7228172B2 (ja) |
WO (1) | WO2020088766A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111582483B (zh) * | 2020-05-14 | 2022-12-13 | 哈尔滨工程大学 | 基于空间和通道联合注意力机制的无监督学习光流估计方法 |
CN112132871B (zh) * | 2020-08-05 | 2022-12-06 | 天津(滨海)人工智能军民融合创新中心 | 一种基于特征光流信息的视觉特征点追踪方法、装置、存储介质及终端 |
CN112347996A (zh) * | 2020-11-30 | 2021-02-09 | 上海眼控科技股份有限公司 | 一种场景状态判断方法、装置、设备及存储介质 |
CN112465872B (zh) * | 2020-12-10 | 2022-08-26 | 南昌航空大学 | 一种基于可学习遮挡掩模与二次变形优化的图像序列光流估计方法 |
CN112785629A (zh) * | 2021-01-21 | 2021-05-11 | 陕西师范大学 | 一种基于无监督深度光流网络的极光运动表征方法 |
CN113658231B (zh) * | 2021-07-07 | 2023-09-26 | 北京旷视科技有限公司 | 光流预测方法、装置、电子设备及存储介质 |
CN116546183B (zh) * | 2023-04-06 | 2024-03-22 | 华中科技大学 | 基于单帧图像的具有视差效果的动态图像生成方法及系统 |
CN116883913B (zh) * | 2023-09-05 | 2023-11-21 | 长江信达软件技术(武汉)有限责任公司 | 一种基于视频流相邻帧的船只识别方法及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5680487A (en) * | 1991-12-23 | 1997-10-21 | Texas Instruments Incorporated | System and method for determining optical flow |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7760911B2 (en) * | 2005-09-15 | 2010-07-20 | Sarnoff Corporation | Method and system for segment-based optical flow estimation |
US8866821B2 (en) * | 2009-01-30 | 2014-10-21 | Microsoft Corporation | Depth map movement tracking via optical flow and velocity prediction |
-
2018
- 2018-10-31 JP JP2021547880A patent/JP7228172B2/ja active Active
- 2018-10-31 WO PCT/EP2018/079903 patent/WO2020088766A1/en active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5680487A (en) * | 1991-12-23 | 1997-10-21 | Texas Instruments Incorporated | System and method for determining optical flow |
Non-Patent Citations (5)
Title |
---|
DEQING SUN ET AL.: "PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume", [ONLINE], JPN7022003335, 25 June 2018 (2018-06-25), ISSN: 0004828398 * |
LI XU ET AL.: "Motion Detail Preserving Optical Flow Estimation", [ONLINE], JPN6022029369, 2012, ISSN: 0004828395 * |
LIJIE FAN ET AL.: "End-to-End Learning of Motion Representation for Video Understanding", [ONLINE], JPN7022003334, 2 April 2018 (2018-04-02), ISSN: 0004828397 * |
RYAN KENNEDY ET AL.: "Optical Flow with Geometric Occlusion Estimation and Fusion of Multiple Frames", [ONLINE], JPN7022003332, 2014, pages 1 - 14, ISSN: 0004828394 * |
YANG WANG ET AL.: "Occlusion Aware Unsupervised Learning of Optical Flow", [ONLINE], JPN7022003333, 4 April 2018 (2018-04-04), ISSN: 0004828396 * |
Also Published As
Publication number | Publication date |
---|---|
WO2020088766A1 (en) | 2020-05-07 |
JP7228172B2 (ja) | 2023-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022509375A (ja) | オプティカルフロー推定のための方法 | |
US11809975B2 (en) | System and method for end-to-end-differentiable joint image refinement and perception | |
Nilsson et al. | Semantic video segmentation by gated recurrent flow propagation | |
US10970856B2 (en) | Joint learning of geometry and motion with three-dimensional holistic understanding | |
US11182620B2 (en) | Method for training a convolutional recurrent neural network and for semantic segmentation of inputted video using the trained convolutional recurrent neural network | |
CN107358626B (zh) | 一种利用条件生成对抗网络计算视差的方法 | |
KR102235745B1 (ko) | 컨볼루션 순환 신경망을 훈련시키는 방법 및 훈련된 컨볼루션 순환 신경망을 사용하는 입력된 비디오의 의미적 세그먼트화 방법 | |
US10885659B2 (en) | Object pose estimating method and apparatus | |
US11062470B2 (en) | Apparatus and method for depth estimation based on thermal image, and neural network learning method therefof | |
CN113657560B (zh) | 基于节点分类的弱监督图像语义分割方法及系统 | |
Chang et al. | Attention-aware feature aggregation for real-time stereo matching on edge devices | |
CN111325784A (zh) | 一种无监督位姿与深度计算方法及系统 | |
Wang et al. | CoT-AMFlow: Adaptive modulation network with co-teaching strategy for unsupervised optical flow estimation | |
US20220309341A1 (en) | Mixture distribution estimation for future prediction | |
CN116071748A (zh) | 一种基于频域全局滤波的无监督视频目标分割方法 | |
Bayramli et al. | Raft-msf: Self-supervised monocular scene flow using recurrent optimizer | |
Dharejo et al. | SwinWave-SR: Multi-scale lightweight underwater image super-resolution | |
WO2024082602A1 (zh) | 一种端到端视觉里程计方法及装置 | |
Thakur et al. | Sceneednet: A deep learning approach for scene flow estimation | |
CN115147806A (zh) | 一种基于关键点检测车辆伪3d边界框的方法 | |
Sun et al. | Unsupervised learning of optical flow in a multi-frame dynamic environment using temporal dynamic modeling | |
Slossberg et al. | Deep stereo matching with dense CRF priors | |
US20240161312A1 (en) | Realistic distraction and pseudo-labeling regularization for optical flow estimation | |
US20220301216A1 (en) | Efficient pose estimation through iterative refinement | |
Kumar | Unsupervised approach to estimate the optical flow using RAFT's architecture |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220719 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230202 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7228172 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |