JP2022547594A - ジョイントローリングシャッター補正及び画像ぼけ除去 - Google Patents
ジョイントローリングシャッター補正及び画像ぼけ除去 Download PDFInfo
- Publication number
- JP2022547594A JP2022547594A JP2022516141A JP2022516141A JP2022547594A JP 2022547594 A JP2022547594 A JP 2022547594A JP 2022516141 A JP2022516141 A JP 2022516141A JP 2022516141 A JP2022516141 A JP 2022516141A JP 2022547594 A JP2022547594 A JP 2022547594A
- Authority
- JP
- Japan
- Prior art keywords
- image
- sharp
- deblurred
- network
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 title claims abstract description 42
- 238000005096 rolling process Methods 0.000 title claims abstract description 14
- 230000033001 locomotion Effects 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 24
- 238000009877 rendering Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000003860 storage Methods 0.000 claims description 15
- 230000015654 memory Effects 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000001994 activation Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 claims 1
- 230000002194 synthesizing effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 22
- 238000012545 processing Methods 0.000 description 15
- 238000004590 computer program Methods 0.000 description 8
- 238000013459 approach Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000001881 scanning electron acoustic microscopy Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
ローリングシャッター（ＲＳ）歪み及びぼけアーティファクトを単一入力ＲＳ及びボケ画像において共に除去するための方法を提示する。本方法は、カメラから複数のＲＳぼけ画像を生成すること（８０１）と、単一ビュージョイントＲＳ補正及びぼけ除去の畳み込みニューラルネットワーク（ＣＮＮ）を訓練する訓練データを生成するために、構造及び動き認識ＲＳ歪み及びぼけレンダリングモジュールを用いることでＧＳ鮮明画像、対応ＧＳ鮮明奥行きマップ、合成ＲＳカメラの動きのセットからＲＳぼけ画像を合成すること（８０３）と、単一ビュージョイントＲＳ補正及びぼけ除去のＣＮＮを用いることで、単一入力ＲＳ及びぼけ画像からＲＳ修正及びぼけ除去画像を予測すること（８０５）とを含む。【選択図】図８
Description
この出願は、２０１９年１１月２２日に出願された米国仮特許出願第６２／９３９，０１６号及び２０２０年１１月５日に出願された米国特許出願第１７／０９０，５０８号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、合成ローリングシャッター（ＲＳ：rolling shutter）ぼけ画像を生成するための構造及び動き認識（structure-and-motion-aware）ＲＳ歪み及びぼけレンダリングモジュールに関し、何より単一入力ＲＳ及びぼけ画像からＲＳ歪み及びぼけアーティファクトを同時に除去するためのエンドツーエンド学習アプローチに関する。
コスト上の利点を有する相補型金属酸化物半導体（ＣＭＯＳ:Complementary Metal Oxide Semiconductor）センサは、例えばウェブカメラ、携帯電話機、タブレット等の大多数の消費者向けカメラで採用されている。しかしながら、ＣＭＯＳセンサによる１つの欠点はローリングシャッター（ＲＳ）機構によって動作することである。代替手段のグローバルシャッター（ＧＳ）のように同時ではなく、ＲＳはセンサアレイの各行を（連続する複数の行間で一定の時間遅延を伴って）順次露光する。ＲＳカメラの場合、露光期間中にカメラが動くと、撮影画像にＲＳ歪みが生じる可能性がある。これは、特に屋内シーンのような暗い場所では、通常、ぼけアーティファクトと組み合わされる。
単一入力ローリングシャッター（ＲＳ）及びぼけ画像におけるＲＳ歪及びぼけアーティファクトを共に除去するためのコンピュータ実装方法が提示される。本方法は、ＧＳ鮮明画像、対応ＧＳ鮮明奥行きマップ、合成ＲＳカメラの動きのセットから合成ＲＳぼけ画像を生成するための構造及び動き認識ＲＳ歪み及びぼけレンダリングモジュール、並びに単一入力ＲＳ及びぼけ画像からＲＳ修正及びぼけ除去画像を予測するための単一ビュージョイントＲＳ補正及びぼけ除去のネットワークを含む。
単一入力ローリングシャッター（ＲＳ）及びぼけ画像におけるＲＳ歪及びぼけアーティファクトを共に除去するための、コンピュータで読み取り可能なプログラムを有する非一時的にコンピュータで読み取り可能な記憶媒体が提示される。コンピュータで読み取り可能なプログラムがコンピュータで実行されると、ＧＳ鮮明画像、対応ＧＳ鮮明奥行きマップ、合成ＲＳカメラの動きのセットから合成ＲＳぼけ画像を生成するための構造及び動き認識ＲＳ歪み及びぼけレンダリングモジュール、並びに単一入力ＲＳ及びぼけ画像からＲＳ修正及びぼけ除去画像を予測するための単一ビュージョイントＲＳ補正及びぼけ除去のネットワークをコンピュータに実行させる。
単一入力ローリングシャッター（ＲＳ）及びぼけ画像におけるＲＳ歪及びぼけアーティファクトを共に除去するためのシステムが提示される。本システムは、メモリと、構造及び動き認識ＲＳ歪み及びぼけレンダリングモジュールによって、ＧＳ鮮明画像、対応ＧＳ鮮明奥行きマップ、合成ＲＳカメラの動きのセットから合成ＲＳぼけ画像を生成し、単一ビュージョイントＲＳ補正及びぼけ除去のネットワークを用いて単一入力ＲＳ及びぼけ画像からＲＳ修正及びぼけ除去画像を予測するように構成された、上記メモリと通信する１つまたは複数のプロセッサと、を有する。
これら及び他の特徴並びに利点は、以下の典型的な実施形態の詳細な説明を添付の図面と併せて読むことで明らかになるであろう。
本開示では、後述するように、以下の図面を参照しながら好ましい実施形態について詳細に説明する。
本発明は、単一入力ＲＳ及びぼけ画像におけるローリングシャッター（ＲＳ）歪み及びぼけアーティファクトを共に除去するためのエンドツーエンド学習アプローチを導入する。さらに、本発明は、本方法を訓練するために使用できる、本物そっくりなＲＳ及びぼけ画像を合成するための手順を導入する。最後に、例示的な実施形態は、ＲＳぼけ画像のためのＳＦＭ（Structure from Motion）、並びにＲＳぼけビデオのためのＳＬＡＭ（Simultaneous Localization and Mapping）の目標に向けた本発明の適用例を示す。
本発明は、単一入力ＲＳ及びぼけ画像からＲＳ歪み及びぼけアーティファクトを同時に除去するためのエンドツーエンド学習アプローチを導入する。さらに、本発明は、畳み込みニューラルネットワーク（ＣＮＮ：convolutional neural network）を訓練するための多数のＲＳ及びぼけ画像を生成する新しいＲＳ及びぼけ画像合成手順を導入する。
例示的な実施形態は、単一ビュージョイントＲＳ補正及びぼけ除去を単一の順方向パスで実行するために学習する、ＣＮＮアーキテクチャを導入する。単一ビューＲＳ補正とぼけ除去のタスクは密接に繋がっているため、例示的なＣＮＮは共有される特徴を抽出し、それらに同時に取り組むことが有利である。ＣＮＮを訓練するための多様で本物そっくりなＲＳ画像及びぼけ画像の大規模なデータセットを得るために、例示的な実施形態は、レンダリング中のカメラの動きと奥行きマップの両方を利用する、構造及び動き認識ＲＳ歪み及びぼけ合成パイプラインを導入する。さらに、例示的な実施形態は、ＲＳぼけ画像／ビデオのためのＳＦＭ／ＳＬＡＭに対するアプローチ案を適用する。
図１は、本発明の一実施形態による、構造及び動き認識ローリングシャッター（ＲＳ）歪み及びぼけレンダリングモジュール、並びに単一ビュージョイントＲＳ補正及びぼけ除去のネットワークのブロック／フロー図である。
図１は、構造及び動き認識ＲＳ歪み及びぼけレンダリングモジュール、並びに単一ビュージョイントＲＳ補正及びぼけ除去のネットワークを示している。訓練フェーズ１５０において、合成ＲＳぼけ画像１２０を生成するために、一組のグローバルシャッター（ＧＳ）鮮明画像１１２、対応ＧＳ鮮明奥行きマップ１０４及び合成ＲＳカメラの動き１０２が、構造及び動き認識ＲＳ歪み及びぼけレンダリングモジュール１１０によって用いられる。具体的には、例示的な実施形態は、奥行き及びフレームにおけるカメラの動きを用いて２Ｄモーションフローを計算し、それを用いて局所領域における画素を平均化（ぼけを生成）して移動（ＲＳ歪みを生成）する。次に、単一ビュージョイントＲＳ補正及びぼけ除去のネットワーク１３０をエンドツーエンドで訓練するために、合成されたＲＳぼけ画像１２０及びオリジナルのＧＳ鮮明画像１１２が入力データ及びグラウンドトゥルース教師として用いられる。テスト時間１６０において、単一の本物そっくりなＲＳぼけ画像１４０がネットワーク１３０に入力され、単一の順方向パスにおいて対応ＲＳ修正及びぼけ除去画像１４５を生成する。
図２は、本発明の一実施形態による、単一ビュージョイントＲＳ補正及びぼけ除去のネットワークの例示的なアーキテクチャのブロック／フロー図である。
訓練フェーズ１５０において、入力ＲＳぼけ画像２０２が与えられると、生成器ネットワーク２０４は、対応ＧＳ鮮明画像２０６を予測する。識別器ネットワーク２１２は、予測ＧＳ鮮明画像２０６またはグラウンドトゥルースＧＳ鮮明画像２０８のいずれかを取り込み、それが「偽」（予測画像２０６）または「真」(グラウンドトゥルース画像２０８)であるか否かを分類することを目的とする。これら２つのサブネットワークは、敵対的損失（adversarial loss）２１４を介して共に訓練される。さらに、例示的な実施形態は、予測画像２０６及びグラウンドトゥルース画像２０８に適用される（例えば、ＩｍａｇｅＮｅｔで事前訓練された）視覚ジオメトリグループ（ＶＧＧ：visual geometry group）ネットワークの様々な層（ｃｏｎｖ１＿１、ｃｏｎｖ２＿１、ｃｏｎｖ３＿１、ｃｏｎｖ４＿１、ｃｏｎｖ５＿１）のアクティベーション間の差を最小化する知覚的（perceptual loss）損失２１０を追加する。テスト時間１６０では、生成器ネットワーク２０４のみが必要とされ、識別器ネットワーク２１２は廃棄される。生成器ネットワーク２０４のアーキテクチャの一例は図３で示され、ｐｉｘ２ｐｉｘＨＤのマルチスケール識別器ネットワークが識別器ネットワーク２１２として使用できる。
図３は、本発明の一実施形態による、図２の生成器ネットワークのための例示的なアーキテクチャのブロック／フロー図である。
生成器ネットワーク２０４は、入力ＲＳぼけ画像２０２からコンパクトなボトルネックの形式で、単一ビューＲＳ補正とぼけ除去との共有特徴を抽出するエンコーダ３２５と、コンパクトなボトルネックをオリジナルの入力画像サイズにアップサンプリングし、出力予測ＧＳ鮮明画像２０６を生成するデコーダ３３５とを有する。例示的な実施形態は、エンコーダ３２５とデコーダ３３５との間の情報共有を可能にするために、エンコーダ３２５とデコーダ３３５とのレイヤ間にスキップ接続３０２を追加する。全ての畳み込み層３０５は、１×１ウィンドウサイズを用いる最終段の畳み込み層３２０を除いて、３×３のウィンドウサイズを用いる。ボックスの下の数字はチャンネル数を表している。ダウンサンプリングは、ストライド２の２×２最大値プーリングによって行われる。アップ畳み込み層には、特徴チャネルの数を半分にするアップサンプリング及び２×２畳み込みを含む。エンコーダ３２５及びデコーダ３３５は、畳み込み層３０５、プーリング層３１０及びアップ畳み込み層３１５を含む。
図４は、本発明の一実施形態による、ＲＳぼけビデオのための同時ローカライゼーション及びマッピング（ＳＬＡＭ）に対するＲＳ補正及びぼけ除去の方法の適用例のブロック／フロー図である。
ＲＳぼけビデオのためのＳＬＡＭに対するＲＳ補正及びぼけ除去の方法の適用例を図４に示す。入力ＲＳぼけビデオ４１０は、ＲＳ歪み及びぼけアーティファクトを有する連続画像フレームのセットである。ＲＳ歪み及びぼけアーティファクトを除去し、対応ＲＳ修正及びぼけ除去のフレーム４３０を得るために、各フレームは、提案するＲＳ補正及びぼけ除去法４２０（例えば、ＲＳ補正及びぼけ除去）にそれぞれ渡される。ＲＳ修正フレーム及びぼけ除去フレーム４３０は、ビデオで観察されるカメラの軌跡及びシーン構造４５０を推定するために、ＳＬＡＭモジュール４４０に送られる。
図５は、本発明の一実施形態による、ＲＳぼけ画像のためのＳＦＭ（Structure from Motion）に対するＲＳ補正及びぼけ除去の方法の適用例のブロック／フロー図である。
ＲＳぼけ画像のためのＳＦＭに対するＲＳ補正及びぼけ除去の方法の適用例を図５に示す。例えば、Ｇｏｏｇｌｅ Ｉｍａｇｅ Ｓｅａｒｃｈから得られるＲＳぼけ画像５１０の順序不同のセットは、ＲＳぼけ画像を備えるＳＦＭ用の入力として使用できる。ＲＳ歪み及びぼけアーティファクトを除去し、対応ＲＳ修正及びぼけ除去画像５３０を得るために、各画像は、提案するＲＳ補正及びぼけ除去法５２０（例えば、ＲＳ補正及びぼけ除去）に個別に渡される。ＲＳ修正画像及びぼけ除去画像５３０は、画像内で観察されるカメラ姿勢及びシーン構造５５０を推定するためにＳＦＭモジュール５４０に送られる。
図６は、本発明の一実施形態による、構造及び動き認識ローリングシャッター（ＲＳ）歪み及びぼけレンダリングモジュール、並びに単一ビュージョイントＲＳ補正及びぼけ除去のネットワークの実際の適用例のブロック／フロー図である。
１つの実際の適用例において、ユーザ６０２は、画像６０６をキャプチャするためにカメラ等のキャプチャ装置６０４を用いる。画像６０６は、ぼけ及びＲＳ歪みを含むことができる。本発明のＣＮＮアーキテクチャ６０８は、キャプチャされた画像６０６からぼけ及びＲＳ効果を推定し、除去するために使用できる。ＣＮＮアーキテクチャ６０８は、ＲＳ歪みのない鮮明な画像６１０をユーザ６０２に出力することを可能にする。本発明の例示的な実施形態は、単一入力ＲＳ及びぼけ画像におけるＲＳ歪み及びぼけアーティファクトを共に除去するためのエンドツーエンド学習手法を導入する。さらに、本発明は、この方法を訓練するために使用できる、本物そっくりなＲＳ及びぼけ画像を合成するための手順を導入する。最後に、例示的な実施形態は、ＲＳぼけ画像のためのＳＦＭ、並びにＲＳぼけビデオのためのＳＬＡＭの目標に向けた本発明の適用例を示す。ＣＮＮアーキテクチャ６０８は、単一の順方向パスで単一ビュージョイントＲＳ補正及びぼけ除去を実行することを学習する。単一ビューＲＳ補正及びぼけ除去のタスクは密接に繋がっているため、ＣＮＮ６０８は共有された特徴を抽出し、それらに同時に取り組むことが有利である。
図７は、本発明の一実施形態による、ＲＳ補正及びぼけ除去のための例示的な処理システムのブロック／フロー図である。
処理システムは、システムバス７０２を介して他の構成要素と動作可能に接続された、少なくとも１つのプロセッサまたはプロセッサ装置（ＣＰＵ）７０４を含む。システムバス７０２には、キャッシュ７０６、リードオンリメモリ７０８、ランダムアクセスメモリ７１０、入力／出力（Ｉ／Ｏ）アダプタ７２０、ネットワークアダプタ７３０、ユーザインターフェースアダプタ７４０及びディスプレイアダプタ７５０が動作可能に接続されている。バス７０２には、１つまたは複数のカメラ７６０を接続できる。カメラ７６０は、訓練モジュール１５０及びテストモジュール１６０を用いることで、ＲＳ補正及びぼけ除去のために、構造及び動き認識ローリングシャッター（ＲＳ）歪み及びぼけレンダリングモジュール、並びに単一ビュージョイントＲＳ補正及びぼけ除去のネットワーク７７０を用いることができる。
記憶装置７２２は、Ｉ／Ｏアダプタ７２０によってシステムバス７０２に動作可能に接続されている。記憶装置７２２は、ディスク記憶装置（例えば、磁気または光ディスク記憶装置）、固体磁気装置等のうちのいずれであってもよい。
トランシーバ７３２は、ネットワークアダプタ７３０によってシステムバス７０２に動作可能に接続されている。
複数のユーザ入力装置７４２は、ユーザインタフェースアダプタ７４０によってシステムバス７０２に動作可能に接続されている。ユーザ入力装置７４２は、キーボード、マウス、キーパッド、画像キャプチャ装置、モーションセンシングデバイス、マイクロフォン、あるいはこれらの装置のうちの少なくとも２つのデバイスの機能を組み込んだデバイス等のいずれであってもよい。もちろん、本発明の原理の趣旨を維持する限りにおいて、他のタイプの入力装置を使用することも可能である。複数のユーザ入力装置７４２は、同じタイプのユーザ入力装置であってもよく、異なるタイプのユーザ入力装置であってもよい。ユーザ入力装置７４２は、処理システムに情報を入力し、処理システムから情報を出力するために使用される。
ディスプレイ装置７５２は、ディスプレイアダプタ７５０によってシステムバス７０２に動作可能に接続されている。
もちろん、処理システムは、当業者であれば容易に思いつくような他の要素（不図示）を含んでいてもよく、特定の要素を省略してもよい。例えば、当業者であれば容易に理解できるが、処理システムには、その詳細な実装に応じて他の様々な入力装置及び／または出力装置を含むことができる。例えば、無線及び／または有線による種々の入力装置及び／または出力装置を使用できる。さらに、当業者であれば容易に理解できるが、様々な構成において追加のプロセッサ、コントローラ、メモリ等を用いることも可能である。処理システムの上記及び他の変形例は、本明細書で提供される本原理の教示によって当業者であれば容易に考えられるであろう。
図８は、本発明の一実施形態による、ＲＳ補正及びぼけ除去のための例示的な方法のブロック／フロー図である。
ブロック８０１において、カメラから複数のＲＳぼけ画像を生成する。
ブロック８０３において、単一ビュージョイントＲＳ補正及びぼけ除去の畳み込みニューラルネットワーク（ＣＮＮ）を訓練する訓練データを生成するために、構造及び動き認識ＲＳ歪み及びぼけレンダリングモジュールを用いることで、ＧＳ鮮明画像、対応ＧＳ鮮明奥行きマップ、合成ＲＳカメラの動きのセットからＲＳぼけ画像を合成する。
ブロック８０５において、単一ビュージョイントＲＳ補正及びぼけ除去のＣＮＮを用いることで、単一入力ＲＳ及びぼけ画像からＲＳ修正及びぼけ除去画像を予測する。
本明細書で用いる「データ」、「コンテンツ」、「情報」及び同様の用語は、様々な例示的な実施形態によって取得され、送信され、受信され、表示され、及び／または格納されることが可能なデータを示すために、交換可能に使用できる。したがって、これらの用語の使用は、開示の主旨及び範囲を制限するものと解釈されるべきではない。さらに、本明細書に別の計算デバイスからデータを受信するための計算デバイスが記載されている場合、データは、別の計算デバイスから直接受信してもよく、１つ以上の中間計算デバイス、例えば１つ以上のサーバ、リレー、ルータ、ネットワークアクセスポイント、基地局等を介して間接的に受信してもよい。同様に、本明細書にデータを別の計算デバイスに送信するための計算デバイスが記載されている場合、データは、別の計算データに直接送信してもよく、例えば、１つ以上のサーバ、リレー、ルータ、ネットワークアクセスポイント、基地局及び／または同様のもの等の１つ以上の中間計算デバイスを介して間接的に送信してもよい。
ユーザとのインタラクションを提供するための、本明細書に記載されている実施形態は、ユーザに情報を表示するためのディスプレイデバイス、例えば、ＣＲＴ（cathode ray tube）またはＬＣＤ（liquid crystal display）モニタ、キーボード、ユーザがコンピュータに入力できるポインティングデバイス、例えばマウスまたはトラックボールを有するコンピュータで実施できる。他の種類の装置もユーザとのインタラクションを提供するために使用することができる。例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、例えば視覚フィードバック、聴覚フィードバックまたは触覚フィードバックとすることが可能であり、ユーザからの入力は、音響入力、音声入力または触覚入力を含む任意の形態で受信できる。
当業者であれば理解するように、本発明の態様は、システム、方法またはコンピュータプログラム製品として実施してもよい。したがって、本発明の態様は、全体としてハードウェアの実施形態であってもよく、全体としてソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）であってもよく、本明細書において、一般に「回路」、「モジュール」、「計算機」、「装置」または「システム」と呼ぶことができる、ソフトウェアとハードウェアの態様を組み合わせた実施の形態を採用してもよい。さらに、本発明の態様は、コンピュータで読み取り可能なプログラムコードを有する、１つまたは複数のコンピュータで読み取り可能な媒体で具現化された、コンピュータプログラム製品の形態を採用してもよい。
１つまたは複数のコンピュータで読み取り可能な媒体の任意の組合せを用いてもよい。コンピュータで読み取り可能な媒体は、コンピュータで読み取り可能な信号媒体またはコンピュータで読み取り可能な記録媒体であってもよい。コンピュータで読み取り可能な記録媒体は、例えば、電子、磁気、光学、電磁気、赤外線または半導体システム、装置またはデバイス、あるいは前述の任意の適切な組合せとすることができるが、これらに限定されない。コンピュータで読み取り可能な記録媒体のより具体的な例（以下に限定されない）は、１つ以上のワイヤ、携帯用コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、携帯用コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光データ記憶装置、磁気データ記憶装置または前述した任意の適切な組み合わせを含む。本文書のコンテキストにおいて、コンピュータで読み取り可能な記録媒体は、命令実行システム、装置またはデバイスによって、またはそれに関連して使用するためのプログラムを含む、またはそれを記憶できる、任意の有形媒体であってもよい。
コンピュータで読み取り可能な信号媒体には、例えば、ベースバンドで、または搬送波の一部として、コンピュータで読み取り可能なプログラムコードが具現化された伝搬データ信号を含むことができる。そのような伝播信号は、電磁、光学またはそれらの任意の適切な組み合わせを含むが、それらに限定されない、任意の様々な形態がある。コンピュータ読み取り可能な信号媒体は、コンピュータ読み取り可能な記録媒体ではなく、命令実行システム、装置または装置によって、またはそれに関連して使用するためにプログラムを通信、伝播、または移送できる、任意のコンピュータ読み取り可能な媒体であってもよい。
コンピュータで読み取り可能な媒体で具現化されたプログラムコードは、無線、有線、光ファイバケーブル、ＲＦ等、あるいは前述した任意の適切な組合せを含むが、これらに限定されない、任意の適切な媒体を用いて送信される。
本発明の態様に関する処理を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向プログラミング言語及び「Ｃ」プログラミング言語または類似のプログラミング言語等の従来の手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで書くことができる。プログラムコードは、全体的にユーザのコンピュータで実行されてもよく、スタンドアロンソフトウェアパッケージとして部分的にユーザのコンピュータで実行されてもよく、部分的にユーザのコンピュータで実行され、かつ部分的にリモートコンピュータで実行されてもよく、全体的にリモートコンピュータまたはサーバで実行されてもよい。後者のシナリオにおいて、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータと接続されてもよく、（例えば、インターネットサービスプロバイダを利用したインターネットを介して）外部コンピュータと接続されてもよい。
本発明の態様について、本発明の一実施形態による、方法、装置（システム）、並びにコンピュータプログラム製品のフローチャート及び／またはブロック図を参照して以下で説明する。フローチャート及び／またはブロック図の各ブロック、並びにフローチャート及び／またはブロック図のブロックにおける組合せは、コンピュータプログラム命令によって実施できることを理解されたい。これらのコンピュータプログラム命令は、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを通して実行される命令が、フローチャート及び／またはブロック図の１つまたは複数のブロックまたはモジュールに指定される機能／動作を実施するための手段を作り出すようなマシンを生成するために、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサに提供される。
これらのコンピュータプログラム命令は、コンピュータで読み取り可能な媒体に格納された命令が、フローチャート及び／またはブロック図の１つまたは複数のブロックまたはモジュールに指定された機能／動作を実装する命令を含む製品を生成するように、コンピュータ、他のプログラマブルデータ処理装置または他のデバイスに、特定の方法で機能するように指示できるコンピュータで読み取り可能な媒体に格納できる。
コンピュータプログラム命令は、またコンピュータ、他のプログラマブルデータ処理装置または他のデバイスにロードされて、一連の動作ステップがコンピュータ、他のプログラマブル装置または他のデバイスで実行され、コンピュータまたは他のプログラマブル装置で実行される命令が、フローチャート及び／またはブロック図のブロックまたはモジュールに指定された機能／動作を実装するためのプロセスを提供するように、コンピュータ実装プロセスを生成できる。
本明細書で使用する「プロセッサ」という用語は、例えばＣＰＵ（central processing unit）及び／または他の処理回路を含むもの等、任意の処理装置を含むことを意図しており、「プロセッサ」という用語は１つ以上の処理装置を指すことが可能であり、処理装置に関連する様々な要素は、他の処理装置によって共有されることも理解されたい。
本明細書で使用する「メモリ」という用語は、例えば、ＲＡＭ、ＲＯＭ、固定メモリデバイス（例えば、ハードドライブ）、リムーバブルメモリデバイス（例えば、ディスケット）、フラッシュメモリ等、プロセッサまたはＣＰＵに関連するメモリを含むことを意図している。このようなメモリは、コンピュータで読み取り可能な記録媒体と考えることができる。
さらに、本明細書で使用する「入力／出力装置」または「Ｉ／Ｏ装置」という用語は、例えば、処理ユニットにデータを入力するための１つまたは複数の入力装置（例えば、キーボード、マウス、スキャナ等）及び／または処理ユニットに関連する、結果を提示するための１つまたは複数の出力装置（例えば、スピーカ、ディスプレイ、プリンタなど）を含むことを意図している。
上記は、あらゆる観点において説明的（illustrative）かつ典型的（exemplary）であって限定的でないものと理解されるべきであり、本明細書で開示する本発明の範囲は、詳細な説明から決定されるべきではなく、特許法で認められた最大限の広さに基づいて解釈される特許請求の範囲から決定されるべきである。本明細書中に図示及び記載されている実施形態は、本発明の原理を説明するものにすぎず、本発明の範囲及び主旨から逸脱することなく当業者は様々な変更を実施することができることを理解されたい。当業者は、本発明の範囲及び精神から逸脱することなく、様々な他の特徴の組み合わせを実施できる。以上、本発明の態様について、特許法で要求される細部及び詳細な事項と共に説明したが、特許証で保護されることを要求する特許請求の範囲は、添付の特許請求の範囲に示されている。
Claims (20)
- ローリングシャッター（ＲＳ）歪み及びぼけアーティファクトを単一入力ＲＳ及びボケ画像において共に除去するためにプロセッサで実行されるコンピュータ実装方法であって、
カメラから複数のＲＳぼけ画像を生成すること（８０１）と、
単一ビュージョイントＲＳ補正及びぼけ除去の畳み込みニューラルネットワーク（ＣＮＮ）を訓練する訓練データを生成するために、構造及び動き認識ＲＳ歪み及びぼけレンダリングモジュールを用いることでＧＳ鮮明画像、対応ＧＳ鮮明奥行きマップ、合成ＲＳカメラの動きのセットからＲＳぼけ画像を合成すること（８０３）と、
前記単一ビュージョイントＲＳ補正及びぼけ除去のＣＮＮを用いることで、前記単一入力ＲＳ及びぼけ画像からＲＳ修正及びぼけ除去画像を予測すること（８０５）と、
を含む方法。 - 単一ビュージョイントＲＳ補正及びぼけ除去が、単一の順方向パスで実行される、請求項１に記載の方法。
- 訓練フェーズにおいて、前記単一ビュージョイントＲＳ補正及びぼけ除去の畳み込みニューラルネットワーク（ＣＮＮ）を訓練するための合成ＲＳぼけ画像を生成するために、前記ＧＳ鮮明画像、前記対応ＧＳ鮮明奥行きマップ、前記合成ＲＳカメラの動きのセットのための前記構造及び動き認識ＲＳ歪み及びぼけレンダリングモジュールを用いることをさらに含む、請求項１に記載の方法。
- テストフェーズにおいて、単一の順方向パスで対応ＲＳ補正及びぼけ除去画像を提供するために、前記単一ビュージョイントＲＳ補正及びぼけ除去のＣＮＮに前記単一ＲＳ及びぼかし画像を生成する、請求項１に記載の方法。
- 生成器ネットワークが、対応ＧＳ鮮明画像を予測する、請求項３に記載の方法。
- 識別器ネットワークが、予測されたＧＳ鮮明画像またはグラウンドトゥルースＧＳ鮮明画像のいずれかを取得し、その画像を「真」または「偽」のいずれかに分類する、請求項３に記載の方法。
- 前記生成器ネットワーク及び前記識別器ネットワークが、敵対的損失を介して共に訓練される、請求項６に記載の方法。
- 視覚ジオメトリ群（ＶＧＧ）ネットワークの様々な層のアクティベーション間の差を最小化する、知覚的損失が追加される、請求項７に記載の方法。
- 前記生成器ネットワークは、エンコーダ及びデコーダを含み、前記エンコーダが前記単一入力ＲＳ及びぼけ画像からコンパクトなボトルネックの形式で単一ビューＲＳ補正とぼけ除去との共有特徴を抽出し、前記デコーダが前記コンパクトなボトルネックをオリジナルの入力画像サイズにアップサンプリングする、請求項７に記載の方法。
- 単一入力ローリングシャッター（ＲＳ）及びぼけ画像におけるＲＳ歪及びぼけアーティファクトを共に除去するための、コンピュータで読み取り可能なプログラムを有する非一時的にコンピュータで読み取り可能な記憶媒体であって、
前記コンピュータで読み取り可能なプログラムがコンピュータで実行されると、
カメラから複数のＲＳぼけ画像を生成すること（８０１）と、
単一ビュージョイントＲＳ補正及びぼけ除去の畳み込みニューラルネットワーク（ＣＮＮ）を訓練する訓練データを生成するために、構造及び動き認識ＲＳ歪み及びぼけレンダリングモジュールを用いることでＧＳ鮮明画像、対応ＧＳ鮮明奥行きマップ、合成ＲＳカメラの動きのセットからＲＳぼけ画像を合成すること（８０３）と、
前記単一ビュージョイントＲＳ補正及びぼけ除去のＣＮＮを用いることで、前記単一入力ＲＳ及びぼけ画像からＲＳ修正及びぼけ除去画像を予測すること（８０５）と、
を前記コンピュータに実行させるための、非一時的にコンピュータで読み取り可能な記憶媒体。 - 単一ビュージョイントＲＳ補正及びぼけ除去が、単一の順方向パスで実行される、請求項１０に記載の非一時的にコンピュータで読み取り可能な記憶媒体。
- 訓練フェーズにおいて、前記単一ビュージョイントＲＳ補正及びぼけ除去の畳み込みニューラルネットワーク（ＣＮＮ）を訓練するための合成ＲＳぼけ画像を生成するために、前記ＧＳ鮮明画像、前記対応ＧＳ鮮明奥行きマップ、前記合成ＲＳカメラの動きのセットのための前記構造及び動き認識ＲＳ歪み及びぼけレンダリングモジュールを用いることをさらに含む、請求項１０に記載の非一時的にコンピュータで読み取り可能な記憶媒体。
- テストフェーズにおいて、単一の順方向パスで対応ＲＳ補正及びぼけ除去画像を提供するために、前記単一ビュージョイントＲＳ補正及びぼけ除去のＣＮＮに前記単一ＲＳ及びぼかし画像を生成する、請求項１０に記載の非一時的にコンピュータで読み取り可能な記憶媒体。
- 生成器ネットワークが、対応ＧＳ鮮明画像を予測する、請求項１２に記載の非一時的にコンピュータで読み取り可能な記憶媒体。
- 識別器ネットワークが、予測されたＧＳ鮮明画像またはグラウンドトゥルースＧＳ鮮明画像のいずれかを取得し、その画像を「真」または「偽」のいずれかに分類する、請求項１２に記載の非一時的にコンピュータで読み取り可能な記憶媒体。
- 前記生成器ネットワーク及び前記識別器ネットワークが、敵対的損失を介して共に訓練される、請求項１５に記載の非一時的にコンピュータで読み取り可能な記憶媒体。
- 視覚ジオメトリ群（ＶＧＧ）ネットワークの様々な層のアクティベーション間の差を最小化する、知覚的損失が追加される、請求項１６に記載の非一時的にコンピュータで読み取り可能な記憶媒体。
- 前記生成器ネットワークは、エンコーダ及びデコーダを含み、前記エンコーダが前記単一入力ＲＳ及びぼけ画像からコンパクトなボトルネックの形式で単一ビューＲＳ補正とぼけ除去との共有特徴を抽出し、前記デコーダが前記コンパクトなボトルネックをオリジナルの入力画像サイズにアップサンプリングする、請求項１６に記載の非一時的にコンピュータで読み取り可能な記憶媒体。
- 単一入力ローリングシャッター（ＲＳ）及びぼけ画像におけるＲＳ歪及びぼけアーティファクトを共に除去するためのシステムであって、
メモリと、
カメラから複数のＲＳぼけ画像を生成し（８０１）、
単一ビュージョイントＲＳ補正及びぼけ除去の畳み込みニューラルネットワーク（ＣＮＮ）を訓練する訓練データを生成するために、構造及び動き認識ＲＳ歪み及びぼけレンダリングモジュールを用いることでＧＳ鮮明画像、対応ＧＳ鮮明奥行きマップ、合成ＲＳカメラの動きのセットからＲＳぼけ画像を合成し（８０３）、
前記単一ビュージョイントＲＳ補正及びぼけ除去のＣＮＮを用いることで、前記単一入力ＲＳ及びぼけ画像からＲＳ修正及びぼけ除去画像を予測する（８０５）ように構成された、前記メモリと通信する１つまたは複数のプロセッサと、
を有するシステム。 - 生成器ネットワークが、対応ＧＳ鮮明画像を予測し、
識別器ネットワークが、予測されたＧＳ鮮明画像またはグラウンドトゥルースＧＳ鮮明画像のいずれかを取得し、その画像を「真」または「偽」のいずれかに分類し、
前記生成器ネットワーク及び前記識別器ネットワークが、敵対的損失を介して共に訓練され
視覚ジオメトリ群（ＶＧＧ）ネットワークの様々な層のアクティベーション間の差を最小化する、知覚的損失が追加された、請求項１９に記載のシステム。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962939016P | 2019-11-22 | 2019-11-22 | |
| US62/939,016 | 2019-11-22 | ||
| US17/090,508 | 2020-11-05 | ||
| US17/090,508 US11599974B2 (en) | 2019-11-22 | 2020-11-05 | Joint rolling shutter correction and image deblurring |
| PCT/US2020/059398 WO2021101732A1 (en) | 2019-11-22 | 2020-11-06 | Joint rolling shutter correction and image deblurring |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022547594A true JP2022547594A (ja) | 2022-11-14 |
| JP7357150B2 JP7357150B2 (ja) | 2023-10-05 |
Family
ID=75974974
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022516141A Active JP7357150B2 (ja) | 2019-11-22 | 2020-11-06 | ジョイントローリングシャッター補正及び画像ぼけ除去 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11599974B2 (ja) |
| JP (1) | JP7357150B2 (ja) |
| DE (1) | DE112020005730T5 (ja) |
| WO (1) | WO2021101732A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023070447A1 (zh) * | 2021-10-28 | 2023-05-04 | 京东方科技集团股份有限公司 | 模型训练方法、图像处理方法、计算处理设备及非瞬态计算机可读介质 |
| AT526018A2 (de) * | 2022-03-29 | 2023-10-15 | Vexcel Imaging Gmbh | Verfahren zur Bildkorrektur von Bildunschärfe in einer digitalen Bildaufnahme |
| CN115115552B (zh) * | 2022-08-25 | 2022-11-18 | 腾讯科技（深圳）有限公司 | 图像矫正模型训练及图像矫正方法、装置和计算机设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140267801A1 (en) * | 2013-03-15 | 2014-09-18 | Google Inc. | Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization |
| US20160292882A1 (en) * | 2013-11-18 | 2016-10-06 | Universite De Nice (Uns) | Method for estimating the speed of movement of a camera |
| JP2019114262A (ja) * | 2017-12-22 | 2019-07-11 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置、医用画像処理プログラム、学習装置及び学習プログラム |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011053678A1 (en) * | 2009-10-28 | 2011-05-05 | The Trustees Of Columbia University In The City Of New York | Methods and systems for coded rolling shutter |
| US8866927B2 (en) * | 2012-12-13 | 2014-10-21 | Google Inc. | Determining an image capture payload burst structure based on a metering image capture sweep |
| US8995784B2 (en) * | 2013-01-17 | 2015-03-31 | Google Inc. | Structure descriptors for image processing |
| WO2015136327A1 (en) * | 2014-03-12 | 2015-09-17 | Sony Corporation | Method, system and computer program product for debluring images |
| US9652833B2 (en) * | 2014-03-18 | 2017-05-16 | Honeywell International, Inc. | Point spread function estimation for motion invariant images |
| US10176558B2 (en) * | 2014-12-29 | 2019-01-08 | Nokia Technologies Oy | Method, apparatus and computer program product for motion deblurring of images |
| KR101810956B1 (ko) * | 2016-06-08 | 2017-12-26 | 엠텍비젼 주식회사 | 롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치 및 그 조명 제어 방법 |
| WO2018053340A1 (en) * | 2016-09-15 | 2018-03-22 | Twitter, Inc. | Super resolution using a generative adversarial network |
| US10586310B2 (en) | 2017-04-06 | 2020-03-10 | Pixar | Denoising Monte Carlo renderings using generative adversarial neural networks |
| KR20190064882A (ko) * | 2017-12-01 | 2019-06-11 | 한국전자통신연구원 | 딥러닝 기반 차량용 영상 처리 방법 |
| US20190385283A1 (en) * | 2018-06-18 | 2019-12-19 | Honeywell International Inc. | Image pre-processing for object recognition |
| JP7346076B2 (ja) * | 2019-05-14 | 2023-09-19 | キヤノン株式会社 | 制御装置、レンズ装置、撮像装置、制御方法、および、プログラム |
-
2020
- 2020-11-05 US US17/090,508 patent/US11599974B2/en active Active
- 2020-11-06 JP JP2022516141A patent/JP7357150B2/ja active Active
- 2020-11-06 DE DE112020005730.5T patent/DE112020005730T5/de active Pending
- 2020-11-06 WO PCT/US2020/059398 patent/WO2021101732A1/en active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140267801A1 (en) * | 2013-03-15 | 2014-09-18 | Google Inc. | Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization |
| US20160292882A1 (en) * | 2013-11-18 | 2016-10-06 | Universite De Nice (Uns) | Method for estimating the speed of movement of a camera |
| JP2019114262A (ja) * | 2017-12-22 | 2019-07-11 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置、医用画像処理プログラム、学習装置及び学習プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021101732A1 (en) | 2021-05-27 |
| US20210158490A1 (en) | 2021-05-27 |
| JP7357150B2 (ja) | 2023-10-05 |
| US11599974B2 (en) | 2023-03-07 |
| DE112020005730T5 (de) | 2022-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7319390B2 (ja) | ぼけた画像／ビデオを用いたｓｆｍ／ｓｌａｍへの適用を有する畳み込みニューラルネットワークを使用した画像／ビデオのボケ除去 | |
| CN110062934B (zh) | 使用神经网络确定图像中的结构和运动 | |
| JP7357150B2 (ja) | ジョイントローリングシャッター補正及び画像ぼけ除去 | |
| WO2022166872A1 (zh) | 一种特效展示方法、装置、设备及介质 | |
| CN113811920A (zh) | 分布式姿势估计 | |
| US20220222776A1 (en) | Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution | |
| JP7249372B2 (ja) | 対象をラベリングするための方法及び装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム | |
| CN113569825B (zh) | 视频监控方法、装置、电子设备和计算机可读介质 | |
| CN114303177A (zh) | 通过迁移学习生成具有不同疲劳程度的视频数据集的系统和方法 | |
| CN115226406A (zh) | 图像生成装置、图像生成方法、记录介质生成方法、学习模型生成装置、学习模型生成方法、学习模型、数据处理装置、数据处理方法、推断方法、电子装置、生成方法、程序和非暂时性计算机可读介质 | |
| CN110059623B (zh) | 用于生成信息的方法和装置 | |
| US11132586B2 (en) | Rolling shutter rectification in images/videos using convolutional neural networks with applications to SFM/SLAM with rolling shutter images/videos | |
| US20210065351A1 (en) | Object count estimation apparatus, object count estimation method, and computer program product | |
| JP2023509866A (ja) | 画像処理方法及び装置 | |
| WO2023103720A1 (zh) | 视频特效处理方法、装置、电子设备及程序产品 | |
| KR20220015964A (ko) | 시각적 주행 거리 측정 애플리케이션들을 위한 손실된 이미지 특징 복원을 위한 방법 및 시스템 | |
| CN113132795A (zh) | 图像处理方法及装置 | |
| CN112714263B (zh) | 视频生成方法、装置、设备及存储介质 | |
| CN116934577A (zh) | 一种风格图像生成方法、装置、设备及介质 | |
| CN111833459B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| US11810336B2 (en) | Object display method and apparatus, electronic device, and computer readable storage medium | |
| CN111310595A (zh) | 用于生成信息的方法和装置 | |
| US20220327663A1 (en) | Video Super-Resolution using Deep Neural Networks | |
| CN113703704B (zh) | 界面显示方法、头戴式显示设备和计算机可读介质 | |
| CN112651909B (zh) | 图像合成方法、装置、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220311 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230323 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230323 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230530 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230912 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230925 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7357150 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |