JP2021073545A - 車両監視のためのシステムおよび方法 - Google Patents

車両監視のためのシステムおよび方法 Download PDF

Info

Publication number
JP2021073545A
JP2021073545A JP2020208938A JP2020208938A JP2021073545A JP 2021073545 A JP2021073545 A JP 2021073545A JP 2020208938 A JP2020208938 A JP 2020208938A JP 2020208938 A JP2020208938 A JP 2020208938A JP 2021073545 A JP2021073545 A JP 2021073545A
Authority
JP
Japan
Prior art keywords
image
vehicle
target
neural network
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020208938A
Other languages
English (en)
Other versions
JP7241059B2 (ja
Inventor
キヒョク ソン、
Kihyuk Sohn
キヒョク ソン、
ルアン トラン、
Tran Luan
ルアン トラン、
シアン ユ、
Xiang Yu
シアン ユ、
マンモハン チャンドラカー、
Chandraker Manmohan
マンモハン チャンドラカー、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Laboratories America Inc
Original Assignee
NEC Laboratories America Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Laboratories America Inc filed Critical NEC Laboratories America Inc
Publication of JP2021073545A publication Critical patent/JP2021073545A/ja
Application granted granted Critical
Publication of JP7241059B2 publication Critical patent/JP7241059B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/048—Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

【課題】合成及び領域適応による視点不変物体認識のための車両監視システム及び方法を提供する。【解決手段】方法は、カメラで車両のターゲット画像を取得し、カメラと通信する物体認識システム５００を用いて、ターゲット画像内の車両６１１を決定する。車両を決定することは、合成器モジュールを用いて、ソース画像に描かれた車両の複数の視点を生成することと、ターゲット画像に表された視点にかかわらず、ターゲット画像の車両を分類するために、領域適応モジュールを用いて、車両の視点とターゲット画像との間の領域適応を実行することと、を含む。そして、ターゲット画像の車両に対応するラベルを有するターゲット画像の各々を、物体認識システムと通信するコンピュータ６２０のディスプレイ上に表示する。【選択図】図５

Description

関連する出願情報
本出願は、２０１８年８月１日に出願された米国非仮特許出願第１６／０５１９２４号および２０１８年８月１日に出願された米国非仮特許出願第１６／０５１９８０号の優先権を主張し、これらの各々は、２０１７年８月３１日に出願された米国仮特許出願第６２／５５３０９０号および２０１７年１１月１４日に出願された米国仮特許出願第６２／５８５７５８号の優先権を主張し、これらの全ては、参照によりその全体が本明細書に組み込まれる。
本発明は、車両監視のためのシステムおよび方法に関する。
物体認識のためのニューラルネットワークモデルのようなコンピュータビジョンのためのツールを提供することは、モデルを訓練するためのデータの不足によって妨げられる可能性がある。物体認識アプリケーションのための訓練データは、訓練画像をラベル付けするために必要とされる大量の人的労力のために、生成および取得するのに非常にコストがかかる可能性がある。さらに、訓練画像のセットは、特定の視点から、または特定の照明の下で、物体のラベル付けされた画像のみを有することができる。したがって、モデルは、特定の環境における物体のための訓練のみである。物体を認識するモデルの能力を広げるために、様々な視点のための訓練データを得ることは、さらに困難であり、よりコストがかかる。したがって、２つ以上の視点に対して正確な物体認識モデルを開発するためにニューラルネットワークを訓練することは、トレーニング画像を取得するコストと、モデルをトレーニングする時間とを乗じる。
さらに、効率的で正確な物体認識モデルに対する障害は、表現空間であり得る。例えば、幾何学的分析のための強度を有する低レベル画素空間、又は意味分析のための強度を有する高レベル特徴空間のような、高レベル空間と低レベル空間との間にはトレードオフがある。物体認識モデルをこれらの表現空間のうちの１つだけに限定することは、選択された空間の強さから利益を得ることができるが、代替空間の利益を犠牲にし、したがって、いくつかのシナリオにおけるモデルの適用性を制限する。
本発明の一態様によれば、車両監視のためのシステムが提供される。システムは、車両のターゲット画像を取得するカメラと、カメラと通信する物体認識システムであって、ソース画像に描かれた車両の複数の視点を生成するための合成器モジュールと、ターゲット画像に表された視点にかかわらず、ターゲット画像の車両を分類するために、車両の視点とターゲット画像との間の領域適応を実行するための領域適応モジュールとを実行するためのプロセッサを含み、ターゲット画像の各々をターゲット画像の車両に対応するラベルと共に表示するための、物体認識システムと通信するディスプレイとを含む。
本原理の別の態様によれば、車両監視のための方法が提供される。この方法は、カメラで車両のターゲット画像を取得する。カメラと通信する物体認識システムを用いて、ターゲット画像内の車両を決定する。決定は、合成器モジュールを用いて、ソース画像に描かれた車両の複数の視点を生成することと、ターゲット画像に表された視点にかかわらず、ターゲット画像の車両を分類するために、領域適応モジュールを用いて、車両の視点とターゲット画像との間の領域適応を実行することとを含む。ターゲット画像の車両に対応するラベルを有するターゲット画像の各々を、物体認識システムと通信するディスプレイ上に表示する。
これらおよび他の特徴および利点は、添付の図面に関連して読まれるべき、その例示的な実施形態の以下の詳細な説明から明らかになるであろう。
本開示は、以下の図面を参照して好ましい実施形態の以下の説明において詳細を提供する。
本発明の原理による、合成および領域適応による視点不変物体認識のための高レベルシステム／方法を示すブロック／フロー図である。 本発明の原理による、キーポイントベースの視点変換のためのシステム／方法を示すブロック／フロー図である。 本発明の原理による、敵対的測光変換のためのシステム／方法を示すブロック／フロー図である。 本発明の原理による、領域適応のための領域敵対的訓練を伴う特徴抽出のためのシステム／方法を示すブロック／フロー図である。 本発明の原理による、監視された駐車場における車両識別のためのシステム／方法を示すブロック／フロー図である。 本原理による、合成および領域適応による視点不変物体認識のためのシステム／方法を示すフロー図である。
本発明の原理によれば、合成および領域適応による視点不変物体認識のためのシステムおよび方法が提供される。
一実施形態では、特徴空間および画素空間領域適応は、教師なし視点合成を使用する領域適応モデルの半教師あり学習を使用して実施される。領域適応は、生成敵対ネットワークの訓練を改善するために物体のウェブ画像を活用する訓練を含むことができる。領域適応と半教師あり学習との間の接続を使用して、ウェブ画像のような訓練画像の比較的まばらなセットを用いて、物体認識のためにニューラルネットワークをより効率的かつより正確に訓練することができる領域敵対ニューラルネットワークを利用することができる。
本発明の態様によれば、領域−敵対的訓練は、特徴−空間領域適応を達成するために領域適応ニューラルネットワークのために使用されることができる。領域敵対物体は、例えば、分類器と弁別器との共同パラメータ化のような、半教師あり学習の原理を実施することによって、別個の弁別器の必要性を排除することによって改善することができる。したがって、分類器は、ターゲット領域により良好に転送され、ネットワークの精度を向上させ、訓練時間および訓練データセットを低減させることができる。
さらに、例えば、ラベル付けされたウェブ画像などのまばらなデータセットは、例えば、測光変換および視点変換を含む、教師なし視点合成を使用することによって、領域適応ニューラルネットワークを訓練するためにさらに活用することができる。視点合成は、教師なしネットワークを活用して、入力画像に対するピクセル空間適応を実行する。例えば、生成的な敵対的ネットワークを使用して、入力画像は、ラベル付けされた訓練画像なしに、新しい視点に適応され得る。したがって、訓練は、より安価であり、より効率的であり、一方、生成的な敵対ネットワークの正確さは、継続的に改善され得る。
測光変換に関して、生成敵対ネットワークは、入力から２つ以上の出力を生成することを容易にするために属性調整を使用して改善することができる。したがって、ネットワークの効率および速度は、一度に１つではなく複数の画素空間適応を決定することを容易にすることによって改善される。
外観フローは、例えば、ピクセルレベル視点変換のために使用されることができる。キーポイントを利用するためにアピアランスフローネットワークを修正することによって、例えば、物体の３次元（３Ｄ）レンダリング画像のようなまばらな訓練データを使用することができる。一般化されていない実際の物体ではなくキーポイントを使用することができるので、訓練がより効率的かつ安価になるだけでなく、アピアランスフローネットワークの速度および精度が改善される。
本明細書で説明される実施形態は、完全にハードウェアであってもよく、完全にソフトウェアであってもよく、またはハードウェアおよびソフトウェア要素の両方を含んでもよい。好ましい実施形態では、本発明は、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むがこれらに限定されないソフトウェアで実施される。
実施形態は、コンピュータまたは任意の命令実行システムによって、またはそれに関連して使用するためのプログラムコードを提供するコンピュータ使用可能媒体またはコンピュータ可読媒体からアクセス可能なコンピュータプログラム製品を含むことができる。コンピュータ可能またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスによって、またはそれに関連して使用するためのプログラムを格納、通信、伝搬、またはトランスポートする任意の装置を含むことができる。媒体は、磁気、光学、電子、電磁気、赤外線、または半導体システム（または装置またはデバイス）、または伝搬媒体とすることができる。媒体は、半導体またはソリッドステートメモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、リジッド磁気ディスク、および光ディスクなどのようなコンピュータ可読記憶媒体を含むことができる。
各コンピュータプログラムは、汎用または専用プログラマブルコンピュータによって読み取り可能な機械可読記憶媒体またはデバイス（例えば、プログラムメモリまたは磁気ディスク）に有形に記憶され、記憶媒体またはデバイスがコンピュータによって読み取られて本明細書で説明される手順を実行するときに、コンピュータの動作を構成および制御することができる。本発明のシステムはまた、コンピュータプログラムで構成されたコンピュータ可読記憶媒体で具現化されると考えることができ、そのように構成された記憶媒体は、本明細書で説明される機能を実行するために、コンピュータに特定の事前定義された方法で動作させる。
プログラムコードを記憶および／または実行するのに適したデータ処理システムは、システムバスを介してメモリ要素に直接または間接的に結合された少なくとも１つのプロセッサを含むことができる。メモリ要素は、プログラムコードの実際の実行中に使用されるローカルメモリ、大容量記憶装置、および実行中に大容量記憶装置からコードが取り出される回数を減らすために少なくともいくつかのプログラムコードの一時記憶装置を提供するキャッシュ・メモリを含むことができる。入力／出力またはI／O装置（キーボード、ディスプレイ、ポインティング装置などを含むが、これらに限定されない）は、直接または介在するI／Oコントローラを介して、システムに結合され得る。
介在する専用ネットワークまたは公衆ネットワークを介して、データ処理システムを他のデータ処理システムあるいはリモートプリンタまたはストレージデバイスに結合できるようにするために、ネットワークアダプタをシステムに結合することもできる。モデム、ケーブルモデム、およびイーサネット・カードは、現在使用可能なネットワークアダプタのタイプの一例に過ぎない。
ここで、類似の数字が同一又は類似の要素を表し、最初に図１を参照すると、合成及び領域適応による視点不変物体認識のためのシステム／方法のためのハイレベルなシステム／方法が、本原理の実施形態に従って図示されている。
本発明の態様の一実施形態によれば、ピクセルレベルおよび特徴レベルの画像変換を用いて、訓練効率ならびに物体認識の精度および速度を改善する。本システム／方法は、環境の２つ以上の観点から入力画像を処理することができる。例えば、例えばカメラのような撮像装置は、例えば第１の仰角のような第１の遠近法または視点を有する環境の第１の画像セットと、第２の遠近法または視点を有する環境の第２の画像セットとの画像を取り込むことができる。したがって、システムは、第１の監視画像１０ａおよび第２の監視画像１０ｂが異なる視点を有する、例えばソース画像１０ｃなどの訓練画像とともに、第１の監視画像１０ａおよび第２の監視画像１０ｂを含む監視画像を含むことができる。画像１０ａ，１０ｂおよび１０ｃは、例えば、視点合成器１００および測光調整器２００を有する合成モジュール５１０と、特徴抽出器３００および領域適応訓練ユニット４００を含む領域適応モジュール５２０とを含むシステムによって処理することができる。
システムは、第１の監視画像１０ａおよび第２の監視画像１０ｂを含む２つ以上の入力画像を利用して、監視画像１０ａおよび１０ｂ内の認識された物体を有するラベル付けされたターゲット画像３０を生成する。物体は、画像から意味的特徴を抽出する特徴抽出器３００を用いて認識される。したがって、特徴抽出器３００は、監視画像１０ａおよび１０ｂを他の画像と共に分析して意味的特徴を決定するように構成することができる。意味的特徴を決定することは、例えば、画像の連続的により高いレベルの特徴を決定するためのレイヤのセットを含むことができる。例えば、特徴抽出器３００は、例えば、抽出された特徴が幾何学的ではなく意味的であるように、より高いレベルの特徴を抽出するより多くのレイヤを有するより深いＣＮＮを備えた畳み込みニューラルネットワーク（ＣＮＮ）を含むことができる。したがって、特徴抽出器３００は、例えば、メモリまたはストレージに格納され、プロセッサを使用して実行されることができる。
特徴抽出器３００の特徴抽出を改善するために、特徴抽出器は、特徴抽出と同時に訓練されることができる。訓練は、例えば、ラベル付けされたウェブ画像のようなソース画像１０ｃを利用することができる。訓練画像セットは、高価であり、生成または取得が困難であり得るため、訓練画像は、例えば、ラベル付けされたコンテンツを有するウェブ画像としてインターネットなどのネットワークからインデックス付けされ得る。例えば、特徴抽出器３００は、監視画像１０ａ及び１０ｂから車両の種類及び／又はモデルを抽出するように構成することができる。したがって、ウェブ画像は、インターネット上で見つけられる様々な車両の種類およびモデルの画像とすることができ、各画像は、そこに描かれた車両の種類および／またはモデルでラベル付けされる。したがって、ソース画像１０ｃは、車両の種類および／またはモデルを認識するように特徴抽出器３００を訓練するために使用することができる。
監視カメラは、例えば、少なくとも第１の監視画像１０ａおよび第２の監視画像１０ｂを含む所与の車両の複数の視点を有することができるので、特徴抽出器３００は、車両の複数の視点を有するソース画像１０ｃなどのソース画像を使用することによって、より正確に訓練される。しかしながら、ソース画像１０ｃはウェブ画像であるので、識別される各車両のあらゆる視点の高密度なデータセットが存在しないことがある。視点は、例えば、遠近法およびカメラ角度、照明、ならびに設定および条件における任意の他のバリエーションを含み得る。したがって、ビュー変換を利用して、ソース画像１０ｃをソース画像１０ｃのコンテンツの複数のビューに変換することができる。
視点合成部１００及び測光調整部２００を用いて、画素レベルでの視点変換が可能である。視点シンセサイザ１００は、ソース画像１０ｃの視点、すなわち画角を変換することができる。例えば、ソース画像１０ｃが車両の正面図である場合、視点合成器１００は、ソース画像１０ｃを、例えば、１０度の仰角ビュー、または２０度の仰角ビュー、あるいは、例えば、約０度から約９０度の範囲内の任意の仰角ビュー、および、側面に対して約０度から約９０度の範囲内の任意の側面ビューなどの任意の他のビューに変換することができる。本発明の態様によれば、視点合成器１００は、ソース画像１０ｃのコンテンツの様々なビューを含むソース画像１０ｃの複数の変換を生成することができる。したがって、ソース画像１０ｃは、ソース画像１０ｃ内の物体の様々な視点を有する特徴抽出器３００にラベル付けされた訓練画像を提供するために使用され得る。
同様に、例えば、車両の監視映像のような画像は、様々な照明条件でキャプチャすることができる。様々な照明条件は、モデルが異なる照明条件で訓練されていない場合、物体認識に問題を引き起こす可能性がある。このように、測光調整器２００は、ソース画像１０ｃの照明を調整するために使用されることができる。例えば、視点合成器１００を用いてソース画像１０ｃのビュー変換を生成すると、測光調整器２００は、ソース画像１０ｃの生成されたビュー変換の各々において照明を調整するために使用され得る。したがって、ソース画像１０ｃ内の物体は、様々な視点ならびに様々な照明条件で表すことができる。このように、様々な条件の各々に対する訓練画像は、より効率的で、より正確で、より経済的な訓練のために特徴抽出器３００に提供されることができる。このように、視点合成器１００および測光調整器の各々は、例えば、メモリまたは記憶装置に記憶され、プロセッサを使用して実行され、異なる視点および照明を有する物体の様々な画像を生成することができる。
本発明の態様によれば、特徴抽出器３００の訓練は、例えば、領域適応訓練ユニット４００を使用して実行することができる。領域適応訓練ユニット４００は、ソース領域に対してターゲット領域を訓練することができる。ターゲット領域とソース領域は同一でない場合がある。このように、領域適応訓練ユニット４００は、ソース領域を異なるターゲット領域と比較するためにモデルを適応させるために使用される。本発明の態様による一実施形態では、ソース領域は、視点合成器１００および測光調整器２００によって生成されたソース画像１０ｃの調整されたビューと共に、ソース画像１０ｃを含む。ターゲット領域は、例えば、第１の監視画像１０ａおよび第２の監視画像１０ｂを含む、特徴抽出器３００によって分析される監視画像を含むことができる。ソース領域とターゲット領域は同一ではないので、特徴抽出器３００は、領域が適合される場合、特徴抽出のためにより良好に訓練され得る。
本発明の態様によれば、領域適応は、例えば、異なる領域にもかかわらず、類似の物体に対応する類似の特徴を抽出するようにソースおよびターゲット領域を適応させる敵対的技法を含むことができる。本発明の一実施形態による領域適応訓練ユニット４００の一例は、例えば、領域敵対ニューラルネットワーク（ＤＡＮＮ）を使用する汎用領域適応のための領域敵対訓練である。ＤＡＮＮの敵対的技法は、特徴抽出器３００の正確な訓練のために、ソース領域とターゲット領域とを正確に比較することができる。さらに、例えば、共同パラメータ化分類器および弁別器を使用するＤＡＮＮは、敵対的訓練における誤り率を低減することができる。精度および効率的な訓練をさらに改善するために、例えば、エントロピー正則化をＤＡＮＮに組み込むことができる。エントロピー正則化は、分類分布が、ラベル付けされていないデータをより良く反映するために「ピーク」であるべきであるという原理を組み込むことができる。領域適応ユニット４００は、例えば、メモリまたはストレージに格納され、メモリまたはストレージに格納され、プロセッサによって実行されるＤＡＮＮを使用して、プロセッサを使用して実行され得る。
領域適応訓練ユニット４００によって決定された損失物体は、特徴抽出器３００にフィードバックされ、分類および領域識別に対応する損失に従って特徴抽出器３００を訓練することができる。したがって、特徴抽出器３００は、弁別器をだますように訓練され、したがって、特徴抽出のためのターゲット領域により良く適合される。したがって、出力ラベル付けされたターゲット画像３０は、監視画像１０ａおよび１０ｂから特徴を同時に抽出し、領域適応および領域敵対訓練に従って訓練を継続することができる、より訓練された特徴抽出器３００に従って、より正確かつ効率的に生成される。
さらに、ラベル付けされたターゲット画像３０のクラスラベルは、自動応答システム５３０によって使用され得る。自動応答システム５３０は、例えば、不法駐車車両のためのチケットを自動的に生成する駐車場チケットシステム、または、例えば、赤色灯を走らせるなど、交通法に違反する車両のためのチケットを自動的に生成する交通カメラを含むことができる。例えば、認識された車両または他の物体上のデータを含む任意の形態を生成するのに適したシステムを含む、他の適切な自動応答システム５３０が企図される。
次に図２を参照すると、本原理の一実施形態による、キーポイントベースの視点変換のためのシステム／方法が例示的に示されている。
本発明の一態様によれば、視点合成器１００の一実施形態は、アピアランスフローネットワーク１１０および１２２を含むことができる。アピアランスフローネットワーク110は、ソース画像10cからアピアランスフローを生成し、ソース画像10cのアピアランスフローの堅固な表現に従って２次元（２Ｄ）キーポイントアピアランスフローネットワーク１２２を訓練することができる。
アピアランスフローネットワーク１１０は、例えば、ソース１０ｃとターゲット視点１０ｄとの間のピクセルの密なフローを推定することを含むことができる。一旦推定されると、アピアランスフロー表現は、ピクセルを再編成するために双一次サンプリングを使用して合成され得る。アピアランスフローネットワーク１１０は、出力アピアランスフロー表現からの予測された視野拡張ソース画像１２ａとターゲット視点１０ｄの地上真実表現とを比較することによって訓練することができる。
しかしながら、ソース画像１０ｃ及び地上真実ターゲット画像１０ｄのソース視点は、視点変化のみを含むことができるので、訓練ペアとして取得することが困難である。したがって、現実の画像の高度に制御されたデータセットを使用して、アピアランスフローネットワークを訓練することができる。しかしながら、これらの高度に制御されたデータセットは、実用的に高価であり、入手するのが困難である。したがって、訓練中のソース画像10cは、例えば、レンダリングされた３次元（３Ｄ）コンピュータ支援設計（ＣＡＤ）画像を含むことができる。これらの３Ｄ ＣＡＤ画像は、容易に入手可能であり、その中に表される物体のための３Ｄ情報を提供する。その結果、３Ｄ ＣＡＤ画像は、ソース画像１０ｃと地上真実ターゲット画像１０ｄを提供するために、ソース視点とターゲット視点とで正確に描画することができる。このように、訓練されたアピアランスフローネットワーク１１０は、2D画像にレンダリングされた３Ｄ ＣＡＤ画像を含むソース画像１０ｃの堅固なアピアランスフロー表現を生成することができる。これにより、ソース画像１０ｃの物体の目標視点を含む視野拡大ソース画像１２ａを正確に予測することができる。
アピアランスフローネットワーク１１０は、ターゲット画像１０ｄのための堅固で高密度なアピアランスフロー表現を生成することができるが、アピアランスフローネットワーク１１０は、画素レベルの詳細を利用する。したがって、レンダリングされた３Ｄ ＣＡＤ画像上で訓練されると、アピアランスフローネットワーク１１０は、現実の画像に一般化できない可能性がある正確なアピアランスフロー表現を生成する。したがって、堅固なアピアランスフロー表現は、より一般的な２Ｄキーポイントアピアランスフローネットワーク１２２を訓練するために使用することができる。したがって、２Ｄキーポイントアピアランスフローネットワーク１２２は、画像の２Ｄキーポイントのアピアランスフローを合成するために組み込まれる。
２Ｄキーポイントの使用は、２Ｄキーポイントが、ピクセルレベルの幾何学的特徴とは対照的に、より高いレベルの幾何学的特徴を活用するため、領域にわたって十分に一般化する。したがって、一般的な形状を２Ｄキーポイントでキャプチャすることができ、２Ｄキーポイントアピアランスフローネットワーク１２２は、例えば、車両などのクラスの物体を表すことができる一般的な幾何学的特徴に従って訓練することができる。
したがって、２Ｄキーポイント生成器１２０は、ソース画像１０ｃの幾何学的特徴に対応する２Ｄキーポイントを生成することができる。２Ｄキーポイントは、例えば、特定の種類及び／又はモデルの車両のような、ソース画像１０ｃの物体の一般的な表現を形成する。２Ｄキーポイントは、２Ｄキーポイントアピアランスフローネットワーク１２２に提供することができる。したがって、２Ｄキーポイントアピアランスフローネットワーク１２２は、同じソース画像１０ｃのピクセルレベルアピアランスフロー表現を生成するアピアランスフローネットワーク１１０と並行して、３Ｄ ＣＡＤ画像からレンダリングされたソース画像１０ｃのアピアランスフロー表現を生成することができる。
２Ｄキーポイントアピアランスフロー表現は、ターゲット視点に対応する高密度な２Ｄキーポイントアピアランスフロー１１ｂを予測するために使用されることができる。結合器１２４ｂで結合されると、高密度な２Ｄキーポイントアピアランスフロー１１ｂは、ソース画像１０ｃを修正することができる。修正は、ソース画像１０ｃの複数の他の視点の合成を含むことができる。従って、視界拡張ソース画像１２ｂは、ソース画像１０ｃを拡張した高密度２Ｄキーポイントアピアランスフロー１１ｂから合成することができる。
同様に、アピアランスフローネットワーク１１０は、ピクセルレベル分析に基づいて、ソース画像１０ｃの高密度なアピアランスフロー１１ａを生成することができる。次に、高密度なアピアランスフロー１１ａを使用して、結合器１２４ａでソース画像１０ｃを拡張することができ、その結果、ソース画像１０ｃを修正して、複数の他の視点を合成することができる。したがって、視野拡張ソース画像１２ａも、例えば視野拡張ソース画像１２ｂの合成と同時に合成される。
アピアランスフローネットワーク１１０は、ソース画像10cに対応する地上真実ターゲット画像１０ｄに対して訓練されているので、予め訓練されたアピアランスフローネットワーク１１０からの知識は、アピアランスフローネットワーク１１０の堅固なアピアランスフロー表現と２Ｄキーポイントアピアランスフローネットワーク１２２の２Ｄアピアランスフロー表現との間の損失を決定することによって、２Ｄキーポイントアピアランスフローネットワーク１２２を訓練するために蒸留され得る。損失決定は、推定された２Ｄキーポイントアピアランスフロー表現から生成された視野拡張ソース画像１２ｂと地上真実ターゲット画像１０ｄとの間の差によって決定された損失と組み合わせることができる。このように、２Ｄキーポイントアピアランスフローネットワーク１２２は、アピアランスフローネットワーク１１０からの知識と、地上真実ターゲット画像１０ｄとを同時に訓練される。
その結果、２Ｄキーポイントアピアランスフローネットワーク１２２は、アピアランスフローへのピクセルレベルの洞察の知識も含めながら、領域全体にわたって十分に一般化する堅固な予測を生成することができる。例えば、アピアランスフローネットワーク１１０のようなピクセルレベルアピアランスフローネットワーク単独と比較して、２Ｄキーポイントアピアランスフローネットワーク１２２は、レンダリングされた３Ｄ ＣＡＤモデルに対して０．０７２のピクセル毎の再構成誤差を有する拡張画像を生成することができる。アピアランスフローネットワーク１１０のみを、０．０７１の再構成を達成するように訓練することができる。したがって、２Ｄキーポイントアピアランスフローネットワーク１２２は、領域にわたるより大きな一般化を伴って、同等のレベルの精度を達成することができる。
上述した視点合成器１００は、１つ以上のビュー拡張ソース画像１２ｂを予測するように実施することができる。レンダリングされた３Ｄ ＣＡＤ画像が訓練に使用されるので、任意の数のターゲット画像１０ｄを使用して、３Ｄ ＣＡＤ画像の３Ｄデータを使用して、アピアランスフローネットワーク１１０および２Ｄキーポイントアピアランスフローネットワーク１２２を訓練することができる。例えば、ソース画像１０ｃが車両の正面図である場合、視点合成器１００は、例えば、１０度の仰角ビュー、または２０度の仰角ビュー、あるいは、例えば、約０度から約９０度の範囲の任意の仰角ビュー、および、側面に対して約０度から約９０度の範囲の任意の側面ビューなどの任意の他のビューを含む、ターゲット視点で視野拡張ソース画像１２ａおよび１２ｂを予測するように訓練され得る。
さらに、訓練時に、視点合成器１００は、ウェブ収集画像を含むソース画像10cのターゲット視点を予測し、ウェブ収集画像内の物体のビューを様々な視点で生成するために使用することができる。ウェブ収集画像は、ウェブ収集画像の視野拡張ソース画像１２ｂを予測しながら２Ｄキーポイントフローネットワーク１２２を同時に訓練するために、アピアランスフローネットワーク１１０と２Ｄキーポイントアピアランスフローネットワーク１２２との両方に提供することができる。従って、各ウェブ収集ソース画像に対してターゲット画像１０ｄが存在しないかもしれないが、アピアランスフローネットワーク１１０は、依然として、２Ｄキーポイントアピアランスフローネットワーク１２２に対して洞察を提供するために実装することができ、一方、２Ｄキーポイントアピアランスフローネットワーク１２２は、視野拡張ソース画像１２ｂを予測する。
ここで図３を参照すると、敵対的測光変換のためのシステム／方法が、本発明の原理の実施形態に従って例示的に示されている。
本発明の一実施形態によれば、ソース画像１０ｃの予測視点を有する視野拡張ソース画像１２は、視野拡張ソース画像１２内の物体の異なる照明条件を予測するために測光調整器２００に提供され得る。監視画像１０ａおよび１０ｂは、様々な照明変動を含むことができるので、対応する照明変動を含むようにソース画像１０ｃの領域を調整することにより、特徴抽出器３００の訓練を改善することができる。
本発明の態様によれば、測光調整は、属性固有生成器２１０によって実行することができる。属性固有生成器２１０は、視野拡張ソース画像１２に対する色調整を生成する生成器としてニューラルネットワークを実装することができる。したがって、属性固有生成器２１０は、視野拡張ソース画像１２の幾何学的構造を保存するために、例えば、Ｕｎｅｔニューラルネットワークを含むニューラルネットワークを含むことができる。
属性固有生成器２１０は、例えば、ＣｙｃｌｅＧＡＮまたは他のＧＡＮのような生成敵対ネットワーク（ＧＡＮ）において訓練され得る。したがって、属性固有照明生成器２１０は、入力画像のそれぞれについて照明に対する１つまたは複数の調整を生成し、したがって、予測スタイルおよび視野拡張ソース画像１３を出力する。しかしながら、例えば、ＣｙｃｌｅＧＡＮのようなＧＡＮは、各入力画像に対して、照明のような１つの出力スタイルのみを予測することに限定されてもよい。したがって、生成器２１０のＧＡＮは、条件変数を生成器２１０に組み込んで属性固有生成器２１０を形成することによって、複数のスタイル変更を予測できるように属性条件付けすることができる。条件変数は、例えば、昼間および夜間に対応する照明、ならびに、薄暗い照明などの中間の照明条件、ならびに任意の他の調整など、複数の条件を含むことができる。
条件変数を組み込むことにより、属性固有生成器210は、特定の属性に従って画像調整を生成することができ、したがって、同じ幾何学的構造を有する多様な出力画像を容易にする。したがって、各視野拡張ソース画像１２は、様々なスタイルを生成し、拡張ソース画像13をビューするために使用することができ、スタイルは、予測され生成される状態を指す。したがって、属性固有生成器２１０は、例えば、照明（例えば、昼対夜の照明）を含むスタイル拡張を含む視野拡張ソース画像１２への拡張を予測することができる。したがって、拡張は、属性固有生成器２１０内の視野拡張ソース画像１２に適用されて、拡張の各属性に対応する１つまたは複数のスタイルおよび視野拡張ソース画像１３を予測する。
属性固有生成器２１０を訓練するために、スタイルおよび視野拡張ソース画像１３は、属性固有逆生成器２２０によってスタイル反転されて、画像を視野拡張ソース画像１２の領域に戻すスタイル反転画像14を予測する。属性固有逆生成器２２０は、例えばＵＮｅｔの逆など、属性固有生成器２１０によって適用されるスタイル拡張を逆にするための任意の生成器とすることができる。本発明の一実施形態によれば、属性固有逆生成器２２０は、属性固有生成器２１０の逆によって形成される生成器である。したがって、属性固有の拡張および属性固有の逆拡張を提供するために、１つの生成器のみを訓練する必要がある。
属性固有生成器２１０によって適用されるスタイル拡張を反転させることによって、スタイル反転画像１４は、属性固有生成器２１０内のエラーの程度を反映する。したがって、スタイル反転画像１４は、属性固有弁別器２３０を使用して視野拡張ソース画像１２に対して弁別され、拡張および反転拡張プロセスにおけるエラーの程度を決定することができる。したがって、属性固有弁別器２３０は、ローカルパッチから実際の／偽の決定を行うために、例えばパッチＧＡＮを含むことができる。したがって、属性固有逆生成器２２０とのサイクル整合性を有する敵対分析に従って、スタイル反転画像１４と視野拡張ソース画像１２との間の損失を決定することができる。
測光調整器２００は監視されておらず、訓練画像なしに訓練することができるので、測光調整器２００は、ソース画像１０ｃが視点合成器１００で視野拡張され、測光調整器２００でスタイル拡張されるときに、連続的に訓練されることができる。したがって、属性固有生成器２１０は、継続的に改善され、スタイル拡張の精度および効率を向上させる。
次に図４を参照すると、領域適応のための領域敵対的訓練を用いた特徴抽出のためのシステム／方法が、本原理の実施形態に従って例示的に示されている。
本発明の実施形態によれば、特徴抽出器３００は、領域適応訓練ユニット４００の助けを借りて特徴レベル領域適応のための特徴２０及び２３を抽出する。領域適応訓練ユニット４００は、スタイルのソース領域に対して訓練された監視画像１０のターゲット領域から特徴を抽出し、拡張ソース画像１３を見るために、特徴抽出器３００を訓練するのを支援することができる。監視画像１０及びスタイル及び視野拡張ソース画像１３は異なる領域からのものであるため、例えば、敵対的訓練を用いて特徴抽出器３００を訓練することができる。敵対的訓練を使用することは、教師なし訓練を容易にし、したがって、ソース領域とターゲット領域のペアを有する大きな訓練セットの必要性を低減する。したがって、領域適応モジュール５２０のための可能な構造は、例えば、領域敵対ニューラルネットワーク（ＤＡＮＮ）である。
領域適応モジュール５２０のＤＡＮＮ構造は、監視画像１０の特徴提示と、ソース領域のスタイルおよび視野拡張ソース画像１３との間の差を低減する特徴抽出器３００を訓練することによって、ターゲット領域の監視画像１０の訓練を容易にする。したがって、領域適応モジュール５２０は、監視画像１０およびスタイルおよび視野拡張ソース画像１３の各々が同じ物体を含む場合に、監視画像１０およびスタイルおよび視野拡張ソース画像１３から同じ特徴を抽出するように特徴抽出器３００を訓練する。
特徴抽出器３００を訓練するために、他のＣＮＮ３０２はスタイル及び視野拡張ソース画像１３から拡張ソース特徴23を同時に抽出する一方で、畳込みニューラルネットワーク（ＣＮＮ）３０１は、監視画像１０から監視特徴２０を抽出する。ＣＮＮ３０１及び３０２の各々は、例えば、入力画像から特徴表現を抽出するための任意のニューラルネットワークとすることができる。本発明の１つの可能な実施形態は、例えば、各ＣＮＮ３０１と３０２との間の共有されたパラメータまたは重みを含む。ＣＮＮ３０１とＣＮＮ３０２との間で重みを共有することによって、ＣＮＮ３０１および３０２の両方を、領域適応訓練ユニット４００に従って共同で訓練することができる。
領域適応訓練ユニット４００は、特徴抽出モジュール３００によって生成された特徴表現の差異に従って特徴抽出器３００を訓練する。したがって、領域適応訓練ユニット４００は、監視特徴２０を拡張ソース特徴２３と比較する。比較のために、領域適応訓練ユニット４００は、例えば、教師なし領域適応（ＵＤＡ）スキームなどの敵対的訓練を使用することができる。したがって、領域適応訓練ユニット４００のＵＤＡスキームは、識別不能であるが、識別力を維持する特徴表現を生成するように特徴抽出器３００を訓練する。したがって、領域適応訓練ユニット４００は、特徴２０および２３のそれぞれの分類ならびに識別を決定する。
領域適応訓練ユニット４００は、例えば、別個の分類器および識別器を用いて分類および識別を実行することができるが、別個の識別器を有さない分類器が使用されるように、共同パラメータ化構造が代わりに使用され得る。共同パラメータ化によれば、領域適応訓練ユニット４００は、監視特徴２０の分類および領域識別の両方を決定するための分類器４０１と、拡張ソース特徴２３の分類および領域識別の両方を決定するための分類器４０２とを含む。その結果、損失関数の領域敵対目的関数は、分類器４０１および４０２の各々において、分類変換目的関数として再定式化されることができる。
識別器なしの分類器を使用する結果として、分類器４０１および４０２はそれぞれ、例えば、各分類に対応するクラススコアのためのエントリ、ならびに領域識別に対応する領域分類スコアのための追加のエントリを含む出力を生成することができる。したがって、分類器４０１および分類器４０２は、それぞれ、例えば、監視特徴２０および拡張ソース特徴の特徴分類および領域分類の両方をそれぞれ決定するためのパラメータを含む。これらのパラメータは、例えば、以下の式（１）の関数のようなソフトマックス損失関数を含む損失関数に従って訓練されることができる。
Figure 2021073545
ここで、θcは、式（１）によって最適化された分類器４０１および４０２のためのパラメータであり、Ｌcは分類器４０１および４０２のためのクロスエントロピー損失であり、χsはスタイルおよび視野拡張ソース画像１３を含むソース領域データのセットであり、χtは監視画像１０を含むターゲット領域データのセットであり、
Figure 2021073545
はソース領域のための期待値を示し、
Figure 2021073545
はターゲット領域のための期待値を示し、Ｃはクラススコア関数であり、ｆ（ｘ）は特徴表現関数であり、ｙはラベルのセットのクラスラベルであり、Ｎはクラスラベルのカテゴリの数である。
したがって、分類器パラメータθcの損失関数は、ソース領域分類器４０２の項、ならびにターゲット領域分類器４０１のＮ＋１エントリの両方を含む。各分類器４０１および４０２におけるＮ＋１エントリは、領域識別分類のために提供されるエントリである。したがって、分類器４０１および４０２のためのパラメータを最適化することは、ラベルクラスｙに加えて、領域クラスのための最適化を含む。その結果、領域識別器を別々に訓練するのではなく、分類器４０１および４０２は、分類器４０１および４０２のクラスとして領域識別を割り当てることによって領域識別を組み込むように訓練される。
しかしながら、クラススコア関数Ｃ（ｆ（ｘ），ｙ）は、クラスラベルのセットＣ（ｆ（ｘ），（ｙ｜γ））が与えられたクラススコア関数と、Ｃ（ｆ（ｘ），ｙ）＝Ｃ（ｆ（ｘ），（ｙ｜γ））（１−Ｃ（ｆ（ｘ），Ｎ＋１））となるような識別器クラスＣ（ｆ（ｘ），Ｎ＋１）のクラススコア関数との積と等価である。したがって、式（１）は式（２）のように書き換えられる。
Figure 2021073545
式中、
Figure 2021073545
は分類による損失に相当し、
Figure 2021073545
は識別による損失に相当する。
したがって、式（１）または式（２）の損失関数を適用すると、分類器パラメータθcは、例えば、分類器４０１および分類器４０２のそれぞれのパラメータを一緒に訓練するために、例えば、確率的勾配降下のような勾配降下を使用して更新され得る。分類器パラメータθcを更新することに加えて、分類に起因する損失を含む損失Ｌcが計算された。分類に起因する損失は、例えば、以下の式（３）を含むソフトマックス損失関数のような損失関数を使用して、ＣＮＮ３０１および３０２を訓練するために使用され得る。
Figure 2021073545
ここで、θfは、式（２）によって最適化されるＣＮＮ３０１および３０１のパラメータであり、Ｌfは、ＣＮＮ３０１および３０２のクロスエントロピー損失であり、λは、分類と領域識別とのバランスをとるハイパーパラメータである。
したがって、分類器４０１および４０２は、クロスエントロピー損失を介して訓練され、分類器４０１および４０２の損失は、ＣＮＮ３０１および３０２のパラメータを共同で訓練するために使用され得る。その結果、ＣＮＮ３０１および３０２は、別個の識別器を使用することなく、分類器４０１および４０２の領域クラスをだますために、敵対的な技法で訓練される。その結果、特徴抽出及び分類の精度を向上させつつ、計算量を削減することができる。その結果、領域適応モジュール５２０は、より信頼性の高い予測ターゲットクラスラベル３０ａおよび予測ソースクラスラベル３０ｂに対して、より正確かつより効率的にされる。
本発明の態様によれば、エントロピー正則化を使用することによって、精度をさらに向上させることができる。式（１）、（２）および（３）の損失関数は、ターゲットデータの事前分類分布を想定していないので、ＣＮＮ３０１および３０２は、特徴の正確な分布のために訓練されないことがある。しかしながら、分類器４０１および４０２は、分類分布のエントロピーを最小化することによって、ラベル付けされていないデータのより正確な分布のために訓練することができる。特に、エントロピー正則化は、以下の式（４）に反映されるように式（３）を修正することによって、ピーククラス予測をN個のクラスのうちの１つに促進することを含むことができる。
Figure 2021073545
ここで、ｉは１からＮ＋１までの指標であり、ｙは分類識別と物体の識別違いとのバランスをとるハイパーパラメータである。
ここでは、
Figure 2021073545
は、分類器４０１および４０２のピーク予測を促進することを容易にし、γｌｏｇ（ｆ（ｘ），１−Ｃ（Ｎ＋１））の項は、ドメインクラススコアの識別器をだますための学習を促進する。その結果、式（４）は、ピーク分類分布の予測と、識別器の違いとのバランスをとる、領域適応モジュール５２０のエントロピー正規化バージョンを表す。その結果、予測ターゲットクラスラベル３０ａおよび予測ソースクラスラベル３０ｂがより正確にされる。
次に図５を参照すると、監視された駐車場における車両識別のためのシステム／方法が、本原理の一実施形態に従って例示的に示されている。
本発明の実施形態の態様によれば、合成および領域適応は、監視された駐車場における車両認識のために使用され、駐車場セキュリティの強化を容易にする。
本発明の態様によれば、駐車場６１０は車両６１１を収容するための複数の駐車スペース６１２を含む。カメラ６００は、駐車スペース６１２を占有する車両６１１を監視するために駐車場６１０を監視することができる。駐車場６１０の監視を容易にするために、カメラ６００は、例えば、物体認識システム５００と通信して、車両を認識し、認識された車両の指示を返すことができる。カメラ６００はまた、例えば、コンピュータシステム６２０およびデータベース６３０を含むネットワーク６４０と通信することができる。
物体認識システム５００は、車両を認識するために領域適応を採用することができる。カメラ６００は、様々な照明条件で広い物理的領域にわたって画像をキャプチャしているので、車両上の視点は、広範囲の視点および照明にわたって変化する。このように、この広範に変化するシナリオのために訓練するための訓練データのセットは、各視点の可能性のために訓練ペアが必要とされるので、得ることが困難である。その代わりに、物体認識システム５００は、例えば、ウェブベースのデータベースなどのデータベース６３０からのラベル付けされた画像を使用して訓練されるように構成され得る。したがって、物体認識システム５００は、視点の可能性の大きな集合を表さない、広く利用可能で安価なラベル付けされた画像で訓練される。例えば、物体認識システム５００は、車両６１１の種類および／またはモデルの認識を訓練するために、様々な種類および／またはモデルの車両の正面図画像を提供され得る。
データベース６３０からの画像を用いて物体認識システム５００を訓練するために、物体認識システムは、視点の可能性を再現するための領域適応を含むことができる。領域適応は、例えば、上述した合成器モジュール５１０のような合成器モジュール５１０と、上述した領域適応モジュール５２０のような領域適応モジュール５２０とによって実行することができる。したがって、合成器モジュール５１０を使用して、データベース６３０からのラベル付けされた画像の様々な視点を合成することができる。領域適応モジュール５２０は、データベース６３０からの元のラベル付けされた画像と同様に、合成された視点をソース領域画像として使用して、駐車場６１０の類似するが必ずしも同等ではない目標領域における物体認識のためのニューラルネットワーク訓練を一般化することができる。
したがって、合成器モジュール５１０は、例えば、測光調整、視点調整、ならびに様々なシナリオを表すための他のビューおよびスタイル調整を含むことができる。合成器モジュール５１０は、データベース６３０のラベル付けされた画像と同様に、ウェブ収集された画像を使用して訓練することができる。しかしながら、合成器モジュール５１０は、例えば、３Ｄ ＣＡＤモデルを使用して訓練されることができる。３Ｄ ＣＡＤモジュールを使用することは、異なるビューにおいて３Ｄ ＣＡＤモデルをレンダリングすることによって、所望の視点に従った訓練のためのソースおよびターゲット画像を形成することを容易にする。したがって、ソース画像およびターゲット画像を使用して、上述したように、例えば、アピアランスフローネットワークなどの視野拡張機構を訓練することができる。特に、３Ｄ ＣＡＤモデルは、ソース表現およびターゲット表現でレンダリングされ得る。モデルの物体を一般化するために、レンダリングされたソース表現から２Ｄキーポイントを生成することができる。アピアランスフローネットワークは、レンダリングされたソース表現を使用してターゲット領域内のソース表現を予測するために実装されることができる。同時に、生成された２Ｄキーポイントを使用してターゲット領域内の２Ｄキーポイントを予測するために、キーポイントベースのアピアランスフローを使用することができる。２Ｄキーポイントは、ターゲット画像を予測するためにソース表現と融合されることができる。次いで、予測とレンダリングされたターゲット表現との間の誤差に基づいて、アピアランスフローおよびキーポイントベースのアピアランスフローを共同で訓練することができる。次いで、２Ｄキーポイントベースのアピアランスフローネットワークを使用して、データベース６３０からラベル付けされた画像内の２Ｄキーポイントを生成し、ラベル付けされた画像のそれぞれについて様々な視点を合成することができる。
さらに、スタイル拡張機構を使用して、例えば、データベース６３０からのラベル付けされた画像の測光調整を介して照明シナリオを調整することができる。測光調整は可逆的なプロセスである。したがって、測光調整のためのネットワークを訓練することは、例えば、ＣｙｃｌｅＧＡＮなどを用いて、例えば、敵対的訓練を使用して、監視されずに実行することができる。例えば、ラベル付けされた画像は、生成器を用いて測光的に調整され得る。次に、調整された画像は、生成器の逆数を用いて逆にすることができる。次に、オリジナルのラベル付けされた画像と、調整された画像及び反転された画像との間の誤差は、発生器及びその反転の誤差を決定するために識別器を使用して評価されることができる。次に、発生器をこの誤差に対して訓練することができる。次いで、生成器を使用して、ラベル付けされた画像の合成視点を測光的に調整し、合成視点のそれぞれについて様々な照明スタイルを生成することができる。
視点合成のための機構および測光調整のための機構が議論されてきたが、他のスタイルおよびビュー合成は、とりわけ、例えば、物体のオクルージョンおよび部分的なオクルージョンのような、任意の数の変数に対して実行され得る。したがって、駐車場６１０における物体認識を訓練するために使用することができる、データベース６３０からの各ラベル付けされた画像について、様々なシナリオが作成される。例えば、車両の種類および／またはモデルでラベル付けされた車両の正面図を合成して、約０°から約９０°の範囲の仰角点から、および約０°から約９０°の間の斜視図で、画像の車両の昼間および夜間の両方のビューを提供することができる。その結果、訓練データの大きなコーパスが、元のラベル付けされた画像から生成される。
領域適応モジュール５２０は、訓練画像のコーパスを使用して、例えばＣＮＮまたは他のニューラルネットワークを使用して、カメラ６００によってキャプチャされた画像から特徴を抽出することができる。領域適応モジュール５２０はまた、キャプチャされた画像にラベル付けするために抽出特徴を分類するように訓練され得る。訓練は、例えば、上述したものと同様の領域敵対ニューラルネットワーク（ＤＡＮＮ）を使用して実行することができる。特に、例えば、ＣＮＮを含む特徴抽出器は、キャプチャされた画像及び訓練画像のそれぞれから特徴を抽出することができる。次いで、分類器は、キャプチャされた画像と、対応する視点を有する訓練画像とを同時に分類し、領域識別を実行することができる。次いで、分類器は、領域識別をゼロに減少させ、分類器の領域識別を効果的にだますように訓練され得る。次いで、分類器の訓練は、各分類器について対応するＣＮＮを訓練するための損失関数に組み込まれ得る。分類器は、分類および領域識別の両方を実行するので、ＣＮＮに、ターゲット領域について定義されたクラスのセットの１つに分類可能な表現を生成させることによって、訓練を正確かつ効率的に実行することができる。したがって、分類器および識別器の単一の分類器への共同パラメータ化は、分類器およびＣＮＮを訓練する際に、より正確かつより効率的な、分類器転送目的を形成する。
次いで、領域適応モジュール５２０は、データベース６３０のラベル付けされた画像からの訓練に基づいて、車両の種類及び／又はモジュールに対応する分類を生成することができる。訓練は、キャプチャ画像の分類と同時に、または別個に実行され得る。物体認識モジュール５００の精度を常に向上させるために、訓練を連続的に行うこともできる。
分類された画像は、分類に対応するラベル、例えば、カメラ６００によってキャプチャされた車両６１１の種類および／またはモデルのためのラベルでラベル付けすることができる。キャプチャされた画像上のラベルは、データベース６３０に格納され、例えば、ディスプレイ又はコンピュータ６２０を介してユーザに提供される。キャプチャされた画像上のラベルはまた、ネットワーク６４０と通信する任意の他のデバイスに提供され得る。
ネットワーク６４０は、任意のネットワーク、例えば、ローカルエリアネットワーク、ＷｉＦｉネットワーク、インターネット、イントラネットシステム、直接接続、または任意の他の通信ネットワークを含む有線または無線ネットワークとすることができる。
次に図６を参照すると、本原理の一実施形態による、合成および領域適応による視点不変物体認識のためのシステム／方法が例示的に示されている。
ブロック７０１において、物体のビューを有するラベル付けされたソース画像を収集する。
ブロック７０２において、ソース画像内の物体の複数の視点を合成して、ソース画像のための複数の視野拡張ソース画像を生成する。
ブロック７０３で、ソース画像内の物体の複数の視点の各々の測光を調整して、複数の照明および視野拡張ソース画像を生成する。
ブロック７０４において、第１の特徴抽出器を用いて複数の照明および視野拡張ソース画像の各々から、および第２の特徴抽出器を用いて画像取得装置によって取得された複数の取得画像の各々から特徴を抽出する。
ブロック７０５で、取得された画像の抽出された特徴と照明および視野拡張ソース画像の抽出された特徴との間の領域敵対学習を用いた領域適応を使用して、抽出された特徴を分類する。
ブロック７０６において、取得された画像の抽出された特徴の分類に対応するラベルを含む、取得された画像のそれぞれに対応するラベル付けされたターゲット画像を表示する。
上記は、あらゆる点で実例的かつ例示的であるが、限定的ではないと理解されるべきであり、本明細書に開示される本発明の範囲は、詳細な説明からではなく、むしろ特許法によって許容される完全な範囲に従って解釈されるような特許請求の範囲から決定されるべきである。本明細書に示され、説明された実施形態は、本発明の原理を例示するに過ぎず、当業者は、本発明の範囲および精神から逸脱することなく、様々な修正を実施することができることを理解されたい。当業者は、本発明の範囲および精神から逸脱することなく、様々な他の特徴の組み合わせを実施することができる。このように、本発明の態様を、特許法によって要求される詳細および特殊性を用いて説明したが、特許証によって保護されることが請求され、望まれるものは、添付の特許請求の範囲に記載されている。

Claims (20)

  1. 車両監視のためのシステムであって、
    車両のターゲット画像を取得するカメラ（６００）と、
    前記カメラと通信する物体認識システム（５００）であって、ソース画像に描かれた車両の複数の視点を生成するための合成器モジュール（５１０）と、前記ターゲット画像に表された視点にかかわらず、前記ターゲット画像の車両を分類するために、前記車両の視点と前記ターゲット画像との間の領域適応を実行するための領域適応モジュール（５２０）とを実行するためのプロセッサを含み、
    前記ターゲット画像の各々を前記ターゲット画像の車両に対応するラベルと共に表示するための、物体認識システムと通信するディスプレイ（６２０）とを含む、システム。
  2. 前記ラベルは、前記車両の各々の種類およびモデルを含む、請求項１に記載のシステム。
  3. 前記ソース画像を収集するためのネットワークをさらに含む、請求項１に記載のシステム。
  4. 前記ネットワークは、インターネットである、請求項３に記載のシステム。
  5. 前記合成器モジュールは、
    それぞれが異なる視点を有する複数の拡張ソース画像を生成するための視点合成器と、
    対応する複数の照明条件を反映するために、前記拡張ソース画像のそれぞれのための複数の照明および視野拡張ソース画像を生成するための測光調整器とをさらに含む、請求項１に記載のシステム。
  6. 前記異なる視点は、前記車両の視野の仰角を含む、請求項５に記載のシステム。
  7. 前記照明条件は、昼光および夜間照明からなる群から選択される、請求項５に記載のシステム。
  8. 前記領域適応モジュールが領域敵対ニューラルネットワークを含む、請求項１に記載のシステム。
  9. 前記領域敵対ニューラルネットワークは、
    ソース特徴を抽出するための前記照明および視野拡張ソース画像に対応する第１の畳込みニューラルネットワークと、
    ターゲット特徴を抽出するためのターゲット画像に対応する第２の畳み込みニューラルネットワークと、
    前記抽出されたソース特徴を分類し、ソース領域識別を分類するための前記第１の畳み込みニューラルネットワークに対応する第１の分類器と、
    ターゲット領域識別を分類するための前記抽出されたターゲット特徴を分類するための前記第２の畳み込みニューラルネットワークに対応する第２の分類器とを含む、請求項８に記載のシステム。
  10. 前記第１の畳み込みニューラルネットワークおよび前記第２の畳み込みニューラルネットワークは特徴パラメータを共有し、
    前記第１の分類器および前記第２の分類器は分類パラメータを共有する、請求項９に記載のシステム。
  11. 車両監視のための方法であって、
    カメラで車両のターゲット画像（１０ａ）を取得し、
    前記カメラと通信する物体認識システムを用いて、前記ターゲット画像内の車両（５００）を決定し、決定は、
    合成器モジュールを用いて、ソース画像に描かれた車両の複数の視点（５１０）を生成することと、
    前記ターゲット画像に表された視点にかかわらず、前記ターゲット画像の車両を分類するために、領域適応モジュールを用いて、前記車両の視点と前記ターゲット画像との間の領域適応（５２０）を実行することとを含み、
    前記ターゲット画像の車両に対応するラベルを有するターゲット画像の各々を、物体認識システムと通信するディスプレイ上に表示する（６２０）、方法。
  12. 前記ラベルは、前記車両の各々の種類およびモデルを含む、請求項１１に記載の方法。
  13. 前記ソース画像を収集するためのネットワークをさらに含む、請求項１１に記載の方法。
  14. 前記ネットワークは、インターネットである、請求項１３に記載の方法。
  15. 前記合成器モジュールは、
    それぞれが異なる視点を有する複数の拡張ソース画像を生成するための視点合成器と、
    対応する複数の照明条件を反映するために、前記拡張ソース画像のそれぞれのための複数の照明および視野拡張ソース画像を生成するための測光調整器とをさらに含む、請求項１１に記載の方法。
  16. 前記異なる視点は、前記車両の視野の仰角を含む、請求項１５に記載の方法。
  17. 前記照明条件は、昼光および夜間照明からなる群から選択される、請求項１５に記載の方法。
  18. 前記領域適応モジュールが領域敵対ニューラルネットワークを含む、請求項１１に記載の方法。
  19. 前記領域敵対ニューラルネットワークは、
    ソース特徴を抽出するための前記照明および視野拡張ソース画像に対応する第１の畳込みニューラルネットワークと、
    ターゲット特徴を抽出するための前記ターゲット画像に対応する第２の畳み込みニューラルネットワークと、
    前記抽出されたソース特徴を分類し、ソース領域識別を分類するための前記第１の畳み込みニューラルネットワークに対応する第１の分類器と、
    ターゲット領域識別を分類するための前記抽出されたターゲット特徴を分類するための前記第２の畳み込みニューラルネットワークに対応する第２の分類器とを含む、請求項１８に記載の方法。
  20. 前記第１の畳み込みニューラルネットワークおよび前記第２の畳み込みニューラルネットワークは特徴パラメータを共有し、
    前記第１の分類器および前記第２の分類器は分類パラメータを共有する、請求項１９に記載の方法。
JP2020208938A 2017-08-31 2020-12-17 車両監視のためのシステムおよび方法 Active JP7241059B2 (ja)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201762553090P 2017-08-31 2017-08-31
US62/553,090 2017-08-31
US201762585758P 2017-11-14 2017-11-14
US62/585,758 2017-11-14
US16/051,924 2018-08-01
US16/051,980 US10497257B2 (en) 2017-08-31 2018-08-01 Parking lot surveillance with viewpoint invariant object recognition by synthesization and domain adaptation
US16/051,980 2018-08-01
US16/051,924 US11055989B2 (en) 2017-08-31 2018-08-01 Viewpoint invariant object recognition by synthesization and domain adaptation

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019571453A Division JP6847277B2 (ja) 2017-08-31 2018-08-09 合成および領域適応による視点不変物体認識

Publications (2)

Publication Number Publication Date
JP2021073545A true JP2021073545A (ja) 2021-05-13
JP7241059B2 JP7241059B2 (ja) 2023-03-16

Family

ID=65435366

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019571453A Active JP6847277B2 (ja) 2017-08-31 2018-08-09 合成および領域適応による視点不変物体認識
JP2020208938A Active JP7241059B2 (ja) 2017-08-31 2020-12-17 車両監視のためのシステムおよび方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019571453A Active JP6847277B2 (ja) 2017-08-31 2018-08-09 合成および領域適応による視点不変物体認識

Country Status (4)

Country Link
US (2) US11055989B2 (ja)
JP (2) JP6847277B2 (ja)
DE (1) DE112018004797T5 (ja)
WO (1) WO2019045982A1 (ja)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10706324B2 (en) * 2017-01-19 2020-07-07 Hrl Laboratories, Llc Multi-view embedding with soft-max based compatibility function for zero-shot learning
US11201798B2 (en) * 2018-05-07 2021-12-14 At&T Intellectual Property I, L.P. Automated virtual network function modification
US10915792B2 (en) * 2018-09-06 2021-02-09 Nec Corporation Domain adaptation for instance detection and segmentation
DE102018215538A1 (de) * 2018-09-12 2020-03-12 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Verfahren und Vorrichtung zur Identifkation eines Gegenstands
US10943352B2 (en) * 2018-12-17 2021-03-09 Palo Alto Research Center Incorporated Object shape regression using wasserstein distance
JP7003953B2 (ja) * 2019-03-14 2022-01-21 オムロン株式会社 学習装置、推定装置、データ生成装置、学習方法、及び学習プログラム
CN109977847B (zh) * 2019-03-22 2021-07-16 北京市商汤科技开发有限公司 图像生成方法及装置、电子设备和存储介质
CN109827547B (zh) * 2019-03-27 2021-05-04 中国人民解放军战略支援部队航天工程大学 一种分布式多传感器空间目标同步关联方法
US11398026B2 (en) * 2019-03-28 2022-07-26 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for synthetic medical image generation
EP3736740A1 (en) 2019-05-06 2020-11-11 Dassault Systèmes Experience learning in virtual world
EP3736741A1 (en) 2019-05-06 2020-11-11 Dassault Systèmes Experience learning in virtual world
US11176699B2 (en) * 2019-05-24 2021-11-16 Tencent America LLC Augmenting reliable training data with CycleGAN for hand pose estimation
CN110197229B (zh) * 2019-05-31 2022-06-07 腾讯医疗健康(深圳)有限公司 图像处理模型的训练方法、装置及存储介质
US11048917B2 (en) * 2019-07-31 2021-06-29 Baidu Usa Llc Method, electronic device, and computer readable medium for image identification
CN110390950B (zh) * 2019-08-17 2021-04-09 浙江树人学院（浙江树人大学） 一种基于生成对抗网络的端到端语音增强方法
KR102095684B1 (ko) * 2019-10-15 2020-03-31 주식회사 루닛 적대적 학습에 기반한 도메인 어댑테이션 방법 및 그 장치
KR20210050684A (ko) * 2019-10-29 2021-05-10 에스케이하이닉스 주식회사 이미지 처리 시스템
KR20210074748A (ko) 2019-12-12 2021-06-22 삼성전자주식회사 도메인 적응에 기반한 네트워크의 트레이닝 방법, 동작 방법 및 동작 장치
CN111144330B (zh) * 2019-12-29 2022-07-08 浪潮(北京)电子信息产业有限公司 一种基于深度学习的车道线检测方法、装置以及设备
CN111314934B (zh) * 2020-02-14 2021-08-10 西北工业大学 一种统一最优判决的网络协同探测方法
US11501115B2 (en) * 2020-02-14 2022-11-15 International Business Machines Corporation Explaining cross domain model predictions
CN111339942B (zh) * 2020-02-26 2022-07-12 山东大学 基于视点调整的图卷积循环网络骨骼动作识别方法及系统
CN111415333B (zh) * 2020-03-05 2023-12-01 北京深睿博联科技有限责任公司 乳腺x射线影像反对称生成分析模型训练方法和装置
US11704804B2 (en) * 2020-04-02 2023-07-18 GE Precision Healthcare LLC Domain adaptation using post-processing model correction
CN111680640B (zh) * 2020-06-11 2022-04-15 合肥工业大学 一种基于领域迁移的车型识别方法及系统
CN111767949B (zh) * 2020-06-28 2024-06-18 华南师范大学 一种基于特征和样本对抗共生的多任务学习方法及其系统
CN111982137B (zh) * 2020-06-30 2022-08-12 阿波罗智能技术(北京)有限公司 生成路线规划模型的方法、装置、设备和存储介质
CN111914712B (zh) * 2020-07-24 2024-02-13 合肥工业大学 一种铁路地面轨道场景目标检测方法及系统
US11272097B2 (en) * 2020-07-30 2022-03-08 Steven Brian Demers Aesthetic learning methods and apparatus for automating image capture device controls
CN114141022B (zh) * 2020-09-03 2023-05-23 丰图科技(深圳)有限公司 应急车道占用行为检测方法、装置、电子设备及存储介质
US11243834B1 (en) 2020-11-16 2022-02-08 International Business Machines Corporation Log parsing template generation
CN112330730B (zh) * 2020-11-27 2024-02-20 北京百度网讯科技有限公司 图像处理方法、装置、设备及存储介质
JP7485226B2 (ja) * 2021-01-12 2024-05-16 日本電気株式会社 訓練装置、分類装置、訓練方法、分類方法、及びプログラム
CN113299073B (zh) * 2021-04-28 2023-05-23 北京百度网讯科技有限公司 识别车辆违章停车的方法、装置、设备和存储介质
JP2022180887A (ja) * 2021-05-25 2022-12-07 株式会社日立製作所 物体認識システム及び物体認識方法
US20230057547A1 (en) * 2021-08-19 2023-02-23 International Business Machines Corporation Anonymizing personally identifiable information in stored data
US20230098319A1 (en) * 2021-09-28 2023-03-30 Darvis Inc. Method and system for tracking objects in area
CN114092742B (zh) * 2021-11-19 2024-02-06 西安交通大学 一种基于多角度的小样本图像分类装置和方法
WO2023095945A1 (ko) * 2021-11-25 2023-06-01 주식회사 테스트웍스 모델 학습을 위한 합성 데이터 생성 장치 및 방법
WO2023100215A1 (en) * 2021-11-30 2023-06-08 Nec Corporation Training apparatus, classification apparatus, training method, and classification method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012242906A (ja) * 2011-05-16 2012-12-10 Toshiba Corp 画像処理システム、装置及び方法
JP2016058079A (ja) * 2014-09-04 2016-04-21 ゼロックス コーポレイションＸｅｒｏｘ Ｃｏｒｐｏｒａｔｉｏｎ クラス事前確率を用いる画像分類のドメイン適応化
JP2016184926A (ja) * 2009-05-29 2016-10-20 富士通テン株式会社 画像処理装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7706603B2 (en) * 2005-04-19 2010-04-27 Siemens Corporation Fast object detection for augmented reality systems
JP4969269B2 (ja) * 2007-02-21 2012-07-04 アルパイン株式会社 画像処理装置
US8498448B2 (en) * 2011-07-15 2013-07-30 International Business Machines Corporation Multi-view object detection using appearance model transfer from similar scenes
JP6040042B2 (ja) * 2013-02-12 2016-12-07 アイキューブド研究所株式会社 画像処理装置、画像処理方法、およびプログラム
US20160140438A1 (en) * 2014-11-13 2016-05-19 Nec Laboratories America, Inc. Hyper-class Augmented and Regularized Deep Learning for Fine-grained Image Classification
US9607245B2 (en) * 2014-12-02 2017-03-28 Xerox Corporation Adapted vocabularies for matching image signatures with fisher vectors
CN107438866B (zh) * 2015-05-13 2020-12-01 谷歌公司 深度立体：学习从现实世界形象预测新视图
CN105069472B (zh) * 2015-08-03 2018-07-27 电子科技大学 一种基于卷积神经网络自适应的车辆检测方法
US10262236B2 (en) * 2017-05-02 2019-04-16 General Electric Company Neural network training image generation system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016184926A (ja) * 2009-05-29 2016-10-20 富士通テン株式会社 画像処理装置
JP2012242906A (ja) * 2011-05-16 2012-12-10 Toshiba Corp 画像処理システム、装置及び方法
JP2016058079A (ja) * 2014-09-04 2016-04-21 ゼロックス コーポレイションＸｅｒｏｘ Ｃｏｒｐｏｒａｔｉｏｎ クラス事前確率を用いる画像分類のドメイン適応化

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ERIC TZENG ET AL.: "Adversarial Discriminative Domain Adaptation", ARXIV [ONLINE], JPN6019013137, 17 February 2017 (2017-02-17), ISSN: 0004877064 *

Also Published As

Publication number Publication date
DE112018004797T5 (de) 2020-06-18
JP2020525920A (ja) 2020-08-27
US20190065853A1 (en) 2019-02-28
US20190066493A1 (en) 2019-02-28
US11055989B2 (en) 2021-07-06
JP7241059B2 (ja) 2023-03-16
WO2019045982A1 (en) 2019-03-07
JP6847277B2 (ja) 2021-03-24
US10497257B2 (en) 2019-12-03

Similar Documents

Publication Publication Date Title
JP6847277B2 (ja) 合成および領域適応による視点不変物体認識
CN110651310B (zh) 估计对象密度和/或流量的深度学习方法及相关方法和软件
US11775818B2 (en) Training system for training a generator neural network
Kondapally et al. Towards a Transitional Weather Scene Recognition Approach for Autonomous Vehicles
JP7281015B2 (ja) 複雑な道路シーンのパラメトリックな上面図表現
US11810311B2 (en) Two-stage depth estimation machine learning algorithm and spherical warping layer for equi-rectangular projection stereo matching
CN113128271A (zh) 脸部图像的伪造检测
US20240119697A1 (en) Neural Semantic Fields for Generalizable Semantic Segmentation of 3D Scenes
EP3663965A1 (en) Method for predicting multiple futures
Zhang et al. Exploring event-driven dynamic context for accident scene segmentation
Tabata et al. Analyzing CARLA’s performance for 2D object detection and monocular depth estimation based on deep learning approaches
Ghahremani et al. Maritime vessel re-identification: novel VR-VCA dataset and a multi-branch architecture MVR-net
US20220138978A1 (en) Two-stage depth estimation machine learning algorithm and spherical warping layer for equi-rectangular projection stereo matching
CN115019218B (zh) 图像处理方法和处理器
Bhuvana et al. Cosmetic suggestion system using convolution neural network
Neelima et al. A computer vision model for vehicle detection in traffic surveillance
Bossu et al. Validation and benchmarking for pedestrian video detection based on a sensors simulation platform
Paik et al. More than just an auxiliary loss: Anti-spoofing Backbone Training via Adversarial Pseudo-depth Generation
Seemanthini et al. Small human group detection and validation using pyramidal histogram of oriented gradients and gray level run length method
Sorkhei Conditional Generative Flow for Street Scene Generation
Nair AUTOMATIC TRAFFIC SIGN DETECTION and NUMBER PLATE RECOGNIZATIONUSING CNN
Dinakaran Robust object detection in the wild via cascaded DCGAN
Xue Generating Automated Vehicle Testing Scenarios Using Generative Adversarial Network
Björklund License Plate Recognition using Convolutional Neural Networks Trained on Synthetic Images.
Ciamarra et al. Leveraging deep scene features for vision tasks: from classification to forecasting

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230306

R150 Certificate of patent or registration of utility model

Ref document number: 7241059

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350