JP2020119553A - ドメイン適応に適用され得るサイクルｇａｎを利用してリアルイメージ上の物体検出に使用される、リアル世界におけるリアルイメージをバーチャル世界におけるバーチャルイメージに変換するランタイム入力変換のための学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置 - Google Patents

ドメイン適応に適用され得るサイクルｇａｎを利用してリアルイメージ上の物体検出に使用される、リアル世界におけるリアルイメージをバーチャル世界におけるバーチャルイメージに変換するランタイム入力変換のための学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置 Download PDF

Info

Publication number
JP2020119553A
JP2020119553A JP2020004253A JP2020004253A JP2020119553A JP 2020119553 A JP2020119553 A JP 2020119553A JP 2020004253 A JP2020004253 A JP 2020004253A JP 2020004253 A JP2020004253 A JP 2020004253A JP 2020119553 A JP2020119553 A JP 2020119553A
Authority
JP
Japan
Prior art keywords
image
learning
virtual
real
converter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020004253A
Other languages
English (en)
Other versions
JP6886201B2 (ja
Inventor
金桂賢
Kye-Hyeon Kim
金鎔重
Yongjoong Kim
金寅洙
Insu Kim
金鶴京
Hak-Kyoung Kim
南雲鉉
Woonhyun Nam
夫碩▲くん▼
Sukhoon Boo
成明哲
Myungchul Sung
呂東勳
Donghun Yeo
柳宇宙
Wooju Ryu
張泰雄
Taewoong Jang
鄭景中
Kyungjoong Jeong
諸泓模
Hongmo Je
趙浩辰
Hojin Cho
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020119553A publication Critical patent/JP2020119553A/ja
Application granted granted Critical
Publication of JP6886201B2 publication Critical patent/JP6886201B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Graphics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】仮想と現実との間の差と注釈費用を減らすことができる、リアルイメージをバーチャルイメージに変換するランタイム入力変換を学習する、学習方法及び学習装置、テスト方法及びテスト装置を提供する。【解決手段】学習方法は、第１変換器（Ｔｒａｎｓｆｏｒｍｅｒ）をもって、第１イメージを第２イメージに変換させ、第１判別器をもって第１＿１結果を生成させ、第２変換器をもって、第２イメージを、リアルイメージと同一または類似する特性を有する第３イメージに変換させる段階と、第２変換器をもって、第４イメージを第５イメージに変換させ、第２判別器をもって第２＿１結果を生成させ、第１変換器をもって、第５イメージを第６イメージに変換させる段階及びロスを算出させる段階と、を含む。【選択図】図３

Description

本発明は、自律走行自動車、仮想走行などに使用される学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置に関し、より詳細には、サイクルＧＡＮを利用してリアル世界におけるリアルイメージをバーチャル世界におけるバーチャルイメージに変換する学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置に関する。
ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ；Ｄｅｅｐ ＣＮＮｓ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮｓは、文字の認識問題を解決するために９０年代にすでに使用されていたが、現在のように広く使われるようになったのは最近の研究結果の賜物である。このようなＣＮＮは、２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）分野で非常に有用なツールとなった。
最近、ＣＮＮは、自律走行自動車の分野で極めて広く使用されている。自律走行自動車分野で使用される場合、ＣＮＮは、自動車に取り付けられたカメラから映像を取得し、車線を探索するなどの役割を遂行する。このために、ＣＮＮは、現実世界におけるトレーニングイメージ及びそれに対応する原本正解を利用してパラメータを学習する。このような伝統的なアプローチ方法の短所は、現実世界におけるトレーニングイメージを取得し、それに対応する原本正解を生成するのにおいて、これはプログラミングされたコンピュータが自動的に処理することができず、人が投入されなければならないため、トレーニング過程においてかなりの費用と時間がかかる。
ＣＮＮをトレーニングする代案として提示されたのが、プログラミングされたコンピュータでシミュレーションされたバーチャル世界におけるバーチャルイメージを利用する方法である。この場合、バーチャルイメージとこれに対応する原本正解とは、プログラミングされたコンピュータを介して取得することができ、伝統的なアプローチ方法に比べてトレーニングの過程で費用と時間が顕著に節減されるようになる。
しかし、この場合の短所は、ＣＮＮがバーチャルイメージを利用してパラメータを学習するものであるところ、バーチャルイメージの特性と若干異なる特性を有するリアル世界に対するリアルイメージ内に含まれる物体検出の作業性に劣り得る問題がある。
本発明は、上述した問題点を解決することを目的とする。
本発明は、サイクルＧＡＮ（Ｃｙｃｌｅ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を通じて学習された変換器を介してリアルイメージをバーチャルイメージに変換することによって、バーチャル世界におけるバーチャルイメージを利用して学習された物体検出器をもって、リアル世界におけるリアルイメージに含まれている物体を検出させる方法を提供することを他の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下の通りである。
本発明の一態様によると、サイクルＧＡＮ（Ｃｙｃｌｅ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を利用してリアル世界における少なくとも一つのリアルイメージ（Ｒｅａｌ Ｉｍａｇｅ）をバーチャル世界における少なくとも一つのバーチャルイメージ（Ｖｉｒｔｕａｌ Ｉｍａｇｅ）に変換する学習方法において、（ａ）前記リアルイメージのうち一つである少なくとも一つの第１イメージを取得すると、学習装置が、（ｉ）第１変換器（Ｔｒａｎｓｆｏｒｍｅｒ）をもって、前記第１イメージを前記バーチャルイメージと同一または類似する少なくとも一つの特性（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を有する少なくとも一つの第２イメージに変換させ、（ｉｉ）（ｉｉ−１）第１判別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）をもって、前記第２イメージが１次バーチャルイメージ（Ｐｒｉｍａｒｙ Ｖｉｒｔｕａｌ Ｉｍａｇｅ）のうち一つであるのか又は２次バーチャルイメージ（Ｓｅｃｏｎｄａｒｙ Ｖｉｒｔｕａｌ Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第１＿１結果を生成させ、前記１次バーチャルイメージは、前記リアルイメージの少なくとも一部から変換されたものでなく前記バーチャルイメージの少なくとも一部であり、前記２次バーチャルイメージは、前記リアルイメージの少なくとも一部から変換されたものである前記バーチャルイメージの少なくとも一部であり、（ｉｉ−２）第２変換器をもって、前記第２イメージを、前記リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第３イメージに変換させる段階；（ｂ）前記バーチャルイメージのうち一つである少なくとも一つの第４イメージを取得すると、前記学習装置が、（ｉ）前記第２変換器をもって、前記第４イメージを、前記リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第５イメージに変換させ、（ｉｉ）（ｉｉ−１）第２判別器をもって、前記第５イメージが１次リアルイメージ（Ｐｒｉｍａｒｙ Ｒｅａｌ Ｉｍａｇｅ）のうち一つであるのか２次リアルイメージ（Ｓｅｃｏｎｄａｒｙ Ｒｅａｌ Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第２＿１結果を生成させ、前記１次リアルイメージは、前記バーチャルイメージの少なくとも一部から変換されたものでなく、前記リアルイメージの少なくとも一部であり、前記２次リアルイメージは、前記バーチャルイメージの少なくとも一部から変換されたものである前記リアルイメージの少なくとも一部であり、（ｉｉ−２）前記第１変換器をもって、前記第５イメージを前記バーチャルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第６イメージに変換させる段階；及び（ｃ）前記学習装置が、前記第１イメージと、前記第２イメージと、前記第３イメージと、前記第４イメージと、前記第５イメージと、前記第６イメージと、前記第１＿１結果と、前記第２＿１結果とのうち少なくとも一部を参照して少なくとも一つのロスを算出することによって、前記第１変換器、前記第２変換器、前記第１判別器、及び前記第２判別器のパラメータのうち少なくとも一部を学習させる段階；を含むことを特徴とする。
一実施例において、前記（ｃ）段階で、

前記少なくとも一つのロスに含まれる変換器ロス（Ｔｒａｎｓｆｏｒｍｅｒ Ｌｏｓｓ）は前記数式によって定義され、Iは前記第１イメージ、G(I)は前記第２イメージ、DG(G(I))は前記第１＿１結果、F(G(I))は前記第３イメージ、Xは前記第４イメージ、F(X)は前記第５イメージ、DF(F(X))は前記第２＿１結果、G(F(X))は前記第６イメージを意味し、γ及びβはそれぞれの|I-F(G(I))|及び|X-G(F(X))|のそれぞれの重み付け値を調整するための定数（ｃｏｎｓｔａｎｔ）であることを特徴とする。
一実施例において、前記（ｃ）段階で、前記学習装置は、（ｉ）それ自体に入力されたイメージに含まれている少なくとも一つの仮想物体を検出する仮想物体検出器により生成された、前記第２イメージ及び前記第６イメージのうち少なくとも一部に対する仮想物体の検出結果、及び（ｉｉ）これに対応する原本正解が取得されると、ロスユニット（Ｌｏｓｓ Ｕｎｉｔ）をもって、前記仮想物体の検出結果をさらに参照して前記少なくとも一つのロスの少なくとも一部を生成させることを特徴とする。
一実施例において、前記（ｃ）段階で、

前記少なくとも一つのロスに含まれる変換器ロス（Ｔｒａｎｓｆｏｒｍｅｒ Ｌｏｓｓ）は前記数式によって定義され、Iは前記第１イメージ、G(I)は前記第２イメージ、DG(G(I))は前記第１＿１結果、F(G(I))は前記第３イメージ、Xは前記第４イメージ、F(X)は前記第５イメージ、DF(F(X))は前記第２＿１結果、G(F(X))は前記第６イメージを意味し、γ及びβはそれぞれの|I-F(G(I))|及び|X-G(F(X))|のそれぞれの重み付け値を調整するための定数であり、argmax(λ1×OD(G(I))+λ2×OD(G(F(X))))は、前記仮想物体の検出結果に対応する前記変換器ロスの部分ロス（Ｐａｒｔｉａｌ Ｌｏｓｓ）を意味し、λ1及びλ2はそれぞれのOD(G(I))及びOD(G(F(X)))のそれぞれの重み付け値を調整するための定数であることを特徴とする。
一実施例において、前記（ｃ）段階で、

前記ロスに含まれる前記第１判別器用ＦＤロスは、前記数式によって定義され、VIは前記バーチャルイメージのうち任意のバーチャルイメージ、DG(VI)は前記任意のバーチャルイメージに対する前記第１判別器の判断内容である第１＿２結果、G(I)は前記第２イメージ、DG(G(I))は前記第１＿１結果を意味することを特徴とする。
一実施例において、前記（ｃ）段階で、

前記ロスに含まれる前記第２判別器用ＳＤロスは、前記数式によって定義され、RIは前記リアルイメージのうち任意のリアルイメージ、DF(RI)は前記任意のリアルイメージに対する前記第２判別器の判断内容である第２＿２結果、F(X)は前記第５イメージ、DF(F(X))は前記第２＿１結果を意味することを特徴とする。
一実施例において、前記第１変換器及び前記第２変換器それぞれは、少なくとも一つのエンコードレイヤ及び少なくとも一つのデコードレイヤのうち少なくとも一部を含むことを特徴とする。
一実施例において、（ｉ）（ｉ−１）前記第１変換器に含まれている第１エンコードレイヤのうち少なくとも一部である少なくとも一つの第１特定エンコードレイヤ、及び（ｉ−２）前記第１変換器に含まれている第１デコードレイヤのうち少なくとも一部である少なくとも一つの第１特定デコードレイヤに含まれている第１パラメータのうち少なくとも一部と、（ｉｉ）（ｉｉ−１）前記第２変換器に含まれている第２エンコードレイヤのうち少なくとも一部である少なくとも一つの第２特定エンコードレイヤ、及び（ｉｉ−２）前記第２変換器に含まれている第２デコードレイヤのうち少なくとも一部である少なくとも一つの第２特定デコードレイヤに含まれている第２パラメータのうち少なくとも一部とは相互に関連して学習されるようにすることによって、前記第１パラメータと前記第２パラメータとの間の関連度が閾値を超過するようにすることを特徴とする。
一実施例において、前記第１特定エンコードレイヤ及び前記第１特定デコードレイヤは、前記第１エンコードレイヤと前記第１デコードレイヤとの間に位置する第１レイテントスペース（Ｌａｔｅｎｔ Ｓｐａｃｅ）から離れた少なくとも一つの第１距離（Ｄｉｓｔａｎｃｅ）が第１臨界距離未満になるようにそれぞれ前記第１エンコードレイヤ及び前記第１デコードレイヤの中から選択され、前記第２特定エンコードレイヤ及び前記第２特定デコードレイヤは、前記第２エンコードレイヤと前記第２デコードレイヤとの間に位置する第２レイテントスペースから離れた少なくとも一つの第２距離が第２臨界距離未満になるようにそれぞれ前記第１デコードレイヤ及び前記第２デコードレイヤの中から選択されることを特徴とする。
本発明の他の態様によると、サイクルＧＡＮ（Ｃｙｃｌｅ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を利用してリアル世界における少なくとも一つのリアルイメージ（Ｒｅａｌ Ｉｍａｇｅ）をバーチャル世界における少なくとも一つのバーチャルイメージ（Ｖｉｒｔｕａｌ Ｉｍａｇｅ）に変換するテスト方法において、（１）学習装置が、（ｉ）第１変換器（Ｔｒａｎｓｆｏｒｍｅｒ）をもって、学習用リアルイメージのうち一つである、少なくとも一つの学習用第１イメージを少なくとも一つの学習用バーチャルイメージと同一または類似する少なくとも一つの特性（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を有する少なくとも一つの学習用第２イメージに変換させ、（ｉｉ）（ｉｉ−１）第１判別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）をもって、前記学習用第２イメージが１次バーチャルイメージ（Ｐｒｉｍａｒｙ Ｖｉｒｔｕａｌ Ｉｍａｇｅ）のうち一つであるのか又は２次バーチャルイメージ（Ｓｅｃｏｎｄａｒｙ Ｖｉｒｔｕａｌ Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第１＿１結果を生成させ、前記１次バーチャルイメージは、前記学習用リアルイメージの少なくとも一部から変換されたものでなく前記学習用バーチャルイメージの少なくとも一部であり、前記２次バーチャルイメージは、前記学習用リアルイメージの少なくとも一部から変換されたものである前記学習用バーチャルイメージの少なくとも一部であり、（ｉｉ−２）第２変換器をもって、前記学習用第２イメージを、前記学習用リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第３イメージに変換させ、（２）前記学習装置が、（ｉ）前記第２変換器をもって、前記学習用バーチャルイメージのうち一つである少なくとも一つの学習用第４イメージを、前記学習用リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第５イメージに変換させ、（ｉｉ）（ｉｉ−１）第２判別器をもって、前記学習用第５イメージが１次リアルイメージ（Ｐｒｉｍａｒｙ Ｒｅａｌ Ｉｍａｇｅ）のうち一つであるのか２次リアルイメージ（Ｓｅｃｏｎｄａｒｙ Ｒｅａｌ Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第２＿１結果を生成させ、前記１次リアルイメージは、前記学習用バーチャルイメージの少なくとも一部から変換されたものでなく前記学習用リアルイメージの少なくとも一部であり、前記２次リアルイメージは、前記学習用バーチャルイメージの少なくとも一部から変換されたものである前記学習用リアルイメージの少なくとも一部であり、（ｉｉ−２）前記第１変換器をもって、前記学習用第５イメージを前記学習用バーチャルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第６イメージに変換させ、（３）前記学習装置が、前記学習用第１イメージと、前記学習用第２イメージと、前記学習用第３イメージと、前記学習用第４イメージと、前記学習用第５イメージと、前記学習用第６イメージと、前記第１＿１結果と、前記第２＿１結果とのうち少なくとも一部を参照して少なくとも一つのロスを算出することによって、前記第１変換器、前記第２変換器、前記第１判別器、及び前記第２判別器のパラメータのうち少なくとも一部を学習させた状態で、テスト装置が前記第１変換器をもって、前記テスト用リアルイメージのうち１つである少なくとも１つのテストイメージを取得させ、前記テストイメージを前記テスト用バーチャルイメージと同一または類似する少なくとも１つの特性を有する少なくとも１つの変換されたテストイメージに変換させることを特徴とする。
一実施例において、前記変換されたテストイメージは、前記仮想物体検出器に含まれているパラメータを微調整（Ｆｉｎｅ−Ｔｕｎｉｎｇ）するために使用されることを特徴とする。
一実施例において、前記テストイメージは、自律走行車両に含まれているカメラにより取得された前記テスト用リアルイメージのうち１つであり、前記自律走行自動車に含まれている仮想物体検出器（Ｖｉｒｔｕａｌ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｏｒ）が、前記変換されたテストイメージに含まれている少なくとも１つの物体を検出することによって前記リアル世界における前記自律走行車両の走行を支援することを特徴とする。
本発明のまた他の態様によると、サイクルＧＡＮ（Ｃｙｃｌｅ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を利用してリアル世界における少なくとも一つのリアルイメージ（Ｒｅａｌ Ｉｍａｇｅ）をバーチャル世界における少なくとも一つのバーチャルイメージ（Ｖｉｒｔｕａｌ Ｉｍａｇｅ）に変換する学習装置において、インストラクションを格納する少なくとも一つのメモリと、（Ｉ）前記リアルイメージのうち一つである少なくとも一つの第１イメージを取得すると、（ｉ）第１変換器（Ｔｒａｎｓｆｏｒｍｅｒ）をもって、前記第１イメージを前記バーチャルイメージと同一または類似する少なくとも一つの特性（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を有する少なくとも一つの第２イメージに変換させ、（ｉｉ）（ｉｉ−１）第１判別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）をもって、前記第２イメージが１次バーチャルイメージ（Ｐｒｉｍａｒｙ Ｖｉｒｔｕａｌ Ｉｍａｇｅ）のうち一つであるのか又は２次バーチャルイメージ（Ｓｅｃｏｎｄａｒｙ Ｖｉｒｔｕａｌ Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第１＿１結果を生成させ、前記１次バーチャルイメージは、前記リアルイメージの少なくとも一部から変換されたものでなく前記バーチャルイメージの少なくとも一部であり、前記２次バーチャルイメージは、前記リアルイメージの少なくとも一部から変換されたものである前記バーチャルイメージの少なくとも一部であり、（ｉｉ−２）第２変換器をもって、前記第２イメージを、前記リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第３イメージに変換するプロセス、（ＩＩ）前記バーチャルイメージのうち一つである少なくとも一つの第４イメージを取得すると、（ｉ）前記第２変換器をもって、前記第４イメージを、前記リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第５イメージに変換させ、（ｉｉ）（ｉｉ−１）第２判別器をもって、前記第５イメージが１次リアルイメージ（Ｐｒｉｍａｒｙ Ｒｅａｌ Ｉｍａｇｅ）のうち一つであるのか２次リアルイメージ（Ｓｅｃｏｎｄａｒｙ Ｒｅａｌ Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第２＿１結果を生成させ、前記１次リアルイメージは、前記バーチャルイメージの少なくとも一部から変換されたものでなく、前記リアルイメージの少なくとも一部であり、前記２次リアルイメージは、前記バーチャルイメージの少なくとも一部から変換されたものである前記リアルイメージの少なくとも一部であり、（ｉｉ−２）前記第１変換器をもって、前記第５イメージを前記バーチャルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第６イメージに変換させるプロセス、及び（ＩＩＩ）前記第１イメージと、前記第２イメージと、前記第３イメージと、前記第４イメージと、前記第５イメージと、前記第６イメージと、前記第１＿１結果と、前記第２＿１結果とのうち少なくとも一部を参照して少なくとも一つのロスを算出することによって、前記第１変換器、前記第２変換器、前記第１判別器、及び前記第２判別器のパラメータのうち少なくとも一部を学習させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
一実施例において、前記（ＩＩＩ）プロセスで、

前記少なくとも一つのロスに含まれる変換器ロス（Ｔｒａｎｓｆｏｒｍｅｒ Ｌｏｓｓ）は前記数式によって定義され、Iは前記第１イメージ、G(I)は前記第２イメージ、DG(G(I))は前記第１＿１結果、F(G(I))は前記第３イメージ、Xは前記第４イメージ、F(X)は前記第５イメージ、DF(F(X))は前記第２＿１結果、G(F(X))は前記第６イメージを意味し、γ及びβはそれぞれの|I-F(G(I))|及び|X-G(F(X))|のそれぞれの重み付け値を調整するための定数であることを特徴とする。
一実施例において、前記（ＩＩＩ）プロセスで、前記プロセッサは、（ｉ）それ自体に入力されたイメージに含まれている少なくとも一つの仮想物体を検出する仮想物体検出器により生成された、前記第２イメージ及び前記第６イメージのうち少なくとも一部に対する仮想物体の検出結果、及び（ｉｉ）これに対応する原本正解が取得されると、ロスユニット（Ｌｏｓｓ Ｕｎｉｔ）をもって、前記仮想物体の検出結果をさらに参照して前記少なくとも一つのロスの少なくとも一部を生成させることを特徴とする。
一実施例において、前記（ＩＩＩ）プロセスで、

前記少なくとも一つのロスに含まれる変換器ロス（Ｔｒａｎｓｆｏｒｍｅｒ Ｌｏｓｓ）は前記数式によって定義され、Iは前記第１イメージ、G(I)は前記第２イメージ、DG(G(I))は前記第１＿１結果、F(G(I))は前記第３イメージ、Xは前記第４イメージ、F(X)は前記第５イメージ、DF(F(X))は前記第２＿１結果、G(F(X))は前記第６イメージを意味し、γ及びβはそれぞれの|I-F(G(I))|及び|X-G(F(X))|のそれぞれの重み付け値を調整するための定数であり、argmax(λ1×OD(G(I))+λ2×OD(G(F(X))))は、前記仮想物体の検出結果に対応する前記変換器ロスの部分ロス（Ｐａｒｔｉａｌ Ｌｏｓｓ）を意味し、λ1及びλ2はそれぞれのOD(G(I))及びOD(G(F(X)))のそれぞれの重み付け値を調整するための定数であることを特徴とする。
一実施例において、前記（ＩＩＩ）プロセスで、

前記ロスに含まれる前記第１判別器用ＦＤロスは、前記数式によって定義され、VIは前記バーチャルイメージのうち任意のバーチャルイメージ、DG(VI)は前記任意のバーチャルイメージに対する前記第１判別器の判断内容である第１＿２結果、G(I)は前記第２イメージ、DG(G(I))は前記第１＿１結果を意味することを特徴とする。
一実施例において、前記（ＩＩＩ）プロセスで、

前記ロスに含まれる前記第２判別器用ＳＤロスは、前記数式によって定義され、RIは前記リアルイメージのうち任意のリアルイメージ、DF(RI)は前記任意のリアルイメージに対する前記第２判別器の判断内容である第２＿２結果、F(X)は前記第５イメージ、DF(F(X))は前記第２＿１結果を意味することを特徴とする。
一実施例において、前記第１変換器及び前記第２変換器それぞれは、少なくとも一つのエンコードレイヤ及び少なくとも一つのデコードレイヤのうち少なくとも一部を含むことを特徴とする。
一実施例において、（ｉ）（ｉ−１）前記第１変換器に含まれている第１エンコードレイヤのうち少なくとも一部である少なくとも一つの第１特定エンコードレイヤ、及び（ｉ−２）前記第１変換器に含まれている第１デコードレイヤのうち少なくとも一部である少なくとも一つの第１特定デコードレイヤに含まれている第１パラメータのうち少なくとも一部と、（ｉｉ）（ｉｉ−１）前記第２変換器に含まれている第２エンコードレイヤのうち少なくとも一部である少なくとも一つの第２特定エンコードレイヤ、及び（ｉｉ−２）前記第２変換器に含まれている第２デコードレイヤのうち少なくとも一部である少なくとも一つの第２特定デコードレイヤに含まれている第２パラメータのうち少なくとも一部とは相互に関連して学習されるようにすることによって、前記第１パラメータと前記第２パラメータとの間の関連度が閾値を超過するようにすることを特徴とする。
一実施例において、前記第１特定エンコードレイヤ及び前記第１特定デコードレイヤは、前記第１エンコードレイヤと前記第１デコードレイヤとの間に位置する第１レイテントスペース（Ｌａｔｅｎｔ Ｓｐａｃｅ）から離れた少なくとも一つの第１距離（Ｄｉｓｔａｎｃｅ）が第１臨界距離未満になるようにそれぞれ前記第１エンコードレイヤ及び前記第１デコードレイヤの中から選択され、前記第２特定エンコードレイヤ及び前記第２特定デコードレイヤは、前記第２エンコードレイヤと前記第２デコードレイヤとの間に位置する第２レイテントスペースから離れた少なくとも一つの第２距離が第２臨界距離未満になるようにそれぞれ前記第１デコードレイヤ及び前記第２デコードレイヤの中から選択されることを特徴とする。
本発明のまた他の態様によると、サイクルＧＡＮ（Ｃｙｃｌｅ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を利用してリアル世界における少なくとも一つのリアルイメージ（Ｒｅａｌ Ｉｍａｇｅ）をバーチャル世界における少なくとも一つのバーチャルイメージ（Ｖｉｒｔｕａｌ Ｉｍａｇｅ）に変換するテスト装置において、インストラクションを格納する少なくとも一つのメモリと、（１）学習装置が、（ｉ）第１変換器（Ｔｒａｎｓｆｏｒｍｅｒ）をもって、学習用リアルイメージのうち一つである、少なくとも一つの学習用第１イメージを少なくとも一つの学習用バーチャルイメージと同一または類似する少なくとも一つの特性（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を有する少なくとも一つの学習用第２イメージに変換させ、（ｉｉ）（ｉｉ−１）第１判別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）をもって、前記学習用第２イメージが１次バーチャルイメージ（Ｐｒｉｍａｒｙ Ｖｉｒｔｕａｌ Ｉｍａｇｅ）のうち一つであるのか又は２次バーチャルイメージ（Ｓｅｃｏｎｄａｒｙ Ｖｉｒｔｕａｌ Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第１＿１結果を生成させ、前記１次バーチャルイメージは、前記学習用リアルイメージの少なくとも一部から変換されたものでなく前記学習用バーチャルイメージの少なくとも一部であり、前記２次バーチャルイメージは、前記学習用リアルイメージの少なくとも一部から変換されたものである前記学習用バーチャルイメージの少なくとも一部であり、（ｉｉ−２）第２変換器をもって、前記学習用第２イメージを、前記学習用リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第３イメージに変換させ、（２）前記学習装置が、（ｉ）前記第２変換器をもって、前記学習用バーチャルイメージのうち一つである少なくとも一つの学習用第４イメージを、前記学習用リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第５イメージに変換させ、（ｉｉ）（ｉｉ−１）第２判別器をもって、前記学習用第５イメージが１次リアルイメージ（Ｐｒｉｍａｒｙ Ｒｅａｌ Ｉｍａｇｅ）のうち一つであるのか２次リアルイメージ（Ｓｅｃｏｎｄａｒｙ Ｒｅａｌ Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第２＿１結果を生成させ、前記１次リアルイメージは、前記学習用バーチャルイメージの少なくとも一部から変換されたものでなく前記学習用リアルイメージの少なくとも一部であり、前記２次リアルイメージは、前記学習用バーチャルイメージの少なくとも一部から変換されたものである前記学習用リアルイメージの少なくとも一部であり、（ｉｉ−２）前記第１変換器をもって、前記学習用第５イメージを前記学習用バーチャルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第６イメージに変換させ、（３）前記学習装置が、前記学習用第１イメージと、前記学習用第２イメージと、前記学習用第３イメージと、前記学習用第４イメージと、前記学習用第５イメージと、前記学習用第６イメージと、前記第１＿１結果と、前記第２＿１結果とのうち少なくとも一部を参照して少なくとも一つのロスを算出することによって、前記第１変換器、前記第２変換器、前記第１判別器、及び前記第２判別器のパラメータのうち少なくとも一部を学習させた状態で、前記第１変換器をもって、前記テスト用リアルイメージのうち１つである少なくとも１つのテストイメージを取得させ、前記テストイメージを前記テスト用バーチャルイメージと同一または類似する少なくとも１つの特性を有する少なくとも１つの変換されたテストイメージに変換させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも１つのプロセッサと、含むことを特徴とする。
一実施例において、前記変換されたテストイメージは、前記仮想物体検出器に含まれているパラメータを微調整（Ｆｉｎｅ−Ｔｕｎｉｎｇ）するために使用されることを特徴とする。
一実施例において、前記テストイメージは、自律走行車両に含まれているカメラにより取得された前記テスト用リアルイメージのうち１つであり、前記自律走行自動車に含まれている仮想物体検出器（Ｖｉｒｔｕａｌ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｏｒ）が、前記変換されたテストイメージに含まれている少なくとも１つの物体を検出することによって前記リアル世界における前記自律走行車両の走行を支援することを特徴とする。
その他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。
本発明は、ドメイン適応に適用され得るサイクルＧＡＮ（Ｃｙｃｌｅ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を通じてＲＧＢ形式のトレーニングイメージセットを非ＲＧＢ形式に変換することによって、非ＲＧＢ形式のトレーニングイメージセットが生じる問題を緩和する効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
本発明の一実施例にしたがって、サイクルＧＡＮ（Ｃｙｃｌｅ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を利用してリアルイメージをバーチャルイメージに変換する学習方法を遂行する学習装置を簡略に示した図面である。 本発明の一実施例にしたがって、サイクルＧＡＮを利用してリアルイメージをバーチャルイメージに変換するための第１変換器及び第２変換器を簡略に示した図面である。 本発明の一実施例にしたがって、サイクルＧＡＮを利用してリアルイメージをバーチャルイメージに変換する学習装置を簡略に示した図面である。 本発明の一実施例にしたがって、サイクルＧＡＮを利用して変換器ロス（Ｔｒａｎｓｆｏｒｍｅｒ Ｌｏｓｓ）に含まれている部分ロス（Ｐａｒｔｉａｌ Ｌｏｓｓ）を算出するプロセスを簡略に示した図面である。
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は、本説明書から、また一部は、本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定することができるであろう。
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について添付された図面を参照して詳細に説明することにする。
図１は、本発明の一実施例にしたがって、サイクルＧＡＮ（Ｃｙｃｌｅ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を利用してリアルイメージをバーチャルイメージに変換する学習方法を遂行する学習装置を簡略に示した図面である。
図１を参照すると、学習装置１００は、追って詳細に説明する構成要素である第１変換器１３０と、第１判別器１４０と、第２変換器１５０と、第２判別器１６０と、仮想物体検出器１７０とを含むことができる。第１変換器１３０、第１判別器１４０、第２変換器１５０、第２判別器１６０、及び仮想物体検出器１７０の入出力及び演算過程は、それぞれ通信部１１０及びプロセッサ１２０により行われ得る。ただし、図１では通信部１１０及びプロセッサ１２０の具体的な連結関係を省略した。この場合、メモリ１１５は、後述する様々なインストラクションを格納した状態であり得、プロセッサ１２０は、メモリ１１５に格納されたインストラクションを遂行するように設定され、プロセッサ１２０は、追って説明するプロセスを遂行することによって本発明のプロセスを遂行することができる。このように学習装置１００が描写されたからといって、学習装置１００が本発明を実施するためのプロセッサ、メモリ、媒体又は他のコンピューティング要素が統合された形態である統合プロセッサ（Ｉｎｔｅｇｒａｔｅｄ Ｐｒｏｃｅｓｓｏｒ）の組み合わせを含む場合を排除するわけではない。
この場合、第１変換器１３０及び第２変換器１５０は、それぞれそれ自体に入力されるイメージの特性を変換することができる。具体的には、第１変換器１３０は、リアル世界におけるリアルイメージのうち一つである少なくとも一つの第１入力イメージをバーチャル世界におけるバーチャルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第１出力イメージ（Ｏｕｔｐｕｔ Ｉｍａｇｅ）に変換することができる。そして、第２変換器１５０は、バーチャルイメージのうち一つである少なくとも一つの第２入力イメージをリアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第２出力イメージに変換することができる。
この場合、バーチャルイメージの少なくとも一つの特性とは、（ｉ）彩度が高く、（ｉｉ）コントラスト（Ｃｏｎｔｒａｓｔ）が高く、（ｉｉｉ）物体の細かいディテールはある程度省略されており、（ｉｖ）光線の相対的に単純かつ非現実的な移動経路を意味し得る。このようなバーチャルイメージの例示を、グランツーリスモ（Ｇｒａｎ Ｔｕｒｉｓｍｏ）シリーズ、フォルツァ（Ｆｏｒｚａ）モータースポーツシリーズ、ＧＴＡシリーズなどのオープンワールドゲーム（Ｏｐｅｎ Ｗｏｒｌｄ Ｇａｍｅ）で確認することができる。しかし、本発明の範囲がこれに限定されるわけではない。
リアルイメージの少なくとも一つの特性とは、これとは反対に、（ｉ）彩度が低く、（ｉｉ）コントラストが少なく、（ｉｉｉ）物体の細かいディテールが十分に反映されており、（ｉｖ）光線の相対的に精巧かつ現実的な移動経路を意味する。しかし、本発明がこれに限定されるわけではない。以下、例示としての第１変換器１３０及び第２変換器１５０の構成を検討するために、図２を参照することにする。
図２は、本発明の一実施例にしたがって、サイクルＧＡＮを利用してリアルイメージをバーチャルイメージに変換するための第１変換器及び第２変換器を簡略に示した図面である。
第１変換器１３０及び第２変換器１５０は、少なくとも一つのエンコードレイヤ及び少なくとも一つのデコードレイヤのうち少なくとも一部を含むことができる。エンコードレイヤは、入力されたイメージに対してコンボリューション演算を少なくとも一回適用することによって少なくとも一つの特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成し、デコードレイヤは前記特徴マップに対してデコンボリューション演算を少なくとも一回適用することによって、変換された特性を有するイメージを生成することができる。このように、それぞれの変換器は、リアルイメージをバーチャルイメージと同一または類似する特性を有するイメージに変換する方向、またはバーチャルイメージをリアルイメージと同一または類似する特性を有するイメージに変換する方向にそれぞれ変換することができる。第１判別器１４０及び第２判別器１６０は、それぞれに入力される入力イメージが変調した特性を有するイメージであるのか変調していない特性を有するイメージであるのかを判断することができる。具体的に、第１判別器１４０は、それ自体に入力された入力イメージが１次バーチャルイメージのうち一つであるのか２次バーチャルイメージのうち一つであるのかを判断することによって、前者の場合１を出力し、後者の場合０を出力することができる。この際、１次バーチャルイメージがリアルイメージの少なくとも一部から変換されたものでなく、バーチャルイメージの少なくとも一部であり、２次バーチャルイメージはリアルイメージの少なくとも一部から変換されたものであるバーチャルイメージの少なくとも一部である。また、第２判別器１６０は、それ自体に入力された入力イメージが１次リアルイメージのうち一つであるのか又は２次リアルイメージのうち一つであるのかを判断することによって、前者の場合１を出力し、後者の場合０を出力することができる。この際、１次リアルイメージは、バーチャルイメージの少なくとも一部から変換されたものでなくリアルイメージの少なくとも一部であり、２次リアルイメージは、バーチャルイメージの少なくとも一部から変換されたものであるリアルイメージの少なくとも一部である。第１判別器１４０及び第２判別器１６０もやはりＣＮＮで構成され得るが、本発明がこれに限定されるわけではない。
また、仮想物体検出器１７０は、少なくとも一つのＣＮＮで構成され得るが、具体的にコンボリューションレイヤ及びＦＣレイヤを含むことができる。コンボリューションレイヤは、それ自体に入力された入力イメージに対してコンボリューション演算を適用することによって特徴マップを生成し、ＦＣレイヤは、特徴マップに対してバウンディングボックスリグレッション（Ｂｏｕｎｄｉｎｇ Ｂｏｘ Ｒｅｇｒｅｓｓｉｏｎ）を適用することによって少なくとも１つの仮想物体を検出することができる。もちろん、仮想物体検出器１７０は、このような構成に限定されないであろう。一実施例において、仮想物体検出器１７０は、バーチャルイメージのうち少なくとも一部であるトレーニングイメージ及びこれに対する原本正解のセットを利用して学習がすでに完了された状態であり得る。
以上、本発明の一実施例にしたがって、サイクルＧＡＮを利用してリアル世界における少なくとも一つのリアルイメージをバーチャル世界における少なくとも一つのバーチャルイメージに変換する学習方法を遂行するための学習装置１００の構成を考察したところ、本発明の学習方法に関して、図３を参照して具体的に検討することにする。
図３は、本発明の一実施例にしたがって、サイクルＧＡＮを利用してリアルイメージをバーチャルイメージに変換する学習装置を簡略に示した図面である。
図３を参照すると、第１変換器１３０と、第１判別器１４０と、第２変換器１５０と、第２判別器１６０と、仮想物体検出器１７０とが作動する概括的な方式を確認することができる。大きく二つのプロセスが存在するが、これを正方向プロセス１０１及び逆方向プロセス１０２と定義することにする。
正方向プロセス１０１において、リアルイメージのうち一つである少なくとも一つの第１イメージは、第１変換器１３０によりバーチャルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第２イメージに変換された後、第２イメージを判断した結果である第１＿１結果が第１判別器１４０により生成され、第２イメージは、第２変換器１５０によりリアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第３イメージに変換される。第１＿１結果を生成するプロセスと第２イメージを第３イメージに変換するプロセスとは並列して遂行されるか、いずれか一つがより先に遂行されても構わない。
逆方向プロセス１０２において、バーチャルイメージのうち一つである少なくとも一つの第４イメージは、第２変換器１５０によりリアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第５イメージに変換された後、第５イメージを判断した結果である第２＿１結果が第２判別器１６０により生成され、第５イメージは、第１変換器１３０によりバーチャルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第６イメージに変換される。第２＿１結果を生成するプロセスと第５イメージを第６イメージに変換するプロセスとは並列して遂行されるか、いずれか一つがより先に遂行されても構わない。それ以外にも、正方向プロセス１０１と逆方向プロセス１０２とのうちいずれかがより先に遂行されても構わず、並列して遂行されてもよい。
このようなプロセスを経ることは、第１変換器１３０と、第１判別器１４０と、第２変換器１５０と、第２判別器１６０とをさらに十分に学習するための少なくとも一つのロスを算出するためである。これを具体的に説明するために、学習装置１００のそれぞれの構成要素を学習するためのロスを算出するプロセスを検討する。
まず、第１変換器１３０及び第２変換器１５０に適用される、少なくとも一つの変換器ロスについて検討すると以下の通りである。

前記少なくとも一つのロスに含まれている変換器ロスは、前記数式によって判断され得るが、Iは第１イメージ、G(I)は第２イメージ、DG(G(I))は第１＿１結果、F(G(I))は第３イメージ、Xは第４イメージ、F(X)は第５イメージ、DF(F(X))は第２＿１結果、G(F(X))は第６イメージを意味し、γ及びβは|I-F(G(I))|及び|X-G(F(X))|の重み付け値をそれぞれ調整するための定数（ｃｏｎｓｔａｎｔ）であり得る。
前記変換のための第１ロスにおいて、ａｒｇｍｉｎの伝達因子（Ａｒｇｕｍｅｎｔ）である項（Ｔｅｒｍ）について検討すると、log(1-DG(G(I)))は、第１変換器１３０が第１判別器１４０を欺く方向に学習させるための項である。すなわち、ａｒｇｍｉｎ関数は結果として生じる最終値が小さくなるように誘導するので、log(1-DG(G(I)))項も小さくさせる。しかし、ｌｏｇ関数は増加関数であるので、ｌｏｇ内の1-DG(G(I))が小さくなるように誘導する。すなわち、DG(G(I))が増加する。第１判別器１４０は、その特性が変換されていないイメージに対して１を出力するので、本項は第１変換器１３０が第１判別器１４０を欺く方向に学習させるためのものである。
二番目の項であるγ|I-F(G(I))|は、変換されたイメージが原本イメージと類似するように、すなわち、第２イメージを第１イメージと類似させることができる。第１変換器１３０が単に第１判別器１４０を欺く方向にのみ学習すると、イメージ内の特徴（Ｆｅａｔｕｒｅ）がそのまま保持されないことがあるので、原本との差を減らすようにする項を置いたのである。すなわち、第１イメージと第３イメージとの間の差であるI-F(G(I))を減らすようにすることが目的である。ここで、差とは、第１イメージ内のそれぞれの値と、これに対応する第３イメージ内のそれぞれの値との間の差を意味し得る。この二番目の項のため、正方向プロセス１０１において第２イメージを第３イメージに変換する部分が存在するのである。
３番目の項と４番目の項とは、それぞれ最初の項と２番目の項の役割とほぼ同じ役割をするが、異なる点は、３番目の項と４番目の項とは第２変換器１５０のための部分であるという点である。第２変換器１５０が十分に学習されなければ、２番目の項により第１変換器１３０が十分に学習され得ない。３番目の項と４番目の項で使用される値は、逆方向プロセス１０２で取得され得る。３番目の項と４番目の項に関するその他の具体的な事項は、最初の項及び２番目の項と大同小異であるので、前記段落に提示された内容を通じて通常の技術者が容易に類推し得るものであるところ、省略することにする。
この場合、数式に含まれているγとβは、前述したようにそれぞれ|I-F(G(I))|及び|X-G(F(X))|の重み付け値を調節するための定数であるが、２番目の項と４番目の項が公式にあまりにも多く反映されると変換後のイメージがぼやけてしまい、公式にあまりにも少なく反映されると、変換後のイメージが原本イメージの内容を反映することができなくなる。したがって、プログラマーがγとβとを調節することで、|I-F(G(I))|及び|X-G(F(X))|の影響力を調節することができる。
変換器ロスは、仮想物体検出器１７０により生成された仮想物体の検出結果に対応する部分ロスをさらに含むことができる。これを数式で表現すると次のとおりである。

仮想物体の検出結果に対応する部分ロスは、argmax(λ1×OD(G(I))+λ2×OD(G(F(X))))項として表現される。ここで、λ1とλ2とは、OD(G(I))及びOD(G(F(X)))の重み付け値をそれぞれ調節する定数である。より詳細な説明は、図４を参照して検討する。
図４は、本発明の一実施例にしたがって、サイクルＧＡＮを利用して変換器ロスに含まれている部分ロスを算出するプロセスを簡略に示した図面である。
図４を参照すると、仮想物体検出器１７０を通じて生成された第２イメージ及び第６イメージに対する仮想物体の検出結果を利用して部分ロスを生成する特定プロセスを検討することができる。説明の便宜のために、まず第２イメージに対応する特定プロセスの第１部分について先に説明することにする。
仮想物体検出器１７０は、第２イメージに含まれている物体を検出し、それぞれの物体に対応するクラスの確率を含むそれぞれのソフトマックススコアを生成するようになる。第２イメージに含まれている特定物体に対応する部分ロスの特定部分は、特定のソフトマックススコアに含まれている少なくとも一つの第１の確率と少なくとも一つの第２の確率とを参照して生成され得る。この際、第１の確率は、物体クラス（例えば、歩行者クラスまたは自動車クラス）に含まれ得る特定の物体の確率を意味し、第２の確率は、背景クラス（例えば、空のクラス）に含まれ得る特定の物体の確率を意味する。一例として、部分ロスの特定部分は、（ｉ）第１の確率のうち最も大きな確率と、（ｉｉ）第２の確率を１から引いた値とを足し合わせた値が大きくなる方向に選択され得る。これを数式で表現すると以下のとおりである。

前記数式で、

は、ｉが特定の物体の個数を表す場合、第１の確率のうち最も大きな確率値を意味する。 そして、

は、０が背景クラスを意味する場合、第２の確率と１との間の差を意味する。上述のような数式によって第２イメージに対応する部分ロスを生成する特定プロセスの第１部分が遂行され得る。第６イメージに対しても、前記第１部分とほぼ同じように第６イメージに対応する部分ロスを生成する特定プロセスの第２部分が遂行され得るはずである。
部分ロスは、変換プロセスの後にもイメージ内の物体のディテールをそのまま保持するために変換器ロスに含まれ得る。上記の公式の２番目と４番目の項及び部分ロスは、相互補完的に作用する。具体的に、２番目の項及び４番目の項は、上述したように変換されたイメージをこれに対応する原本イメージとほぼ同じように作成するが、これはイメージが概括的に類似するようになるだけで、原本イメージに含まれている物体のディテールを選択的、優先的にそのまま保持する役割はすることができない。反対に、部分ロスは、原本イメージに含まれている物体が変換されたイメージにもそのまま保持されるようにするが、原本イメージには存在しない新たな物体を変換されたイメージに生成することができる。しかしながら、原本イメージと変換されたイメージとの間の類似度を保持させる２番目の項及び４番目の項により所望しない新たな物体が生成される副作用を防止することができる。したがって、部分ロスを追加することによって第１変換器１３０が大きく最適化され得る。
以上、変換器ロスについて検討したところ、以下では、それぞれの判別器に適用されるロスを算出するプロセスについて検討することにする。

第１判別器１４０用ロスであるＦＤロスは、前記数式によって定義され得る。この際、VIはバーチャルイメージのうち任意のイメージ、DG(VI)は第１判別器から生成された、前記任意のバーチャルイメージを判断した結果である第１＿２結果、G(I)は第２イメージ、DG(G(I))は第１＿１結果を意味することができる。ａｒｇｍａｘは全体の結果値が大きくなるように誘導するところ、DG(VI)が１と出力され、DG(G(I))が０と出力されるようにする。したがって、第１判別器１４０が入力されたイメージの特性が以前に変換されたのかを正確に判断することができるようになるのである。図４では第２イメージが入力されるプロセスのみが示されているが、第２イメージのような特性が変調したイメージのみが入力されたイメージに限定されるわけではなく、バーチャルイメージのうち一つである任意のイメージも入力することができる。よって、特性が変調したイメージと特性が変調していないイメージとを区分しつつ学習することができるのである。

第２判別器に対するロスであるＳＤロスは、前記数式によって定義され得る。この際、RIはリアルイメージのうち任意のイメージ、DF(RI)は第２判別器から生成された、前記任意のリアルイメージを判断した結果である第２＿２結果、F(X)は前記第５イメージ、DF(F(X))は第２＿１結果を意味することができる。ＦＤロスと同様に、これは第２判別器１６０が入力されたイメージの特性が以前に変調したか否かを正確に判断することを可能にする。また、リアルイメージのうち一つである任意のイメージを入力して学習に使用することができる。
前記変換器ロスと、第１判別器に対するＦＤロスと、第２判別器に対するＳＤロスとを含む少なくとも一つのロスが算出されると、学習装置１００は、第１変換器１３０、第１判別器１４０、第２変換器１５０、第２判別器１６０のパラメータのうち少なくとも一部を学習することができる。
学習過程において、一般的には第１変換器１３０及び第２変換器１５０に含まれているエンコードレイヤ及びデコードレイヤは相互に関係なしに別途に学習され得る。一般的な実施例とは異なり、第１変換器１３０及び第２変換器１５０に含まれているレイヤは、相互に関連して学習することができる。このような学習プロセスは、下記で検討することにする。
具体的に第１パラメータは、（ｉ）第１変換器１３０に含まれている第１エンコードレイヤのうち少なくとも一部である少なくとも一つの第１特定エンコードレイヤ、及び（ｉｉ）第１変換器１３０に含まれている第１デコードレイヤのうち少なくとも一部である少なくとも一つの第１特定デコードレイヤに含まれ得る。また、第２パラメータは、（ｉ）前記第２変換器１５０に含まれている第２エンコードレイヤのうち少なくとも一部である少なくとも一つの第２特定エンコードレイヤ、及び（ｉｉ）第２変換器１５０に含まれている第２デコードレイヤのうち少なくとも一部である少なくとも一つの第２特定デコードレイヤに含まれ得る。
そして、第１パラメータのうち少なくとも一部と第２パラメータのうち少なくとも一部は、これらの間の関連度が所定の閾値以上になるように相互に関連して学習され得る。この際、関連度は、第１パラメータに含まれている各値と、第２パラメータのうちこれらと同じ位置の各値との間の割合を意味する。一実施例においては、第１パラメータのうち少なくとも一部はこれに対応する第２パラメータと同一の状態で学習され得る。
この際、第１特定エンコードレイヤ及び第１特定デコードレイヤは、第１レイテントスペース（Ｌａｔｅｎｔ Ｓｐａｃｅ）から離れた少なくとも一つの第１距離（Ｄｉｓｔａｎｃｅ）が第１臨界距離未満になるようにそれぞれ第１エンコードレイヤ及び第１デコードレイヤのうちから選択され得る。ここで、第１レイテントスペースは、第１エンコードレイヤと第１デコードレイヤとの間に位置する、第１エンコードレイヤによって生成された第１特徴マップが位置する場所である。
第２特定エンコードレイヤ及び第２特定デコードレイヤは、第２レイテントスペースから離れた少なくとも一つの第２距離が第２臨界距離未満になるようにそれぞれ第２エンコードレイヤ及び第２デコードレイヤのうちから選択され得る。
レイテントスペースに近いレイヤ内のパラメータが変換器に入力されたイメージの内容に関する情報を多く含むため、このようなアプローチ法は変換プロセスを最適化することができ、これに伴って、リアルイメージとバーチャルイメージの両方で取得したロバスト情報（Ｒｏｂｕｓｔ Ｉｎｆｏｒｍａｔｉｏｎ）が関連パラメータに反映され得る。
このように学習することによって、第１変換器１３０は、イメージの特性を変換しながらもイメージの内容は原本と同一または類似するように保持することができる。
学習過程は前記のとおりであり、学習が完了した後のテスト過程について検討することにする。
参考までに、以下の説明において、混同を避けるために「学習用」という文言は前述の学習プロセスに関する用語に対して追加され、「テスト用」という文言はテストプロセスに関する用語に対して追加される。
（１）学習装置１００が、リアルイメージのうち一つである少なくとも一つの学習用第１イメージを取得すると、（ｉ）第１変換器１３０をもって、学習用リアルイメージのうち一つである、少なくとも一つの学習用第１イメージを少なくとも一つの学習用バーチャルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第２イメージに変換させ、（ｉｉ）（ｉｉ−１）第１判別器１４０をもって、学習用第２イメージが１次バーチャルイメージのうち一つであるのか又は２次バーチャルイメージのうち一つであるのかを判断させることによって第１＿１結果を生成させ、１次バーチャルイメージは学習用リアルイメージの少なくとも一部から変換されたものでなく学習用バーチャルイメージの少なくとも一部であり、２次バーチャルイメージは、学習用リアルイメージの少なくとも一部から変換されたものである学習用バーチャルイメージの少なくとも一部であり、（ｉｉ−２）第２変換器１５０をもって、学習用第２イメージを、学習用リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第３イメージに変換させ、（２）学習装置１００が、（ｉ）第２変換器１５０をもって、学習用バーチャルイメージのうち一つである少なくとも一つの学習用第４イメージを、学習用リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第５イメージに変換させ、（ｉｉ）（ｉｉ−１）第２判別器１５０をもって、学習用第５イメージが１次リアルイメージ（Ｐｒｉｍａｒｙ Ｒｅａｌ Ｉｍａｇｅ）のうち一つであるのか２次リアルイメージ（Ｓｅｃｏｎｄａｒｙ Ｒｅａｌ Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第２＿１結果を生成させ、１次リアルイメージは、学習用バーチャルイメージの少なくとも一部から変換されたものでなく学習用リアルイメージの少なくとも一部であり、２次リアルイメージは、学習用バーチャルイメージの少なくとも一部から変換されたものである学習用リアルイメージの少なくとも一部であり、（ｉｉ−２）第１変換器をもって、学習用第５イメージを学習用バーチャルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第６イメージに変換させ、（３）学習装置１００が、学習用第１イメージと、学習用第２イメージと、学習用第３イメージと、学習用第４イメージと、学習用第５イメージと、学習用第６イメージと、第１＿１結果と、第２＿１結果とのうち少なくとも一部を参照して少なくとも一つのロスを算出することによって、第１変換器、第２変換器、第１判別器、及び第２判別器のパラメータのうち少なくとも一部を学習させた状態で、テスト装置が第１変換器１３０をもって、テスト用リアルイメージのうち一つである少なくとも一つのテストイメージを取得させることができる。以後、テスト装置は、第１変換器１３０をもって、テストイメージをテスト用バーチャルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの変換されたテストイメージに変換させることができる。
テスト装置は、第２変換器１５０と、第１判別器１４０と、第２判別器１６０とは除いて、図１に示した学習装置１００の構成を含む。
ただし、仮想物体検出器１７０は、第１変換器１３０の学習プロセス及びテストプロセス以前にすでに学習されたものであるが、微調整用イメージ及びこれに対する原本正解をさらに利用して仮想物体検出器１７０に含まれているパラメータを微調整することができる。微調整プロセスは第１変換器１３０の学習プロセスと類似するので、具体的な説明は省略することにする。ただし、これは、本発明を遂行する上で必須ではない。
以後、仮想物体検出器１７０及び第１変換器１３０を含むテスト装置は、自律走行車両の走行を支援するのに使用され得る。具体的に、自律走行車両に含まれているカメラによって、リアルイメージの少なくとも一部であるテストイメージが取得されると、テスト装置１００が第１変換器１３０をもって、テストイメージを変換されたテストイメージに変換させ、仮想物体検出器１７０をもって、バーチャルイメージと同一または類似する特性を有する変換されたテストイメージに含まれている物体を検出させることによって、リアル世界で自律走行車両の走行を支援させることができる。
このようなテスト過程を通じて、バーチャル世界に関する情報を利用して学習された仮想物体検出器１７０をリアル世界の自律走行に使用し得るようになる。
本発明の肯定的な効果は、バーチャル世界におけるバーチャルイメージを使用して学習された物体検出器をもって、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を利用して学習された変換器を通じてリアルイメージをバーチャルイメージに変換することによってリアル世界におけるリアルイメージに含まれる物体を検出させる方法を提供することである。
したがって、本発明による方法は、ランタイム入力変換器を利用して仮想走行の環境で使用され得る。また、この方法は、仮想と現実との間の差と注釈（Ａｎｎｏｔａｔｉｏｎ）費用を減らすことができる。
本発明の技術分野における通常の技術者に理解され得るところとして、上記で説明されたイメージ、例えば、原本イメージ、原本ラベル及び追加ラベルのようなイメージデータの送受信が学習装置及びテスト装置の各通信部により行われ得、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／又はメモリ）によって保有／維持され得、コンボリューション演算、デコンボリューション演算、ロス値演算過程が主に学習装置及びテスト装置のプロセッサによって遂行され得るが、本発明がこれに限定されはしないであろう。
また、以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
本発明は、ドメイン適応に適用され得るサイクルＧＡＮを利用してリアルイメージ上の物体検出に使用される、リアル世界におけるリアルイメージをバーチャル世界におけるバーチャルイメージに変換するランタイム入力変換のための学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置｛ＬＥＡＲＮＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＬＥＡＲＮＩＮＧ ＤＥＶＩＣＥ ＦＯＲ ＲＵＮＴＩＭＥ ＩＮＰＵＴ ＴＲＡＮＳＦＯＲＭＡＴＩＯＮ ＯＦ ＲＥＡＬ ＩＭＡＧＥ ＯＮ ＲＥＡＬ ＷＯＲＬＤ ＩＮＴＯ ＶＩＲＴＵＡＬ ＩＭＡＧＥ ＯＮ ＶＩＲＴＵＡＬ ＷＯＲＬＤ， ＴＯ ＢＥ ＵＳＥＤ ＦＯＲ ＯＢＪＥＣＴ ＤＥＴＥＣＴＩＯＮ ＯＮ ＲＥＡＬ ＩＭＡＧＥＳ， ＢＹ ＵＳＩＮＧ ＣＹＣＬＥ ＧＡＮ ＣＡＰＡＢＬＥ ＯＦ ＢＥＩＮＧ ＡＰＰＬＩＥＤ ＴＯ ＤＯＭＡＩＮ ＡＤＡＰＴＡＴＩＯＮ｝に関する。

Claims (24)

  1. サイクルＧＡＮ（Ｃｙｃｌｅ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を利用してリアル世界における少なくとも一つのリアルイメージ（Ｒｅａｌ Ｉｍａｇｅ）をバーチャル世界における少なくとも一つのバーチャルイメージ（Ｖｉｒｔｕａｌ Ｉｍａｇｅ）に変換する学習方法において、
    （ａ）前記リアルイメージのうち一つである少なくとも一つの第１イメージを取得すると、学習装置が、（ｉ）第１変換器（Ｔｒａｎｓｆｏｒｍｅｒ）をもって、前記第１イメージを前記バーチャルイメージと同一または類似する少なくとも一つの特性（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を有する少なくとも一つの第２イメージに変換させ、（ｉｉ）（ｉｉ−１）第１判別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）をもって、前記第２イメージが１次バーチャルイメージ（Ｐｒｉｍａｒｙ Ｖｉｒｔｕａｌ Ｉｍａｇｅ）のうち一つであるのか又は２次バーチャルイメージ（Ｓｅｃｏｎｄａｒｙ Ｖｉｒｔｕａｌ Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第１＿１結果を生成させ、前記１次バーチャルイメージは、前記リアルイメージの少なくとも一部から変換されたものでなく前記バーチャルイメージの少なくとも一部であり、前記２次バーチャルイメージは、前記リアルイメージの少なくとも一部から変換されたものである前記バーチャルイメージの少なくとも一部であり、（ｉｉ−２）第２変換器をもって、前記第２イメージを、前記リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第３イメージに変換させる段階；
    （ｂ）前記バーチャルイメージのうち一つである少なくとも一つの第４イメージを取得すると、前記学習装置が、（ｉ）前記第２変換器をもって、前記第４イメージを、前記リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第５イメージに変換させ、（ｉｉ）（ｉｉ−１）第２判別器をもって、前記第５イメージが１次リアルイメージ（Ｐｒｉｍａｒｙ Ｒｅａｌ Ｉｍａｇｅ）のうち一つであるのか２次リアルイメージ（Ｓｅｃｏｎｄａｒｙ Ｒｅａｌ Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第２＿１結果を生成させ、前記１次リアルイメージは、前記バーチャルイメージの少なくとも一部から変換されたものでなく、前記リアルイメージの少なくとも一部であり、前記２次リアルイメージは、前記バーチャルイメージの少なくとも一部から変換されたものである前記リアルイメージの少なくとも一部であり、（ｉｉ−２）前記第１変換器をもって、前記第５イメージを前記バーチャルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第６イメージに変換させる段階；及び
    （ｃ）前記学習装置が、前記第１イメージと、前記第２イメージと、前記第３イメージと、前記第４イメージと、前記第５イメージと、前記第６イメージと、前記第１＿１結果と、前記第２＿１結果とのうち少なくとも一部を参照して少なくとも一つのロスを算出することによって、前記第１変換器、前記第２変換器、前記第１判別器、及び前記第２判別器のパラメータのうち少なくとも一部を学習させる段階；
    を含むことを特徴とする学習方法。
  2. 前記（ｃ）段階で、

    前記少なくとも一つのロスに含まれる変換器ロス（Ｔｒａｎｓｆｏｒｍｅｒ Ｌｏｓｓ）は前記数式によって定義され、Iは前記第１イメージ、G(I)は前記第２イメージ、DG(G(I))は前記第１＿１結果、F(G(I))は前記第３イメージ、Xは前記第４イメージ、F(X)は前記第５イメージ、DF(F(X))は前記第２＿１結果、G(F(X))は前記第６イメージを意味し、γ及びβはそれぞれの|I-F(G(I))|及び|X-G(F(X))|のそれぞれの重み付け値を調整するための定数（ｃｏｎｓｔａｎｔ）であることを特徴とする請求項１に記載の方法。
  3. 前記（ｃ）段階で、
    前記学習装置は、（ｉ）それ自体に入力されたイメージに含まれている少なくとも一つの仮想物体を検出する仮想物体検出器により生成された、前記第２イメージ及び前記第６イメージのうち少なくとも一部に対する仮想物体の検出結果、及び（ｉｉ）これに対応する原本正解が取得されると、ロスユニット（Ｌｏｓｓ Ｕｎｉｔ）をもって、前記仮想物体の検出結果をさらに参照して前記少なくとも一つのロスの少なくとも一部を生成させることを特徴とする請求項１に記載の方法。
  4. 前記（ｃ）段階で、

    前記少なくとも一つのロスに含まれる変換器ロス（Ｔｒａｎｓｆｏｒｍｅｒ Ｌｏｓｓ）は前記数式によって定義され、Iは前記第１イメージ、G(I)は前記第２イメージ、DG(G(I))は前記第１＿１結果、F(G(I))は前記第３イメージ、Xは前記第４イメージ、F(X)は前記第５イメージ、DF(F(X))は前記第２＿１結果、G(F(X))は前記第６イメージを意味し、γ及びβはそれぞれの|I-F(G(I))|及び|X-G(F(X))|のそれぞれの重み付け値を調整するための定数であり、
    argmax(λ1×OD(G(I))+λ2×OD(G(F(X))))は、前記仮想物体の検出結果に対応する前記変換器ロスの部分ロス（Ｐａｒｔｉａｌ Ｌｏｓｓ）を意味し、λ1及びλ2は、それぞれのOD(G(I))及びOD(G(F(X)))のそれぞれの重み付け値を調整するための定数であることを特徴とする請求項３に記載の方法。
  5. 前記（ｃ）段階で、

    前記ロスに含まれる前記第１判別器用ＦＤロスは、前記数式によって定義され、VIは前記バーチャルイメージのうち任意のバーチャルイメージ、DG(VI)は前記任意のバーチャルイメージに対する前記第１判別器の判断内容である第１＿２結果、G(I)は前記第２イメージ、DG(G(I))は前記第１＿１結果を意味することを特徴とする請求項１に記載の方法。
  6. 前記（ｃ）段階で、

    前記ロスに含まれる前記第２判別器用ＳＤロスは、前記数式によって定義され、RIは前記リアルイメージのうち任意のリアルイメージ、DF(RI)は前記任意のリアルイメージに対する前記第２判別器の判断内容である第２＿２結果、F(X)は前記第５イメージ、DF(F(X))は前記第２＿１結果を意味することを特徴とする請求項１に記載の方法。
  7. 前記第１変換器及び前記第２変換器それぞれは、少なくとも一つのエンコードレイヤ及び少なくとも一つのデコードレイヤのうち少なくとも一部を含むことを特徴とする請求項１に記載の方法。
  8. （ｉ）（ｉ−１）前記第１変換器に含まれている第１エンコードレイヤのうち少なくとも一部である少なくとも一つの第１特定エンコードレイヤ、及び（ｉ−２）前記第１変換器に含まれている第１デコードレイヤのうち少なくとも一部である少なくとも一つの第１特定デコードレイヤに含まれている第１パラメータのうち少なくとも一部と、（ｉｉ）（ｉｉ−１）前記第２変換器に含まれている第２エンコードレイヤのうち少なくとも一部である少なくとも一つの第２特定エンコードレイヤ、及び（ｉｉ−２）前記第２変換器に含まれている第２デコードレイヤのうち少なくとも一部である少なくとも一つの第２特定デコードレイヤに含まれている第２パラメータのうち少なくとも一部とは相互に関連して学習されるようにすることによって、前記第１パラメータと前記第２パラメータとの間の関連度が閾値を超過するようにすることを特徴とする請求項７に記載の方法。
  9. 前記第１特定エンコードレイヤ及び前記第１特定デコードレイヤは、前記第１エンコードレイヤと前記第１デコードレイヤとの間に位置する第１レイテントスペース（Ｌａｔｅｎｔ Ｓｐａｃｅ）から離れた少なくとも一つの第１距離（Ｄｉｓｔａｎｃｅ）が第１臨界距離未満になるようにそれぞれ前記第１エンコードレイヤ及び前記第１デコードレイヤの中から選択され、前記第２特定エンコードレイヤ及び前記第２特定デコードレイヤは、前記第２エンコードレイヤと前記第２デコードレイヤとの間に位置する第２レイテントスペースから離れた少なくとも一つの第２距離が第２臨界距離未満になるようにそれぞれ前記第１デコードレイヤ及び前記第２デコードレイヤの中から選択されることを特徴とする請求項８に記載の方法。
  10. サイクルＧＡＮ（Ｃｙｃｌｅ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を利用してリアル世界における少なくとも一つのリアルイメージ（Ｒｅａｌ Ｉｍａｇｅ）をバーチャル世界における少なくとも一つのバーチャルイメージ（Ｖｉｒｔｕａｌ Ｉｍａｇｅ）に変換するテスト方法において、
    （１）学習装置が、（ｉ）第１変換器（Ｔｒａｎｓｆｏｒｍｅｒ）をもって、学習用リアルイメージのうち一つである、少なくとも一つの学習用第１イメージを少なくとも一つの学習用バーチャルイメージと同一または類似する少なくとも一つの特性（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を有する少なくとも一つの学習用第２イメージに変換させ、（ｉｉ）（ｉｉ−１）第１判別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）をもって、前記学習用第２イメージが１次バーチャルイメージ（Ｐｒｉｍａｒｙ Ｖｉｒｔｕａｌ Ｉｍａｇｅ）のうち一つであるのか又は２次バーチャルイメージ（Ｓｅｃｏｎｄａｒｙ Ｖｉｒｔｕａｌ Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第１＿１結果を生成させ、前記１次バーチャルイメージは、前記学習用リアルイメージの少なくとも一部から変換されたものでなく前記学習用バーチャルイメージの少なくとも一部であり、前記２次バーチャルイメージは、前記学習用リアルイメージの少なくとも一部から変換されたものである前記学習用バーチャルイメージの少なくとも一部であり、（ｉｉ−２）第２変換器をもって、前記学習用第２イメージを、前記学習用リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第３イメージに変換させ、（２）前記学習装置が、（ｉ）前記第２変換器をもって、前記学習用バーチャルイメージのうち一つである少なくとも一つの学習用第４イメージを、前記学習用リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第５イメージに変換させ、（ｉｉ）（ｉｉ−１）第２判別器をもって、前記学習用第５イメージが１次リアルイメージ（Ｐｒｉｍａｒｙ Ｒｅａｌ Ｉｍａｇｅ）のうち一つであるのか２次リアルイメージ（Ｓｅｃｏｎｄａｒｙ Ｒｅａｌ Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第２＿１結果を生成させ、前記１次リアルイメージは、前記学習用バーチャルイメージの少なくとも一部から変換されたものでなく前記学習用リアルイメージの少なくとも一部であり、前記２次リアルイメージは、前記学習用バーチャルイメージの少なくとも一部から変換されたものである前記学習用リアルイメージの少なくとも一部であり、（ｉｉ−２）前記第１変換器をもって、前記学習用第５イメージを前記学習用バーチャルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第６イメージに変換させ、（３）前記学習装置が、前記学習用第１イメージと、前記学習用第２イメージと、前記学習用第３イメージと、前記学習用第４イメージと、前記学習用第５イメージと、前記学習用第６イメージと、前記第１＿１結果と、前記第２＿１結果とのうち少なくとも一部を参照して少なくとも一つのロスを算出することによって、前記第１変換器、前記第２変換器、前記第１判別器、及び前記第２判別器のパラメータのうち少なくとも一部を学習させた状態で、テスト装置が前記第１変換器をもって、前記テスト用リアルイメージのうち１つである少なくとも１つのテストイメージを取得させ、前記テストイメージを前記テスト用バーチャルイメージと同一または類似する少なくとも１つの特性を有する少なくとも１つの変換されたテストイメージに変換させることを特徴とするテスト方法。
  11. 前記変換されたテストイメージは、前記仮想物体検出器に含まれているパラメータを微調整（Ｆｉｎｅ−Ｔｕｎｉｎｇ）するために使用されることを特徴とする請求項１０に記載のテスト方法。
  12. 前記テストイメージは、自律走行車両に含まれているカメラにより取得された前記テスト用リアルイメージのうち１つであり、前記自律走行自動車に含まれている仮想物体検出器（Ｖｉｒｔｕａｌ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｏｒ）が、前記変換されたテストイメージに含まれている少なくとも１つの物体を検出することによって前記リアル世界における前記自律走行車両の走行を支援することを特徴とする請求項１０に記載の方法。
  13. サイクルＧＡＮ（Ｃｙｃｌｅ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を利用してリアル世界における少なくとも一つのリアルイメージ（Ｒｅａｌ Ｉｍａｇｅ）をバーチャル世界における少なくとも一つのバーチャルイメージ（Ｖｉｒｔｕａｌ Ｉｍａｇｅ）に変換する学習装置において、
    インストラクションを格納する少なくとも一つのメモリと、
    （Ｉ）前記リアルイメージのうち一つである少なくとも一つの第１イメージを取得すると、（ｉ）第１変換器（Ｔｒａｎｓｆｏｒｍｅｒ）をもって、前記第１イメージを前記バーチャルイメージと同一または類似する少なくとも一つの特性（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を有する少なくとも一つの第２イメージに変換させ、（ｉｉ）（ｉｉ−１）第１判別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）をもって、前記第２イメージが１次バーチャルイメージ（Ｐｒｉｍａｒｙ Ｖｉｒｔｕａｌ Ｉｍａｇｅ）のうち一つであるのか又は２次バーチャルイメージ（Ｓｅｃｏｎｄａｒｙ Ｖｉｒｔｕａｌ Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第１＿１結果を生成させ、前記１次バーチャルイメージは、前記リアルイメージの少なくとも一部から変換されたものでなく前記バーチャルイメージの少なくとも一部であり、前記２次バーチャルイメージは、前記リアルイメージの少なくとも一部から変換されたものである前記バーチャルイメージの少なくとも一部であり、（ｉｉ−２）第２変換器をもって、前記第２イメージを、前記リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第３イメージに変換するプロセス、（ＩＩ）前記バーチャルイメージのうち一つである少なくとも一つの第４イメージを取得すると、（ｉ）前記第２変換器をもって、前記第４イメージを、前記リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第５イメージに変換させ、（ｉｉ）（ｉｉ−１）第２判別器をもって、前記第５イメージが１次リアルイメージ（Ｐｒｉｍａｒｙ Ｒｅａｌ Ｉｍａｇｅ）のうち一つであるのか２次リアルイメージ（Ｓｅｃｏｎｄａｒｙ Ｒｅａｌ Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第２＿１結果を生成させ、前記１次リアルイメージは、前記バーチャルイメージの少なくとも一部から変換されたものでなく、前記リアルイメージの少なくとも一部であり、前記２次リアルイメージは、前記バーチャルイメージの少なくとも一部から変換されたものである前記リアルイメージの少なくとも一部であり、（ｉｉ−２）前記第１変換器をもって、前記第５イメージを前記バーチャルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第６イメージに変換させるプロセス、及び（ＩＩＩ）前記第１イメージと、前記第２イメージと、前記第３イメージと、前記第４イメージと、前記第５イメージと、前記第６イメージと、前記第１＿１結果と、前記第２＿１結果とのうち少なくとも一部を参照して少なくとも一つのロスを算出することによって、前記第１変換器、前記第２変換器、前記第１判別器、及び前記第２判別器のパラメータのうち少なくとも一部を学習させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とする学習装置。
  14. 前記（ＩＩＩ）プロセスで、

    前記少なくとも一つのロスに含まれる変換器ロス（Ｔｒａｎｓｆｏｒｍｅｒ Ｌｏｓｓ）は前記数式によって定義され、Iは前記第１イメージ、G(I)は前記第２イメージ、DG(G(I))は前記第１＿１結果、F(G(I))は前記第３イメージ、Xは前記第４イメージ、F(X)は前記第５イメージ、DF(F(X))は前記第２＿１結果、G(F(X))は前記第６イメージを意味し、γ及びβはそれぞれの|I-F(G(I))|及び|X-G(F(X))|のそれぞれの重み付け値を調整するための定数であることを特徴とする請求項１３に記載の装置。
  15. 前記（ＩＩＩ）プロセスで、
    前記プロセッサは、（ｉ）それ自体に入力されたイメージに含まれている少なくとも一つの仮想物体を検出する仮想物体検出器により生成された、前記第２イメージ及び前記第６イメージのうち少なくとも一部に対する仮想物体の検出結果、及び（ｉｉ）これに対応する原本正解が取得されると、ロスユニット（Ｌｏｓｓ Ｕｎｉｔ）をもって、前記仮想物体の検出結果をさらに参照して前記少なくとも一つのロスの少なくとも一部を生成させることを特徴とする請求項１３に記載の装置。
  16. 前記（ＩＩＩ）プロセスで、

    前記少なくとも一つのロスに含まれる変換器ロス（Ｔｒａｎｓｆｏｒｍｅｒ Ｌｏｓｓ）は前記数式によって定義され、Iは前記第１イメージ、G(I)は前記第２イメージ、DG(G(I))は前記第１＿１結果、F(G(I))は前記第３イメージ、Xは前記第４イメージ、F(X)は前記第５イメージ、DF(F(X))は前記第２＿１結果、G(F(X))は前記第６イメージを意味し、γ及びβはそれぞれの|I-F(G(I))|及び|X-G(F(X))|のそれぞれの重み付け値を調整するための定数であり、
    argmax(λ1×OD(G(I))+λ2×OD(G(F(X))))は、前記仮想物体の検出結果に対応する前記変換器ロスの部分ロス（Ｐａｒｔｉａｌ Ｌｏｓｓ）を意味し、λ1及びλ2はそれぞれのOD(G(I))及びOD(G(F(X)))のそれぞれの重み付け値を調整するための定数であることを特徴とする請求項１５に記載の装置。
  17. 前記（ＩＩＩ）プロセスで、

    前記ロスに含まれる前記第１判別器用ＦＤロスは、前記数式によって定義され、VIは前記バーチャルイメージのうち任意のバーチャルイメージ、DG(VI)は前記任意のバーチャルイメージに対する前記第１判別器の判断内容である第１＿２結果、G(I)は前記第２イメージ、DG(G(I))は前記第１＿１結果を意味することを特徴とする請求項１３に記載の装置。
  18. 前記（ＩＩＩ）プロセスで、

    前記ロスに含まれる前記第２判別器用ＳＤロスは、前記数式によって定義され、RIは前記リアルイメージのうち任意のリアルイメージ、DF(RI)は前記任意のリアルイメージに対する前記第２判別器の判断内容である第２＿２結果、F(X)は前記第５イメージ、DF(F(X))は前記第２＿１結果を意味することを特徴とする請求項１３に記載の装置。
  19. 前記第１変換器及び前記第２変換器それぞれは、少なくとも一つのエンコードレイヤ及び少なくとも一つのデコードレイヤのうち少なくとも一部を含むことを特徴とする請求項１３に記載の装置。
  20. （ｉ）（ｉ−１）前記第１変換器に含まれている第１エンコードレイヤのうち少なくとも一部である少なくとも一つの第１特定エンコードレイヤ、及び（ｉ−２）前記第１変換器に含まれている第１デコードレイヤのうち少なくとも一部である少なくとも一つの第１特定デコードレイヤに含まれている第１パラメータのうち少なくとも一部と、（ｉｉ）（ｉｉ−１）前記第２変換器に含まれている第２エンコードレイヤのうち少なくとも一部である少なくとも一つの第２特定エンコードレイヤ、及び（ｉｉ−２）前記第２変換器に含まれている第２デコードレイヤのうち少なくとも一部である少なくとも一つの第２特定デコードレイヤに含まれている第２パラメータのうち少なくとも一部とは相互に関連して学習されるようにすることによって、前記第１パラメータと前記第２パラメータとの間の関連度が閾値を超過するようにすることを特徴とする請求項１９に記載の装置。
  21. 前記第１特定エンコードレイヤ及び前記第１特定デコードレイヤは、前記第１エンコードレイヤと前記第１デコードレイヤとの間に位置する第１レイテントスペース（Ｌａｔｅｎｔ Ｓｐａｃｅ）から離れた少なくとも一つの第１距離（Ｄｉｓｔａｎｃｅ）が第１臨界距離未満になるようにそれぞれ前記第１エンコードレイヤ及び前記第１デコードレイヤの中から選択され、前記第２特定エンコードレイヤ及び前記第２特定デコードレイヤは、前記第２エンコードレイヤと前記第２デコードレイヤとの間に位置する第２レイテントスペースから離れた少なくとも一つの第２距離が第２臨界距離未満になるようにそれぞれ前記第１デコードレイヤ及び前記第２デコードレイヤの中から選択されることを特徴とする請求項２０に記載の装置。
  22. サイクルＧＡＮ（Ｃｙｃｌｅ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を利用してリアル世界における少なくとも一つのリアルイメージ（Ｒｅａｌ Ｉｍａｇｅ）をバーチャル世界における少なくとも一つのバーチャルイメージ（Ｖｉｒｔｕａｌ Ｉｍａｇｅ）に変換するテスト装置において、
    インストラクションを格納する少なくとも一つのメモリと、
    （１）学習装置が、（ｉ）第１変換器（Ｔｒａｎｓｆｏｒｍｅｒ）をもって、学習用リアルイメージのうち一つである、少なくとも一つの学習用第１イメージを少なくとも一つの学習用バーチャルイメージと同一または類似する少なくとも一つの特性（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を有する少なくとも一つの学習用第２イメージに変換させ、（ｉｉ）（ｉｉ−１）第１判別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）をもって、前記学習用第２イメージが１次バーチャルイメージ（Ｐｒｉｍａｒｙ Ｖｉｒｔｕａｌ Ｉｍａｇｅ）のうち一つであるのか又は２次バーチャルイメージ（Ｓｅｃｏｎｄａｒｙ Ｖｉｒｔｕａｌ Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第１＿１結果を生成させ、前記１次バーチャルイメージは、前記学習用リアルイメージの少なくとも一部から変換されたものでなく前記学習用バーチャルイメージの少なくとも一部であり、前記２次バーチャルイメージは、前記学習用リアルイメージの少なくとも一部から変換されたものである前記学習用バーチャルイメージの少なくとも一部であり、（ｉｉ−２）第２変換器をもって、前記学習用第２イメージを、前記学習用リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第３イメージに変換させ、（２）前記学習装置が、（ｉ）前記第２変換器をもって、前記学習用バーチャルイメージのうち一つである少なくとも一つの学習用第４イメージを、前記学習用リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第５イメージに変換させ、（ｉｉ）（ｉｉ−１）第２判別器をもって、前記学習用第５イメージが１次リアルイメージ（Ｐｒｉｍａｒｙ Ｒｅａｌ Ｉｍａｇｅ）のうち一つであるのか２次リアルイメージ（Ｓｅｃｏｎｄａｒｙ Ｒｅａｌ Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第２＿１結果を生成させ、前記１次リアルイメージは、前記学習用バーチャルイメージの少なくとも一部から変換されたものでなく前記学習用リアルイメージの少なくとも一部であり、前記２次リアルイメージは、前記学習用バーチャルイメージの少なくとも一部から変換されたものである前記学習用リアルイメージの少なくとも一部であり、（ｉｉ−２）前記第１変換器をもって、前記学習用第５イメージを前記学習用バーチャルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第６イメージに変換させ、（３）前記学習装置が、前記学習用第１イメージと、前記学習用第２イメージと、前記学習用第３イメージと、前記学習用第４イメージと、前記学習用第５イメージと、前記学習用第６イメージと、前記第１＿１結果と、前記第２＿１結果とのうち少なくとも一部を参照して少なくとも一つのロスを算出することによって、前記第１変換器、前記第２変換器、前記第１判別器、及び前記第２判別器のパラメータのうち少なくとも一部を学習させた状態で、前記第１変換器をもって、前記テスト用リアルイメージのうち１つである少なくとも１つのテストイメージを取得させ、前記テストイメージを前記テスト用バーチャルイメージと同一または類似する少なくとも１つの特性を有する少なくとも１つの変換されたテストイメージに変換させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも１つのプロセッサと、
    を含むことを特徴とするテスト装置。
  23. 前記変換されたテストイメージは、前記仮想物体検出器に含まれているパラメータを微調整（Ｆｉｎｅ−Ｔｕｎｉｎｇ）するために使用されることを特徴とする請求項２２に記載のテスト装置。
  24. 前記テストイメージは、自律走行車両に含まれているカメラにより取得された前記テスト用リアルイメージのうち１つであり、前記自律走行自動車に含まれている仮想物体検出器（Ｖｉｒｔｕａｌ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｏｒ）が、前記変換されたテストイメージに含まれている少なくとも１つの物体を検出することによって前記リアル世界における前記自律走行車両の走行を支援することを特徴とする請求項２２に記載の装置。
JP2020004253A 2019-01-28 2020-01-15 ドメイン適応に適用され得るサイクルｇａｎを利用してリアルイメージ上の物体検出に使用される、リアル世界におけるリアルイメージをバーチャル世界におけるバーチャルイメージに変換するランタイム入力変換のための学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置 Active JP6886201B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/258,877 US10373023B1 (en) 2019-01-28 2019-01-28 Learning method and learning device for runtime input transformation of real image on real world into virtual image on virtual world, to be used for object detection on real images, by using cycle GAN capable of being applied to domain adaptation
US16/258877 2019-01-28

Publications (2)

Publication Number Publication Date
JP2020119553A true JP2020119553A (ja) 2020-08-06
JP6886201B2 JP6886201B2 (ja) 2021-06-16

Family

ID=67477545

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020004253A Active JP6886201B2 (ja) 2019-01-28 2020-01-15 ドメイン適応に適用され得るサイクルｇａｎを利用してリアルイメージ上の物体検出に使用される、リアル世界におけるリアルイメージをバーチャル世界におけるバーチャルイメージに変換するランタイム入力変換のための学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置

Country Status (5)

Country Link
US (1) US10373023B1 (ja)
EP (1) EP3686849B1 (ja)
JP (1) JP6886201B2 (ja)
KR (1) KR102372702B1 (ja)
CN (1) CN111489285B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022504704A (ja) * 2019-03-21 2022-01-13 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 ターゲット検出方法、モデル訓練方法、装置、機器及びコンピュータプログラム
US11977976B2 (en) 2019-05-06 2024-05-07 Dassault Systemes Experience learning in virtual world

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10916046B2 (en) * 2019-02-28 2021-02-09 Disney Enterprises, Inc. Joint estimation from images
US20200364585A1 (en) * 2019-05-17 2020-11-19 Oracle International Corporation Modular feature extraction from parsed log data
US10733325B1 (en) 2019-11-15 2020-08-04 Capital One Services, Llc Securing user-entered text in-transit
KR20220008035A (ko) 2020-07-13 2022-01-20 삼성전자주식회사 위조 지문 검출 방법 및 장치
CN112669242A (zh) * 2021-03-16 2021-04-16 四川大学 基于改进图像增强算法与生成对抗网络的夜景复原方法
KR102616961B1 (ko) * 2021-08-31 2023-12-27 동국대학교 산학협력단 이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공 방법
CN114219701A (zh) * 2021-11-10 2022-03-22 华南理工大学 敦煌壁画艺术风格转换方法、系统、计算机设备及存储介质
KR102580658B1 (ko) * 2022-06-28 2023-09-21 국민대학교산학협력단 스케치 이미지 객체 탐지를 위한 이미지 변환 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180239951A1 (en) * 2014-06-16 2018-08-23 Siemens Healthcare Diagnostics Inc. Virtual staining of cells in digital holographic microscopy images using general adversarial networks

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6708213B2 (ja) * 2015-08-12 2020-06-10 ソニー株式会社 画像処理装置と画像処理方法とプログラムおよび画像処理システム
US10762653B2 (en) * 2016-12-27 2020-09-01 Canon Kabushiki Kaisha Generation apparatus of virtual viewpoint image, generation method, and storage medium
CN107273936B (zh) * 2017-07-07 2020-09-11 广东工业大学 一种gan图像处理方法及系统
WO2019019199A1 (en) * 2017-07-28 2019-01-31 Shenzhen United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR IMAGE CONVERSION
US10726304B2 (en) * 2017-09-08 2020-07-28 Ford Global Technologies, Llc Refining synthetic data with a generative adversarial network using auxiliary inputs
CN108495110B (zh) * 2018-01-19 2020-03-17 天津大学 一种基于生成式对抗网络的虚拟视点图像生成方法
US11501438B2 (en) 2018-04-26 2022-11-15 Elekta, Inc. Cone-beam CT image enhancement using generative adversarial networks
WO2020028382A1 (en) 2018-07-30 2020-02-06 Memorial Sloan Kettering Cancer Center Multi-modal, multi-resolution deep learning neural networks for segmentation, outcomes prediction and longitudinal response monitoring to immunotherapy and radiotherapy

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180239951A1 (en) * 2014-06-16 2018-08-23 Siemens Healthcare Diagnostics Inc. Virtual staining of cells in digital holographic microscopy images using general adversarial networks

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIYAN LIU ET AL.: "Semantic Image Synthesis via Conditional Cycle-Generative Adversarial Networks", 2018 24TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR), JPN6020050869, 20 August 2018 (2018-08-20), pages 988 - 993, XP033454112, ISSN: 0004419955, DOI: 10.1109/ICPR.2018.8545383 *
大竹 義人 ET AL.: "シリーズ新潮流−Ｔｈｅ Ｎｅｘｔ Ｓｔｅｐ ｏｆ Ｉｍａｇｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ〈Ｖｏｌ．９〉", ＩＮＮＥＲＶＩＳＩＯＮ, vol. 第33巻／第7号, JPN6020050871, JP, pages 36 - 39, ISSN: 0004419956 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022504704A (ja) * 2019-03-21 2022-01-13 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 ターゲット検出方法、モデル訓練方法、装置、機器及びコンピュータプログラム
JP7265003B2 (ja) 2019-03-21 2023-04-25 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 ターゲット検出方法、モデル訓練方法、装置、機器及びコンピュータプログラム
US11977976B2 (en) 2019-05-06 2024-05-07 Dassault Systemes Experience learning in virtual world
JP7553266B2 (ja) 2019-05-06 2024-09-18 ダッソー システムズ 仮想世界での体験学習

Also Published As

Publication number Publication date
KR102372702B1 (ko) 2022-03-10
CN111489285B (zh) 2023-07-04
EP3686849B1 (en) 2024-03-06
CN111489285A (zh) 2020-08-04
EP3686849C0 (en) 2024-03-06
JP6886201B2 (ja) 2021-06-16
EP3686849A1 (en) 2020-07-29
US10373023B1 (en) 2019-08-06
KR20200093424A (ko) 2020-08-05

Similar Documents

Publication Publication Date Title
JP6886202B2 (ja) 仮想走行の環境で使用されるドメイン適応に適用され得るｇａｎを利用して、リアル特徴マップと同一または類似する特性を有するバーチャル特徴マップを生成する学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置
JP2020119553A (ja) ドメイン適応に適用され得るサイクルｇａｎを利用してリアルイメージ上の物体検出に使用される、リアル世界におけるリアルイメージをバーチャル世界におけるバーチャルイメージに変換するランタイム入力変換のための学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置
JP6870868B2 (ja) Ｎｏｎ−ＲＧＢフォーマットを有するイメージの物体に対する物体検出学習に使用され得るように、サイクルＧＡＮを使用してＲＧＢトレーニングイメージセットをＮｏｎ−ＲＧＢトレーニングイメージセットに変換して、コンピューティング負荷及びリサイクルデータを顕著に減少させ得る学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置
EP3686779B1 (en) Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
JP6912835B2 (ja) 自律走行自動車のレベル４を満たすために要求されるｈｄマップアップデートに利用される、少なくとも一つのアダプティブロス重み付け値マップを利用したアテンションドリブン・イメージセグメンテーション学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置
JP2020038667A (ja) 自律走行状況での障害物検出のためのｃｎｎ学習用イメージデータセットの生成方法及び装置、そしてこれを利用したテスト方法及びテスト装置
JP2020123330A (ja) ニューラルネットワーク学習に利用されるオートラベリングされたイメージのうちでラベル検収のためのサンプルイメージを取得する方法、及びそれを利用したサンプルイメージ取得装置
US10325179B1 (en) Learning method and learning device for pooling ROI by using masking parameters to be used for mobile devices or compact networks via hardware optimization, and testing method and testing device using the same
US10872297B2 (en) Learning method and learning device for generating training data from virtual data on virtual world by using generative adversarial network, to thereby reduce annotation cost required in training processes of neural network for autonomous driving, and a testing method and a testing device using the same
US10311336B1 (en) Method and device of neural network operations using a grid generator for converting modes according to classes of areas to satisfy level 4 of autonomous vehicles
US10380724B1 (en) Learning method and learning device for reducing distortion occurred in warped image generated in process of stabilizing jittered image by using GAN to enhance fault tolerance and fluctuation robustness in extreme situations
JP6856957B2 (ja) 写真スタイル変換を使用してランタイム入力の変換によりリアル世界で使用されるバーチャル世界で学習されたｃｎｎを許容するための学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置
JP2020126622A (ja) 非最大値抑制を学習する併合ネットワークを利用した異種センサ融合のための学習方法及び学習装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｈｅｔｅｒｏｇｅｎｅｏｕｓ ｓｅｎｓｏｒ ｆｕｓｉｏｎ ｂｙ ｕｓｉｎｇ ｍｅｒｇｉｎｇ ｎｅｔｗｏｒｋ ｗｈｉｃｈ ｌｅａｒｎｓ ｎｏｎ−ｍａｘｉｍｕｍ ｓｕｐｐｒｅｓｓｉｏｎ｝
JP2020119531A (ja) 自律走行自動車のレベル４を満たすために必要なｈｄマップとのコラボレーションを支援するエンベディングロス及びソフトマックスロスを利用して少なくとも一つの車線を有するイメージをセグメンテーションする学習方法及び学習装置、並びにそれを利用したテスト方法及びテスト装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200115

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200706

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200710

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20201022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210326

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210507

R150 Certificate of patent or registration of utility model

Ref document number: 6886201

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250