JP2020125576A - バイクライダー用安全衣服パターンを生成する方法及び装置{method and device for generating safe clothing patterns for rider of bike} - Google Patents

バイクライダー用安全衣服パターンを生成する方法及び装置{method and device for generating safe clothing patterns for rider of bike} Download PDF

Info

Publication number
JP2020125576A
JP2020125576A JP2020008884A JP2020008884A JP2020125576A JP 2020125576 A JP2020125576 A JP 2020125576A JP 2020008884 A JP2020008884 A JP 2020008884A JP 2020008884 A JP2020008884 A JP 2020008884A JP 2020125576 A JP2020125576 A JP 2020125576A
Authority
JP
Japan
Prior art keywords
image
human
learning
network
clothing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020008884A
Other languages
English (en)
Other versions
JP7071751B2 (ja
Inventor
金桂賢
Kye-Hyeon Kim
金鎔重
Yongjoong Kim
金鶴京
Hak-Kyoung Kim
南雲鉉
Woonhyun Nam
夫碩▲くん▼
Sukhoon Boo
成明哲
Myungchul Sung
申東洙
Dongsoo Shin
呂東勳
Donghun Yeo
柳宇宙
Wooju Ryu
李明春
Myeong-Chun Lee
李炯樹
Hyungsoo Lee
張泰雄
Taewoong Jang
鄭景中
Kyungjoong Jeong
諸泓模
Hongmo Je
趙浩辰
Hojin Cho
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020125576A publication Critical patent/JP2020125576A/ja
Application granted granted Critical
Publication of JP7071751B2 publication Critical patent/JP7071751B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/40Filling a planar surface by adding surface attributes, e.g. colour or texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30124Fabrics; Textile; Paper
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593Recognising seat occupancy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/033Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】人の形体(Human−like Figure)に使用される安全衣服パターンを生成する方法を提供する。【解決手段】安全衣服パターン生成方法は、人の形体のイメージが取得されると、特定の衣服パターンと人の形体のイメージとを衣服合成ネットワークに入力し、人の形体の衣服と特定の衣服パターンとを合成して合成イメージを生成させる段階と、合成イメージをイメージ変換ネットワークに入力して、合成イメージ上の周辺環境を変換して変換イメージを生成し、変換イメージを物体検出器に入力して人の形体に関する検出情報を出力させる段階及び第1ロスレイヤをもって、検出情報と人の形体のイメージに対応する原本正解(Ground Truth)とを参照してロスを算出させ、ロスを利用して初期値をアップデートする段階と、を含む。【選択図】図2

Description

本発明は、バイクライダー用安全衣服パターンを生成する方法及び装置に関し、より詳細には、ディープラーニング(Deep Learning)基盤の物体検出器がバイクライダーを容易に検出し得るようにするライダーのための安全衣服パターンを生成する方法及び装置に関する。
一般的に、道路上で勤務する人々、例えば交通警察官、環境美化員及び軍人などは通常夜間に勤務しているため、このような夜間労働者には車両による交通事故が頻繁に発生する。
これは、夜間労働者が周辺の環境から視覚的に分離して認識されないために発生する。よって、このような交通事故を防止し、夜間労働者を保護するために、視覚的認知度を向上させ得る、光が反射される物質が付着した安全ベストを夜間労働者が着用して、夜間作業を遂行するようにしている。
その他にも、明け方や夜間にジョギングをしたりハイキングを楽しんだりする人々が安全ベストを着用することによって、周辺の危険要素からより安全に運動し得るようにした。すなわち、夜間や明け方に安全ベストを着用することによって着用者の位置や存在を確認することができる。
しかし、このような反射型安全ベストは、カメラを利用したディープラーニング(Deep Learning)基盤の物体検出器やこれを利用する自律走行車両においては十分に検出されない問題点がある。すなわち、実際に反射型安全ベストを着用した物体を含むトレーニングデータを使用して物体検出器を学習しておかなければ物体検出器が反射型安全ベストを検出するのが難しく、反射型安全ベストを着用した物体を含むトレーニングデータを十分に取得することも難しいのが実情である。
したがって、本発明では、ディープラーニング基盤の物体検出器において検出が容易な安全ベストの衣服パターンを生成する方法を提案することにする。
本発明は、上述した問題点を全て解決することをその目的とする。
本発明は、自転車やオートバイなどのようなバイクライダーが物体検出器により容易に検出されるようにする安全ベストを提供することを他の目的とする。
本発明は、バイクライダーが物体検出器により容易に検出されるようにする安全ベストの衣服パターンを生成させることをまた他の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下のとおりである。
本発明の一態様によると、人の形体(Human−like Figure)に使用される少なくとも一つの安全衣服パターンを生成する方法において、(a)前記人の形体の少なくとも一つのイメージが取得されると、安全衣服パターン生成装置が、初期値を有する少なくとも一つの特定の衣服パターンを生成するプロセス、及び前記特定の衣服パターンと前記人の形体の前記イメージとを衣服合成ネットワーク(Clothing Composition Network)に入力するプロセスを遂行することによって、前記衣服合成ネットワークが前記人の形体の前記イメージ上における前記人の形体の衣服と前記特定の衣服パターンとを合成して、前記人の形体の前記イメージに対応する少なくとも一つの合成イメージ(Composite Image)を生成させる段階;(b)前記安全衣服パターン生成装置が、前記合成イメージをイメージ変換ネットワーク(Image Translation Network)に入力して、前記イメージ変換ネットワークをもって、前記合成イメージ上の周辺環境を変換して少なくとも一つの変換イメージ(Translated Image)を生成させるプロセス、及び前記変換イメージを物体検出器(Object Detector)に入力して、前記物体検出器をもって、前記変換イメージ上で検出された前記人の形体を表す前記人の形体に関する検出情報を出力させるプロセスを遂行する段階;及び(c)前記安全衣服パターン生成装置が、第1ロスレイヤをもって、前記人の形体に関する前記検出情報と前記人の形体の前記イメージに対応する少なくとも一つの原本正解(Ground Truth)とを参照して少なくとも一つのロスを算出させるプロセス、及び前記ロスを利用して前記ロスが最小化されるように前記特定の衣服パターンの前記初期値をアップデートするプロセスを遂行する段階;を含むことを特徴とする。
一実施例において、前記(a)段階で、前記安全衣服パターン生成装置は、前記特定の衣服パターンと前記人の形体の前記イメージとを前記衣服合成ネットワークに入力するプロセスを遂行することによって、前記衣服合成ネットワークをもって、(i)セグメンテーションネットワーク(Segmentation Network)を通じて前記人の形体の前記イメージ上における前記衣服をセグメンテーションさせるプロセスと、姿勢推定ネットワーク(Posture Estimation Network)を通じて前記人の形体の前記イメージ上における前記人の形体の少なくとも一つの関節部位を取得させるプロセス、(ii)マスキングレイヤ(Masking Layer)を通じて前記関節部位を参照して、前記特定の衣服パターンで前記衣服をマスキングして生成された少なくとも一つのマスキング済みイメージ(Masked Image)を取得するプロセス、(iii)前記マスキング済みイメージと前記人の形体の前記イメージとをコンカチネート(Concatenating)して少なくとも一つのコンカチネート済みイメージ(Concatenated Image)を生成するプロセス、及び(iv)エンコーダ(Encoder)を通じて前記コンカチネート済みイメージに対してコンボリューション演算を少なくとも一回適用するプロセス、及びデコーダ(Decoder)を通じて前記エンコーダの出力に対してデコンボリューション演算を少なくとも一回適用するプロセスを遂行することによって、前記合成イメージを生成させることを特徴とする。
一実施例において、前記衣服合成ネットワークは、学習装置により前記特定の衣服パターンと前記人の形体の前記イメージとを利用して前記合成イメージを生成するように学習された状態であり、前記学習装置が、(i)前記人の形体の少なくとも一つの取得されたトレーニングイメージを前記セグメンテーションネットワークに入力して、前記セグメンテーションネットワークをもって、前記人の形体の前記トレーニングイメージ上における少なくとも一つの学習用衣服をセグメンテーションさせるプロセスと、前記人の形体の前記トレーニングイメージを前記姿勢推定ネットワークに入力して、前記姿勢推定ネットワークをもって、前記人の形体の前記トレーニングイメージ上における少なくとも一つの学習用人の形体の少なくとも一つの学習用関節部位を取得させるプロセス、(ii)前記学習用関節部位、前記学習用衣服、及び少なくとも一つの取得された学習用衣服パターンを前記マスキングレイヤに入力して、前記マスキングレイヤをもって、前記学習用関節部位を参照して前記学習用衣服パターンで前記学習用衣服をマスキングして少なくとも一つの学習用マスキング済みイメージを生成させるプロセス、(iii)前記学習用マスキング済みイメージと前記人の形体の前記トレーニングイメージとをコンカチネートして、少なくとも一つの学習用コンカチネート済みイメージを生成するプロセス、(iv)前記学習用コンカチネート済みイメージを前記エンコーダに入力して、前記エンコーダをもって、前記学習用コンカチネート済みイメージに対して前記コンボリューション演算を少なくとも一回適用させるプロセス、及び前記エンコーダの前記出力を前記デコーダに入力して、前記デコーダをもって、前記エンコーダの前記出力に対して前記デコンボリューション演算を少なくとも一回適用させて前記学習用合成イメージを生成させるプロセス、及び(v)第2ロスレイヤをもって、(v−1)前記学習用合成イメージと(v−2)少なくとも一つの原本正解イメージ(前記少なくとも一つの原本正解イメージは、前記人の形体の前記トレーニングイメージ及び前記学習用衣服パターンに対応するように生成されたものである)を参照して少なくとも一つの知覚ロス(Perceptual Loss)を算出させるプロセス、及び前記知覚ロスを参照したバックプロパゲーションを通じて前記知覚ロスが最小化されるように前記デコーダ、前記エンコーダ、及び前記マスキングレイヤのうち少なくとも一つのパラメータを調整するプロセスを繰り返して、前記衣服合成ネットワークを学習することを特徴とする。
一実施例において、前記原本正解イメージは、前記人の形体の前記トレーニングイメージ上の前記学習用衣服を前記学習用衣服パターンでマスキングして生成されることを特徴とする。
一実施例において、前記原本正解は、(i)前記人の形体の前記イメージをラベリングして生成された前記人の形体に対応する情報、及び(ii)前記物体検出器または他の物体検出器に入力された前記人の形体の前記イメージから検出された前記人の形体に対応する情報のうち一つであることを特徴とする。
一実施例において、前記(b)段階で、前記安全衣服パターン生成装置は、前記イメージ変換ネットワークをもって、前記人の形体を検出する従来の物体検出器の性能が予め設定された閾値より低くなるように前記合成イメージ上の前記周辺環境を他の周辺環境に変換させるプロセスを遂行することを特徴とする。
一実施例において、前記イメージ変換ネットワークは、相互にペアにならず(Unpaired)相互に異なるドメイン(Domain)にそれぞれ属する原本イメージと変換イメージとに対してイメージ対イメージ変換(Image−To−Image Translation)を行うサイクルGAN(Cycle Generative Adversarial Network)を含むことを特徴とする。
本発明の他の態様によると、人の形体(Human−like Figure)に使用される少なくとも一つの安全衣服パターンを生成する安全衣服パターン生成装置において、インストラクションを格納する少なくとも一つのメモリと、(I)前記人の形体の少なくとも1つのイメージが取得されると、初期値を有する少なくとも1つの特定の衣服パターンを生成するプロセス、及び前記特定の衣服パターンと前記人の形体の前記イメージとを衣服合成ネットワーク(Clothing Composition Network)に入力するプロセスを遂行することによって、前記衣服合成ネットワークが前記人の形体の前記イメージ上における前記人の形体の衣服と前記特定の衣服パターンとを合成して、前記人の形体の前記イメージに対応する少なくとも一つの合成イメージ(Composite Image)を生成させるプロセス、(II)前記合成イメージをイメージ変換ネットワーク(Image Translation Network)に入力して、前記イメージ変換ネットワークをもって、前記合成イメージ上の周辺環境を変換して少なくとも一つの変換イメージ(Translated Image)を生成させるプロセス、及び前記変換イメージを物体検出器(Object Detector)に入力して、前記物体検出器をもって、前記変換イメージ上で検出された前記人の形体を表す前記人の形体に関する検出情報を出力させるプロセス、及び(III)第1ロスレイヤをもって、前記人の形体に関する前記検出情報と前記人の形体の前記イメージに対応する少なくとも一つの原本正解(Ground Truth)とを参照して少なくとも一つのロスを算出させるプロセス、及び前記ロスを利用して前記ロスが最小化されるように前記特定の衣服パターンの前記初期値をアップデートするプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
一実施例において、前記(I)プロセスで、前記プロセッサは、前記特定の衣服パターンと前記人の形体の前記イメージとを前記衣服合成ネットワークに入力するプロセスを遂行することによって、前記衣服合成ネットワークをもって、(i)セグメンテーションネットワーク(Segmentation Network)を通じて前記人の形体の前記イメージ上における前記衣服をセグメンテーションさせるプロセスと、姿勢推定ネットワーク(Posture Estimation Network)を通じて前記人の形体の前記イメージ上における前記人の形体の少なくとも一つの関節部位を取得させるプロセス、(ii)マスキングレイヤ(Masking Layer)を通じて前記関節部位を参照して、前記特定の衣服パターンで前記衣服をマスキングして生成された少なくとも一つのマスキング済みイメージ(Masked Image)を取得するプロセス、(iii)前記マスキング済みイメージと前記人の形体の前記イメージとをコンカチネート(Concatenating)して少なくとも一つのコンカチネート済みイメージ(Concatenated Image)を生成するプロセス、及び(iv)エンコーダ(Encoder)を通じて前記コンカチネート済みイメージに対してコンボリューション演算を少なくとも一回適用するプロセス、及びデコーダ(Decoder)を通じて前記エンコーダの出力に対してデコンボリューション演算を少なくとも一回適用するプロセスを遂行することによって、前記合成イメージを生成させることを特徴とする。
一実施例において、前記衣服合成ネットワークは、学習装置により前記特定の衣服パターンと前記人の形体の前記イメージとを利用して前記合成イメージを生成するように学習された状態であり、前記学習装置が、(i)前記人の形体の少なくとも一つの取得されたトレーニングイメージを前記セグメンテーションネットワークに入力して、前記セグメンテーションネットワークをもって、前記人の形体の前記トレーニングイメージ上における少なくとも一つの学習用衣服をセグメンテーションさせるプロセスと、前記人の形体の前記トレーニングイメージを前記姿勢推定ネットワークに入力して、前記姿勢推定ネットワークをもって、前記人の形体の前記トレーニングイメージ上における少なくとも一つの学習用人の形体の少なくとも一つの学習用関節部位を取得させるプロセス、(ii)前記学習用関節部位、前記学習用衣服、及び少なくとも一つの取得された学習用衣服パターンを前記マスキングレイヤに入力して、前記マスキングレイヤをもって、前記学習用関節部位を参照して前記学習用衣服パターンで前記学習用衣服をマスキングして少なくとも一つの学習用マスキング済みイメージを生成させるプロセス、(iii)前記学習用マスキング済みイメージと前記人の形体の前記トレーニングイメージとをコンカチネートして、少なくとも一つの学習用コンカチネート済みイメージを生成するプロセス、(iv)前記学習用コンカチネート済みイメージを前記エンコーダに入力して、前記エンコーダをもって、前記学習用コンカチネート済みイメージに対して前記コンボリューション演算を少なくとも一回適用させるプロセス、及び前記エンコーダの前記出力を前記デコーダに入力して、前記デコーダをもって、前記エンコーダの前記出力に対して前記デコンボリューション演算を少なくとも一回適用させて前記学習用合成イメージを生成させるプロセス、及び(v)第2ロスレイヤをもって、(v−1)前記学習用合成イメージと(v−2)少なくとも一つの原本正解イメージ(前記少なくとも一つの原本正解イメージは、前記人の形体の前記トレーニングイメージ及び前記学習用衣服パターンに対応するように生成されたものである)を参照して少なくとも一つの知覚ロス(Perceptual Loss)を算出させるプロセス、及び前記知覚ロスを参照したバックプロパゲーションを通じて前記知覚ロスが最小化されるように前記デコーダ、前記エンコーダ、及び前記マスキングレイヤのうち少なくとも一つのパラメータを調整するプロセスを繰り返して、前記衣服合成ネットワークを学習することを特徴とする。
一実施例において、前記原本正解イメージは、前記人の形体の前記トレーニングイメージ上の前記学習用衣服を前記学習用衣服パターンでマスキングして生成されることを特徴とする。
一実施例において、前記原本正解は、(i)前記人の形体の前記イメージをラベリングして生成された前記人の形体に対応する情報、及び(ii)前記物体検出器または他の物体検出器に入力された前記人の形体の前記イメージから検出された前記人の形体に対応する情報のうち一つであることを特徴とする。
一実施例において、前記(II)プロセスで、前記プロセッサは、前記イメージ変換ネットワークをもって、前記人の形体を検出する従来の物体検出器の性能が予め設定された閾値より低くなるように前記合成イメージ上の前記周辺環境を他の周辺環境に変換させるプロセスを遂行することを特徴とする。
一実施例において、前記イメージ変換ネットワークは、相互にペアにならず(Unpaired)相互に異なるドメイン(Domain)にそれぞれ属する原本イメージと変換イメージとに対してイメージ対イメージ変換(Image−To−Image Translation)を行うサイクルGAN(Cycle Generative Adversarial Network)を含むことを特徴とする。
その他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。
本発明は、ライダーが物体検出器により容易に検出されるようにする安全ベストを提供することによって、事故の危険性を減少させる効果がある。
本発明は、ライダーが物体検出器により容易に検出されるようにする安全ベストの衣服パターンを生成することによって、物体検出器が周辺環境にかかわらずライダーを容易に検出するようにさせる効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者(以下「通常の技術者」)にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
図1は、本発明の一実施例によるバイクライダーのための安全衣服パターンを生成する安全衣服パターン生成装置を簡略に示したものである。 図2は、本発明の一実施例によるバイクライダーのための安全衣服パターンを生成する方法を簡略に示したものである。 図3は、本発明の一実施例によるバイクライダーのための安全衣服パターンを生成する方法において、衣服合成ネットワーク(Clothing Composition Network)が特定の衣服パターンをライダーイメージと合成するプロセスとを簡略に示したものである。 図4は、本発明の一実施例によるバイクライダーのための安全衣服パターンを生成する方法において、衣服合成ネットワークを学習するプロセスを簡略に 示したものである。 図5は、本発明の一実施例によるバイクライダーのための安全衣服パターンを生成する方法において、物体検出器が合成イメージ(Composite Image)上のライダーを検出するプロセスを簡略に示したものである。
後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法、及び各長所を明らかにするために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように十分詳細に説明される。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は、本説明書から、また一部は、本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
さらに、本発明は、本明細書に示された実施例のすべての可能な組合せを網羅する。本発明の多様な実施例は相互に異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、類似する機能を指す。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体(例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物)を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ(例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ)でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体(例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物)を想定し得るが、必ずしもこれに限定されるものではない。
ここに提供される本発明の名称や要約は単に便宜のために提供されるものであって、これらの実施例の範囲を限定したり実施例の意味を解釈するものではない。
本明細書及び添付された請求項に使用されているように、単数の形態は、内容と文脈が明らかに異なると指示しない限り、複数の指示対象を含む。
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
図1は、本発明の一実施例によるバイクライダーのための安全衣服パターンを生成する安全衣服パターン生成装置を簡略に示したものである。図1を参照すると、安全衣服パターン生成装置100は、バイクライダーのための安全衣服パターンを生成するインストラクションを格納するメモリ101と、メモリ101に格納されたインストラクションに対応してバイクライダーのための安全衣服パターンを生成するプロセスを遂行するプロセッサ102とを含むことができる。本発明全体にわたって、バイクは一輪自転車、一般の自転車、三輪自転車、二輪車、一輪または三輪オートバイ等を含み得るが、それに限定されるわけではない。
具体的に、安全衣服パターン生成装置100は、典型的に少なくとも一つのコンピューティング装置(例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の各構成要素を含むことができる装置;ルータ、スイッチなどのような電子通信装置;ネットワーク接続ストレージ(NAS)及びストレージ領域ネットワーク(SAN)のような電子情報ストレージシステム)と少なくとも一つのコンピュータソフトウェア(すなわち、コンピューティング装置をもって特定の方式で機能させるインストラクション)との組み合わせを利用して所望のシステム性能を達成するものであり得る。
また、コンピューティング装置のプロセッサは、MPU(Micro Processing Unit)またはCPU(Central Processing Unit)、キャッシュメモリ(Cache Memory)、データバス(Data Bus)などのハードウェア構成を含むことができる。また、コンピューティング装置は、オペレーティングシステム、特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。
しかし、コンピューティング装置が、本発明を実施するためのプロセッサ、メモリ、ミディアム又は他のコンピューティング構成要素の何らかの組み合わせを含む統合プロセッサ(Integrated Processor)を排除するものではない。
このように構成された本発明の一実施例による安全衣服パターン生成装置100を利用してバイクライダーのための安全衣服パターンを生成する方法を、図2を参照して説明すると以下のとおりである。
まず、バイクに搭乗しようとするライダーまたは搭乗した状態のバイクライダーに対応する少なくとも一つのライダーイメージ1(例えば、人の形体イメージ)が入力されると、安全衣服パターン生成装置100は、初期値を有する少なくとも一つの特定の衣服パターン2を生成することができる。ここで、初期値は、初期段階で衣服パターン内のピクセル値を含むが、本発明の範囲がそれに制限されるわけではない。この場合、安全衣服パターン生成装置100は、ランダムサンプリングにより特定の衣服パターン2を生成するか多様な衣服パターンが格納されたデータベースから特定の衣服パターン2を検索することができる。ここで、人の形体イメージというのは、実際の人に対するイメージであり得るが、これに限定されるわけではなく、道路に立っている人の形のマネキンでもあり得る。また、ここでは「ライダーイメージ」として、人がオートバイ等に乗っている場合のイメージを想定して説明するが、これは説明の便宜上このように仮定したに過ぎず、道路上の清掃夫やマネキンのように何かに乗っていなくても人の形体のイメージに該当するのであれば、本発明が適用されるといえる。
次に、安全衣服パターン生成装置100は、ライダーイメージ1と特定の衣服パターン2とを衣服合成ネットワーク110に入力して、衣服合成ネットワーク110をもって、ライダーイメージ1上のライダーの衣服に特定の衣服パターン2を合成して、ライダーイメージ1に対応する少なくとも一つの合成イメージ(Composite Image)3を生成させるプロセスを遂行することができる。この場合、合成イメージ3は、ライダーが特定の衣服パターンを有する衣服を着用したものと見えるように生成されるか、ライダーが衣服上に特定の衣服パターンを有する特定の衣服を追加して着用したものと見えるように生成され得る。
一方、図3を参照して、衣服合成ネットワーク110がライダーイメージ1と特定の衣服パターン2とを合成して合成イメージ3を生成するプロセスをさらに詳細に説明すると以下のとおりである。
衣服合成ネットワーク110が、ライダーイメージ1をセグメンテーションネットワーク(Segmentation Network)111に入力してセグメンテーションネットワーク111をもってライダーイメージ上のライダー衣服をセグメンテーションさせるプロセスと、ライダーイメージ1を姿勢推定ネットワーク(Posture Estimation Network)112に入力して、姿勢推定ネットワーク112をもってライダーイメージ上のライダーの少なくとも一つの関節部位を取得させるプロセスとを遂行することができる。
この際、セグメンテーションネットワーク111は、少なくとも一つのコンボリューションレイヤ(Convolutional Layer)とこれに対応する少なくとも一つのデコンボリューションレイヤとを含むことができ、少なくとも一つのコンボリューションレイヤをもって、ライダーイメージ1に対してコンボリューション演算を少なくとも一回適用させ、少なくとも一つのデコンボリューションレイヤをもって、コンボリューションレイヤの最後の出力に対してデコンボリューション演算をコンボリューション演算と同一の回数で適用させて、ライダーイメージ1をセグメンテーションすることによって、ライダーイメージ1からライダー衣服を抽出することができる。
また、姿勢推定ネットワーク112は、少なくとも一つのコンボリューションレイヤと少なくとも一つのフルコンボリューションレイヤ(Fully Convolutional Layer)とを含むことができ、少なくとも一つのコンボリューションレイヤをもって、ライダーイメージ1に対してコンボリューション演算を少なくとも一回適用させて少なくとも一つの特徴マップを生成させ、少なくとも一つのフルコンボリューションレイヤをもって、コンボリューションレイヤから出力された最後の特徴マップに対して1x1コンボリューション演算を少なくとも一回適用させて、それぞれの関節部位(例えば、ライダーの肩、肘、手首、骨盤など)の少なくとも一つの推定姿勢イメージ(Estimated Posture Image)を生成させることができる。この場合、推定姿勢イメージ上でライダーの関節があるものと推定される位置は1、関節がないものと推定される位置は0として表現され得、推定姿勢イメージのそれぞれのチャンネルをそれぞれの関節部位に対応させることができる。
以後、衣服合成ネットワーク110は、マスキングレイヤ113を通じて関節部位を参照してライダー衣服を特定の衣服パターンでマスキングして少なくとも一つのマスキング済みイメージ(Masked Image)を取得することができる。すなわち、衣服合成ネットワーク110は、セグメンテーションされたライダー衣服イメージ、関節部位が表示された推定姿勢イメージ、及び特定の衣服パターン2をマスキングレイヤ113に入力して、マスキングレイヤ113をもって関節部位を参照して、特定の衣服パターン2でライダー衣服をマスキングさせることができる。この場合、特定の衣服パターン2の形態は関節部位によって変わり得、ライダーの現在の姿勢(Pose)にマッチングする衣服パターンは、関節部位を参照して特定の衣服パターン2でライダー衣服をマスキングして生成され得る。
そして、衣服合成ネットワーク110は、(i)マスキング済みイメージとライダーイメージ1とをコンカチネート(Concatenating)して、少なくとも一つのコンカチネート済みイメージ(Concatenated Image)を生成するプロセス、(ii)少なくとも一つのコンボリューションレイヤを含むエンコーダ114を通じてコンカチネート済みイメージに対してコンボリューション演算を少なくとも一回適用するプロセス、及び(iii)少なくとも一つのデコンボリューションレイヤを含むデコーダ115を通じて前記エンコーダ114の出力に対してデコンボリューション演算を少なくとも一回適用するプロセスを遂行して合成イメージ3を生成させることができる。
この場合、衣服合成ネットワーク110は、学習装置によりライダーイメージと特定の衣服パターンとを利用して合成イメージを生成するように学習された状態であり得る。
一例として、図4を参照すると、学習装置200は、衣服合成ネットワークを学習するのに使用されるトレーニングデータを取得することができる。この際、トレーニングデータは、ライダーに対応する少なくとも一つの学習用ライダーイメージ201と、少なくとも一つの学習用衣服パターン202と、学習用衣服パターン202が合成された衣服を着用しているライダーに対応する少なくとも一つの原本正解(Ground Truth)イメージ205とを含むことができる。そして、原本正解イメージ205は、学習用ライダーイメージ201上の学習用ライダー衣服を学習用衣服パターン202でマスキングして生成され得る。
そして、学習装置200は、学習用ライダーイメージ201をセグメンテーションネットワーク111に入力して、セグメンテーションネットワーク111をもって学習用ライダーイメージ201上の学習用ライダー衣服をセグメンテーションさせるプロセスと、学習用ライダーイメージ201を姿勢推定ネットワーク112に入力して、姿勢推定ネットワーク112をもって学習用ライダーイメージ201上の学習用ライダーの少なくとも一つの学習用関節部位を取得させるプロセスとを遂行することができる。
以後、学習装置200は、学習用関節部位と、学習用ライダー衣服と、学習用衣服パターン202とをマスキングレイヤ113に入力して、マスキングレイヤ113をもって、学習用関節部位を参照して学習用ライダー衣服を学習用衣服パターン202でマスキングさせることができる。
そして、学習装置200は、(i)少なくとも一つの学習用マスキング済みイメージと学習用ライダーイメージ201とをコンカチネートして少なくとも一つの学習用コンカチネート済みイメージを生成するプロセス、(ii)学習用コンカチネート済みイメージをエンコーダ114に入力して、エンコーダ114をもって、学習用コンカチネート済みイメージに対してコンボリューション演算を少なくとも一回適用させるプロセス、及び(iii)エンコーダ114の少なくとも一つの出力をデコーダ115に入力して、デコーダ115をもって、エンコーダ114の出力に対してデコンボリューション演算を少なくとも一回適用させるプロセスを遂行して、学習用合成イメージ204を生成させることができる。
以後、学習装置200は、(i)第2ロスレイヤ116をもって、(i−1)学習用合成イメージと(i−2)原本正解イメージとを参照して少なくとも一つの知覚ロス(Perceptual Loss)を算出するプロセス、及び(ii)知覚ロスを参照したバックプロパゲーションを通じて知覚ロスを最小化するようにデコーダ、エンコーダ、及びマスキングレイヤのうち少なくとも一つのパラメータを調整するプロセスを繰り返して、衣服合成ネットワーク110を学習することができる。第1ロスレイヤ140は、後に説明することにする。
この場合、論文「Perceptual Losses for Real−Time Style Transfer and Super−Resolution」, Computer Vision − ECCV 2016, 14th European Conference, Amsterdam, The Netherlands, October 11−14, 2016, Proceedings, PartIIのpp694−711、及び「Photo−Realistic Single Image Super−Resolution Using a Generative Adversarial network」, CVPR. Vol.2.No.3.2017.などから分かるように、知覚ロスは、ピクセルごとのロス(MSE:Mean Squared Error)の代わりに認知類似度(Perceptual Similarity)を利用したロスであり得る。
次に、再び図2を参照すると、安全衣服パターン生成装置100は、合成イメージ3をイメージ変換ネットワーク120に入力して、イメージ変換ネットワーク120をもって、合成イメージ3上の周辺環境を変換して少なくとも一つの変換イメージ(Translated Image)を生成させることができる。
この際、変換イメージは、合成イメージ3上の周辺環境を夜間、雪、雨などのような他の周辺環境に変換して生成されたイメージであり得、前記他の周辺環境は、物体検出器をもって、特定の衣服パターンを有する衣服を着ていないライダーに比べて特定の衣服パターンを有する衣服を着たライダーをさらに容易に検出させる環境であり得る。すなわち、変換イメージは、合成イメージ3上の周辺環境を他の周辺環境に変換して、従来の物体検出器がライダーイメージ1上の元来のライダーを検出する性能が予め設定された閾値より低くなるように生成されたイメージであり得る。
そして、イメージ変換ネットワーク120は、相互にペアにならず(Unpaired)相互に異なるドメイン(Domain)にそれぞれ属する原本イメージと変換イメージとに対してイメージ対イメージ変換(Image−To−Image Translation)を行うサイクルGAN(Cycle Generative Adversarial Network)を含むことができる。
この場合、サイクルGANは、「Unpaired Image−To−Image Translation using Cycle−Consistent Adversarial Networks」ICCV 2017から分かるように、敵対的ロス(Adversarial Loss)とサイクル保持ロス(Cycle−Consistency Loss)とを利用して、原本イメージをもって、異なるドメインに変換された後、再び原本イメージに復元されるようにすることができる。
一方、本発明では、サイクルGANの敵対的攻撃(Adversarial Attack)を使用して、ロスが増加するようにポジティブグラディエント(Positive Gradient)を合成イメージまでバックプロパゲーション(Backpropagation)して、合成イメージをデグレード(Degrade)することによって、変換イメージを生成することができる。
次に、安全衣服パターン生成装置100は、変換イメージを物体検出器130に入力して、物体検出器130をもって、変換イメージから検出されたライダーを表すライダー検出情報を出力させるプロセスを遂行することができる。
一例として、図5を参照すると、物体検出器130は、合成イメージを少なくとも一つのコンボリューションレイヤ131に入力して、コンボリューションレイヤ131をもって、合成イメージに対してコンボリューション演算を少なくとも一回適用して、少なくとも一つの特徴マップ(Feature Map)を生成させることができる。そして、物体検出器130は、特徴マップをRPN(Region Proposal Network)132に入力して、RPN132をもって、特徴マップ上の少なくとも一つの物体に対応する少なくとも一つのプロポーザルボックス(Proposal Box)を出力させることができる。以後、物体検出器130は、特徴マップをプーリングレイヤ(Pooling Layer)133に入力して、プーリングレイヤ133をもって、特徴マップ上のプロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して、少なくとも一つの特徴ベクトル(Feature Vector)を出力させることができる。そして、物体検出器130は、特徴ベクトルをFCレイヤ(Fully Connected Layer)134に入力して、FCレイヤ134をもって特徴ベクトルに対してFC演算を適用させ、FCレイヤ134の少なくとも一つの出力を分類レイヤ135とリグレッションレイヤ136とにそれぞれ入力して、分類レイヤ135とリグレッションレイヤ136とをもって、プロポーザルボックスそれぞれに対応する物体それぞれに対するクラス情報とリグレッション情報とをそれぞれ生成させて、合成イメージ上の物体、すなわち、合成イメージ上のライダーを検出することによって、ライダーに対応する物体情報を出力させることができる。この際、物体情報は、クラス情報とバウンディングボックス情報とを含むことができる。
次に、安全衣服パターン生成装置100は、第1ロスレイヤ140をもって、検出されたライダー、すなわち、特定の衣服パターンが合成された衣服を着用したライダーに対応する物体情報と、これに対応する原本正解とを参照して少なくとも一つのロスを算出させることによって、算出されたロスをバックプロパゲーションしてロスが最小化されるように特定の衣服パターンの初期値、例えば、特定の衣服パターンのグラディエントを調整させることができる。この際、ライダーイメージ1に対応する原本正解を参照して算出されたロスは特徴ロス(Feature Loss)であり得、前記図4で説明された原本正解イメージを参照して算出された知覚ロスとは異なるロスであり得る。
また、衣服パターン生成装置100は、バックプロパゲーションを通じてロスが減る方向にネガティブグラディエント(Negative Gradient)方法を遂行することができる。
一方、前記説明では、ライダーイメージ1に対応する原本正解、すなわち、ライダーイメージ1をラベリングして生成されたライダーに対応するクラス情報及びリグレッション情報を含む原本正解が使用されたが、ライダーイメージ1をラベリングして生成された原本正解を使用することができない場合には、原本正解を生成するための別途のプロセスを進行させることができる。
すなわち、安全衣服パターン生成装置100は、物体検出器150をもってライダーイメージ1上に位置するライダーを検出させて、ライダーに対応する物体情報を出力させ、物体検出器150から出力される物体検出情報、すなわち、ライダーに対応する情報を原本正解として設定することができる。
この際、物体検出器150は、物体検出器130と同一であるか物体検出器130とは異なる他の物体検出器であり得る。
前記プロセスを繰り返して、夜間、雪、雨などの周辺環境において、物体検出器が物体を容易に検出することができるようにする衣服パターンを生成することが可能になり、それによってイメージまたは特徴の夜間、雪、雨などのようなデグレードを誘発する要因と関係なしに物体が検出され得る。上記のように特定の衣服パターンが生成されてライダーの元来のイメージに適用され、パターンが適用されたイメージにGANを通じてデグレードを誘発する周辺環境が追加された状態において、本発明は物体検出ネットワークによるライダーの検出スコア(Detection Score)を増加させることによって、夜間、雪、雨などのようにイメージあるいは特徴のデグレードを誘発させる敵対的攻撃に強靭な衣服パターン(Clothing Patterns)を提供する。
また、以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD(ROM、DVDのような光記録媒体、フロプティカルディスク(Floptical Disk)のような磁気(光メディア(Magneto(Optical Media)、及びROM、RAM、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
以上にて、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
したがって、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
100:安全衣服パターン生成装置
101:メモリ
102:プロセッサ

Claims (14)

  1. 人の形体(Human−like Figure)に使用される少なくとも一つの安全衣服パターンを生成する方法において、
    (a)前記人の形体の少なくとも一つのイメージが取得されると、安全衣服パターン生成装置が、初期値を有する少なくとも一つの特定の衣服パターンを生成するプロセス、及び前記特定の衣服パターンと前記人の形体の前記イメージとを衣服合成ネットワーク(Clothing Composition Network)に入力するプロセスを遂行することによって、前記衣服合成ネットワークが前記人の形体の前記イメージ上における前記人の形体の衣服と前記特定の衣服パターンとを合成して、前記人の形体の前記イメージに対応する少なくとも一つの合成イメージ(Composite Image)を生成させる段階;
    (b)前記安全衣服パターン生成装置が、前記合成イメージをイメージ変換ネットワーク(Image Translation Network)に入力して、前記イメージ変換ネットワークをもって、前記合成イメージ上の周辺環境を変換して少なくとも一つの変換イメージ(Translated Image)を生成させるプロセス、及び前記変換イメージを物体検出器(Object Detector)に入力して、前記物体検出器をもって、前記変換イメージ上で検出された前記人の形体を表す前記人の形体に関する検出情報を出力させるプロセスを遂行する段階;及び
    (c)前記安全衣服パターン生成装置が、第1ロスレイヤをもって、前記人の形体に関する前記検出情報と前記人の形体の前記イメージに対応する少なくとも一つの原本正解(Ground Truth)とを参照して少なくとも一つのロスを算出させるプロセス、及び前記ロスを利用して前記ロスが最小化されるように前記特定の衣服パターンの前記初期値をアップデートするプロセスを遂行する段階;
    を含むことを特徴とする方法。
  2. 前記(a)段階で、
    前記安全衣服パターン生成装置は、前記特定の衣服パターンと前記人の形体の前記イメージとを前記衣服合成ネットワークに入力するプロセスを遂行することによって、前記衣服合成ネットワークをもって、(i)セグメンテーションネットワーク(Segmentation Network)を通じて前記人の形体の前記イメージ上における前記衣服をセグメンテーションさせるプロセスと、姿勢推定ネットワーク(Posture Estimation Network)を通じて前記人の形体の前記イメージ上における前記人の形体の少なくとも一つの関節部位を取得させるプロセス、(ii)マスキングレイヤ(Masking Layer)を通じて前記関節部位を参照して、前記特定の衣服パターンで前記衣服をマスキングして生成された少なくとも一つのマスキング済みイメージ(Masked Image)を取得するプロセス、(iii)前記マスキング済みイメージと前記人の形体の前記イメージとをコンカチネート(Concatenating)して少なくとも一つのコンカチネート済みイメージ(Concatenated Image)を生成するプロセス、及び(iv)エンコーダ(Encoder)を通じて前記コンカチネート済みイメージに対してコンボリューション演算を少なくとも一回適用するプロセス、及びデコーダ(Decoder)を通じて前記エンコーダの出力に対してデコンボリューション演算を少なくとも一回適用するプロセスを遂行することによって、前記合成イメージを生成させることを特徴とする請求項1に記載の方法。
  3. 前記衣服合成ネットワークは、学習装置により前記特定の衣服パターンと前記人の形体の前記イメージとを利用して前記合成イメージを生成するように学習された状態であり、
    前記学習装置が、(i)前記人の形体の少なくとも一つの取得されたトレーニングイメージを前記セグメンテーションネットワークに入力して、前記セグメンテーションネットワークをもって、前記人の形体の前記トレーニングイメージ上における少なくとも一つの学習用衣服をセグメンテーションさせるプロセスと、前記人の形体の前記トレーニングイメージを前記姿勢推定ネットワークに入力して、前記姿勢推定ネットワークをもって、前記人の形体の前記トレーニングイメージ上における少なくとも一つの学習用人の形体の少なくとも一つの学習用関節部位を取得させるプロセス、(ii)前記学習用関節部位、前記学習用衣服、及び少なくとも一つの取得された学習用衣服パターンを前記マスキングレイヤに入力して、前記マスキングレイヤをもって、前記学習用関節部位を参照して前記学習用衣服パターンで前記学習用衣服をマスキングして少なくとも一つの学習用マスキング済みイメージを生成させるプロセス、(iii)前記学習用マスキング済みイメージと前記人の形体の前記トレーニングイメージとをコンカチネートして、少なくとも一つの学習用コンカチネート済みイメージを生成するプロセス、(iv)前記学習用コンカチネート済みイメージを前記エンコーダに入力して、前記エンコーダをもって、前記学習用コンカチネート済みイメージに対して前記コンボリューション演算を少なくとも一回適用させるプロセス、及び前記エンコーダの前記出力を前記デコーダに入力して、前記デコーダをもって、前記エンコーダの前記出力に対して前記デコンボリューション演算を少なくとも一回適用させて前記学習用合成イメージを生成させるプロセス、及び(v)第2ロスレイヤをもって、(v−1)前記学習用合成イメージと(v−2)少なくとも一つの原本正解イメージ(前記少なくとも一つの原本正解イメージは、前記人の形体の前記トレーニングイメージ及び前記学習用衣服パターンに対応するように生成されたものである)を参照して少なくとも一つの知覚ロス(Perceptual Loss)を算出させるプロセス、及び前記知覚ロスを参照したバックプロパゲーションを通じて前記知覚ロスが最小化されるように前記デコーダ、前記エンコーダ、及び前記マスキングレイヤのうち少なくとも一つのパラメータを調整するプロセスを繰り返して、前記衣服合成ネットワークを学習することを特徴とする請求項2に記載の方法。
  4. 前記原本正解イメージは、前記人の形体の前記トレーニングイメージ上の前記学習用衣服を前記学習用衣服パターンでマスキングして生成されることを特徴とする請求項3に記載の方法。
  5. 前記原本正解は、(i)前記人の形体の前記イメージをラベリングして生成された前記人の形体に対応する情報、及び(ii)前記物体検出器または他の物体検出器に入力された前記人の形体の前記イメージから検出された前記人の形体に対応する情報のうち一つであることを特徴とする請求項1に記載の方法。
  6. 前記(b)段階で、
    前記安全衣服パターン生成装置は、前記イメージ変換ネットワークをもって、前記人の形体を検出する従来の物体検出器の性能が予め設定された閾値より低くなるように前記合成イメージ上の前記周辺環境を他の周辺環境に変換させるプロセスを遂行することを特徴とする請求項1に記載の方法。
  7. 前記イメージ変換ネットワークは、相互にペアにならず(Unpaired)相互に異なるドメイン(Domain)にそれぞれ属する原本イメージと変換イメージとに対してイメージ対イメージ変換(Image−To−Image Translation)を行うサイクルGAN(Cycle Generative Adversarial Network)を含むことを特徴とする請求項6に記載の方法。
  8. 人の形体(Human−like Figure)に使用される少なくとも一つの安全衣服パターンを生成する安全衣服パターン生成装置において、
    インストラクションを格納する少なくとも一つのメモリと、
    (I)前記人の形体の少なくとも1つのイメージが取得されると、初期値を有する少なくとも1つの特定の衣服パターンを生成するプロセス、及び前記特定の衣服パターンと前記人の形体の前記イメージとを衣服合成ネットワーク(Clothing Composition Network)に入力するプロセスを遂行することによって、前記衣服合成ネットワークが前記人の形体の前記イメージ上における前記人の形体の衣服と前記特定の衣服パターンとを合成して、前記人の形体の前記イメージに対応する少なくとも一つの合成イメージ(Composite Image)を生成させるプロセス、(II)前記合成イメージをイメージ変換ネットワーク(Image Translation Network)に入力して、前記イメージ変換ネットワークをもって、前記合成イメージ上の周辺環境を変換して少なくとも一つの変換イメージ(Translated Image)を生成させるプロセス、及び前記変換イメージを物体検出器(Object Detector)に入力して、前記物体検出器をもって、前記変換イメージ上で検出された前記人の形体を表す前記人の形体に関する検出情報を出力させるプロセス、及び(III)第1ロスレイヤをもって、前記人の形体に関する前記検出情報と前記人の形体の前記イメージに対応する少なくとも一つの原本正解(Ground Truth)とを参照して少なくとも一つのロスを算出させるプロセス、及び前記ロスを利用して前記ロスが最小化されるように前記特定の衣服パターンの前記初期値をアップデートするプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とする装置。
  9. 前記(I)プロセスで、
    前記プロセッサは、前記特定の衣服パターンと前記人の形体の前記イメージとを前記衣服合成ネットワークに入力するプロセスを遂行することによって、前記衣服合成ネットワークをもって、(i)セグメンテーションネットワーク(Segmentation Network)を通じて前記人の形体の前記イメージ上における前記衣服をセグメンテーションさせるプロセスと、姿勢推定ネットワーク(Posture Estimation Network)を通じて前記人の形体の前記イメージ上における前記人の形体の少なくとも一つの関節部位を取得させるプロセス、(ii)マスキングレイヤ(Masking Layer)を通じて前記関節部位を参照して、前記特定の衣服パターンで前記衣服をマスキングして生成された少なくとも一つのマスキング済みイメージ(Masked Image)を取得するプロセス、(iii)前記マスキング済みイメージと前記人の形体の前記イメージとをコンカチネート(Concatenating)して少なくとも一つのコンカチネート済みイメージ(Concatenated Image)を生成するプロセス、及び(iv)エンコーダ(Encoder)を通じて前記コンカチネート済みイメージに対してコンボリューション演算を少なくとも一回適用するプロセス、及びデコーダ(Decoder)を通じて前記エンコーダの出力に対してデコンボリューション演算を少なくとも一回適用するプロセスを遂行することによって、前記合成イメージを生成させることを特徴とする請求項8に記載の装置。
  10. 前記衣服合成ネットワークは、学習装置により前記特定の衣服パターンと前記人の形体の前記イメージとを利用して前記合成イメージを生成するように学習された状態であり、
    前記学習装置が、(i)前記人の形体の少なくとも一つの取得されたトレーニングイメージを前記セグメンテーションネットワークに入力して、前記セグメンテーションネットワークをもって、前記人の形体の前記トレーニングイメージ上における少なくとも一つの学習用衣服をセグメンテーションさせるプロセスと、前記人の形体の前記トレーニングイメージを前記姿勢推定ネットワークに入力して、前記姿勢推定ネットワークをもって、前記人の形体の前記トレーニングイメージ上における少なくとも一つの学習用人の形体の少なくとも一つの学習用関節部位を取得させるプロセス、(ii)前記学習用関節部位、前記学習用衣服、及び少なくとも一つの取得された学習用衣服パターンを前記マスキングレイヤに入力して、前記マスキングレイヤをもって、前記学習用関節部位を参照して前記学習用衣服パターンで前記学習用衣服をマスキングして少なくとも一つの学習用マスキング済みイメージを生成させるプロセス、(iii)前記学習用マスキング済みイメージと前記人の形体の前記トレーニングイメージとをコンカチネートして、少なくとも一つの学習用コンカチネート済みイメージを生成するプロセス、(iv)前記学習用コンカチネート済みイメージを前記エンコーダに入力して、前記エンコーダをもって、前記学習用コンカチネート済みイメージに対して前記コンボリューション演算を少なくとも一回適用させるプロセス、及び前記エンコーダの前記出力を前記デコーダに入力して、前記デコーダをもって、前記エンコーダの前記出力に対して前記デコンボリューション演算を少なくとも一回適用させて前記学習用合成イメージを生成させるプロセス、及び(v)第2ロスレイヤをもって、(v−1)前記学習用合成イメージと(v−2)少なくとも一つの原本正解イメージ(前記少なくとも一つの原本正解イメージは、前記人の形体の前記トレーニングイメージ及び前記学習用衣服パターンに対応するように生成されたものである)を参照して少なくとも一つの知覚ロス(Perceptual Loss)を算出させるプロセス、及び前記知覚ロスを参照したバックプロパゲーションを通じて前記知覚ロスが最小化されるように前記デコーダ、前記エンコーダ、及び前記マスキングレイヤのうち少なくとも一つのパラメータを調整するプロセスを繰り返して、前記衣服合成ネットワークを学習することを特徴とする請求項9に記載の装置。
  11. 前記原本正解イメージは、前記人の形体の前記トレーニングイメージ上の前記学習用衣服を前記学習用衣服パターンでマスキングして生成されることを特徴とする請求項10に記載の装置。
  12. 前記原本正解は、(i)前記人の形体の前記イメージをラベリングして生成された前記人の形体に対応する情報、及び(ii)前記物体検出器または他の物体検出器に入力された前記人の形体の前記イメージから検出された前記人の形体に対応する情報のうち一つであることを特徴とする請求項8に記載の装置。
  13. 前記(II)プロセスで、
    前記プロセッサは、前記イメージ変換ネットワークをもって、前記人の形体を検出する従来の物体検出器の性能が予め設定された閾値より低くなるように前記合成イメージ上の前記周辺環境を他の周辺環境に変換させるプロセスを遂行することを特徴とする請求項8に記載の装置。
  14. 前記イメージ変換ネットワークは、相互にペアにならず(Unpaired)相互に異なるドメイン(Domain)にそれぞれ属する原本イメージと変換イメージとに対してイメージ対イメージ変換(Image−To−Image Translation)を行うサイクルGAN(Cycle Generative Adversarial Network)を含むことを特徴とする請求項13に記載の装置。
JP2020008884A 2019-01-31 2020-01-23 バイクライダー用安全衣服パターンを生成する方法及び装置{method and device for generating safe clothing patterns for rider of bike} Active JP7071751B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962799347P 2019-01-31 2019-01-31
US62/799347 2019-01-31
US16/740085 2020-01-10
US16/740,085 US10657584B1 (en) 2019-01-31 2020-01-10 Method and device for generating safe clothing patterns for rider of bike

Publications (2)

Publication Number Publication Date
JP2020125576A true JP2020125576A (ja) 2020-08-20
JP7071751B2 JP7071751B2 (ja) 2022-05-19

Family

ID=70736350

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020008884A Active JP7071751B2 (ja) 2019-01-31 2020-01-23 バイクライダー用安全衣服パターンを生成する方法及び装置{method and device for generating safe clothing patterns for rider of bike}

Country Status (5)

Country Link
US (1) US10657584B1 (ja)
EP (1) EP3690809B1 (ja)
JP (1) JP7071751B2 (ja)
KR (1) KR102265016B1 (ja)
CN (1) CN111508042B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554872B (zh) * 2021-07-19 2022-09-20 昭通亮风台信息科技有限公司 一种位于交通路口及弯道的检测预警方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018151760A1 (en) * 2017-02-20 2018-08-23 3M Innovative Properties Company Optical articles and systems interacting with the same

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6188777B1 (en) * 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
DE102008023523B4 (de) * 2008-05-15 2019-08-08 Dräger Safety AG & Co. KGaA Sicherheitsbekleidungsstück und Sicherheitssystem
US8379920B2 (en) * 2010-05-05 2013-02-19 Nec Laboratories America, Inc. Real-time clothing recognition in surveillance videos
US8798362B2 (en) * 2011-08-15 2014-08-05 Hewlett-Packard Development Company, L.P. Clothing search in images
US9143659B2 (en) * 2012-01-08 2015-09-22 Gary Shuster Clothing and body covering pattern creation machine and method
JP3180369U (ja) 2012-10-03 2012-12-13 ハイドサイン株式会社 衣服
JP6373026B2 (ja) * 2014-03-20 2018-08-15 株式会社東芝 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US10460199B2 (en) * 2014-11-03 2019-10-29 Terrence A. CARROLL Textile matching using color and pattern recognition and methods of use
US9892296B2 (en) * 2014-11-12 2018-02-13 Joseph E. Kovarik Method and system for autonomous vehicles
WO2016158896A1 (ja) * 2015-03-31 2016-10-06 セーレン株式会社 衣服デザイン表示システム、衣服製造システム、衣服デザイン出力システム及び衣服デザイン出力方法
KR101736779B1 (ko) * 2016-01-07 2017-05-18 주식회사 에스원 색상 정보를 이용한 환자복 인식 방법 및 이를 이용한 환자복 인식 시스템
EP3312762B1 (en) * 2016-10-18 2023-03-01 Axis AB Method and system for tracking an object in a defined area
EP3319041B1 (en) * 2016-11-02 2022-06-22 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US10950006B2 (en) * 2017-05-17 2021-03-16 Katherine A. McLean Environmentally contextualized pattern generation
CN107437099A (zh) * 2017-08-03 2017-12-05 哈尔滨工业大学 一种基于机器学习的特定服饰图像识别与检测方法
KR102117050B1 (ko) * 2017-09-08 2020-05-29 삼성전자주식회사 이미지 내 휴먼 분리를 위한 전자 장치 및 방법
US20190096066A1 (en) * 2017-09-28 2019-03-28 4Sense, Inc. System and Method for Segmenting Out Multiple Body Parts
CN109145947B (zh) * 2018-07-17 2022-04-12 昆明理工大学 一种基于部件检测和视觉特征的时尚女装图像细粒度分类方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018151760A1 (en) * 2017-02-20 2018-08-23 3M Innovative Properties Company Optical articles and systems interacting with the same

Also Published As

Publication number Publication date
US10657584B1 (en) 2020-05-19
EP3690809C0 (en) 2023-07-12
CN111508042B (zh) 2023-08-18
EP3690809A1 (en) 2020-08-05
KR102265016B1 (ko) 2021-06-16
KR20200095377A (ko) 2020-08-10
EP3690809B1 (en) 2023-07-12
JP7071751B2 (ja) 2022-05-19
CN111508042A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
Huang et al. DSNet: Joint semantic learning for object detection in inclement weather conditions
CN110135375B (zh) 基于全局信息整合的多人姿态估计方法
Sakaridis et al. Map-guided curriculum domain adaptation and uncertainty-aware evaluation for semantic nighttime image segmentation
Narayanan et al. Proxemo: Gait-based emotion learning and multi-view proxemic fusion for socially-aware robot navigation
Fu et al. Onboard real-time aerial tracking with efficient Siamese anchor proposal network
CN110210426B (zh) 基于注意力机制从单幅彩色图像进行手部姿态估计的方法
CN111680550B (zh) 情感信息识别方法、装置、存储介质及计算机设备
Speth et al. Deep learning with RGB and thermal images onboard a drone for monitoring operations
CN108537181A (zh) 一种基于大间距深度度量学习的步态识别方法
CN112001859A (zh) 一种人脸图像的修复方法及系统
Di Benedetto et al. Learning safety equipment detection using virtual worlds
WO2023066173A1 (zh) 图像处理方法、装置及存储介质、电子设备
Wang et al. Hierarchical open-vocabulary universal image segmentation
JP2020125576A (ja) バイクライダー用安全衣服パターンを生成する方法及び装置{method and device for generating safe clothing patterns for rider of bike}
Dimas et al. Obstacle detection based on generative adversarial networks and fuzzy sets for computer-assisted navigation
CN116452480A (zh) 一种红外与可见光图像融合的方法
CN114757819A (zh) 一种结构引导的风格偏差校正型风格迁移方法及系统
CN113191944B (zh) 一种多通道图像内容特征融合风格迁移方法及系统
Lin et al. Generating synthetic training data for object detection using multi-task generative adversarial networks
Galiyawala et al. Dsa-pr: discrete soft biometric attribute-based person retrieval in surveillance videos
CN113963434A (zh) 一种基于人体的目标行为特征检测及其运动轨迹预测方法
CN113158782A (zh) 基于单帧图像的多人并发交互行为理解方法
He et al. SCIR-Net: Structured color image representation based 3D object detection network from point clouds
Ishii et al. Occlusion-robust 3D hand pose estimation from a single RGB image
Mesbahi et al. Hand gesture recognition based on various deep learning YOLO models

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200123

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200706

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200710

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20201022

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220426

R150 Certificate of patent or registration of utility model

Ref document number: 7071751

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150