CN111508042B - 生成脚踏车骑手用安全衣服图案的方法及装置 - Google Patents

生成脚踏车骑手用安全衣服图案的方法及装置 Download PDF

Info

Publication number
CN111508042B
CN111508042B CN202010066983.4A CN202010066983A CN111508042B CN 111508042 B CN111508042 B CN 111508042B CN 202010066983 A CN202010066983 A CN 202010066983A CN 111508042 B CN111508042 B CN 111508042B
Authority
CN
China
Prior art keywords
image
learning
clothing
network
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010066983.4A
Other languages
English (en)
Other versions
CN111508042A (zh
Inventor
金桂贤
金镕重
金鹤京
南云铉
夫硕焄
成明哲
申东洙
吕东勋
柳宇宙
李明春
李炯树
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111508042A publication Critical patent/CN111508042A/zh
Application granted granted Critical
Publication of CN111508042B publication Critical patent/CN111508042B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种用于生成用于类人形体的安全衣服图案的方法，包括：步骤a：在获取到类人形体的至少一个图像的情况下，安全衣服图案生成装置将特定衣服图案和类人形体的图像输入到衣服合成网络，使类人形体的衣服和特定衣服图案合成，从而生成合成图像；步骤b：安全衣服图案生成装置将合成图像输入到图像转换网络，从而转换合成图像上的周边环境并生成转换图像，并且将转换图像输入到客体检测器而输出关于类人形体的检测信息；以及步骤c：安全衣服图案生成装置使第一损失层以检测信息和与类人形体的图像对应的GT为参考来算出损失，并且利用损失来更新初始值。

Description

生成脚踏车骑手用安全衣服图案的方法及装置
技术领域
本发明涉及一种用于生成脚踏车骑手用安全衣服图案的方法及装置，更详细而言，涉及一种以使基于深度学习(Deep Learning)的客体检测器能够容易地检测脚踏车骑手的方式生成用于骑手的安全衣服图案而方法及装置。
背景技术
一般而言，在道路上工作的人员(例如交警、环卫工人及军人等)通常在夜间工作，而这些夜间工作人员经常会发生车辆导致的交通事故。
这是因C未在视觉上从周围环境中分离并识别夜间工作人员而引起的。因此，为了防止这种交通事故并保护夜间工作人员，让夜间工作人员穿着附有能够提高视觉认知度的反光物质的安全背心来执行夜间工作。
此外，通过让喜欢在黎明或夜间慢跑或远足的人们穿着安全背心，使他们能够远离周边的危险因素而更安全地进行运动。即，通过在夜间或黎明穿着安全背心，能够确认穿着者的位置或存在。
但是，具有利用相机且基于深度学习(Deep Learning)的客体检测器或使用该客体检测器的自动驾驶汽车不容易检测这种反射型安全背心的问题。即，如果实际上不使用包含穿着反射型安全背心的客体在内的训练数据来事先学习客体检测器，则客体检测器难以检测反射型安全背心，并且也难以获取包含穿着反射型安全背心的客体在内的充分的训练数据。
因此，本发明要提出用于生成基于深度学习的客体检测器容易地检测到的安全背心的衣服图案的方法。
发明内容
技术问题
本发明的目的是解决上述所有问题。
本发明的另一目的是提供使客体检测器容易地检测如自行车或摩托车等的脚踏车骑手的安全背心。
本发明的又一目的是生成使客体检测器容易地检测脚踏车骑手的安全背心的衣服图案。
技术方案
为了达到如上所述的本发明的目的并实现后述的本发明的特征效果，本发明的特征结构如下所述。
根据本发明的一方面，一种用于生成用于类人形体(Human-like Figure)的至少一个安全衣服图案的方法，包括：步骤a：在获取到所述类人形体的至少一个图像的情况下，安全衣服图案生成装置执行生成具有初始值的至少一个特定衣服图案的过程及将所述特定衣服图案和所述类人形体的所述图像输入到衣服合成网络(Clothing CompositionNetwork)的过程，使得所述衣服合成网络将所述类人形体的所述图像上的所述类人形体的衣服和所述特定衣服图案合成，从而生成与所述类人形体的所述图像对应的至少一个合成图像(Composite Image)；步骤b：所述安全衣服图案生成装置执行以下过程：将所述合成图像输入到图像转换网络(Image Translation Network)，从而使所述图像转换网络转换所述合成图像上的周边环境并生成至少一个转换图像(Translated Image)；和将所述转换图像输入到客体检测器(Object Detector)而使所述客体检测器输出表示在所述转换图像上检测到的所述类人形体的关于所述类人形体的检测信息；以及步骤c：所述安全衣服图案生成装置执行以下过程：使第一损失层以关于所述类人形体的所述检测信息和与所述类人形体的所述图像对应的至少一个(Ground Truth，真实值)为参考来算出至少一个损失；和利用所述损失来更新所述特定衣服图案的所述初始值，从而使所述损失最小化。
在一实施例中，在所述步骤a中，所述安全衣服图案生成装置执行将所述特定衣服图案和所述类人形体的所述图像输入到所述衣服合成网络的过程，从而使所述衣服合成网络执行以下过程来生成所述合成图像：i)通过分割网络来分割所述类人形体的所述图像上的所述衣服和通过姿势推断网络来获取所述类人形体的所述图像上的所述类人形体的至少一个关节部位；ii)获取通过遮蔽层参考所述关节部位而利用所述特定衣服图案遮蔽所述衣服而生成的至少一个遮蔽图像；iii)连接所述遮蔽图像和所述类人形体的所述图像来生成至少一个连接图像；以及iv)通过编码器对所述连接图像应用至少一次卷积运算和通过解码器对所述编码器的输出应用至少一次去卷积运算。
在一实施例中，所述衣服合成网络处于由学习装置以利用所述特定衣服图案和所述类人形体的所述图像来生成所述合成图像的方式学习的状态，所述学习装置通过反复执行以下过程来学习所述衣服合成网络：i)将所述类人形体的至少一个获取到的训练图像输入到所述分割网络而使所述分割网络分割所述类人形体的所述训练图像上的至少一个学习用衣服和将所述类人形体的所述训练图像输入到所述姿势推断网络而使所述姿势推断网络获取所述类人形体的所述训练图像上的至少一个学习用类人形体的至少一个学习用关节部位；ii)将所述学习用关节部位、所述学习用衣服及至少一个获取到的学习用衣服图案输入到所述遮蔽层，从而使所述遮蔽层以所述学习用关节部位为参考而利用所述学习用衣服图案来遮蔽所述学习用衣服以生成至少一个学习用遮蔽图像；iii)连接所述学习用遮蔽图像和所述类人形体的所述训练图像以生成至少一个学习用连接图像；iv)将所述学习用连接图像输入到所述编码器而使所述编码器对所述学习用连接图像应用至少一次卷积运算；和将所述编码器的所述输出输入到所述解码器而使所述解码器对所述编码器的所述输出应用至少一次去卷积运算而生成所述学习用合成图像；以及v)使第二损失层以v-1)所述学习用合成图像和v-2)至少一个GT图像为参考算出至少一个感知损失，其中，所述至少一个GT图像被生成为与所述类人形体的所述训练图像及所述学习用衣服图案对应；和通过参考所述感知损失的反向传播来调整所述解码器、所述编码器及所述遮蔽层中的至少一个参数以使所述感知损失最小化。
在一实施例中，通过利用所述学习用衣服图案遮蔽所述类人形体的所述训练图像上的所述学习用衣服来生成所述GT图像。
在一实施例中，所述GT为i)通过标记所述类人形体的所述图像而生成的与所述类人形体对应的信息及ii)从输入到所述客体检测器或其他客体检测器的所述类人形体的所述图像检测到的与所述类人形体对应的信息中的一者。
在一实施例中，在所述步骤b中，所述安全衣服图案生成装置执行以下过程：使所述图像转换网络将所述合成图像上的所述周边环境转换为其他周边环境，从而使用于检测所述类人形体的现有客体检测器的性能低于预设阈值。
在一实施例中，所述图像转换网络包括循环生成对抗网络GAN，所述循环GAN对不成对且分别属于彼此不同的域的原始图像和转换图像进行图像到图像转换。
根据本发明的另一方面，一种用于生成用于类人形体的至少一个安全衣服图案的安全衣服图案生成装置，包括：至少一个存储器，其用于存储指令；以及至少一个处理器，被配置成运行用于执行以下过程的所述指令：过程I：在获取到所述类人形体的至少一个图像的情况下，执行生成具有初始值的至少一个特定衣服图案的过程及将所述特定衣服图案和所述类人形体的所述图像输入到衣服合成网络的过程，使得所述衣服合成网络将所述类人形体的所述图像上的所述类人形体的衣服和所述特定衣服图案合成，从而生成与所述类人形体的所述图像对应的至少一个合成图像；过程II：将所述合成图像输入到图像转换网络，从而使所述图像转换网络转换所述合成图像上的周边环境并生成至少一个转换图像；和将所述转换图像输入到客体检测器而使所述客体检测器输出表示在所述转换图像上检测到的所述类人形体的关于所述类人形体的检测信息；以及过程III：使第一损失层以关于所述类人形体的所述检测信息和与所述类人形体的所述图像对应的至少一个真实值GT为参考来算出至少一个损失；和利用所述损失来更新所述特定衣服图案的所述初始值，从而使所述损失最小化。
在一实施例中，在所述过程I中，所述处理器执行将所述特定衣服图案和所述类人形体的所述图像输入到所述衣服合成网络的过程，从而使所述衣服合成网络执行以下过程来生成所述合成图像：i)通过分割网络来分割所述类人形体的所述图像上的所述衣服和通过姿势推断网络来获取所述类人形体的所述图像上的所述类人形体的至少一个关节部位；ii)获取通过遮蔽层参考所述关节部位而利用所述特定衣服图案遮蔽所述衣服而生成的至少一个遮蔽图像；iii)连接所述遮蔽图像和所述类人形体的所述图像来生成至少一个连接图像；以及iv)通过编码器对所述连接图像应用至少一次卷积运算和通过解码器对所述编码器的输出应用至少一次去卷积运算。
在一实施例中，所述衣服合成网络处于由学习装置以利用所述特定衣服图案和所述类人形体的所述图像来生成所述合成图像的方式学习的状态，所述学习装置通过反复执行以下过程来学习所述衣服合成网络：i)将所述类人形体的至少一个获取到的训练图像输入到所述分割网络而使所述分割网络分割所述类人形体的所述训练图像上的至少一个学习用衣服和将所述类人形体的所述训练图像输入到所述姿势推断网络而使所述姿势推断网络获取所述类人形体的所述训练图像上的至少一个学习用类人形体的至少一个学习用关节部位；ii)将所述学习用关节部位、所述学习用衣服及至少一个获取到的学习用衣服图案输入到所述遮蔽层，从而使所述遮蔽层以所述学习用关节部位为参考而利用所述学习用衣服图案来遮蔽所述学习用衣服以生成至少一个学习用遮蔽图像；iii)连接所述学习用遮蔽图像和所述类人形体的所述训练图像以生成至少一个学习用连接图像；iv)将所述学习用连接图像输入到所述编码器而使所述编码器对所述学习用连接图像应用至少一次卷积运算；和将所述编码器的所述输出输入到所述解码器而使所述解码器对所述编码器的所述输出应用至少一次去卷积运算而生成所述学习用合成图像；以及v)使第二损失层以v-1)所述学习用合成图像和v-2)至少一个GT图像为参考算出至少一个感知损失，其中，所述至少一个GT图像被生成为与所述类人形体的所述训练图像及所述学习用衣服图案对应；和通过参考所述感知损失的反向传播来调整所述解码器、所述编码器及所述遮蔽层中的至少一个参数以使所述感知损失最小化。
在一实施例中，通过利用所述学习用衣服图案遮蔽所述类人形体的所述训练图像上的所述学习用衣服来生成所述GT图像。
在一实施例中，所述GT为i)通过标记所述类人形体的所述图像而生成的与所述类人形体对应的信息及ii)从输入到所述客体检测器或其他客体检测器的所述类人形体的所述图像检测到的与所述类人形体对应的信息中的一者。
在一实施例中，在所述过程II中，所述处理器执行以下过程：使所述图像转换网络将所述合成图像上的所述周边环境转换为其他周边环境，从而使用于检测所述类人形体的现有客体检测器的性能低于预设阈值。
在一实施例中，所述图像转换网络包括循环生成对抗网络GAN，所述循环GAN对不成对且分别属于彼此不同的域的原始图像和转换图像进行图像到图像转换。
除此以外，提供一种计算机可读记录介质，用于存储执行本发明的方法的计算机程序。
有益效果
本发明具有以下效果：通过提供使客体检测器容易地检测骑手的安全背心而减少事故危险性。
本发明具有以下效果：通过生成使客体检测器容易地检测骑手的安全背心的衣服图案，从而使客体检测器与周边环境无关地容易地检测骑手。
附图说明
为了说明本发明的实施例而所附的以下图只是本发明的实施例中的一部分，本发明所属技术领域的具有普通知识的人员(以下，称为“普通技术人员”)在未进行发明工作的情况下可以以该图为基础得到其他图。
图1示意性地图示本发明的一实施例所涉及的生成用于脚踏车骑手的安全衣服图案的安全衣服图案生成装置，
图2示意性地图示本发明的一实施例所涉及的生成用于脚踏车骑手的安全衣服图案的方法，
图3示意性地图示在本发明的一实施例所涉及的生成用于脚踏车骑手的安全衣服图案的方法中衣服合成网络(Clothing Composition Network)将特定衣服图案与骑手图像合成的过程，
图4示意性地图示在本发明的一实施例所涉及的生成用于脚踏车骑手的安全衣服图案的方法中学习衣服合成网络的过程，
图5示意性地图示在本发明的一实施例所涉及的生成用于脚踏车骑手的安全衣服图案的方法中客体检测器检测合成图像(Composite Image)上的骑手的过程。
具体实施方式
关于后述的本发明的详细说明参照附图，该附图是为了明确本发明的目的、技术方案和优点而作为示例图示能够实施本发明的具体实施例。详细说明这些实施例，使得本领域技术人员能够实施本发明。
此外，在本发明的详细说明及权利要求中，“包括”这一词语及其变形并非用来去除其他技术特征、附加物、结构要素或步骤。对于本领域普通技术人员而言，能够部分地从本发明的说明书以及部分地本发明的实施中显然得知本发明的其他目的、优点及特性。以下示例及附图作为实例提供，并不是用来限定本发明。
此外，本发明包括本说明书中表示的实施例的所有可能组合。应理解为本发明的多种实施例虽然彼此不同但没必要相互排斥。例如，在此记载的特定形状、结构及特性与一实施例相关联，在不脱离本发明的精神及范围的情况下可以以其他实施例实现。此外，应理解为在不脱离本发明的精神及范围的情况下能够变更各个公开实施例内的个别结构要素的位置或布置。因此，后述的详细说明不应视为限定性含义，在适当说明的情况下，本发明的范围仅由所附的权利要求和与该权利要求所主张的内容均等的所有范围来限定。在附图中，相似的附图标记在各个方面上指代相同或相似的功能
本发明中提到的各种图像可包括与铺装或未铺装的道路相关的图像，在该情况下能够假定出现在道路环境中的物体(例如，车辆、人类、动物、植物、物体、建筑物、如飞机或无人机等的飞行器以及其他障碍物)，但本发明并不一定限定于此，本发明中提到的各种图像还可以是与道路无关的图像(例如，与非铺装道路、小巷、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空、室内相关联的图像)，在该情况下能够假定有可能出现在非铺装道路、小巷、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空、室内环境中的物体(例如，车辆、人类、动物、植物、物体、建筑物、如飞机和无人机等的飞行器以及其他障碍物)，但并不一定限定于此。
在此提供的本发明的名称或摘要只是为了方便而提供的，并不限制或解释这些实施例的范围或含义。
如在本说明书及所附的权利要求书中使用的那样，只要没有明确规定内容和上下文不同，则单数形式包含多个指示对象。
下面，参照附图对本发明的优选实施例进行详细说明，使得本发明所属技术领域的普通技术人员能够容易实施本发明。
图1示意性地图示本发明的一实施例所涉及的生成用于脚踏车骑手的安全衣服图案的安全衣服图案生成装置。参照图1，安全衣服图案生成装置100可包括：存储器101，用于存储生成用于脚踏车骑手的安全衣服图案的指令；和处理器102，执行与存储在存储器101中的指令对应的过程以生成用于脚踏车骑手的安全衣服图案。在本说明书全文中，脚踏车可包括独轮自行车、普通自行车、三轮自行车、两轮车、单轮或三轮摩托车等，但并不限于此。
具体而言，安全衣服图案生成装置100可典型地利用至少一个计算装置(例如，计算机处理器、内存、存储器、输入装置及输出装置、可包含其他现有的计算装置的结构要素的装置；如路由器、交换机等的电子通信装置；如网络附属存储(NAS)及存储区域网络(SAN)的电子信息存储系统)和至少一个计算机软件(即，使计算装置以特定方式运行的指令)的组合来实现所需的系统性能。
此外，计算装置的处理器可包括微处理单元(Micro Processing Unit，MPU)、中央处理单元(Central Processing Unit，CPU)、高速缓冲存储器(Cache Memory)或数据总线(Data Bus)等的硬件结构。此外，计算装置可进一步包括操作系统和执行特定目的的应用的软件结构。
然而，并不排除计算装置包括用于实施本发明的处理器、存储介质或其他计算结构要素的任何组合的集成装置(Integrated Device)。
参照图2，对利用如此构成的本发明的一实施例所涉及的安全衣服图案生成装置100来生成用于脚踏车骑手的安全衣服图案的方法进行说明则如下所述。
首先，在输入与想要搭乘脚踏车的骑手或搭乘状态的脚踏车骑手对应的至少一个骑手图像1(假设，类人形体图像)的情况下，安全衣服图案生成装置100可生成具有初始值的至少一个特定衣服图案2。在此，虽然初始值在初始步骤中包含衣服图案内的像素值，但本发明的范围并不限于此。此时，安全衣服图案生成装置100能够通过随机采样来生成特定衣服图案2或从存储有多种衣服图案的数据库中检索特定衣服图案2。在此，类人形体图像可以是关于实际人员的图像，但并不限定于此，也可以是站在道路上的人体模特。在此，作为“骑手图像”假定骑在摩托车上的人等的情况的图像来进行说明，但这只不过是为了方便说明而假定的，如果即使像道路上的清洁工或人体模型那样未骑任何交通工具也相当于类人形体图像，则将会应用本发明。
接着，安全衣服图案生成装置100可执行以下过程：将骑手图像1和特定衣服图案2输入到衣服合成网络110，使衣服合成网络110在骑手图像1上的骑手的衣服上合成特定衣服图案2，从而生成与骑手图像1对应的至少一个合成图像(Composite Image)3。此时，可以以看起来骑手穿着具有特定衣服图案的衣服的方式生成合成图像3，或者可以以看起来骑手进一步穿着在衣服上具有特定衣服图案的特定衣服的方式生成合成图案3。
另外，参照图3，对衣服合成网络110通过将骑手图像1和特定衣服图案2合成来生成合成图像3的过程进行更详细说明则如下所述。
衣服合成网络110可执行以下过程：将骑手图像1输入到分割网络(SegmentationNetwork)而使分割网络111分割骑手图像上的骑手衣服；将骑手图像1输入到姿势推断网络(Posture Estimation Network)112而使姿势推断网络112获取骑手图像上的骑手的至少一个关节部位。
此时，分割网络111可包含至少一个卷积层(Convolutional Layer)和与此对应的至少一个去卷积层，能够使至少一个卷积层对骑手图像1应用至少一次卷积运算，并且使至少一个去卷积层对卷积层的最后输出应用与卷积运算相同的次数的去卷积运算，来分割骑手图像1而从骑手图像1中提取骑手衣服。
此外，姿势推断网络112可包含至少一个卷积层和至少一个全卷积层(FullyConvolutional Layer)，能够使至少一个卷积层对骑手图像1应用至少一次卷积运算来生成至少一个特征图，并且使至少一个全卷积层对由卷积层输出的最后特征图应用至少一次1×1卷积运算，从而生成各个关节部位(例如，骑手的肩膀、肘部、腕部、骨盆等)的至少一个推断姿势图像(Estimated Posture Image)。此时，在推断姿势图像上推断为具有骑手的关节的位置可被表达为1，推断为没有关节的位置可被表达为0，推断姿势图像的各个通道可以与各个关节部位对应。
之后，衣服合成网络110可通过遮蔽层113以关节部位为参考，利用特定衣服图案来遮蔽骑手衣服，从而获取至少一个遮蔽图像(Masked Image)。即，衣服合成网络110可将经分割的骑手衣服图像、显示关节部位的推断姿势图像及特定衣服图案2输入到遮蔽层113，使遮蔽层113以关节部位为参考，利用特定衣服图案2来遮蔽骑手衣服。此时，特定衣服图案2的形态可根据关节部位而不同，可以关节部位为参考，利用特定衣服图案2来遮蔽骑手衣服，从而生成与骑手的当前姿势(Pose)匹配的衣服图案。
并且，衣服合成网络110可执行以下过程来生成合成图像3：(i)连接(Concatenating)遮蔽图像和骑手图像1来生成至少一个连接图像(Concatenated Image)；(ii)通过包含至少一个卷积层的编码器114对连接图像应用至少一次卷积运算；以及(iii)通过包含至少一个去卷积层的解码器115对所述编码器114的输出应用至少一次去卷积运算。
此时，衣服合成网络110可以处于由学习装置以利用骑手图像和特定衣服图案来生成合成图像的方式学习的状态。
作为一例，参照图4，学习装置200可获取学习衣服合成网络时使用的训练数据。此时，训练数据可包括与骑手对应的至少一个学习用骑手图像201、至少一个学习用衣服图案202及与穿着合成有学习用衣服图案202的衣服的骑手对应的至少一个GT(Ground Truth，真实值)图像205。并且，可利用学习用衣服图案202遮蔽学习用骑手图像201上的学习用骑手衣服来生成GT图像205。
并且，学习装置200可执行以下过程：将学习用骑手图像201输入到分割网络111而使分割网络111分割学习用骑手图像201上的学习用骑手衣服；以及将学习用骑手图像201输入到姿势推断网络112而使姿势推断网络112获取学习用骑手图像201上的学习用骑手的至少一个学习用关节部位。
之后，学习装置200将学习用关节部位、学习用骑手衣服及学习用衣服图案202输入到遮蔽层113，从而使遮蔽层113以学习用关节部位为参考，利用学习用衣服图案202来遮蔽学习用骑手衣服。
并且，学习装置200可执行以下过程来生成学习用合成图像204：(i)连接至少一个学习用遮蔽图像和学习用骑手图像201来生成至少一个学习用连接图像；(ii)将学习用连接图像输入到编码器114，从而使编码器114对学习用连接图像应用至少一次卷积运算；以及(iii)将编码器114的至少一个输出输入到解码器115，从而使解码器115对编码器114的输出应用至少一次去卷积运算。
之后，学习装置200可反复执行以下过程来学习衣服合成网络110：(i)使第二损失层116以(i-1)学习用合成图像和(i-2)GT图像为参考来算出至少一个感知损失(Perceptual Loss)；以及(ii)以通过参考感知损失的反向传播调整解码器、编码器及遮蔽层中的至少一个参数，从而使感知损失最小化。关于第一损失层140将在后面进行说明。
此时，由论文“Perceptual Losses for Real-Time Style Transfer and Super-Resolution”,计算机视觉–ECCV 2016,第14届欧洲会议,阿姆斯特丹,荷兰,2016年10月11-14日,议程,第二部分的第694-711页及“Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial network”,CVPR.第2卷第3期.2017.等可知，感知损失可以是利用认知相似度(Perceptual Similarity)的损失而不是每个像素损失(均方误差，MSE:Mean Squared Error)。
接着，再次参照图2，安全衣服图案生成装置100可将合成图像3输入到图像转换网络120，从而使图像转换网络120转换合成图像3上的周边环境并生成至少一个转换图像(Translated Image)。
此时，转换图像可以是将合成图像3上的周边环境转换成如夜间、雪或雨等的其他周边环境而生成的图像，所述其他周边环境可以是与未穿着具有特定衣服图案的骑手相比较客体检测器更容易地检测穿着具有特定衣服图案的骑手的环境。即，转换图像可以是以将合成图像3上的周边环境转换为其他周边环境而使现有客体检测器检测骑手图像1上的原始骑手的性能低于预设阈值的方式生成的图像。
并且，图像转换网络120可包含循环GAN(Cycle Generative AdversarialNetwork，循环生成对抗网络)，所述循环GAN对不成对(Unpaired)且分别属于彼此不同的域(Domain)的原始图像和转换图像进行图像到图像转换(Image-To-Image Translation)。
此时，从“Unpaired Image-to-Image Translation using Cycle-ConsistentAdversarial Networks”ICCV 2017可知，循环GAN可利用对抗损失(Adversarial Loss)和循环一致性损失(Cycle-Consistency Loss)来使原始图像转换为其他域之后再次复原成原始图像。
另外，本发明可以利用循环GAN的对抗攻击(Adversarial Attack)以通过将正向梯度(Positive Gradient)反向传播至合成图像来增加损失的方式使合成图像退化(Degrade)，从而生成转换图像。
接着，安全衣服图案生成装置100可执行以下过程：将转换图像输入到客体检测器130，从而使客体检测器130输出表示从转换图像中检测到的骑手的骑手检测信息。
作为一例，参照图5，客体检测器130可将合成图像输入到至少一个卷积层131以使卷积层131对合成图像应用至少一次卷积运算而生成至少一个特征图(Feature Map)。并且，客体检测器130可将特征图输入到RPN(Region Proposal Network，区域建议网络)132而使RPN 132输出与特征图上的至少一个客体对应的至少一个建议盒(Proposal Box)。之后，客体检测器130可将特征图输入池化层(Pooling Layer)133以使池化层133对特征图上的与建议盒对应的至少一个区域应用池化运算而输出至少一个特征向量(FeatureVector)。并且，客体检测器130可将特征向量输入到FC层(Fully Connected Layer，全连接层)134而使FC层134对特征向量应用FC运算，并且可将FC层134的至少一个输出分别输入到分类层135和回归层136，以使分类层135和回归层136分别生成关于与各建议盒对应的各个客体的类信息和回归信息，检测合成图像上的客体即合成图像上的骑手，从而输出与骑手对应的客体信息。此时，客体信息可包括类信息和边界框信息。
接着，安全衣服图案生成装置100可使第一损失层140以与检测出的骑手即穿着合成有特定衣服图案的衣服的骑手对应的客体信息和与此对应的GT为参考，算出至少一个损失，从而反向传播算出的损失而以使损失最小化的方式调整特定衣服图案的初始值例如特定衣服图案的梯度。此时，以与骑手图像1对应的GT为参考算出的损失可以是特征损失(Feature Loss)，并且可以是与以上述图4中说明的GT图像为参考算出的感知损失不同的损失。
此外，衣服图案生成装置100可以以通过反向传播而使损失缩减的方向执行负梯度(Negative Gradient)方法。
另外，在上述说明中可使用对应于骑手图像1的GT，即包含标记骑手图像1而生成的与骑手对应的类信息及回归信息的GT，但在无法使用标注骑手图像1而生成的GT的情况下，可进行用于生成GT的其他过程。
即，安全衣服图案生成装置100可使客体检测器150检测位于骑手图像1上的骑手，输出与骑手对应的客体信息，并且将由客体检测器150输出的客体检测信息即与骑手对应的信息设定为GT。
此时，客体检测器150可以是与客体检测器130相同或与客体检测器130不同的其他客体检测器。
可通过反复进行上述过程，生成能够让客体检测器在如夜间、雪、雨等的周边环境中容易地检测客体的衣服图案，由此能够与如夜间、雪、雨等诱发图像或特征的降级的主要因素无关地检测客体。如上所述生成特定衣服图案并应用到骑手的原始图像中，在通过GAN对应用图案的图像附加诱发降级的周边环境的状态下，本发明通过增加由客体检测网络产生的骑手的检测评分(Detection Score)，从而提供对如夜间、雪、雨等那样诱发图像或特征的降级的对抗攻击具有鲁棒性的衣服图案(Clothing Patterns)。
此外，以上说明的本发明所涉及的实施例可以以能够通过各种计算机结构要素执行的程序命令的形态实现，并且存储在计算机可读记录介质中。所述计算机可读记录介质可以单独或组合包含程序命令、数据文件、数据结构等。存储在所述计算机可读记录介质中的程序命令是为本发明而特别设计并构成的，但也可以是计算机软件领域的技术人员公知而能够使用的程序命令。计算机可读记录介质的例子包含如硬盘、软盘及磁带的磁介质、如CD-ROM、DVD的光记录介质、如软式光盘(floptical disk)的磁光介质(magneto-opticalmedia)、以及如ROM、RAM、快闪存储器等的为了存储及执行程序命令而特别构成的硬件装置。作为程序命令的例子不仅包含如由编译器生成的机器代码，还包含使用解释器等能够由计算机运行的高级语言代码。为了执行本发明所涉及的处理，所述硬件装置可配置成以一个以上软件模块实现操作，反之也同样。
以上，通过如具体结构要素等的特定事项和限定的实施例及附图对本发明进行了说明，但这只是为了有助于本发明的更全面的理解而提供的，本发明并不限定于上述实施例，本发明所属技术领域的普通技术人员基于这种记载可进行各种修改及变形。
因此，本发明的思想并非由上述说明的实施例限定，权利要求书及与该权利要求书均等或等价变形的所有内容属于本发明的思想范畴。
[附图标记说明]
100：安全衣服图案生成装置
101：存储器
102：处理器。

Claims (14)

1.一种用于生成用于类人形体的至少一个安全衣服图案的方法，包括：
步骤a：在获取到所述类人形体的至少一个图像的情况下，安全衣服图案生成装置执行生成具有初始值的至少一个特定衣服图案的过程及将所述特定衣服图案和所述类人形体的所述图像输入到衣服合成网络的过程，使得所述衣服合成网络将所述类人形体的所述图像上的所述类人形体的衣服和所述特定衣服图案合成，从而生成与所述类人形体的所述图像对应的至少一个合成图像；
步骤b：所述安全衣服图案生成装置执行以下过程：将所述合成图像输入到图像转换网络，从而使所述图像转换网络转换所述合成图像上的周边环境并生成至少一个转换图像；以及将所述转换图像输入到客体检测器而使所述客体检测器输出表示在所述转换图像上检测到的所述类人形体的关于所述类人形体的检测信息；以及
步骤c：所述安全衣服图案生成装置执行以下过程：使第一损失层以关于所述类人形体的所述检测信息和与所述类人形体的所述图像对应的至少一个真实值GT为参考来算出至少一个损失；以及利用所述损失来更新所述特定衣服图案的所述初始值，从而使所述损失最小化。
2.根据权利要求1所述的方法，其中，
在所述步骤a中，所述安全衣服图案生成装置执行将所述特定衣服图案和所述类人形体的所述图像输入到所述衣服合成网络的过程，从而使所述衣服合成网络执行以下过程来生成所述合成图像：i)通过分割网络来分割所述类人形体的所述图像上的所述衣服和通过姿势推断网络来获取所述类人形体的所述图像上的所述类人形体的至少一个关节部位；ii)获取通过遮蔽层参考所述关节部位而利用所述特定衣服图案遮蔽所述衣服而生成的至少一个遮蔽图像；iii)连接所述遮蔽图像和所述类人形体的所述图像来生成至少一个连接图像；以及iv)通过编码器对所述连接图像应用至少一次卷积运算和通过解码器对所述编码器的输出应用至少一次去卷积运算。
3.根据权利要求2所述的方法，其中，
所述衣服合成网络处于由学习装置以利用所述特定衣服图案和所述类人形体的所述图像来生成所述合成图像的方式学习的状态，
所述学习装置通过反复执行以下过程来学习所述衣服合成网络：i)将所述类人形体的至少一个获取到的训练图像输入到所述分割网络而使所述分割网络分割所述类人形体的所述训练图像上的至少一个学习用衣服和将所述类人形体的所述训练图像输入到所述姿势推断网络而使所述姿势推断网络获取所述类人形体的所述训练图像上的至少一个学习用类人形体的至少一个学习用关节部位；ii)将所述学习用关节部位、所述学习用衣服及至少一个获取到的学习用衣服图案输入到所述遮蔽层，从而使所述遮蔽层以所述学习用关节部位为参考而利用所述学习用衣服图案来遮蔽所述学习用衣服以生成至少一个学习用遮蔽图像；iii)连接所述学习用遮蔽图像和所述类人形体的所述训练图像以生成至少一个学习用连接图像；iv)将所述学习用连接图像输入到所述编码器而使所述编码器对所述学习用连接图像应用至少一次卷积运算；和将所述编码器的所述输出输入到所述解码器而使所述解码器对所述编码器的所述输出应用至少一次去卷积运算而生成学习用合成图像；以及v)使第二损失层以v-1)所述学习用合成图像和v-2)至少一个真实值GT图像为参考算出至少一个感知损失，其中，所述至少一个真实值GT图像被生成为与所述类人形体的所述训练图像及所述学习用衣服图案对应；和通过参考所述感知损失的反向传播来调整所述解码器、所述编码器及所述遮蔽层中的至少一个参数以使所述感知损失最小化。
4.根据权利要求3所述的方法，其中，
通过利用所述学习用衣服图案遮蔽所述类人形体的所述训练图像上的所述学习用衣服来生成所述真实值GT图像。
5.根据权利要求1所述的方法，其中，
所述真实值GT为i)通过标记所述类人形体的所述图像而生成的与所述类人形体对应的信息及ii)从输入到所述客体检测器或其他客体检测器的所述类人形体的所述图像检测到的与所述类人形体对应的信息中的一者。
6.根据权利要求1所述的方法，其中，
在所述步骤b中，所述安全衣服图案生成装置执行以下过程：使所述图像转换网络将所述合成图像上的所述周边环境转换为其他周边环境，从而使用于检测所述类人形体的现有客体检测器的性能低于预设阈值。
7.根据权利要求6所述的方法，其中，
所述图像转换网络包括循环生成对抗网络GAN，所述循环生成对抗网络GAN对不成对且分别属于彼此不同的域的原始图像和转换图像进行图像到图像转换。
8.一种用于生成用于类人形体的至少一个安全衣服图案的安全衣服图案生成装置，包括：
至少一个存储器，其用于存储指令；以及
至少一个处理器，被配置成运行用于执行以下过程的所述指令：过程I：在获取到所述类人形体的至少一个图像的情况下，执行生成具有初始值的至少一个特定衣服图案的过程及将所述特定衣服图案和所述类人形体的所述图像输入到衣服合成网络的过程，使得所述衣服合成网络将所述类人形体的所述图像上的所述类人形体的衣服和所述特定衣服图案合成，从而生成与所述类人形体的所述图像对应的至少一个合成图像；过程II：将所述合成图像输入到图像转换网络，从而使所述图像转换网络转换所述合成图像上的周边环境并生成至少一个转换图像；和将所述转换图像输入到客体检测器而使所述客体检测器输出表示在所述转换图像上检测到的所述类人形体的关于所述类人形体的检测信息；以及过程III：使第一损失层以关于所述类人形体的所述检测信息和与所述类人形体的所述图像对应的至少一个真实值GT为参考来算出至少一个损失；和利用所述损失来更新所述特定衣服图案的所述初始值，从而使所述损失最小化。
9.根据权利要求8所述的安全衣服图案生成装置，其中，
在所述过程I中，所述处理器执行将所述特定衣服图案和所述类人形体的所述图像输入到所述衣服合成网络的过程，从而使所述衣服合成网络执行以下过程来生成所述合成图像：i)通过分割网络来分割所述类人形体的所述图像上的所述衣服和通过姿势推断网络来获取所述类人形体的所述图像上的所述类人形体的至少一个关节部位；ii)获取通过遮蔽层参考所述关节部位而利用所述特定衣服图案遮蔽所述衣服而生成的至少一个遮蔽图像；iii)连接所述遮蔽图像和所述类人形体的所述图像来生成至少一个连接图像；以及iv)通过编码器对所述连接图像应用至少一次卷积运算和通过解码器对所述编码器的输出应用至少一次去卷积运算。
10.根据权利要求9所述的安全衣服图案生成装置，其中，
所述衣服合成网络处于由学习装置以利用所述特定衣服图案和所述类人形体的所述图像来生成所述合成图像的方式学习的状态，
所述学习装置通过反复执行以下过程来学习所述衣服合成网络：i)将所述类人形体的至少一个获取到的训练图像输入到所述分割网络而使所述分割网络分割所述类人形体的所述训练图像上的至少一个学习用衣服和将所述类人形体的所述训练图像输入到所述姿势推断网络而使所述姿势推断网络获取所述类人形体的所述训练图像上的至少一个学习用类人形体的至少一个学习用关节部位；ii)将所述学习用关节部位、所述学习用衣服及至少一个获取到的学习用衣服图案输入到所述遮蔽层，从而使所述遮蔽层以所述学习用关节部位为参考而利用所述学习用衣服图案来遮蔽所述学习用衣服以生成至少一个学习用遮蔽图像；iii)连接所述学习用遮蔽图像和所述类人形体的所述训练图像以生成至少一个学习用连接图像；iv)将所述学习用连接图像输入到所述编码器而使所述编码器对所述学习用连接图像应用至少一次卷积运算；和将所述编码器的所述输出输入到所述解码器而使所述解码器对所述编码器的所述输出应用至少一次去卷积运算而生成学习用合成图像；以及v)使第二损失层以v-1)所述学习用合成图像和v-2)至少一个真实值GT图像为参考算出至少一个感知损失，其中，所述至少一个真实值GT图像被生成为与所述类人形体的所述训练图像及所述学习用衣服图案对应；和通过参考所述感知损失的反向传播来调整所述解码器、所述编码器及所述遮蔽层中的至少一个参数以使所述感知损失最小化。
11.根据权利要求10所述的安全衣服图案生成装置，其中，
通过利用所述学习用衣服图案遮蔽所述类人形体的所述训练图像上的所述学习用衣服来生成所述真实值GT图像。
12.根据权利要求8所述的安全衣服图案生成装置，其中，
所述真实值GT为i)通过标记所述类人形体的所述图像而生成的与所述类人形体对应的信息及ii)从输入到所述客体检测器或其他客体检测器的所述类人形体的所述图像检测到的与所述类人形体对应的信息中的一者。
13.根据权利要求8所述的安全衣服图案生成装置，其中，
在所述过程II中，所述处理器执行以下过程：使所述图像转换网络将所述合成图像上的所述周边环境转换为其他周边环境，从而使用于检测所述类人形体的现有客体检测器的性能低于预设阈值。
14.根据权利要求13所述的安全衣服图案生成装置，其中，
所述图像转换网络包括循环生成对抗网络GAN，所述循环生成对抗网络GAN对不成对且分别属于彼此不同的域的原始图像和转换图像进行图像到图像转换。
CN202010066983.4A 2019-01-31 2020-01-20 生成脚踏车骑手用安全衣服图案的方法及装置 Active CN111508042B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962799347P 2019-01-31 2019-01-31
US62/799,347 2019-01-31
US16/740,085 2020-01-10
US16/740,085 US10657584B1 (en) 2019-01-31 2020-01-10 Method and device for generating safe clothing patterns for rider of bike

Publications (2)

Publication Number Publication Date
CN111508042A CN111508042A (zh) 2020-08-07
CN111508042B true CN111508042B (zh) 2023-08-18

Family

ID=70736350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010066983.4A Active CN111508042B (zh) 2019-01-31 2020-01-20 生成脚踏车骑手用安全衣服图案的方法及装置

Country Status (5)

Country Link
US (1) US10657584B1 (zh)
EP (1) EP3690809B1 (zh)
JP (1) JP7071751B2 (zh)
KR (1) KR102265016B1 (zh)
CN (1) CN111508042B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554872B (zh) * 2021-07-19 2022-09-20 昭通亮风台信息科技有限公司 一种位于交通路口及弯道的检测预警方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933697A (zh) * 2014-03-20 2015-09-23 株式会社东芝 图像处理设备、图像处理系统以及图像处理方法
CN107437099A (zh) * 2017-08-03 2017-12-05 哈尔滨工业大学 一种基于机器学习的特定服饰图像识别与检测方法
CN109145947A (zh) * 2018-07-17 2019-01-04 昆明理工大学 一种基于部件检测和视觉特征的时尚女装图像细粒度分类方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6188777B1 (en) * 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
DE102008023523B4 (de) * 2008-05-15 2019-08-08 Dräger Safety AG & Co. KGaA Sicherheitsbekleidungsstück und Sicherheitssystem
US8379920B2 (en) * 2010-05-05 2013-02-19 Nec Laboratories America, Inc. Real-time clothing recognition in surveillance videos
US8798362B2 (en) * 2011-08-15 2014-08-05 Hewlett-Packard Development Company, L.P. Clothing search in images
US9143659B2 (en) * 2012-01-08 2015-09-22 Gary Shuster Clothing and body covering pattern creation machine and method
JP3180369U (ja) 2012-10-03 2012-12-13 ハイドサイン株式会社 衣服
WO2016070309A1 (en) * 2014-11-03 2016-05-12 Carroll Terrence A Textile matching using color and pattern recognition and methods of use
US9892296B2 (en) * 2014-11-12 2018-02-13 Joseph E. Kovarik Method and system for autonomous vehicles
CN107408279B (zh) * 2015-03-31 2021-06-11 世联株式会社 服装设计显示系统、服装制作系统、服装设计输出系统及服装设计输出方法
KR101736779B1 (ko) 2016-01-07 2017-05-18 주식회사 에스원 색상 정보를 이용한 환자복 인식 방법 및 이를 이용한 환자복 인식 시스템
EP3312762B1 (en) * 2016-10-18 2023-03-01 Axis AB Method and system for tracking an object in a defined area
EP3319041B1 (en) * 2016-11-02 2022-06-22 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
EP3582642A4 (en) * 2017-02-20 2021-01-13 3M Innovative Properties Company OPTICAL ARTICLES AND INTERACTING SYSTEMS
US10950006B2 (en) * 2017-05-17 2021-03-16 Katherine A. McLean Environmentally contextualized pattern generation
KR102117050B1 (ko) * 2017-09-08 2020-05-29 삼성전자주식회사 이미지 내 휴먼 분리를 위한 전자 장치 및 방법
US20190096066A1 (en) * 2017-09-28 2019-03-28 4Sense, Inc. System and Method for Segmenting Out Multiple Body Parts

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933697A (zh) * 2014-03-20 2015-09-23 株式会社东芝 图像处理设备、图像处理系统以及图像处理方法
CN107437099A (zh) * 2017-08-03 2017-12-05 哈尔滨工业大学 一种基于机器学习的特定服饰图像识别与检测方法
CN109145947A (zh) * 2018-07-17 2019-01-04 昆明理工大学 一种基于部件检测和视觉特征的时尚女装图像细粒度分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡聪 ; 屈瑾瑾 ; 许川佩 ; 朱爱军 ; .基于自适应池化的神经网络的服装图像识别.计算机应用.2018,(08),第2211-2216页. *

Also Published As

Publication number Publication date
KR20200095377A (ko) 2020-08-10
CN111508042A (zh) 2020-08-07
EP3690809C0 (en) 2023-07-12
KR102265016B1 (ko) 2021-06-16
JP7071751B2 (ja) 2022-05-19
EP3690809B1 (en) 2023-07-12
US10657584B1 (en) 2020-05-19
EP3690809A1 (en) 2020-08-05
JP2020125576A (ja) 2020-08-20

Similar Documents

Publication Publication Date Title
Sun et al. RTFNet: RGB-thermal fusion network for semantic segmentation of urban scenes
Li et al. A unified framework for concurrent pedestrian and cyclist detection
Wang et al. YOLOv5-Fog: A multiobjective visual detection algorithm for fog driving scenes based on improved YOLOv5
CN106780592A (zh) 基于相机运动和图像明暗的Kinect深度重建算法
JP6910081B2 (ja) 協調走行を遂行する各車両から取得された各走行イメージを統合する方法及びこれを利用した走行イメージ統合装置
CN109272493A (zh) 一种基于递归卷积神经网络的单目视觉里程计方法
CN113076891B (zh) 基于改进高分辨率网络的人体姿态预测方法及系统
CN111582232A (zh) 一种基于像素级语义信息的slam方法
Manssor et al. Real-time human detection in thermal infrared imaging at night using enhanced Tiny-yolov3 network
CN112084835A (zh) 基于航拍数据和遥测数据生成地图特征
Guo et al. Deep multi-scale and multi-modal fusion for 3D object detection
CN111508042B (zh) 生成脚踏车骑手用安全衣服图案的方法及装置
Liu et al. Unsupervised monocular visual odometry based on confidence evaluation
CN116740424A (zh) 基于Transformer的时序点云三维目标检测
CN116595871A (zh) 基于动态时空交互图的车辆轨迹预测建模方法与装置
Sun et al. IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes
Abdigapporov et al. Joint multiclass object detection and semantic segmentation for autonomous driving
Wang et al. PVF-DectNet: Multi-modal 3D detection network based on Perspective-Voxel fusion
Yang et al. A modified YOLOv5 for object detection in UAV-captured scenarios
CN114757819A (zh) 一种结构引导的风格偏差校正型风格迁移方法及系统
CN113191944B (zh) 一种多通道图像内容特征融合风格迁移方法及系统
Jeong et al. Fast and Lite Point Cloud Semantic Segmentation for Autonomous Driving Utilizing LiDAR Synthetic Training Data
CN113392812B (zh) 基于深度神经网络的道路车道线检测方法及系统
Ye et al. M2f2-net: Multi-modal feature fusion for unstructured off-road freespace detection
CN113284042A (zh) 一种多路并行图像内容特征优化风格迁移方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant