JP2020038640A - イメージ自動分類方法及びシステム - Google Patents

イメージ自動分類方法及びシステム Download PDF

Info

Publication number
JP2020038640A
JP2020038640A JP2019151535A JP2019151535A JP2020038640A JP 2020038640 A JP2020038640 A JP 2020038640A JP 2019151535 A JP2019151535 A JP 2019151535A JP 2019151535 A JP2019151535 A JP 2019151535A JP 2020038640 A JP2020038640 A JP 2020038640A
Authority
JP
Japan
Prior art keywords
product
shot
image
classified
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019151535A
Other languages
English (en)
Other versions
JP7358117B2 (ja
Inventor
チョ,ミョンフン
Myounghoon Cho
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NHN Japan Corp
Original Assignee
NHN Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NHN Japan Corp filed Critical NHN Japan Corp
Publication of JP2020038640A publication Critical patent/JP2020038640A/ja
Application granted granted Critical
Publication of JP7358117B2 publication Critical patent/JP7358117B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/413Classification of content, e.g. text, photographs or tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

【課題】PCウェブショッピングモールに存在する様々なイメージをモバイルウェブショッピングモールのユーザの都合に合わせて効果的に再構成するためのイメージ自動分類方法及びシステムを提供する。【解決手段】イメージ自動分類方法は、ウェブショッピングモールから複数の製品の全体コンテンツを取得し、取得した複数の製品の全体コンテンツでそれぞれの製品別の全体コンテンツを分類して格納し、1つの製品の全体コンテンツで複数の製品イメージを抽出し、抽出された複数の製品イメージを少なくとも1回以上自動分類して1つの製品に対する最終提供情報を生成することを含み、最終提供情報は、1つの製品に対する複数の製品イメージを複数のカテゴリ別に分類して、各分類された製品イメージを選択可能なように提供する情報である。【選択図】図6

Description

本発明は、イメージ自動分類方法及びシステムに関するものである。より詳細には、PCウェブ上の様々なイメージをモバイルウェブの都合に合わせて自動分類し、再構成して提供する方法及びシステムに関するものである。
スマートモバイル環境の急な発展に伴い、モバイルウェブ(Mobile Web)ショッピングモール産業が日に日に成長している。これにより、PCウェブ(Personal Computer Web)ショッピングモールの競争力増大のために、PCウェブショッピングモールをモバイルウェブショッピングモール化して提供することが普遍的な傾向となっている。
しかし、PCウェブショッピングモール上に存在する様々なイメージ(例えば、製品イメージ、着用イメージ、製品材質、及び/又は製品色相イメージ等)をモバイルウェブショッピングモールのユーザの都合に合わせて効果的に再構成する方法及びシステムが不十分であり、その必要性が増加している。
一方、人間の脳を摸倣するニューラルネットワーク(neural network)が考案されて、コンピュータが自ら外部データを組み合わせ、分析して学習するディープラーニング(deep learning)技術が発展するにつれて、AI(Artificial Intelligence、人工知能)が画期的に飛躍した。
これにより、コンピュータが人間に代えて膨大な量のデータを分析し、事物やデータを群集化したり、分類したりすることができる。
また、コンピュータ技術の発展により、膨大な量のデータを送受信するのに適したJson(Java Script(登録商標)Object Notation)ファイル形式が使用されることで、より軽量化されたデータフォーマット技術をつなぎ合わせたデータ送受信が可能である。
韓国公開特許第10−2016−0096832号
本発明の実施形態は、PCウェブショッピングモールに存在する様々なイメージをモバイルウェブショッピングモールのユーザの都合に合わせて効果的に再構成するためのイメージ自動分類方法及びシステムを提案する。
詳細には、本発明の実施形態は、PCウェブショッピングモールをモバイルウェブショッピングモール化する過程で、PCウェブショッピングモール上にランダムに並べられた様々な製品イメージをモバイルウェブショッピングモールユーザの都合に合わせて一々手作業で分類しなければならないという問題点を解決するために、PCウェブショッピングモールのランダムイメージをモバイルウェブ構築に適した形式に自動分類するイメージ自動分類方法及びシステムを提供しようとする。
ただし、本発明の実施形態がなそうとする技術的課題は、上記したような技術的課題に限定されず、さらに他の技術的課題が存在しうる。
本発明の一実施形態に係るイメージ自動分類方法は、ウェブショッピングモールから複数の製品の全体コンテンツを取得し、取得した複数の製品の全体コンテンツでそれぞれの製品別の全体コンテンツを分類して格納し、1つの製品の全体コンテンツで複数の製品イメージを抽出し、抽出された複数の製品イメージを少なくとも1回以上自動分類して1つの製品に対する最終提供情報を生成することを含み、最終提供情報は、1つの製品に対する複数の製品イメージを複数のカテゴリ別に分類して、各分類された製品イメージを選択可能なように提供する情報である。
このとき、1つの製品の全体コンテンツに基づいて1つの製品の製品情報を取得することをさらに含み、製品情報は、1つの製品が上衣、下衣、及びワンピースのうち、いずれか1つの製品種類のカテゴリに属するかを表す情報を含むことができる。
また、1つの製品の全体コンテンツで複数の製品イメージを抽出することは、隣接した製品イメージ間のテキストまたは空白の有無に基づいて、隣接した製品イメージをそれぞれの製品イメージに分離することを含むことができる。
また、抽出された複数の製品イメージを少なくとも1回以上自動分類して1つの製品に対する最終提供情報を生成することは、製品イメージを、製品着用可否を基準に着用ショット及び製品ショットのうち、少なくともいずれか1つのカテゴリに第1次分類することを含むことができる。
また、第1次分類することは、製品イメージ内にポーズ特徴があれば、着用ショットカテゴリに分類し、残りの製品イメージは、製品ショットカテゴリに分類することでありうる。
また、抽出された複数の製品イメージを少なくとも1回以上自動分類して1つの製品に対する最終提供情報を生成することは、第1次分類されたイメージが着用ショットの場合、着用ショットを、ポーズ形態を基準に正面ショット、背面ショット、全身ショット、クローズアップショット、スタンドショット、またはその他のポーズショットのうち、少なくともいずれか1つのカテゴリに第2次分類することを含むことができる。
また、第2次分類することは、着用ショットで背面ショットを検出することと、背面ショットを除いた正面ショットで全身ショットを検出した後、残りの正面ショットをクローズアップショットに分類することと、全身ショットをスタンドショットとその他のポーズショットに分類することとを含むことができる。
また、抽出された複数の製品イメージを少なくとも1回以上自動分類して1つの製品に対する最終提供情報を生成することは、第1次分類されたイメージが製品ショットの場合、製品ショットを、ビューポイントを基準に正面側ショット、背面側ショット、上面側ショット、下面側ショット、左面側ショット、または右面側ショットのうち、いずれか1つのカテゴリに第2次分類することを含むことができる。
また、製品ショットで1つの製品のディテールを撮影したディテールショットを分類することをさらに含むことができる。
また、抽出された複数の製品イメージを少なくとも1回以上自動分類して1つの製品に対する最終提供情報を生成することは、第2次分類されたイメージを第2次分類されたカテゴリのメインショットと残りのサブショットとに最終分類することをさらに含むことができる。
また、メインショットとサブショットとを最終分類する基準は、製品イメージで製品が露出された領域の大きさまたは製品イメージが第2次分類されて属したカテゴリに適用される確率でありうる。
また、最終提供情報は、各製品別の製品情報、第2次分類によるカテゴリ別の名前、及び第2次分類されたカテゴリのメインショットを出力する情報でありうる。また、最終提供情報は、1つのカテゴリのメインショットを選択する入力を受けると、1つのカテゴリに属した残りのサブショットを追加的に一括表示するインターフェースを含むことができる。
また、最終提供情報をユーザにJson形式のファイルで生成して送信することをさらに含むことができる。
本発明の実施形態に係るイメージ自動分類方法及びシステムは、PCウェブショッピングモール上にランダムに並べられた様々な製品イメージをモバイルウェブショッピングモールで使用するのに適した形式に自動分類して提供することにより、製品イメージを迅速かつ便利に分類させ、PCに比べて小さいディスプレイを有したモバイル環境で製品イメージをユーザにさらに効果的に伝達させることができる。
また、本発明の実施形態に係るイメージ自動分類方法及びシステムは、自動分類した情報をインターフェースで再構成して提供することにより、ユーザをして自動分類されたイメージを便利に確認させることができる。
本発明の実施形態に係るイメージ自動分類システムに対する概念図である。 本発明の実施形態に係るショッピングモールサーバの内部ブロック図である。 本発明の実施形態に係るイメージ自動分類サーバの内部ブロック図である。 本発明の実施形態に係る端末の内部ブロック図である。 本発明の実施形態に係るイメージ自動分類方法に対するフローチャートである。 本発明の実施形態に係る抽出した1つの製品の全体コンテンツを分析して分類するステップに対する細部フローチャートである。 本発明の実施形態に係る抽出した1つの製品の全体コンテンツを分析して分類するステップの細部フローに対する詳細フローチャートである。 本発明の実施形態に係る抽出した1つの製品の全体コンテンツを分析して分類する機能を提供中の形状を示す。 本発明の実施形態に係る最終提供情報の形状を示す。
本発明は、様々な変換を加えることができ、種々の実施形態を有することができるところ、特定の実施形態を図面に例示し、詳細な説明に詳しく説明する。本発明の効果及び特徴、そして、それらを達成する方法は、図面とともに詳しく後述されている実施形態を参照すれば明確になるであろう。しかし、本発明は、以下において開示される実施形態等に限定されるものではなく、様々な形態で実現されることができる。以下の実施形態において、第1、第2などの用語は、限定的な意味ではなく、1つの構成要素を他の構成要素と区別する目的として使用する。また、単数の表現は、文脈上、明白に異なるように意味しない限り、複数の表現を含む。また、「含む」または「有する」などの用語は、明細書上に記載された特徴または構成要素が存在することを意味するものであり、1つ以上の他の特徴または構成要素が付加される可能性を予め排除するものではない。また、図面では、説明の都合上、構成要素等が、その大きさが誇張または縮小され得る。例えば、図面に示された各構成の大きさ及び厚さは、説明の都合上、任意に示したので、本発明が必ずしも図示されたところに限定されない。
以下、添付された図面を参照して本発明の実施形態を詳しく説明する。図面を参照して説明する際に、同一である、又は対応する構成要素は同様の図面符号を付し、これに対する重複する説明は省略する。
図1は、本発明の実施形態に係るイメージ自動分類方法及びシステムに対する概念図である。
図1に示すように、実施形態に係るイメージ自動分類方法及びシステムは、ショッピングモールサーバ100、イメージ自動分類サーバ200、及び端末300を備えることができる。
ここで、図1の各構成要素は、ネットワーク(Network)を介して接続されることができる。ネットワークは、ショッピングモールサーバ100、イメージ自動分類サーバ200、及び/又は端末300などのようなそれぞれのノード相互間に情報交換が可能な接続構造を意味するものである。このようなネットワークの一例には、3GPP(3rd Generation Partnership Project)ネットワーク、LTE(Long Term Evolution)ネットワーク、WIMAX(World Interoperability for Microwave Access)ネットワーク、インターネット(Internet)、LAN(Local Area Network)、Wireless LAN(Wireless Local Area Network)、WAN(Wide Area Network)、PAN(Personal Area Network)、ブルートゥース(登録商標)(Bluetooth(登録商標))ネットワーク、衛星放送ネットワーク、アナログ放送ネットワーク、DMB(Digital Multimedia Broadcasting)ネットワークなどが含まれるが、これに限定されない。
また、本発明の実施形態では、自動分類されて提供されるイメージをオンラインショッピングモール上の衣類イメージに限定して説明するが、アクセサリや生活用品など、当業者が実施できる範囲内で様々な実施形態が可能である。
また、以下、本発明の実施形態では、説明の都合上、PCを介して提供されるウェブショッピングモールをウェブショッピングモールと記載し、モバイル端末で提供されるウェブショッピングモールをモバイルショッピングモールと記載して説明する。
<ショッピングモールサーバ>
まず、ショッピングモールサーバ100は、ネットワークを介して製品を注文し、販売できる電子商取引ウェブショッピングモールをユーザ端末に提供することができる。また、このようなショッピングモールサーバ100は、イメージ自動分類システムで必要なデータを送受信し、格納することができる。
詳細には、図2に示すように、ショッピングモールサーバ100は、データ送受信部110及びデータ格納部120を備えることができる。
まず、データ送受信部110は、イメージ自動分類が必要なウェブショッピングモール上の製品イメージをイメージ自動分類サーバ200に送信することができ、イメージ自動分類サーバ200から生成された最終提供情報を受信できる。
ここで、最終提供情報とは、イメージ自動分類サーバ200が自動分類されたイメージを容易に区分して確認できるように再構成して生成した最終結果物情報である。このとき、最終提供情報は、当該最終提供情報を効果的に活用できるインターフェースをさらに含んで提供されることができる。
詳細には、ショッピングモールサーバ100の管理者は、端末を介してショッピングモールサーバ100に接続して最終提供情報を閲覧し、閲覧された最終提供情報を活用して迅速かつ容易にモバイルショッピングモールを構築できる。すなわち、管理者は、ランダムにイメージが配列されても構わないウェブショッピングモールを構築した後、限定された空間のため、少数のイメージを効果的に配置させなければならないモバイルショッピングモールに変換するとき、最終提供情報を活用できる。
次に、データ格納部120は、ウェブショッピングモール及び/又はイメージ自動分類と関連した機能動作に必要な応用プログラム、データ、及び命令語のうち、いずれか1つ以上を格納することができる。
例えば、データ格納部120は、ウェブショッピングモール上の製品イメージ及び/又は製品名などを格納して管理することができる。
また、データ格納部120は、ROM、RAM、EPROM、フラッシュドライブ、ハードドライブなどのような様々な格納機器でありうるし、インターネット(internet)上で、データ格納部120の格納機能を行うウェブストレージ(web storage)でありうる。
<イメージ自動分類サーバ>
次に、イメージ自動分類サーバ200は、ウェブショッピングモールの様々なイメージをモバイルショッピングモール管理者の都合に合わせて自動分類し、自動分類したイメージを容易に区分して確認できるように再構成した情報を生成できる。
図3を参照してイメージ自動分類サーバ200の構成要素を詳しく説明すれば、イメージ自動分類サーバ200は、データ収集部210、データ分類部220、最終提供情報生成部230、データベース240、及びデータ配布部250を備えることができる。
まず、データ収集部210は、ショッピングモールサーバ100から製品の全体コンテンツを受信したり、ショッピングモールサーバ100に接続して製品の全体コンテンツを抽出して格納したりすることができる。
次に、データ分類部220は、受信及び/又は抽出した製品の全体コンテンツを予め設定された基準及び/又はイメージディープラーニング(Image Deep Learning)を利用して分析し、分類することができる。
このとき、データ分類部220は、複数の製品イメージ及び/又はテキストなどが接続されてなる製品コンテンツが存在する場合、接続されてなる製品コンテンツをそれぞれの製品イメージ及び/又はテキストに分離することができる。
次に、最終提供情報生成部230は、分離された製品イメージを分類カテゴリ(Category)によって区分及び再構成して最終提供情報を生成できる。
このとき、最終提供情報生成部230は、最終提供情報に当該最終提供情報を効果的に活用できるインターフェースをさらに含んで生成することができる。
次に、データベース240は、イメージ自動分類と関連した機能動作に必要な応用プログラム、データ、及び命令語のうち、いずれか1つ以上を格納することができる。
例えば、データベース240は、受信及び/又は抽出した製品の全体コンテンツ、イメージ分類基準にしたがって分類された製品イメージ、及び/又は最終提供情報などを格納して管理することができる。
このようなデータベース240は、ROM、RAM、EPROM、フラッシュドライブ、ハードドライブなどのような様々な格納機器でありうるし、インターネット(internet)上でデータベース240の格納機能を行うウェブストレージ(web storage)でありうる。
次に、データ配布部250は、最終提供情報などをショッピングモールサーバ100及び/又は端末300に送信してイメージ自動分類を介しての最終結果情報を配布することができる。
<端末>
端末300は、イメージ自動分類システムにおいて、イメージ自動分類サーバ200が生成した最終提供情報を受信して表示することができ、最終提供情報を活用したモバイルショッピングモールを利用できる環境を提供できる。
また、端末300は、最終提供情報に含まれたインターフェースを活用できる手段を提供できる。このような端末300は、モバイルショッピングモールを構築するための管理者の端末300でありうる。
このような端末300は、図4に示すように、通信部310、入力部320、ディスプレイ部330、メモリ340、及びプロセッサ350を備えることができる。
まず、通信部310は、イメージ自動分類システムに関連した各種情報を送受信できる。例えば、通信部310は、イメージ自動分類サーバ200が生成した最終提供情報を受信でき、モバイルショッピングモールを利用するための関連データを送受信できる。
このような通信部310は、移動通信のための技術標準または通信方式(例えば、GSM(登録商標)(Global System for Mobile communication)、CDMA(Code Division Multi Access)、HSDPA(High Speed Downlink Packet Access)、HSUPA(High Speed Uplink Packet Access)、LTE(Long Term Evolution)、LTE−A(Long Term Evolution−Advanced)等)によって構築された移動通信網上で基地局、外部の端末、任意のサーバのうち、少なくとも1つと無線信号を送受信できる。
次に、入力部320は、イメージ自動分類システムと関連したユーザの入力を検知できる。例えば、入力部320は、最終提供情報で提供するインターフェースと関連したユーザの入力を検知できる。
詳細には、入力部320は、ユーザがメインショットを選択する入力を検知すれば、選択されたメインショットと同一のカテゴリに分類されたサブショットを追加的に画面に表示させることができる。
次に、ディスプレイ部330は、イメージ自動分類システムと関連したグラフィックイメージを出力できる。
例えば、ディスプレイ部330は、最終提供情報及び/又はモバイルショッピングモールをグラフィックイメージで出力して提供することができる。
このようなディスプレイは、液晶ディスプレイ(liquid crystal display、LCD)、薄膜トランジスタ液晶ディスプレイ(thin film transistor−liquid crystal display、TFT LCD)、有機発光ダイオード(organic light−emitting diode、OLED)、フレキシブルディスプレイ(flexible display)、3次元ディスプレイ(3D display)、電子インキディスプレイ(e−ink display)のうち、少なくとも1つを含むことができる。
そして、入力部320及びディスプレイ部330が接続されてタッチスクリーンとして実現されることができる。
次に、メモリ340は、イメージ自動分類システムと関連した各種応用プログラム、データ、及び命令語のうち、いずれか1つ以上を格納することができる。例えば、メモリ340は、最終提供情報を活用したモバイルショッピングモールを実行できるアプリケーションなどを格納することができる。
このようなメモリ340は、ROM、RAM、EPROM、フラッシュドライブ、ハードドライブなどのような様々な格納機器でありうるし、インターネット(internet)上でメモリ340の格納機能を行うウェブストレージ(web storage)でありうる。
最後に、プロセッサ350は、前述した各構成要素の全般的な動作を制御し、駆動することができる。
このようなプロセッサ350は、ASICs(application specific integrated circuits)、DSPs(digital signal processors)、DSPDs(digital signal processing devices)、PLDs(programmable logic devices)、FPGAs(field programmable gate arrays)、制御機(controllers)、マイクロコントローラ(micro−controllers)、マイクロプロセッサ(microprocessors)、その他の機能実行のための電気的ユニットのうち、少なくとも1つを用いて実現されることができる。
<イメージ自動分類方法>
以下、イメージ自動分類方法についての詳細な説明に先立ち、本発明の実施形態では、より効果的な説明のためにウェブショッピングモールに存在する多数の製品のうち、1つの製品に対するイメージ自動分類に限定して説明することができる。しかし、1つの製品に対するイメージ以外の他の製品に対するイメージ自動分類も同じ方式で並列的に行われ、結合されて、最終的には、ウェブショッピングモールに含まれた全体製品のイメージが各々分類された最終提供情報が生成され得る。
図5は、本発明の実施形態に係るイメージ自動分類方法に対するフローチャートである。図6は、本発明の実施形態に係る抽出した1つの製品の全体コンテンツを分析して分類するステップに対する細部フローチャートである。図7は、本発明の実施形態に係る抽出した1つの製品の全体コンテンツを分析して分類するステップの細部フローに対する詳細フローチャートである。
図5に示すように、イメージ自動分類サーバ200は、ウェブショッピングモールアドレスを介してショッピングモールサーバ100に接続することができ、接続したショッピングモールサーバ100から複数の製品の全体コンテンツ(Contents)を抽出して格納することができる(ステップS101、ステップS102)。
これにより、イメージ自動分類サーバ200は、イメージ自動分類の対象になる製品の全体コンテンツを抽出してイメージ自動分類の基盤データを取得できる。
このとき、製品の全体コンテンツとは、ウェブショッピングモール上に製品を掲示するために使用する製品と関連した製品イメージ及び/又はテキストなどを包括する製品を説明するための全てのコンテンツの集合を意味する。
ここで、本発明の実施形態では、イメージ自動分類サーバ200がショッピングモールサーバ100に接続して製品の全体コンテンツを抽出して利用すると説明するが、ショッピングモールサーバ100が製品の全体コンテンツをイメージ自動分類サーバ200に送信するなどの様々な実施形態も可能であろう。
次に、複数の製品の全体コンテンツを抽出して格納したイメージ自動分類サーバ200は、抽出した複数の製品の全体コンテンツのうち、任意の1つの製品の全体コンテンツを分類できる(ステップS103)。
より詳細には、図6〜図7に示すように、イメージ自動分類サーバ200は、1つの製品を説明するための1つの製品の全体コンテンツで1つの製品イメージが検知されれば、これを抽出及び分離して、複数の製品イメージを取得できる(ステップS201、ステップS202)。
すなわち、イメージ自動分類サーバ200は、製品イメージの各々に対してイメージ分類を行うために、種々の製品イメージとテキストがランダムに並べられた製品の全体コンテンツでそれぞれの製品イメージを分離して抽出することができる。
例えば、イメージ自動分類サーバ200は、複数の製品コンテンツが連結された製品の全体コンテンツで製品イメージのみを分離するために、製品イメージ間に配置されたテキスト及び/又は空白有無などを基準にそれぞれの製品イメージを分離できる。
これにより、イメージ自動分類サーバ200は、検知された製品イメージ間のテキスト及び/又は空白があると判断する場合、連結された製品コンテンツを分離できる。他の実施形態において、イメージ自動分類サーバ200がスクリプト形式で製品の全体コンテンツを受信すれば、スクリプト形式でイメージを表す拡張子ファイルのみを抽出して、製品イメージを分離することもできる。
続いて、イメージ自動分類サーバ200は、取得した複数の製品イメージに基づいて製品情報を取得できる。(ステップS203)
詳細には、イメージ自動分類サーバ200は、取得した複数の製品イメージに基づいてイメージディープラーニングを行って製品情報を取得できる。
このとき、製品情報は、上衣、下衣、及び/又はワンピースなどのように、各製品の属したカテゴリに関する情報でありうる。
実施形態として、イメージ自動分類サーバ200は、少なくとも1つの製品イメージに基づいてイメージディープラーニングを行って製品の種類が「上衣」に該当するという製品情報を取得できる。
例えば、イメージ自動分類サーバ200は、オブジェクトのうち、種類別の衣服オブジェクトを分類するファッションディテクタ(fashion detector)ディープラーニングニューラルネットワークを利用して製品情報を取得できる。
次に、イメージ自動分類サーバ200は、取得した複数の製品イメージに対して第1の基準を基に第1次分類を行うことができる(ステップS204、ステップS301)。
実施形態において、イメージ自動分類サーバ200は、製品の着用可否に対して第1の基準にて製品イメージを区分することができる。例えば、イメージ自動分類サーバ200は、人やマネキンが製品を着用した状況を撮影した製品イメージと、製品だけが配置されて撮影した製品イメージを分類できる。
イメージ自動分類サーバ200は、着用ショットと製品ショットとを区分するために、製品イメージにおけるポーズ(Pose)有無を検出できる。
詳細には、イメージ自動分類サーバ200は、製品イメージにおけるポーズ可否を検出するために、ポーズ認識器を介してのイメージディープラーニングを利用できる。このとき、ポーズ認識器とは、ルール(Rule)方式でポーズの有無を判断するアルゴリズムであって、予め設定された規則及び/又は基準にしたがってポーズ有無を判断できる。
詳細には、ポーズ認識器は、製品イメージでキーポイント(Key point、例えば、関節など)が抽出されるか否かによって、製品イメージにおけるポーズの有無を検出できる。ここで、ポーズ別キーポイントは、人のポーズが含まれたイメージをディープラーニングするときに表す特徴ベクトルのパターンを意味する。
そして、ポーズ認識器は、キーポイントがある場合、ポーズがあると判断して、ポーズを含む製品イメージを着用ショットに分類し、キーポイントがない場合、ポーズがないと判断して製品ショットに分類することができる。
例えば、ポーズ認識器は、製品イメージをコンボリューションレイヤ(convolutional layer)、整流された線形ユニット関数及びマックスプーリング(max pooling layer)を含むコンボリューションニューラルネットワーク(convolutional neural network、CNN)に入力して出力として製品イメージに対する特徴ベクトルを取得できる。このようなコンボリューションニューラルネットワークは、物体の認識、区別など、コンピュータビジョン問題を解決するのに優れた性能を見せ、ポーズ認識及びポーズ分類に最適化されたイメージディープラーニングアルゴリズムでありうる。
その後、ポーズ認識器は、キーポイントと比較して、所定の類似度以上であれば、検出されたキーポイントに対するポーズがあることと判断することができる。
例えば、ポーズ認識器は、最終出力端に完全連結層(fully connected layer)を配置して、製品イメージに対する特徴ベクトルのポーズ有無を判別できる。まとめると、イメージディープラーニングの1つの種類であるポーズ認識器を利用してポーズ有無を判断したイメージ自動分類サーバ200は、ポーズが存在すると判断された製品イメージを着用ショットカテゴリ(以下、着用ショット)に分類することができ、ポーズが存在しないと判断された製品イメージを製品ショットカテゴリ(以下、製品ショット)に分類することができる第1次分類を行うことができる。
次に、イメージ自動分類サーバ200は、第1次分類された製品イメージに対して第2の基準を基に第2次分類することができる(ステップS205、ステップS302、ステップS303)。
ここで、イメージ自動分類サーバ200は、第1次分類されたイメージが着用ショットの場合と製品ショットの場合とによって異なる分類基準を利用して第2次分類を行うことができる。
まず、第1次分類されたイメージが着用ショットの場合、イメージ自動分類サーバ200は、第2次分類のために、着用ショットにおけるポーズ形態を基準に利用することができる。
このとき、イメージ自動分類サーバ200は、ポーズ形態によって正面を表すポーズイメージ(以下、正面ショット)、背面を表すポーズイメージ(以下、背面ショット)、全身を表すポーズイメージ(以下、全身ショット)、クローズアップ(Close−up)されたポーズイメージ(以下、クローズアップショット)、立っているポーズイメージ(以下、スタンド(Stand)ショット)、及び/又はその他のポーズイメージ(以下、その他のポーズショット)のうち、少なくとも1つのカテゴリに属するイメージに分類することができる。
また、イメージ自動分類サーバ200は、着用ショットにおけるポーズ形態を判断するために、イメージディープラーニングのうち、着用ショット認識器アルゴリズムを利用できる。
このとき、着用ショット認識器とは、ルール方式で製品イメージに属する人(または、マネキン)のポーズの形態を判断するアルゴリズムであって、予め設定された規則及び/又は基準にしたがってポーズ形態を判断できる。
詳細には、着用ショット認識器は、着用ショットを、1)背面ショット可否、2)全身ショット可否、及び3)スタンドショット可否のうち、少なくともいずれか1つ以上を基準として、1次分類された着用ショットを2次分類することができる。
より詳細には、着用ショット認識器は、1)背面ショット可否、2)全身ショット可否、及び3)スタンドショット可否を順次適用して、先に、1次分類された着用ショットにおいて背面ショット可否を分類基準として背面ショットを分類し、背面ショットでない残りの製品イメージに全身ショット可否を分類基準として適用して全身ショットを分類し、全身ショットでない残りの製品イメージを、スタンドショットを、分類基準として適用してスタンドショットに分類することができる。このような順序で着用ショットを分類する場合、イメージディープラーニング速度が向上し、正確度も向上させることができる。
例えば、着用ショット認識器は、コンボリューションニューラルネットワークを介して出力された特徴ベクトルを各々背面ショット、全身ショット、及びスタンドショットと学習された完全連結層に順次入力して、背面ショットと全身ショット及びスタンドショットを区分できる。
詳細には、背面ショットイメージと学習された完全連結層に特徴ベクトルを入力して、所定の確率以上であれば背面ショットに分類し、所定の確率未満であれば次の全身ショットと学習された完全連結層に入力して全身ショット可否を判定できる。このような方式で、全身ショットとスタンドショットとを区分することにより、着用ショットをポーズ形態によって区分することができる。
まとめると、着用ショット認識器を利用してポーズ形態を判断したイメージ自動分類サーバ200は、着用ショットが背面ショットであると判断された場合、背面ショットカテゴリ(以下、背面ショット)に分類することができ、着用ショットが背面ショットでないと判断された場合、正面ショットカテゴリ(以下、正面ショット)に分類することができる第2次分類を行うことができる。
また、イメージ自動分類サーバ200は、正面ショットが全身ショットであると判断された場合、全身ショットカテゴリ(以下、全身ショット)に分類することができ、正面ショットが全身ショットでないと判断された場合、クローズアップショットカテゴリ(以下、クローズアップショット)に分類することができる第2次分類を行うことができる。
また、イメージ自動分類サーバ200は、全身ショットがスタンドショットであると判断された場合、スタンドショットカテゴリ(以下、スタンドショット)に分類することができ、全身ショットがスタンドショットでないと判断された場合、その他のポーズショットカテゴリ(以下、その他のポーズショット)に分類することができる第2次分類を行うことができる。
例えば、イメージ自動分類サーバ200は、着用ショットであると判断された1つの製品イメージが正面ショット、全身ショット、及びスタンドショットであると判断された場合に、1つの製品イメージをスタンドショットに分類することができる。また、イメージ自動分類サーバ200は、着用ショットであると判断された1つの製品イメージが正面ショットと全身ショットであると判断され、スタンドショットでないと判断された場合に、1つの製品イメージをその他のポーズショットに分類することができる。
一方、第1次分類されたイメージが製品ショットの場合、イメージ自動分類サーバ200は、第2次分類のために、製品ショットがディテールショットであるか否かを基準に製品ショットを分類することができる。詳細には、コンボリューションニューラルネットワークから出力された特徴ベクトルでキーポイントが検出されなければ、製品イメージを製品ショットに区分することができる。
その後、製品ショットを製品全体ショットであるか、ディテールショットであるかの可否と、全体ショットの場合には、ビューポイントによって追加分類することができる。このような分類方式は、ポーズ認識と類似した方式で学習された製品ショット認識器を介してなされることができる。
すなわち、製品ショット認識器もコンボリューションニューラルネットワークを利用し、コンボリューションニューラルネットワークは、ディテールショットと全体ショット、ビューポイント別製品ショットによって学習されたネットワークでありうる。
このとき、ディテールショットとは、製品の一部分をクローズアップして撮影したイメージを意味する。
また、イメージ自動分類サーバ200は、製品ショットにおけるディテールショット可否を判断するために、製品ショット認識器及び/又はイメージディープラーニングを利用できる。
このとき、製品ショット認識器とは、ルール方式でポーズの形態を判断するアルゴリズムであって、予め設定された規則及び/又は基準にしたがってディテールショット可否を判断できる。
そして、第2次分類の基準は、製品ショットにおける製品に対する全体形態が認識可能であるか否かでありうる。
また、着用ショット認識器を介してポーズ形態を判断したイメージ自動分類サーバ200は、製品ショットがディテールショットであると判断された場合に、製品ショットをディテールショットカテゴリ(以下、ディテールショット)に分類することができる第2次分類を行うことができる。
加えて、イメージ自動分類サーバ200は、製品ショットがディテールショットでないと判断された製品ショットに対して、製品ショットにおける製品を眺めた時点であるビューポイント(Viewpoint)を基準に第2次分類することができる。このとき、イメージ自動分類サーバ200は、製品ショットにおけるビューポイントを判断するために、製品ショット認識器を使用できる。
ここで、製品ショット認識器は、第2次分類において、製品を眺めた時点が正面側、背面側、上面側、下面側、左面側、または右面側であるか否かを判断できる。
また、製品ショット認識器を利用してビューポイントを判断したイメージ自動分類サーバ200は、製品ショットにおける製品を眺めた時点が正面側、後面側、上面側、下面側、左面側、または右面側等の様々な時点のうち、少なくともいずれか1つの時点であると判断し、製品ショットをビューポイントによって分類することができる第2次分類を行うことができる。
実施形態として、イメージ自動分類サーバ200は、製品ショットであると判断された1つの製品イメージにおける製品を眺めた時点が正面側であると判断された場合、1つの製品イメージを正面側ショットカテゴリ(以下、正面側ショット)に分類することができる。
また、イメージ自動分類サーバ200は、製品ショットであると判断された他の1つの製品イメージにおける製品を眺めた時点が左面側であると判断された場合、1つの製品イメージを左面側ショットカテゴリ(以下、左面側ショット)に分類することができる。
以上、前述した実施形態では、イメージ自動分類サーバ200が製品イメージを分類するために、製品情報、着用可否、ポーズ有無、ポーズ形態、及び/又はビューポイントなどの基準を利用すると説明したが、通常の技術者が実施できる範囲内で様々な実施形態が可能であろう。
次に、イメージ自動分類サーバ200は、第2次分類されたイメージに対して第3の基準を基に最終分類を行うことができ、最終分類を介して最終分類された製品イメージを取得できる(ステップS206、ステップS304)。
そして、イメージ自動分類サーバ200は、最終分類を介してメイン(Main)ショットとサブ(Sub)ショットとを分類できる。
ここで、メインショットとは、製品イメージを分類した各カテゴリにおいて当該カテゴリを最も代表できるAカットイメージを意味する。
また、サブショットとは、製品イメージを分類した各カテゴリでメインショットを除いた残りのBカットイメージを意味する。
さらに戻ってきて、イメージ自動分類サーバ200は、最終分類のために、第2次分類されたイメージにおけるメインショットとサブショットとを分ける基準は、製品露出領域の大きさ及び/又は1つのカテゴリに製品イメージが適用される確率でありうる。ここで、製品露出領域の大きさとは、製品イメージで製品が占める領域の大きさを意味する。また、1つのカテゴリに製品イメージが適用される確率は、製品イメージがカテゴリの分類基準に符合する程度を意味する。
詳細には、イメージ自動分類サーバ200は、第2次分類されたイメージでの製品露出領域の大きさが大きいほどメインショットに分類することができ、第2次分類されたイメージが分類されて属したカテゴリの第2次分類されたイメージに対する適用確率が大きいほどメインショットに分類することができる。
実施形態として、第2次分類されたイメージが着用ショットの場合、イメージ自動分類サーバ200は、特定カテゴリに第2次分類された着用ショットである1つの製品イメージの製品露出領域の大きさが特定カテゴリと同一のカテゴリに第2次分類された他の製品イメージの製品露出領域の大きさに比べて大きいか判断することができる。
そして、イメージ自動分類サーバ200は、着用ショットである1つの製品イメージの製品露出領域の大きさが他の製品イメージの製品露出領域の大きさに比べて最も大きい場合、1つの製品イメージをメインショットに分類することができる。
また、イメージ自動分類サーバ200は、特定カテゴリに第2次分類された着用ショットである1つの製品イメージが特定カテゴリと同一のカテゴリに第2次分類された他の製品イメージに比べて特定カテゴリの分類基準にさらに符合する場合、1つの製品イメージをメインショットに分類する最終分類を行うことができる。
続いて、イメージ自動分類サーバ200は、各カテゴリ別に分類されたメインショットを除いた残りの第2次分類されたイメージをサブショットに分類することができる最終分類を行うことができる。
他の実施形態として、第2次分類されたイメージが製品ショットの場合、イメージ自動分類サーバ200は、特定カテゴリに第2次分類された製品ショットである1つの製品イメージの製品露出領域の大きさが特定カテゴリと同一のカテゴリに第2次分類された他の製品イメージの製品露出領域の大きさに比べて大きいか判断することができる。
そして、イメージ自動分類サーバ200は、製品ショットである1つの製品イメージの製品露出領域の大きさが他の製品イメージの製品露出領域の大きさに比べて最も大きい場合、製品ショットである1つの製品イメージをメインショットに分類する最終分類を行うことができる。
また、イメージ自動分類サーバ200は、特定カテゴリに第2次分類された製品ショットである1つの製品イメージが特定カテゴリと同一のカテゴリに第2次分類された他の製品イメージに比べて特定カテゴリの分類基準にさらに符合する場合、製品ショットである1つの製品イメージをメインショットに分類する最終分類を行うことができる。
続いて、イメージ自動分類サーバ200は、各カテゴリ別に分類されたメインショットを除いた残りの第2次分類されたイメージをサブショットに分類することができる最終分類を行うことができる。
このとき、実施形態では、イメージ自動分類サーバ200が第2次分類された製品ショットに対して製品露出領域の大きさ及び/又は製品イメージが分類されて属したカテゴリの製品イメージに対する適用確率の程度を利用して最終分類をすると説明したが、他の実施形態では、第2次分類された製品ショットに対して製品露出領域の大きさが最も大きいと判断される特定時点のショット(例えば、正面側ショット)を予め設定し、予め設定された特定時点のショットをメインショットに分類する最終分類を行うこともできるなど、様々な実施形態が可能であろう。
また、イメージ自動分類サーバ200は、前述したような抽出した製品イメージを分析して分類する機能を図8のような画面で提供することもできる。
これにより、本発明の実施形態は、ウェブショッピングモール上にランダムに並べられた様々な製品イメージを本発明の実施形態での様々な基準にしたがってモバイルショッピングモールで使用するのに適した優先順位順序で自動分類することにより、製品イメージを迅速かつ便利に分類することができ、PCに比べて小さいディスプレイを有したモバイル環境で製品イメージをユーザにさらに効果的に伝達することができる。
さらに、図5についての説明に戻り、任意の1つの製品の全体コンテンツを分析して分類を完了したイメージ自動分類サーバ200は、他の製品の全体コンテンツを分析して分類することができる。(ステップS104)
詳細には、イメージ自動分類サーバ200は、他の製品の全体コンテンツに対して前述した1つの製品の全体コンテンツの分類方法と同様の方式でイメージ自動分類を行うことができる。
このとき、他の製品の全体コンテンツとは、ウェブショッピングモールで抽出された複数の製品の全体コンテンツのうち、任意の1つに選定された1つの製品の全体コンテンツ以外の残りの製品の全体コンテンツの各々を意味できる。また、イメージ自動分類サーバ200は、他の製品の全体コンテンツに対するイメージ自動分類を介して最終分類された製品イメージを1つの製品の全体コンテンツのように取得することができる。ここで、本発明の実施形態では、1つの製品の全体コンテンツに対するイメージ自動分類を行った後、他の製品の全体コンテンツに対するイメージ自動分類を行って最終分類された製品イメージを取得すると説明したが、これに限定されない。他の実施形態では、ウェブショッピングモールに掲示された全ての製品の全体コンテンツに対して一括的にイメージ自動分類を行った後、最終分類された製品イメージを取得するなどの様々な実施形態が可能である。
次に、イメージ自動分類サーバ200は、取得した最終分類された製品イメージを再構成して最終提供情報を生成できる(ステップS105)。
詳細には、イメージ自動分類サーバ200は、1つの製品の全体コンテンツ及び/又は他の製品の全体コンテンツにおけるイメージ自動分類を介して取得した最終分類された製品イメージに基づいて最終提供情報を生成できる。
このとき、イメージ自動分類サーバ200は、最終分類された製品イメージを分類カテゴリによって区分が容易なように再構成して最終提供情報を生成でき、最終提供情報を効果的に活用できるインターフェースをさらに含んで提供することができる。
詳細には、図9に示すように、イメージ自動分類サーバ200は、最終提供情報を介してユーザに各製品別の製品情報、各カテゴリ別の名前及び/又は各製品とカテゴリ別のメインショットなどを先に提供することができる。
詳細には、全体最終提供情報は、各製品に対する最終提供情報が順次並べられた形態でありうる。そして、各製品の最終提供情報は、製品別の製品情報に該当する製品イメージのメインショットがカテゴリ別に順次並べられた形態でありうる。すなわち、最終提供情報は、一行には1つの製品の製品情報とカテゴリ別のメインショットが順次並べられることができ、このような各製品を表す行が一列に並べられた形態で構成されることができる。また、イメージ自動分類サーバ200は、ユーザから各製品とカテゴリ別のメインショットを選択する入力を受ける場合、メインショットの分類カテゴリに属した残りのサブショットを追加的に一括表示するインターフェースを提供できる。
実施形態として、イメージ自動分類サーバ200は、ユーザから第1の製品のその他のポーズショットのメインショットを選択する入力を受けた場合、第1の製品のその他のポーズショットに属するサブショットを、ポップアップウィンドウを介して画面に露出することができる。
このとき、イメージ自動分類サーバ200は、サブショットの露出順序をサブショットに属する各サブショットにおける製品露出領域の大きさが大きいほど、優先的に配置して表示することができ、他の実施形態では、サブショットをランダムな順序で配置して表示することもできる。
これにより、本発明の実施形態は、ウェブショッピングモールのような方式でモバイルショッピングモールに製品イメージを並べる場合に発生し得る不便さを効果的に解決でき、PCに比べて小さいモバイルディスプレイで製品イメージをランダムに表示するものでない、製品別のメインショットを自動分類し、整理して露出することにより、モバイル環境に適した製品イメージディスプレイを容易にすることができる。
また、本発明の実施形態は、イメージ自動分類を介して生成した最終提供情報を活用できるインターフェースを提供することにより、ユーザをして自動分類されたイメージを便利に確認させることができる。
次に、イメージ自動分類サーバ200は、生成した最終提供情報をショッピングモールサーバ100及び/又は端末300に送信することができる。(ステップS106)
詳細には、イメージ自動分類サーバ200は、最終提供情報をJson(JavaScript(登録商標) Object Notation)ファイル形式で生成することがき、Jsonファイル形式で生成した最終提供情報をショッピングモールサーバ100及び/又は端末300に送信することができる。
このように、イメージ自動分類サーバ200は、膨大な量のデータを送受信するのに適したJsonファイル形式を使用することにより、さらに軽量化されたデータフォーマット技術をつなぎ合わせたデータ送信をすることができ、生成した最終提供情報をより円滑にショッピングモールサーバ100及び/又は端末300に送信することができる。
前述したように、本発明の実施形態に係るイメージ自動分類方法及びシステムは、ウェブショッピングモール上にランダムに並べられた様々な製品イメージをモバイルショッピングモールで使用するのに適するように自動分類して提供することにより、製品イメージを迅速かつ便利に分類させ、PCに比べて小さいディスプレイを有したモバイル環境で製品イメージがユーザにさらに効果的に伝達されるようにすることができる。
すなわち、管理者は、最終提供情報を介して製品別、カテゴリ別、メインショットを一目で確認可能であり、必要なメインショットとサブショットとを容易にインターフェースとして抽出することができ、抽出されたイメージを介してモバイルショッピングモールを構築することにより、管理者の便宜を向上させることができる。
また、本発明の実施形態に係るイメージ自動分類方法及びシステムは、自動分類した情報をインターフェースとして再構成し提供することにより、ユーザをして自動分類されたイメージを便利に確認させることができる。
以上説明された本発明に係る実施形態は、様々なコンピュータ構成要素を介して実行され得るプログラム命令語の形態で実現されて、コンピュータ読み取り可能な記録媒体に記録されることができる。コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知されて使用可能なものでありうる。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスク、及び磁気テープのような磁気媒体、CD−ROM及びDVDのような光気録媒体、フロプティカルディスク(floptical disk)のような磁気−光媒体(magneto−optical medium)、及びROM、RAM、フラッシュメモリ140などのような、プログラム命令語を保存し、実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語コードだけでなく、インタプリタなどを使用してコンピュータにより実行され得る高級言語コードも含まれる。ハードウェア装置は、本発明に係る処理を行うために、1つ以上のソフトウェアモジュールに変更されることができ、その反対も同様である。
本発明において説明する特定実行等は、一実施形態であって、いかなる方法でも本発明の範囲を限定するものではない。明細書の簡潔さのために、従来の電子的な構成、制御システム、ソフトウェア、システムの他の機能的な側面等の記載は省略されることができる。また、図面に図示された構成要素間の線等の接続または接続部材などは、機能的な接続及び/又は物理的または回路的接続を例示的に表したものであって、実際装置では、代替可能であるか、追加の様々な機能的な接続、物理的な接続、または回路接続として表されることができる。また、「必須な」、「重要に」などのように、具体的な言及がなければ、本発明の適用のために必ず必要な構成要素でない場合がある。
また、説明した本発明の詳細な説明では、本発明の好ましい実施形態を参照して説明したが、当該技術分野の熟練された当業者または当該技術分野における通常の知識を有する者であれば、後述する特許請求の範囲に記載された本発明の思想及び技術領域から逸脱しない範囲内で本発明を様々に修正及び変更させることができることが理解できるであろう。したがって、本発明の技術的範囲は、明細書の詳細な説明に記載された内容に限定されるものではなく、特許請求の範囲により決められなければならないであろう。
100:ショッピングモールサーバ、110:データ送受信部、120:データ格納部、140:フラッシュメモリ、200:イメージ自動分類サーバ、210:データ収集部、220:データ分類部、230:最終提供情報生成部、240:データベース、250:データ配布部、300:端末、310:通信部、320:入力部、330:ディスプレイ部、340:メモリ、350:プロセッサ

Claims (17)

  1. イメージ自動分類サーバのプロセッサで行うイメージ自動分類方法であって、
    ウェブショッピングモールから複数の製品の全体コンテンツを取得し、
    前記取得した複数の製品の全体コンテンツでそれぞれの製品別の全体コンテンツを分類して格納し、
    1つの製品の全体コンテンツで複数の製品イメージを抽出し、
    前記抽出された複数の製品イメージを少なくとも1回以上自動分類して1つの製品に対する最終提供情報を生成すること、
    を含み、
    前記最終提供情報は、
    前記1つの製品に対する複数の製品イメージを複数のカテゴリ別に分類して、各分類された製品イメージを選択可能なように提供する情報であるイメージ自動分類方法。
  2. 前記1つの製品の全体コンテンツに基づいて前記1つの製品の製品情報を取得することをさらに含み、
    前記製品情報は、
    前記1つの製品が上衣、下衣、及びワンピースのうち、いずれか1つの製品種類のカテゴリに属するかを表す情報を含む請求項1に記載のイメージ自動分類方法。
  3. 前記1つの製品の全体コンテンツで複数の製品イメージを抽出することは、
    隣接した製品イメージ間のテキストまたは空白の有無に基づいて、前記隣接した製品イメージをそれぞれの製品イメージに分離することを含む請求項1に記載のイメージ自動分類方法。
  4. 前記抽出された複数の製品イメージを少なくとも1回以上自動分類して1つの製品に対する最終提供情報を生成することは、
    前記製品イメージを、製品着用可否を基準に着用ショット及び製品ショットのうち、少なくともいずれか1つのカテゴリに第1次分類することを含む請求項1に記載のイメージ自動分類方法。
  5. 前記製品着用可否を基準に着用ショット及び製品ショットのうち、少なくともいずれか1つのカテゴリに第1次分類することは、
    ポーズの有無によるキーポイントを特徴ベクトルとして出力するように学習されたコンボリューションニューラルネットワークを介して前記第1次分類が行われることを含む請求項4に記載のイメージ自動分類方法。
  6. 前記コンボリューションニューラルネットワークは、複数のコンボリューションレイヤと整流された線形ユニット関数フィルタを介して前記製品イメージの特徴ベクトルを出力し、前記特徴ベクトルと前記キーポイントとの類似度に応じて前記製品ショットと前記着用ショットとを区分する請求項5に記載のイメージ自動分類方法。
  7. 前記第1次分類することは、
    前記製品イメージ内にポーズ特徴があれば、着用ショットカテゴリに分類し、残りの製品イメージは、製品ショットカテゴリに分類することである請求項6に記載のイメージ自動分類方法。
  8. 前記抽出された複数の製品イメージを少なくとも1回以上自動分類して1つの製品に対する最終提供情報を生成することは、
    前記第1次分類されたイメージが前記着用ショットの場合、前記着用ショットを、ポーズ形態を基準に正面ショット、背面ショット、全身ショット、クローズアップショット、スタンドショット、またはその他のポーズショットのうち、少なくともいずれか1つのカテゴリに第2次分類することを含む請求項7に記載のイメージ自動分類方法。
  9. 前記第2次分類することは、
    前記着用ショットで背面ショットを検出し、
    前記背面ショットを除いた正面ショットで全身ショットを検出した後、残りの正面ショットをクローズアップショットに分類し、
    前記全身ショットをスタンドショットとその他のポーズショットに分類すること、
    を含む請求項8に記載のイメージ自動分類方法。
  10. 前記コンボリューションニューラルネットワークは、前記正面ショット及び背面ショットと学習された完全連結層をさらに備え、
    前記特徴ベクトルを前記正面ショットと学習された完全連結層に入力して、前記正面ショットであるか否かを決定し、前記製品イメージが正面ショットでなければ、前記背面ショットと学習された完全連結層に前記製品イメージを入力して背面ショットであるか否かを決定する請求項9に記載のイメージ自動分類方法。
  11. 前記抽出された複数の製品イメージを少なくとも1回以上自動分類して1つの製品に対する最終提供情報を生成することは、
    前記第1次分類されたイメージが前記製品ショットの場合、
    前記製品ショットを、ビューポイントを基準に正面側ショット、背面側ショット、上面側ショット、下面側ショット、左面側ショット、または右面側ショットのうち、いずれか1つのカテゴリに第2次分類することを含む請求項9に記載のイメージ自動分類方法。
  12. 前記製品ショットで前記1つの製品のディテールを撮影したディテールショットを分類することをさらに含む請求項11に記載のイメージ自動分類方法。
  13. 前記抽出された複数の製品イメージを少なくとも1回以上自動分類して1つの製品に対する最終提供情報を生成することは、
    前記第2次分類されたイメージを前記第2次分類されたカテゴリのメインショットと残りのサブショットとに最終分類することをさらに含む請求項11に記載のイメージ自動分類方法。
  14. 前記メインショットと前記サブショットとを最終分類する基準は、
    前記製品イメージで製品が露出された領域の大きさまたは前記製品イメージが第2次分類されて属したカテゴリに適用される確率である請求項13に記載のイメージ自動分類方法。
  15. 前記最終提供情報は、
    各製品別の製品情報、前記第2次分類によるカテゴリ別の名前、及び前記第2次分類されたカテゴリのメインショットを出力する情報である請求項14に記載のイメージ自動分類方法。
  16. 前記最終提供情報は、
    1つのカテゴリのメインショットを選択する入力を受けると、前記1つのカテゴリに属した残りの前記サブショットを追加的に一括表示するインターフェースを含む請求項15に記載のイメージ自動分類方法。
  17. 前記最終提供情報をユーザにJson形式のファイルで生成して送信することをさらに含む請求項13に記載のイメージ自動分類方法。
JP2019151535A 2018-08-31 2019-08-21 イメージ自動分類方法及びシステム Active JP7358117B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0103266 2018-08-31
KR1020180103266A KR102135477B1 (ko) 2018-08-31 2018-08-31 이미지 자동분류 방법 및 시스템

Publications (2)

Publication Number Publication Date
JP2020038640A true JP2020038640A (ja) 2020-03-12
JP7358117B2 JP7358117B2 (ja) 2023-10-10

Family

ID=69641269

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019151535A Active JP7358117B2 (ja) 2018-08-31 2019-08-21 イメージ自動分類方法及びシステム

Country Status (3)

Country Link
US (1) US11531882B2 (ja)
JP (1) JP7358117B2 (ja)
KR (1) KR102135477B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021174553A (ja) * 2020-04-23 2021-11-01 エヌエイチエヌ コーポレーション ディープラーニング基盤の仮想イメージ生成方法及びシステム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11195273B2 (en) 2019-10-11 2021-12-07 International Business Machines Corporation Disease detection from weakly annotated volumetric medical images using convolutional long short-term memory
US11417424B2 (en) * 2019-10-11 2022-08-16 International Business Machines Corporation Disease detection from weakly annotated volumetric medical images using convolutional long short-term memory and multiple instance learning
CN112287152B (zh) * 2020-10-26 2021-08-27 山东晨熙智能科技有限公司 一种照片分类方法及系统
US20220222730A1 (en) * 2021-01-13 2022-07-14 Fierce Capital Investment Inc Methods and systems for facilitating providing assistance to a user with shopping
KR102456012B1 (ko) * 2022-06-10 2022-10-18 주식회사 애자일소다 인공지능 기반의 분류 모델링 장치 및 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020087431A1 (en) * 2000-12-28 2002-07-04 Masayuki Morishima Order receiving and ordering system
JP2003085091A (ja) * 2001-09-10 2003-03-20 Hibiya Kadan:Kk ウエブページ管理支援システム
JP2009128997A (ja) * 2007-11-20 2009-06-11 Fujifilm Corp 衣類画像表示装置及び衣類画像表示方法
JP2011044053A (ja) * 2009-08-24 2011-03-03 Plaice Co Ltd 組み合わせ商品検討装置またはその方法
KR20110045293A (ko) * 2009-10-26 2011-05-04 주식회사 시맨틱스 인터넷 컨텐츠 내용에 가장 적합한 쇼핑몰의 상품정보를 자동으로 제공하는 상품광고 의미 매칭 서비스 시스템 및 방법
JP2018049322A (ja) * 2016-09-20 2018-03-29 ヤフー株式会社 情報提供装置、情報提供方法、および情報提供プログラム
KR20180080098A (ko) * 2017-01-03 2018-07-11 삼성전자주식회사 전자 장치 및 그 동작 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110123848A (ko) * 2010-05-10 2011-11-16 이경환 가상 피팅룸 서비스의 구현 방법 및 시스템
KR20160096832A (ko) 2015-02-06 2016-08-17 주식회사 컨비니언스 유사 의류 자동 검색 및 추천 알고리즘

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020087431A1 (en) * 2000-12-28 2002-07-04 Masayuki Morishima Order receiving and ordering system
JP2003085091A (ja) * 2001-09-10 2003-03-20 Hibiya Kadan:Kk ウエブページ管理支援システム
JP2009128997A (ja) * 2007-11-20 2009-06-11 Fujifilm Corp 衣類画像表示装置及び衣類画像表示方法
JP2011044053A (ja) * 2009-08-24 2011-03-03 Plaice Co Ltd 組み合わせ商品検討装置またはその方法
KR20110045293A (ko) * 2009-10-26 2011-05-04 주식회사 시맨틱스 인터넷 컨텐츠 내용에 가장 적합한 쇼핑몰의 상품정보를 자동으로 제공하는 상품광고 의미 매칭 서비스 시스템 및 방법
JP2018049322A (ja) * 2016-09-20 2018-03-29 ヤフー株式会社 情報提供装置、情報提供方法、および情報提供プログラム
KR20180080098A (ko) * 2017-01-03 2018-07-11 삼성전자주식회사 전자 장치 및 그 동작 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021174553A (ja) * 2020-04-23 2021-11-01 エヌエイチエヌ コーポレーション ディープラーニング基盤の仮想イメージ生成方法及びシステム
JP7161572B2 (ja) 2020-04-23 2022-10-26 エヌエイチエヌ クラウド コーポレーション ディープラーニング基盤の仮想イメージ生成方法及びシステム
US11727605B2 (en) 2020-04-23 2023-08-15 Nhn Cloud Corporation Method and system for creating virtual image based deep-learning

Also Published As

Publication number Publication date
US20200074299A1 (en) 2020-03-05
KR20200027093A (ko) 2020-03-12
JP7358117B2 (ja) 2023-10-10
KR102135477B1 (ko) 2020-07-17
US11531882B2 (en) 2022-12-20

Similar Documents

Publication Publication Date Title
JP2020038640A (ja) イメージ自動分類方法及びシステム
KR102585234B1 (ko) 전자 기기를 위한 비전 인텔리전스 관리
US9741137B2 (en) Image-based color palette generation
Hoang Ngan Le et al. Robust hand detection and classification in vehicles and in the wild
US9552656B2 (en) Image-based color palette generation
US9396560B2 (en) Image-based color palette generation
CN110929807B (zh) 图像分类模型的训练方法、图像分类方法及装置
US9311889B1 (en) Image-based color palette generation
CN109643448A (zh) 机器人系统中的细粒度物体识别
CN109727264A (zh) 图像生成方法、神经网络的训练方法、装置和电子设备
WO2021238548A1 (zh) 区域识别方法、装置、设备及可读存储介质
US11514605B2 (en) Computer automated interactive activity recognition based on keypoint detection
Hussain et al. Real time violence detection in surveillance videos using Convolutional Neural Networks
WO2023044663A1 (en) Methods and apparatus for team classification in sports analysis
Hu et al. AGNet: Attention-guided network for surgical tool presence detection
CN111930964B (zh) 内容处理方法、装置、设备及存储介质
CN110807379B (zh) 一种语义识别方法、装置、以及计算机存储介质
KR102466978B1 (ko) 딥러닝 기반 가상 이미지 생성방법 및 시스템
Li et al. Student behavior recognition for interaction detection in the classroom environment
CN113159200A (zh) 对象分析方法、装置及存储介质
Ishikawa et al. Audio-visual hybrid approach for filling mass estimation
CN108875494A (zh) 视频结构化方法、装置、系统及存储介质
CN117953581A (zh) 动作识别的方法、装置、电子设备及可读存储介质
KR20220041319A (ko) 딥러닝 기반 상품검색 방법 및 시스템
CN114064973B (zh) 视频新闻分类模型建立方法、分类方法、装置及设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220721

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230824

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230927

R150 Certificate of patent or registration of utility model

Ref document number: 7358117

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150