JP2023000312A - 情報処理装置、情報処理方法、及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法、及び情報処理プログラム Download PDF

Info

Publication number
JP2023000312A
JP2023000312A JP2021101057A JP2021101057A JP2023000312A JP 2023000312 A JP2023000312 A JP 2023000312A JP 2021101057 A JP2021101057 A JP 2021101057A JP 2021101057 A JP2021101057 A JP 2021101057A JP 2023000312 A JP2023000312 A JP 2023000312A
Authority
JP
Japan
Prior art keywords
image
user
information processing
illustration
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021101057A
Other languages
English (en)
Other versions
JP7342065B2 (ja
Inventor
賢治 土井
Kenji Doi
雅二郎 岩崎
Masajiro Iwasaki
修平 西村
Shuhei Nishimura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2021101057A priority Critical patent/JP7342065B2/ja
Priority to US17/690,902 priority patent/US20220414738A1/en
Publication of JP2023000312A publication Critical patent/JP2023000312A/ja
Application granted granted Critical
Publication of JP7342065B2 publication Critical patent/JP7342065B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0623Item investigation
    • G06Q30/0625Directed, with specific intent or strategy
    • G06Q30/0627Directed, with specific intent or strategy using item specifications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Abstract

【課題】ユーザが所望する検索を容易にすること。【解決手段】本願に係る情報処理装置は、取得部と、受付部と、提供部とを有する。取得部は、ユーザが指定した取引対象が含まれる画像であるベース画像を取得する。受付部は、ベース画像に含まれる取引対象がイラスト化されたイラスト化取引対象を含むイラスト画像に対するユーザの編集を受け付ける。提供部は、ユーザにより編集されたイラスト画像である編集後イラスト画像を、画像検索を行う検索サーバに対して提供する。【選択図】図1

Description

本発明は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。
従来、検索クエリとして入力された情報と対応する情報の検索を行う技術が知られている。このような技術の一例として、受付けた手書き画像から生成した画像を用いて画像検索を行う技術が提供されている(例えば、特許文献1)。
特許第6403861号公報
しかしながら、上記の従来技術には、改善の余地がある。例えば、上記の従来技術では、ユーザが何もない状態から手書きを開始しており、必ずしもユーザビリティが高いとは言えない。そのため、ユーザビリティがより高く、ユーザが所望する検索を容易にすることが望まれている。
本願は、上記に鑑みてなされたものであって、ユーザが所望する検索を容易にする情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。
本願に係る情報処理装置は、ユーザが指定した取引対象が含まれる画像であるベース画像を取得する取得部と、前記ベース画像に含まれる取引対象がイラスト化されたイラスト化取引対象を含むイラスト画像に対する前記ユーザの編集を受け付ける受付部と、前記ユーザにより編集された前記イラスト画像である編集後イラスト画像を、画像検索を行う検索サーバに対して提供する提供部と、を備えたことを特徴とする。
実施形態の一態様によれば、ユーザが所望する検索を容易にすることができるという効果を奏する。
図1は、実施形態に係る情報処理の一例を示す図である。 図2は、実施形態に係る情報処理の一例を示す図である。 図3は、実施形態に係る情報処理システムの構成例を示す図である。 図4は、実施形態に係る端末装置の構成例を示す図である。 図5は、実施形態に係るモデル情報記憶部の一例を示す図である。 図6は、実施形態に係る情報処理の一例を示すフローチャートである。 図7は、ハードウェア構成の一例を示す図である。
以下に、本願に係る情報処理装置、情報処理方法、及び情報処理プログラムを実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法、及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
(実施形態)
〔1.情報処理〕
図1及び図2を用いて、実施形態に係る情報処理の一例について説明する。図1及び図2は、実施形態に係る情報処理の一例を示す図である。具体的には、図1は、情報処理システム1(図3参照)が実行する情報処理の概要を示す図である。また、図2は、情報処理システム1に含まれる端末装置10及び検索サーバ50間の通信を含め、情報処理システム1が実行する情報処理の詳細を示す図である。
〔1-1.情報処理システムの構成〕
まず、図1及び図2の説明に先立って、図3に示す情報処理システム3の構成について説明する。図3に示すように、情報処理システム1は、端末装置10と、検索サーバ50とが含まれる。端末装置10と、検索サーバ50とは所定のネットワークNを介して、有線または無線により通信可能に接続される。図3は、実施形態に係る情報処理システムの構成例を示す図である。なお、図3に示した情報処理システム1には、複数台の端末装置10や、複数台の検索サーバ50が含まれてもよい。
端末装置10は、ユーザによって利用される情報処理装置(コンピュータ)である。端末装置10は、情報処理を実行する情報処理装置であり、例えば、スマートフォンやタブレット等のスマートデバイスにより実現される。例えば、端末装置10は、3G(3rd Generation)やLTE(Long Term Evolution)等の無線通信網を介して任意のサーバ装置と通信を行うことができる携帯端末装置である。なお、端末装置10は、スマートデバイスのみならず、デスクトップPC(Personal Computer)やノートPC等の情報処理装置であってもよい。端末装置10は、種々のアプリケーション(「アプリ」ともいう)に関する情報を画面に表示する表示装置である。
ここで、端末装置10は、ユーザから各種の入力を受け付ける機能を有する。例えば、端末装置10は、ユーザの入力を受け付けるタッチパネルを有し、表示した画像に対するユーザが指やスタイラスを用いた編集操作を受け付ける機能を有する。
また、端末装置10は、画像のスタイルを変更する機能を有してもよい。例えば、端末装置10は撮像された写真である画像のスタイルをイラストに変換する機能を有する。この場合、端末装置10は、取引対象が撮影された写真(画像)からイラスト化した画像(「イラスト画像」ともいう)を生成する処理(「イラスト化の処理」ともいう)を実行する。ここでいう取引対象とは、商品や役務等の取引の対象となり得るものであればどのような対象であってもよく、例えば、電子商店街に出品された商品や役務等である。以下では、商品であるスニーカ(靴)を取引対象の一例として説明するが、スニーカに限らず、例えば不動産物件の間取り等取引の対象となり得るものであればどのような対象であってもよい。
なお、イラスト化の処理については種々の技術が用いられてもよい。例えば、端末装置10は、CycleGAN(Generative Adversarial Network)等のCNN(Convolution Neural Network)ベースの手法を用いて、イラスト化の処理を実行してもよい。また、例えば、端末装置10は、上述した特許文献1に記載される技術を用いて、イラスト化の処理を行ってもよい。
以下の例では、端末装置10が画像をイラスト化したイラスト画像を生成する生成モデルM1を用いて、写真(画像)からイラスト画像を生成する場合を一例として説明する。例えば、生成モデルM1は、CycleGAN等のCNNベースの手法を用いて学習され、入力された画像をイラスト化した画像(イラスト画像)を出力するモデルである。例えば、CycleGAN等の手法を用いることにより、写真からイラストへの変換だけでなく、イラストから写真への逆変換も行うことができる。この場合、情報処理システム1は、例えば、編集後のイラストを写真(写真画像)に戻した(逆変換した)後、逆変換後の写真画像で作成済みのインデックスを検索することができる。なお、上記は一例に過ぎず、生成モデルM1は、任意の手法により学習されてもよい。
なお、イラスト化の処理は端末装置10以外の装置が行ってもよい。例えば、情報処理システム1には、イラスト化の処理を行う画像処理サーバが含まれてもよい。この場合、例えば、端末装置10は、イラスト化したい画像を画像処理サーバへ送信し、画像を受信した画像処理サーバがその画像をイラスト化したイラスト画像を生成する。例えば、画像処理サーバは、CycleGAN等のCNNベースの手法を用いて学習された生成モデルM1を用いて、イラスト画像を生成する。そして、画像処理サーバが生成したイラスト画像を端末装置10へ送信することにより、端末装置10はイラスト画像を取得してもよい。
検索サーバ50は、端末装置10を利用するユーザに検索サービスを提供するコンピュータである。検索サーバ50は、画像検索を実行する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。例えば、検索サーバ50は、検索クエリとなる画像(「クエリ画像」ともいう)を受け付けると、検索対象となる各種画像の中からクエリ画像と類似する画像を検索する検索処理を実行し、検索結果を提供する。具体的には、検索サーバ50は、端末装置10からイラスト画像をクエリ画像(「クエリイラスト」ともいう)として受け付けると、そのイラスト画像を基に検索処理を実行し、検索結果を提供する。このように、検索サーバ50は、検索対象となる商品等の取引対象をイラスト化したインデックスを用いて、検索処理を実行し、検索結果を提供してもよい。なお、上記は一例に過ぎず、検索サーバ50は、本来の写真のままの商品画像で作成したインデックスを用いてもよい。この場合、検索インデックス(インデックス)は、本来の写真のままの商品画像で作成したインデックス(第1インデックス)と、イラスト化後の画像で作成したインデックス(第2インデックス)とを含む複数のインデックスであってもよい。この場合、検索サーバ50は、変換後のスタイルに応じて、複数のインデックスのいずれかを用いて、検索処理を実行し、検索結果を提供してもよい。例えば、検索サーバ50は、変換後のスタイル(線画や印象派風等)に応じて、第1インデックスまたは第2インデックスのいずれかを用いて、検索処理を実行し、検索結果を提供してもよい。例えば、検索サーバ50は、変換後の画像で検索を行う場合、第2インデックスを用いて、検索処理を実行し、検索結果を提供してもよい。また、例えば、検索サーバ50は、写真に戻して検索を行う場合、第1インデックスを用いて、検索処理を実行し、検索結果を提供してもよい。
検索サーバ50は、電子商店街において出品された取引対象の各々について、取引対象を示す画像として登録された画像(「登録画像」ともいう)がイラスト化された画像(「登録イラスト画像」ともいう)を用いて検索処理を実行する。例えば、電子商店街において出品された取引対象の中から、登録イラスト画像がクエリ画像(クエリイラスト)と類似する取引対象を検索し、検索結果として、登録イラスト画像がクエリ画像(クエリイラスト)と類似する取引対象の情報を抽出する。
また、例えば、検索サーバ50は、検索結果として抽出した取引対象の登録画像や価格、取引対象を販売する電子商店街の店舗の情報等を提供する。このように、検索サーバ50は、クエリ画像となるイラスト画像に、登録イラスト画像が類似する取引対象の情報を提供する。なお、検索サーバ50は、取引対象の価格や販売履歴、登録画像とクエリ画像との類似度に応じたランキングを生成し、生成したランキングを検索結果として提供してもよい。
上記は一例に過ぎず、検索サーバ50は、登録イラスト画像を用いることなく、登録画像とクエリ画像との類似関係を基に検索結果を提供してもよい。この場合、検索サーバ50は、電子商店街において出品された取引対象の中から、登録画像がクエリ画像と類似する取引対象を検索し、検索結果として、登録画像がクエリ画像と類似する取引対象の情報を提供する。
〔1-2.処理概要〕
図1に戻って、ここから情報処理の概要について説明する。図1で情報処理システム1が処理の主体として記載されている処理については、情報処理システム1に含まれるいずれの装置が行ってもよい。
まず、情報処理システム1は、ベースとなる画像(「ベース画像」ともいう)を取得する。例えば、情報処理システム1は、ベースとなる商品を探し、その商品を含む画像をベース画像として取得する。図1の例では、情報処理システム1は、ベースとなる商品である赤いスニーカ(「取引対象Y」ともいう)を含むベース画像IM1を取得する。なお、図1及び図2では表示の都合上、画像中で赤色の部分(領域)をハッチングで示す。すなわち、ベース画像IM1に含まれる赤いスニーカ(取引対象Y)は、つま先部分及び底部が白色であり、その他の部分が赤いスニーカである場合を示す。
そして、情報処理システム1は、ベース画像をイラスト化する(ステップS1)。例えば、情報処理システム1は、CycleGAN等のCNNベースの手法を用いて、ベース画像をイラスト化する。情報処理システム1は、生成モデルM1を用いて、ベース画像IM1からイラスト画像IL1を生成する。イラスト画像IL1は、ベース画像IM1と同様に、つま先部分及び底部が白色であり、その他の部分が赤いスニーカのイラストを示す。すなわち、イラスト画像IL1は、赤いスニーカ(取引対象Y)がイラスト化されたイラスト状態の赤いスニーカ(「イラスト化取引対象IY」ともいう)を含む。
そして、情報処理システム1は、イラスト画像に対するユーザの編集を受け付ける(ステップS2)。例えば、ユーザは、イラスト化取引対象IYを確認し、自身の好みに応じてイラスト化取引対象IYに対する編集を行う。図1では、ユーザは、つま先部分を赤色に変更し、横の部分に白い波線上のマークを追加する編集を行う。情報処理システム1は、ユーザの編集に応じて、イラスト化取引対象IYが編集された編集後イラスト画像IL2を生成する。編集後イラスト画像IL2は、横の部分に追加された波線上のマーク及び底部が白色であり、その他の部分が赤いスニーカのイラストを示す。
そして、情報処理システム1は、編集後イラスト画像を用いて検索処理を実行する(ステップS3)。なお、上述したように、情報処理システム1は、例えば、編集後イラスト画像を写真に逆変換して、(写真用インデックスに対して)変換処理を実行してもよい。情報処理システム1は、編集後イラスト画像に類似した取引対象を検索する。例えば、情報処理システム1は、イラスト化した取引対象の検索インデックスを用意しイラストで実商品の検索を行う。情報処理システム1は、編集後イラスト画像IL2に類似する取引対象として、類似画像RS1に示す赤いスニーカを抽出する。類似画像RS1に示す赤いスニーカは、つま先部分が赤であり、横の部分に波線上の白いマークがある赤いスニーカであり、編集後イラスト画像IL2のスニーカのイラストに類似する取引対象である。
例えば、ユーザは、欲しい商品等の取引対象のイメージはあるが、キーワードで検索しづらい場合がある。このような場合、イラストを用いて、検索できるとユーザの利便性が向上する。一方で、ユーザがゼロからイラストを書くのは大変であり、負荷が高いという問題がある。そこで、情報処理システム1は、イラストを編集して、編集したイラストを用いて検索する処理を行う。例えば、情報処理システム1は、ベースの商品(例えばスニーカー)等の取引対象をイラストに変換し、そのイラストに対するユーザの編集を受け付ける。そして、情報処理システム1は、ユーザが編集したイラストをベースに見た目が類似する取引対象を検索する。これにより、情報処理システム1は、ユーザが所望する検索を容易にすることができる。
〔1-3.情報処理例〕
ここから、図2を用いて、情報処理システム1に含まれる端末装置10及び検索サーバ50間の通信を含め、情報処理システム1が実行する情報処理の詳細を説明する。図2では、端末装置10における表示内容の変更に応じて、端末装置10を端末装置10-1、端末装置10-2、端末装置10-3、端末装置10-4として説明する。なお、端末装置10-1、端末装置10-2、端末装置10-3、端末装置10-4は同一の端末装置10である。また、以下では、端末装置10-1、端末装置10-2、端末装置10-3、端末装置10-4について、特に区別なく説明する場合には、端末装置10と記載する。
まず、端末装置10-1は、ユーザが指定した取引対象が含まれる画像(ベース画像)を検索サーバ50に要求する(ステップS11)。端末装置10-1は、ユーザが入力したキーワード「赤いスニーカ」を検索サーバ50に送信することにより、検索サーバ50に赤いスニーカが含まれるベース画像の提供を要求する。
なお、図2では説明のために、端末装置10が検索サーバ50からベース画像IM1を取得する場合を示したが、端末装置10は、ベース画像IM1を検索サーバ50以外から取得してもよい。例えば、端末装置10は、検索サーバ50以外の装置(例えば画像提供装置等)からベース画像IM1を取得してもよいし、自装置で取引対象を撮像した画像をベース画像IM1として用いてもよい。
検索サーバ50は、端末装置10からの要求に対応する画像を抽出する(ステップS12)。検索サーバ50は、登録画像のうち、赤いスニーカが含まれる画像をベース画像IM1として抽出する。そして、検索サーバ50は、抽出したベース画像IM1を端末装置10へ送信する(ステップS13)。なお、検索サーバ50は、赤いスニーカが含まれる画像を複数抽出した場合、複数の画像をベース画像として端末装置10へ送信してもよい。
検索サーバ50からベース画像IM1を受信した端末装置10は、ベース画像IM1をイラスト化の処理を実行する(ステップS14)。端末装置10は、ベース画像IM1を生成モデルM1に入力し、生成モデルM1にベース画像IM1をイラスト化した画像を出力せることにより、イラスト化の処理を実行する。端末装置10は、ベース画像IM1をイラスト化したイラスト画像IL1を生成する。そして、図2に示すように、端末装置10-2は、イラスト画像IL1を表示する。
そして、イラスト画像IL1を表示する端末装置10-2は、イラスト画像IL1に対するユーザの編集を受け付ける(ステップS15)。端末装置10は、イラスト画像IL1のつま先部分を赤色に変更し、横の部分に白い波線上のマークを追加するユーザの編集を受け付ける。そして、図2に示すように、端末装置10-3は、イラスト画像IL1へのユーザの編集を反映した編集後イラスト画像IL2を表示する。
端末装置10-3に表示された編集後イラスト画像IL2を確認したユーザは、必要に応じてさらに編集を行ってもよい。図2では、編集後イラスト画像IL2が所望の態様になっているため、ユーザは、編集後イラスト画像IL2を用いた検索処理を行うための操作を端末装置10に対して行う。例えば、ユーザは、端末装置10-3に編集後イラスト画像IL2とともに表示された検索ボタンを選択することにより、編集後イラスト画像IL2を用いた検索処理を行うための操作を端末装置10に対して行う。
編集後イラスト画像IL2を用いた検索処理を行うための操作を受け付けた端末装置10-3は、検索サーバ50に編集後イラスト画像IL2を用いた検索処理を要求する(ステップS16)。端末装置10-3は、編集後イラスト画像IL2を検索サーバ50に対して提供する。例えば、端末装置10-3は、編集後イラスト画像IL2を検索サーバ50に送信することにより、検索サーバ50に編集後イラスト画像IL2を用いた検索処理を要求する。
検索サーバ50は、編集後イラスト画像IL2を用いた検索処理を実行する(ステップS17)。検索サーバ50は、編集後イラスト画像IL2に含まれる編集後の赤いスニーカに類似する取引対象を検索する。検索サーバ50は、検索処理により、編集後イラスト画像IL2に類似する取引対象として、類似画像RS1に示すような赤いスニーカ(「靴x」ともいう)を抽出する。例えば、検索サーバ50は、つま先部分が赤であり、横の部分に波線上の白いマークがある赤いスニーカを(靴x)含む類似画像RS1を抽出する。
そして、検索サーバ50は、検索結果を端末装置10へ提供する(ステップS18)。検索サーバ50は、検索結果として、類似画像RS1や類似画像RS1が示す靴x(取引対象)に関する情報を端末装置10へ送信する。
検索サーバ50から検索結果を受信した端末装置10は、検索結果を表示する(ステップS19)。図4では、端末装置10-4は、検索結果として、類似画像RS1等、靴xに関する情報を表示する。
〔1-4.その他〕
上記は一例に過ぎず、情報処理システム1が行う処理は上記に限られない。以下、情報処理システム1が行う処理について例示を記載する。
〔1-4-1.編集〕
上述した例では、ユーザがイラスト画像の色を変更する編集を行う場合を示したが、編集対象は色に限らず、イラスト化取引対象に対する編集であればどのような要素の変更であってもよい。
例えば、情報処理システム1は、ユーザによるイラスト化取引対象の形状を変更する編集を受け付けてもよい。この場合、端末装置10は、イラスト化取引対象に対するユーザによる形状の変更を受け付ける。そして、端末装置10は、ユーザによりイラスト化取引対象の形状が変更された後の編集後イラスト画像を、検索サーバ50に対して提供する。これにより、検索サーバ50は、形状が変更された後の編集後イラスト画像を用いて検索処理を行い、検索処結果を端末装置10へ送信する。例えば、図2の場合、ユーザはイラスト画像IL1に含まれるローカットのスニーカをハイカットのスニーカに変更する編集を行ってもよい。情報処理システム1は、ユーザによりハイカットに変更された編集後のイラスト化取引対象を用いて検索処理を行う。
また、例えば、情報処理システム1は、ユーザによるイラスト化取引対象の模様を変更する編集を受け付けてもよい。この場合、端末装置10は、イラスト化取引対象に対するユーザによる模様の変更を受け付ける。そして、端末装置10は、ユーザによりイラスト化取引対象の模様が変更された後の編集後イラスト画像を、検索サーバ50に対して提供する。これにより、検索サーバ50は、模様が変更された後の編集後イラスト画像を用いて検索処理を行い、検索処結果を端末装置10へ送信する。例えば、図2の場合、ユーザはイラスト画像IL1に含まれる赤一色のスニーカの模様を、迷彩等の模様のスニーカに変更する編集を行ってもよい。情報処理システム1は、ユーザにより迷彩の模様に変更された編集後のイラスト化取引対象を用いて検索処理を行う。
〔1-4-2.ベース画像〕
上述した例では、ユーザがキーワード「赤いスニーカ」により取引対象及びその色を指定し、端末装置10がユーザにより指定された赤い色の取引対象「スニーカ」のベース画像を取得する場合を示したが、ユーザの指定は上記に限られない。例えば、ユーザはキーワード「スニーカ」を用いて、取引対象のみを指定してもよい。
また、ユーザが取引対象及びその形状を指定し、端末装置10がユーザにより指定された形状の取引対象のベース画像を取得してもよい。例えば、ユーザがキーワード「ハイカットのスニーカ」により取引対象及びその形状を指定し、端末装置10がユーザにより指定されたハイカットのスニーカのベース画像を取得してもよい。
また、ユーザが取引対象及びその模様を指定し、端末装置10がユーザにより指定された形状の取引対象のベース画像を取得してもよい。例えば、ユーザがキーワード「チェック柄のスニーカ」により取引対象及びその模様を指定し、端末装置10がユーザにより指定されたチェック柄のスニーカのベース画像を取得してもよい。
なお、上記は一例に過ぎず、端末装置10は、ユーザの指定に応じた様々なベース画像を取得してもよい。端末装置10は、取引対象とその色、形状及び模様の少なくとも1つを組み合わせた指定に応じた様々なベース画像を取得してもよい。例えば、ユーザがキーワード「ハイカットの赤いスニーカ」と指定した場合、端末装置10は、ユーザにより指定されたハイカットの赤いスニーカのベース画像を取得してもよい。
〔1-4-3.表示〕
上述した例では、ベース画像がイラスト化されたイラスト画像を端末装置10が表示し、表示したイラスト画像に対するユーザの編集を受け付ける場合を示したが、端末装置10における表示態様は上記に限られない。例えば、端末装置10は、ベース画像を表示し、表示したイラスト画像に対するユーザの編集を受け付けてもよい。そして、端末装置10は、表示したベース画像に対するユーザの編集を、イラスト画像に対して反映してもよい。図2の場合、端末装置10は、ベース画像IM1を表示し、ユーザによるベース画像IM1に対する編集をイラスト画像IL1に反映してもよい。例えば、ユーザがベース画像IM1に含まれるスニーカのつま先の色を青に変更した場合、端末装置10は、イラスト画像IL1に含まれるスニーカののつま先の色を青に変更する。この場合、情報処理システム1は、ユーザに実物のイメージを想像させながら、検索クエリとなるイラスト画像を生成することができる。
〔1-4-4.画像〕
上述した例では、ベース画像をそのままイラスト化する場合を示したが、情報処理システム1は、様々な情報を用いて、様々な画像を生成してもよい。すなわち、情報処理システム1は、イラスト画像に限らず、ベース画像を基に様々なスタイルの画像を生成してもよい。この点について以下例示を記載する。なお、画像のスタイル変換については、様々な従来技術を適宜用いればよく、詳細な説明は省略する。
例えば、情報処理システム1は、ベース画像から色を除いたイラスト画像を生成してもよい。すなわち、情報処理システム1は、ベース画像から線画を生成してもよい。この場合、情報処理システム1は、画像を入力とし、その画像から色を除いたイラスト画像を出力するモデルを用いて、ベース画像から色を除いたイラスト画像を生成してもよい。
例えば、情報処理システム1は、ベース画像のスタイルを、印象派等のようにふわっとした描法に変換した変換後画像を生成してもよい。この場合、情報処理システム1は、画像を入力とし、その画像のスタイルを印象派のスタイルに変換した変換後画像を出力するモデルを用いて、ベース画像を印象派のスタイルに変換した変換後画像を生成してもよい。
また、例えば、情報処理システム1は、ベース画像のスタイルを、写実派等のようにかっちりとした描法に変換した変換後画像を生成してもよい。この場合、情報処理システム1は、画像を入力とし、その画像のスタイルを写実派のスタイルに変換した変換後画像を出力するモデルを用いて、ベース画像を写実派のスタイルに変換した変換後画像を生成してもよい。
〔1-4-5.モデル入力〕
上述した例では、1つのベース画像を入力とする例を示したが、生成モデルM1は複数の情報を入力としてもよい。例えば、生成モデルM1は、複数画像を入力として、1つの画像を出力してもよい。
例えば、生成モデルM1は、形状に対応する第1ベース画像と、色に対応第2ベース画像を含む複数の要素の各々に対応する複数画像を入力とし、各要素の特徴を合わせたイラスト画像を出力してもよい。この場合、生成モデルM1は、第1ベース画像の取引対象の形状に、第2ベース画像の色が反映されたイラスト画像を出力する。このように、生成モデルM1は、複数画像の各要素の特徴を混合(ミクスチャー)した画像を出力する。なお、上記は一例に過ぎず、様々な手法により複数画像の特徴を咬合した画像を生成してもよい。例えば、情報処理システム1は、CycleGANのベースに色を入れることにより実現してもよい。
〔1-4-6.多視点画像〕
例えば、生成モデルM1は、ベース画像を入力として、ベース画像に対応する多視点の画像を出力してもよい。例えば、生成モデルM1は、ベース画像を入力として、ベース画像に含まれる取引対象の3次元画像を出力してもよい。この場合、ユーザが取引対象の3次元画像のうち、所望の画像を編集してもよい。そして、情報処理システム1は、ユーザが編集した画像をクエリ画像として用いて検索処理を行ってもよい。なお、上記は一例に過ぎず、情報処理システム1は、多視点画像や3次元画像を用いて様々な処理を行ってもよい。例えば、情報処理システム1は、ユーザが選択した画像から、3次元像を推定してイラスト化した画像をカートーンシェーディングで表示してもよい。そして、情報処理システム1は、ユーザによる編集を基に画像を修正して検索処理を行ってもよい。
〔1-4-7.繰返し処理〕
情報処理システム1は、検索結果を用いた繰返し処理を行ってもよい。図2の例では、情報処理システム1は、検索結果である類似画像RS1が示す靴xがイラスト化されたイラスト画像を用いて、検索処理を行ってもよい。この場合、情報処理システム1は、靴xがイラスト化されたイラスト画像に対するユーザの編集を受け付ける。そして、情報処理システム1は、ユーザが編集したイラスト画像を用いて、検索処理を行い、検索結果をユーザに提供する。
情報処理システム1は、ユーザが所望の検索結果となるまで、繰り返し処理を行ってもよい。この場合、端末装置10は、検索結果とともに、その検索結果を用いた検索を行うことを指示するボタン(再検索ボタン)を表示し、ユーザが再検索ボタンを選択した場合、表示した検索結果の画像をイラスト化し、ユーザによる編集を受け付ける。
なお、上記は一例に過ぎず、検索結果を用いた繰返し処理が可能であれば、どのような態様であってもよい。また、情報処理システム1は、様々な情報を用いて様々な処理を行ってもよい。情報処理システム1は、検索処理に対するユーザの選択結果(クリック結果)を用いてもよい。
〔2.端末装置の構成〕
次に、図4を用いて、実施形態に係る端末装置10の構成について説明する。図4は、実施形態に係る端末装置の構成例を示す図である。図4に示すように、端末装置10は、通信部11と、入力部12と、表示部13と、記憶部14と、制御部15と、センサ部16とを有する。なお、図示を省略するが端末装置10は、音声を出力するスピーカなど音声出力部を有する。例えば、音声出力部は、表示部13に表示される情報に対応する音声を出力する。また、端末装置10は、マイクである音声入力部を有し、音声によるユーザに有力を受け付けてもよい。
(通信部11)
通信部11は、例えば、通信回路等によって実現される。そして、通信部11は、図示しない所定の通信網と有線または無線で接続され、外部の情報処理装置との間で情報の送受信を行う。例えば、通信部11は、図示しない所定の通信網と有線または無線で接続され、検索サーバ50との間で情報の送受信を行う。
(入力部12)
入力部12は、ユーザから各種操作が入力される。例えば、入力部12は、タッチパネル機能により表示面(例えば表示部13)を介してユーザからの各種操作を受け付けてもよい。また、入力部12は、端末装置10に設けられたボタンや、端末装置10に接続されたキーボードやマウスからの各種操作を受け付けてもよい。
入力部12は、センサ部16に含まれる各種センサにより実現されるタッチパネルの機能によりタブレット端末等の表示画面を介してユーザから各種操作を受け付ける。すなわち、入力部12は、端末装置10の表示部13を介してユーザから各種操作を受け付ける。例えば、入力部12は、端末装置10の表示部13を介してユーザの指定操作等の操作を受け付ける。言い換えると、入力部12は、タッチパネルの機能によりユーザの操作を受け付ける受付部として機能する。なお、入力部12によるユーザの操作の検知方式には、タブレット端末では主に静電容量方式が採用されるが、他の検知方式である抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式など、ユーザの操作を検知できタッチパネルの機能が実現できればどのような方式を採用してもよい。また、端末装置10は、端末装置10にボタンが設けられたり、キーボードやマウスが接続されていたりする場合、ボタン等による操作も受け付ける入力部を有してもよい。
(表示部13)
表示部13は、例えば液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ等によって実現されるタブレット端末等の表示画面であり、各種情報を表示するための表示装置である。つまり、端末装置10は、表示部13である表示画面によりユーザの入力を受け付け、ユーザへの出力も行う。
(記憶部14)
記憶部14は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部14は、例えば、端末装置10にインストールされているアプリケーション(例えばホームアプリ)に関する情報、例えばプログラム等を記憶する。また、実施形態に係る記憶部14は、図4に示すように、モデル情報記憶部141を有する。
(モデル情報記憶部141)
実施形態に係るモデル情報記憶部141は、モデルに関する情報を記憶する。例えば、モデル情報記憶部122は、学習処理により学習(生成)された学習済みモデル(モデル)の情報(モデルデータ)を記憶する。図6は、本開示の第1の実施形態に係るモデル情報記憶部の一例を示す図である。図6に、第1の実施形態に係るモデル情報記憶部122の一例を示す。図6に示した例では、モデル情報記憶部122は、「モデルID」、「用途」、「モデルデータ」といった項目が含まれる。
「モデルID」は、モデルを識別するための識別情報を示す。「用途」は、対応するモデルの用途を示す。「モデルデータ」は、モデルのデータを示す。図6等では「モデルデータ」に「MDT1」といった概念的な情報が格納される例を示したが、実際には、モデルの構成(ネットワーク構成)の情報やパラメータに関する情報等、そのモデルを構成する種々の情報が含まれる。例えば、「モデルデータ」には、ネットワークの各層におけるノードと、各ノードが採用する関数と、ノードの接続関係と、ノード間の接続に対して設定される接続係数とを含む情報が含まれる。
図6に示す例では、モデルID「M1」により識別されるモデル(生成モデルM1)は、用途が「イラスト化」であることを示す。すなわち、生成モデルM1は、入力された画像データをイラスト化した画像データを出力するモデルであることを示す。また、生成モデルM1のモデルデータは、モデルデータMDT1であることを示す。
なお、モデル情報記憶部122は、上記に限らず、目的に応じて種々の情報を記憶してもよい。
(制御部15)
制御部15は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)やGPU(Graphics Processing Unit)等によって、端末装置10内部の記憶部14などの記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。例えば、この各種プログラムは、情報処理を行うアプリケーション(例えばホームアプリ)のプログラムが含まれる。また、制御部15は、コントローラ(controller)であり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
図4に示すように、制御部15は、取得部151と、生成部152と、受付部153と、提供部154とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部15の内部構成は、図4に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部15が有する各処理部の接続関係は、図4に示した接続関係に限られず、他の接続関係であってもよい。
(取得部151)
取得部151は、各種情報を取得する。例えば、取得部151は、外部の情報処理装置から各種情報を取得する。取得部151は、検索サーバ50から各種情報を受信する。例えば、取得部151は、記憶部14から各種情報を取得する。取得部151は、モデル情報記憶部141から各種情報を取得する。例えば、取得部151は、センサ部16により撮像された画像をベース画像として取得してもよい。
取得部151は、ユーザが指定した取引対象が含まれる画像であるベース画像を取得する。取得部151は、編集後イラスト画像に基づく検索結果を検索サーバ50から取得する。取得部151は、ユーザが指定した色の取引対象のベース画像を取得する。取得部151は、ユーザが指定した形状の取引対象のベース画像を取得する。取得部151は、ユーザが指定した模様の取引対象のベース画像を取得する。取得部151は、ユーザが指定した商品である取引対象に対応するベース画像を取得する。取得部151は、イラスト化取引対象に類似する類似取引対象を示す検索結果を検索サーバ50から取得する。
(生成部152)
生成部152は、種々の生成を行なう。生成部152は、イラスト画像を生成する。生成部152は、記憶部14に記憶された情報を用いてイラスト画像を生成する。生成部152は、モデル情報記憶部141に記憶された生成モデルM1を用いてイラスト画像を生成する。
生成部152は、ベース画像からイラスト画像を生成する。生成部152は、ベース画像のスタイルを変更したイラスト画像を生成する。生成部152は、ベース画像から色を除いた線画であるイラスト画像を生成する。生成部152は、ベース画像の第1の色を第2の色に変更したイラスト画像を生成する。
(受付部153)
受付部153は、各種情報を受け付ける。受付部153は、ユーザによる各種操作を受け付ける。例えば、受付部153は、入力部12によりユーザによる各種操作を受け付ける。
受付部153は、ベース画像に含まれる取引対象がイラスト化されたイラスト化取引対象を含むイラスト画像に対するユーザの編集を受け付ける。受付部153は、イラスト化取引対象に対するユーザによる色の変更を受け付ける。受付部153は、イラスト化取引対象に対するユーザによる形状の変更を受け付ける。受付部153は、イラスト化取引対象に対するユーザによる模様の変更を受け付ける。受付部153は、生成部152により生成されたイラスト画像に対するユーザの編集を受け付ける。
(提供部154)
提供部154は、通信部11を介して、外部の情報処理装置へ種々の情報を送信する。提供部154は、検索サーバ50へ各種情報を送信する。提供部154は、記憶部14に記憶された各種情報を外部の情報処理装置へ送信する。提供部154は、取得部151により取得された各種情報を外部の情報処理装置へ送信する。
提供部154は、ユーザにより編集されたイラスト画像である編集後イラスト画像を、画像検索を行う検索サーバ50に対して提供する。提供部154は、ユーザによりイラスト化取引対象の色が変更された後の編集後イラスト画像を、検索サーバ50に対して提供する。提供部154は、ユーザによりイラスト化取引対象の形状が変更された後の編集後イラスト画像を、検索サーバ50に対して提供する。提供部154は、ユーザによりイラスト化取引対象の模様が変更された後の編集後イラスト画像を、検索サーバ50に対して提供する。
なお、上述した制御部15による各処理は、例えば、JavaScript(登録商標)などにより実現されてもよい。また、上述した制御部15による情報処理等の処理は、所定のアプリケーションにより行われる場合、制御部15の各部は、例えば、所定のアプリケーションにより実現されてもよい。例えば、制御部15による情報処理等の処理は、外部の情報処理装置から受信した制御情報により実現されてもよい。
(センサ部16)
センサ部16は、所定の情報を検知する。なお、センサ部16は、情報処理に用いる情報を検知するための様々なセンサを有してもよい。
例えば、センサ部16は、端末装置10に対するユーザの操作に関する種々の情報を検知するセンサを有する。例えば、センサ部16は、圧力センサを有する。例えば、センサ部16は、ユーザが画面に接触する圧力を示す圧力情報を検知するセンサを有する。例えば、センサ部16は、画面におけるユーザの接触範囲(座標)を検知するセンサを有する。例えば、センサ部16は、画面においてユーザが接触する位置を示す位置情報を検知するセンサを有する。例えば、センサ部16は、画面においてユーザが接触する面積を示す面積情報を検知するセンサを有する。
例えば、カメラ機能により撮像された画像をベース画像として用いる場合、センサ部16は、カメラ(画像センサ)を有してもよい。例えば、センサ部16は、ユーザが検索を所望する取引対象を撮像するために画像センサを有する。
また、センサ部16には、上記に限らず、種々のセンサが含まれてもよい。例えば、センサ部16は、端末装置10外の情報を検知するセンサを含んでもよい。
センサ部16は、端末装置10の位置を検知するセンサ(位置センサ)を有する。例えば、センサ部16は、GPS(Global Positioning System)センサを有してもよい。また、端末装置10の位置情報をセンサ情報として取得する場合、センサ部16は、通信を行っている基地局の位置情報や、WiFi(登録商標)(Wireless Fidelity)の電波を用いて推定された端末装置10の位置情報を取得してもよい。
なお、センサ部16における上記の各種情報を検知するセンサは共通のセンサであってもよいし、各々異なるセンサにより実現されてもよい。
〔3.情報処理のフロー〕
次に、図6を用いて、実施形態に係る情報処理の手順について説明する。図6は、実施形態に係る情報処理の一例を示すフローチャートである。
図6に示すように、端末装置10は、ユーザが指定した取引対象が含まれる画像であるベース画像を取得する(ステップS101)。例えば、端末装置10は、ユーザが指定した取引対象を示す情報を検索サーバ50に送信し、検索サーバ50から取引対象が含まれるベース画像を取得する。
そして、端末装置10は、ベース画像に含まれる取引対象がイラスト化されたイラスト化取引対象を含むイラスト画像に対するユーザの編集を受け付ける(ステップS102)。例えば、端末装置10は、イラスト画像中のイラスト化取引対象の色、形状、または模様の少なくとも1つを変更するユーザの編集を受け付ける。
そして、端末装置10は、ユーザにより編集されたイラスト画像である編集後イラスト画像を、画像検索を行う検索サーバに対して提供する(ステップS103)。例えば、端末装置10は、ユーザにより編集された編集後イラスト画像を、検索サーバ50に対して送信する。その後、端末装置10は、検索サーバ50から編集後イラスト画像を用いた検索の結果を受信する。
〔4.効果〕
上述してきたように、実施形態に係る情報処理装置(実施形態では「端末装置10」。以下同様)は、取得部(実施形態では「取得部151」。以下同様)と、受付部(実施形態では「受付部153」。以下同様)と、提供部(実施形態では「提供部154」。以下同様)とを有する。取得部は、ユーザが指定した取引対象が含まれる画像であるベース画像を取得する。また、受付部は、ベース画像に含まれる取引対象がイラスト化されたイラスト化取引対象を含むイラスト画像に対するユーザの編集を受け付ける。また、提供部は、ユーザにより編集されたイラスト画像である編集後イラスト画像を、画像検索を行う検索サーバに対して提供する。
このように、実施形態に係る情報処理装置は、取引対象を含むベース画像がイラスト化され、イラスト化取引対象を含むイラスト画像に対するユーザの編集を受け付け、ユーザによる編集後の編集後イラスト画像を、画像検索を行う検索サーバに対して提供することにより、ユーザが編集しやすい態様で画像を提供し、ユーザの編集結果を反映した画像を基に検索を行うことにより、ユーザが所望する検索を容易にすることができる。
また、実施形態に係る情報処理装置において、取得部は、編集後イラスト画像に基づく検索結果を検索サーバから取得する。
このように、実施形態に係る情報処理装置は、編集後イラスト画像に基づく検索結果を検索サーバから取得することで、ユーザが所望する検索結果をユーザに提供することができる。
また、実施形態に係る情報処理装置において、取得部は、イラスト化取引対象に類似する類似取引対象を示す検索結果を検索サーバから取得する。
このように、実施形態に係る情報処理装置は、編集後イラスト画像に含まれるイラスト化取引対象に類似する類似取引対象を検索サーバから取得することで、ユーザが所望する検索結果をユーザに提供することができる
また、実施形態に係る情報処理装置において、受付部は、イラスト化取引対象に対するユーザによる色の変更を受け付ける。提供部は、ユーザによりイラスト化取引対象の色が変更された後の編集後イラスト画像を、検索サーバに対して提供する。
このように、実施形態に係る情報処理装置は、ユーザによるイラスト化取引対象の色の変更を受け付け、色を変更後の編集後イラスト画像を、検索サーバに対して提供することにより、ユーザの色に関する編集結果を反映した画像を基に検索を行うことにより、ユーザが所望する検索を容易にすることができる。
また、実施形態に係る情報処理装置において、受付部は、イラスト化取引対象に対するユーザによる形状の変更を受け付ける。提供部は、ユーザによりイラスト化取引対象の形状が変更された後の編集後イラスト画像を、検索サーバに対して提供する。
このように、実施形態に係る情報処理装置は、ユーザによるイラスト化取引対象の形状の変更を受け付け、形状を変更後の編集後イラスト画像を、検索サーバに対して提供することにより、ユーザの形状に関する編集結果を反映した画像を基に検索を行うことにより、ユーザが所望する検索を容易にすることができる。
また、実施形態に係る情報処理装置において、受付部は、イラスト化取引対象に対するユーザによる模様の変更を受け付ける。提供部は、ユーザによりイラスト化取引対象の模様が変更された後の編集後イラスト画像を、検索サーバに対して提供する。
このように、実施形態に係る情報処理装置は、ユーザによるイラスト化取引対象の模様の変更を受け付け、模様を変更後の編集後イラスト画像を、検索サーバに対して提供することにより、ユーザの模様に関する編集結果を反映した画像を基に検索を行うことにより、ユーザが所望する検索を容易にすることができる。
また、実施形態に係る情報処理装置において、取得部は、ユーザが指定した色の取引対象のベース画像を取得する。
このように、実施形態に係る情報処理装置は、ユーザが指定した色の取引対象のベース画像に基づくイラスト画像に対するユーザの編集を受け付けることで、色に関する編集の負荷が軽減されユーザによる編集を容易化することができ、ユーザが所望する検索結果をユーザに提供することができる。
また、実施形態に係る情報処理装置において、取得部は、ユーザが指定した形状の取引対象のベース画像を取得する。
このように、実施形態に係る情報処理装置は、ユーザが指定した形状の取引対象のベース画像に基づくイラスト画像に対するユーザの編集を受け付けることで、形状に関する編集の負荷が軽減されユーザによる編集を容易化することができ、ユーザが所望する検索結果をユーザに提供することができる。
また、実施形態に係る情報処理装置において、取得部は、ユーザが指定した模様の取引対象のベース画像を取得する。
このように、実施形態に係る情報処理装置は、ユーザが指定した模様の取引対象のベース画像に基づくイラスト画像に対するユーザの編集を受け付けることで、模様に関する編集の負荷が軽減されユーザによる編集を容易化することができ、ユーザが所望する検索結果をユーザに提供することができる。
また、実施形態に係る情報処理装置において、取得部は、ユーザが指定した商品である取引対象に対応するベース画像を取得する。
このように、実施形態に係る情報処理装置は、商品を含むベース画像がイラスト化され、イラスト化商品を含むイラスト画像に対するユーザの編集を受け付け、ユーザによる編集後の編集後イラスト画像を、画像検索を行う検索サーバに対して提供することにより、ユーザが編集しやすい態様で画像を提供し、ユーザの編集結果を反映した画像を基に検索を行うことにより、ユーザが所望する商品検索を容易にすることができる。
実施形態に係る情報処理装置は、生成部(実施形態では「生成部152」。以下同様)を有する。生成部は、ベース画像からイラスト画像を生成する。また、受付部は、生成部により生成されたイラスト画像に対するユーザの編集を受け付ける。
このように、実施形態に係る情報処理装置は、ベース画像からイラスト画像を生成することで、生成したイラスト画像に対するユーザの編集を受け付けることができるため、ユーザが所望する検索を容易にすることができる。
また、実施形態に係る情報処理装置において、生成部は、ベース画像のスタイルを変更したイラスト画像を生成する。
このように、実施形態に係る情報処理装置は、ベース画像のスタイルを変更したイラスト画像を生成することで、生成したイラスト画像に対するユーザの編集を受け付けることができるため、ユーザが所望する検索を容易にすることができる。
また、実施形態に係る情報処理装置において、生成部は、ベース画像から色を除いた線画であるイラスト画像を生成する。
このように、実施形態に係る情報処理装置は、ベース画像の色を除いたイラスト画像を生成することで、生成したイラスト画像に対するユーザの編集を受け付けることができるため、ユーザが所望する検索を容易にすることができる。
また、実施形態に係る情報処理装置において、生成部は、ベース画像の第1の色を第2の色に変更したイラスト画像を生成する。
このように、実施形態に係る情報処理装置は、ベース画像の色を変更したイラスト画像を生成することで、生成したイラスト画像に対するユーザの編集を受け付けることができるため、ユーザが所望する検索を容易にすることができる。
〔5.プログラム〕
上述してきた端末装置10による処理は、本願に係る情報処理プログラムにより実現される。例えば、端末装置10に係る生成部152は、端末装置10が有するCPUやMPU等によって、情報処理プログラムがRAMを作業領域として、情報処理プログラムに係る処理手順が実行されることにより実現される。例えば、端末装置10に係る生成部152は、端末装置10が有するCPUやMPU等によって、情報処理プログラムがRAMを作業領域として、情報処理プログラムに係るイラスト画像に対するユーザの編集を受け付ける受付処理等の最適化に関する情報処理手順が実行されることにより実現される。端末装置10に係る他の部も同様に、情報処理プログラムによる各手順が実行されることにより実現される。例えば、情報処理プログラムは検索サービスを提供するアプリ等に含まれてもよい。
なお、本願に係る端末装置10が実行する処理は、必ずしも全てが情報処理プログラムによって実現されるものでなくてもよい。例えば、センサ部16は、端末装置10における各種のセンサ情報を検知する。このとき、端末装置10における各種のセンサ情報等は、端末装置10が有するOS(Operating System)によって検知されてもよい。すなわち、情報処理プログラム自体が、上述してきたような端末装置10で実行される処理を実行するのではなく、OSによって取得されたデータ(例えば、端末装置10が有するセンサや回路等を利用して取得されるデータ)を受け取ったり、検知したりすることにより、上述してきた端末装置10の処理を実現するようにしてもよい。また、端末装置10が有するOSに情報処理プログラムが含まれてもよい。
〔6.ハードウェア構成〕
また、上述した実施形態に係る端末装置10は、例えば図7に示すような構成のコンピュータ1000によって実現される。図7は、ハードウェア構成の一例を示す図である。コンピュータ1000は、出力装置1010、入力装置1020と接続され、演算装置1030、一次記憶装置1040、二次記憶装置1050、出力I/F(Interface)1060、入力I/F1070、ネットワークI/F1080がバス1090により接続された形態を有する。
演算装置1030は、一次記憶装置1040や二次記憶装置1050に格納されたプログラムや入力装置1020から読み出したプログラム等に基づいて動作し、各種の処理を実行する。演算装置1030は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等により実現される。
一次記憶装置1040は、RAM(Random Access Memory)等、演算装置1030が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置1050は、演算装置1030が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ等により実現される。二次記憶装置1050は、内蔵ストレージであってもよいし、外付けストレージであってもよい。また、二次記憶装置1050は、USBメモリやSD(Secure Digital)メモリカード等の取り外し可能な記憶媒体であってもよい。また、二次記憶装置1050は、クラウドストレージ(オンラインストレージ)やNAS(Network Attached Storage)、ファイルサーバ等であってもよい。
出力I/F1060は、ディスプレイ、プロジェクタ、及びプリンタ等といった各種の情報を出力する出力装置1010に対し、出力対象となる情報を送信するためのインターフェイスであり、例えば、USB(Universal Serial Bus)やDVI(Digital Visual Interface)、HDMI(登録商標)(High Definition Multimedia Interface)といった規格のコネクタにより実現される。また、入力I/F1070は、マウス、キーボード、キーパッド、ボタン、及びスキャナ等といった各種の入力装置1020から情報を受信するためのインターフェイスであり、例えば、USB等により実現される。
また、出力I/F1060及び入力I/F1070はそれぞれ出力装置1010及び入力装置1020と無線で接続してもよい。すなわち、出力装置1010及び入力装置1020は、ワイヤレス機器であってもよい。
また、出力装置1010及び入力装置1020は、タッチパネルのように一体化していてもよい。この場合、出力I/F1060及び入力I/F1070も、入出力I/Fとして一体化していてもよい。
なお、入力装置1020は、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、又は半導体メモリ等から情報を読み出す装置であってもよい。
ネットワークI/F1080は、ネットワークNを介して他の機器からデータを受信して演算装置1030へ送り、また、ネットワークNを介して演算装置1030が生成したデータを他の機器へ送信する。
演算装置1030は、出力I/F1060や入力I/F1070を介して、出力装置1010や入力装置1020の制御を行う。例えば、演算装置1030は、入力装置1020や二次記憶装置1050からプログラムを一次記憶装置1040上にロードし、ロードしたプログラムを実行する。
例えば、コンピュータ1000が端末装置10として機能する場合、コンピュータ1000の演算装置1030は、一次記憶装置1040上にロードされたプログラムを実行することにより、制御部15の機能を実現する。また、コンピュータ1000の演算装置1030は、ネットワークI/F1080を介して他の機器から取得したプログラムを一次記憶装置1040上にロードし、ロードしたプログラムを実行してもよい。また、コンピュータ1000の演算装置1030は、ネットワークI/F1080を介して他の機器と連携し、プログラムの機能やデータ等を他の機器の他のプログラムから呼び出して利用してもよい。
以上、本願の実施形態および変形例のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の行に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
〔7.その他〕
また、上記各実施形態および変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
また、上述してきた各実施形態および変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。
1 情報処理システム
10 端末装置(情報処理装置)
11 通信部
12 入力部
13 表示部
14 記憶部
141 モデル情報記憶部
15 制御部
151 取得部
152 生成部
153 受付部
154 提供部
16 センサ部
50 検索サーバ

Claims (16)

  1. ユーザが指定した取引対象が含まれる画像であるベース画像を取得する取得部と、
    前記ベース画像に含まれる取引対象がイラスト化されたイラスト化取引対象を含むイラスト画像に対する前記ユーザの編集を受け付ける受付部と、
    前記ユーザにより編集された前記イラスト画像である編集後イラスト画像を、画像検索を行う検索サーバに対して提供する提供部と、
    を備えることを特徴とする情報処理装置。
  2. 前記取得部は、
    前記編集後イラスト画像に基づく検索結果を前記検索サーバから取得する
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記取得部は、
    前記イラスト化取引対象に類似する類似取引対象を示す前記検索結果を前記検索サーバから取得する
    ことを特徴とする請求項2に記載の情報処理装置。
  4. 前記受付部は、
    前記イラスト化取引対象に対する前記ユーザによる色の変更を受け付け、
    前記提供部は、
    前記ユーザにより前記イラスト化取引対象の色が変更された後の前記編集後イラスト画像を、前記検索サーバに対して提供する
    ことを特徴とする請求項1~3のいずれか1項に記載の情報処理装置。
  5. 前記受付部は、
    前記イラスト化取引対象に対する前記ユーザによる形状の変更を受け付け、
    前記提供部は、
    前記ユーザにより前記イラスト化取引対象の形状が変更された後の前記編集後イラスト画像を、前記検索サーバに対して提供する
    ことを特徴とする請求項1~4のいずれか1項に記載の情報処理装置。
  6. 前記受付部は、
    前記イラスト化取引対象に対する前記ユーザによる模様の変更を受け付け、
    前記提供部は、
    前記ユーザにより前記イラスト化取引対象の模様が変更された後の前記編集後イラスト画像を、前記検索サーバに対して提供する
    ことを特徴とする請求項1~5のいずれか1項に記載の情報処理装置。
  7. 前記取得部は、
    前記ユーザが指定した色の前記取引対象の前記ベース画像を取得する
    ことを特徴とする請求項1~6のいずれか1項に記載の情報処理装置。
  8. 前記取得部は、
    前記ユーザが指定した形状の前記取引対象の前記ベース画像を取得する
    ことを特徴とする請求項1~7のいずれか1項に記載の情報処理装置。
  9. 前記取得部は、
    前記ユーザが指定した模様の前記取引対象の前記ベース画像を取得する
    ことを特徴とする請求項1~8のいずれか1項に記載の情報処理装置。
  10. 前記取得部は、
    前記ユーザが指定した商品であるに前記取引対象に対応する前記ベース画像を取得する
    ことを特徴とする請求項1~9のいずれか1項に記載の情報処理装置。
  11. 前記ベース画像から前記イラスト画像を生成する生成部、
    をさらに備え、
    前記受付部は、
    前記生成部により生成された前記イラスト画像に対する前記ユーザの編集を受け付ける
    ことを特徴とする請求項1~10のいずれか1項に記載の情報処理装置。
  12. 前記生成部は、
    前記ベース画像のスタイルを変更した前記イラスト画像を生成する
    ことを特徴とする請求項11に記載の情報処理装置。
  13. 前記生成部は、
    前記ベース画像から色を除いた線画である前記イラスト画像を生成する
    ことを特徴とする請求項11または請求項12に記載の情報処理装置。
  14. 前記生成部は、
    前記ベース画像の第1の色を第2の色に変更した前記イラスト画像を生成する
    ことを特徴とする請求項11~13のいずれか1項に記載の情報処理装置。
  15. コンピュータが実行する情報処理方法であって、
    ユーザが指定した取引対象が含まれる画像であるベース画像を取得する取得工程と、
    前記ベース画像に含まれる取引対象がイラスト化されたイラスト化取引対象を含むイラスト画像に対する前記ユーザの編集を受け付ける受付工程と、
    前記ユーザにより編集された前記イラスト画像である編集後イラスト画像を、画像検索を行う検索サーバに対して提供する提供工程と、
    を含むことを特徴とする情報処理方法。
  16. ユーザが指定した取引対象が含まれる画像であるベース画像を取得する取得手順と、
    前記ベース画像に含まれる取引対象がイラスト化されたイラスト化取引対象を含むイラスト画像に対する前記ユーザの編集を受け付ける受付手順と、
    前記ユーザにより編集された前記イラスト画像である編集後イラスト画像を、画像検索を行う検索サーバに対して提供する提供手順と、
    をコンピュータに実行させることを特徴とする情報処理プログラム。
JP2021101057A 2021-06-17 2021-06-17 情報処理装置、情報処理方法、及び情報処理プログラム Active JP7342065B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021101057A JP7342065B2 (ja) 2021-06-17 2021-06-17 情報処理装置、情報処理方法、及び情報処理プログラム
US17/690,902 US20220414738A1 (en) 2021-06-17 2022-03-09 Information processing device, information processing method, and non-transitory computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021101057A JP7342065B2 (ja) 2021-06-17 2021-06-17 情報処理装置、情報処理方法、及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2023000312A true JP2023000312A (ja) 2023-01-04
JP7342065B2 JP7342065B2 (ja) 2023-09-11

Family

ID=84542349

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021101057A Active JP7342065B2 (ja) 2021-06-17 2021-06-17 情報処理装置、情報処理方法、及び情報処理プログラム

Country Status (2)

Country Link
US (1) US20220414738A1 (ja)
JP (1) JP7342065B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7462991B1 (ja) 2023-07-04 2024-04-08 株式会社Noobl 絵本生成システム、絵本生成プログラム及び絵本生成方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148794A (ja) * 1998-08-31 2000-05-30 Canon Inc 画像検索装置及びその方法、コンピュ―タ可読メモリ
JP2009181400A (ja) * 2008-01-31 2009-08-13 Cosmos Scientific Systems Inc 顧客嗜好情報管理システム
JP5568195B1 (ja) * 2013-10-25 2014-08-06 楽天株式会社 検索システム、検索条件設定装置、検索条件設定装置の制御方法、プログラム、及び情報記憶媒体
US20140279265A1 (en) * 2013-03-14 2014-09-18 Ebay Inc. System and method to retrieve relevant inventory using sketch-based query
KR20200145074A (ko) * 2019-06-20 2020-12-30 (주)대왕시스템 인공 지능 코디네이션 시스템
CN112927325A (zh) * 2021-03-22 2021-06-08 佛山市太火红鸟科技有限公司 商品草图生成方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148794A (ja) * 1998-08-31 2000-05-30 Canon Inc 画像検索装置及びその方法、コンピュ―タ可読メモリ
JP2009181400A (ja) * 2008-01-31 2009-08-13 Cosmos Scientific Systems Inc 顧客嗜好情報管理システム
US20140279265A1 (en) * 2013-03-14 2014-09-18 Ebay Inc. System and method to retrieve relevant inventory using sketch-based query
JP5568195B1 (ja) * 2013-10-25 2014-08-06 楽天株式会社 検索システム、検索条件設定装置、検索条件設定装置の制御方法、プログラム、及び情報記憶媒体
KR20200145074A (ko) * 2019-06-20 2020-12-30 (주)대왕시스템 인공 지능 코디네이션 시스템
CN112927325A (zh) * 2021-03-22 2021-06-08 佛山市太火红鸟科技有限公司 商品草图生成方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7462991B1 (ja) 2023-07-04 2024-04-08 株式会社Noobl 絵本生成システム、絵本生成プログラム及び絵本生成方法

Also Published As

Publication number Publication date
US20220414738A1 (en) 2022-12-29
JP7342065B2 (ja) 2023-09-11

Similar Documents

Publication Publication Date Title
US11461837B2 (en) Interactive collection book for mobile devices
US10664510B1 (en) Displaying clusters of media items on a map using representative media items
US9342930B1 (en) Information aggregation for recognized locations
KR101770857B1 (ko) 부가 설명된 정보의 생성 및 전파
JP6235014B2 (ja) 文書内の3次元オブジェクトの閲覧
Bekele Walkable mixed reality map as interaction interface for virtual heritage
US9965793B1 (en) Item selection based on dimensional criteria
JP2018503895A (ja) ウェブコンテンツのタグ付けおよびフィルタリング
JP2016530613A (ja) オブジェクトベースのコンテキストメニューの制御
US20140082018A1 (en) Device and Method for Obtaining Shared Object Related to Real Scene
JP2019508826A (ja) マスキング制限アクセス制御システム
JP2013101450A (ja) 情報処理装置及び方法、並びにプログラム
TW201003511A (en) Providing multiple degrees of context for content consumed on computers and media players
US20230077278A1 (en) Artificial Reality Content Management
US20190325497A1 (en) Server apparatus, terminal apparatus, and information processing method
EP3175332A1 (en) Interacting with user interface elements representing files
Wang et al. ARShop: a cloud-based augmented reality system for shopping
JP7342065B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
US20200042910A1 (en) Systems and methods for providing and accessing visual product representations of a project
US20120133667A1 (en) Method and apparatus for designing, stylizing, and supplementing an image/scene
US20230068093A1 (en) Augmentecture software application including team viewing
WO2019134501A1 (zh) 模拟用户试装的方法、装置、存储介质及移动终端
KR20140024492A (ko) 스마트폰을 위한 개인화된 쇼핑몰 애플리케이션 제작 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체
JP2023018884A (ja) プログラム、情報処理装置及び方法
Osmond et al. Photo-review creation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230830

R150 Certificate of patent or registration of utility model

Ref document number: 7342065

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350